CN114808810B - 一种半自主交互式无人清扫车清扫系统及清扫方法 - Google Patents

Abstract

本发明属于汽车技术领域，具体的说是一种半自主交互式无人清扫车清扫系统及清扫方法。包括：车辆动力模块、清扫作业模块、清扫工人工作识别模块和人车交互式共扫模块。所述车辆动力模块、清扫作业模块、清扫工人工作识别模块和人车交互式共扫模块均由半自主交互式无人清扫车内安装的主控制器进行控制，所述主控制器与车内的CAN总线相连接。本发明让清扫车能够判别出清扫工人当前情况下的工作意图，尽可能实时地配合清扫工人完成清扫工作，搭载本系统的无人清扫车可辅助清扫主干道路两侧的非机动车道和人行道的盲区，解决了无人清扫车在清扫盲区存在的清扫困难的问题。

Description

一种半自主交互式无人清扫车清扫系统及清扫方法

技术领域

本发明属于汽车技术领域，具体的说是一种半自主交互式无人清扫车清扫系统及清扫方法。

背景技术

目前在汽车“新四化”的推进下，汽车的智能化水平不断地提高，自动驾驶技术愈发成熟；在一些封闭的、特定的场景下，无人驾驶车辆已经得到试运行，在一定程度上可为人们生活提供便利；城市道路的整洁度是衡量城市文明建设程度的重要指标之一，完成该部分区域的清扫工作通常会消耗大量的人力和财力；随着无人清扫车技术愈发成熟，从技术层面上无人清扫车可以代替人去完成城市主干道路的清扫工作，然而由于非机动车道和人行道上通常会设有树木、道路照明灯、指示牌等设施，所以无人清扫车在该区域的路径规划工作十分困难，清扫过程中会存在清扫盲区，因此，对这部分区域的清扫工作无法实现无人清扫车全自主化作业，仍需要人力介入。

发明内容

本发明提供了一种半自主交互式无人清扫车清扫系统及清扫方法，让清扫车能够判别出清扫工人当前情况下的工作意图，尽可能实时地配合清扫工人完成清扫工作，搭载本系统的无人清扫车可辅助清扫主干道路两侧的非机动车道和人行道的盲区，解决了无人清扫车在清扫盲区存在的清扫困难的问题。

本发明技术方案结合附图说明如下：

本发明实施例提供了一种半自主交互式无人清扫车清扫系统，包括：

车辆动力模块，用于对半自主交互式无人清扫车提供动力；

清扫作业模块，用于完成常规的清扫工作；

清扫工人工作识别模块，用于检测清扫工人的工作意图；

人车交互式共扫模块，用于在盲区部分，半自主交互式无人清扫车配合清扫工人进行清扫工作；

所述车辆动力模块、清扫作业模块、清扫工人工作识别模块和人车交互式共扫模块均由半自主交互式无人清扫车内安装的主控制器进行控制，所述主控制器与车内的CAN总线相连接。

本发明实施例还提供了一种半自主交互式无人清扫车清扫方法，通过一种半自主交互式无人清扫车清扫系统实现，包括以下步骤：

步骤一、车辆动力模块触发，半自主交互式无人清扫车启动；

步骤二、清扫作业模块触发，半自主交互式无人清扫车做清扫前的准备工作；

步骤三、半自主交互式无人清扫车在指定的路段内进行清扫工作；

步骤四、清扫工人工作识别模块触发，检测清扫工人的工作意图；

步骤五、人车交互式共扫模块触发，判断是否需要半自主交互式无人清扫车进行协同清扫工作，若需要执行步骤六，否则返回步骤三；

步骤六、清扫工人和半自主交互式无人清扫车配合完成道路盲区的协同清扫工作，若此时半自主交互式无人清扫车已到达规划道路终点则继续执行步骤七，否则返回步骤三；

步骤七、半自主交互式无人清扫车完成单次的清扫任务，从终点返回起点，半自主交互式无人清扫车对规定路段进行往复清扫作业。

进一步的，所述步骤二中清扫前的准备工作为：对工作路段进行环境数据采集，建立环境地图，并且将环境数据进行分类、融合，为半自主交互式无人清扫车进行路径规划，及时避障。

进一步的，所述步骤四的具体方法如下：

在半自主交互式无人清扫车的两侧上方会各设置一个双目摄像头，采用HOG即方向梯度直方图和SVM即支持向量机的检测方法对双目摄像头采集的图像进行处理分析，在半自主交互式无人清扫车上还设置车载GPS接收端，以半自主交互式无人清扫车为中心在半径为Rs≤S₁+S₂的范围内，其中，S₁为非机动车道的道路宽度；S₂为人行道的道路宽度；若能通过GPS接收端接收到清扫工人的手机端发出来的位置信号，那么即判定检测出的行人即为清扫工人；当从图像中同时检测出清扫工人和道路参考物时，系统程序会默认为此时清扫工人进行盲区清扫工作，向人车交互式共扫模块输出工作意图；具体为：

41)对摄像头拍摄到的清扫工人和道路盲区图像信息进行修裁并缩放到固定的尺寸，将输入的彩色图像进行灰度处理和Gamma校正，随后进行梯度计算，梯度计算定义如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (1)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (2)

式中，G_x(x,y)表示输入图像中的像素点(x,y)处水平方向的梯度值，G_y(x,y)表示输入图像中的像素点(x,y)处垂直方向的梯度值，H(x,y)表示输入图像中的像素点(x,y)处的像素值；

点(x,y)处的梯度方向定义为：

点(x,y)处的梯度大小定义为：

42)确定单元直方图，处理后的图像将被分成一些8×8像素的小单元，每个像素点都含有梯度的大小和方向，每个像素方向上则选取为20度的通道，并为每个小单元分配像素方向上长度为9的通道直方图，确定好梯度直方图；

43)在梯度直方图信息传输至分类器之前，将上下左右相邻的3×3个小单元组成一个块(block)；以块为单位进行对比度归一化处理；

44)将检测窗口中所有的块进行HOG特征的收集，并将它们组合在一起生成最终的特征向量，以供分类器使用；

45)训练SVM分类器，将44)中生成的特征向量作为SVM分类器的输入，通过SVM进行分类，并使用得到的测试数据对分类器进行检测优化；

46)当同时检测出清扫工人和道路参考物时，系统设定为清扫工人在道路盲区工作，输出清扫工人此时的工作意图。

进一步的，所述步骤五的具体方法如下：

人车交互式共扫模块接收输入的清扫工人工作意图，若输入的意图显示清扫工人未在盲区处工作，系统直接认定清扫工人不需要协同清扫，半自主交互式无人清扫车会直接进行后续的操作；若输入的意图显示清扫工人在盲区处工作，半自主交互式无人清扫车会协同清扫工人工作。

进一步的，所述步骤六的具体方法如下：

若输入的意图显示清扫工人在盲区处工作时，系统会通过人车交互式共扫模块执行一个人车交互式应答的过程，即半自主交互式无人清扫车会在清扫工人发出的GPS信号位置处立即制动，制动后系统会设置一个制动阈值t_p,清扫工人需要半自主交互式无人清扫车进行配合清扫操作时，手动按下半自主交互式无人清扫车外壳上的红色机械按键，主控制器通过控制电磁开关使垃圾收集箱自动弹开，由清扫工人手动将盲区处的垃圾放入，此时的半自主交互式无人清扫车会一直制动直至清扫工人完成盲区的清扫工作，当清扫工人按下绿色机械按键时，垃圾收集箱会自动关闭，半自主交互式无人清扫车停止制动继续前进，若此时清扫工人不需要辅助作业，那么清扫工人在t_p内不需要做任何应答，半自主交互式无人清扫车在制动t_p秒后，便会继续前行进行清扫作业。

本发明的有益效果为：

1)本发明所提供的半自主交互式无人清扫车清扫系统可搭载到大、中、小型无人清扫车上，适用面广且通过不同功能模块之间的相互连接，提高了清扫车的智能化程度。

2)本发明可使无人清扫车判别出清扫工人的工作意图，使其能够在非机动车道和人行道的盲区配合清扫工人完成清扫工作。

3)本发明可以在传统的无人清扫车系统上进行优化改造，增设了人和车协同清扫工作的功能，扩大了无人清扫车的清扫范围。

4)本发明创新地提出了“人车实时共扫理念”，与之前无人清扫车单一工作相比，通过人车交互式共同清扫方法提高了清扫工作的工作效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅出示了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明所述一种半自主交互式无人清扫车清扫方法的工作流程示意图；

图2为本发明所述一种半自主交互式无人清扫车清扫系统的架构示意图；

图3为半自主交互式无人清扫车在规定道路上的清扫行驶示意图；

图4为本发明所述一种半自主交互式无人清扫车清扫系统中清扫工人行为识别的工作流程示意图；

图5为本发明所述一种半自主交互式无人清扫车清扫系统中人车协同进行盲区清扫的工作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参阅图1，本发明实施例提供了一种半自主交互式无人清扫车清扫系统，包括：车辆动力模块、清扫作业模块、清扫工人工作识别模块和人车交互式共扫模块。

所述车辆动力模块包括太阳能电池板，用于对半自主交互式无人清扫车提供动力。

所述清扫作业模块包括清扫毛刷、洒水装置等清扫组件以及摄像头、激光雷达等视觉传感器，完成道路的常规清扫工作。

所述清扫工人工作识别模块，用于检测清扫工人的工作意图，将其工作意图进行输出；其核心工作理念主要是基于机器学习的清扫工人工作行为检测，其主要采用的技术方案为特征提取和分类，主要步骤为训练和检测，在训练阶段，用HOG方法提取出清扫工人和盲区参考物的特征；然后，将提取出来的特征通过训练过的分类器进行分类处理，除了正确地进行特征提取之外，分类器的设计也是实现清扫工人工作识别模块功能的重要组成，本模块中所选用的单分类器为SVM(线性支持向量机)，这个是考虑到用非线性核的支持向量机在测试时所需的计算量通常会较大，不适用于支持向量个数较多的情况；且SVM便捷高效，无需先验知识，故采用HOG+SVM检测算法。

所述人车交互式共扫模块，用于在盲区部分，半自主交互式无人清扫车配合清扫工人进行清扫工作。

所述车辆动力模块、清扫作业模块、清扫工人工作识别模块和人车交互式共扫模块均由半自主交互式无人清扫车内安装的主控制器进行控制，所述主控制器与车内的CAN总线相连接。

实施例二

参阅图2，本发明实施例提供了一种半自主交互式无人清扫车清扫方法，通过一种半自主交互式无人清扫车清扫系统实现。

本发明中一种半自主交互式无人清扫车清扫系统的输入量主要有模拟信号输入量、开关信号输入量以及一些其余信号输入量，模拟信号输入量主要包括清扫车GPS位置信号、车速信号、制动力矩信号、加速度信号、工人行为检测信号及通讯网络信号；开关信号输入量主要包括动力启动开关、人车共扫模式开关、工人意图识别开关及人为应答开关；上述的信号传输至信号输入电路处理后，集成到清扫车上的CAN总线上，将输入结果传输至主控制器，最终输出结果通过信号输出电路进行输出。

参阅图3-图5，一种半自主交互式无人清扫车清扫方法，包括以下步骤：

步骤一、车辆动力模块触发，半自主交互式无人清扫车启动；

步骤二、清扫作业模块触发，半自主交互式无人清扫车做清扫前的准备工作；

清扫前的准备工作为：对工作路段进行环境数据采集，建立环境地图，并且将环境数据进行分类、融合，为半自主交互式无人清扫车进行路径规划，及时避障。

步骤三、半自主交互式无人清扫车在指定的路段内进行清扫工作；

步骤四、清扫工人工作识别模块触发，检测清扫工人的工作意图；

在半自主交互式无人清扫车的两侧上方会各设置一个双目摄像头，采用HOG即方向梯度直方图和SVM即支持向量机的检测方法对双目摄像头采集的图像进行处理分析，在半自主交互式无人清扫车上还设置车载GPS接收端，以半自主交互式无人清扫车为中心在半径为Rs≤S₁+S₂的范围内，其中，S₁为非机动车道的道路宽度；S₂为人行道的道路宽度；若能通过GPS接收端接收到清扫工人的手机端发出来的位置信号，那么即判定检测出的行人即为清扫工人；当从图像中同时检测出清扫工人和道路参考物时，系统程序会默认为此时清扫工人进行盲区清扫工作，向人车交互式共扫模块输出工作意图。具体为：

41)对摄像头拍摄到的清扫工人和道路盲区图像信息进行修裁并缩放到固定的尺寸，将输入的彩色图像进行灰度处理和Gamma校正，随后进行梯度计算，梯度计算定义如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (1)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (2)

式中，G_x(x,y)表示输入图像中的像素点(x,y)处水平方向的梯度值，G_y(x,y)表示输入图像中的像素点(x,y)处垂直方向的梯度值，H(x,y)表示输入图像中的像素点(x,y)处的像素值；

点(x,y)处的梯度方向定义为：

点(x,y)处的梯度大小定义为：

42)确定单元直方图，处理后的图像将被分成一些8×8像素的小单元，每个像素点都含有梯度的大小和方向，每个像素方向上则选取为20度的通道，并为每个小单元分配像素方向上长度为9的通道直方图，确定好梯度直方图；

43)在梯度直方图信息传输至分类器之前，将上下左右相邻的3×3个小单元组成一个块(block)；以块为单位进行对比度归一化处理；

44)将检测窗口中所有的块进行HOG特征的收集，并将它们组合在一起生成最终的特征向量，以供分类器使用；

45)训练SVM分类器，将第四步中生成的特征向量作为SVM分类器的输入，通过SVM进行分类，并使用得到的测试数据对分类器进行检测优化，从而提升检测的精度，检测出清扫工人和道路参照物；

46)当同时检测出清扫工人和道路参考物时，系统就将这种情况设定为清扫工人在道路盲区工作，输出清扫工人此时的工作意图。

需要说明的是由于城市道路建设的不同，对道路参考物的选取也是不同的，在本发明中选取最为常见的道路两侧的树木作为特征物信息提取。

步骤五、人车交互式共扫模块触发，判断是否需要半自主交互式无人清扫车进行协同清扫工作，若需要执行步骤六，否则返回步骤三；

人车交互式共扫模块接收输入的清扫工人工作意图，若输入的意图显示清扫工人未在盲区处工作，系统直接认定清扫工人不需要协同清扫，半自主交互式无人清扫车会直接进行后续的操作；若输入的意图显示清扫工人在盲区处工作，半自主交互式无人清扫车会协同清扫工人工作。

步骤六、清扫工人和半自主交互式无人清扫车配合完成道路盲区的协同清扫工作，若此时半自主交互式无人清扫车已到达规划道路终点则继续执行步骤七，否则返回步骤三；

若输入的意图显示清扫工人在盲区处工作时，系统会通过人车交互式共扫模块执行一个人车交互式应答的过程，即半自主交互式无人清扫车会在清扫工人发出的GPS信号位置处立即制动，制动后系统会设置一个制动阈值t_p,其中，t_p＝8s，清扫工人需要半自主交互式无人清扫车进行配合清扫操作时，手动按下半自主交互式无人清扫车外壳上的红色机械按键，主控制器通过控制电磁开关使垃圾收集箱自动弹开，由清扫工人手动将盲区处的垃圾放入，此时的半自主交互式无人清扫车会一直制动直至清扫工人完成盲区的清扫工作，当清扫工人按下绿色机械按键时，垃圾收集箱会自动关闭，半自主交互式无人清扫车停止制动继续前进，若此时清扫工人不需要辅助作业，那么清扫工人在t_p内不需要做任何应答，半自主交互式无人清扫车在制动t_p秒后，便会继续前行进行清扫作业。

增加人车交互式应答的目的在于提高清扫工人和半自主交互式无人清扫车协同工作的实时性，因为根据清扫工人的工作习惯和道路树木分布的不均匀性，清扫工人通常会把几颗树附近的垃圾集中到一棵树附近，那么此时再要求清扫车进行协同操作便可提升工作效率。

步骤七、半自主交互式无人清扫车完成单次的清扫任务，从终点返回起点，半自主交互式无人清扫车对规定路段进行往复清扫作业。

综上，搭载本系统的无人清扫车可完成城市非机动车道和人行道盲区的协同清扫工作；对于其他类型道路盲区的清扫，可以考虑更换输入到分类器中的特征向量，将本发明中的道路参照物更改为其他类型道路所需的参考物，从而完成所需道路盲区的协同清扫工作；本发明借助人和无人清扫车的共同作业完成道路盲区的清扫工作，创新地提出了清扫工人和无人清扫车实时共扫的理念，即“人车共扫”；

本发明中所阐述的人与车交互式协同清扫的具体实施方案不仅仅可适用于文中所述路段的清扫，还可将此方案应用于不同区域的清扫工作；因此，在其他不同类型道路上应用本发明所述的人车交互式共同清扫的方法与理念，均属于本发明的保护范围。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明的保护范围并不局限于上述实施方式中的具体细节，在本发明的技术构思范围内，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (1)

1.一种半自主交互式无人清扫车清扫方法，通过一种半自主交互式无人清扫车清扫系统实现，清扫系统包括：

车辆动力模块，用于对半自主交互式无人清扫车提供动力；

清扫作业模块，用于完成常规的清扫工作；

清扫工人工作识别模块，用于检测清扫工人的工作意图；

人车交互式共扫模块，用于在盲区部分，半自主交互式无人清扫车配合清扫工人进行清扫工作；

所述车辆动力模块、清扫作业模块、清扫工人工作识别模块和人车交互式共扫模块均由半自主交互式无人清扫车内安装的主控制器进行控制，所述主控制器与车内的CAN总线相连接；

其特征在于，包括以下步骤：

步骤一、车辆动力模块触发，半自主交互式无人清扫车启动；

步骤二、清扫作业模块触发，半自主交互式无人清扫车做清扫前的准备工作；

步骤三、半自主交互式无人清扫车在指定的路段内进行清扫工作；

步骤四、清扫工人工作识别模块触发，检测清扫工人的工作意图；

步骤五、人车交互式共扫模块触发，判断是否需要半自主交互式无人清扫车进行协同清扫工作，若需要执行步骤六，否则返回步骤三；

步骤六、清扫工人和半自主交互式无人清扫车配合完成道路盲区的协同清扫工作，若此时半自主交互式无人清扫车已到达规划道路终点则继续执行步骤七，否则返回步骤三；

步骤七、半自主交互式无人清扫车完成单次的清扫任务，从终点返回起点，半自主交互式无人清扫车对规定路段进行往复清扫作业；

所述步骤二中清扫前的准备工作为：对工作路段进行环境数据采集，建立环境地图，并且将环境数据进行分类、融合，为半自主交互式无人清扫车进行路径规划，及时避障；

所述步骤四的具体方法如下：

在半自主交互式无人清扫车的两侧上方会各设置一个双目摄像头，采用HOG即方向梯度直方图和SVM即支持向量机的检测方法对双目摄像头采集的图像进行处理分析，在半自主交互式无人清扫车上还设置车载GPS接收端，以半自主交互式无人清扫车为中心在半径为Rs≤S₁+S₂的范围内，其中，S₁为非机动车道的道路宽度；S₂为人行道的道路宽度；若能通过GPS接收端接收到清扫工人的手机端发出来的位置信号，那么即判定检测出的行人即为清扫工人；当从图像中同时检测出清扫工人和道路参考物时，系统程序会默认为此时清扫工人进行盲区清扫工作，向人车交互式共扫模块输出工作意图，具体为：

41)对摄像头拍摄到的清扫工人和道路盲区图像信息进行修裁并缩放到固定的尺寸，将输入的彩色图像进行灰度处理和Gamma校正，随后进行梯度计算，梯度计算定义如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (1)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (2)

式中，G_x(x,y)表示输入图像中的像素点(x,y)处水平方向的梯度值，G_y(x,y)表示输入图像中的像素点(x,y)处垂直方向的梯度值，H(x,y)表示输入图像中的像素点(x,y)处的像素值；

点(x,y)处的梯度方向定义为：

点(x,y)处的梯度大小定义为：

42)确定单元直方图，处理后的图像将被分成一些8×8像素的小单元，每个像素点都含有梯度的大小和方向，每个像素方向上则选取为20度的通道，并为每个小单元分配像素方向上长度为9的通道直方图，确定好梯度直方图；

43)在梯度直方图信息传输至分类器之前，将上下左右相邻的3×3个小单元组成一个块即block；以块为单位进行对比度归一化处理；

44)将检测窗口中所有的块进行HOG特征的收集，并将它们组合在一起生成最终的特征向量，以供分类器使用；

45)训练SVM分类器，将44)中生成的特征向量作为SVM分类器的输入，通过SVM进行分类，并使用得到的测试数据对分类器进行检测优化；

46)当同时检测出清扫工人和道路参考物时，系统设定为清扫工人在道路盲区工作，输出清扫工人此时的工作意图；

所述步骤五的具体方法如下：

人车交互式共扫模块接收输入的清扫工人工作意图，若输入的意图显示清扫工人未在盲区处工作，系统直接认定清扫工人不需要协同清扫，半自主交互式无人清扫车会直接进行后续的操作；若输入的意图显示清扫工人在盲区处工作，半自主交互式无人清扫车会协同清扫工人工作；

所述步骤六的具体方法如下：

若输入的意图显示清扫工人在盲区处工作时，系统会通过人车交互式共扫模块执行一个人车交互式应答的过程，即半自主交互式无人清扫车会在清扫工人发出的GPS信号位置处立即制动，制动后系统会设置一个制动阈值t_p,清扫工人需要半自主交互式无人清扫车进行配合清扫操作时，手动按下半自主交互式无人清扫车外壳上的红色机械按键，主控制器通过控制电磁开关使垃圾收集箱自动弹开，由清扫工人手动将盲区处的垃圾放入，此时的半自主交互式无人清扫车会一直制动直至清扫工人完成盲区的清扫工作，当清扫工人按下绿色机械按键时，垃圾收集箱会自动关闭，半自主交互式无人清扫车停止制动继续前进，若此时清扫工人不需要辅助作业，那么清扫工人在t_p内不需要做任何应答，半自主交互式无人清扫车在制动t_p秒后，便会继续前行进行清扫作业。

Images