CN108737788B - 一种图像信息处理方法 - Google Patents

Abstract

本发明涉及一种图像信息处理方法，所述方法包括：清扫装置中的车身控制单元根据清扫指令工作；清扫装置中的中央处理单元根据清扫指令通过清扫装置中的感知单元获取清扫装置的环境视频数据和清扫装置的位置信息；中央处理单元对环境视频数据进行解析，得到多个清扫环境中的人像数据；服务器对比多个清扫环境中的人像数据和目标人像数据；当多个清扫环境中的人像数据中包括目标人像数据时，根据清扫装置的位置信息确定与清扫装置的位置信息所对应的清扫区域信息；根据清扫区域信息确定与清扫区域信息相对应的一个或多个清扫装置的ID信息；根据与清扫区域信息相对应的清扫装置的ID信息向一个或多个清扫装置发送提示信息。

Description

一种图像信息处理方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种图像信息处理方法。

背景技术

随着经济的发展和科技的进步，人们对生活环境质量的要求越来越高，道路的清扫和保洁也越来越受到有关部门的重视。使用人工清扫路面的方式，不仅人力成本高，而且人工清扫时所产生的粉尘会严重影响清洁工人的生体健康，也不可避免的会造成环境的二次污染。而随着人工智能的崛起，市场也越来越关注于基于人工智能技术的新能源环卫清扫车辆。而且，随着城市规模的发展，人力成本的不断提升，对于智能化无人驾驶自动行驶的清扫车的需求，显现的尤为迫切。虽然无人驾驶领域已经有了相关的技术，但是，无人驾驶清扫车所能实现的功能还不是很全面，尤其是在安防领域，目前无人驾驶清扫车无法对可能对清扫车造成危险人物进行防范。当有可疑人物靠近清扫车时，清扫车无法做出相应处理。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种图像信息处理方法，在清扫装置中加装了人脸识别功能，使得清扫装置可以实现边移动作业边监控的功能，对于摄像模块所采集到的视频数据进行人脸识别处理，并将识别得到的人像发送至服务器，服务器根据确定人像是否在黑名单中并向清扫装置发送相应指令，使得清扫装置对可能对清扫车造成危险人物进行防范，而从实现清扫装置在移动安防中的应用。

为实现上述目的，本发明提供了一种图像信息处理方法，所述图像信息处理方法包括：

清扫装置中的车身控制单元根据清扫指令工作；

所述清扫装置中的中央处理单元根据所述清扫指令通过所述清扫装置中的感知单元获取清扫装置的环境视频数据和清扫装置的位置信息；

所述中央处理单元对所述环境视频数据进行解析，得到多个清扫环境中的人像数据，并将所述多个清扫环境中的人像数据和所述清扫装置的位置信息发送至服务器；

所述服务器对比所述多个清扫环境中的人像数据和目标人像数据，确定所述多个清扫环境中的人像数据中是否包括所述目标人像数据；

当所述多个清扫环境中的人像数据中包括所述目标人像数据时，根据所述清扫装置的位置信息确定与所述清扫装置的位置信息所对应的清扫区域信息；

根据所述清扫区域信息确定与所述清扫区域信息相对应的一个或多个清扫装置的ID信息；

根据所述与所述清扫区域信息相对应的清扫装置的ID信息向一个或多个所述清扫装置发送提示信息，用以所述清扫装置根据所述提示信息工作。

优选的，所述感知单元包括差分定位模块和摄像模块。

进一步优选的，所述清扫装置中的中央处理单元根据所述清扫指令通过所述清扫装置中的感知单元获取清扫装置的环境视频数据和清扫装置的位置信息具体为：

所述中央处理单元根据所述清扫指令通过所述摄像模块获取清扫装置的环境视频数据；

并且，所述中央处理单元根据所述清扫指令通过所述差分定位模块获取清扫装置的位置信息。

优选的，在所述服务器对比所述多个清扫环境中的人像数据和目标人像数据之前，所述方法还包括：

所述服务器接收所述清扫装置发送的故障信息和与所述故障信息相对应的清扫环境中的人像数据；

根据所述故障信息和与所述故障信息相对应的清扫环境中的人像数据确定得到目标人像数据。

优选的，所述提示信息包括所述目标人像数据。

进一步优选的，所述清扫装置根据所述提示信息工作具体为：

中央处理单元确定所述多个清扫环境中的人像数据是否包括所述目标人像数据；

当所述多个清扫环境中的人像数据包括所述目标人像数据时，向所述车身控制单元发送绕行指令，用以所述车身控制单元根据绕行指令工作。

优选的，当所述多个清扫环境中的人像数据中包括所述目标人像数据时，所述方法还包括：

所述服务器将所述提示信息发送至用户终端，用以所述用户终端显示所述提示信息。

优选的，在所述得到多个清扫环境中的人像数据之后，所述方法还包括：

所述中央处理单元从所述多个清扫环境中的人像数据中确定重复频率为预设频率以上的一个或多个特征人像数据，并将所述一个或多个特征人像数据发送至所述服务器。

进一步优选的，在所述将所述一个或多个特征人像数据发送至所述服务器之后，所述方法还包括：

所述服务器对比所述一个或多个特征人像数据和目标人像数据，确定所述一个或多个特征人像数据中是否包括所述目标人像数据。

本发明实施例提供的一种图像信息处理方法，在清扫装置中加装了人脸识别功能，使得清扫装置可以实现边移动作业边监控的功能，对于摄像模块所采集到的视频数据进行人脸识别处理，并将识别得到的人像发送至服务器，服务器根据确定人像是否在黑名单中并向清扫装置发送相应指令，使得清扫装置对可能对清扫车造成危险人物进行防范，而从实现清扫装置在移动安防中的应用。

附图说明

图1为本发明实施例提供的一种图像信息处理方法的流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明实施例提供的一种基图像信息处理方法，实现于清洁路面的清扫装置中。其方法流程图如图1所示，包括如下步骤：

步骤110，清扫装置中的中央处理单元接收清扫指令；

具体的，清扫装置可以理解为一辆无人驾驶的清洁车，用于对待清扫场景进行路面清洁、清扫。清扫装置包括中央处理单元、微处理单元和车身控制单元。

其中，中央处理单元可以理解为清扫装置的大脑，主要用于处理各种算法和逻辑。微控制单元分别与车身控制单元和中央处理单元相连，用于车身控制单元与中央处理单元间的数据交互。车身控制单元可以理解为用于控制清扫装置的运行的单元，包括控制清扫方向、清扫速度、清扫刷的升降等。

清扫指令可以理解为包括任务模式信息、任务时间信息和任务区域信息的清扫条件的任务信息。清扫指令可以是用户根据中央处理单元已获取的地图信息通过清扫装置中的控制面板输入中央处理单元的，也可以是服务器或遥控装置向中央处理单元发送的。

其中，任务模式信息可以理解为用户所需的本次清扫任务的清扫模式。清扫模式可以分为多种，不同种类的清扫模式对应清扫装置不同的工作模式，例如普通、快速、节电、洁净的清扫模式所对应的清扫装置的工作状态不同。任务时间信息可以理解为用户所需的本次清扫任务的任务时限。任务区域信息可以理解为用户想要进行清扫的待清扫区域。

不同的任务模式信息对应不同的轨迹规划参数、行驶速度参数和清洁度参数，也就是说不同组合的轨迹规划参数、行驶速度参数和清洁度参数构成了清扫装置不同的工作模式。中央处理单元首先根据任务模式信息确定与清扫模式信息相对应的轨迹规划参数、行驶速度参数和清洁度参数。

然后，中央处理单元再根据清扫指令中的任务区域信息确定出任务区域的边界以及障碍物标记位置，根据任务区域的边界、障碍物标记位置以及轨迹规划参数在规划任务区域的边界内规划出任务轨迹信息。

任务轨迹信息、行驶速度参数和清洁度参数构成了车辆控制信息。其中，任务轨迹信息可以理解为清扫装置在执行清扫任务时所需遵循的行驶轨迹。任务速度信息可以理解为清扫装置在本次清扫任务中的行进速度信息。清洁度参数可以理解为清扫装置在本次清扫任务时，控制扫刷装置、洒水装置和吸尘装置等工作的控制参数。

步骤120，清扫装置执行清扫任务；

具体的，车身控制单元包括行驶模块和清扫模块，行驶模块和清扫模块分别用以控制清扫装置行进和清扫作业。中央处理单元通过为微处理单元将任务轨迹信息、行驶速度参数和清洁度参数发送至车身控制单元。车身控制单元中的行驶模块根据任务轨迹信息和行驶速度参数控制清扫装置行驶，车身控制单元中的清扫模块根据清洁度参数控制主刷、边刷、吸尘器、洒水装置等装置工作，使得清扫装置根据清扫指令执行清扫任务。

同时，感知单元也开始对清扫装置的当前环境信息进行监测。感知单元包括摄像模块和差分定位模块。清扫装置的当前环境信息包括清扫装置的环境视频数据和清扫装置的位置信息。其中，摄像模块所采集到的视频角度范围为360°，摄像模块对清扫装置周围360°的环境状况进行视频采集，得到清扫装置的环境视频数据。差分定位模块可以理解为差分GPS(d ifferent ia lGPS-DGPS，DGPS)，是利用三维坐标的差分GPS基准台，求得伪距修正量或位置修正量，再将这个修正量实时或事后发送给GPS导航仪，对测量数据进行修正，以提高GPS定位精度的装置。差分定位模块精准的定位清扫装置当前所在的位置，得到清扫装置的位置信息。

步骤130，中央处理单元获取清扫装置的环境视频数据和清扫装置的位置信息；

具体的，中央处理单元根据清扫指令通过清扫装置中的感知单元获取清扫装置的环境视频数据和清扫装置的位置信息。

也就是说，当清扫装置执行清扫任务时，摄像模块和差分定位模块也已开始工作。同时，清扫装置中的其他单元也开始相继工作，例如，扫刷开始旋转，吸尘器开始吸尘等。这里需要说明的是，清扫装置中所包含的各个单元不仅限于上述的中央处理单元、微处理单元和感知单元，本领域技术人员可以根据需要自行设置清扫装置中所包含其他单元或组件。

步骤140，中央处理单元解析环境视频数据，得到多个清扫环境中的人像数据；

具体的，中央处理单元包括人像识别模块。人像识别模块可以理解为基于人的脸部特征信息进行身份识别的运算模块。人像识别模块对摄像模块所采集到的环境视频数据进行人脸识别，自动在视频图像中检测和跟踪人脸，得到多个清扫环境中的人像数据，也就是得到多个人脸图像。这一过程可以理解为人像识别模块从反应清扫装置周围环境的视频中进行人脸识别的过程。需要说明的是，一方面，由于一帧图像中可能会包括多个人物，因此，从空间角度来说，人像识别模块所得到的人物图像可能为多个。另一方面，由于摄像模块对清扫装置周围环境的监控是实时的，因此，人像识别模块对环境视频数据进行的人脸识别处理也是实时，所以从时间角度来说，人像识别模块也会得到多个人物图像，也就是说，人像识别模块会得到多个清扫环境中的人像数据。

然后，人像识别模块将这些清扫环境中的人像数据和其所对应的清扫装置的位置信息发送至服务器。需要说明的是，中央处理单元向服务器发送的不是所有的视频数据，而只是人像识别模块从视频数据中截取的人脸图片，这样有助于减小后台服务器的运行压力。

步骤150，服务器确定多个清扫环境中的人像数据中是否包括目标人像数据；

具体的，目标人像数据可以理解为清扫装置在执行清扫人物过程中，若遇到某人物时，需要对该人物进行特殊对待的该人物的人脸图像黑名单。在服务器确定多个清扫环境中的人像数据中是否包括目标人像数据之前，服务器需要先获得目标人像数据。

进一步具体的，当清扫装置发生故障时，清扫装置会向服务器发送故障信息以及故障时清扫环境中的人像数据。服务器接收清扫装置发送的故障信息和与故障信息相对应的清扫环境中的人像数据，根据故障信息和与故障信息相对应的清扫环境中的人像数据确定得到目标人像数据。

服务器识别人像数据中的面部特征，再面部特征对比所获取到的多个清扫环境中的人像数据和目标人像数据，确定多个清扫环境中的人像数据中是否包括目标人像数据。当多个清扫环境中的人像数据中包括目标人像数据时，执行下述步骤160。当多个清扫环境中的人像数据中不包括目标人像数据时，则返回执行上述步骤120，也就是清扫装置继续执行清扫任务。

在一个具体的例子中，服务器多次接收到故障信息“车辆震动异常”和当车辆震动异常时所拍摄的人物图像A，那么说明人物图像A所代表的人很可能与车辆震动异常的故障有关，该人物的一些行为可能是导致的车辆震动异常的原因，则服务器会把人物图像A确定为黑名单，即目标人像数据。当服务器接收到清扫装置所发送的多个清扫环境中的人像数据时，服务器需要确定多个清扫环境中的人像数据中是否包括人物图像A。当服务器所接收到的多个清扫环境中的人像数据中包括人物图像A时，执行下述步骤160。当服务器所接收到的多个清扫环境中的人像数据中不包括人物图像A时，清扫装置继续执行清扫任务。

优选的，在人像识别模块将清扫环境中的人像数据和其所对应的清扫装置的位置信息发送至服务器之前，人像识别模块还需要从多个清扫环境中的人像数据中确定重复频率为预设频率以上的一个或多个特征人像数据，并将一个或多个特征人像数据和其所对应的清扫装置的位置信息发送至服务器。服务器对比一个或多个特征人像数据和目标人像数据，确定一个或多个特征人像数据中是否包括目标人像数据。当一个或多个特征人像数据中包括目标人像数据时，执行下述步骤160。当一个或多个特征人像数据不包括目标人像数据时，则返回执行上述步骤120，也就是清扫装置继续执行清扫任务。这一过程可以理解为人像识别模块从多个人像数据中去除“路人”的人像数据，挑选出“可疑人”的人像数据的过程，服务器确定“可疑人”的人像数据是否在黑名单中。挑选的条件为该人物的人像数据多次出现在环境视频数据中。特征人像数据可以理解为需要特征人像数据所代表的人物进行特殊对待的重点怀疑对象。

在一个具体的例子中，如果摄像模块多次拍到同一个人挡在清扫装置的前面，则人像识别模块可确定该人物为“可疑人”，也就是该人物多次挡在清扫装置前的行为可能是因为该人物想对清扫装置造成伤害或影响清扫装置的正常运行，需要将该“可疑人”上报至服务器，用以服务器进行进一步的判断。

进一步优选的，由于现在的摄像设备获取到的图像多为高分辨率的彩色图像，而高分辨率的彩色图像的数据存储量比较大，不利于后续对图像的处理。因此服务器在接收到多个人像数据后，需要对每个人像数据进行降噪处理。

步骤160，服务器向清扫装置发送提示信息；

具体的，当多个清扫环境中的人像数据中包括目标人像数据时，也就是说，当前清扫装置的摄像模块拍摄到了需要特殊对待的人物时，服务器首先根据清扫装置的位置信息确定与清扫装置的位置信息相对应的清扫区域信息。这一过程可以理解为服务器确定拍摄到了目标人像数据的清扫装置所在的区域的过程。然后，服务器在根据清扫区域信息确定与清扫区域信息相对应的一个或多个清扫装置的ID信息。这一过程可以理解为服务器确定哪些清扫装置正处于与拍摄到了目标人像数据的清扫装置处于相同区域的过程。最后，服务器根据与清扫区域信息相对应的清扫装置的I D信息向一个或多个清扫装置发送提示信息。这一过程可以理解为服务器向拍摄到了目标人像数据的清扫装置所在的区域的所有清扫装置发送提示信息的过程。

步骤170，清扫装置根据提示信息工作；

具体的，提示信息包括目标任务数据。中央处理单元解析提示信息得到目标人像数据，并确定多个清扫环境中的人像数据是否包括目标人像数据。当多个清扫环境中的人像数据包括目标人像数据时，中央处理单元确定目标人像数据所对应的目标位置，并向车身控制单元发送绕行指令，车身控制单元根据绕行指令绕行目标人像数据所对应目标位置，然后再继续执行清扫任务。也就是说，当清扫装置的摄像模块拍摄到目标人像数据时，清扫装置绕行目标人像数据所对应目标位置，从而避免与目标人像数据所代表的人物进行接触，进而较小目标人像数据所代表的人物损害清扫装置的概率。

在一个具体的例子中，清扫区域A中同时运行着三辆清扫装置a、清扫装置b和清扫装置c。若服务器确定清扫装置a所拍摄到的清扫环境中的人像数据中包括目标人像数据，则服务器会向处于相同清扫区域A中的清扫装置a、清扫装置b和清扫装置c发送提示信息。若清扫装置a、清扫装置b和清扫装置c中的任何一辆清扫装置再拍摄到目标人像数据时，都会对目标人像数据所代表的人物进行绕行，然后在继续执行清扫任务。

优选的，当多个清扫环境中的人像数据中包括目标人像数据时，服务器还将提示信息发送至用户终端，用以用户终端向用户显示提示信息。

可以理解的是，上述图像信息处理方法，实现于整个清扫装置执行清扫任务的过程中，直至清扫装置完成清扫任务。

本发明实施例提供的一种图像信息处理方法，在清扫装置中加装了人脸识别功能，使得清扫装置可以实现边移动作业边监控的功能，对于摄像模块所采集到的视频数据进行人脸识别处理，并将识别得到的人像发送至服务器，服务器根据确定人像是否在黑名单中并向清扫装置发送相应指令，使得清扫装置对可能对清扫车造成危险人物进行防范，而从实现清扫装置在移动安防中的应用。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、用户终端执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像信息处理方法，其特征在于，所述方法包括：

清扫装置中的车身控制单元根据清扫指令工作；

所述清扫装置中的中央处理单元根据所述清扫指令通过所述清扫装置中的感知单元获取清扫装置的环境视频数据和清扫装置的位置信息；

所述中央处理单元对所述环境视频数据进行解析，得到多个清扫环境中的人像数据，并将所述多个清扫环境中的人像数据和所述清扫装置的位置信息发送至服务器；

所述服务器对比所述多个清扫环境中的人像数据和目标人像数据，确定所述多个清扫环境中的人像数据中是否包括所述目标人像数据；

当所述多个清扫环境中的人像数据中包括所述目标人像数据时，根据所述清扫装置的位置信息确定与所述清扫装置的位置信息所对应的清扫区域信息；

根据所述清扫区域信息确定与所述清扫区域信息相对应的一个或多个清扫装置的ID信息；

根据所述与所述清扫区域信息相对应的清扫装置的ID信息向一个或多个所述清扫装置发送提示信息，用以所述清扫装置根据所述提示信息工作；

其中，在所述服务器对比所述多个清扫环境中的人像数据和目标人像数据之前，所述方法还包括：

所述服务器接收所述清扫装置发送的故障信息和与所述故障信息相对应的清扫环境中的人像数据；

根据所述故障信息和与所述故障信息相对应的清扫环境中的人像数据确定得到目标人像数据。

2.根据权利要求1所述的图像信息处理方法，其特征在于，所述感知单元包括差分定位模块和摄像模块。

3.根据权利要求2所述的图像信息处理方法，其特征在于，所述清扫装置中的中央处理单元根据所述清扫指令通过所述清扫装置中的感知单元获取清扫装置的环境视频数据和清扫装置的位置信息具体为：

所述中央处理单元根据所述清扫指令通过所述摄像模块获取清扫装置的环境视频数据；

并且，所述中央处理单元根据所述清扫指令通过所述差分定位模块获取清扫装置的位置信息。

4.根据权利要求1所述的图像信息处理方法，其特征在于，所述提示信息包括所述目标人像数据。

5.根据权利要求4所述的图像信息处理方法，其特征在于，所述清扫装置根据所述提示信息工作具体为：

中央处理单元确定所述多个清扫环境中的人像数据是否包括所述目标人像数据；

当所述多个清扫环境中的人像数据包括所述目标人像数据时，向所述车身控制单元发送绕行指令，用以所述车身控制单元根据绕行指令工作。

6.根据权利要求1所述的图像信息处理方法，其特征在于，当所述多个清扫环境中的人像数据中包括所述目标人像数据时，所述方法还包括：

所述服务器将所述提示信息发送至用户终端，用以所述用户终端显示所述提示信息。

7.根据权利要求1所述的图像信息处理方法，其特征在于，在所述得到多个清扫环境中的人像数据之后，所述方法还包括：

所述中央处理单元从所述多个清扫环境中的人像数据中确定重复频率为预设频率以上的一个或多个特征人像数据，并将所述一个或多个特征人像数据发送至所述服务器。

8.根据权利要求7所述的图像信息处理方法，其特征在于，在所述将所述一个或多个特征人像数据发送至所述服务器之后，所述方法还包括：

所述服务器对比所述一个或多个特征人像数据和目标人像数据，确定所述一个或多个特征人像数据中是否包括所述目标人像数据。

Images