CN110443175A - 基于分离式视觉检测的清洁机器人控制系统及控制方法 - Google Patents

Abstract

本发明揭示了一种基于分离式视觉检测的清洁机器人控制系统及相对应的控制方法，系统包括：图像采集前端，用于实时采集整个应用场景的视频图像，形成视频流数据；垃圾视觉检测模块，用于接收视频流数据，进行视觉检测处理，完成应用场景内的地面垃圾检测；中心服务器，用于接收检测结果、获得垃圾的位置坐标，生成清洁指令；清洁任务执行设备，用于清洁指令及位置坐标，执行清洁任务。本发明通过视频摄像机的图像采集及视觉检测算法的图像分析，将现有技术中清洁机器人按照预设路线进行的被动式清洁变为根据环境变化而实时调整清洁路线的主动式清洁，显著地提高了清洁效率。

Description

基于分离式视觉检测的清洁机器人控制系统及控制方法

技术领域

本发明涉及一种控制系统，具体而言，涉及一种基于分离式视觉检测的清洁机器人控制系统及控制方法，属于视觉检测和图像处理技术领域。

背景技术

清洁机器人是特种机器人中的一种，目前，已经在家庭环境和工业环境中被广泛使用，这些清洁机器人可以自主地完成室内清洁、清洗等工作，极大地减轻了人工作业的负担。随着近年来机器人及人工智能技术的飞速发展，各种智能技术被集中应用于清洁机器人行业内，使得现有的清洁机器人具备了一定的智能清洁能力，其能力主要体现在清洁机器人对清洁路线的规划和选择上。

具体而言，目前业界的普遍做法是按照清洁机器人内预先设置的清洁路线清扫，这些预设的清洁路线一般为S型路线或逐渐扩大的圆圈型路线，当清洁机器人遇到障碍物后，则需要通过避障技术调整清洁机器人的清洁路线。由于这类清洁机器人并不具备大范围的环境感知能力，因此就其应用而言，仅能够适用于对家庭和办公场所的日常保洁，并不能完成对突发情况下垃圾掉落的实时清洁任务。

针对上述技术弊端，也有部分厂家推出了具备一定环境感知能力的新型清洁机器人，这些清洁机器人自身集成了用于感知环境变化的视频摄像机，能够实现对突然的垃圾掉落或地面积尘的实时感知、从而完成清洁操作。但是受限于清洁机器人自身的体积、尺寸，其上所安装的摄像机的高度、视角等都存在着诸多的限制，在实际使用过程中很难实现如预期般的使用效果、发挥大范围内实时感知环境的功能。这样一来，也就大大降低了清洁机器人的使用效率，使得这类新型清洁机器人也只能够和其他产品一样，按照预先设定的清洁路线完成清洁任务，无法达到主动清洁的目的。

综上所述，如何在现有技术的基础上提出一种全新的清洁机器人控制系统，真正实现清洁机器人的主动式清洁，也就成为了本领域内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于分离式视觉检测的清洁机器人控制系统及相应的控制方法，具体如下。

一种基于分离式视觉检测的清洁机器人控制系统，包括：

图像采集前端，用于实时采集整个应用场景的视频图像，依据所采集的视频图像形成视频流数据并进行数据上传；

垃圾视觉检测模块，用于接收来自于所述图像采集前端的视频流数据，使用检测算法对所述视频流数据进行视觉检测处理，完成应用场景内的地面垃圾检测，并转发检测结果；

中心服务器，用于接收来自于所述垃圾视觉检测模块的检测结果、获得垃圾的坐标信息并将该坐标信息还原为整个应用场景的位置坐标，生成清洁指令并将所生成的指令连同所述位置坐标一并下发；

清洁任务执行设备，用于接收来自于所述中心服务器的清洁指令及位置坐标，执行清洁任务并向所述中心服务器实时反馈任务执行情况。

优选地，所述图像采集前端包括一台或多台视频摄像机，用于完成整个应用场景中视频图像的实时采集，对视频图像进行视频编码、形成视频流数据并发送。

优选地，所述图像采集前端包括多台视频摄像机，多台所述视频摄像机采用分离式的安装方式散布于应用场景内。

优选地，所述垃圾视觉检测模块所使用的检测算法为深度学习算法、图形学视觉检测算法以及卷积神经网络算法中的任意一种或多种的结合。

优选地，所述垃圾视觉检测模块为设置于所述视频摄像机内的嵌入式模块或独立的视频分析服务器或配置于所述中心服务器内的计算资源。

优选地，所述中心服务器包括：

坐标转换模块，用于接收来自于所述垃圾视觉检测模块的检测结果，经由坐标转换计算出应用场景中垃圾的坐标信息并生成该垃圾在整个应用场景中的位置坐标；

中心管理模块，用于控制系统内其他部件的运作，根据所述坐标转换模块所生成的位置坐标、生成相应的清洁指令并下发，接收来自所述清洁任务执行设备反馈的任务执行情况；

无线传输模块，用于实现系统内各部分间的通信连接，将清洁信息发送给所述清洁任务执行设备、所述清洁信息至少包括垃圾类型信息以及位置坐标，并将来自所述清洁任务执行设备的任务执行情况反馈至所述指令控制模块。

优选地，所述清洁任务执行设备包括分布于应用场景内的多台清洁机器人。

一种基于分离式视觉检测的清洁机器人控制方法，使用如上所述的基于分离式视觉检测的清洁机器人控制系统，包括如下步骤：

S1、在应用场景内布置硬件设备，完成硬件设备间的连接及调试；

S2、进行图像采集前端的注册，视频摄像机向中心服务器内的中心管理模块发送前端注册信息或直接在所述中心服务器内的中心管理模块中添加视频摄像机的前端注册信息，所述前端注册信息至少包括摄像机ID、摄像机IP地址、摄像机视频流IP地址，摄像机安装位置、摄像机安装参数以及摄像机参数；

S3、进行清洁任务执行设备的注册，清洁机器人向所述中心服务器内的中心管理模块发送机器人注册信息或直接在所述中心服务器内的中心管理模块中添加清洁机器人的机器人注册信息，所述机器人注册信息至少包括清洁机器人ID、清洁机器人IP地址、清洁机器人当前位置、清洁机器人类型以及运行状态；

S4、所述视频摄像机将实时的视频流数据发送至垃圾视觉检测模块中，所述垃圾视觉检测模块完成视频流数据解码、提取关键图像帧、通过检测算法确定在该台所述视频摄像机的拍摄范围内是否存在垃圾，若发现垃圾则将垃圾的坐标信息<，>发送给所述中心管理模块；

S5、所述中心管理模块调用坐标转换模块，使用坐标转换算法将垃圾的坐标信息<，>转换为垃圾在整个应用场景中的位置坐标<，>；

S6、所述中心管理模块从运行状态为可用的清洁机器人中寻找与待清洁区域之间距离最近的清洁机器人，即在所有已注册的清洁机器人中寻找清洁机器人当前位置与目标位置之间的差值d为最小的清洁机器人并获取其清洁机器人ID、选定该清洁机器人，

，

其中，<，>表示垃圾在整个应用场景中的位置坐标，<，>表示清洁机器人当前位置；

S7、所述中心管理模块生成清洁指令，所述清洁指令至少包括清洁机器人ID、垃圾类型以及动作详情，所述中心管理模块将所述清洁指令及垃圾在整个应用场景中的位置坐标一并下发给所选定的清洁机器人、同时将该清洁机器人的运行状态改为不可用；

S8、所述清洁机器人接收到清洁指令及位置坐标后，按要求完成相应的清洁任务，随后向所述中心管理模块反馈任务执行情况，所述任务执行情况至少包括是否已完成清洁以及是否需要人工干预；

S9、所述中心管理模块接收所述任务执行情况并进行判断，

若任务执行情况为已完成清洁，则该清洁任务结束，所述中心管理模块将所述清洁机器人的运行状态实时更新为可用、清洁机器人当前位置实时更新为当前坐标，

若任务执行情况为未完成清洁且需要人工干预，则所述中心管理模块将相应信息发送给系统使用人员，由系统使用人员执行后续的人工操作。

优选地，所述S6可替换为如下步骤：

S60、所述中心管理模块从运行状态为可用的清洁机器人中随机挑选清洁机器人，获取其清洁机器人ID、选定该清洁机器人。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明所提出的一种基于分离式视觉检测的清洁机器人控制系统及控制方法，通过视频摄像机的图像采集及视觉检测算法的图像分析，实现了对环境中垃圾或污物产生及变化的实时感知，并由此给清洁机器人实时提供清洁区域的位置和清洁指令，使得清洁机器人可以依据指令立即执行相应的清洁任务，将现有技术中清洁机器人按照预设路线进行的被动式清洁变为根据环境变化而实时调整清洁路线的主动式清洁，显著地提高了清洁效率。

同时，在本发明的系统中，前端的视频摄像机采用分离式安装的方式进行设置，使得摄像机的数量及可视范围被大大扩展，实现了对大范围环境的有效覆盖，进一步提升了本发明的适用范围、扩大了本发明的应用场景。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与视觉检测和图像处理技术相关的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1是本发明系统的结构示意图。

具体实施方式

如图1所示，本发明揭示了一种基于分离式视觉检测的清洁机器人控制系统，包括：

图像采集前端，用于实时采集整个应用场景的视频图像，依据所采集的视频图像形成视频流数据并进行数据上传。

所述图像采集前端包括一台或多台视频摄像机，用于完成整个应用场景中视频图像的实时采集，对视频图像进行视频编码、形成视频流数据并发送。在本实施例中，考虑到所述图像采集前端的覆盖范围及使用效果，所述图像采集前端包括多台视频摄像机，多台所述视频摄像机采用分离式的安装方式散布于应用场景内。

垃圾视觉检测模块，用于接收来自于所述图像采集前端的视频流数据，使用检测算法对所述视频流数据进行视觉检测处理，完成应用场景内的地面垃圾检测，并转发检测结果。

所述垃圾视觉检测模块所使用的检测算法可以是深度学习算法、图形学视觉检测算法以及卷积神经网络算法中的任意一种或多种的结合。

所述垃圾视觉检测模块的位置设置不影响本发明系统的正常使用，具体而言，所述垃圾视觉检测模块也可以为设置于所述视频摄像机内的嵌入式模块或独立的视频分析服务器或配置于所述中心服务器内的计算资源。

以目前的AI计算卡的计算能力，如果所述图像采集前端内视频摄像机的数量在100路以下时，建议通过在中心服务器内增加计算资源的方式实现所述垃圾视觉检测模块的设置。如果所述图像采集前端内视频摄像机的数量在100路以上时，建议通过独立的视频分析服务器地方式实现所述垃圾视觉检测模块的设置。在本实施例中以在中心服务器内增加计算资源的方式为例进行系统结构的说明。

中心服务器，用于接收来自于所述垃圾视觉检测模块的检测结果、获得垃圾的坐标信息并将该坐标信息还原为整个应用场景的位置坐标，生成清洁指令并将所生成的指令连同所述位置坐标一并下发。

所述中心服务器包括：

坐标转换模块，用于接收来自于所述垃圾视觉检测模块的检测结果，经由坐标转换计算出应用场景中垃圾的坐标信息并生成该垃圾在整个应用场景中的位置坐标。此处的坐标转换计算方法在相关的前案中已经有过具体的介绍，在此不做赘述。

中心管理模块，用于控制系统内其他部件的运作，根据所述坐标转换模块所生成的位置坐标、生成相应的清洁指令并下发，接收来自所述清洁任务执行设备反馈的任务执行情况。

无线传输模块，用于实现系统内各部分间的通信连接，将清洁信息发送给所述清洁任务执行设备、所述清洁信息至少包括垃圾类型信息以及位置坐标，并将来自所述清洁任务执行设备的任务执行情况反馈至所述指令控制模块。

清洁任务执行设备，用于接收来自于所述中心服务器的清洁指令及位置坐标，执行清洁任务并向所述中心服务器实时反馈任务执行情况。

所述清洁任务执行设备包括分布于应用场景内的多台清洁机器人。由于清洁机器人的相关技术和产品也已经存在大量的前案说明，因而在此也不做赘述。

本发明的系统通过视频摄像机的图像采集及视觉检测算法的图像分析，实现了对环境中垃圾或污物产生及变化的实时感知，并由此给清洁机器人实时提供清洁区域的位置和清洁指令，使得清洁机器人可以依据指令立即执行相应的清洁任务，将现有技术中清洁机器人按照预设路线进行的被动式清洁变为根据环境变化而实时调整清洁路线的主动式清洁，显著地提高了清洁效率。

同时，在本发明的系统中，前端的视频摄像机采用分离式安装的方式进行设置，使得摄像机的数量及可视范围被大大扩展，实现了对大范围环境的有效覆盖，进一步提升了本发明系统的适用范围、扩大了本发明系统的应用场景。

此外，本发明还揭示了一种基于分离式视觉检测的清洁机器人控制方法，使用如上所述的基于分离式视觉检测的清洁机器人控制系统，包括如下步骤：

S1、在应用场景内布置硬件设备，完成硬件设备间的连接及调试。

S2、进行图像采集前端的注册，视频摄像机向中心服务器内的中心管理模块发送前端注册信息或直接在所述中心服务器内的中心管理模块中添加视频摄像机的前端注册信息，所述前端注册信息至少包括下表中的内容，

摄像机ID	摄像机IP地址	摄像机视频流IP地址	摄像机安装位置	摄像机安装参数	摄像机参数
						Camer_ID	<a1.b1.c1.d1>	<a2.b2.c2.d2>	<longitude,latitude>	<height ,α,β>	<f,η,λ>

其中，α表示摄像机安装方位角，β表示摄像机安装俯仰角，f表示摄像机的焦距，η表示水平视场角，λ表示垂直视场角，<a1.b1.c1.d1>为摄像机视频码流的源IP地址，<a2.b2.c2.d2>为摄像机视频码流的目的IP地址、通常为视频分析模块的IP地址。

S3、进行清洁任务执行设备的注册，清洁机器人向所述中心服务器内的中心管理模块发送机器人注册信息或直接在所述中心服务器内的中心管理模块中添加清洁机器人的机器人注册信息，所述机器人注册信息至少包括下表中的内容，

清洁机器人ID	清洁机器人IP地址	清洁机器人当前位置	清洁机器人类型	运行状态
					Robot _ID	<a.b.c.d>	<longitude,latitude>	Type	<available ,unavailable >

其中，<a.b.c.d>为清洁机器人的源IP地址。

S4、所述视频摄像机将实时的视频流数据发送至垃圾视觉检测模块中，所述垃圾视觉检测模块完成视频流数据解码、提取关键图像帧、通过检测算法确定在该台所述视频摄像机的拍摄范围内是否存在垃圾，若发现垃圾则将垃圾的坐标信息<，>发送给所述中心管理模块。

S5、所述中心管理模块调用坐标转换模块，使用坐标转换算法将垃圾的坐标信息<，>转换为垃圾在整个应用场景中的位置坐标<，>。

S6、所述中心管理模块从运行状态为可用（available）的清洁机器人中寻找与待清洁区域之间距离最近的清洁机器人，即在所有已注册的清洁机器人中寻找清洁机器人当前位置与目标位置之间的差值d为最小的清洁机器人并获取其清洁机器人ID、选定该清洁机器人，

，

其中，<，>表示垃圾在整个应用场景中的位置坐标，<，>表示清洁机器人当前位置。

需要说明的是，此处考虑的是采用距离最短原则选择清洁机器人的情况，也可以通过随机方式选择清洁机器人。即上述方法中所述S6可以替换为如下步骤：

S60、所述中心管理模块从运行状态为可用的清洁机器人中随机挑选清洁机器人，获取其清洁机器人ID、选定该清洁机器人。

S7、所述中心管理模块生成清洁指令，所述清洁指令至少包括清洁机器人ID、垃圾类型以及动作详情，所述动作详情包括是否立即清洁、是否在等待指定时间后清洁等，所述中心管理模块将所述清洁指令及垃圾在整个应用场景中的位置坐标一并下发给所选定的清洁机器人、同时将该清洁机器人的运行状态改为不可用（unavailable）。

S8、所述清洁机器人接收到清洁指令及位置坐标后，按要求完成相应的清洁任务，随后向所述中心管理模块反馈任务执行情况。

所述任务执行情况至少包括是否已完成清洁以及是否需要人工干预。

S9、所述中心管理模块接收所述任务执行情况并进行判断，

若任务执行情况为已完成清洁，则该清洁任务结束，所述中心管理模块将所述清洁机器人的运行状态实时更新为可用、清洁机器人当前位置实时更新为当前坐标，

若任务执行情况为未完成清洁且需要人工干预，则所述中心管理模块将相应信息发送给系统使用人员，由系统使用人员执行后续的人工操作。

综上所述，本发明不仅实现了主动式的垃圾清洁，同时也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与视觉检测和图像处理技术相关的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于分离式视觉检测的清洁机器人控制系统，其特征在于，包括：

图像采集前端，用于实时采集整个应用场景的视频图像，依据所采集的视频图像形成视频流数据并进行数据上传；

垃圾视觉检测模块，用于接收来自于所述图像采集前端的视频流数据，使用检测算法对所述视频流数据进行视觉检测处理，完成应用场景内的地面垃圾检测，并转发检测结果；

中心服务器，用于接收来自于所述垃圾视觉检测模块的检测结果、获得垃圾的坐标信息并将该坐标信息还原为整个应用场景的位置坐标，生成清洁指令并将所生成的指令连同所述位置坐标一并下发；

清洁任务执行设备，用于接收来自于所述中心服务器的清洁指令及位置坐标，执行清洁任务并向所述中心服务器实时反馈任务执行情况。

2.根据权利要求1所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于：所述图像采集前端包括一台或多台视频摄像机，用于完成整个应用场景中视频图像的实时采集，对视频图像进行视频编码、形成视频流数据并发送。

3.根据权利要求2所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于：所述图像采集前端包括多台视频摄像机，多台所述视频摄像机采用分离式的安装方式散布于应用场景内。

4.根据权利要求1所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于：所述垃圾视觉检测模块所使用的检测算法为深度学习算法、图形学视觉检测算法以及卷积神经网络算法中的任意一种或多种的结合。

5.根据权利要求1所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于：所述垃圾视觉检测模块为设置于所述视频摄像机内的嵌入式模块或独立的视频分析服务器或配置于所述中心服务器内的计算资源。

6.根据权利要求1所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于，所述中心服务器包括：

坐标转换模块，用于接收来自于所述垃圾视觉检测模块的检测结果，经由坐标转换计算出应用场景中垃圾的坐标信息并生成该垃圾在整个应用场景中的位置坐标；

中心管理模块，用于控制系统内其他部件的运作，根据所述坐标转换模块所生成的位置坐标、生成相应的清洁指令并下发，接收来自所述清洁任务执行设备反馈的任务执行情况；

无线传输模块，用于实现系统内各部分间的通信连接，将清洁信息发送给所述清洁任务执行设备、所述清洁信息至少包括垃圾类型信息以及位置坐标，并将来自所述清洁任务执行设备的任务执行情况反馈至所述指令控制模块。

7.根据权利要求1所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于：所述清洁任务执行设备包括分布于应用场景内的多台清洁机器人。

8.一种基于分离式视觉检测的清洁机器人控制方法，使用如权利要求1~7任一所述的基于分离式视觉检测的清洁机器人控制系统，其特征在于，包括如下步骤：

S1、在应用场景内布置硬件设备，完成硬件设备间的连接及调试；

S2、进行图像采集前端的注册，视频摄像机向中心服务器内的中心管理模块发送前端注册信息或直接在所述中心服务器内的中心管理模块中添加视频摄像机的前端注册信息，所述前端注册信息至少包括摄像机ID、摄像机IP地址、摄像机视频流IP地址，摄像机安装位置、摄像机安装参数以及摄像机参数；

S3、进行清洁任务执行设备的注册，清洁机器人向所述中心服务器内的中心管理模块发送机器人注册信息或直接在所述中心服务器内的中心管理模块中添加清洁机器人的机器人注册信息，所述机器人注册信息至少包括清洁机器人ID、清洁机器人IP地址、清洁机器人当前位置、清洁机器人类型以及运行状态；

S4、所述视频摄像机将实时的视频流数据发送至垃圾视觉检测模块中，所述垃圾视觉检测模块完成视频流数据解码、提取关键图像帧、通过检测算法确定在该台所述视频摄像机的拍摄范围内是否存在垃圾，若发现垃圾则将垃圾的坐标信息<，>发送给所述中心管理模块；

S5、所述中心管理模块调用坐标转换模块，使用坐标转换算法将垃圾的坐标信息<，>转换为垃圾在整个应用场景中的位置坐标<，>；

S6、所述中心管理模块从运行状态为可用的清洁机器人中寻找与待清洁区域之间距离最近的清洁机器人，即在所有已注册的清洁机器人中寻找清洁机器人当前位置与目标位置之间的差值d为最小的清洁机器人并获取其清洁机器人ID、选定该清洁机器人，

，

其中，<，>表示垃圾在整个应用场景中的位置坐标，<，>表示清洁机器人当前位置；

S7、所述中心管理模块生成清洁指令，所述清洁指令至少包括清洁机器人ID、垃圾类型以及动作详情，所述中心管理模块将所述清洁指令及垃圾在整个应用场景中的位置坐标一并下发给所选定的清洁机器人、同时将该清洁机器人的运行状态改为不可用；

S8、所述清洁机器人接收到清洁指令及位置坐标后，按要求完成相应的清洁任务，随后向所述中心管理模块反馈任务执行情况，所述任务执行情况至少包括是否已完成清洁以及是否需要人工干预；

S9、所述中心管理模块接收所述任务执行情况并进行判断，

若任务执行情况为已完成清洁，则该清洁任务结束，所述中心管理模块将所述清洁机器人的运行状态实时更新为可用、清洁机器人当前位置实时更新为当前坐标，

若任务执行情况为未完成清洁且需要人工干预，则所述中心管理模块将相应信息发送给系统使用人员，由系统使用人员执行后续的人工操作。

9.根据权利要求8所述的基于分离式视觉检测的清洁机器人控制方法，其特征在于，所述S6可替换为如下步骤：

S60、所述中心管理模块从运行状态为可用的清洁机器人中随机挑选清洁机器人，获取其清洁机器人ID、选定该清洁机器人。