CN117694790A - 脏污检测装置、方法及机器人 - Google Patents

Abstract

本发明公开了一种脏污检测装置、方法及机器人，上述装置包括：设置于机器人机身上的一个或多个传感器，包括：光学感应部件、和/或声波感应部件、和/或电磁感应部件，用于在所述机器人位于待检测区域内时，通过所述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与所述待检测区域内地面相关的信息；处理模块，用于对获取到的所述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。采用上述技术方案，在保证可靠检测率的情况下，能够实现机器人对脏污的自动化、智能化检测，简单而且易于实现，提升了机器人智能化水平及工作效率。

Description

脏污检测装置、方法及机器人

技术领域

本发明涉及人工智能领域，具体而言，涉及一种脏污检测装置、方法及机器人。

背景技术

在酒店、超市、商场、工厂、医院、家庭等环境场所，机器人凭借其高效、准确、连续的工作能力，逐渐替代人工执行清洁任务，上述工作场景环境复杂、多变，机器人执行清洁任务更多的是采用全局遍历，无法根据地面脏污情况进行检测，并针对性清洁，影响机器人执行任务的效果及智能化程度。

目前市面上机器人为实现清洁任务，采用全场景遍历式清洁方式，即控制机器人在目标工作场景中无差别地进行全场景遍历，实现工作场景清洁。

在机器人工作场景中，脏污检测有三种：1)人工检测；2)辅助人工检测；3)红外刷盘检测；人工检测需要消耗人力，且对脏污检测因为光线环境影响比较大，不易准确检测；辅助人工检测是在机器上增加补光(如绿光打到地面，增加灰尘的显尘效果)，该方式可以提升人工检测的成功率，但是仍然需要人工；红外刷盘检测方式是在机器人的刷盘上增加红外检测设备，如果地面脏污，则刷盘上就会更脏，则红外传感器打到刷盘上的反射就会发生变化，进而实现脏污检测，该种检测方式检测率较低，尤其对于脏污程度偏低的场景或清水等浅色脏污没有识别能力。

因此，如何在保证可靠检测率的情况下，提供一种简单且易于实现的脏污自动化检测方案，是目前亟待解决的问题。

发明内容

本发明的主要目的在于公开了一种脏污检测装置、方法及机器人，以至少解决相关技术中如何在保证可靠检测率的情况下，还缺乏一种简单且易于实现的脏污自动化检测方案等问题。

根据本发明的一个方面，提供了一种脏污检测装置。

根据本发明的脏污检测装置包括：设置于机器人机身上的一个或多个传感器，包括：光学感应部件、和/或声波感应部件、和/或电磁感应部件，用于在上述机器人位于待检测区域内时，通过上述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与上述待检测区域内地面相关的信息；处理模块，用于对获取到的上述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

根据本发明的另一方面，提供了一种脏污检测方法。

根据本发明的脏污检测方法包括：在上述机器人位于待检测区域内时，采用设置于机器人机身上的一个或多个传感器，通过上述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与上述待检测区域内地面相关的信息；对获取到的上述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

根据本发明的又一方面，提供了一种机器人。

根据本发明的机器人包括：设置于机器人机身上的一个或多个传感器，包括：光学感应部件、和/或声波感应部件、和/或电磁感应部件，用于在上述机器人位于待检测区域内时，通过上述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与上述待检测区域内地面相关的信息；处理模块，用于对获取到的上述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

根据本发明，提供了一种脏污检测装置、方法及机器人，在保证可靠检测率的情况下，能够实现机器人对脏污的自动化、智能化检测，简单而且易于实现，提升了机器人智能化水平及工作效率。

附图说明

图1是根据本发明实施例的脏污检测装置的结构框图；

图2是根据本发明实例一的设置于机器人机身上的脏污检测装置的结构示意图；

图3是根据本发明实例二的设置于机器人机身上的脏污检测装置的结构示意图；

图4是根据本发明实施例八的脏污检测装置的脏污检测流程图；

图5是根据本发明实施例九的脏污检测装置的脏污检测流程图；

图6是根据本发明实施例的脏污检测装置的脏污检测方法的流程图；

图7是根据本发明实施例的机器人的结构框图。

具体实施方式

下面结合说明书附图对本发明的具体实现方式做一详细描述。

根据本发明实施例，提供了一种脏污检测装置。

图1是根据本发明实施例的脏污检测装置的结构框图。如图1所示，该脏污检测装置包括：设置于机器人机身上的一个或多个传感器(图1示出了N个视觉传感器，10_1，10_2，...，10_M)，包括：光学感应部件、和/或声波感应部件、和/或电磁感应部件，用于在上述机器人位于待检测区域内时，通过上述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与上述待检测区域内地面相关的信息；处理模块12，用于对获取到的上述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

如图1所示的脏污检测装置，可以设置于机器人机身上，例如，脏污检测装置的一个或多个传感器可以设置在机器人的前部位置、后部位置和/或底部位置，在保证可靠检测率的情况下，能够实现机器人对脏污的自动化、智能化检测，简单而且易于实现，提升了机器人智能化水平及工作效率。

优选地，上述一个或多个传感器可以包括但不限于以下至少之一：具有单个摄像头或者多个摄像头的摄像头传感器(例如，不具有发光部件的普通摄像头、结构光红外摄像头等)、TOF传感器、激光传感器(例如，二维激光传感器、三维激光传感器)、超声波传感器、光学材质识别传感器、电磁感应传感器、光谱相机。

需要说明的是，上述脏污检测装置中包括的传感器，不限于利用通过上述光学感应部件获取与上述待检测区域内地面相关的信息的光学传感器，例如，不具有发光部件的普通摄像头、结构光红外摄像头、TOF传感器、激光传感器等所有覆盖所有光学方式的传感器；也不限于通过声波感应部件获取与上述待检测区域内地面相关的信息的超声波传感器、材质识别传感器等，还不限于通过电磁感应部件获取与上述待检测区域内地面相关的信息的材质识别传感器(例如，电磁感应传感器)等。

在优选实施过程中，上述一个或多个传感器可以全方位多角度安装设置于机器人机身上，例如，可以朝向正前方安装，能够对应摄像头地面探测区域即可；也可以按照预定倾斜角度朝向地面安装，可以参见图2所示的示例，还可以安装在布置于机器人底部，朝地面探测，可以参见图3所示的示例。

并且，不仅可以采用一个传感器探测与地面相关的信息，实现脏污检测，例如，采用单个摄像头进行脏污检测，还可以采用多个传感器探测与地面相关的信息，实现脏污检测，例如，采用多目视觉模组进行脏污检测。

优选地，上述脏污检测装置还可以包括：一个或多个补光模块(例如，补光灯等)，用于向地面发射可见光或者非可见光，其中，上述补光模块在每相邻两帧向地面发射不同亮度的光线、或者在所有检测帧都发送同一波段恒定亮度的光线、或者在所有检测帧发送同一波段亮度变化的光线、或者在所有检测帧都发送多个波段恒定亮度的光线、或者在所有检测帧发送多个波段亮度变化的光线。

在优选实施过程中，采用上述脏污检测装置对地面探测的过程中，如果采用的是无发光部件的普通摄像头，则需要采用一个或多个补光模块对地面进行补光。如果采用的是有发光部件的传感器，则可以仅采用该传感器的发光部件对地面进行补光，当然，也可以采用一个或多个补光模块进行补光。

其中，上述一个或多个补光模块向地面发射可见光或者非可见光，上述一个或多个补光模块不仅限于LED光源，还可以是激光光源等。

具体有以下多种方式：

(1)上述一个或多个补光模块可以在每相邻两帧向地面发射不同亮度的光线(即闪烁方式补光方式)，即，每相邻两帧中一帧向地面发射光线、一帧不向地面发射光线的方式，或者，采用一帧向地面发射强度较大光线、一帧向地面发射强度较小光线的方式；

(2)上述一个或多个补光模块也可以在所有检测帧都发送同一波段恒定亮度的光线；

(3)上述一个或多个补光模块也可以在所有检测帧发送同一波段亮度变化的光线，其中，多帧之间亮度可以根据实际情况进行调整；

(4)上述一个或多个补光模块还可以在所有检测帧都发送多个波段恒定亮度的光线；

(5)上述一个或多个补光模块还可以在所有检测帧都发送多个波段恒定变化的光线，其中，多帧之间亮度可以根据实际情况进行调整。

以下结合脏污检测装置的多种优选实施方式进行说明。

实施例一：

优选地，上述脏污检测装置中，上述一个或多个传感器可以包括：一个摄像头传感器(可以是不包括发光部件的普通摄像头，也可以是包括发光部件的摄像头，例如，结构光红外摄像头等)，用于按照预定频率采集地面图像数据；上述一个或多个补光模块和/或上述一个摄像头的发光部件，用于在所有检测帧发送同一波段恒定亮度或者同一波段亮度变化的光线；上述处理模块，用于从上述地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，并根据上述梯度特征得到脏污相关数据，从上述脏污相关数据中剔除地面纹理信息或者地面铺置物引起的噪声数据，得到最终的脏污数据。

需要说明的是，上述摄像头传感器可以带有发光部件，也可以不带有发光部件，对于不带有发光部件的摄像头传感器，对地面进行拍摄获取地面图像数据时，需要补光模块进行补光，而带有发光部件的摄像头传感器，对地面进行拍摄获取地面图像数据时，可以采用补光模块进行补光，也可以不采用补光模块而采用自带的发光部件进行补光。

下面以不带有发光部件的单个摄像头传感器为例进行说明，单个摄像头传感器以预定频率对地面进行拍摄，获取单目图像数据，补光模块发出恒定亮度的光线，对地面脏污物体进行补光，处理模块获取到摄像头拍摄的地面图像，对地面脏污物体因补光发生明显梯度特征进行提取，得到脏污相关数据，需要说明的是，此时的脏污相关数据中可能完全是噪声数据，也可能包括部分的噪声数据，这是由于地面纹理信息(例如，某些地砖上自带纹理特征等)或者地面铺置物(例如，地毯等)也可能导致地面脏污物体因补光而产生明显的梯度特征，为了避免误检，需要进一步对地面纹理信息或者地面铺置物进行检测，例如，结合材质识别传感器再对地面材质进行检测，从脏污相关数据中剔除噪声数据，得到最终的脏污数据。

实施例二：

优选地，上述脏污检测装置中，上述一个或多个传感器包括：多个摄像头传感器，每个摄像头传感器分别用于按照预定频率采集地面图像数据；上述一个或多个补光模块和/或上述多个摄像头的发光部件，用于在所有检测帧都发送同一波段恒定亮度的光线；上述处理模块，用于从各个摄像头采集的地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，并根据上述梯度特征得到各个摄像头对应的脏污相关数据，将各个摄像头对应的梯度特征数据基于摄像头视线重叠区域进行匹配和校验，得到最终的脏污数据。

下面以不带有发光部件的两个摄像头传感器为例进行说明，两个摄像头传感器(双目摄像头)以预定频率对地面进行拍摄，获取双目图像数据，补光模块恒亮，对地面脏污物体进行补光，处理模块获取到摄像头拍摄的地面图像数据，对地面脏污物体因补光发生明显梯度特征进行提取，得到左右目脏污数据。对左右目脏污数据基于左右目视线重叠区域进行匹配和校验，可以剔除左右目脏污数据中的相似特征数据，保留非相似特征特征数据，得到双目匹配脏污数据。

实施例三：

优选地，上述脏污检测装置中，上述一个或多个传感器包括：多个间隔设置的摄像头传感器，各个摄像头传感器分别用于按照预定频率采集地面图像数据；每个摄像头均邻近设置有至少一个补光模块，每个摄像头邻近设置的补光模块在所有检测帧发送同一波段恒定亮度或者同一波段亮度变化的光线，各个摄像头邻近设置的补光模块发出光线对应的波段均不相同，和/或，各个摄像头的发光部件发出不同波段和/或不同亮度的光线；所述处理模块，用于从各个摄像头采集的地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，并根据所述梯度特征得到各个摄像头对应的脏污相关数据，将各个摄像头对应的梯度特征数据基于摄像头视线重叠区域进行匹配和校验，得到最终的脏污数据。

下面以不带有发光部件的两个摄像头传感器为例进行说明，两个摄像头传感器(双目摄像头)分别以一定频率对地面进行拍摄，获取双目图像数据，双目摄像头对应不同光线波段，补光模块设置2个及以上，每个摄像头周围邻近设置有1个补光模块，两个补光模块分别对应左右目不同波段，每个补光模块保持恒定不变的亮度，对地面脏污物体进行补光，处理模块获取到摄像头拍摄的地面图像，对地面脏污物体因补光发生明显梯度特征进行提取，得到左右目脏污数据，对左右目脏污数据基于左右目视线重叠区域进行匹配和校验，还可以剔除左右目脏污数据中的相似特征，保留非相似特征，得到双目匹配脏污数据。

实施例四：

优选地，上述一个或多个传感器包括：一个或多个摄像头传感器，各个摄像头传感器分别用于按照预定频率采集地面图像数据；上述一个或多个补光模块或者上述一个或多个摄像头传感器的发光部件，用于在每相邻两帧向地面发射不同亮度的光线；上述处理模块，用于从各个摄像头传感器采集的地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，得到各个摄像头传感器对应的脏污相关数据，将前后相邻两帧单个摄像头传感器对应的脏污相关数据进行匹配和校验，或者将前后相邻两帧多个摄像头对应的视线重叠区域内的脏污相关数据进行匹配和校验，在梯度变化量大于预定变化量阈值时，得到单个摄像头传感器或者多个摄像头传感器对应的脏污数据。

下面分别以单个或者两个不带有发光部件的摄像头传感器为例进行说明。

对于单个摄像头传感器而言，该摄像头传感器以一定频率对地面进行拍摄，获取单目图像数据，补光模块以闪烁方式对地面脏污物体进行补在每相邻两帧向地面发射不同亮度的光线(例如，一帧亮、一帧灭；或者一帧亮度大、一帧亮度小等等)；或者在每相邻两帧向地面发射不同波段的光线；处理模块获取到该摄像头传感器拍摄的地面图像数据，对地面脏污物体因补光发生明显梯度特征进行提取，得到单目前后两帧的脏污数据，对前后帧脏污数据进行匹配和校验，提取明显明暗变化梯度特征，得到单目脏污数据。

对于两个摄像头传感器而言，上述两个摄像头传感器以一定频率对地面进行拍摄，获取双目图像数据，补光模块以闪烁方式对地面脏污物体进行补在每相邻两帧向地面发射不同亮度的光线(例如，一帧亮、一帧灭；或者一帧亮度大、一帧亮度小等等)；或者在每相邻两帧向地面发射不同波段的光线；处理模块获取到上述两个摄像头传感器拍摄的地面图像数据，对地面脏污物体因补光发生明显梯度特征进行提取，得到双目前后两帧的脏污相关数据，将前后相邻两帧两个摄像头传感器对应的视线重叠区域内的脏污相关数据进行匹配和校验，即将前后帧对应的脏污相关数据进行对比，提取明显明暗变化梯度特征，得到双目脏污数据。

实施例五：

优选地，上述一个或多个传感器包括：一个或多个TOF传感器，用于分别按照预定频率采集地面的深度图像数据；上述处理模块，用于从上述深度图像数据中提取地面深度信息，根据上述地面深度信息拟合得到平面，基于拟合的平面对上述地面深度信息进行统计得到梯度特征信息，提取梯度值大于预定梯度阈值的梯度特征，得到各个TOF传感器对应的脏污数据。

下面以一个TOF传感器为例进行说明，TOF传感器的摄像头以预定频率对地面进行拍摄，获取深度图像数据，处理模块从深度图像数据中提取地面深度信息，拟合得到平面，对地面深度信息基于拟合的平面进行统计，得到梯度信息(例如，噪声梯度信息等)，对噪声梯度值大于预定梯度阈值的梯度信息进行提取，得到该TOF传感器对应的脏污数据。

实施例六：

优选地，上述一个或多个传感器包括：一个或多个激光传感器；上述一个或多个激光传感器，用于按照预定频率对地面进行探测，获取地面深度信息及地面反射光强度信息；上述处理模块，用于根据上述地面深度信息拟合得到第一平面或第一直线，对上述地面深度信息基于拟合的上述第一平面或上述第一直线进行统计，得到第一梯度特征信息，根据上述地面反射光强度信息拟合得到第二平面或第二直线，对上述反射光强度信息基于拟合的第二平面或第二直线进行统计，得到第二梯度特征信息，对深度噪声信息和/或地面反射光强度信息进行解算，并结合上述第一梯度特征信息和第二梯度特征信息，得到脏污数据。

下面以一个激光传感器为例进行说明，该激光传感器以预定频率对地面进行探测，获取地面深度信息及反射光强度信息，提取地面深度信息，拟合得到地面深度平面或直线，同时也获取地面激光反射光强度信息，拟合得到地面反射强度平面或直线，对地面深度信息基于拟合的地面深度平面或直线进行统计，得到第一梯度特征信息，对地面信号反射强度信息基于拟合的地面反射强度平面或直线进行统计，得到第二梯度特征信息，对深度噪声信息与/或地面反射光强度信息进行联合解算，并结合上述第一梯度特征信息和第二梯度特征信息得到地面脏污数据。

实施例七：

优选地，上述一个或多个传感器包括但不限于：一个或多个超声波传感器和/或一个或多个光学材质识别传感器和/或一个或多个电磁感应传感器和/或光谱相机；其中，上述一个或多个超声波传感器，用于通过光学感应部件感知地面的材质特性并提取与材质相关的特征信息，执行地面材质检测；上述一个或多个超声波传感器，用于通过声波感应部件感知地面的材质特性并提取与材质相关的特征信息，执行地面材质检测；上述一个或多个电磁感应传感器，用于通过电磁感应部件，感知地面的材质特性并提取与材质相关的特征信息，执行地面材质检测；上述一个或多个光谱相机，用于通过光学感应部件采集不同波长范围内的光谱数据，执行地面材质检测；则上述处理模块，用于根据材质识别传感器和/或光谱相机的检测结果判断脏污状况。

其中，材质识别传感器的工作原理是基于待检物体材质的特性差异进行材质识别，不同材质的物体在电磁、声波、光学等方面的响应特性不同，通过测量这些特性的差异，可以实现对物体材质的识别。材质识别传感器可以包括但不限于：超声波传感器、光学材质识别传感器、电磁感应传感器等，例如，电磁感应传感器可以通过测量物体对电磁场的吸收、反射、传导等特性来判断物体的材质。

其中，光谱相机可以利用地面在光波(例如，红外光等)波段的反射、辐射或透射能量，通过采集不同波长范围内的光谱数据，实现对地面的材质、成分和结构等特征的分析和识别。

实施例八：

优选地，上述一个或多个传感器包括：一个或多个具有光学感应部件的传感器；上述一个或多个具有光学感应部件的传感器，用于在地面接收到光信号之后，采集来自于地面反射的光信号，其中，上述来自于地面反射的光信号包括：漫反射光信号和反射光信号；上述处理模块，用于判断漫反射光强度与反射光强度的比值是否大于预定强度比值阈值，在大于上述预定强度比值阈值的情况下，判断反射光强度变化频率是否大于第一预定频率阈值，在大于上述第一预定频率阈值的情况下，判断反射光强度变化幅度是否超过预定变化幅度阈值，在小于或等于上述第一预定频率阈值的情况下，确定检测到脏污。

下面结合图4进一步描述上述脏污检测装置的脏污检测流程。

图4是根据本发明实施例八的脏污检测装置的脏污检测流程图。如图5所示，以红外光传感器为例进行说明，该脏污检测流程包括：

步骤S401：红外光传感器的发光部件或者其他红外光源向地面发射红外光信号，其中，红外光传感器可以嵌入在机器人本体底部的凹槽中，朝地面探测，具体可以参见图3的示例；

步骤S402：在地面接收到红外光信号之后，红外光传感器接收到来自于地面反射的光信号，其中，上述来自于地面反射的光信号包括：漫反射光信号和反射光信号，红外光传感器的漫反射光接收单元接收漫反射光信号，红外光传感器的反射光接收单元接收反射光信号；

步骤S403：处理模块判断漫反射光强度与反射光强度的比值是否大于预定强度比值阈值；如果大于强度比值阈值，执行步骤S404，如果小于或者等于该强度比值阈值，则执行步骤S405；

步骤S404：处理模块确定反光异常，继续判断反射光强度变化频率是否大于第一预定频率阈值；如果大于第一预定频率阈值，则执行步骤S406；如果小于或者等于第一预定频率阈值，则执行步骤S407；

步骤S405：处理模块确定反光正常，确定当前地面没有脏污；

步骤S406：处理模块确定地面上反光物体为毛绒类材质，例如，地面上铺设有地毯等；

步骤S407：处理模块确定地面上反光物是脏污或者具有颜色梯度的物体(例如，带有纹理特征的瓷砖等)；

步骤S408：处理模块进一步结合反射光光强度变化幅度进行判定，判断反射光强度变化幅度是否超过预定变化幅度阈值，如果否，则执行步骤S409；如果是，则执行步骤S410；

步骤S409：确定地面上反光物是脏污；

步骤S410：确定地面上反光物是具有颜色梯度的物体(例如，带有纹理特征的瓷砖等)。

实施例九：

优选地，上述一个或多个传感器包括：超声波传感器；上述超声波传感器，用于在地面接收到超声波信号之后，采集来自于地面反射的超声波信号；上述处理模块，用于判断上述反射的超声波信号的能量是否超过预定能量阈值，在小于或者等于上述预定能量阈值的情况下，判断上述机器人当前邻近的预定区域范围内地面反射的超声波信号能量的强度变化频率是否大于第二预定频率阈值，在小于或等于上述第二预定频率阈值的情况下，确定检测到脏污。

下面结合图5进一步描述上述脏污检测装置的脏污检测流程。

图5是根据本发明实施例九的脏污检测装置的脏污检测流程图。如图5所示，该脏污检测流程包括：

步骤S501：超声波传感器或者其他超声波信号源向地面发射超声波信号，其中，超声波传感器可以嵌入在机器人本体底部凹槽中，朝地面探测，具体可以参见图3的示例；

步骤S502：在地面接收到超声波信号之后，超声波传感器接收到来自于地面反射的超声波信号；

步骤S503：处理模块判断反射的超声波信号的能量是否超过预定能量阈值；如果小于或者等于预定能量阈值，执行步骤S504，如果大于该预定能量阈值，则执行步骤S505；

步骤S504：处理模块继续判断上述机器人当前邻近的预定区域范围内地面反射的超声波信号能量的强度变化频率是否超过第二预定频率阈值；如果没有超过第二预定频率阈值(即小于或者等于第二预定频率阈值)，则执行步骤S506，如果超过第二预定频率阈值(即大于第二预定频率阈值)，则执行步骤S507；

步骤S505：处理模块确定地面上的反射物不是脏污；

步骤S506：处理模块确定地面上的反射物为毛绒类材质，例如，地面上铺设有地毯等；

步骤S507：处理模块确定地面上的反射物是脏污。

实施例十：

优选地，上述脏污检测装置还可以包括：深度学习模块，用于基于脏污特征训练，构建深度学习目标检测模型，在上述机器人位于待检测区域内时，将上述一个或多个传感器获取到的地面图像数据输入上述深度学习目标检测模型，对脏污进行检测，并基于脏污检测结果，确定脏污类别和/或数量。

在优选实施过程中，深度学习模块，基于脏污特征训练获得目标检测模型，对脏污进行检测，并能准确的区分出脏污类型，例如，灰尘、颗粒、液体等。因此上述深度学习模块可以单独使用，用于实现脏污检测。

当然，上述深度学习模块，也可以结合上述各个传感器与处理模块的脏污检测结果，联合实现更为具体的脏污检测。因此采用深度学习模块，可以进一步辅助脏污检测装置实现地面脏污的检测，提高检测的可靠性和准确性，提升了机器人智能化水平及工作效率。

根据本发明实施例，还提供了一种脏污检测装置的脏污检测方法。

图6是根据本发明实施例的脏污检测装置的脏污检测方法的流程图。如图6所示，根据上述任一项所述的脏污检测装置的脏污检测方法包括：

步骤S601：在机器人位于待检测区域内时，设置于机器人机身上的一个或多个传感器，通过光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与上述待检测区域内地面相关的信息；

步骤S602：对获取到的上述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

采用图6所示的脏污检测方法，在保证可靠检测率的情况下，能够实现机器人对脏污的自动化、智能化检测，简单而且易于实现，提升了机器人智能化水平及工作效率。

优选地，上述脏污检测方法还可以包括：在上述机器人执行脏污检测过程中，通过一个或多个补光模块和/或上述一个或多个传感器的发光部件，向地面发射可见光或者非可见光，其中，上述补光模块在每相邻两帧向地面发射不同亮度的光线、或者在所有检测帧都发送同一波段相同强度的光线、或者在所有检测帧都发送多个波段相同强度的光线，上述一个或多个传感器包括以下至少之一：具有单个摄像头或者多个摄像头的摄像头传感器、TOF传感器、激光传感器、超声波传感器、材质识别传感器。

优选地，上述一个或多个补光模块和/或上述一个或多个传感器的发光部件，用于通过以下至少之一的方式调节光线的强度：(1)根据环境光的亮度调节光线的强度；例如，当环境光的亮度较低，则可以调高补光模块的亮度，反之，当环境光的亮度较高，则可以调低补光模块的亮度等。(2)根据前一帧或者前多帧的脏污检测状况(例如，脏污检测数量、脏污的类别等)调节光线的强度；具体地，脏污类型如液体、灰尘不同，对应的反光亮度也不同。(3)根据机器人当前运动速度调节光线的强度(例如，当机器人当前运动速度大于预设阈值时，则可以调高补光模块的亮度，当机器人当前运动速度小于或者等于预设阈值时，则可以调低补光模块的亮度等)。

优选地，上述脏污检测方法还可以包括：基于机器人同时定位与地图构建SLAM功能，构建世界坐标系；根据上述机器人的位姿数据以及获取到的脏污数据，创建脏污地图，并在发生SLAM闭环时，对上述脏污地图进行修正；根据上述获取到的脏污数据，将多个脏污区域进行聚类合并，获取整合后的脏污区域；根据整合后的脏污区域，执行相应的业务决策和处理。

在优选实施过程中，可以基于机器人SLAM模块，构建世界坐标系，根据机器人的位姿信息以及获取到的脏污数据，创建脏污地图，并在SLAM闭环情况下，对脏污地图进行修正。之后基于脏污地图进行脏污聚类，例如，对于预定距离范围内的脏污区域可以进行整合，形成一个或多个整合后的脏污区域，基于整合后的脏污区域，可以执行相应的业务决策和处理，例如，执行机器人清洁策略或对脏污信息进行统计，方便清洁强度、元器件等更换、与其他业务交互、或者执行脏污区域二次清扫等业务。

需要说明的是，上述脏污检测方法的各种优选实施方式可以参见图1至图5、实施例一至实施例十的描述，此处不再赘述。

根据本发明实施例，还提供了一种机器人。

图7是根据本发明实施例的机器人的结构框图。如图7所示，该机器人包括：一个或多个上述任一项所述的脏污检测装置(图中示出了M个，70_1，70_2，...，70_M)；存储器72，用于存储计算机执行指令；处理器74，用于执行上述存储器存储的计算机执行指令，使得上述机器人执行如上述任一项所述的脏污检测方法。其中，上述脏污检测装置可以参见参见图1至图5、实施例一至实施例十的描述，此处不再赘述。上述脏污检测方法可以参见参见图6的描述，此处不再赘述。

图7所示的机器人，可以实现脏污自动化、智能化检测，简单且易于实现，并在机器人清洁到脏污区域前进行脏污的提前检测，进而针对性进行对于的策略性清洁。并且，根据脏污检测装置的脏污检测结果以及机器人位姿数据，自动创建脏污地图，并基于聚类后的脏污区域，执行相应的业务决策和处理，应用范围广泛。

优选地，上述一个或多个脏污检测装置的传感器可以设置于机器人本体的前方位置和/或后方位置和/或底部位置。

例如，可以同时在机器人本体的前方位置和后方位置同时设置脏污检测装置的传感器，设置于前方位置的传感器中的至少一个传感器，用于在机器人未行进至当前脏污位置前，根据对上述当前脏污的脏污检测结果(例如，脏污位置信息，脏污面积信息、脏污类型信息等)确定脏污等级，以确定与上述脏污等级对应的脏污处理策略(不同脏污等级对应不同的脏污处理策略)；设置于后方位置的传感器中的至少一个传感器，用于在上述机器人执行与上述脏污处理策略对应的清洁处理，并离开上述当前脏污位置之后，根据对上述当前脏污的脏污检测结果判断是否需要重新返回至上述当前脏污位置。因此，在机器人本体的前方位置和后方位置同时设置一个或多个传感器，这样不仅可以在机器人运行至脏污区域前进行脏污的提前检测，在机器人清洁过脏污后离开时还可以判断机器人是否将脏污有效清洁掉。

综上所述，借助本发明提供的上述实施方式，提供了脏污检测装置的多种实现形式，设置于机器人的传感器可以通过所述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与所述待检测区域内地面相关的信息，对获取到的所述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测，在保证可靠检测率的情况下，能够实现机器人对脏污的自动化、智能化检测，简单而且易于实现，提升了机器人智能化水平及工作效率。并且，根据脏污检测装置的脏污检测结果以及机器人位姿数据，自动创建脏污地图，并基于聚类后的脏污区域，执行相应的业务决策和处理，应用范围广泛。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (19)

1.一种脏污检测装置，其特征在于，包括：

设置于机器人机身上的一个或多个传感器，包括：光学感应部件、和/或声波感应部件、和/或电磁感应部件，用于在所述机器人位于待检测区域内时，通过所述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与所述待检测区域内地面相关的信息；

处理模块，用于对获取到的所述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

2.根据权利要求1所述的装置，其特征在于，所述一个或多个传感器包括以下至少之一：具有单个摄像头或者多个摄像头的摄像头传感器、TOF传感器、激光传感器、超声波传感器、光学材质识别传感器、电磁感应传感器、光谱相机。

3.根据权利要求1所述的装置，其特征在于，还包括：

一个或多个补光模块，用于向地面发射可见光或者非可见光，其中，所述补光模块在每相邻两帧向地面发射不同亮度的光线、或者在所有检测帧都发送同一波段恒定亮度的光线、或者在所有检测帧发送同一波段亮度变化的光线、或者在所有检测帧都发送多个波段恒定亮度的光线、或者在所有检测帧发送多个波段亮度变化的光线。

4.根据权利要求3所述的装置，其特征在于，所述一个或多个传感器包括：一个摄像头传感器，用于按照预定频率采集地面图像数据；

所述一个或多个补光模块和/或所述一个摄像头传感器的发光部件，用于在所有检测帧发送同一波段恒定亮度或者同一波段亮度变化的光线；

所述处理模块，用于从所述地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，并根据所述梯度特征得到脏污相关数据，从所述脏污相关数据中剔除地面纹理信息或者地面铺置物引起的噪声数据，得到最终的脏污数据。

5.根据权利要求3所述的装置，其特征在于，所述一个或多个传感器包括：多个摄像头传感器，各个摄像头传感器分别用于按照预定频率采集地面图像数据；

所述一个或多个补光模块和/或所述多个摄像头传感器的发光部件，用于在所有检测帧都发送同一波段恒定亮度的光线；

所述处理模块，用于从各个摄像头传感器采集的地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，并根据所述梯度特征得到各个摄像头传感器对应的脏污相关数据，将各个摄像头传感器对应的梯度特征数据基于摄像头视线重叠区域进行匹配和校验，得到最终的脏污数据。

6.根据权利要求3所述的装置，其特征在于，所述一个或多个传感器包括：多个间隔设置的摄像头传感器，各个摄像头传感器分别用于按照预定频率采集地面图像数据；

每个摄像头均邻近设置有至少一个补光模块，每个摄像头邻近设置的补光模块在所有检测帧发送同一波段恒定亮度或者同一波段亮度变化的光线，各个摄像头邻近设置的补光模块发出光线对应的波段均不相同，和/或，各个摄像头的发光部件发出不同波段和/或不同亮度的光线；

所述处理模块，用于从各个摄像头采集的地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，并根据所述梯度特征得到各个摄像头对应的脏污相关数据，将各个摄像头对应的梯度特征数据基于摄像头视线重叠区域进行匹配和校验，得到最终的脏污数据。

7.根据权利要求3所述的装置，其特征在于，所述一个或多个传感器包括：一个或多个摄像头传感器，各个摄像头传感器分别用于按照预定频率采集地面图像数据；

所述一个或多个补光模块或者所述一个或多个摄像头传感器的发光部件，用于在每相邻两帧向地面发射不同亮度的光线或者在每相邻两帧向地面发射不同波段的光线；

所述处理模块，用于从各个摄像头传感器采集的地面图像数据中提取梯度值大于预定梯度阈值的梯度特征，得到各个摄像头传感器对应的脏污相关数据，将前后相邻两帧单个摄像头传感器对应的脏污相关数据进行匹配和校验，或者将前后相邻两帧多个摄像头传感器对应的视线重叠区域内的脏污相关数据进行匹配和校验，在梯度变化量大于预定变化量阈值时，得到单个摄像头传感器或者多个摄像头传感器对应的脏污数据。

8.根据权利要求2所述的装置，其特征在于，所述一个或多个传感器包括：一个或多个TOF传感器，用于分别按照预定频率采集地面的深度图像数据；

所述处理模块，用于从所述深度图像数据中提取地面深度信息，根据所述地面深度信息拟合得到平面，基于拟合的平面对所述地面深度信息进行统计得到梯度特征信息，提取梯度值大于预定梯度阈值的梯度特征，得到各个TOF传感器对应的脏污数据。

9.根据权利要求2所述的装置，其特征在于，所述一个或多个传感器包括：一个或多个激光传感器；

所述一个或多个激光传感器，用于按照预定频率对地面进行探测，获取地面深度信息及地面反射光强度信息；

所述处理模块，用于根据所述地面深度信息拟合得到第一平面或第一直线，对所述地面深度信息基于拟合的所述第一平面或所述第一直线进行统计，得到第一梯度特征信息，根据所述地面反射光强度信息拟合得到第二平面或第二直线，对所述反射光强度信息基于拟合的第二平面或第二直线进行统计，得到第二梯度特征信息，对深度噪声信息和/或地面反射光强度信息进行解算，并结合所述第一梯度特征信息和第二梯度特征信息，得到脏污数据。

10.根据权利要求2所述的装置，其特征在于，所述一个或多个传感器包括：一个或多个超声波传感器和/或一个或多个光学材质识别传感器和/或一个或多个电磁感应传感器和/或一个或多个光谱相机；

所述一个或多个光学材质识别传感器，用于通过光学感应部件感知地面的材质特性并提取与材质相关的特征信息，执行地面材质检测；

所述一个或多个超声波传感器，用于通过声波感应部件感知地面的材质特性并提取与材质相关的特征信息，执行地面材质检测；

所述一个或多个电磁感应传感器，用于通过电磁感应部件，感知地面的材质特性并提取与材质相关的特征信息，执行地面材质检测；

所述一个或多个光谱相机，用于通过光学感应部件采集不同波长范围内的光谱数据，执行地面材质检测；

所述处理模块，用于根据材质识别传感器和/或光谱相机的检测结果判断脏污状况。

11.根据权利要求1所述的装置，其特征在于，所述一个或多个传感器包括：一个或多个具有光学感应部件的传感器；

所述一个或多个具有光学感应部件的传感器，用于在地面接收到光信号之后，采集来自于地面反射的光信号，其中，所述来自于地面反射的光信号包括：漫反射光信号和反射光信号；

所述处理模块，用于判断漫反射光强度与反射光强度的比值是否大于预定强度比值阈值，在大于所述预定强度比值阈值的情况下，判断反射光强度变化频率是否大于第一预定频率阈值，在大于所述第一预定频率阈值的情况下，判断反射光强度变化幅度是否超过预定变化幅度阈值，在小于或等于所述第一预定频率阈值的情况下，确定检测到脏污。

12.根据权利要求1所述的装置，其特征在于，所述一个或多个传感器包括：超声波传感器；

所述超声波传感器，用于在地面接收到超声波信号之后，采集来自于地面反射的超声波信号；

所述处理模块，用于判断所述反射的超声波信号的能量是否超过预定能量阈值，在小于或者等于所述预定能量阈值的情况下，判断所述机器人当前邻近的预定区域范围内地面反射的超声波信号能量的强度变化频率是否大于预定第二预定频率阈值，在小于或等于所述第二预定频率阈值的情况下，确定检测到脏污。

13.根据权利要求1至12中任一项所述的装置，其特征在于，还包括：

深度学习模块，用于基于脏污特征训练，构建深度学习目标检测模型，在所述机器人位于待检测区域内时，将所述一个或多个传感器获取到的地面图像数据输入所述深度学习目标检测模型，对脏污进行检测，并基于脏污检测结果，确定脏污类别和/或数量。

14.一种根据权利要求1至13中任一项所述的脏污检测装置的脏污检测方法，其特征在于，包括：

在所述机器人位于待检测区域内时，设置于机器人机身上的一个或多个传感器，通过所述光学感应部件、和/或声波感应部件、和/或电磁感应部件获取与所述待检测区域内地面相关的信息；

对获取到的所述与地面相关的信息提取特征信息，并根据特征信息实现脏污检测。

15.根据权利要求14所述的方法，其特征在于，还包括：

在所述机器人执行脏污检测过程中，通过一个或多个补光模块和/或所述一个或多个传感器的发光部件，向地面发射可见光或者非可见光，其中，所述补光模块在每相邻两帧向地面发射不同亮度的光线、或者在所有检测帧都发送同一波段相同强度的光线、或者在所有检测帧都发送多个波段相同强度的光线，所述一个或多个传感器包括以下至少之一：具有单个摄像头或者多个摄像头的摄像头传感器、TOF传感器、激光传感器、超声波传感器、材质识别传感器。

16.根据权利要求15所述的方法，其特征在于，所述一个或多个补光模块和/或所述一个或多个传感器的发光部件，用于通过以下至少之一的方式调节光线的强度：

根据环境光的亮度调节光线的强度；

根据前一帧或者前多帧的脏污检测状况调节光线的强度；

根据机器人当前运动速度调节光线的强度。

17.根据权利要求14至16中任一项所述的方法，其特征在于，还包括：

基于机器人同时定位与地图构建SLAM功能，构建世界坐标系；

根据所述机器人的位姿数据以及获取到的脏污数据，创建脏污地图，并在发生SLAM闭环时，对所述脏污地图进行修正；

根据所述获取到的脏污数据，将多个脏污区域进行聚类合并，获取整合后的脏污区域；

根据整合后的脏污区域，执行相应的业务决策和处理。

18.一种机器人，其特征在于，包括：

一个或多个如权利要求1至13中任一项所述的脏污检测装置；

存储器，用于存储计算机执行指令；

处理器，用于执行所述存储器存储的计算机执行指令，使得所述机器人执行如权利要求14至17中任一项所述的脏污检测方法。

19.根据权利要求18所述的机器人，其特征在于，所述一个或多个脏污检测装置的传感器设置于机器人本体的前方位置和/或后方位置和/或底部位置。