CN114723767A - 一种污渍检测方法、装置、电子设备和扫地机器人系统 - Google Patents
一种污渍检测方法、装置、电子设备和扫地机器人系统 Download PDFInfo
- Publication number
- CN114723767A CN114723767A CN202210395035.4A CN202210395035A CN114723767A CN 114723767 A CN114723767 A CN 114723767A CN 202210395035 A CN202210395035 A CN 202210395035A CN 114723767 A CN114723767 A CN 114723767A
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- pixel points
- determining
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000010408 sweeping Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 36
- 239000003086 colorant Substances 0.000 claims abstract description 12
- 238000003708 edge detection Methods 0.000 claims description 48
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 239000002689 soil Substances 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种污渍检测方法、装置、电子设备和扫地机器人系统，涉及图像处理技术领域，该方法包括：获取包含地面的待检测图像；基于待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，分割图像中属于不同组的像素点标记为不同的颜色；目标属性包括像素点的颜色值；基于分割图像中各像素点的像素值之间的差异，确定分割图像中对象的边缘；在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。如此，能够降低扫地机器人的使用复杂度，以及减少扫地机器人的存储空间的占用。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种污渍检测方法、装置、电子设备和扫地机器人系统。
背景技术
随着社会生活节奏的不断加快，越来越多的用户使用扫地机器人完成地面的清理工作。
相关技术中，扫地机器人可以采集当前地面的图像，并将该图像与存储的地面中不存在污渍时的图像进行比对，以确定地面中当前是否存在污渍。
可见，相关技术中，需要预先获取地面中不存在污渍时的图像，并存储在扫地机器人中，会增加扫地机器人的使用复杂度，且会占用扫地机器人的存储空间。
发明内容
本申请实施例的目的在于提供一种污渍检测方法、装置、电子设备和扫地机器人系统，以降低扫地机器人的使用复杂度，以及减少扫地机器人的存储空间的占用。具体技术方案如下：
第一方面，为了达到上述目的，本申请实施例公开了一种污渍检测方法，所述方法包括：
获取包含地面的待检测图像；
基于所述待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，所述分割图像中属于不同组的像素点标记为不同的颜色；所述目标属性包括像素点的颜色值；
基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘；
在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
可选的，所述基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘，包括：
基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘；
其中，所述目标轮廓像素点表示所述分割图像中每一颜色的图像区域的轮廓；所述目标边缘像素点为基于预设边缘检测算法对所述分割图像进行边缘检测确定的。
可选的，所述基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘，包括：
确定所述目标轮廓像素点中不属于所述目标边缘像素点的像素点，作为待过滤像素点；
将所述目标轮廓像素点中除所述待过滤像素点以外的其他像素点构成的边，确定为所述分割图像中对象的边缘。
可选的，所述目标轮廓像素点的确定过程包括：
确定所述分割图像中每一颜色的图像区域的轮廓处的像素点，作为初始轮廓像素点；
基于所述初始轮廓像素点，确定目标轮廓像素点。
可选的，所述基于所述初始轮廓像素点，确定目标轮廓像素点，包括：
将所述初始轮廓像素点确定为目标轮廓像素点；
或，
针对每一初始轮廓像素点，确定所述分割图像中该初始轮廓像素点的指定邻域内的像素点，作为对应的目标轮廓像素点。
可选的，所述目标边缘像素点的确定过程包括：
基于预设边缘检测算法对所述分割图像进行边缘检测，得到初始边缘像素点；
基于所述初始边缘像素点，确定目标边缘像素点。
可选的，所述基于所述初始边缘像素点，确定目标边缘像素点，包括：
将所述初始边缘像素点确定为目标边缘像素点；
或，
针对每一初始边缘像素点，确定所述分割图像中该初始边缘像素点的指定邻域内的像素点，作为对应的目标边缘像素点。
可选的，所述在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍，包括：
若确定出的一个对象的边缘满足预设的污渍边缘特征，且基于激光扫描的结果表示该对象对应的地面处不存在物体，则确定该对象对应的地面处存在污渍。
可选的，所述待检测图像包含图像采集模块移动过程中采集的多个图像帧；
所述在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍，包括：
若基于各图像帧确定出的同一个对象的边缘均满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍。
可选的，所述目标属性还包括像素点的位置和/或亮度值。
第二方面，为了达到上述目的，本申请实施例公开了一种污渍检测装置，所述装置包括：
待检测图像获取模块，用于获取包含地面的待检测图像；
图像分割模块，用于基于所述待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，所述分割图像中属于不同组的像素点标记为不同的颜色；所述目标属性包括像素点的颜色值；
边缘确定模块，用于基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘；
污渍检测模块，用于在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
可选的，所述边缘确定模块，具体用于基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘；
其中，所述目标轮廓像素点表示所述分割图像中每一颜色的图像区域的轮廓；所述目标边缘像素点为基于预设边缘检测算法对所述分割图像进行边缘检测确定的。
可选的，所述边缘确定模块，具体用于确定所述目标轮廓像素点中不属于所述目标边缘像素点的像素点，作为待过滤像素点；
将所述目标轮廓像素点中除所述待过滤像素点以外的其他像素点构成的边，确定为所述分割图像中对象的边缘。
可选的，所述装置还包括：
初始轮廓像素点确定模块，用于确定所述分割图像中每一颜色的图像区域的轮廓处的像素点，作为初始轮廓像素点；
目标轮廓像素点确定模块，用于基于所述初始轮廓像素点，确定目标轮廓像素点。
可选的，所述目标轮廓像素点确定模块，具体用于将所述初始轮廓像素点确定为目标轮廓像素点；
或，
针对每一初始轮廓像素点，确定所述分割图像中该初始轮廓像素点的指定邻域内的像素点，作为对应的目标轮廓像素点。
可选的，所述装置还包括：
初始边缘像素点确定模块，用于基于预设边缘检测算法对所述分割图像进行边缘检测，得到初始边缘像素点；
目标边缘像素点确定模块，用于基于所述初始边缘像素点，确定目标轮廓像素点。
可选的，所述目标边缘像素点确定模块，具体用于将所述初始边缘像素点确定为目标边缘像素点；
或，
针对每一初始边缘像素点，确定所述分割图像中该初始边缘像素点的指定邻域内的像素点，作为对应的目标边缘像素点。
可选的，所述污渍检测模块，具体用于若确定出的一个对象的边缘满足预设的污渍边缘特征，且基于激光扫描的结果表示该对象对应的地面处不存在物体，则确定该对象对应的地面处存在污渍。
可选的，所述待检测图像包含图像采集模块移动过程中采集的多个图像帧；
所述污渍检测模块，具体用于若基于各图像帧确定出的同一个对象的边缘均满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍。
可选的，所述目标属性还包括像素点的位置和/或亮度值。
在本申请实施的另一方面，为了达到上述目的，本申请实施例还公开了一种扫地机器人系统，包括图像采集模块和处理器；
所述图像采集模块，用于采集包含地面的待检测图像；
所述处理器，用于执行上述任一所述的污渍检测方法。
可选的，还包括激光传感器，用于对地面进行扫描，以确定扫描的地面中是否存在物体。
在本申请实施的另一方面，为了达到上述目的，本申请实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述任一所述的污渍检测方法。
在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的污渍检测方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的污渍检测方法。
本申请实施例有益效果：
本申请实施例提供的污渍检测方法，获取包含地面的待检测图像；基于待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，分割图像中属于不同组的像素点标记为不同的颜色；目标属性包括像素点的颜色值；基于分割图像中各像素点的像素值之间的差异，确定分割图像中对象的边缘；在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
基于上述处理，根据像素点的颜色值，在分割图像中能够将地面与地面中的对象区分开，进而，可以基于分割图像，确定出图像中对象的边缘，并结合污渍边缘特征，确定是否存在污渍，无需预先获取地面中不存在污渍时的图像，进而，能够降低扫地机器人的使用复杂度，以及减少扫地机器人的存储空间的占用。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种污渍检测方法的流程图；
图2为本申请实施例提供的另一种污渍检测方法的流程图；
图3为本申请实施例提供的另一种污渍检测方法的流程图；
图4为本申请实施例提供的一种污渍检测的原理示意图；
图5为本申请实施例提供的一种污渍检测装置的结构图；
图6为本申请实施例提供的一种扫地机器人系统的结构图；
图7为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，需要预先获取地面中不存在污渍时的图像，并存储在扫地机器人中，会增加扫地机器人的使用复杂度，且会占用扫地机器人的存储空间。
为了解决上述问题，本申请实施例提供了一种污渍检测方法，该方法可以应用于电子设备，该电子设备可以集成在扫地机器人的内部，以基于扫地机器人采集的图像(即待检测图像)对地面中的污渍进行检测。
参见图1，图1为本申请实施例提供的一种污渍检测方法的流程图，该方法可以包括以下步骤：
S101：获取包含地面的待检测图像。
S102：基于待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像。
其中，分割图像中属于不同组的像素点标记为不同的颜色；目标属性包括像素点的颜色值。
S103：基于分割图像中各像素点的像素值之间的差异，确定分割图像中对象的边缘。
S104：在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
本申请实施例提供的污渍检测方法，根据像素点的颜色值，在分割图像中能够将地面与地面中的对象区分开，进而，可以基于分割图像，确定出图像中对象的边缘，并结合污渍边缘特征，确定是否存在污渍，无需预先获取地面中不存在污渍时的图像，进而，能够降低扫地机器人的使用复杂度，以及减少扫地机器人的存储空间的占用。
针对步骤S101，一种实现方式中，待检测图像可以为图像采集模块(例如，扫地机器人中的相机)采集得到的。例如，待检测图像为RGB(Red，Green，and Blue，红绿蓝)图像。另外，地面通常位于扫地机器人采集的图像中的下部，因此，可以对扫地机器人采集的图像进行裁剪，得到地面所占的部分，作为待检测图像。待检测图像可以为一个图像帧，也可以为多个图像帧。
针对步骤S102，像素点的颜色值可以包括RGB三通道的值。属于同一个组的像素点的目标属性之间的相似度较高，例如，属于同一个组的像素点的目标属性之间的相似度大于预设相似度阈值。在地面清理的场景中，可以确定出地面中的每一个对象对应的像素点属于同一个组，地面对应的像素点属于同一个组。例如，由于污渍对应的像素点的颜色之间的相似度较高，因此，可以确定出地面中的污渍对应的像素点属于同一个组，地面对应的像素点属于同一个组。
基于像素点的目标属性之间的相似度对各像素点进行分组，得到多个组，进而，针对属于不同组的像素点，可以用不同的颜色进行标记得到分割图像。即，分割图像中属于同一组的像素点用相同的颜色标记。
一种实现方式中，可以基于漫水填充算法、分水岭算法，或GrabCuts(图割)算法，结合像素点的目标属性对待检测图像进行图像分割，也就可以实现对各像素点的分组。
一种实现方式中，也可以基于K-means，或Mean-Shift(均值漂移)等聚类算法，结合像素点的目标属性对各像素点进行聚类。聚类得到的每一个簇作为一个组。
一种实现方式中，也可以基于深度学习网络模型对待检测图像中的像素点进行分组，该深度学习网络模型为基于样本图像中像素点的目标属性，以及像素点的标签进行训练得到的，其中，像素点的标签可以表示该像素点所属的组。
在一个实施例中，在基于上述算法确定出各组后，还可以对分组的结果进行优化处理。例如，若确定出的属于同一个组的像素点的数目小于阈值，可以确定属于该组的像素点为噪声点。针对噪声点，可以将其标记为相邻的像素点的颜色。
在一个实施例中，为了进一步提高污渍检测的准确度，目标属性还可以包括像素点的位置和/或亮度值。像素点的位置可以用像素点在待检测图像中的图像坐标表示。一种实现方式中，可以将待检测图像转换为YUV格式，进而，获取Y通道的值作为像素点的亮度值。
针对步骤S103，由于在分割图像中属于不同组的像素点标记为不同的颜色，不同组的像素点对应不同的对象，因此，在分割图像中不同对象之间的对比更加明显，例如，地面中的物体与地面的对比更加明显。进而，基于分割图像确定出的对象的边缘的准确度也就更高，相应的，也就能够提高污渍检测的准确度。
另外，图像中像素点的亮度变化受光照的影响较大，本申请实施例中并不是基于待检测图像的灰度图确定边缘，而是基于分割图像确定边缘，能够降低光照的影响，以提高确定出的对象的边缘的准确度，相应的，也就能够提高污渍检测的准确度。
针对步骤S104，预设的污渍边缘特征可以表示污渍在地面中的形状。例如，污渍边缘特征表示对象的边缘为闭合状态，且边缘的形状不规则。
在一个实施例中，若确定出的各对象的边缘均不满足预设的污渍边缘特征，则可以确定当前扫描的地面中不存在污渍。
针对一个图像帧，基于上述步骤S101-S104，可以得到相应的检测结果(可以称为初始检测结果)。初始检测结果表示基于该图像帧确定出的对象的边缘中，是否存在一个对象的边缘满足预设的污渍边缘特征。基于该初始检测结果，可以直接确定地面中是否存在污渍。
为了提高污渍检测的准确度，待检测图像也可以为多个图像帧，例如，待检测图像包含图像采集模块移动过程中采集的多个图像帧，该多个图像帧可以为图像采集模块采集的多个连续的图像帧，或者，也可以为对采集的多个连续的图像帧进行采样得到的。相应的，上述步骤S104可以包括以下步骤：
若基于各图像帧确定出的同一个对象的边缘均满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍。
在本申请实施例中，针对每一图像帧，基于上述步骤S101-S104，均可以得到相应的初始检测结果。进而，若多个图像帧的初始检测结果表示同一个对象的边缘均满足预设的污渍边缘特征，则可以确定该对象对应的地面处存在污渍。基于此，结合多个图像帧的初始检测结果，能够提高污渍检测的准确度。
在一个实施例中，可以基于不同的方式，确定分割图像中对象的边缘。参见图2，在图1的基础上，上述步骤S103可以包括以下步骤：
S1031：基于分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定分割图像中对象的边缘。
其中，目标轮廓像素点表示分割图像中每一颜色的图像区域的轮廓；目标边缘像素点为基于预设边缘检测算法对分割图像进行边缘检测确定的。
预设边缘检测算法可以基于分割图像中像素点的像素值的梯度，确定对象的边缘。例如，预设边缘检测算法可以为Canny边缘检测算法，或者为Sobel(索贝尔)边缘检测算法，或者为Scharr边缘检测算法，或者为Laplacian(拉普拉斯)边缘检测算法，但并不限于此。
在本申请实施例中，电子设备可以查找分割图像中每一颜色的图像区域的轮廓，即，确定出轮廓对应的像素点(即目标轮廓像素点)，和/或，基于预设边缘检测算法对分割图像进行边缘检测，得到目标边缘像素点。
基于目标轮廓像素点和/目标边缘像素点，电子设备可以确定分割图像中对象的边缘，即，确定分割图像中每一对象的边缘像素点。
基于上述处理，可以结合轮廓查找以及边缘检测算法，确定分割图像中对象的边缘，能够提高确定出的边缘的精确度，进而，提高污渍检测的准确度。
在一个实施例中，参见图3，在图2的基础上，上述步骤S1031可以包括以下步骤：
S10311：确定目标轮廓像素点中不属于目标边缘像素点的像素点，作为待过滤像素点。
S10312：将目标轮廓像素点中除待过滤像素点以外的其他像素点构成的边，确定为分割图像中对象的边缘。
在本申请实施例中，基于轮廓查找确定出的轮廓像素点中可能存在对象的轮廓以外的像素点，例如，分割图像的上下左右四个边中的像素点。
而基于预设边缘检测算法能够确定出分割图像中的所有边缘像素点，也就能确定出对象的轮廓处的像素点。而待过滤像素点属于目标轮廓像素点，且不属于目标边缘像素点，即，待过滤像素点为基于轮廓查找确定出的对象的轮廓以外的像素点，因此，在确定分割图像中对象的边缘时，可以从目标轮廓像素点中删除待过滤像素点。
在一个实施例中，也可以在基于轮廓查找确定出轮廓像素点后，将轮廓像素点中除分割图像的边缘以外的像素点构成的边，确定为分割图像中对象的边缘。即，无需基于预设边缘检测算法对分割图像进行边缘检测。
在一个实施例中，也可以基于预设边缘检测算法对分割图像进行边缘检测，得到边缘检测结果，边缘检测结果可以表示：分割图像中每一对象的边缘处的像素点。即，基于边缘检测结果可以确定属于同一对象的边缘像素点。相应的，可以直接将边缘像素点构成的边，确定为分割图像中对象的边缘。即，无需基于轮廓查找确定轮廓像素点。
另外，若待检测图像中存在多个对象两两相邻，基于预设边缘检测算法得到的边缘检测结果中会将该多个对象确定为一个对象，即，无法区分出每一对象的边缘。而基于轮廓查找并不会出现这种情况，因此，结合两种方式，能够提高确定出的边缘的准确度，以提高污渍检测的准确度。
在一个实施例中，目标轮廓像素点的确定过程可以包括：
步骤一：确定分割图像中每一颜色的图像区域的轮廓处的像素点，作为初始轮廓像素点。
步骤二：基于初始轮廓像素点，确定目标轮廓像素点。
在本申请实施例中，电子设备可以基于不同的方式确定分割图像中每一颜色的图像区域的轮廓处的像素点。
一种实现方式中，针对某一颜色的图像区域，电子设备可以逐列扫描分割图像中的像素点，确定出为该颜色的像素点(可以称为备选像素点)。进而，针对每一列中的备选像素点，电子设备可以根据各备选像素点的像素坐标(包括高度坐标值和宽度坐标值)，确定高度坐标值最大，以及高度坐标值最小的备选像素点(可以称为目标像素点)。进而，将各列中的目标像素点确定为该颜色的图像区域的轮廓处的初始轮廓像素点。
另一种实现方式中，针对某一颜色的图像区域，电子设备也可以逐行列扫描分割图像中的像素点，以确定该颜色的图像区域的轮廓处的初始轮廓像素点。该方式的原理与逐列扫描的方式类似。
在一个实施例中，上述步骤二可以包括以下步骤：
将初始轮廓像素点确定为目标轮廓像素点；或，针对每一初始轮廓像素点，确定分割图像中该初始轮廓像素点的指定邻域内的像素点，作为对应的目标轮廓像素点。
一种实现方式中，电子设备可以直接将初始轮廓像素点确定为目标轮廓像素点。
另一种方式中，针对同一个对象，基于轮廓查找确定出的该对象所占图像区域的初始轮廓像素点，与基于预设边缘检测算法确定出的该对象的初始边缘像素点可能并不一致。因此，在确定出初始轮廓像素点后，可以进行膨胀处理，即，针对每一初始轮廓像素点，可以将分割图像中该初始轮廓像素点的指定邻域内的像素点，确定为目标轮廓像素点。也就是说，扩展轮廓像素点的范围。进而，能够提高目标轮廓像素点与目标边缘像素点的匹配程度，以进一步提高确定出的对象的边缘的有效性。
其中，指定邻域可以根据经验进行设置。一个像素点的指定邻域可以表示以该像素点为中心的指定大小的图像区域。例如，表示以该像素点为中心的指定大小的正方形图像区域。
在一个实施例中，目标边缘像素点的确定过程可以包括：
步骤1：基于预设边缘检测算法对分割图像进行边缘检测，得到初始边缘像素点。
步骤2：基于初始边缘像素点，确定目标轮廓像素点。
在一个实施例中，上述步骤2可以包括以下步骤：
将初始边缘像素点确定为目标边缘像素点；或，针对每一初始边缘像素点，确定分割图像中该初始边缘像素点的指定邻域内的像素点，作为对应的目标边缘像素点。
一种实现方式中，电子设备可以直接将初始边缘像素点确定为目标边缘像素点。
另一种方式中，针对同一个对象，基于轮廓查找确定出的该对象所占图像区域的初始轮廓像素点，与基于预设边缘检测算法确定出的该对象的初始边缘像素点可能并不一致。因此，在确定出初始边缘像素点后，可以进行膨胀处理，即，针对每一初始边缘像素点，可以将分割图像中该初始边缘像素点的指定邻域内的像素点，确定为目标边缘像素点。也就是说，扩展边缘像素点的范围。进而，能够提高目标轮廓像素点与目标边缘像素点的匹配程度，以进一步提高确定出的对象的边缘的有效性。
在一个实施例中，当根据轮廓查找确定出的轮廓像素点和基于预设边缘检测算法确定出的边缘像素点，确定分割图像中对象的边缘时，可以只对初始轮廓像素点进行膨胀得到目标轮廓像素点，将初始边缘像素点确定为目标边缘像素点，并进行处理。
或者，也可以只对初始边缘像素点进行膨胀得到目标边缘像素点，将初始轮廓像素点确定为目标轮廓像素点，并进行处理。
或者，也可以同时对初始边缘像素点和初始轮廓像素点进行膨胀，得到目标边缘像素点和目标轮廓像素点，并进行处理。
在一个实施例中，上述步骤S104可以包括以下步骤：若确定出的一个对象的边缘满足预设的污渍边缘特征，且基于激光扫描的结果表示该对象对应的地面处存在物体，则确定该对象对应的地面处存在污渍。
在本申请实施例中，针对一个图像帧，若确定出的一个对象的边缘满足预设的污渍边缘特征，还可以基于扫地机器人中的激光传感器对该对象对应的地面处进行扫描。由于污渍在地面上的高度较小，因此，当激光传感器扫描到该对象对应的地面处时，基于得到的点云图确定出其高度较小，进而确定该处不存在物体，也就表明该对象为污渍。反之，若激光传感器扫描到该对象对应的地面处时，基于得到的点云图确定出其高度较大，也就表明该对象为地面中的其他物体，而并不是污渍。
在一个实施例中，若待检测图像包含扫地机器人中的图像采集模块移动过程中采集的多个图像帧，则针对每一图像帧，电子设备可以结合激光扫描的结果，确定该对象对应的地面处是否存在污渍，即，得到每一图像帧对应的初始检测结果。进而，若多个图像帧的初始检测结果表示同一个对象对应的地面处存在污渍，则电子设备可以确定该对象对应的地面处存在污渍。
参见图4，图4为本申请实施例提供的一种污渍检测的原理示意图。
电子设备可以获取RGB图像，即，扫地机器人采集的包含地面的待检测图像。然后，对该RGB图像进行图像分割(即基于该RGB图像中像素点的目标属性对各像素点进行分组)，得到分割图像。进而，可以基于分割图像进行轮廓查找，得到目标轮廓像素点，以及基于预设边缘检测算法进行边缘检测，得到目标边缘像素点。进而，电子设备可以进行污渍判定，即，判断基于待检测图像确定出的对象的边缘是否满足预设的污渍边缘特征。另外，电子设备还可以进行污渍过滤，即，若确定出的一个对象的边缘满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍，则结合激光扫描的结果，确定该对象对应的地面处是否存在物体。
基于相同的发明构思，本申请实施例还提供了一种污渍检测装置，参见图5，图5为本申请实施例提供的一种污渍检测装置的结构图，包括：
待检测图像获取模块501，用于获取包含地面的待检测图像；
图像分割模块502，用于基于所述待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，所述分割图像中属于不同组的像素点标记为不同的颜色；所述目标属性包括像素点的颜色值；
边缘确定模块503，用于基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘；
污渍检测模块504，用于在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
可选的，所述边缘确定模块503，具体用于基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘；
其中，所述目标轮廓像素点表示所述分割图像中每一颜色的图像区域的轮廓；所述目标边缘像素点为基于预设边缘检测算法对所述分割图像进行边缘检测确定的。
可选的，所述边缘确定模块503，具体用于确定所述目标轮廓像素点中不属于所述目标边缘像素点的像素点，作为待过滤像素点；
将所述目标轮廓像素点中除所述待过滤像素点以外的其他像素点构成的边，确定为所述分割图像中对象的边缘。
可选的，所述装置还包括：
初始轮廓像素点确定模块，用于确定所述分割图像中每一颜色的图像区域的轮廓处的像素点，作为初始轮廓像素点；
目标轮廓像素点确定模块，用于基于所述初始轮廓像素点，确定目标轮廓像素点。
可选的，所述目标轮廓像素点确定模块，具体用于将所述初始轮廓像素点确定为目标轮廓像素点；
或，
针对每一初始轮廓像素点，确定所述分割图像中该初始轮廓像素点的指定邻域内的像素点，作为对应的目标轮廓像素点。
可选的，所述装置还包括：
初始边缘像素点确定模块，用于基于预设边缘检测算法对所述分割图像进行边缘检测，得到初始边缘像素点；
目标边缘像素点确定模块，用于基于所述初始边缘像素点，确定目标轮廓像素点。
可选的，所述目标边缘像素点确定模块，具体用于将所述初始边缘像素点确定为目标边缘像素点；
或，
针对每一初始边缘像素点，确定所述分割图像中该初始边缘像素点的指定邻域内的像素点，作为对应的目标边缘像素点。
可选的，所述污渍检测模块504，具体用于若确定出的一个对象的边缘满足预设的污渍边缘特征，且基于激光扫描的结果表示该对象对应的地面处不存在物体，则确定该对象对应的地面处存在污渍。
可选的，所述待检测图像包含图像采集模块移动过程中采集的多个图像帧；
所述污渍检测模块504，具体用于若基于各图像帧确定出的同一个对象的边缘均满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍。
可选的，所述目标属性还包括像素点的位置和/或亮度值。
参见图6，图6为本申请实施例提供的一种扫地机器人系统的结构图，该扫地机器人系统包括图像采集模块601和处理器602；
所述图像采集模块601，用于采集包含地面的待检测图像；
所述处理器602，用于执行上述任一所述的污渍检测方法。
可选的，该扫地机器人系统还包括激光传感器，用于对地面进行扫描，以确定扫描的地面中是否存在物体。
本申请实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取包含地面的待检测图像；
基于所述待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，所述分割图像中属于不同组的像素点标记为不同的颜色；所述目标属性包括像素点的颜色值；
基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘；
在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一污渍检测方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一污渍检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、扫地机器人系统、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (17)
1.一种污渍检测方法，其特征在于，所述方法包括：
获取包含地面的待检测图像；
基于所述待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，所述分割图像中属于不同组的像素点标记为不同的颜色；所述目标属性包括像素点的颜色值；
基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘；
在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
2.根据权利要求1所述的方法，其特征在于，所述基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘，包括：
基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘；
其中，所述目标轮廓像素点表示所述分割图像中每一颜色的图像区域的轮廓；所述目标边缘像素点为基于预设边缘检测算法对所述分割图像进行边缘检测确定的。
3.根据权利要求2所述的方法，其特征在于，所述基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘，包括：
确定所述目标轮廓像素点中不属于所述目标边缘像素点的像素点，作为待过滤像素点；
将所述目标轮廓像素点中除所述待过滤像素点以外的其他像素点构成的边，确定为所述分割图像中对象的边缘。
4.根据权利要求2所述的方法，其特征在于，所述目标轮廓像素点的确定过程包括：
确定所述分割图像中每一颜色的图像区域的轮廓处的像素点，作为初始轮廓像素点；
基于所述初始轮廓像素点，确定目标轮廓像素点。
5.根据权利要求4所述的方法，其特征在于，所述基于所述初始轮廓像素点，确定目标轮廓像素点，包括：
将所述初始轮廓像素点确定为目标轮廓像素点；
或，
针对每一初始轮廓像素点，确定所述分割图像中该初始轮廓像素点的指定邻域内的像素点，作为对应的目标轮廓像素点。
6.根据权利要求2所述的方法，其特征在于，所述目标边缘像素点的确定过程包括：
基于预设边缘检测算法对所述分割图像进行边缘检测，得到初始边缘像素点；
基于所述初始边缘像素点，确定目标边缘像素点。
7.根据权利要求6所述的方法，其特征在于，所述基于所述初始边缘像素点，确定目标边缘像素点，包括：
将所述初始边缘像素点确定为目标边缘像素点；
或，
针对每一初始边缘像素点，确定所述分割图像中该初始边缘像素点的指定邻域内的像素点，作为对应的目标边缘像素点。
8.根据权利要求1所述的方法，其特征在于，所述在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍，包括：
若确定出的一个对象的边缘满足预设的污渍边缘特征，且基于激光扫描的结果表示该对象对应的地面处不存在物体，则确定该对象对应的地面处存在污渍。
9.根据权利要求1所述的方法，其特征在于，所述待检测图像包含图像采集模块移动过程中采集的多个图像帧；
所述在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍，包括：
若基于各图像帧确定出的同一个对象的边缘均满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍。
10.根据权利要求1所述的方法，其特征在于，所述目标属性还包括像素点的位置和/或亮度值。
11.一种污渍检测装置，其特征在于，所述装置包括：
待检测图像获取模块，用于获取包含地面的待检测图像；
图像分割模块，用于基于所述待检测图像中像素点的目标属性之间的相似度对各像素点进行分组，得到分割图像；其中，所述分割图像中属于不同组的像素点标记为不同的颜色；所述目标属性包括像素点的颜色值；
边缘确定模块，用于基于所述分割图像中各像素点的像素值之间的差异，确定所述分割图像中对象的边缘；
污渍检测模块，用于在确定出的一个对象的边缘满足预设的污渍边缘特征的情况下，确定该对象对应的地面处存在污渍。
12.根据权利要求11所述的装置，其特征在于，所述边缘确定模块，具体用于基于所述分割图像中的目标轮廓像素点，和/或目标边缘像素点，确定所述分割图像中对象的边缘；
其中，所述目标轮廓像素点表示所述分割图像中每一颜色的图像区域的轮廓；所述目标边缘像素点为基于预设边缘检测算法对所述分割图像进行边缘检测确定的；
所述边缘确定模块，具体用于确定所述目标轮廓像素点中不属于所述目标边缘像素点的像素点，作为待过滤像素点；
将所述目标轮廓像素点中除所述待过滤像素点以外的其他像素点构成的边，确定为所述分割图像中对象的边缘；
所述装置还包括：
初始轮廓像素点确定模块，用于确定所述分割图像中每一颜色的图像区域的轮廓处的像素点，作为初始轮廓像素点；
目标轮廓像素点确定模块，用于基于所述初始轮廓像素点，确定目标轮廓像素点；
所述目标轮廓像素点确定模块，具体用于将所述初始轮廓像素点确定为目标轮廓像素点；
或，
针对每一初始轮廓像素点，确定所述分割图像中该初始轮廓像素点的指定邻域内的像素点，作为对应的目标轮廓像素点；
所述装置还包括：
初始边缘像素点确定模块，用于基于预设边缘检测算法对所述分割图像进行边缘检测，得到初始边缘像素点；
目标边缘像素点确定模块，用于基于所述初始边缘像素点，确定目标轮廓像素点；
所述目标边缘像素点确定模块，具体用于将所述初始边缘像素点确定为目标边缘像素点；
或，
针对每一初始边缘像素点，确定所述分割图像中该初始边缘像素点的指定邻域内的像素点，作为对应的目标边缘像素点。
13.根据权利要求11所述的装置，其特征在于，所述污渍检测模块，具体用于若确定出的一个对象的边缘满足预设的污渍边缘特征，且基于激光扫描的结果表示该对象对应的地面处不存在物体，则确定该对象对应的地面处存在污渍；或，
所述待检测图像包含图像采集模块在移动过程中采集的多个图像帧；
所述污渍检测模块，具体用于若基于各图像帧确定出的同一个对象的边缘均满足预设的污渍边缘特征，则确定该对象对应的地面处存在污渍；
所述目标属性还包括像素点的位置和/或亮度值。
14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
15.一种扫地机器人系统，其特征在于，包括图像采集模块和处理器；
所述图像采集模块，用于采集包含地面的待检测图像；
所述处理器，用于执行权利要求1-10任一所述的方法步骤。
16.根据权利要求15所述的扫地机器人系统，其特征在于，还包括激光传感器，用于对地面进行扫描，以确定扫描的地面中是否存在物体。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210395035.4A CN114723767A (zh) | 2022-04-15 | 2022-04-15 | 一种污渍检测方法、装置、电子设备和扫地机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210395035.4A CN114723767A (zh) | 2022-04-15 | 2022-04-15 | 一种污渍检测方法、装置、电子设备和扫地机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114723767A true CN114723767A (zh) | 2022-07-08 |
Family
ID=82243336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210395035.4A Pending CN114723767A (zh) | 2022-04-15 | 2022-04-15 | 一种污渍检测方法、装置、电子设备和扫地机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723767A (zh) |
-
2022
- 2022-04-15 CN CN202210395035.4A patent/CN114723767A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113781402B (zh) | 芯片表面划痕缺陷的检测方法、装置和计算机设备 | |
| CN110084095B (zh) | 车道线检测方法、车道线检测装置和计算机存储介质 | |
| CN111612781B (zh) | 一种屏幕缺陷检测方法、装置及头戴显示设备 | |
| KR101403876B1 (ko) | 차량 번호판 인식 방법과 그 장치 | |
| WO2021051604A1 (zh) | Osd的文字区域的识别方法、装置及存储介质 | |
| CN113109368B (zh) | 玻璃裂纹检测方法、装置、设备及介质 | |
| US10748023B2 (en) | Region-of-interest detection apparatus, region-of-interest detection method, and recording medium | |
| CN107784669A (zh) | 一种光斑提取及其质心确定的方法 | |
| CN110766017B (zh) | 基于深度学习的移动终端文字识别方法及系统 | |
| CN101122953A (zh) | 一种图片文字分割的方法 | |
| US20170178341A1 (en) | Single Parameter Segmentation of Images | |
| CN117351011B (zh) | 屏幕缺陷检测方法、设备和可读存储介质 | |
| KR20110128529A (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
| JP3490482B2 (ja) | エッジ及び輪郭抽出装置 | |
| CN111383244A (zh) | 一种目标检测跟踪方法 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN113469921A (zh) | 图像缺陷修复方法、系统、计算机设备及存储介质 | |
| CN108229583B (zh) | 一种基于主方向差分特征的快速模板匹配的方法及装置 | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| CN107832732B (zh) | 基于三叉树遍历的车道线检测方法 | |
| CN113610052A (zh) | 一种基于深度学习的隧道渗漏水自动识别方法 | |
| CN111695374A (zh) | 监控视角中斑马线区域的分割方法、系统、介质及设备 | |
| CN114723767A (zh) | 一种污渍检测方法、装置、电子设备和扫地机器人系统 | |
| CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
| CN111768384B (zh) | 基于三维扫描成像的细胞计数方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |