CN113628202B - 一种确定方法、清洁机器人和计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种确定方法，该方法应用于清洁机器人中，包括：通过清洁机器人的单目摄像头获取相邻图像帧，当确定清洁机器人运动时，根据相邻图像帧的光流帧，确定相邻图像帧中的倒影图像，从相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧，确定目标图像帧中的脏污区域，确定脏污区域的脏污类型。本申请实施例同时还公开了一种清洁机器人和计算机存储介质。

Description

一种确定方法、清洁机器人和计算机存储介质

技术领域

本申请涉及具有清洁机器人的脏污类型的确定技术领域，尤其是涉及一种确定方法、清洁机器人和计算机存储介质。

背景技术

目前，扫地机器人在清扫液体或者酱类脏污时，需要采取不同的清洁模式，因此，识别脏污是非常有必要的。

然而，传统的脏污识别算法受到重复纹理，杂物，反光和有图案的地板的影响，导致识别结果不准确，另外，采用双目相机或者飞行时间（TOF，Time of Flight）脏污识别算法比单目相机多了一维信息，增加数据处理的复杂度，影响识别结果的准确性；由此可以看出，现有的清洁机器人进行脏污识别时存在识别准确性较差的技术问题。

发明内容

本申请实施例期望提供一种确定方法、清洁机器人和计算机存储介质，以解决相关技术中清洁机器人进行脏污识别时识别准确性较差的技术问题。

本申请的技术方案是这样实现的：

一种确定方法，所述方法应用于清洁机器人中，包括：

通过所述清洁机器人的单目摄像头获取相邻图像帧；

当确定所述清洁机器人运动时，根据所述相邻图像帧的光流帧，确定所述相邻图像帧中的倒影图像，从所述相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧；

确定所述目标图像帧的脏污区域；

确定所述脏污区域的脏污类型。

一种清洁机器人，包括：

获取模块，用于通过所述清洁机器人的单目摄像头获取相邻图像帧；

第一确定模块，用于当确定所述清洁机器人运动时，根据所述相邻图像帧的光流帧，确定所述相邻图像帧中的倒影图像，从所述相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧；

第二确定模块，用于确定所述目标图像帧中的脏污区域；

第三确定模块， 用于确定所述脏污区域的脏污类型。

一种清洁机器人，包括：

处理器以及存储有所述处理器可执行指令的存储介质，所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述一个或多个实施例所述的确定方法。

一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行如一个或多个实施例所述的确定方法。

本申请实施例所提供的一种确定方法、清洁机器人和计算机存储介质，通过清洁机器人的单目摄像头获取相邻图像帧，当确定清洁机器人运动时，根据相邻图像帧的光流帧，确定相邻图像帧中的倒影图像，从相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧，确定目标图像帧中的脏污区域，确定脏污区域的脏污类型；也就是说，在本申请实施例中，在获取到相邻图像帧之后，通过相邻图像帧的光流帧可以确定出倒影图像，将删除掉相邻头像帧中一帧的倒影图像之后的图像帧确定为目标图像帧，基于目标图像帧来确定脏污区域，并确定脏污区域的脏污类型，这样，由于目标图像帧中已经去除掉倒影图像，从而可以避免倒影对脏污识别的影响，并且避免了使用传统的脏污识别算法时图像帧中的其他干扰图像对脏污识别的准确性的影响，从而提高了脏污识别的准确性。

附图说明

图1为本申请实施例提供的一种可选的确定方法的流程示意图；

图2为本申请实施例提供的一种可选的扫地机器人的实例的结构示意图；

图3为本申请实施例提供的一种可选的确定脏污区域的实例的流程示意图；

图4为本申请实施例提供的一种可选的脏污区域的视觉对比图；

图5为本申请实施例提供的一种可选的确定脏污类型的实例的流程示意图；

图6为本申请实施例提供的一种可选的具有可见激光的反射颜色的区域示意图；

图7为本申请实施例提供的一种可选的清洁机器人的结构示意图；

图8为本申请实施例提供的另一种可选的清洁机器人的结构示意图。

具体实施方式

为了更好地了解本申请的目的、结构及功能，下面结合附图，对本申请的一种确定方法、清洁机器人做进一步详细的描述。

本申请的实施例提供一种确定方法，该确定方法应用于清洁机器人中，图1为本申请实施例提供的一种可选的确定方法的流程示意图，参照图1所示，该确定方法可以包括：

S101：通过清洁机器人的单目摄像头获取相邻图像帧；

目前，扫地机器人通常采用传统的脏污识别算法把图像转到频域去掉高度重复纹理，然后二值化提取脏污，但是，由于扫地机器人的相机的视角低，频域不能解决重复纹理，并且二值化解决不了现实场景中的杂物、反光和有图案的底板等等，导致对脏污识别的准确性较差。

为了提高清洁机器人对脏污识别的准确性，本申请实施例中提供一种确定方法，首先，通过清洁机器人的单目摄像头获取相邻图像帧，其中，该相邻图像帧可以是颜色空间为红绿蓝（RGB，Red Green Blue）的图像帧，也可以是颜色空间为色调饱和度亮度（HSV，HueSaturation Value）的图像帧，这里，本申请实施例对此不作具体限定。

为了避免过暗或者过曝图像帧对脏污识别的准确性的影响，需要对采集到的图像帧进行筛选，在一种可选的实施例中，S101可以包括：

通过清洁机器人的单目摄像头拍摄得到原始图像帧集合；

计算原始图像帧集合中每个原始图像帧的方差和每个原始图像帧的均值，得到方差集合和均值集合；

从原始图像帧集合中，删除方差集合中大于预设的方差阈值的方差对应的原始图像帧，且删除均值集合中小于预设的第一均值阈值且大于预设的第二均值阈值的均值对应的原始图像帧，得到删除后的原始图像帧集合；

从删除后的原始图像帧集合中，选取出相邻图像帧。

具体来说，通过清洁机器人的单目摄像头拍摄，从而得到原始图像帧集合，针对原始图像帧集合中的每个原始图像帧，计算每个原始图像帧的方差以及计算每个原始图像帧的均值，从而可以得到方差集合和均值集合。

由于方差大于预设的方差阈值的原始图像帧，以及均值小于预设的第一均值阈值大于预设的第二均值阈值的原始图像帧，都属于过暗或者过曝的图像帧，所以，这里，从原始图像帧集合中，删除掉方差大于预设的方差阈值的原始图像帧，并且，从原始图像帧集合中，删除掉均值小于预设的第一均值阈值大于预设的第二均值阈值的原始图像帧，得到删除后的原始图像帧集合。

最后，从删除后的原始图像帧集合中，选取出两个相邻的图像帧作为相邻图像帧，用于确定脏污类型。

这样，使得所获取到的相邻图像帧中不存在过暗或者过曝的图像帧，避免了过暗或者过曝的图像帧对脏污区域识别的影响，从而提高了脏污识别的准确性。

S102：当确定清洁机器人运动时，根据相邻图像帧的光流帧，确定相邻图像帧中的倒影图像，从相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧；

在获取到相邻图像帧之后，可以通过相邻图像帧确定出清洁机器人是否处于运动中，其中，可以通过相邻图像帧的光流帧来确定清洁机器人是否处于运动中，例如，若相邻图像帧的光流帧中同一物像的欧式距离大于0时，说明清洁机器人处于运动中，若相邻图像帧的光流帧中同一物像的光流方向的夹角大于0时，说明清洁机器人处于运动中。

当确定清洁机器人运动时，可以根据相邻图像帧的光流帧来确定相邻图像帧中的倒影图像，以从相邻图像帧中其中一帧中删除掉倒影图像，得到目标图像帧，这样，使得得到的目标图像帧是剔除了倒影图像的图像帧，利用该图像帧确定疑似脏污区域，提高了确定的准确性。

进一步地，为了确定出相邻图像帧中的倒影图像，可以根据光流帧中的物像的欧式距离来确定，也可以通过光流帧中光流方向的夹角来确定，还可以通过光流帧中的欧式距离和光流方向的夹角来确定，这里，本申请实施例对此不作具体限定。

针对根据光流帧中的物像的欧式距离或者通过光流帧中光流方向的夹角来确定倒影图像来说，在一种可选的实施例中，S102可以包括：

计算光流帧中每个物像的欧式距离；

将欧式距离小于等于预设的距离阈值的物像的图像，确定为倒影图像；

或者，计算光流帧中每个物像的光流方向之间的夹角；

将夹角小于等于预设的角度阈值的物像的图像，确定为倒影图像。

具体来说，这里，根据光流法得到相邻图像帧的光流帧，该光流帧中包括每个物像的光流方向，光流速度，以及每个物像的位置变化和像素值，这样，可以知晓每个物像在运动前和运动后的位置信息和像素值，然后根据运动前和运动后的位置信息计算得到每个物像的欧式距离，只有当欧式距离小于等于预设的距离阈值时，说明该物像为倒影图像。

或者，根据每个物像在运动前和运动后的光流方向，可以计算出每个物像的光流方向的夹角，只有当夹角小于等于预设的角度阈值时，确定该物像为倒影图像。

另外，为了确定出相邻图像帧中的倒影图像，针对根据光流帧中的物像的欧式距离和通过光流帧中光流方向的夹角来确定倒影图像来说，在一种可选的实施例中，S102可以包括：

计算光流帧中每个物像的欧式距离，以及计算光流帧中每个物像的光流方向之间的夹角；

将欧式距离小于等于预设的距离阈值，且夹角小于等于预设的角度阈值的物像的图像，确定为倒影图像。

具体来说，根据相邻图像帧的光流帧可以计算出每个物像的欧式距离，每个物像的光流方向的夹角，当欧式距离小于等于预设的距离阈值，且夹角小于等于预设的角度阈值时，确定该物像为倒影图像。

S103：将确定目标图像帧的脏污区域；

具体来说，在确定出目标图像帧之后，需要根据目标图像帧来确定脏污区域，这里，可以根据脏污识别算法来确定目标图像帧的脏污区域，也可以利用相邻图像帧的光流帧来确定目标图像帧的脏污区域，这里，本申请实施例对此不作具体限定。

为了确定出脏污区域，再根据光流帧确定目标图像帧的脏污区域中，在一种可选的实施例中，S103可以包括：

获取光流帧中每个物像的像素值的差值的绝对值；

按照差值的绝对值由大到小的顺序选取绝对值，并将选取出的绝对值的物像在目标图像帧中的位置，确定为目标位置；

根据目标图像帧，以目标位置的像素值为基准在预设的像素值偏差范围内扩充区域，得到扩充后的区域；

根据扩充后的区域，确定脏污区域。

具体来说，由于光流帧中还包括每个物像在相邻图像帧中的像素值，所以，这里，可以计算出每个物像在相邻图像帧中的像素值的差值的绝对值，并按照将差值的绝对值由大到小的顺序选取绝对值，并将选取出的绝对值的物像在目标图像帧中的位置，确定为目标位置。

也就是说，这里选取出差值的绝对值中相对较大的值，之所以选取出相对较大的值，是因为相对较大的值的物像极大可能为脏污区域中的点，所以，将选取出的绝对值的物像在目标图像帧中的位置确定为目标位置。

最后，根据目标图像帧，以目标位置的像素值为基准，将在预设的像素值偏差范围内浮动的像素值查找出来，与目标位置的像素值一起得到扩充后的区域，并根据扩充后的区域确定脏污区域。

进一步地，为了使得确定出目标图像帧的脏污区域更加准确，在一种可选的实施例中，在获取光流帧中每个物像的像素值的差值的绝对值之前，上述方法还可以包括：

当目标图像帧是颜色空间为RGB的图像帧时，将目标图像帧转换成颜色空间HSV的图像帧，重新得到目标图像帧。

具体来说，为了使得确定出的脏污区域的准确性更高，这里，当目标图像帧是颜色空间为GRB的图像帧时，需要将目标图像帧转换成颜色空间为HSV的图像帧，重新得到目标图像帧，这样，再根据目标图像帧，以目标位置的像素值为基准，在预设的偏差范围内查找符合的像素值的位置点，例如，重新得到的HSV颜色空间下的目标图像帧的像素值为（100，100，100），预设的偏差范围为【90，110】，这样，可以将像素值在【90，110】之间的位置区域确定为扩充后的区域，并根据扩充后的区域确定脏污区域。

通过目标图像帧在颜色空间的转换和预设的像素值的偏差范围内的扩充，使得确定出的脏污区域的准确性更高，有利于确定出脏污类型。

进一步地，为了确定出合适的目标位置，在一种可选的实施例中，将差值的绝对值落入预设范围内的物像在目标图像帧中的位置，确定为目标位置，包括：

将差值的绝对值按照由大到小的顺序排序，从排序结果中选取前N个差值的绝对值；

将前N个差值的绝对值对应的物像在目标图像帧中的位置，确定为目标位置。

具体来说，在计算出差值的绝对值之后，按照由大到小的顺序对绝对值进行排序，然后选取出前N个差值的绝对值，其中，N为正整数；再将这N个差值的绝对值对应的物像在目标图像帧中的位置，确定为目标位置，这样，将绝对值较大的值对应的物像找出来，由于该物像有极大可能为脏污区域中的点，所以，确定该物像在目标图像帧中的位置，最后将确定出的位置确定为目标位置，使得确定出的目标位置在很大程度上是目标图像帧中脏污区域中的点，有利于确定出目标图像帧中的脏污区域。

进一步地，为了确定出脏污区域，在确定出扩充后的区域之后，可以直接将扩充后的区域确定为脏污区域，还可以按照预设规则对扩充后的区域进行处理，得到脏污区域，这里，本申请实施例对此不作具体限定。

针对照预设规则对扩充后的区域进行处理，得到脏污区域，在一种可选的实施例中，将扩充后的区域确定为脏污区域，包括：

将扩充后的区域中面积大于等于预设的第一面积阈值的区域，确定为脏污区域；

或者，当扩充后的区域中面积大于等于预设的第一面积阈值，且利用SVM分类器确定扩充后的区域为脏污时，将扩充后的区域，确定为脏污区域。

具体来说，对扩充后的区域进行筛选，将扩充后的区域中面积大于等于预设的第一面积阈值的区域保留下来，将扩充后的区域中面积小于预设的第一面积阈值的区域删除掉，这样，便可以将扩充后的区域中面积大于等于预设的第一面积阈值的区域确定为脏污区域。

另外，还可以先通过扩充后的区域的面积大小，将扩充后的区域中面积大于等于预设的第一面积阈值的区域保留下来，将扩充后的区域中面积小于预设的第一面积阈值的区域删除掉，并在此基础上，将目标图像帧输入至支持向量机（SVM，Support VectorMachine）分类器中，确定目标图像帧中确实有脏污时，将扩充后的区域确定为脏污区域，若将目标图像输入至SVM分类器中，确定目标图像帧中没有脏污时，说明目标图像帧中不存在脏污区域。

这里，需要说明的是，本申请实施例中可以将目标图像帧输入至SVM分类器中，也可以将具有扩充后的区域的目标图像帧输入至SVM分类器中，使得SVM分类器确定出目标图像帧中是否存在脏污区域，本申请实施例对此不作具体限定。

另外，需要说明的是，当确定清洁机器人不在运动状态时，可以利用大津二值化确定出疑似脏污区域，并利用SVM分类器确定出相邻图像帧中是否存在脏污区域，若存在，说明该疑似脏污区域为脏污区域。

S104：确定脏污区域的脏污类型。

在确定出脏污区域之后，由于针对不同类型的脏污区域，清洁机器人需要采用不同的清洁模式来清扫脏污区域，所以，这里，需要确定出脏污类型，为了确定出脏污区域的类型，可以采用SVM分类器的方式来确定出脏污区域的脏污类型，还可以通过下述方式来确定脏污区域的脏污类型，在一种可选的实施例中，清洁机器人还包括可见激光器，可见激光器设置于单目摄像头的下方，且可见激光器的照射区域与单目摄像头的拍摄区域的重叠面积大于预设的第二面积阈值，S104可以包括：

开启可见激光器之后，通过单目摄像头获取当前图像帧；

当当前图像帧中包含具有可见激光的反射颜色的区域时，确定脏污区域的脏污类型为液体类或者酱类。

也就是说，在清洁机器人的单目摄像头的下方区域设置有可见激光器，使得可见激光器的照射区域与单目摄像头的拍摄区域的重叠面积大于预设的第二面积阈值，这样，当开启可见激光之后，单目摄像头可以捕捉到照射有可见激光的图像帧，即当前图像帧，由于当当前图像帧中包含具有可见激光的反射颜色的区域时，例如，当前图像帧中包含具有绿色的区域，说明该脏污类型为液体类或者酱类，这样，便可以确定出液体类或者酱类的脏污区域，当清洁机器人运动至脏污区域时，可以将清洁模式切换至清扫液体类或者酱类的模式中，使得清洁机器人能够将脏污区域清理干净。

下面举实例来对上述一个或多个实施例所述的确定方法进行说明。

图2为本申请实施例提供的一种可选的扫地机器人的实例的结构示意图，如图2所示，该扫地机器人在单目相机的下方安装有可见激光器，可见激光器与单目相机的安装方向一致，均安装在扫地机器人前进方向的正前方，可见激光器与单目相机的视野重合。

图3为本申请实施例提供的一种可选的确定脏污区域的实例的流程示意图，如图3所示，确定脏污区域的方法可以包括：

S301：场景分析；

具体来说，通过单目相机获取原始图像帧，通过计算每个原始图像帧的方差和均值，将不符合方差阈值和均值阈值的原始图像帧删除掉，然后从删除后的原始图像帧中获取相邻图像帧，以完成场景分析。

S302：光流跟踪；当清洁机器人运动时，执行S303；否则，执行S305；

具体来说，可以根据相邻图像帧进行光流追踪，来确定清洁机器人是否处于运动中，先确定相邻图像帧的光流帧，光流帧中的光流信息包括每个物像的光流速度，光流方向以及每个物像的位置信息和每个物像的像素值，当光流帧中的光流信息有变化时，说明扫地机器人处于运动状态，执行S303；当光流帧中的光流信息无变化时，说明扫地机器人处于静止状态，执行S307。

S303：处理倒影；执行S304；

具体来说，当确定扫地机器人处于运动状态时，通过相邻图像帧的光流帧可以确定出相邻图像帧中的倒影图像，例如，通过对光流帧中同一物像的欧式距离和光流方向的夹角来确定相邻图像帧中的倒影图像。

然后，从相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧。

S304：提取HSV空间差异较大的光流点；执行S305；

一般地，通过单目相机获取到的图像帧为颜色空间为RGB的图像帧，然而，颜色空间为HSV的图像帧更适合用于确定脏污区域，所以，这里，将颜色空间为RGB的目标图像帧转换为颜色空间为HSV的目标图像帧，并在转换后的目标图像帧的基础上，查找像素值的差值的绝对值较大的物像对应的位置，作为目标位置，该目标位置即为HSV颜色空间中差异较大的光流点。

S305：根据光流点获取脏污区域；执行S306；

在获取到差异较大的光流点之后，在转换后的目标图像帧的基础上，以获取到的差异较大的光流点为基准，在预设的像素值偏差范围内查找像素值，将符合像素值的光流点选取出来，并将选取出来的光流点以及差异较大的光流点形成的区域确定为疑似脏污区域。

S306：筛选最大连通区域，确定脏污区域；执行S309；

在确定出疑似脏污区域之后，确定出的疑似脏污区域有些区域面积较大，有些只是有零星的几个杂点组成，为了提高脏污区域的准确性，选取出疑似脏污区域中具有最大连通域的区域作为脏污区域。

S307：直方图均值化；执行S308；

S308：大津二值化，获取脏污区域；执行S309；

当扫地机器人处于静止状态时，可以先采用直方图的形式确定出获取到的图像帧的均值，在确定出均值之后，利用大津二值化将获取到的图像帧进行二值化，得到二值化后的图像帧，根据二值化后的图像帧确定出脏污区域。

S309：SVM分类器。

最后，在确定出脏污区域之后，利用SVM分类器验证该脏污区域的真实性。

图4为本申请实施例提供的一种可选的脏污区域的视觉对比图，如图4所示，从左到右依次为脏污区域的光流效果图，大津二值化得到的脏污区域的掩膜图，以及确定出的包括脏污区域的图像帧。

图5为本申请实施例提供的一种可选的确定脏污类型的实例的流程示意图，如图5所示，确定脏污类型的方法可以包括：

S501：获取疑似脏污区域；

S502：启动可见激光器，获取图像帧；

在确定出单目相机获取到的图像帧的疑似脏污区域时，为了确定出脏污区域的脏污类型，可以通过可见激光器来确定脏污类型，所以，这里，启动可见激光器之后获取图像帧，这样获取到的图像帧是在照射有可见激光的情况下拍摄的图像帧。

S503：提取可见激光掩膜图；

S504：获取可见激光的反射颜色的区域；

S505：确定脏污类型。

在获取到图像帧之后，提取可见激光掩膜图，当掩膜图中包括可见激光的发射颜色的区域时，说明图像帧中的脏污类型为液体类或者酱类，否则，属于非液体类和非酱类的脏污区域。

图6为本申请实施例提供的一种可选的具有可见激光的反射颜色的区域示意图，如图6所示，当可见激光打在脏污区域时，会反射绿光，根据颜色分析，提取出脏污边缘区域，确定脏污区域的脏污类型。

通过上述实例，在扫地机器人中单目相机加可见激光，无需繁琐的标定，价格低，依赖硬件平台算力低，能够根据动静场景以及曝光场景做出具体分析，能够根据光流信息剔除掉地面倒影，能够稳定提取液体和酱类脏污，能过滤掉地板图案。

本申请实施例所提供的一种确定方法，通过清洁机器人的单目摄像头获取相邻图像帧，当确定清洁机器人运动时，根据相邻图像帧的光流帧，确定相邻图像帧中的倒影图像，从相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧，确定目标图像帧中的脏污区域，确定脏污区域的脏污类型；也就是说，在本申请实施例中，在获取到相邻图像帧之后，通过相邻图像帧的光流帧可以确定出倒影图像，将删除掉相邻头像帧中一帧的倒影图像之后的图像帧确定为目标图像帧，基于目标图像帧来确定脏污区域，并确定脏污区域的脏污类型，这样，由于目标图像帧中已经去除掉倒影图像，从而可以避免倒影对脏污识别的影响，并且避免了使用传统的脏污识别算法时图像帧中的其他干扰图像对脏污识别的准确性的影响，从而提高了脏污识别的准确性。

实施例

基于同一发明构思，本申请的实施例提供一种清洁机器人，图7为本申请实施例提供的一种可选的清洁机器人的结构示意图，参照图7所示，该清洁机器人可以包括：

获取模块71，用于通过清洁机器人的单目摄像头获取相邻图像帧；

第一确定模块72，用于当确定清洁机器人运动时，根据相邻图像帧的光流帧，确定相邻图像帧中的倒影图像，从相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧；

第二确定模块73，用于确定目标图像帧中的脏污区域；

第三确定模块74， 用于确定脏污区域的脏污类型。

本申请其他实施例中，该获取模块71，具体用于：

通过清洁机器人的单目摄像头拍摄得到原始图像帧集合；

计算原始图像帧集合中每个原始图像帧的方差和每个原始图像帧的均值，得到方差集合和均值集合；

从原始图像帧集合中，删除方差集合中大于预设的方差阈值的方差对应的原始图像帧，且删除均值集合中小于预设的第一均值阈值且大于预设的第二均值阈值的均值对应的原始图像帧，得到删除后的原始图像帧集合；

从删除后的原始图像帧集合中，选取出所述相邻图像帧。

本申请其他实施例中，第一确定模块72，具体用于：

计算光流帧中每个物像的欧式距离；

将欧式距离小于等于预设的距离阈值的物像的图像，确定为倒影图像；

或者，计算光流帧中每个物像的光流方向之间的夹角；

将夹角小于等于预设的角度阈值的物像的图像，确定为倒影图像。

本申请其他实施例中，第一确定模块72，具体用于：

计算光流帧中每个物像的欧式距离，以及计算光流帧中每个物像的光流方向之间的夹角；

将欧式距离小于等于预设的距离阈值，且夹角小于等于预设的角度阈值的物像的图像，确定为倒影图像。

本申请其他实施例中，第二确定模块73，具体用于：

获取光流帧中每个物像的像素值的差值的绝对值；

按照差值的绝对值由大到小的顺序选取绝对值，并将选取出的绝对值的物像在目标图像帧中的位置，确定为标位置；

根据目标图像帧，以目标位置的像素值为基准在预设的像素值偏差范围内扩充区域，得到扩充后的区域；

根据扩充后的区域，确定脏污区域。

本申请其他实施例中，清洁机器人还用于：

在获取光流帧中每个物像的像素值的差值的绝对值之前，当目标图像帧是颜色空间为RGB的图像帧时，将目标图像帧转换成颜色空间HSV的图像帧，重新得到目标图像帧。

本申请其他实施例中，第二确定模块73按照差值的绝对值由大到小的顺序，选取差值，并将选取出的差值的物像在目标图像帧中的位置，确定为目标位置中，包括：

将差值的绝对值按照由大到小的顺序排序，从排序结果中选取前N个差值的绝对值；其中，N为正整数；

将前N个差值的绝对值对应的物像在目标图像帧中的位置，确定为目标位置。

本申请其他实施例中，第二确定模块73根据扩充后的区域，确定脏污区域，包括：

将扩充后的区域中面积大于等于预设的第一面积阈值的区域，确定为脏污区域；

或者，当扩充后的区域中面积大于等于预设的第一面积阈值，且利用SVM分类器确定扩充后的区域为脏污时，将扩充后的区域，确定为脏污区域。

本申请其他实施例中，清洁机器人还包括可见激光器，可见激光器设置于单目摄像头的下方，且可见激光器的照射区域与单目摄像头的拍摄区域的重叠面积大于预设的第二面积阈值，相应地，第三确定模块74，具体用于：

开启可见激光器之后，通过单目摄像头获取当前图像帧；

当当前图像帧中包含具有可见激光的发射颜色的区域时，确定脏污区域的脏污类型为液体类或者酱类。

在实际应用中，上述获取模块71、第一确定模块72，第二确定模块73和第三确定模块74可由位于清洁机器人上的处理器实现，具体为中央处理器（CPU，Central ProcessingUnit）、微处理器（MPU，Microprocessor Unit）、数字信号处理器（DSP，Digital SignalProcessing）或现场可编程门阵列（FPGA，Field Programmable Gate Array）等实现。

基于前述实施例，本申请实施例提供一种扫地机器人，图8为本申请实施例提供的另一种可选的清洁机器人的结构示意图，如图8所示，本申请实施例提供了一种清洁机器人800，包括：

处理器81以及存储有所述处理器81可执行指令的存储介质82，所述存储介质82通过通信总线83依赖所述处理器81执行操作，当所述指令被所述处理器81执行时，执行上述一个或多个实施例所述确定方法。

需要说明的是，实际应用时，终端中的各个组件通过通信总线83耦合在一起。可理解，通信总线83用于实现这些组件之间的连接通信。通信总线83除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为通信总线83。

基于前述实施例，本申请的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行本申请实施例提供的确定方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请较佳实施例而已，并非用于限定本申请的保护范围。

Claims (12)

1.一种确定方法，其特征在于，所述方法应用于清洁机器人中，包括：

通过所述清洁机器人的单目摄像头获取相邻图像帧；

当确定所述清洁机器人运动时，根据所述相邻图像帧的光流帧，确定所述相邻图像帧中的倒影图像，从所述相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧；

确定所述目标图像帧的脏污区域；

确定所述脏污区域的脏污类型；

其中，所述倒影图像是根据所述光流帧中每个物像的欧式距离和/或所述光流帧中每个物像的光流方向之间的夹角确定的；所述倒影图像是清洁区域对光的反射形成的倒影而成的图像。

2.根据权利要求1所述的方法，其特征在于，所述通过所述清洁机器人的单目摄像头获取相邻图像帧，包括：

通过所述清洁机器人的单目摄像头拍摄得到原始图像帧集合；

计算所述原始图像帧集合中每个原始图像帧的方差和每个原始图像帧的均值，得到方差集合和均值集合；

从原始图像帧集合中，删除所述方差集合中大于预设的方差阈值的方差对应的原始图像帧，且删除所述均值集合中小于预设的第一均值阈值且大于预设的第二均值阈值的均值对应的原始图像帧，得到删除后的原始图像帧集合；

从删除后的原始图像帧集合中，选取出所述相邻图像帧。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述相邻图像帧的光流帧，确定所述相邻图像帧中的倒影图像，从所述相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧，包括：

计算所述光流帧中每个物像的欧式距离；

将所述欧式距离小于等于预设的距离阈值的物像的图像，确定为所述倒影图像；

或者，计算所述光流帧中每个物像的光流方向之间的夹角；

将所述夹角小于等于预设的角度阈值的物像的图像，确定为所述倒影图像。

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述相邻图像帧的光流帧，确定所述相邻图像帧中的倒影图像，包括：

计算所述光流帧中每个物像的欧式距离，以及计算所述光流帧中每个物像的光流方向之间的夹角；

将所述欧式距离小于等于预设的距离阈值，且所述夹角小于等于预设的角度阈值的物像的图像，确定为所述倒影图像。

5.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像帧的脏污区域，包括：

获取所述光流帧中每个物像的像素值的差值的绝对值；

按照所述差值的绝对值由大到小的顺序选取绝对值，并将选取出的绝对值的物像在所述目标图像帧中的位置，确定为目标位置；

根据所述目标图像帧，以所述目标位置的像素值为基准在预设的像素值偏差范围内扩充区域，得到扩充后的区域；

根据所述扩充后的区域，确定所述脏污区域。

6.根据权利要求5所述的方法，其特征在于，在获取所述光流帧中每个物像的像素值的差值的绝对值之前，所述方法还包括：

当所述目标图像帧是颜色空间为RGB的图像帧时，将所述目标图像帧转换成颜色空间HSV的图像帧，重新得到目标图像帧。

7.根据权利要求5所述的方法，其特征在于，所述按照所述差值的绝对值由大到小的顺序，选取差值，并将选取出的差值的物像在所述目标图像帧中的位置，确定为目标位置，包括：

将所述差值的绝对值按照由大到小的顺序排序，从排序结果中选取前N个差值的绝对值；其中，N为正整数；

将前N个差值的绝对值对应的物像在所述目标图像帧中的位置，确定为所述目标位置。

8.根据权利要求5所述的方法，其特征在于，所述根据所述扩充后的区域，确定所述脏污区域，包括：

将所述扩充后的区域中面积大于等于预设的第一面积阈值的区域，确定为所述脏污区域；

或者，当所述扩充后的区域中面积大于等于预设的第一面积阈值，且利用SVM分类器确定所述扩充后的区域为脏污时，将所述扩充后的区域，确定为所述脏污区域。

9.根据权利要求1所述的方法，其特征在于，所述清洁机器人还包括可见激光器，所述可见激光器设置于所述单目摄像头的下方，且所述可见激光器的照射区域与所述单目摄像头的拍摄区域的重叠面积大于预设的第二面积阈值，相应地，所述确定所述脏污区域的脏污类型，包括：

开启所述可见激光器之后，通过所述单目摄像头获取当前图像帧；

当所述当前图像帧中包含具有可见激光的发射颜色的区域时，确定所述脏污区域的脏污类型为液体类或者酱类。

10.一种清洁机器人，其特征在于，包括：

获取模块，用于通过所述清洁机器人的单目摄像头获取相邻图像帧；

第一确定模块，用于当确定所述清洁机器人运动时，根据所述相邻图像帧的光流帧，确定所述相邻图像帧中的倒影图像，从所述相邻图像帧的其中一帧中删除倒影图像，得到目标图像帧；其中，所述倒影图像是根据所述光流帧中每个物像的欧式距离和/或所述光流帧中每个物像的光流方向之间的夹角确定的；所述倒影图像是清洁区域对光的反射形成的倒影而成的图像；

第二确定模块，用于确定所述目标图像帧中的脏污区域；

第三确定模块，用于确定所述脏污区域的脏污类型。

11.一种清洁机器人，其特征在于，包括：

处理器以及存储有所述处理器可执行指令的存储介质，所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述的权利要求1至9任一项所述的确定方法。

12.一种计算机存储介质，其特征在于，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行如权利要求1至9任一项所述的确定方法。