CN110795964A - 扫地机器人清扫方法及装置 - Google Patents
扫地机器人清扫方法及装置 Download PDFInfo
- Publication number
- CN110795964A CN110795964A CN201810865572.4A CN201810865572A CN110795964A CN 110795964 A CN110795964 A CN 110795964A CN 201810865572 A CN201810865572 A CN 201810865572A CN 110795964 A CN110795964 A CN 110795964A
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- model
- global
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims description 32
- 238000004140 cleaning Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011109 contamination Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- -1 sundries Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种扫地机器人清扫方法及装置。其中,该方法包括:获取扫地机器人在前进方向上的目标区域的目标图像;使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,其中,第一模型为使用多组数据通过机器学习训练得到的,多组数据中的每组数据均包括:有指定标记的图像和无指定标记的原始图像,指定标记用于标记图像中有指定物体;在确定存在指定物体的情况下,控制扫地机器人对指定物体进行清扫。本发明解决了相关技术中,扫地机器人对图像处理的速度慢,导致对垃圾清扫的效率低的技术问题。
Description
技术领域
本发明涉及人工智能领域,具体而言,涉及一种扫地机器人清扫方法及装置。
背景技术
扫地机器人在移动过程中,需要及时根据地面的环境变化和脏污程度确定清扫地点和清扫方式,这时就需要扫地机器人可以快速定位收集到的图像中需要处理的区域。
当前的扫地机器人,对图像处理速度较低,处理图片效率较慢,从而导致扫地机器人对垃圾清扫的效率也很低,影响用户的体验。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种扫地机器人清扫方法及装置,以至少解决相关技术中,扫地机器人对图像处理的速度慢,导致对垃圾清扫的效率低的技术问题。
根据本发明实施例的一个方面,提供了一种扫地机器人清扫方法,包括:获取扫地机器人在前进方向上的目标区域的目标图像;使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,其中,第一模型为使用多组数据通过机器学习训练得到的,多组数据中的每组数据均包括:有指定标记的图像和无指定标记的原始图像,指定标记用于标记图像中存在指定物体;在确定存在指定物体的情况下,控制扫地机器人对指定物体进行清扫。
可选地,使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,包括:将目标图像输入第一模型,其中,第一模型包括全局估计模型和局部优化模型;通过全局估计模型对目标图像进行计算,得到全局显著性图;通过局部优化模型对全局显著性图和目标图像进行计算,得到最终的全局显著性图;根据最终的显著性图,确定目标图像中是否存在指定物体。
可选地,全局估计模型包括A部分、B部、C部分;局部优化模型包括D部分和E部分;其中,A部分由卷积层和池化层组成;B部分由两个级联的全连接层FC组成;C部分由多个卷积层和升采样层级联组成;A部分的输入连接目标图像,A部分的输出分别与B部分和C部分的输入连接,C部分的输入为全局估计模型的输出;D部分的输入端与原始图像相连,D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端,E部分的输出端即为全局-局部优化模型的输出。
可选地,A部分由七个卷积层和三个池化层组成,其连接关系为:conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7,其中,conv1、conv2、conv3、conv5、conv6和conv7均表示卷积层;pool1、pool2、pool3均表示池化层,conv1为输入端的卷积层,conv1的输入为目标图像,conv7为输出端的卷积层;C部分的连接为:upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15;其中,conv8、conv9、conv10、conv11、conv12、conv13、conv14和conv15均表示卷积层;upscale1、upscale2、upscale3均表示升采样层,upscale1为输入端的升采样层,conv1的输入为A部分的输出,conv15为输出端的卷积层,conv15输出全局显著性图;D部分的连接为:conv1-pool1-conv2-conv3,其中,conv1、conv2、conv3均表示卷积层;pool1表示池化层,conv1为输入端的卷积层,conv1的输入为目标图像,conv3为输出端的卷积层;E部分的连接为:conv4-conv5-upscale1-conv6-conv7-conv8,其中,conv4、conv5、conv6、conv7和conv8均表示卷积层;upscale1表示升采样层,conv4为输入端的卷积层,conv4的输入为目标图像和全局显著性图,conv7为输出端的卷积层。
可选地,通过局部优化模型对全局显著性图和目标图像进行计算,得到最终的全局显著性图之后,包括:将最终的显著性图与期望图像进行对比,其中,期望图像为目标区域处于清洁状态时的图像;当最终的显著性图的第一指标小于期望图像的第二指标情况下,结束对目标区域的清扫,第一指标和第二指标均用于指示图像的脏污程度。
可选地,使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体之前,包括:将最终的显著性图与预存图片库中的图像进行比对;当最终的显著性图与预存图片库中的图像匹配时,发送提醒信号,提醒信号用于提示指定物体不是清扫目标。
根据本发明实施例的另一方面,还提供了一种扫地机器人清扫装置,包括:获取模块,用于获取扫地机器人在前进方向上的目标区域的目标图像;确定模块,用于使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,其中,第一模型为使用多组数据通过机器学习训练得到的,多组数据中的每组数据均包括:有指定标记的图像和无指定标记的原始图像,指定标记用于标记图像中存在指定物体;控制模块,用于在确定存在指定物体的情况下,控制扫地机器人对指定物体进行清扫。
可选地,确定模块,包括:输入单元,用于将目标图像输入第一模型,其中,第一模型包括全局估计模型和局部优化模型;第一计算单元,用于通过全局估计模型对目标图像进行计算,得到全局显著性图;第二计算单元,用于通过局部优化模型对全局显著性图和目标图像进行计算,得到最终的全局显著性图;确定单元,用于根据最终的显著性图,确定目标图像中是否存在指定物体。
根据本发明实施例的另一方面,还提供了一种存储介质,其特征在于,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述的扫地机器人清扫方法。
根据本发明实施例的另一方面,还提供了一种处理器,其特征在于,处理器用于运行程序,其中,程序运行时执行上述扫地机器人清扫方法。
可选地,确定模块还包括:对比单元,用于将最终的显著性图与期望图像进行对比,其中,期望图像为目标区域清洁状态时的图像;当最终的显著性图的脏污程度小于期望图像的情况下,结束对目标区域的清扫。
可选地,装置还包括:比对模块,用于将最终的显著性图与预存图片库中的图像进行比对;发送模块,用于当最终的显著性图与预存图片库中的图像匹配时,发送提醒信号,提醒信号表示指定物体不是清扫目标。
在本发明实施例中,通过获取扫地机器人在前进方向上的目标区域的目标图像;使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,其中,第一模型为使用多组数据通过机器学习训练得到的,多组数据中的每组数据均包括:有指定标记的图像和无指定标记的原始图像,指定标记用于标记图像中有指定物体;在确定存在指定物体的情况下,控制扫地机器人对指定物体进行清扫。达到了提高扫地机器人对图像处理的速度,提高了对垃圾清扫的效率的目的,从而实现了提高了用户的使用体验的技术效果,进而解决了相关技术中,扫地机器人对图像处理的速度慢,导致对垃圾清扫的效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种扫地机器人清扫方法的流程图;
图2是根据本发明实施例的一种第一模型的结构示意图;
图3是根据本发明实施例的一种扫地机器人清扫装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中,扫地机器人在移动过程中,需要及时根据地面的环境变化和脏污程度确定清扫地点和清扫方式,这时就需要扫地机器人可以快速定位收集到的图像中需要处理的区域。当前的扫地机器人,对图像处理速度较低,处理图片效率较慢,从而导致扫地机器人对垃圾清扫的效率也很低,影响用户的体验。
为解决上述问题,本申请实施例提供了相应的解决方案,以下详细说明。
根据本发明实施例,提供了一种扫地机器人清扫的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种扫地机器人清扫方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取扫地机器人在前进方向上的目标区域的目标图像;
在步骤S102中,可以通过扫地机器人上的图像采集装置采集目标区域的目标图像,其中,图像采集装置可以是摄像头、照相机、摄像机等。目标区域为扫地机器人待清扫区域,目标区域可以是扫地机器人所在的地板或者扫地机器人所在的窗户等,目标区域的目标图像例如可以是扫地机器人通过图像采集装置采集的一张地板的图片。
步骤S104,使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,其中,第一模型为使用多组数据通过机器学习训练得到的,多组数据中的每组数据均包括:有指定标记的图像和无指定标记的原始图像,指定标记用于标记图像中存在指定物体。上述指定物体包括但不限于:杂物等需要清扫的目标对象。
在本申请的一些实施例中,上述多组数据中有指定标记的图像可以通过以下方式确定,但不限于此:采用聚类算法对样本图像进行聚类处理,得到分类结果,其中聚类依据为图像中是否包括上述指定物体;或者,接收用户输入的指令;依据该指令对样本图像进行标记,得到有指定标记的图像。
在一个可选实施例中,如图2所示,图2是根据本发明实施例的一种第一模型的结构示意图,其中,conv表示卷积层,pool表示池化层,upscale表示升采样层,FC表示全连接层。
第一模型包括全局估计模型和局部优化模型,其中,全局估计模型包括A部分、B部、C部分;局部优化模型包括D部分和E部分;其中,A部分由卷积层和池化层组成;B部分由两个级联的全连接层FC组成;C部分由多个卷积层和升采样层级联组成;A部分的输入连接目标图像,A部分的输出分别与B部分和C部分的输入连接,C部分的输入为全局估计模型的输出;D部分的输入端与原始图像相连,D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端,E部分的输出端即为全局-局部优化模型的输出。
A部分由七个卷积层和三个池化层组成,其连接关系为:
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7,其中,conv1、conv2、conv3、conv5、conv6和conv7均表示卷积层;pool1、pool2、pool3均表示池化层,conv1为输入端的卷积层,conv1的输入为目标图像,conv7为输出端的卷积层;
C部分的连接为:
upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15;其中,conv8、conv9、conv10、conv11、conv12、conv13、conv14和conv15均表示卷积层;upscale1、upscale2、upscale3均表示升采样层,upscale1为输入端的升采样层,conv1的输入为A部分的输出,conv15为输出端的卷积层,conv15输出全局显著性图;
D部分的连接为:
conv1-pool1-conv2-conv3,其中,conv1、conv2、conv3均表示卷积层;pool1表示池化层,conv1为输入端的卷积层,conv1的输入为目标图像,conv3为输出端的卷积层;
E部分的连接为:
conv4-conv5-upscale1-conv6-conv7-conv8,其中,conv4、conv5、conv6、conv7和conv8均表示卷积层;upscale1表示升采样层,conv4为输入端的卷积层,conv4的输入为目标图像和全局显著性图,conv7为输出端的卷积层。
在一些实施例中,B部分由两个级联的全连接层(FC)组成,其中末端的全连接层作为输出层。输出层有4096个输出单元,可组成一张64x64的显著性图。
可选地,全局估计模型包括初始化分支通路和主通路,初始化分支通路由A部分和B部分级联组成,主通路由A部分和C部分级联组成。
在本申请实施例中,将目标图像输入第一模型,通过全局估计模型对目标图像进行计算,得到全局显著性图;通过局部优化模型对全局显著性图和目标图像进行计算,得到最终的全局显著性图;根据最终的显著性图,确定目标图像中是否存在指定物体。
具体实施步骤如下:1、首先使用全连接层作为输出层初始化全局估计模型的A部分参数。将目标图像和标准显著性图缩放到固定大小作为训练的样本和样本标注。
输入图像数据尺寸固定为[W,W,3],其中,W为图像的边长,优选为200至300大小,3代表图像的三个色彩通道,即RGB色彩通道。网络的输出层为全连接层,输出层拥有(N*N)个神经元,网络输出一幅大小为[N,N]的显著性图,N一般远小于W。
使用随机梯度下降算法训练该A部分的参数,并生成粗略的全局显著性图。
2、训练全局估计模型中C的参数。保留上一步中卷积神经网络的卷积层参数(即保留A部分的参数),将其中的所有全连接层替换为多个卷积层和多个升采样层,即得到C部分,训练并得到高质量的全局显著性估计;
保留上一步中卷积神经网络的卷积层(conv1~conv7),将全局估计模型中的所有全连接层移除,替换为多个交替的卷积层和升采样层(upscale layers);上述的升采样层作用在于通过双线性插值,将上一层输出的特征图以倍数S放大,并输出到下一层网络,一般S值设为2倍。升采样层仅执行图像放大操作,不包含任何可学习的参数。
训练替换后的全局估计模型,确保全局估计模型中经训练过的卷积层(conv1~conv7)的参数固定不变,仅训练新加入的卷积层(conv8~conv15)的参数,并生成全局显著性图。
3、训练局部优化网络模块,得到最终的显著性图。
具体地,将原始图片作为局部优化网络模块的输入,标准显著性图作为局部优化网络模块的训练标注,同时将由步骤2生成的全局显著性估计图缩放后输入到局部优化网络模块中;
局部优化网络模块的主体输入为大小为[w,h,3]的原始图像数据,其中w为图像宽度,h为图像高度,3代表图像的RGB颜色通道。局部优化网络模块同时将步骤S22中生成的全局显著性估计图调整到合适大小后输入到网络中,作为一个特征图像。局部优化网络模块中包含多个卷积层,少量池化层(pool ing层)和少量升采样层。并且pooling层的下采样倍数S0和升采样层的升采样倍数S相等,因此该网络的输出尺寸与输出尺寸大小相等,即输出的显著性图大小与输入的原始图像大小相等。
在本申请的一些实施例中,局部优化网络模块包含多个卷积层,一个pooling层和一个升采样层,并且pooling层的下采样倍数S0和升采样层的升采样倍数S均设为2。全局显著性估计图缩放后输入到局部优化网络模块的中间部分为优。
4、通过全局、局部两个模型得到最终实验结果。首先将原始自然图像缩放到WxW大小,输入全局估计模型并得到全局显著性图;之后将原始图像和全局显著性图输入到局部优化网络模块中,得到最终的显著性图。
本发明实施例采用查准率-查全率曲线(Precision-Recall curve,简称PRcurve)进行评估,并与多种算法在MSRA10K数据集的测试集上进行测试。
本申请提供一种可选实施例:通过局部优化模型对全局显著性图和目标图像进行计算,得到最终的全局显著性图之后,将最终的显著性图与期望图像进行对比,其中,期望图像为目标区域处于清洁状态时的图像;当最终的显著性图的第一指标小于期望图像的第二指标情况下,结束对目标区域的清扫,第一指标和第二指标均用于指示图像的脏污程度。
可选地,使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体之前,将最终的显著性图与预存图片库中的图像进行比对;当最终的显著性图与预存图片库中的图像匹配时,发送提醒信号,提醒信号用于提示指定物体不是清扫目标。用户可以提前设置目标物体,并将目标物体的图像存储到预存图片库中,其中,目标物体不是扫地机器人清扫的目标,目标物体可以是,例如,纸币、硬币、钥匙等。扫地机器人包括扬声器、指示灯、通信模块,扫地机器人发出的提醒信号可以是以下两种方式:1)当最终的显著性图与预存图片库中的图像匹配时,扫地机器人发出告警音或者指示灯闪烁,从而提醒用户扫地机器人发现目标物体;2)当最终的显著性图与预存图片库中的图像匹配时,扫地机器人通过通信模块,将提醒信号发送至与扫地机器人连接的远程终端,其中,远程终端可以是手机等,以提醒用户扫地机器人在执行清扫工作时发现了目标物体。
步骤S106,在确定存在指定物体的情况下,控制扫地机器人对指定物体进行清扫。
在本申请实施例中,指定物体可以是灰尘、杂物、垃圾等。扫地机器人在确定存在指定物体时,对目标区域的目标图像中的指定物体进行清扫,以达到对目标区域的清洁的目的。
通过上述步骤,可以实现快速定位收集到的图像中需要处理的区域,提高了扫地机器人清扫垃圾的效率,提高了用户的体验。
根据本发明实施例,提供了一种扫地机器人清扫的产品实施例,图3是根据本发明实施例的一种扫地机器人清扫装置的结构图,如图3所示,该装置包括:
获取模块30,用于获取扫地机器人在前进方向上的目标区域的目标图像;
确定模块32,用于使用第一模型对目标图像进行分析,确定目标图像中是否存在指定物体,其中,第一模型为使用多组数据通过机器学习训练得到的,多组数据中的每组数据均包括:有指定标记的图像和无指定标记的原始图像,指定标记用于标记图像中存在指定物体;
控制模块34,用于在确定存在指定物体的情况下,控制扫地机器人对指定物体进行清扫。
确定模块32包括:
输入单元,用于将目标图像输入第一模型,其中,第一模型包括全局估计模型和局部优化模型;
第一计算单元,用于通过全局估计模型对目标图像进行计算,得到全局显著性图;
第二计算单元,用于通过局部优化模型对全局显著性图和目标图像进行计算,得到最终的全局显著性图;
确定单元,用于根据最终的显著性图,确定目标图像中是否存在指定物体。
可选地,全局估计模型包括A部分、B部、C部分;局部优化模型包括D部分和E部分;
其中,A部分由卷积层和池化层组成;B部分由两个级联的全连接层FC组成;C部分由多个卷积层和升采样层级联组成;A部分的输入连接目标图像,A部分的输出分别与B部分和C部分的输入连接,C部分的输入为全局估计模型的输出;
D部分的输入端与原始图像相连,D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端,E部分的输出端即为全局-局部优化模型的输出。
可选地,A部分由七个卷积层和三个池化层组成,其连接关系为:
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7,其中,conv1、conv2、conv3、conv5、conv6和conv7均表示卷积层;pool1、pool2、pool3均表示池化层,conv1为输入端的卷积层,conv1的输入为目标图像,conv7为输出端的卷积层;
C部分的连接为:upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15;其中,conv8、conv9、conv10、conv11、conv12、conv13、conv14和conv15均表示卷积层;upscale1、upscale2、upscale3均表示升采样层,upscale1为输入端的升采样层,conv1的输入为A部分的输出,conv15为输出端的卷积层,conv15输出全局显著性图;
D部分的连接为:conv1-pool1-conv2-conv3,其中,conv1、conv2、conv3均表示卷积层;pool1表示池化层,conv1为输入端的卷积层,conv1的输入为目标图像,conv3为输出端的卷积层;
E部分的连接为:conv4-conv5-upscale1-conv6-conv7-conv8,其中,conv4、conv5、conv6、conv7和conv8均表示卷积层;upscale1表示升采样层,conv4为输入端的卷积层,conv4的输入为目标图像和全局显著性图,conv7为输出端的卷积层。
可选地,确定模块32还包括:对比单元,用于将最终的显著性图与期望图像进行对比,其中,期望图像为目标区域处于清洁状态时的图像;当最终的显著性图的第一指标小于期望图像的第二指标情况下,结束对目标区域的清扫,第一指标和第二指标均用于指示图像的脏污程度。
可选地,上述装置还包括:
比对模块,用于将最终的显著性图与预存图片库中的图像进行比对;
发送模块,用于当最终的显著性图与预存图片库中的图像匹配时,发送提醒信号,提醒信号用于提示指定物体不是清扫目标。
需要说明的是,图3所示实施例的优选实施方式,可以参见图1至图2的相关描述,此处不再赘述。
上述获取模块30、确定模块32、控制模块34对应于上述实施例中的步骤S102至步骤S106,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
本申请还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述的扫地机器人清扫方法。
本申请还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述的扫地机器人清扫方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种扫地机器人清扫方法,其特征在于,包括:
获取扫地机器人在前进方向上的目标区域的目标图像;
使用第一模型对所述目标图像进行分析,确定所述目标图像中是否存在指定物体,其中,所述第一模型为使用多组数据通过机器学习训练得到的,所述多组数据中的每组数据均包括:有指定标记的图像和无所述指定标记的原始图像,所述指定标记用于标记图像中存在所述指定物体;
在确定存在所述指定物体的情况下,控制所述扫地机器人对所述指定物体进行清扫。
2.根据权利要求1所述的方法,其特征在于,使用第一模型对所述目标图像进行分析,确定所述目标图像中是否存在指定物体,包括:
将所述目标图像输入所述第一模型,其中,所述第一模型包括全局估计模型和局部优化模型;
通过所述全局估计模型对所述目标图像进行计算,得到全局显著性图;
通过所述局部优化模型对所述全局显著性图和所述目标图像进行计算,得到最终的全局显著性图;
根据所述最终的显著性图,确定所述目标图像中是否存在指定物体。
3.根据权利要求2所述的方法,其特征在于,
所述全局估计模型包括A部分、B部、C部分;
局部优化模型包括D部分和E部分;
其中,A部分由卷积层和池化层组成;B部分由两个级联的全连接层FC组成;C部分由多个卷积层和升采样层级联组成;A部分的输入连接所述目标图像,A部分的输出分别与B部分和C部分的输入连接,C部分的输入为全局估计模型的输出;
D部分的输入端与原始图像相连,D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端,E部分的输出端即为全局-局部优化模型的输出。
4.根据权利要求3所述的方法,其特征在于,
所述A部分由七个卷积层和三个池化层组成,其连接关系为:
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7,其中,conv1、conv2、conv3、conv5、conv6和conv7均表示卷积层;pool1、pool2、pool3均表示池化层,conv1为输入端的卷积层,conv1的输入为所述目标图像,conv7为输出端的卷积层;
所述C部分的连接为:
upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15;其中,conv8、conv9、conv10、conv11、conv12、conv13、conv14和conv15均表示卷积层;upscale1、upscale2、upscale3均表示升采样层,upscale1为输入端的升采样层,conv1的输入为A部分的输出,conv15为输出端的卷积层,所述conv15输出所述全局显著性图;
所述D部分的连接为:
conv1-pool1-conv2-conv3,其中,conv1、conv2、conv3均表示卷积层;pool1表示池化层,conv1为输入端的卷积层,conv1的输入为所述目标图像,conv3为输出端的卷积层;
所述E部分的连接为:
conv4-conv5-upscale1-conv6-conv7-conv8,其中,conv4、conv5、conv6、conv7和conv8均表示卷积层;upscale1表示升采样层,conv4为输入端的卷积层,conv4的输入为所述目标图像和所述全局显著性图,conv7为输出端的卷积层。
5.根据权利要求2所述的方法,其特征在于,通过所述局部优化模型对所述全局显著性图和所述目标图像进行计算,得到最终的全局显著性图之后,包括:
将所述最终的显著性图与期望图像进行对比,其中,所述期望图像为所述目标区域处于清洁状态时的图像;
当所述最终的显著性图的第一指标小于所述期望图像的第二指标情况下,结束对所述目标区域的清扫,所述第一指标和第二指标均用于指示图像的脏污程度。
6.根据权利要求2所述的方法,其特征在于,使用第一模型对所述目标图像进行分析,确定所述目标图像中是否存在指定物体之前,包括:
将所述最终的显著性图与预存图片库中的图像进行比对;
当所述最终的显著性图与所述预存图片库中的图像匹配时,发送提醒信号,所述提醒信号用于提示所述指定物体不是清扫目标。
7.一种扫地机器人清扫装置,其特征在于,包括:
获取模块,用于获取扫地机器人在前进方向上的目标区域的目标图像;
确定模块,用于使用第一模型对所述目标图像进行分析,确定所述目标图像中是否存在指定物体,其中,所述第一模型为使用多组数据通过机器学习训练得到的,所述多组数据中的每组数据均包括:有指定标记的图像和无所述指定标记的原始图像,所述指定标记用于标记图像中存在所述指定物体;
控制模块,用于在确定存在所述指定物体的情况下,控制所述扫地机器人对所述指定物体进行清扫。
8.根据权利要求7所述的装置,其特征在于,所述确定模块,包括:
输入单元,用于将所述目标图像输入所述第一模型,其中,所述第一模型包括全局估计模型和局部优化模型;
第一计算单元,用于通过所述全局估计模型对所述目标图像进行计算,得到全局显著性图;
第二计算单元,用于通过所述局部优化模型对所述全局显著性图和所述目标图像进行计算,得到最终的全局显著性图;
确定单元,用于根据所述最终的显著性图,确定所述目标图像中是否存在指定物体。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的扫地机器人清扫方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求6中任意一项所述的扫地机器人清扫方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810865572.4A CN110795964B (zh) | 2018-08-01 | 2018-08-01 | 扫地机器人清扫方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810865572.4A CN110795964B (zh) | 2018-08-01 | 2018-08-01 | 扫地机器人清扫方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110795964A true CN110795964A (zh) | 2020-02-14 |
CN110795964B CN110795964B (zh) | 2022-11-18 |
Family
ID=69425172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810865572.4A Active CN110795964B (zh) | 2018-08-01 | 2018-08-01 | 扫地机器人清扫方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110795964B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111733743A (zh) * | 2020-06-17 | 2020-10-02 | 广州赛特智能科技有限公司 | 一种自动清扫方法及清扫系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2447800A2 (en) * | 2010-10-28 | 2012-05-02 | LG Electronics, Inc. | Robot cleaner and controlling method of the same |
US20120297559A1 (en) * | 2011-05-27 | 2012-11-29 | Hon Hai Precision Industry Co., Ltd. | Object searching system, object searching method, and cleaning robot |
CN103565366A (zh) * | 2012-08-08 | 2014-02-12 | 夏普株式会社 | 清扫机器人及其控制方法 |
CN105701508A (zh) * | 2016-01-12 | 2016-06-22 | 西安交通大学 | 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法 |
CN106163360A (zh) * | 2014-03-24 | 2016-11-23 | 阿尔弗雷德·凯驰两合公司 | 用于清洁地面的方法和地板清洁设备 |
CN108154098A (zh) * | 2017-12-20 | 2018-06-12 | 歌尔股份有限公司 | 一种机器人的目标识别方法、装置和机器人 |
-
2018
- 2018-08-01 CN CN201810865572.4A patent/CN110795964B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2447800A2 (en) * | 2010-10-28 | 2012-05-02 | LG Electronics, Inc. | Robot cleaner and controlling method of the same |
US20120297559A1 (en) * | 2011-05-27 | 2012-11-29 | Hon Hai Precision Industry Co., Ltd. | Object searching system, object searching method, and cleaning robot |
CN103565366A (zh) * | 2012-08-08 | 2014-02-12 | 夏普株式会社 | 清扫机器人及其控制方法 |
CN106163360A (zh) * | 2014-03-24 | 2016-11-23 | 阿尔弗雷德·凯驰两合公司 | 用于清洁地面的方法和地板清洁设备 |
CN105701508A (zh) * | 2016-01-12 | 2016-06-22 | 西安交通大学 | 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法 |
CN108154098A (zh) * | 2017-12-20 | 2018-06-12 | 歌尔股份有限公司 | 一种机器人的目标识别方法、装置和机器人 |
Non-Patent Citations (1)
Title |
---|
付华: "基于极限学习机的半监督分类", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111733743A (zh) * | 2020-06-17 | 2020-10-02 | 广州赛特智能科技有限公司 | 一种自动清扫方法及清扫系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110795964B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697434B (zh) | 一种行为识别方法、装置和存储介质 | |
CN111190981B (zh) | 一种三维语义地图的构建方法、装置、电子设备及存储介质 | |
CN109377445B (zh) | 模型训练方法、替换图像背景的方法、装置和电子系统 | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN101277429B (zh) | 监控中多路视频信息融合处理与显示的方法和系统 | |
CN108961180B (zh) | 红外图像增强方法及系统 | |
CN108492294B (zh) | 一种图像色彩和谐程度的评估方法及装置 | |
CN111814753A (zh) | 针对雾天条件下的目标检测方法和装置 | |
US6380934B1 (en) | Estimating targets using statistical properties of observations of known targets | |
CN110119736B (zh) | 车牌位置识别方法、装置及电子设备 | |
CN111814754A (zh) | 面向夜间场景的单帧图像行人检测方法和装置 | |
CN111079507A (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
CN111582032A (zh) | 行人检测方法、装置、终端设备及存储介质 | |
CN111428664A (zh) | 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法 | |
CN114170570A (zh) | 一种适用于拥挤场景下的行人检测方法及系统 | |
CN110503704A (zh) | 三分图的构造方法、装置和电子设备 | |
CN111291646A (zh) | 一种人流量统计方法、装置、设备及存储介质 | |
WO2008040945A1 (en) | A method of identifying a measure of feature saliency in a sequence of images | |
CN110827319B (zh) | 一种基于局部敏感直方图改进的Staple目标跟踪方法 | |
CN110795964B (zh) | 扫地机器人清扫方法及装置 | |
CN108764248B (zh) | 图像特征点的提取方法和装置 | |
CN109241981A (zh) | 一种基于稀疏编码的特征检测方法 | |
CN112017113B (zh) | 图像处理方法及装置、模型训练方法及装置、设备及介质 | |
EP3018626A9 (en) | Apparatus and method for image segmentation | |
CN116612385A (zh) | 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |