CN107582001B - 洗碗机及其控制方法、装置和系统 - Google Patents

洗碗机及其控制方法、装置和系统 Download PDF

Info

Publication number
CN107582001B
CN107582001B CN201710987194.2A CN201710987194A CN107582001B CN 107582001 B CN107582001 B CN 107582001B CN 201710987194 A CN201710987194 A CN 201710987194A CN 107582001 B CN107582001 B CN 107582001B
Authority
CN
China
Prior art keywords
protrusion
image information
depth
detection model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710987194.2A
Other languages
English (en)
Other versions
CN107582001A (zh
Inventor
刘德茂
周荣
郭晗
殷桂华
连圆圆
赵杰明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201710987194.2A priority Critical patent/CN107582001B/zh
Publication of CN107582001A publication Critical patent/CN107582001A/zh
Application granted granted Critical
Publication of CN107582001B publication Critical patent/CN107582001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种洗碗机及其控制方法、装置和系统。其中,该方法包括:获取所述洗碗机中对象的图像信息;对所述图像信息进行识别,并依据识别结果确定所述对象的表面是否存在凸起;在所述对象的表面存在凸起的情况下,判断所述凸起是否为残留物。本发明解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题。

Description

洗碗机及其控制方法、装置和系统
技术领域
本发明涉及家电控制领域,具体而言,涉及一种洗碗机及其控制方法、装置和系统。
背景技术
随着洗碗机的发展和功能的完善,越来越多的家庭选择使用洗碗机来承担餐具的清洁工作。现有技术中洗碗机的控制部件通常包括:控制器、进水阀、泵。控制器决定洗碗机运转过程中,每个运行阶段持续运行的事件,进水阀与家庭供水系统连接,为洗碗机提供水,泵由电机驱动,在压水的过程中,泵把水推进到喷管里,在排水过程中,泵把水引到排水管,产生高压水柱喷向洗碗机中的餐具,来冲洗餐具上的物质。
上述洗碗机即为常见的喷淋式洗碗机,主要工作原理是通过电机驱动洗涤泵使洗涤液在一定压力下从喷臂喷出,形成密级的热水流,喷臂由于受到喷水的发作用而旋转,使洗涤液来回的喷射到各个餐具上,对餐具进行喷射和淋刷。
现有的洗碗机的清洁方式还包括超声波式洗碗机,其主要的工作原理是当超声波经过液体介质时,将以极高的频率压迫液体介质振动,使液体分子产生正负交变的冲击波。当声强达到一定数值时,液体中急剧生长微小空化气泡并瞬时闭合,产生强烈的微爆炸和冲击波使餐具表面的污渍被破坏,并从餐具表面脱落。
由此可见,现有技术中提出了多种洗碗机的清洁方式,但由于餐具在洗碗机中的摆放方式不当、用户未将餐具上较大的残留物清楚、或残留物粘性较大等原因,导致洗碗机清洁之后餐具上仍然存在残留。因此在洗碗机清洗完餐具之后,还需要人为的查看餐具是否都清洗干净。
针对现有技术中洗碗机中餐具的食物残留需要人工辨认的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种洗碗机及其控制方法、装置和系统,以至少解决现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题。
根据本发明实施例的一个方面,提供了一种洗碗机的控制方法,包括:获取洗碗机中对象的图像信息;对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起;在对象的表面存在凸起的情况下,判断凸起是否为残留物。
进一步地,从对象的图像信息中提取对象的第一特征信息;基于凸起检测模型对对象表面的第一特征信息进行分析,确定对象的表面是否存在凸起。
进一步地,根据每个像素的深度信息得到对象表面的深度梯度分布;基于凸起检测模型对对象表面的深度梯度分布进行分析,确定对象的表面是否存在凸起,其中,凸起检测模型使用多组第一数据通过机器学习训练得到,其中,多组第一数据中的每组第一数据包括:深度图像信息的深度梯度分布和深度图像信息中凸起的边缘像素。
进一步地,在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下,确定对象的表面存在凸起;在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下,确定对象表面不存在凸起。
进一步地,从对象的图像信息中提取对象的第二特征信息;基于对象的第二特征信息,确定凸起是否为残留物。
进一步地,获取匹配数据库,其中,匹配数据库包括多个残留物的边缘曲线;将对象的边缘曲线与匹配数据库中残留物的边缘曲线进行匹配,并根据匹配结果确定凸起是否为残留物。
进一步地,基于边缘检测模型对图像信息进行识别,以确定凸起是否为残留物,其中,边缘检测模型使用多组第二数据通过机器学习训练得到,其中,多组第二数据中的每组第二数据包括:凸起的边缘曲线和用于指示凸起是否为残留物的标签。
根据本发明实施例的另一方面,还提供了一种洗碗机的控制装置,包括:获取模块,用于获取洗碗机中对象的图像信息;确定模块,用于对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起;判断模块,用于在对象的表面存在凸起的情况下,判断凸起是否为残留物。
进一步地,确定模块包括:提取子模块,用于从对象的图像信息中提取对象的第一特征信息;确定子模块,用于基于凸起检测模型对对象表面的第一特征信息进行分析,确定对象的表面是否存在凸起。
进一步地,图像信息为深度图像信息,第一特征信息为每个像素的深度信息,确定子模块包括:获取单元,用于根据每个像素的深度信息得到对象表面的深度梯度分布;分析单元,用于基于凸起检测模型对对象表面的深度梯度分布进行分析,确定对象的表面是否存在凸起,其中,凸起检测模型使用多组第一数据通过机器学习训练得到,其中,多组第一数据中的每组第一数据包括:深度梯度分布和深度梯度分布中的凸起的边缘像素。
进一步地,分析单元包括:第一确定子单元,用于在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下,确定对象的表面存在凸起;第二确定子单元,用于在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下,确定对象表面不存在凸起。
根据本发明实施例的另一方面,还提供了一种洗碗机的控制系统,包括:图像采集装置,用于采集洗碗机中对象的图像信息;图像识别装置,用于对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起;控制器,在对象的表面存在凸起的情况下,判断凸起是否为残留物。
根据本发明实施例的另一方面,还提供了一种洗碗机,包括上述洗碗机的控制系统。
根据本发明实施例的另一方面,还提供了一种存储介质,其特征在于,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一种洗碗机的控制方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任意一种洗碗机的控制方法
在本发明实施例中,获取洗碗机中对象的图像信息,对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起,在对象的表面存在凸起的情况下,判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析,来识别对象表面的凸起,并通过对对象表面的凸起进行判别,来识别对象表面是否存在残留物,从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题,为无人参与的全自动洗碗机提供了实现手段。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本申请实施例的洗碗机的控制方法的流程图;
图2是根据本申请实施例的一种洗碗机的控制装置的示意图;以及
图3是根据本申请实施例的一种洗碗机的控制装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种洗碗机的控制方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的洗碗机的控制方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取洗碗机中对象的图像信息。
具体的,上述洗碗机中的对象可以是洗碗机中的餐具。上述步骤可以是通过洗碗机中的图像采集装置获取餐具的图像信息。
由于残留物会出现在餐具表面的任意部位,因此为了达到检测对象表面的残留物的目的,可以获取对象的多面图,以能够对餐具的每一面都进行检测。
步骤S104,对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起。
残留在对象表面的残留物会引起对象表面的凸起,因此可以对图像信息进行识别,并根据识别结果确定对象表面是否存在凸起。
具体的,可以基于检测模型对图像信息进行识别,识别出对象表面凸起的边缘线像素,在未识别出凸起的边缘像素的情况下,确定对象表面不存在凸起。
步骤S106,在对象的表面存在凸起的情况下,判断凸起是否为残留物。
在对象表面存在凸起的情况下,存在两种情况,一种情况是该凸起为对象本身的凸起,另一种情况即为该凸起为对象表面的残留物。
在确定对象表面存在凸起的情况下,可以采集凸起的特征信息,该特征信息可以包括:边缘信息、颜色信息等,通过对凸起的特征信息进行识别,来确定凸起是否为残留物。
由上可知,本申请上述实施例获取洗碗机中对象的图像信息,对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起,在对象的表面存在凸起的情况下,判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析,来识别对象表面的凸起,并通过对对象表面的凸起进行判别,来识别对象表面是否存在残留物,从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题,为无人参与的全自动洗碗机提供了实现手段。
作为一种可选的实施例,对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起,包括:
步骤S1041,从对象的图像信息中提取对象的第一特征信息。
具体的,上述第一特征信息可以是从图像信息中提取的灰度信息、纹理信息、颜色信息等,能够用于区别对象凸起和非凸起的特征信息均能够作为上述第一特征信息。
步骤S1043,基于凸起检测模型对对象表面的第一特征信息进行分析,确定对象的表面是否存在凸起。
具体的,上述凸起检测模型用于根据第一特征信息对对象的表面是否存在凸起进行预测。
作为一种可选的实施例,图像信息为深度图像信息,第一特征信息为每个像素的深度信息,基于凸起检测模型对对象表面的第一特征信息进行分析,确定对象的表面是否存在凸起,包括::
步骤S10431,根据每个像素的深度信息得到对象表面的深度梯度分布。
具体的,对象的深度图像信息可以通过微软Kinect传感器采集获得,深度图像信息的灰度值用于表征场景中像素点距离图像采集装置的距离,因此上述深度信息可以通过从深度图像信息中提取的每个像素的灰度值得到。深度梯度分布可以通过每个像素与相邻像素的梯度构成。
步骤S10433,基于凸起检测模型对对象表面的深度梯度分布进行分析,确定对象的表面是否存在凸起,其中,凸起检测模型使用多组第一数据通过机器学习训练得到,其中,多组第一数据中的每组第一数据包括:深度图像信息的深度梯度分布和深度图像信息中凸起的边缘像素。
需要说明的是,对于对象表面的凸起的边缘像素,其深度梯度值较大,因此可以根据这一特征构建凸起检测模型,使用具有不同凸起的深度图像的深度梯度分布以及不具有凸起的深度梯度分布对初始空模型进行训练,得到能够正确预测凸起边缘像素的凸起检测模型。
作为一种可选的实施例,基于凸起检测模型对对象表面的深度梯度分布进行分析,确定对象的表面是否存在凸起,包括:
步骤S10431,在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下,确定对象的表面存在凸起。
步骤S10433,在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下,确定对象表面不存在凸起。
在上述步骤中,根据凸起输出的结果判断对象表面是否存在凸起,当对象表面存在凸起时,凸起检测模型会输出凸起的边缘像素,当对象表面不存在凸起时,凸起检测模型会输出对象表面不存在凸起的指示信息。
作为一种可选的实施例,在对象的表面存在凸起的情况下,判断凸起是否为残留物,包括:
步骤S1081,从对象的图像信息中提取对象的第二特征信息。
具体的,上述特征信息可以是凸起的边缘曲线。
在一种可选的实施例中,根据对象的图像信息,基于凸起检测模型检测得到凸起的边缘像素之后,将凸起的边缘像素连接,构成对象的凸起的边缘曲线。
在另一种可选的实施例中,在确定对象表面存在凸起的情况下,可以通过sobel算子检测凸起的边缘。
步骤S1083,基于对象的第二特征信息,确定对象的表面是否存在凸起。
作为一种可选的实施例,第二特征信息包括凸起的边缘曲线,基于对象的第二特征信息,确定凸起是否为残留物,包括:
步骤S1061,获取匹配数据库,其中,匹配数据库包括多个残留物的边缘曲线。
具体的,上述匹配数据库根据多种残留物的边缘曲线,可以通过收集多种附着在餐具上的残留物的边缘曲线来得到匹配数据库。
步骤S1063,将对象的边缘曲线与匹配数据库中残留物的边缘曲线进行匹配,并根据匹配结果确定凸起是否为残留物。
在一种可选的实施例中,将对象的边缘曲线与匹配数据库中记录的残留物的边缘曲线进行匹配,在匹配成功的情况下确定对象表面的凸起为残留物,在匹配失败的情况下,确定对象表面的凸起不为残留物。
作为一种可选的实施例,第二特征信息包括凸起的边缘曲线,基于对象的第二特征信息,确定凸起是否为残留物,包括:
基于边缘检测模型对图像信息进行识别,以确定凸起是否为残留物,其中,边缘检测模型使用多组第二数据通过机器学习训练得到,其中,多组第二数据中的每组第二数据包括:凸起的边缘曲线和用于指示凸起是否为残留物的标签。
具体的,上述边缘检测模型用于根据凸起的边缘曲线预测凸起是否为残留物,由于残留物的边缘曲线和对象自身凸起的边缘曲线在折线出现的次数和折线的角度上都具有差异,因此可以通过训练边缘检测模型,根据凸起的边缘曲线对凸起是否为残留物进行判断。
通过边缘检测模型使用各种不同类型的凸起的边缘曲线作为第二数据进行训练,并通过测试数据集对训练得到的模型进行测试,在测试结果与测试数据中的边缘曲线对应的类型相匹配的情况下,确定边缘检测模型的准确度较高。
在一种可选的实施例中,将对象的凸起的边缘曲线作为特征数据输出至边缘检测模型,边缘检测模型根据凸起的边缘曲线,输出凸起是否为残留物的预测结果。
作为一种可选的实施例中,在确定对象的凸起为残留物的情况下,还可以控制洗碗机冲洗对象,以对对象的残留物进行清洁。在清洁之后再次对对象是否存在凸起进行检测,在检测到对象仍然存在凸起的情况下,发出告警信息,以提示用户查看对象。
实施例2
根据本发明实施例,提供了一种洗碗机的控制装置,图2是根据本申请实施例的一种洗碗机的控制装置的示意图,结合图2所示,该装置包括:
获取模块20,用于获取洗碗机中对象的图像信息。
确定模块22,用于对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起。
判断模块24,用于在对象的表面存在凸起的情况下,判断凸起是否为残留物。
由上可知,本申请上述实施例通过获取模块获取洗碗机中对象的图像信息,通过确定模块对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起,在对象的表面存在凸起的情况下,通过判断模块判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析,来识别对象表面的凸起,并通过对对象表面的凸起进行判别,来识别对象表面是否存在残留物,从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题,为无人参与的全自动洗碗机提供了实现手段。
作为一种可选的实施例,确定模块包括:
提取子模块,用于从对象的图像信息中提取对象的第一特征信息。
确定子模块,用于基于凸起检测模型对对象表面的第一特征信息进行分析,确定对象的表面是否存在凸起。
作为一种可选的实施例,图像信息为深度图像信息,第一特征信息为每个像素的深度信息,确定子模块包括:
获取单元,用于根据每个像素的深度信息得到对象表面的深度梯度分布。
分析单元,用于基于凸起检测模型对对象表面的深度梯度分布进行分析,确定对象的表面是否存在凸起,其中,凸起检测模型使用多组第一数据通过机器学习训练得到,其中,多组第一数据中的每组第一数据包括:深度梯度分布和深度梯度分布中的凸起的边缘像素。
作为一种可选的实施例,分析单元包括:
第一确定子单元,用于在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下,确定对象的表面存在凸起。
第二确定子单元,用于在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下,确定对象表面不存在凸起。
实施例3
根据本发明实施例,提供了一种洗碗机的控制系统,图3是根据本申请实施例的一种洗碗机的控制装置的示意图,结合图3所示,该系统包括:
图像采集装置30,用于采集洗碗机中对象的图像信息。
图像识别装置32,用于对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起。
控制器34,在对象的表面存在凸起的情况下,判断凸起是否为残留物。
由上可知,本申请上述实施例通过图像采集装置采集洗碗机中对象的图像信息,通过图像识别装置对图像信息进行识别,并依据识别结果确定对象的表面是否存在凸起,在对象的表面存在凸起的情况下,通过控制器判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析,来识别对象表面的凸起,并通过对对象表面的凸起进行判别,来识别对象表面是否存在残留物,从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题,为无人参与的全自动洗碗机提供了实现手段。
实施例4
根据本发明实施例,提供了一种洗碗机,包括实施例3中的洗碗机的控制系统。
实施例5
根据本发明实施例,提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行实施例1中的洗碗机的控制方法。
实施例6
根据本发明实施例,提供了一种处理器,处理器用于运行程序,其中,程序运行时执行实施例1中的洗碗机的控制方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种洗碗机的控制方法,其特征在于,包括:
获取所述洗碗机中对象的图像信息;
对所述图像信息进行识别,并依据识别结果确定所述对象的表面是否存在凸起,其中,在所述对象的表面存在凸起的情况下,存在两种情况,一种情况是该凸起为所述对象本身的凸起,另一种情况即为该凸起为所述对象的表面的残留物;
在所述对象的表面存在凸起的情况下,判断所述凸起是否为残留物;
其中,对所述图像信息进行识别,并依据识别结果确定所述对象的表面是否存在凸起,包括:从所述对象的图像信息中提取所述对象的第一特征信息;基于凸起检测模型对所述对象的表面的所述第一特征信息进行分析,确定所述对象的表面是否存在凸起;
所述图像信息为深度图像信息,所述第一特征信息为每个像素的深度信息,基于凸起检测模型对所述对象的表面的所述第一特征信息进行分析,确定所述对象的表面是否存在凸起,包括:根据所述每个像素的深度信息得到所述对象的表面的深度梯度分布;基于凸起检测模型对所述对象的表面的深度梯度分布进行分析,确定所述对象的表面是否存在凸起,其中,所述凸起检测模型使用多组第一数据通过机器学习训练得到,其中,所述多组第一数据中的每组第一数据包括:深度图像信息的深度梯度分布和所述深度图像信息中凸起的边缘像素,其中,所述深度图像信息的深度梯度分布为训练所述凸起检测模型时的输入数据,所述深度图像信息中凸起的边缘像素为训练所述凸起检测模型时的输出数据,所述凸起的边缘像素用于确定对应的表面存在凸起。
2.根据权利要求1所述的方法,其特征在于,基于所述凸起检测模型对所述对象的表面的深度梯度分布进行分析,确定所述对象的表面是否存在凸起,包括:
在所述凸起检测模型根据所述对象的表面的深度梯度分布输出凸起的边缘像素的情况下,确定所述对象的表面存在所述凸起;
在所述凸起检测模型根据所述对象的表面的深度梯度分布确定所述对象的表面的图像信息中不存在凸起的边缘像素的情况下,确定所述对象的表面不存在所述凸起。
3.根据权利要求1或2所述的方法,其特征在于,在所述对象的表面存在凸起的情况下,判断所述凸起是否为残留物,包括:
从所述对象的图像信息中提取所述对象的第二特征信息;
基于所述对象的第二特征信息,确定所述凸起是否为残留物。
4.根据权利要求3所述的方法,其特征在于,所述第二特征信息包括所述凸起的边缘曲线,基于所述对象的第二特征信息,确定所述凸起是否为残留物,包括:
获取匹配数据库,其中,所述匹配数据库包括多个残留物的边缘曲线;
将所述对象的边缘曲线与所述匹配数据库中残留物的边缘曲线进行匹配,并根据匹配结果确定所述凸起是否为所述残留物。
5.根据权利要求3所述的方法,其特征在于,所述第二特征信息包括所述凸起的边缘曲线,基于所述对象的第二特征信息,确定所述凸起是否为残留物,包括:
基于边缘检测模型对所述图像信息进行识别,以确定所述凸起是否为所述残留物,其中,所述边缘检测模型使用多组第二数据通过机器学习训练得到,其中,所述多组第二数据中的每组第二数据包括:凸起的边缘曲线和用于指示所述凸起是否为残留物的标签。
6.一种洗碗机的控制装置,其特征在于,包括:
获取模块,用于获取所述洗碗机中对象的图像信息;
确定模块,用于对所述图像信息进行识别,并依据识别结果确定所述对象的表面是否存在凸起,其中,在所述对象的表面存在凸起的情况下,存在两种情况,一种情况是该凸起为所述对象本身的凸起,另一种情况即为该凸起为所述对象的表面的残留物;
判断模块,用于在所述对象的表面存在凸起的情况下,判断所述凸起是否为残留物;
其中,所述确定模块包括:提取子模块,用于从所述对象的图像信息中提取所述对象的第一特征信息;确定子模块,用于基于凸起检测模型对所述对象的表面的所述第一特征信息进行分析,确定所述对象的表面是否存在凸起;
所述图像信息为深度图像信息,所述第一特征信息为每个像素的深度信息,所述确定子模块包括:获取单元,用于根据所述每个像素的深度信息得到所述对象的表面的深度梯度分布;分析单元,用于基于凸起检测模型对所述对象的表面的深度梯度分布进行分析,确定所述对象的表面是否存在凸起,其中,所述凸起检测模型使用多组第一数据通过机器学习训练得到,其中,所述多组第一数据中的每组第一数据包括:深度图像信息的深度梯度分布和所述深度图像信息中凸起的边缘像素,其中,所述深度图像信息的深度梯度分布为训练所述凸起检测模型时的输入数据,所述深度图像信息中凸起的边缘像素为训练所述凸起检测模型时的输出数据,所述凸起的边缘像素用于确定对应的表面存在凸起。
7.根据权利要求6所述的装置,其特征在于,所述分析单元包括:
第一确定子单元,用于在所述凸起检测模型根据所述对象的表面的深度梯度分布输出凸起的边缘像素的情况下,确定所述对象的表面存在所述凸起;
第二确定子单元,用于在所述凸起检测模型根据所述对象的表面的深度梯度分布确定所述对象的表面的图像信息中不存在凸起的边缘像素的情况下,确定所述对象的表面不存在所述凸起。
8.一种洗碗机的控制系统,其特征在于,包括:
图像采集装置,用于采集所述洗碗机中对象的图像信息;
图像识别装置,用于对所述图像信息进行识别,并依据识别结果确定所述对象的表面是否存在凸起,其中,在所述对象的表面存在凸起的情况下,存在两种情况,一种情况是该凸起为所述对象本身的凸起,另一种情况即为该凸起为所述对象的表面的残留物;
控制器,在所述对象的表面存在凸起的情况下,判断所述凸起是否为残留物;
其中,所述图像识别装置用于通过以下步骤来对所述图像信息进行识别,并依据识别结果确定所述对象的表面是否存在凸起:从所述对象的图像信息中提取所述对象的第一特征信息;基于凸起检测模型对所述对象的表面的所述第一特征信息进行分析,确定所述对象的表面是否存在凸起;
所述图像信息为深度图像信息,所述第一特征信息为每个像素的深度信息,所述图像识别装置用于通过以下步骤来基于凸起检测模型对所述对象的表面的所述第一特征信息进行分析,确定所述对象的表面是否存在凸起:根据所述每个像素的深度信息得到所述对象的表面的深度梯度分布;基于凸起检测模型对所述对象的表面的深度梯度分布进行分析,确定所述对象的表面是否存在凸起,其中,所述凸起检测模型使用多组第一数据通过机器学习训练得到,其中,所述多组第一数据中的每组第一数据包括:深度图像信息的深度梯度分布和所述深度图像信息中凸起的边缘像素,其中,所述深度图像信息的深度梯度分布为训练所述凸起检测模型时的输入数据,所述深度图像信息中凸起的边缘像素为训练所述凸起检测模型时的输出数据,所述凸起的边缘像素用于确定对应的表面存在凸起。
9.一种洗碗机,其特征在于,包括权利要求8所述的洗碗机的控制系统。
10.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的洗碗机的控制方法。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的洗碗机的控制方法。
CN201710987194.2A 2017-10-20 2017-10-20 洗碗机及其控制方法、装置和系统 Active CN107582001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710987194.2A CN107582001B (zh) 2017-10-20 2017-10-20 洗碗机及其控制方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710987194.2A CN107582001B (zh) 2017-10-20 2017-10-20 洗碗机及其控制方法、装置和系统

Publications (2)

Publication Number Publication Date
CN107582001A CN107582001A (zh) 2018-01-16
CN107582001B true CN107582001B (zh) 2020-08-11

Family

ID=61053561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710987194.2A Active CN107582001B (zh) 2017-10-20 2017-10-20 洗碗机及其控制方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107582001B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852239A (zh) * 2018-06-28 2018-11-23 北京金山安全软件有限公司 一种洗碗机及其改造升级方法
CN109744971A (zh) * 2019-01-30 2019-05-14 佛山市云米电器科技有限公司 一种提高洗碗机洗涤效率的洗涤方法及其使用的洗碗机
CN112773292B (zh) * 2021-01-07 2022-03-25 佛山市顺德区美的洗涤电器制造有限公司 食物残渣处理方法、处理器、装置、洗碗机以及介质

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988839A (zh) * 2004-07-23 2007-06-27 Bsh博施及西门子家用器具有限公司 用于识别洗涤物装载情况的方法以及餐具洗涤机
CN101140623A (zh) * 2007-09-29 2008-03-12 华为技术有限公司 一种基于支持向量机的视频对象识别方法及系统
CN101419669A (zh) * 2008-10-14 2009-04-29 复旦大学 一种基于轮廓波变换的三维人耳提取方法
CN101544065A (zh) * 2008-03-28 2009-09-30 Ged综合解决方案公司 具有检测和补偿的窗户加工
CN101916381A (zh) * 2010-07-13 2010-12-15 北京大学 基于稀疏表示的物体轮廓提取方法
CN102207966A (zh) * 2011-06-01 2011-10-05 华南理工大学 基于对象标签的视频内容快速检索方法
CN103413347A (zh) * 2013-07-05 2013-11-27 南京邮电大学 基于前景背景融合的单目图像深度图提取方法
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
CN104008553A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 融合影像梯度方向直方图和分水岭方法的裂缝检测方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN105335723A (zh) * 2015-11-02 2016-02-17 招商局重庆交通科研设计院有限公司 一种基于红外结构光的车型识别方法
CN105374039A (zh) * 2015-11-16 2016-03-02 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN105528789A (zh) * 2015-12-08 2016-04-27 深圳市恒科通多维视觉有限公司 机器人视觉定位方法和装置、视觉标定方法和装置
CN105590309A (zh) * 2014-10-23 2016-05-18 株式会社理光 前景图像分割方法和装置
CN105740882A (zh) * 2016-01-22 2016-07-06 苏州大学 一种基于多尺度不变量描述的目标识别方法及装置
CN106096932A (zh) * 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别系统的计价方法
CN205831740U (zh) * 2016-05-23 2016-12-28 九牧厨卫股份有限公司 一种智能水槽系统
CN106295640A (zh) * 2016-08-01 2017-01-04 乐视控股(北京)有限公司 一种智能终端的物体识别方法和装置
CN106371599A (zh) * 2016-09-08 2017-02-01 清华大学 深度图像中的高精度指尖定位方法及装置
CN106415606A (zh) * 2014-02-14 2017-02-15 河谷控股Ip有限责任公司 一种基于边缘的识别、系统和方法
CN106535731A (zh) * 2014-07-17 2017-03-22 Bsh家用电器有限公司 具有能旋转地被支承的光学的检测器件的洗碗机、尤其是家用洗碗机
CN106682635A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于随机森林特征选择的烟雾检测方法
CN106709909A (zh) * 2016-12-13 2017-05-24 重庆理工大学 一种基于深度学习的柔性机器人视觉识别与定位系统
CN107045630A (zh) * 2017-04-24 2017-08-15 杭州司兰木科技有限公司 一种基于rgbd的行人检测和身份识别方法及系统
CN107241643A (zh) * 2017-08-03 2017-10-10 沈阳建筑大学 一种多媒体音量调节方法及系统
CN107242842A (zh) * 2017-07-16 2017-10-13 蔡璟 一种智能清理设备及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10048081A1 (de) * 2000-09-28 2002-04-18 Miele & Cie Verfahren zur Erkennung der Spülgutbeladung und/oder des Verschmutzungsgrades von Spülgut in einer programmgesteuerten Geschirrspülmaschine und Geschirrspülmaschine dafür
CN206015810U (zh) * 2015-12-31 2017-03-15 九阳股份有限公司 一种智能水槽
CN205581686U (zh) * 2015-12-31 2016-09-14 九阳股份有限公司 一种物联网智能水槽系统

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988839A (zh) * 2004-07-23 2007-06-27 Bsh博施及西门子家用器具有限公司 用于识别洗涤物装载情况的方法以及餐具洗涤机
CN101140623A (zh) * 2007-09-29 2008-03-12 华为技术有限公司 一种基于支持向量机的视频对象识别方法及系统
CN101544065A (zh) * 2008-03-28 2009-09-30 Ged综合解决方案公司 具有检测和补偿的窗户加工
CN101419669A (zh) * 2008-10-14 2009-04-29 复旦大学 一种基于轮廓波变换的三维人耳提取方法
CN101916381A (zh) * 2010-07-13 2010-12-15 北京大学 基于稀疏表示的物体轮廓提取方法
CN102207966A (zh) * 2011-06-01 2011-10-05 华南理工大学 基于对象标签的视频内容快速检索方法
CN103413347A (zh) * 2013-07-05 2013-11-27 南京邮电大学 基于前景背景融合的单目图像深度图提取方法
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
CN106415606A (zh) * 2014-02-14 2017-02-15 河谷控股Ip有限责任公司 一种基于边缘的识别、系统和方法
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
CN104008553A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 融合影像梯度方向直方图和分水岭方法的裂缝检测方法
CN106535731A (zh) * 2014-07-17 2017-03-22 Bsh家用电器有限公司 具有能旋转地被支承的光学的检测器件的洗碗机、尤其是家用洗碗机
CN105590309A (zh) * 2014-10-23 2016-05-18 株式会社理光 前景图像分割方法和装置
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN105335723A (zh) * 2015-11-02 2016-02-17 招商局重庆交通科研设计院有限公司 一种基于红外结构光的车型识别方法
CN105374039A (zh) * 2015-11-16 2016-03-02 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN105528789A (zh) * 2015-12-08 2016-04-27 深圳市恒科通多维视觉有限公司 机器人视觉定位方法和装置、视觉标定方法和装置
CN105740882A (zh) * 2016-01-22 2016-07-06 苏州大学 一种基于多尺度不变量描述的目标识别方法及装置
CN205831740U (zh) * 2016-05-23 2016-12-28 九牧厨卫股份有限公司 一种智能水槽系统
CN106096932A (zh) * 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别系统的计价方法
CN106295640A (zh) * 2016-08-01 2017-01-04 乐视控股(北京)有限公司 一种智能终端的物体识别方法和装置
CN106371599A (zh) * 2016-09-08 2017-02-01 清华大学 深度图像中的高精度指尖定位方法及装置
CN106709909A (zh) * 2016-12-13 2017-05-24 重庆理工大学 一种基于深度学习的柔性机器人视觉识别与定位系统
CN106682635A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于随机森林特征选择的烟雾检测方法
CN107045630A (zh) * 2017-04-24 2017-08-15 杭州司兰木科技有限公司 一种基于rgbd的行人检测和身份识别方法及系统
CN107242842A (zh) * 2017-07-16 2017-10-13 蔡璟 一种智能清理设备及其方法
CN107241643A (zh) * 2017-08-03 2017-10-10 沈阳建筑大学 一种多媒体音量调节方法及系统

Also Published As

Publication number Publication date
CN107582001A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
CN107582001B (zh) 洗碗机及其控制方法、装置和系统
CN109998437B (zh) 一种清洗模式的确定方法及洗碗机
US11794216B2 (en) Verification of cleaning processes with electronically readable coded coupon
CN111265166B (zh) 一种智能洗碗机的控制方法及相关产品
CN107862313B (zh) 洗碗机及其控制方法和装置
WO2021050858A1 (en) Control of cleaning machine cycles using machine vision
CN111580396A (zh) 清洗控制方法、洗碗机和存储介质
CN112869674A (zh) 用于洗碗机的清洗方法、清洗装置以及洗碗机
CN112869680A (zh) 用于洗碗机的清洗方法、清洗装置以及洗碗机
CN114073459B (zh) 清洁基站的控制方法、清洁基站和清洁系统
CN116823363B (zh) 一种洗碗机性能评级系统及评价方法
CN114190851A (zh) 一种洗碗机的控制方法及洗碗机
CN109636268B (zh) 一种货品监控系统、方法、装置、电子设备和存储设备
CN109146871B (zh) 裂纹的识别方法及装置
CN115399697A (zh) 清洁设备的自清洁方法和装置、存储介质及电子装置
EP3517015A1 (en) Method for automatically evaluating the degree of cleanliness of the filtering system in a dishwashing machine
CN110833368A (zh) 一种洗碗机清洗智能控制方法
CN111580839B (zh) 电器设备的升级方法及装置
CN105451626A (zh) 检测洗碗机中洗涤剂分配器盖的打开
CN109528137B (zh) 智能化涡流式洗碗机
CN112869678A (zh) 用于确定洗碗机清洗参数的方法及装置、系统
CN115734737A (zh) 具有洗碗机的系统、用于运行洗碗机的方法和计算机程序产品
CN110807441A (zh) 洗手自动监测方法和装置
RU2776938C2 (ru) Способ автоматической оценки степени чистоты системы фильтрации посудомоечной машины
EP4026476A1 (en) Control method of dishwasher

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant