CN112861839A - 用于洗碗机的方法、装置以及洗碗机 - Google Patents
用于洗碗机的方法、装置以及洗碗机 Download PDFInfo
- Publication number
- CN112861839A CN112861839A CN202110215406.1A CN202110215406A CN112861839A CN 112861839 A CN112861839 A CN 112861839A CN 202110215406 A CN202110215406 A CN 202110215406A CN 112861839 A CN112861839 A CN 112861839A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- dishwasher
- target image
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000013589 supplement Substances 0.000 claims abstract description 42
- 238000004851 dishwashing Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 11
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000004140 cleaning Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000005406 washing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003749 cleanliness Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Washing And Drying Of Tableware (AREA)
Abstract
本发明实施例提供一种用于洗碗机的方法、装置以及洗碗机。洗碗机包括图像采集设备和设置在洗碗机内的补光灯，方法包括：控制补光灯分别以不同的亮度进行补光；控制图像采集设备在不同亮度下采集图像；将图像输入至预测模型，以预测每张图像的图像信息；根据图像信息将图像进行对比以确定目标图像；将目标图像对应的亮度作为补光灯的目标补光亮度。本发明实施例利用了集成式的思想，将深度学习和本特殊场景下巧妙结合在一起，可以在洗碗机达到实时快速地精准控制灯光亮度，并可以不断循环迭代优化，以节省网络带宽，并减轻服务器压力，给用户带来更好的体验。
Description
技术领域
本发明涉及厨卫电器技术领域，具体是一种用于洗碗机的方法、装置以及洗碗机。
背景技术
在人工智能蓬勃发展的今天，用户对智能家居的需求越来越强烈，一个带有人工智能功能的洗碗机，会带给用户便捷操作，也能极大提升产品的品质和用户体验。对用户放入洗碗机内部的餐具进行自动识别，对洗碗机来说是一个最基本的需求。对里面物品的精准判断，可以使洗碗机自动调节水的强度、控制油污、保护餐具等功能。这就必须需要给洗碗机增加摄像头和补光灯，特别是在相对封闭的内腔中，机器只能通过补光灯来为其提供照明。那成像的质量就直接和补光灯的效果直接相关，它将直接决定了后续图像智能算法的准确性。所以如何能让机器自动根据里面放置的器皿来调节补光灯的亮度就显得尤为重要了。
现有技术中，用基于深度卷积神经网络的检测分割模型是对洗碗机内部物品进行判断的通用方法，并已经在很多场景中实际应用。因此一个可行的方法是将各种光照亮度的图像信息传送回服务器中，利用服务器的强大算力来驱动检测分割模型来对各种亮度进行分析，但这势必会导致网络负载的增加，同时也会使得服务器的压力变大，因此，现有技术仍需改进。
发明内容
为解决上述技术问题，本发明的目的是提供一种用于洗碗机的方法、装置以及洗碗机。
为了实现上述目的，在本发明第一方面，提供一种用于洗碗机的方法，洗碗机包括图像采集设备和设置在洗碗机内的补光灯，方法包括：控制补光灯分别以不同的亮度进行补光；控制图像采集设备在不同亮度下采集图像；将图像输入至预测模型，以预测每张图像的图像信息；根据图像信息将图像进行对比以确定目标图像；将目标图像对应的亮度作为补光灯的目标补光亮度。
在本申请实施例中，图像信息包括餐具数量，根据图像信息将图像进行对比以确定目标图像包括：根据餐具数量对图像进行排序；从图像中确定餐具数量最多的第一图像；在第一图像的数量为一张的情况下，将第一图像确定为目标图像。
在本申请实施例中，图像信息还包括置信度，根据图像信息将图像进行对比以确定目标图像还包括：在第一图像的数量大于一张的情况下，将第一图像的置信度进行排序；将第一图像中置信度最高的第二图像确定为目标图像。
在本申请实施例中，控制补光灯分别以不同亮度进行补光包括：控制补光灯逐级改变亮度。
在本申请实施例中，方法还包括：根据目标图像的图像信息确定控制程序的相关参数；控制洗碗机按照控制程序运行并获取运行结果；根据运行结果确定图像信息是否匹配；在图像信息不匹配的情况下，将目标图像作为训练样本对预测模型进行训练以优化预测模型。
在本申请实施例中，将目标图像作为训练样本对预测模型进行训优化预测模型包括：将目标图像发送至云平台；在云平台将目标图像作为训练样本对预测模型进行训练；将训练后的预测模型下载至洗碗机中以优化预测模型。
在本申请实施例中，预测模型包括以下的任一种：Anchor-Based模型和Anchor-Free模型。
在本申请的第二方面，还提供一种用于洗碗机的装置，补光灯，用于对洗碗机内进行补光；图像采集设备，用于获取洗碗机内的图像；处理器，被配置成：控制补光灯分别以不同的亮度进行补光；控制图像采集设备在不同亮度下采集图像；将图像输入至预测模型，以预测每张图像的图像信息；根据图像信息将图像进行对比以确定目标图像；将目标图像对应的亮度作为补光灯的目标补光亮度。
在本申请实施例中，图像信息包括餐具数量，处理器被配置成根据图像信息将图像进行对比以确定目标图像包括处理器被配置成：根据餐具数量对图像进行排序；从图像中确定餐具数量最多的第一图像；在第一图像的数量为一张的情况下，将第一图像确定为目标图像。
在本申请实施例中，图像信息还包括置信度，处理器被配置成根据图像信息将图像进行对比以确定目标图像还包括处理器被配置成：在第一图像的数量大于一张的情况下，将第一图像的置信度进行排序；将第一图像中置信度最高的第二图像确定为目标图像。
在本申请实施例中，处理器被配置成控制补光灯分别以不同亮度进行补光包括处理器被配置成：控制补光灯逐级改变亮度。
在本申请实施例中，处理器还包括：根据目标图像的图像信息确定控制程序的相关参数；控制洗碗机按照控制程序运行并获取运行结果；根据运行结果确定图像信息是否匹配；在图像信息不匹配的情况下，将目标图像作为训练样本对预测模型进行训练以优化预测模型。
在本申请实施例中，将目标图像作为训练样本对预测模型进行训练以优化预测模型包括：将目标图像发送至云平台；在云平台将目标图像作为训练样本对预测模型进行训练；将训练后的预测模型下载至洗碗机中以优化预测模型。
在本申请实施例中，预测模型包括以下的任一种：Anchor-Based模型和Anchor-Free模型。
本发明实施例提供一种洗碗机，包括根据上述的用于洗碗机的装置。
另一方面，提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于在被处理器执行时使得处理器能够执行根据上述的用于洗碗机的方法。
本发明实施例中，还提供一种计算机程序产品，包括计算机程序，其特征在于，计算机程序在被处理器执行时实现根据上述的用于洗碗机的方法。
通过上述技术方案，本发明实施例提供的方法，和以往的方式通过图像去计算最合理的补光亮度不同，而是首先利用控制补光灯分别以不同的亮度值进行补光；控制图像采集设备采集多张图像，每张图像对应一个亮度值；继而根据图像中的图像信息进行对比，来确定目标图像，将目标图像所对应的亮度值作为补光灯的目标补光亮度值，从而可以实时快速的判断洗碗机所需的最合适的亮度值。本发明实施例利用了集成式的思想，将深度学习和本特殊场景下巧妙结合在一起，可以在洗碗机达到实时快速地精准控制灯光亮度，并可以不断循环迭代优化，以节省网络带宽，并减轻服务器压力，给用户带来更好的体验。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明实施例所提供的洗碗机的结构示意图；
图2是本发明实施例所提供的洗碗机的方法的流程图；
图3是本发明实施例所提供的用于洗碗机的方法中步骤S104的流程图；
图4是是本发明实施例所提供的用于洗碗机的方法中演示步骤S104的示意图；
图5是本发明实施例所提供的用于洗碗机的方法中步骤S104进一步的流程图；
图6是本发明实施例所提供的用于洗碗机的方法中进一步的流程图；
图7是本发明实施例所提供的用于洗碗机的方法中步骤S109进一步的流程图；
图8是本发明实施例所提供的用于洗碗机的方法中演示步骤S106至步骤S109的连接拓扑图；
附图标记说明
100、洗碗机； 10、图像采集设备；
20、补光灯； 200、云平台。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“或”的含义为，包括三个并列的方案，以“A或B”为例，包括A方案，或B方案，或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明实施例提供一种用于洗碗机的补光方案，该方案包括有多个实施例，分别包括对洗碗机中清洗区域的图像获取，图像的选择，以及控制补光灯进行补光等多个方面，以下具体阐述本发明实施例中所包含的内容：
本发明实施例首先提供一种用于洗碗机的方法，具体来说为实现洗碗机的更智能所提供的一种对洗碗机内的清洗区域进行补光以更好地获取目标图像的方法，该方法旨在解决现有的洗碗机采用将各种光照亮度的图像信息传送回服务器中，利用服务器的强大算力来驱动检测分割模型来对各种亮度进行分析，但这势必会导致网络负载的增加，从而使得服务器的压力变大，最终所需的研发成本较高，且很难实现精准识别，达不到用户所预期的体验的问题。
请参阅图1，图1是本发明实施例所提供的洗碗机的结构示意图。洗碗机100内为清洗区域，以用于放置餐具予该区域进行清洗。清洗区域的内壁可设置有图像采集设备10，以用于采集清洗区域的图像，进一步还设置有补光灯20，以对洗碗机的清洗区域进行补光；可选地，补光灯20采用环形补光灯设置于图像采集设备10的周侧，以节省清洗区域的空间，并方便在内壁单侧接线，补光灯20和图像采集设备10的位置可以不予限定，可以设置在清洗区域的顶部或者旁侧。本发明实施例所提供的洗碗机仅起示例性作用，不对本发明实施例所需的洗碗机予以限定。
请参阅图2，图2是本发明实施例所提供的洗碗机的方法的流程图。洗碗机的方法包括：
步骤S101、控制补光灯分别以不同的亮度进行补光；
步骤S102、控制图像采集设备在不同亮度下采集图像；
步骤S103、将图像输入至预测模型，以预测每张图像的图像信息；
步骤S104、根据图像信息将图像进行对比以确定目标图像；
步骤S105、将目标图像对应的亮度作为补光灯的目标补光亮度。
具体地，在本发明实施例所提供的方法中，需要利用到亮度可调节的补光灯，如可将补光灯设置成通过PWM(Pulse Width Modulation：脉冲宽度调制)来控制补光灯的亮度，以实现步骤S101中的控制补光灯以不同的亮度值进行补光，在一个实施例中，可以通过控制PWM的电信号输入至补光灯的占空比(占空比：信号或系统处于导通状态的时间占整体周期的比重称为占空比或功率周期)，对于步骤S102，是基于补光灯在调节亮度值的同时，一边采集图像，从而采集多张不同亮度值的图像，每张图像对应一个亮度值。简单而言，即步骤S101至步骤S102是通过补光灯不断调节亮度值进行补光，从而使得清洗区域位于不同的光亮环境，并协同图像采集装置进行采集，从而获得不同亮度值下的所有图像。
对于步骤S101至步骤S102，可以通过两种方式，一种方式是在初始化补光灯后，通过每次改变补光灯的亮度后出发图像采集装置进行采集，可以将补光灯的亮度值设置成多个等级，如10个等级，每个等级对应不同的占空比的脉冲宽度调制波形，等级10为占空比最最亮，即占空比最大时为补光灯的最高亮度，反之等级1为补光灯的最小亮度，在每次初始化补光灯后，控制补光灯的亮度值根据等级从高到低或者从低到高依次进行补光，在每次调节后，均触发图像采集装置进行一次采集图像，从而从10到1采集10张不同亮度值的图像，可以理解的是，也可以将补光灯的亮度值分为更多的等级以提高精准度，从而获取更多的图像，具体根据用户需求所定。
在另一个实施例中，通过设置一个周期，即从初始时间开始的一个预设周期内，补光灯和图像采集设备交互进行采集图像，如0～0.1s，补光灯调节一次亮度值，而图像采集设备在0.1s(曝光时间短可忽略)采集一张图像，在0.1s到0.2s补光灯调节一次亮度值，图像采集设备在0.2s再次采集一张图像，从而补光灯在一个周期内将所有的亮度值调节完毕，图像采集设备即可获取到清洗区域在所有亮度值下的图像。
需要说明的是，以上的两种方式所实现的功能一致，但是从编码思维和控制逻辑上是不一致的，采用两种方式均属于本发明实施例所保护的范围内。
在一个实施例中，步骤S101中控制补光灯分别以不同亮度值进行补光可以包括：控制补光灯的亮度值根据等级从高到低或者从低到高依次进行补光。具体地，优选控制补光灯的亮度值根据等级从高到低进行补光，以使得后续图像采集设备更快找到最合适的亮度值，从而加快反应速度，减少计算时间，提高响应速度。
具体地，根据以上的步骤S101至步骤S105，本发明实施例提供一种总的方案(由控制器执行)为：
在洗碗机的开门的机构处设置一个触发器，当洗碗机的门被关上以后会控制器会得到一个信号，然后开始初始化摄像头，并根据补光灯的N(N大于2)个等级，快速按照以上的两种方式拍下N张照片，在这里一张图像代表一个亮度等级(即对应的亮度值)的照片，因此得到了N个亮度等级的彩色图像。
然后将这N张彩色图像输入到预先训练好的检测或分割的模型中，同样可以得到N个输出结果，即图像信息。该图像信息可以包括洗碗机在洗碗过程中所需求的内容，如餐具数量，餐具的洁净度，餐具的类型，置信度等，在对这N个结果进行对比分析，从中选择最好的结果，即目标图像，继而通过目标图像以确定出最好的亮度等级，然后直接将补光灯的亮度调节为此亮度，为后续任务提供高质量的图像，明显提高识别精度和准确度。该方式相比较以往的方式来说，可以很大程度上减少算力，从而降低研发成本和加快响应速度。
请参阅图3以及图4，图3是本发明实施例所提供的用于洗碗机的方法中步骤S104的流程图。图4是是本发明实施例所提供的用于洗碗机的方法中演示步骤S104的示意图。步骤S104中根据餐具数量确定目标图像包括：
步骤S1041、根据餐具数量将多张图像进行排序；
步骤S1042、从图像中确定餐具数量最多的第一图像；
步骤S1043、在第一图像的数量为一张的情况下，将第一图像确定为目标图像。
可以理解的是，在通常情况下集成式的深度学习策略中通常为了识别图像的特征需要利用到检测分割模型，检测分割模型运行在具有图形加速的芯片或服务器里，它可以一次性处理一个批次的多张图像，这也使得在本申请实施例中一次传入N张图像而不会影响整个运行时间。同时由于过暗或者过亮的图像质量，都会导致餐具边缘无法区分，因此导致模型检测出的餐具数量的降低，也就是通常所说的召回率recall(检出率)降低。但是如果餐具没有被识别进去就很可能导致遗漏餐具没有清洗，导致用户在使用体验上极差，效果和智能洗碗机的初衷背道而驰，因此本发明实施例所期望的洗碗机进行智能清洗的时候，需要确保高recall，也就是没有检测出来的餐具数量必须尽量低。那么只要确定对这N张图像来说，最高检测数目的亮度也就是所需要的亮度。洗碗机在清洗时正好对召回率recall有更高的要求，只要检测数目最多，以认为是最好的亮度值选择，利用了这一特点，从而实现更精准更快响应的识别。其中，识别餐具数量可以采用图像识别中的边缘检测技术，当然，检测餐具数目的多，也就是召回率recall高，通常会导致精准度降低，也就是模型检测出来的餐具也可能是背景。在本发明实施例中后续可以通过不断的对模型进行难例挖掘来提升。
在一个实施例中，以餐具数量为示例，请参阅图5，图5是本发明实施例所提供的用于洗碗机的方法中步骤S104进一步的流程图。图像信息还包括置信度，图像信息还包括置信度，在步骤S104中根据餐具数量提取目标图像还包括：
步骤S1044、在第一图像的数量大于一张的情况下，将第一图像的置信度进行排序；
步骤S1045、将第一图像中置信度最高的第二图像确定为目标图像。
可以理解，在餐具数量最多的第二图像超过一张时，如对应等级为7和等级为8的亮度值的两张图像(此时该两张图像均称之为第二图像)中餐具数量均为同批图像最多的6个餐具，可以通过对比该两张图像的置信度(也称为可靠度，或置信水平、置信系数，即在抽样对总体参数进行估计时，由于样本的随机性，其结论总是不确定的。在本发明实施例可以理解为预测模型所预估的精准度)，以置信度较高的第二图像作为目标图像。
请参阅图6，图6是本发明实施例所提供的用于洗碗机的方法中进一步的流程图。在本发明实施例中，方法还包括：
步骤S106、根据目标图像的图像信息控制洗碗机运行并获取运行结果；
步骤S107、根据运行结果确定图像信息是否匹配；
步骤S108、在图像信息不匹配的情况下，将目标图像作为训练样本对预测模型进行训练以优化预测模型。
具体地，在通过步骤S105所得到的目标图像中图像信息(餐具数量、洁净度、餐具类型、餐具材质、餐具位置的至少一种)后，以确定好洗碗机控制程序，即根据图像信息针对性改变洗碗机的控制程序的相关参数，如根据餐具数量的多少调节水压的强度，清洗时间等，餐具越多，水压的强度越强清洗时间越长，在根据以上控制程序清洗完毕后，判断清洗后的效果看是否和预期的结果匹配，当运行结果和预期效果不匹配时，即图像信息是不精准的，此时该目标图像则为本领域所称的疑难样本，可以作为训练样本对预测模型进行训练以优化预测模型，从而不断优化预测模型，使得以后识别更为精准。其中，在本发明实施例中判断运行结果是否和预期的结果相匹配可以通过在即清洗完成后再获取一张图像，通过对图像进行图像识别，即通过将清洗完成后的图像和原始目标图像进行相似度对比，从而判断餐具是否已经洗干净，如相似度高于预设的阈值，即清洗前后的图像相似度很大，则餐具被判定为没有清洗干净，也即图像信息不匹配。
也可以通过在洗碗机设置反馈系统，在没清洗干净时，通过人为进行反馈，从而确定运行结果是否和预期的结果相匹配。
请参阅图7以及图8，图7是本发明实施例所提供的用于洗碗机的方法中进一步的流程图。图8是本发明实施例所提供的用于洗碗机的方法中演示步骤S106至步骤S109的连接拓扑图，步骤S108中将目标图像作为训练样本对预测模型进行训练以优化预测模型包括：
步骤S1081、将目标图像发送至云平台，云平台将目标图像作为训练样本对预测模型进行训练；
步骤S1082、将训练后的预测模型下载至洗碗机中以优化预测模型。
具体地，本发明实施例提供一种将目标图像作为训练样本对预测模型进行训练以优化预测模型的方法，即通过云平台200进行优化，首先在云平台200建立疑难样本集，将运行结果不匹配的目标图像作为疑难样本通过互联网上传至云平台200，通过目标图像以及向量机或分类器对预测模型进行训练，根据训练结果进行优化后，继而通过OTA(Over theAir Technology：空中下载技术)至洗碗机100以对洗碗机100的原有模型进行更新优化，以使得用户的洗碗机100愈加完善，增加洗碗机100的延展性和可迁移性，增加后续识别的精准度。
通过以上方式，可以通过建立云平台200，对各地区的用户进行统一更新，从而对原始的预测模型进行迭代，以使用户获得的使用效果。对模型来说，根据任务的不同，任何检测模型或者实例分割模型都可以适用于本发明实施例所提供的这个方法。另一方面，还需要在洗碗机所搭载的芯片中来运行检测算法，考虑到洗碗机所搭配的芯片算力以及实时性的要求，而且本发明实施例所提供的方法只是预估出最优的亮度，因此对检测的准确度的要求没有那么高，以上种种条件以是的在洗碗机端的模型可以不用设计那么复杂，各种精简的one-stage anchor base模型或快速的ancho free的模型都可以适用于洗碗机端的模型部署。上述的模型也可以再利用优化算子或者再对模型进行压缩、裁剪甚至是量化、二值化的方式再对模型进行进一步的加速，从而使得整个模型达到快速、实时的要求。然后再根据检测出的目标数量，再配合置信度综合对光照进行最优判断。根据上述的描述，这个方法和策略适用于各种模型的优化方法，比如深度可分离卷积、分组卷积、二值化或者三值化网络、int8量化、及各种剪枝操作、模型蒸馏等方法。
综上，本发明实施例提供的方法，和以往的方式通过图像去计算最合理的补光亮度不同，而是首先利用控制补光灯分别以不同的亮度值进行补光；控制图像采集设备采集多张图像，每张图像对应一个亮度值；继而根据图像中的图像信息进行对比，来确定目标图像，将目标图像所对应的亮度值作为补光灯的目标补光亮度值，从而可以实时快速的判断洗碗机所需的最合适的亮度值。本发明实施例利用了集成式的思想，将深度学习和本特殊场景下巧妙结合在一起，可以在洗碗机达到实时快速地精准控制灯光亮度，并可以不断循环迭代优化，以节省网络带宽，并减轻服务器压力，给用户带来更好的体验。
本发明实施例还提供一种装置，包括图像采集设备，用于获取洗碗机的清洗区域的图像；补光灯，用于对清洗区域进行补光；处理器，处理器被配置成执行以上方法实施例所提供的部分步骤或者全部步骤。
本领域技术人员也应当理解，如果将本发明所提供的方法或者装置、经过简单变化、在其上述方法增添功能进行组合、或者在其装置上进行替换，如各组件进行型号材料上的替换、使用环境进行替换、各组件位置关系进行简单替换等；或者将其所构成的产品一体设置；或者可拆卸设计；凡组合后的组件可以组成具有特定功能的方法/设备/装置，用这样的方法/设备/装置替代本发明的方法和装置均同样落在本发明的保护范围内。
本发明实施例还提供一种洗碗机，包括如上述的装置。应当理解的是，该洗碗机不限定尺寸、外形轮廓，仅需利用到了装置对应的元件实现了相同或者相似的功能，均同样应属于本发明所保护的范围内。
装置还包括存储器，上述用于洗碗机的方法可作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调节内核参数来针对用于洗碗机的方法来进行补光。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例还提供了一种机器可读存储介质，其上存储有程序，该程序被处理器执行时实现用于洗碗机的方法。
本发明实施例还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行用于洗碗机的方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的用于洗碗机的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理器的处理器以产生一个机器，使得通过计算机或其他可编程数据处理器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理器以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理器上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种用于洗碗机的方法，所述洗碗机包括图像采集设备和设置在所述洗碗机内的补光灯，其特征在于，所述方法包括：
控制所述补光灯分别以不同的亮度进行补光；
控制所述图像采集设备在不同亮度下采集图像；
将所述图像输入至预测模型，以预测每张图像的图像信息；
根据所述图像信息将所述图像进行对比以确定目标图像；
将所述目标图像对应的亮度作为所述补光灯的目标补光亮度。
2.如权利要求1所述的方法，其特征在于，所述图像信息包括餐具数量，所述根据所述图像信息将所述图像进行对比以确定目标图像包括：
根据所述餐具数量对所述图像进行排序；
从所述图像中确定所述餐具数量最多的第一图像；
在所述第一图像的数量为一张的情况下，将所述第一图像确定为所述目标图像。
3.如权利要求2所述的方法，其特征在于，所述图像信息还包括置信度，所述根据所述图像信息将所述图像进行对比以确定目标图像还包括：
在所述第一图像的数量大于一张的情况下，将所述第一图像的置信度进行排序；
将所述第一图像中置信度最高的第二图像确定为所述目标图像。
4.如权利要求1所述的方法，其特征在于，所述控制所述补光灯分别以不同亮度进行补光包括：
控制所述补光灯逐级改变亮度。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标图像的图像信息控制所述洗碗机运行并获取运行结果；
根据所述运行结果确定所述图像信息是否匹配；
在所述图像信息不匹配的情况下，将所述目标图像作为训练样本对所述预测模型进行训练以优化所述预测模型。
6.如权利要求5所述的方法，其特征在于，所述将所述目标图像作为训练样本对所述预测模型进行训练以优化所述预测模型包括：
将目标图像发送至云平台，所述云平台将所述目标图像作为训练样本对所述预测模型进行训练；
将训练后的预测模型下载至洗碗机中以优化所述预测模型。
7.如权利要求1所述的方法，其特征在于，所述预测模型包括以下的任一种：Anchor-Based模型和Anchor-Free模型。
8.一种用于洗碗机的装置，其特征在于，包括：
补光灯，用于对所述洗碗机内进行补光；
图像采集设备，用于获取洗碗机内的图像；
处理器，被配置成：
控制所述补光灯分别以不同的亮度进行补光；
控制所述图像采集设备在不同亮度下采集图像；
将所述图像输入至预测模型，以预测每张图像的图像信息；
根据所述图像信息将所述图像进行对比以确定目标图像；
将所述目标图像对应的亮度作为所述补光灯的目标补光亮度。
9.如权利要求8所述的装置，其特征在于，所述图像信息包括餐具数量，所述处理器被配置成根据所述图像信息将所述图像进行对比以确定目标图像包括所述处理器被配置成：
根据所述餐具数量对所述图像进行排序；
从所述图像中确定所述餐具数量最多的第一图像；
在所述第一图像的数量为一张的情况下，将所述第一图像确定为所述目标图像。
10.如权利要求9所述的装置，其特征在于，所述图像信息还包括置信度，所述处理器被配置成根据所述图像信息将所述图像进行对比以确定目标图像还包括所述处理器被配置成：
在所述第一图像的数量大于一张的情况下，将所述第一图像的置信度进行排序；
将所述第一图像中置信度最高的第二图像确定为所述目标图像。
11.如权利要求8所述的装置，其特征在于，所述处理器被配置成控制所述补光灯分别以不同亮度进行补光包括处理器被配置成：
控制所述补光灯逐级改变亮度。
12.如权利要求8所述的装置，其特征在于，所述处理器还包括：
根据所述目标图像的图像信息控制所述洗碗机运行并获取运行结果；
根据所述运行结果确定所述图像信息是否匹配；
在所述图像信息不匹配的情况下，将所述目标图像作为训练样本对所述预测模型进行训练以优化所述预测模型。
13.如权利要求12所述的装置，其特征在于，所述将所述目标图像作为训练样本对所述预测模型进行训练以优化所述预测模型包括：
将目标图像发送至云平台，所述云平台将所述目标图像作为训练样本对所述预测模型进行训练；
将训练后的预测模型下载至洗碗机中以优化所述预测模型。
14.如权利要求8所述的装置，其特征在于，所述预测模型包括以下的任一种：Anchor-Based模型和Anchor-Free模型。
15.一种洗碗机，其特征在于，包括根据权利要求8至14任意一项所述的用于洗碗机的装置。
16.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于在被处理器执行时使得所述处理器能够执行根据权利要求1至7中任意一项权利要求所述的用于洗碗机的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110215406.1A CN112861839A (zh) | 2021-02-25 | 2021-02-25 | 用于洗碗机的方法、装置以及洗碗机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110215406.1A CN112861839A (zh) | 2021-02-25 | 2021-02-25 | 用于洗碗机的方法、装置以及洗碗机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861839A true CN112861839A (zh) | 2021-05-28 |
Family
ID=75990143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110215406.1A Pending CN112861839A (zh) | 2021-02-25 | 2021-02-25 | 用于洗碗机的方法、装置以及洗碗机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861839A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023184863A1 (zh) * | 2022-03-28 | 2023-10-05 | 北京京东乾石科技有限公司 | 补光方法、装置、设备、存储介质及补光亮度调整装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108814501A (zh) * | 2018-06-28 | 2018-11-16 | 北京金山安全软件有限公司 | 一种洗涤控制的优化方法、装置、电子设备、存储介质 |
| CN109167922A (zh) * | 2018-10-22 | 2019-01-08 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111083388A (zh) * | 2019-12-26 | 2020-04-28 | 浙江大华技术股份有限公司 | 一种补光灯控制方法、装置、电子设备及存储介质 |
| CN111447372A (zh) * | 2020-03-31 | 2020-07-24 | 浙江大华技术股份有限公司 | 一种亮度参数调节的控制方法、装置、设备及介质 |
| CN111557625A (zh) * | 2020-02-29 | 2020-08-21 | 佛山市云米电器科技有限公司 | 洗涤控制方法、洗碗机和存储介质 |
| CN111568328A (zh) * | 2020-05-08 | 2020-08-25 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于控制洗碗机的方法、清洗装置以及洗碗机 |
-
2021
- 2021-02-25 CN CN202110215406.1A patent/CN112861839A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108814501A (zh) * | 2018-06-28 | 2018-11-16 | 北京金山安全软件有限公司 | 一种洗涤控制的优化方法、装置、电子设备、存储介质 |
| CN109167922A (zh) * | 2018-10-22 | 2019-01-08 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111083388A (zh) * | 2019-12-26 | 2020-04-28 | 浙江大华技术股份有限公司 | 一种补光灯控制方法、装置、电子设备及存储介质 |
| CN111557625A (zh) * | 2020-02-29 | 2020-08-21 | 佛山市云米电器科技有限公司 | 洗涤控制方法、洗碗机和存储介质 |
| CN111447372A (zh) * | 2020-03-31 | 2020-07-24 | 浙江大华技术股份有限公司 | 一种亮度参数调节的控制方法、装置、设备及介质 |
| CN111568328A (zh) * | 2020-05-08 | 2020-08-25 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于控制洗碗机的方法、清洗装置以及洗碗机 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023184863A1 (zh) * | 2022-03-28 | 2023-10-05 | 北京京东乾石科技有限公司 | 补光方法、装置、设备、存储介质及补光亮度调整装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11847826B2 (en) | System and method for providing dominant scene classification by semantic segmentation | |
| US10706334B2 (en) | Type prediction method, apparatus and electronic device for recognizing an object in an image | |
| RU2635836C2 (ru) | Способ и устройство для управления вспышкой и терминал | |
| JP4629364B2 (ja) | シーンの背景を表現する背景画像を適応的に更新する方法 | |
| CN108924420B (zh) | 图像拍摄方法、装置、介质、电子设备及模型训练方法 | |
| CN103339655B (zh) | 图像捕捉装置、图像捕捉方法及计算机程序产品 | |
| CN112689756A (zh) | 用于生物样品的无标记识别和分类的系统和方法 | |
| CN110533090B (zh) | 开关刀闸状态检测方法及装置 | |
| CN112861839A (zh) | 用于洗碗机的方法、装置以及洗碗机 | |
| CN110103241B (zh) | 照明机器人、照明机器人控制方法及控制装置 | |
| CN111654643B (zh) | 曝光参数确定方法、装置、无人机和计算机可读存储介质 | |
| JP6361500B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN107295267A (zh) | 控制高动态范围自动曝光控制成像中的信噪比 | |
| US11397874B2 (en) | Image capturing apparatus, generating apparatus, control method, and storage medium | |
| US20220038620A1 (en) | Aesthetic Learning Methods and Apparatus for Automating Image Capture Device Controls | |
| KR102208688B1 (ko) | 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법 | |
| KR20190056873A (ko) | 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법 | |
| CN115988714A (zh) | 一种基于人工智能的灯光智能控制方法、系统、设备和介质 | |
| CN109632590B (zh) | 一种深海发光浮游生物检测方法 | |
| CN109146966B (zh) | 视觉slam前端处理方法、系统、存储介质及计算机设备 | |
| KR102028806B1 (ko) | 객체 추적을 이용하여 조명을 제어하는 장치 및 방법 | |
| Wang et al. | Optimized contrast enhancements to improve robustness of visual tracking in a SLAM relocalisation context | |
| Chen et al. | Exposure evaluation method based on histogram statistics | |
| CN115361508A (zh) | 抽屉的成像方法、成像的曝光自动控制方法及装置 | |
| CN117279164B (zh) | 基于数据预测的照明灯控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |