CN113818191B - 基于图像识别的洗涤控制方法、装置、设备及存储介质 - Google Patents

基于图像识别的洗涤控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113818191B
CN113818191B CN202010568179.6A CN202010568179A CN113818191B CN 113818191 B CN113818191 B CN 113818191B CN 202010568179 A CN202010568179 A CN 202010568179A CN 113818191 B CN113818191 B CN 113818191B
Authority
CN
China
Prior art keywords
clothes
washing
image
feature map
washed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010568179.6A
Other languages
English (en)
Other versions
CN113818191A (zh
Inventor
许升
吕佩师
石代兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Washing Machine Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Washing Machine Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Washing Machine Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Washing Machine Co Ltd
Priority to CN202010568179.6A priority Critical patent/CN113818191B/zh
Publication of CN113818191A publication Critical patent/CN113818191A/zh
Application granted granted Critical
Publication of CN113818191B publication Critical patent/CN113818191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00Control of operations performed in washing machines or washer-dryers 
    • D06F33/30Control of washing machines characterised by the purpose or target of the control 
    • D06F33/32Control of operational steps, e.g. optimisation or improvement of operational steps depending on the condition of the laundry
    • D06F33/36Control of operational steps, e.g. optimisation or improvement of operational steps depending on the condition of the laundry of washing
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04Signal transfer or data transmission arrangements
    • D06F34/05Signal transfer or data transmission arrangements for wireless communication between components, e.g. for remote monitoring or control
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/14Arrangements for detecting or measuring specific parameters
    • D06F34/18Condition of the laundry, e.g. nature or weight
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2101/00User input for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2101/02Characteristics of laundry or load
    • D06F2101/04Quantity, e.g. weight
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2101/00User input for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2101/02Characteristics of laundry or load
    • D06F2101/06Type or material

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的洗涤控制方法、装置、设备及存储介质,该方法包括:获取图像采集装置上传的待洗涤衣物的原始图像;获取经过训练的神经网络模型;根据神经网络模型确定原始图像中的第一衣物信息及目标位置,第一衣物信息包括第一材质集、第一概率及衣物数量;根据目标位置对应的局部特征图进行图像检索,获取第二衣物信息,第二衣物信息包括第二材质集及第二概率;根据第一衣物信息与第二衣物信息确定衣物材质;根据衣物材质和衣物数量确定洗涤参数,并下发洗涤参数,根据洗涤参数进行洗涤。本发明实施例采用神经网络模型和图像检索模型,对衣物图像进行识别,提升衣物识别精度和准确率,自动匹配洗涤参数,改善洗涤效果。

Description

基于图像识别的洗涤控制方法、装置、设备及存储介质
技术领域
本发明涉及家用电器技术领域,尤其涉及一种基于图像识别的洗涤控制方法、装置、设备及存储介质。
背景技术
随着人们对生活品质要求的提高,洗涤装置从最初的单纯洗涤逐渐转变为家庭洗护中心,利用智能识别技术,实现衣物的智能化洗护,成为洗衣机的发展趋势。
目前,部分智能洗衣机,通过待洗涤衣物的吸水率判断衣物材质,并获取对应的洗涤参数,其存在的缺点是,通过吸水率只能大致判断出来待洗涤衣物的整体更接近何种材质,无法准确判断待洗涤衣物的材质及数量,导致推荐的洗涤参数不准确,容易发生过度洗涤或者洗涤不干净的问题,过度洗涤容易造成衣物磨损,影响洗涤效果。
因此,需要对待洗涤衣物的材质识别方法进行改进。
发明内容
本发明提供一种基于图像识别的洗涤控制方法,解决了无法准确判断待洗涤衣物的材质及数量的问题,提升衣物识别精度和准确率。
第一方面,本发明实施例提供了一种基于图像识别的洗涤控制方法,包括以下步骤:
获取图像采集装置上传的待洗涤衣物的原始图像;
获取经过训练的神经网络模型;
根据所述神经网络模型确定所述原始图像中待洗涤衣物的第一衣物信息及目标位置,所述第一衣物信息包括第一材质集、第一概率及衣物数量;
根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,所述第二衣物信息包括第二材质集及第二概率;
根据所述第一衣物信息与所述第二衣物信息的加权值,确定待洗涤衣物的衣物材质;
根据所述衣物材质和所述衣物数量确定洗涤参数,并下发所述洗涤参数,根据所述洗涤参数进行洗涤。
第二方面,本发明实施例还提供了一种洗涤装置,包括:控制单元、图像采集装置、通讯装置和云端服务器,其中,所述图像采集装置用于采集待洗涤衣物的原始图像,并将所述原始图像发送至所述控制单元;所述通讯装置用于建立所述控制单元与所述云端服务器的通讯连接,并将所述原始图像发送至所述云端服务器;所述云端服务器用于获取经过训练的神经网络模型,根据所述神经网络模型确定所述原始图像中待洗涤衣物的第一衣物信息及目标位置,所述第一衣物信息包括第一材质集、第一概率及衣物数量;根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,所述第二衣物信息包括第二材质集及第二概率;并根据所述第一衣物信息与所述第二衣物信息的加权值,确定待洗涤衣物的衣物材质;以及根据所述衣物材质和所述衣物数量确定洗涤参数,并将所述洗涤参数下发至所述控制单元,所述控制单元根据所述洗涤参数控制洗涤装置进行洗涤。
第三方面,本发明实施例还提供了一种设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述基于图像识别的洗涤控制方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述基于图像识别的洗涤控制方法。
本发明实施例提供的洗涤装置,通过图像采集装置采集待洗涤衣物的原始图像,通过通讯装置将原始图像发送至云端服务器,云端服务器采用神经网络模型和图像检索模型结合,获取原始图像中的衣物材质和衣物数量,并根据衣物材质和衣物数量自动匹配洗涤参数,能够准确识别待洗涤衣物的衣物材质及衣物数量,提升衣物识别精度和准确率,改善洗涤效果。
附图说明
图1是本发明实施例一提供的基于图像识别的洗涤控制方法的流程图;
图2是本发明实施例一提供的一种基于图像识别的洗涤控制方法的流程图;
图3是本发明实施例一提供的另一种基于图像识别的洗涤控制方法的流程图;
图4是本发明实施例一提供的又一种基于图像识别的洗涤控制方法的流程图;
图5是本发明实施例一提供的又一种基于图像识别的洗涤控制方法的流程图;
图6是本发明实施例二提供的一种洗涤装置的结构示意图;
图7为本发明实施例三提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的基于图像识别的洗涤控制方法的流程图,本实施例可适用于采用云端服务器进行衣物识别的应用场景。该方法可以由配置云端服务器的洗涤装置来执行。
如图1所示,该基于图像识别的洗涤控制方法具体包括以下步骤:
步骤S1:获取图像采集装置上传的待洗涤衣物的原始图像。
其中,图像采集装置可为相机模组,可将相机模组设于洗涤装置的顶部,相机模组的图像采集部朝向洗涤装置的内筒,在洗涤装置启动时,打开图像采集装置对洗涤装置内筒中待洗涤衣物进行拍照,以获取多个原始图像。
在本实施例中,可设置通讯装置,在图像采集完成后,建立洗涤装置的本地端与云端服务器的无线通讯连接,将所有本地端的原始图像打包上传至云端服务器。
步骤S2:获取经过训练的神经网络模型。
其中,神经网络模型可为卷积神经网络模型,卷积神经网络模型具有迁移学习的特性,对于图像的局部特征有准确的识别能力,可缩短神经网络模型的学习时间。
在本实施例中,在洗涤装置执行洗涤程序之前,获取训练样本,利用该训练样本对神经网络模型进行迭代训练,通过深度学习,获取满足衣物样本与衣物信息对应关系的神经网络参数,得到经过训练的神经网络模型。
步骤S3:根据神经网络模型确定原始图像中待洗涤衣物的第一衣物信息A及目标位置,第一衣物信息A包括第一材质集A1、第一概率A2及衣物数量N。
其中,目标位置用于表示原始图像中目标区域的具体位置,该目标区域包含衣物材质特征。
在本实施例中,可将原始图像输入经过训练的神经网络模型,对原始图像进行去噪、灰度化预处理,并将预处理后的图像分割成不同的图像块,判断图像块中是否存在衣物目标,对存在衣物目标的图像块进行特征提取及识别,获取原始图像中待洗涤衣物的第一材质集A1及对应的第一概率A2;获取多个目标区域候选框,对目标区域候选框进行处理得到最终的目标区域,将相同材质类型的目标区域进行合并,获得衣物数量N,并根据目标区域的方位获取目标位置。
步骤S4:根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息B,第二衣物信息B包括第二材质集B1及对应的第二概率B2。
其中,第二材质集B1包括多种不同种类的衣物材质,第二概率B2包括多个概率值,每种类型的衣物材质对应一个概率值。
在本实施例中,可对目标位置的图像进行特征提取,获取局部特征图,对该局部特征图进行细粒度图像检索,获取局部特征图中待洗涤衣物的第二材质集B1及对应的第二概率B2。
步骤S5:根据第一衣物信息A与第二衣物信息B确定待洗涤衣物的衣物材质。
在本实施例中,可采用加权法对第一衣物信息A与第二衣物信息B进行归一合并,获取最终的衣物材质。示例性地,可定义第一衣物信息A的权重等于a,第二衣物信息B的权重等于b,衣物材质等于A1*A2*a+B1*B2*b。
步骤S6:根据衣物材质和衣物数量确定洗涤参数,并下发洗涤参数,根据该洗涤参数进行洗涤。
在本实施例中,洗涤参数包括洗涤剂类型、洗涤剂添加量、洗涤模式、洗涤水位、洗涤温度、洗涤时间和漂洗次数。
具体地,可采用比对分析单元将待洗涤衣物的衣物材质和衣物数量与预存数据进行比对,并根据比对结果确定洗涤参数,例如,洗涤模式可包括棉麻洗涤模式、羽绒洗涤模式、针织毛衣洗涤模式等;洗涤时间包括30分钟、45分钟、60分钟等;漂洗次数可为1次、2次等。
进一步地,通过通讯模块将获取到的洗涤参数下发至本地端,控制洗涤装置按照该洗涤参数进行洗涤。
由此,本发明实施例提供的基于图像识别的洗涤控制方法,通过图像采集装置采集待洗涤衣物的原始图像,通过通讯装置将原始图像发送至云端服务器,云端服务器采用神经网络模型和图像检索模型结合,获取原始图像中的衣物材质和衣物数量,并根据衣物材质和衣物数量自动匹配洗涤参数,能够准确识别待洗涤衣物的衣物材质及衣物数量,提升衣物识别精度和准确率,改善洗涤效果。
在上述技术方案的基础上,本发明实施例提供了一种利用神经网络模型进行图像识别的具体方法,可以缩短学习时间。图2是本发明实施例一提供的一种基于图像识别的洗涤控制方法的流程图。
可选地,如图2所示,根据神经网络模型确定原始图像中待洗涤衣物的第一衣物信息及目标位置,第一衣物信息包括第一材质集、第一概率及衣物数量,包括以下步骤:
步骤S201:将原始图像输入神经网络模型,神经网络模型包括特征提取子网络和目标检测子网络。
其中,特征提取子网络用于对原始图像进行特征提取;目标检测子网络用于根据特征提取子网络提取到的特征进行目标检测。
步骤S202:应用特征提取子网络对原始图像进行特征提取,获取原始图像的全局特征图。
其中,特征提取子网络可基于深度学习残差网络(例如Resnet101网络模型)训练得到。
在本实施例中,可采用图像处理网络将原始图像进行去噪、灰度化预处理,并将预处理后的图像分割成不同的图像块,特征提取子网络分别检测每个图像块中的特征点,得到处于不同层次的特征图,将深层特征图与浅层特征图进行融合,得到不同尺寸的全局特征图。
步骤S203:应用目标检测子网络对全局特征图进行识别,获取待洗涤衣物的第一衣物信息及目标位置。
其中,目标检测子网络可基于单阶段目标检测算法(例如RetinaNet)训练得到,有利于提升目标检测的处理速度。
在本实施例中,全局特征图经过区域生成网络(RPN,Region ProposalNetwork)网络得到多个目标区域候选框,修正目标区域候选框的位置和大小,通过非极大值抑制算法,去掉包含目标区域概率低的目标区域候选框和与概率高的目标区域候选框重叠度过高的目标区域候选框,得到最终的目标区域候选框。进而,将目标区域候选框映射到全局特征图,对框内图像进行分类识别,获取第一材质集A1及对应的第一概率A2,将相同材质类型的目标区域候选框进行合并,根据合并后的候选框获得衣物数量N,并根据合并后的候选框的方位获取目标位置。
图3是本发明实施例一提供的另一种基于图像识别的洗涤控制方法的流程图。
可选地,如图3所示,根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,第二衣物信息包括第二材质集及第二概率,包括以下步骤:
步骤S301:获取细粒度分类模型。
其中,细粒度分类是指同一类物品中不同子类之间的分类。细粒度分类模型可基于衣物局部化、与姿态及位置无关的特征对神经网络模型进行训练得到。
具体地,可输入多个衣物图像,根据衣物材质对衣物图像进行细粒度分类,获取衣物细粒度图像数据库,利用该衣物细粒度图像数据库对神经网络模型进行训练,得到用于目标检测的细粒度分类模型,该细粒度分类模型用于根据局部特征对衣物材质进行识别。
步骤S302:获取目标位置对应的局部特征图。
其中,目标位置的图像中包含衣物材质特征。
具体地,可采用图像分割子网络对目标位置的图像进行图像分割处理,采用特征提取子网络提取目标位置的特征点,得到处于不同层次的特征图,将深层特征图与浅层特征图进行融合,得到不同尺寸的局部特征图。
步骤S303:根据细粒度分类模型对局部特征图进行分类检索,获取待洗涤衣物的第二衣物信息。
具体地,将局部特征图输入细粒度分类模型,判断局部特征图是否存在于衣物细粒度图像数据库中,并获取衣物细粒度图像数据库中与局部特征图对应的第二材质集B1及对应的第二概率B2。
可选地,根据细粒度分类模型对局部特征图进行分类检索,获取待洗涤衣物的第二衣物信息,包括以下步骤:将局部特征图输入细粒度分类模型,获取局部特征图的局部特征区域;将局部特征区域与预存细粒度图像进行比对,根据比对结果确定待洗涤衣物的第二衣物信息。
具体地,衣物细粒度图像数据库中存储有预存细粒度图像及其对应的衣物材质标签,将局部特征图输入细粒度分类模型,可采用特征提取子网络对局部特征图进行特征提取,得到局部特征区域对应的特征图。进而,将局部特征区域对应的特征图与预存细粒度图像进行比对,获取对应的衣物材质标签,确定待洗涤衣物的第二材质集B1及对应的第二概率B2。
由此,本实施例提高了神经网络模型的检测精度以及区分类别的能力,有利于改善衣物识别精度。
可选地,该基于图像识别的洗涤控制方法还包括以下步骤:获取洗涤装置上传的原始洗涤程序;根据洗涤参数对原始洗涤程序进行修正,并下发修正洗涤参数,根据修正洗涤参数进行洗涤。
在本实施例中,在使用洗涤装置时,用户可在本地端设置原始洗涤程序,其中,原始洗涤程序中设有原始洗涤参数,原始洗涤参数包括洗涤模式、洗涤时间和漂洗次数等。在图像采集完成后,可将本地端的原始洗涤程序和原始图像均上传至云端服务器,云端服务器根据原始图像获取衣物材质和衣物数量,可采用比对分析单元将待洗涤衣物的衣物材质和衣物数量与预存数据进行比对,并根据比对结果确定洗涤参数。
进一步地,云端服务器将原始洗涤程序中的原始洗涤参数与上述洗涤参数进行比对,若原始洗涤程序包括上述洗涤参数,且原始洗涤参数与上述洗涤参数存在差异,则采用上述洗涤参数替换原始洗涤参数;若原始洗涤程序不包括上述洗涤参数,则将上述洗涤参数补充进原始洗涤参数,得到修正洗涤参数。云端服务器将修正洗涤参数下发至洗涤装置的本地端,由洗涤装置的控制单元按照修正洗涤参数控制洗涤装置进行洗涤。
需要说明的是,若在预设判定时间内,洗涤装置的本地端无法获取云端服务器下发的洗涤参数,则控制洗涤装置按照原始洗涤程序执行洗衣程序。
图4是本发明实施例一提供的又一种基于图像识别的洗涤控制方法的流程图。
可选地,获取经过训练的神经网络模型,包括以下步骤:
步骤S401:建立卷积神经网络模型,初始化卷积神经网络模型。
其中,卷积神经网络模型包括卷积层、池化层、全连接层和预测层,根据卷积核大小和卷积层数目的不同,可将神经网络模型分为不同的结构配置,可采用VGG16卷积神经网络模型,其由13个卷积层和3个全连接层叠加而成。预测层用于将全连接层输出的信息转换为对应的类别概率。
步骤S402:获取多个衣物样本图像,预处理衣物样本图像,获取训练集。
具体地,可收集常见材质的衣物的清晰图像,作为衣物样本图像,对衣物样本图像进行去除噪点、二值化等预处理操作,标记每张衣物样本图像对应的材质标签,建立训练集。
步骤S403:根据训练集迭代训练卷积神经网络模型,获取经过训练的神经网络模型。
在本实施例中,可将训练集输入初始化的卷积神经网络模型,在训练卷积神经网络模型的过程中,基于卷积神经网络模型的输出层所输出的预测结果与衣物材质标签之间的差异构建损失函数,并根据损失函数来调整神经网络参数,其中,神经网络参数包括卷积神经网络模型的各层权值矩阵和各层偏置矩阵,对各层权值矩阵和各层偏置矩阵进行优化,可以实现神经网络模型的优化,在损失函数收敛时,得到经过训练的神经网络模型,该神经网络模型可根据输入的图像输出衣物材质。
图5是本发明实施例一提供的又一种基于图像识别的洗涤控制方法的流程图。在上述技术方案的基础上,本实施例提供了一种图像采集的控制方法。
可选地,如图5所示,获取图像采集装置上传的待洗涤衣物的原始图像,包括以下步骤:
步骤S501:洗涤装置启动图像采集流程。
具体地,可设置图像采集装置采集洗涤装置内筒中的原始图像。在待洗涤衣物投放完毕后,启动洗涤装置,控制图像采集装置打开,启动图像采集流程。
步骤S502:按照预设驱动指令驱动内筒转动。
其中,可设置驱动单元驱动内筒转动,以使得内筒中的衣物翻转散开,实现采集同一件衣物的不同面及不同衣物的图像信息。
具体地,可设置预设驱动指令包括第一驱动指令和第二驱动指令,第一驱动指令可为驱动内筒360转动第一预设时间,第二驱动指令可为驱动内筒在预设角度(例如为30度)内摆动第二预设时间,驱动单元交替执行第一驱动指令和第二驱动指令,驱动内筒转动,实现衣物翻转及抖动,有利于获取全面的衣物原始图像。
步骤S503:采集内筒中的待洗涤衣物的原始图像。
具体地,可在执行完一组第一驱动指令和第二驱动指令时,控制内筒停止转动,并控制图像采集装置采集一组原始图像,在获取到原始图像后,采用计数单元对图像采集次数加一,并再次控制驱动单元执行第一驱动指令和第二驱动指令,驱动内筒转动。
步骤S504:判断图像采集次数是否达到预设次数。
若是,则执行步骤S505;否则,返回执行步骤S503。
步骤S505:将采集到的原始图像上传至云端服务器。
具体地,若图像采集次数达到预设次数,则启动通讯装置建立洗涤装置的本地端与云端服务器的无线通讯连接,将所有本地端的原始图像打包上传至云端服务器。
可选地,在驱动内筒按照预设驱动指令转动,并多次采集内筒中的待洗涤衣物的原始图像之前,还包括控制照明装置打开。其中,照明装置设于洗涤装置内筒的顶部,照明装置的照射方向朝向待洗涤衣物,在进行图像采集时,对图像采集过程进行补光,若图像采集次数达到预设次数,则控制照明装置关闭,有利于改善图像质量。
实施例二
本发明实施例二提供了一种洗涤装置。图6是本发明实施例二提供的一种洗涤装置的结构示意图。如图6所示,该洗涤装置100包括:控制单元101、图像采集装置102、通讯装置103和云端服务器104,其中,图像采集装置102用于采集待洗涤衣物的原始图像,并将原始图像发送至控制单元101;通讯装置103用于建立控制单元101与云端服务器104的通讯连接,并将原始图像发送至云端服务器104;云端服务器104用于获取经过训练的神经网络模型,根据神经网络模型确定原始图像中待洗涤衣物的第一衣物信息及目标位置,第一衣物信息包括第一材质集、第一概率及衣物数量;根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,第二衣物信息包括第二材质及第二概率;并根据第一衣物信息与第二衣物信息的加权值,确定待洗涤衣物的衣物材质;以及根据衣物材质和衣物数量确定洗涤参数,并将洗涤参数下发至控制单元101,控制洗涤装置100进行洗涤。
其中,图像采集装置102可为相机模组,可将相机模组设于洗涤装置100内筒的顶部,相机模组的图像采集部朝向洗涤装置100的内筒,在洗涤装置100启动时,打开图像采集装置102采集洗涤装置100内筒中待洗涤衣物的多个原始图像,并将图像采集完成后,将所有的原始图像上传至云端服务器104。
在本实施例中,相机模组包括镜头、图像传感器和图像处理电路。
可选地,云端服务器104存储有神经网络模型,神经网络模型包括图像处理子网络、特征提取子网络和目标检测子网络,图像处理子网络用于对原始图像进行预处理,并将预处理后的图像输入特征提取子网络;特征提取子网络用于对预处理的原始图像进行特征提取,获取原始图像的全局特征图;目标检测子网络用于对全局特征图进行识别,获取待洗涤衣物的第一衣物信息及目标位置。
可选地,云端服务器104存储有细粒度分类模型,该细粒度分类模型用于根据局部特征对衣物材质进行识别;云端服务器104还包括局部特征图获取模块和第二衣物信息获取模块,局部特征图获取模块用于获取目标位置对应的局部特征图;第二衣物信息获取模块用于根据细粒度分类模型对局部特征图进行分类检索,获取待洗涤衣物的第二衣物信息。
可选地,第二衣物信息获取模块还用于将局部特征图输入细粒度分类模型,获取局部特征图的局部特征区域;以及将局部特征区域与预存细粒度图像进行比对,根据比对结果确定待洗涤衣物的第二衣物信息。
可选地,该洗涤装置100还包括:程序设置单元,程序设置单元用于获取用户输入的原始洗涤程序,程序设置单元与控制单元101连接,将原始洗涤程序发送至控制单元101,控制单元101通过通讯装置103将原始洗涤程序上传至云端服务器104,云端服务器104还用于根据洗涤参数对原始洗涤程序进行修正,并下发修正洗涤参数,根据修正洗涤参数进行洗涤。
可选地,云端服务器104还用于建立卷积神经网络模型,初始化卷积神经网络模型的参数;获取多个衣物样本图像,预处理衣物样本图像,获取训练集;以及根据训练集迭代训练卷积神经网络模型,获取经过训练的神经网络模型。
可选地,洗涤装置100还包括驱动单元和计数单元,在洗涤装置启动图像采集流程后,控制单元101控制驱动单元按照预设驱动指令驱动内筒转动,并控制图像采集装置102多次采集内筒中的待洗涤衣物的原始图像;每次采集一组原始图像后,计数单元的计数增加一次,控制单元101获取计数单元的图像采集次数,并判断图像采集次数是否达到预设次数,若图像采集次数达到预设次数,则控制单元101通过通讯装置103将采集到的原始图像上传至云端服务器。
如图6所示,洗涤装置100还包括照明装置105。其中,照明装置105设于洗涤装置100内筒的顶部,照明装置105的照射方向朝向待洗涤衣物,在进行图像采集时,控制单元101控制照明装置105打开,对图像采集过程进行补光,在图像采集完成后,控制单元101控制照明装置105关闭,有利于改善图像质量。
本发明实施例所提供的洗涤装置可执行本发明任意实施例所提供的基于图像识别的洗涤控制方法,具备执行方法相应的功能模块和有益效果。本实施例通过图像采集装置采集待洗涤衣物的原始图像,通过通讯装置将原始图像发送至云端服务器,云端服务器采用神经网络模型和图像检索模型结合,获取原始图像中的衣物材质和衣物数量,并根据衣物材质和衣物数量自动匹配洗涤参数,能够准确识别待洗涤衣物的衣物材质及衣物数量,提升衣物识别精度和准确率,改善洗涤效果。
实施例三
图7为本发明实施例三提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备的框图。图7显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于:一个或者多个处理器16,存储装置28,连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储装置28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的基于图像识别的洗涤控制方法。
实施例四
本发明实施例四还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述基于图像识别的洗涤控制方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种基于图像识别的洗涤控制方法,其特征在于,包括以下步骤:
获取图像采集装置上传的待洗涤衣物的原始图像;
获取经过训练的神经网络模型;
根据所述神经网络模型确定所述原始图像中待洗涤衣物的第一衣物信息及目标位置,所述第一衣物信息包括第一材质集、第一概率及衣物数量;
根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,所述第二衣物信息包括第二材质集及第二概率;
根据所述第一衣物信息与所述第二衣物信息确定待洗涤衣物的衣物材质;
根据所述衣物材质和所述衣物数量确定洗涤参数,并下发所述洗涤参数,根据所述洗涤参数进行洗涤;
所述根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,所述第二衣物信息包括第二材质集及第二概率,包括以下步骤:
获取细粒度分类模型;
获取目标位置对应的局部特征图;
根据所述细粒度分类模型对所述局部特征图进行分类检索,获取待洗涤衣物的第二衣物信息,其中,目标位置对应的局部特征图通过对目标位置的图像进行图像分割处理,提取目标位置的特征点得到深层特征图与浅层特征图,将深层特征图与浅层特征图进行融合得到不同尺寸的局部特征图。
2.根据权利要求1所述的基于图像识别的洗涤控制方法,其特征在于,所述根据所述神经网络模型确定所述原始图像中待洗涤衣物的第一衣物信息及目标位置,所述第一衣物信息包括第一材质集、第一概率及衣物数量,包括以下步骤:
将所述原始图像输入所述神经网络模型,所述神经网络模型包括特征提取子网络和目标检测子网络;
应用所述特征提取子网络对所述原始图像进行特征提取,获取原始图像的全局特征图;
应用所述目标检测子网络对所述全局特征图进行识别,获取待洗涤衣物的第一衣物信息及目标位置。
3.根据权利要求1所述的基于图像识别的洗涤控制方法,其特征在于,所述根据所述细粒度分类模型对所述局部特征图进行分类检索,获取待洗涤衣物的第二衣物信息,包括以下步骤:
将所述局部特征图输入所述细粒度分类模型,获取局部特征图的局部特征区域;
将所述局部特征区域与预存细粒度图像进行比对,根据比对结果确定待洗涤衣物的第二衣物信息。
4.根据权利要求1-3中任一项所述的基于图像识别的洗涤控制方法,其特征在于,还包括以下步骤:
获取洗涤装置上传的原始洗涤程序;
根据所述洗涤参数对所述原始洗涤程序进行修正,并下发修正洗涤参数,根据所述修正洗涤参数进行洗涤。
5.根据权利要求1-3中任一项所述的基于图像识别的洗涤控制方法,其特征在于,所述获取经过训练的神经网络模型,包括以下步骤:
建立卷积神经网络模型,初始化卷积神经网络模型;
获取多个衣物样本图像,预处理所述衣物样本图像,获取训练集;
根据所述训练集迭代训练所述卷积神经网络模型,获取经过训练的神经网络模型。
6.根据权利要求1-3中任一项所述的基于图像识别的洗涤控制方法,其特征在于,所述获取图像采集装置上传的待洗涤衣物的原始图像,包括以下步骤:
洗涤装置启动图像采集流程;
按照预设驱动指令驱动内筒转动,并多次采集内筒中的待洗涤衣物的原始图像;
若图像采集次数是否达到预设次数,则将采集到的所述原始图像上传至云端服务器。
7.一种洗涤装置,其特征在于,包括:控制单元、图像采集装置、通讯装置和云端服务器,其中,
所述图像采集装置用于采集待洗涤衣物的原始图像,并将所述原始图像发送至所述控制单元;
所述通讯装置用于建立所述控制单元与所述云端服务器的通讯连接,并将所述原始图像发送至所述云端服务器;
所述云端服务器用于获取经过训练的神经网络模型,根据所述神经网络模型确定所述原始图像中待洗涤衣物的第一衣物信息及目标位置,所述第一衣物信息包括第一材质集、第一概率及衣物数量;根据目标位置对应的局部特征图进行图像检索,获取待洗涤衣物的第二衣物信息,所述第二衣物信息包括第二材质及第二概率;并根据所述第一衣物信息与所述第二衣物信息的加权值,确定待洗涤衣物的衣物材质;以及根据所述衣物材质和所述衣物数量确定洗涤参数,并将所述洗涤参数下发至所述控制单元,所述控制单元根据所述洗涤参数控制洗涤装置进行洗涤;
所述云端服务器储有细粒度分类模型,所述细粒度分类模型用于根据局部特征对衣物材质进行识别;
所述云端服务器还包括局部特征图获取模块和第二衣物信息获取模块,其中,局部特征图获取模块用于获取目标位置对应的局部特征图,其中,目标位置对应的局部特征图通过对目标位置的图像进行图像分割处理,提取目标位置的特征点得到深层特征图与浅层特征图,将深层特征图与浅层特征图进行融合得到不同尺寸的局部特征图;
第二衣物信息获取模块用于根据细粒度分类模型对局部特征图进行分类检索,获取待洗涤衣物的第二衣物信息。
8.一种设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的基于图像识别的洗涤控制方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的基于图像识别的洗涤控制方法。
CN202010568179.6A 2020-06-19 2020-06-19 基于图像识别的洗涤控制方法、装置、设备及存储介质 Active CN113818191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010568179.6A CN113818191B (zh) 2020-06-19 2020-06-19 基于图像识别的洗涤控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568179.6A CN113818191B (zh) 2020-06-19 2020-06-19 基于图像识别的洗涤控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113818191A CN113818191A (zh) 2021-12-21
CN113818191B true CN113818191B (zh) 2023-11-14

Family

ID=78912098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568179.6A Active CN113818191B (zh) 2020-06-19 2020-06-19 基于图像识别的洗涤控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113818191B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105603678A (zh) * 2014-11-20 2016-05-25 无锡飞翎电子有限公司 洗衣机和洗衣机的控制方法
CN106757976A (zh) * 2017-01-22 2017-05-31 无锡小天鹅股份有限公司 洗衣机及其基于图像识别衣物体积的洗涤控制方法和装置
CN106854808A (zh) * 2017-01-22 2017-06-16 无锡小天鹅股份有限公司 洗衣机及其洗涤控制方法和装置
CN106868792A (zh) * 2017-02-10 2017-06-20 无锡小天鹅股份有限公司 基于图像内容搜索引擎的衣物处理方法和装置
CN107558097A (zh) * 2017-08-15 2018-01-09 无锡小天鹅股份有限公司 衣物处理装置及其洗涤程序的选择方法和装置
CN107893309A (zh) * 2017-10-31 2018-04-10 珠海格力电器股份有限公司 洗涤方法及装置、洗衣方法及装置
CN108866934A (zh) * 2018-08-13 2018-11-23 济南大学 一种基于人工智能的洗衣模式控制系统及方法
CN109137392A (zh) * 2018-10-26 2019-01-04 无锡小天鹅股份有限公司 衣物洗涤方法、装置和衣物处理装置
KR20190094297A (ko) * 2019-04-16 2019-08-13 엘지전자 주식회사 인공 지능 세탁물 처리 기기 및 그의 동작 방법
CN110331551A (zh) * 2019-05-24 2019-10-15 珠海格力电器股份有限公司 洗衣机的洗涤控制方法、装置、计算机设备和存储介质
CN110373859A (zh) * 2019-07-09 2019-10-25 合肥美的洗衣机有限公司 衣物处理装置的洗涤控制方法、装置和衣物处理装置
KR20200026041A (ko) * 2018-08-30 2020-03-10 엘지전자 주식회사 인공지능 세탁기 및 인공지능 세탁기의 제어방법
CN111254638A (zh) * 2020-03-10 2020-06-09 青岛海尔洗衣机有限公司 洗涤方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122293A1 (ko) * 2018-12-14 2020-06-18 엘지전자 주식회사 세탁 스케쥴링 장치

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105603678A (zh) * 2014-11-20 2016-05-25 无锡飞翎电子有限公司 洗衣机和洗衣机的控制方法
CN106757976A (zh) * 2017-01-22 2017-05-31 无锡小天鹅股份有限公司 洗衣机及其基于图像识别衣物体积的洗涤控制方法和装置
CN106854808A (zh) * 2017-01-22 2017-06-16 无锡小天鹅股份有限公司 洗衣机及其洗涤控制方法和装置
CN106868792A (zh) * 2017-02-10 2017-06-20 无锡小天鹅股份有限公司 基于图像内容搜索引擎的衣物处理方法和装置
CN107558097A (zh) * 2017-08-15 2018-01-09 无锡小天鹅股份有限公司 衣物处理装置及其洗涤程序的选择方法和装置
CN107893309A (zh) * 2017-10-31 2018-04-10 珠海格力电器股份有限公司 洗涤方法及装置、洗衣方法及装置
CN108866934A (zh) * 2018-08-13 2018-11-23 济南大学 一种基于人工智能的洗衣模式控制系统及方法
KR20200026041A (ko) * 2018-08-30 2020-03-10 엘지전자 주식회사 인공지능 세탁기 및 인공지능 세탁기의 제어방법
CN109137392A (zh) * 2018-10-26 2019-01-04 无锡小天鹅股份有限公司 衣物洗涤方法、装置和衣物处理装置
KR20190094297A (ko) * 2019-04-16 2019-08-13 엘지전자 주식회사 인공 지능 세탁물 처리 기기 및 그의 동작 방법
CN110331551A (zh) * 2019-05-24 2019-10-15 珠海格力电器股份有限公司 洗衣机的洗涤控制方法、装置、计算机设备和存储介质
CN110373859A (zh) * 2019-07-09 2019-10-25 合肥美的洗衣机有限公司 衣物处理装置的洗涤控制方法、装置和衣物处理装置
CN111254638A (zh) * 2020-03-10 2020-06-09 青岛海尔洗衣机有限公司 洗涤方法及系统

Also Published As

Publication number Publication date
CN113818191A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN112949780B (zh) 特征模型训练方法、装置、设备及存储介质
Tong et al. Salient object detection via bootstrap learning
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
CA3077517A1 (en) Method and system for classifying an object-of-interest using an artificial neural network
CN108960278A (zh) 使用生成式对抗网络的鉴别器的新奇检测
CN108681746A (zh) 一种图像识别方法、装置、电子设备和计算机可读介质
US11514605B2 (en) Computer automated interactive activity recognition based on keypoint detection
Xiao et al. Apple ripeness identification using deep learning
CN111783639A (zh) 图像检测方法、装置、电子设备及可读存储介质
CN109447022A (zh) 一种镜头类型识别方法及装置
Ni et al. An improved adaptive ORB-SLAM method for monocular vision robot under dynamic environments
WO2019100348A1 (zh) 图像检索方法和装置以及图像库的生成方法和装置
Ma et al. Dynamic gesture contour feature extraction method using residual network transfer learning
Shankar et al. A framework to enhance object detection performance by using YOLO algorithm
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
CN112419243B (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
KR102427690B1 (ko) 딥러닝 기반 클래스 분류 장치 및 방법
CN113818191B (zh) 基于图像识别的洗涤控制方法、装置、设备及存储介质
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN117408959A (zh) 模型的训练方法、缺陷检测方法、装置、电子设备及介质
CN110705611B (zh) 眼底图像样本扩展方法、装置、介质及电子设备
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant