CN111598141A - 模型训练方法、衣物洗涤方法、系统、装置和介质 - Google Patents
模型训练方法、衣物洗涤方法、系统、装置和介质 Download PDFInfo
- Publication number
- CN111598141A CN111598141A CN202010338903.6A CN202010338903A CN111598141A CN 111598141 A CN111598141 A CN 111598141A CN 202010338903 A CN202010338903 A CN 202010338903A CN 111598141 A CN111598141 A CN 111598141A
- Authority
- CN
- China
- Prior art keywords
- clothes
- network
- training
- stain
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 121
- 238000005406 washing Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013136 deep learning model Methods 0.000 claims abstract description 53
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 44
- 238000010412 laundry washing Methods 0.000 claims description 22
- 239000003599 detergent Substances 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 25
- 238000005202 decontamination Methods 0.000 abstract description 5
- 230000003588 decontaminative effect Effects 0.000 abstract description 5
- 238000004590 computer program Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000007605 air drying Methods 0.000 description 2
- 238000004061 bleaching Methods 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002791 soaking Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
- D06F33/00—Control of operations performed in washing machines or washer-dryers
- D06F33/30—Control of washing machines characterised by the purpose or target of the control
- D06F33/32—Control of operational steps, e.g. optimisation or improvement of operational steps depending on the condition of the laundry
- D06F33/36—Control of operational steps, e.g. optimisation or improvement of operational steps depending on the condition of the laundry of washing
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
- D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
- D06F34/04—Signal transfer or data transmission arrangements
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
- D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
- D06F34/14—Arrangements for detecting or measuring specific parameters
- D06F34/18—Condition of the laundry, e.g. nature or weight
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
- D06F2103/00—Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
- D06F2103/02—Characteristics of laundry or load
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
- D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
- D06F2105/42—Detergent or additive supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Textile Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种深度学习模型训练方法、衣物洗涤方法、衣物洗涤装置、衣物洗涤系统、计算机装置和存储介质，深度学习模型包括目标检测网络、第一子网络、第二子网络和实例分割网络，训练方法包括使用第一训练数据、第二训练数据、第三训练数据和第四训练数据对目标检测网络、第一子网络、第二子网络和实例分割网络进行训练等步骤。深度学习模型可以同时识别衣物图像的衣物属性、污渍属性和污渍位置作为衣物洗涤流程当中的基础数据，为衣物洗涤流程中所使用的工作参数提供良好参考，根据这些基础数据进行衣物洗涤，除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。本发明广泛应用于衣物洗涤技术领域。
Description
技术领域
本发明涉及衣物洗涤技术领域，尤其是一种深度学习模型训练方法、衣物洗涤方法、衣物洗涤装置、衣物洗涤系统、计算机装置和存储介质。
背景技术
一些现有的衣物洗涤装置技术使用了图像识别技术，可以对所衣物洗涤物进行图像识别，以检测出衣物上污渍的位置，从而针对污渍所在位置使用更多洗涤剂或者使用超声波洗涤技术等来进行重点处理，从而取得更好的洗涤效果。但是，由于所使用图像识别技术的限制，现有技术只限于识别出衣物上污渍的位置，而衣物的洗涤过程所用的工作参数显然不止与衣物上污渍的位置相关。因此，现有技术虽然能够改善衣物洗涤装置的洗涤效果，但改善程度受到的限制较大。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种深度学习模型训练方法、衣物洗涤方法、衣物洗涤装置、衣物洗涤系统、计算机装置和存储介质。
一方面，本发明实施例包括一种深度学习模型训练方法，所述深度学习模型包括目标检测网络、第一子网络、第二子网络和实例分割网络，所述目标检测网络分别与第一子网络、第二子网络连接和实例分割网络连接；所述训练方法包括以下步骤：
获取多组第一训练数据、第二训练数据、第三训练数据和第四训练数据；所述第一训练数据包括衣物图像和所述衣物图像中衣物的外接矩形位置标签；所述第二训练数据包括衣物图像和衣物属性标签；所述第三训练数据包括衣物图像和污渍属性标签；所述第四训练数据包括衣物图像和污渍位置标签；
使用至少一组所述第一训练数据对所述目标检测网络进行训练；
使用至少一组所述第二训练数据对所述第一子网络进行训练；
使用至少一组所述第三训练数据对所述第二子网络进行训练；
使用至少一组所述第四训练数据对所述实例分割网络进行训练。
进一步地，深度学习模型训练方法还包括以下步骤：
在完成对所述目标检测网络的训练后，固定所述目标检测网络的参数；
在完成对所述目标检测网络、第一子网络、第二子网络和实例分割网络的训练后，解除固定所述目标检测网络的参数。
进一步地，深度学习模型训练方法还包括以下步骤：
对所述目标检测网络、第一子网络、第二子网络和实例分割网络进行协同训练。
进一步地，所述对所述目标检测网络、第一子网络、第二子网络和实例分割网络进行协同训练，具体包括以下至少一个步骤：
使用至少一组所述第一训练数据对所述目标检测网络进行训练；
使用至少一组所述第二训练数据对所述第一子网络进行训练；
使用至少一组所述第三训练数据对所述第二子网络进行训练；
使用至少一组所述第四训练数据对所述实例分割网络进行训练。
另一方面，本发明实施例还包括一种衣物洗涤方法，包括以下步骤：
获取待洗涤衣物的衣物图像；
将所述衣物图像输入到深度学习模型；所述深度学习模型经过实施例所述的训练方法训练；
获取所述深度学习模型处理得到的衣物属性、污渍属性和污渍位置；
根据所述衣物属性、污渍属性和污渍位置所形成的组合，输出相应的工作参数；
根据所选定的所述工作参数进行衣物洗涤。
进一步地，所述工作参数包括洗涤剂的类型、洗涤剂的用量和洗涤剂的投放位置。
另一方面，本发明实施例还包括一种衣物洗涤装置，包括：
数据采集模块，用于获取待洗涤衣物的衣物图像；
计算模块，用于将所述衣物图像发送到服务端，接收所述服务端处理得到的衣物属性、污渍属性和污渍位置，或者运行深度学习模型对所述衣物图像进行计算并预测处理，从而得到衣物属性、污渍属性和污渍位置，以及用于根据所述衣物属性、污渍属性和污渍位置所形成的组合，输出相应的工作参数；所述服务端通过运行深度学习模型对所述衣物图像进行类别预测，所述深度学习模型经过实施例所述的训练方法训练；
执行模块，用于根据所述计算模块输出的所述工作参数进行衣物洗涤。
另一方面，本发明实施例还包括一种衣物洗涤系统，包括：
实施例所述的衣物洗涤装置；
服务端，与所述衣物洗涤装置连接，用于通过运行深度学习模型对所述衣物图像进行处理，所述深度学习模型经过实施例所述的训练方法训练。
另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明实施例中的深度学习模型训练方法和/或衣物洗涤方法。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明实施例中的深度学习模型训练方法和/或衣物洗涤方法。
本发明的有益效果包括：本发明的一些实施例中，训练所得的深度学习模型可以同时识别衣物图像的衣物属性、污渍属性和污渍位置等信息，这些信息可以作为衣物洗涤流程当中的基础数据，从而为衣物洗涤流程中所使用的工作参数提供良好参考。由于从衣物图像中识别出的信息除了包括污渍属性和污渍位置等与去污有关的信息外，还包括衣物属性等与衣物保护有关的信息，因此根据本实施例中的深度学习模型处理得到的信息选择衣物洗涤工作参数进行衣物洗涤，除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。
本发明的另外一些实施例中，基于深度学习模型的衣物洗涤装置和衣物洗涤系统除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。
附图说明
图1为本发明实施例中深度学习模型的结构示意图；
图2为本发明实施例中深度学习模型训练方法的流程图；
图3为本发明实施例中衣物洗涤装置的结构示意图；
图4为本发明实施例中衣物洗涤系统的结构示意图。
具体实施方式
实施例1
本实施例中，对一个深度学习模型进行训练，如图1所示，深度学习模型是在目标检测网络的基础上，连接第一子网络、第二子网络和实例分割网络得到的。
本实施例中，使用mask R-CNN网络作为目标检测网络。对于目标检测网络中的backbone部分，可以使用ResNet、DenseNet或者ResNeXt等网络架构。目标检测网络中的感兴趣匹配模块(ROI-Align)分别与第一子网络、第二子网络和实例分割网络连接，即第一子网络、第二子网络和实例分割网络接收目标检测网络的处理结果，并进行进一步处理。
本实施例中，经过训练后的目标检测网络用于检测出衣物图像中的目标，即使用外接矩形框定衣物图像中的衣物。经过训练后的第一子网络用于根据目标检测网络检测出的衣物，进一步识别出衣物属性，包括衣物版型、衣物款式类别、衣物材料类别或衣物颜色等。具体地，本实施例中，可以使用一个第一子网络专用于识别某种衣物属性，如果要识别多种衣物属性，那么可以设置相应的多个第一子网络，例如设置三个第一子网络，每个第一子网络分别识别衣物版型、衣物款式类别和衣物材料类别。
本实施例中，经过训练后的第二子网络用于根据目标检测网络检测出的衣物，进一步识别出衣物上的污渍属性，包括污渍颜色、污渍形状、污渍面积或污渍严重程度等。具体地，本实施例中，可以使用一个第二子网络专用于识别某种污渍属性，如果要识别多种污渍属性，那么可以设置相应的多个第二子网络，例如设置四个第一子网络，每个第二子网络分别识别污渍颜色、污渍形状、污渍面积和污渍严重程度。
本实施例中，经过训练后的实例分割网络用于将目标检测网络检测出的衣物分割成若干个分区，识别出污渍所在分区，从而确定污渍所在位置。
本实施例中，第一子网络包括5层卷积层，最后一个卷积层的输出结果通过soft-max或者sigmoid转换成概率分布，即衣物图像分别有不同的概率被分类到不同的类别，分类的结果即是识别出的衣物属性。
本实施例中，第二子网络包括5层卷积层，最后一个卷积层通过多个通道输出结果，其中一些通道的输出结果通过soft-max转换成概率值分布实现硬分类，或者通过sigmoid转换成各类别的置信度分数实现软分类，即衣物图像分别有不同的概率值或者置信度分数被分类到不同的类别，分类结果中，各类别概率值或置信度分数最大值对应的类别即是识别出的污渍属性。如果允许输出多种污渍属性作为分类结果，可以取概率值或置信度分数最大的前几个值对应的类别作为识别出的污渍属性。第二子网络的最后一个卷积层还通过一个回归通道输出结果，该输出结果经过sigmoid转换成0-1范围内的数值，用以表示污渍严重程度。
如图2所示，对深度学习模型的训练方法包括以下步骤：
P1.获取多组第一训练数据、第二训练数据、第三训练数据和第四训练数据；
P2.使用至少一组所述第一训练数据对所述目标检测网络进行训练；
P3.使用至少一组所述第二训练数据对所述第一子网络进行训练；
P4.使用至少一组所述第三训练数据对所述第二子网络进行训练；
P5.使用至少一组所述第四训练数据对所述实例分割网络进行训练。
本实施例中，第一训练数据、第二训练数据、第三训练数据和第四训练数据都分别有多组，每组第一训练数据中包括衣物图像和衣物图像中衣物的外接矩形位置标签，每组第二训练数据中包括衣物图像和衣物属性标签；每组第三训练数据中包括衣物图像和污渍属性标签；每组第四训练数据中包括衣物图像和污渍位置标签。
外接矩形位置标签记录有同一第一训练数据中的衣物图像中衣物的外接矩形坐标信息；衣物属性标签记录有同一第二训练数据中的衣物图像的衣物属性，包括衣物版型、衣物款式类别、衣物材料类别或衣物颜色等；污渍属性标签记录有同一第三训练数据中的衣物图像的污渍属性，包括污渍颜色、污渍形状、污渍面积或污渍严重程度等；污渍位置标签记录有同一第四训练数据中的衣物图像的污渍位置信息，例如污渍所在衣物图像分割区间的编号等。
本实施例中，可以先获取多个衣物图像，然后分别为每个衣物图像标记上相应的外接矩形位置标签、衣物属性标签、污渍属性标签和污渍位置标签，然后将衣物图像、外接矩形位置标签、衣物属性标签、污渍属性标签、污渍位置标签以及它们之间的映射关系存储起来，当需要读取第一训练数据、第二训练数据、第三训练数据或第四训练数据时，先将衣物图像读取出来，然后读取出与衣物图像相应的外接矩形位置标签、衣物属性标签、污渍属性标签或污渍位置标签，从而与衣物图像组成第一训练数据、第二训练数据、第三训练数据或第四训练数据。
本实施例中，步骤P2、P3、P4和P5是在执行完步骤P1之后执行的，而步骤P2、P3、P4和P5之间的相互次序则可以自由设置，例如可以按照P2、P3、P4、P5的次序执行，也可以按照P2、P4、P5、P3等次序执行。
步骤P2、P3、P4和P5分别是使用第一训练数据对目标检测网络进行训练、使用第二训练数据对第一子网络进行训练、使用第三训练数据对第二子网络进行训练、使用第四训练数据对实例分割网络进行训练。执行步骤P2、P3、P4和P5中的每一步骤，其目标是调整被训练的各网络的参数，使得其接收衣物图像后输出的处理结果与衣物图像对应的标签趋向一致，也就是当被训练的网络接收衣物图像后输出的处理结果与衣物图像对应的标签之间的损失函数值小于预设的阈值时，则认为被训练的网络的参数已收敛，从而结束该步骤的训练，进而执行下一步骤的训练。
为了方便说明，可以按照P2、P3、P4、P5的次序执行深度学习模型训练方法。执行步骤P2后，目标检测网络mask RCNN中的基础架构(backbone)部分和区域生成网络(RPN)部分具备了从衣物图像中提取出衣物的前景特征的能力。执行步骤P3后，第一子网络具备了根据衣物的前景特征，按照衣物版型、衣物款式类别、衣物材料类别或衣物颜色等衣物属性对衣物进行分类的能力。执行步骤P4后，第二子网络具备了根据衣物的前景特征，按照污渍颜色、污渍形状、污渍面积或污渍严重程度等污渍属性对衣物进行分类的能力。执行步骤P5后，实例分割网络具备了根据衣物的前景特征，确定污渍所在分区的能力。
本实施例中，在执行完步骤P2，完成对所述目标检测网络的训练后，固定目标检测网络的参数。目标检测网络的参数被固定后，执行步骤P3、P4和P5时，仅第一子网络、第二子网络或实例分割网络的参数发生变化，目标检测网络的参数不变，这样可以单独训练第一子网络、第二子网络或实例分割网络的检测能力。
本实施例中，在执行完步骤P2-P5，也就是完成对所述目标检测网络、第一子网络、第二子网络和实例分割网络的训练后，解除固定目标检测网络的参数。然后以较低的学习率重新使用第一训练数据对目标检测网络进行训练、使用至第二训练数据对第一子网络进行训练、使用第三训练数据对第二子网络进行训练，和/或使用第四训练数据对实例分割网络进行训练。在解除对目标检测网络的参数的固定之后，重新执行对目标检测网络、第一子网络、第二子网络和/或实例分割网络的训练时，目标检测网络的参数也会得到更新，从而实现对目标检测网络、第一子网络、第二子网络和实例分割网络进行协同训练。
本实施例训练所得的深度学习模型，可以同时识别衣物图像的衣物属性、污渍属性和污渍位置等信息，这些信息可以作为衣物洗涤流程当中的基础数据，从而为衣物洗涤流程中所使用的工作参数提供良好参考。由于从衣物图像中识别出的信息除了包括污渍属性和污渍位置等与去污有关的信息外，还包括衣物属性等与衣物保护有关的信息，因此根据本实施例中的深度学习模型处理得到的信息选择衣物洗涤工作参数进行衣物洗涤，除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。
实施例2
一种衣物洗涤方法，包括以下步骤：
S1.获取待洗涤衣物的衣物图像；
S2.将所述衣物图像输入到经过实施例1训练的深度学习模型；
S3.获取深度学习模型处理得到的衣物属性、污渍属性和污渍位置；
S4.根据所述衣物属性、污渍属性和污渍位置所形成的组合，输出相应的工作参数；
S5.根据所选定的所述工作参数进行衣物洗涤。
由实施例1中的说明可知，本实施例中，执行步骤S2后深度学习模型可以从衣物图像中识别出衣物版型、衣物款式类别、衣物材料类别或衣物颜色等衣物属性，也可识别出污渍颜色、污渍形状、污渍面积或污渍严重程度等污渍属性，还可识别出污渍在衣物上的位置。
根据衣物颜色等衣物属性，可以确认使用增艳、白漂或彩漂等效用的洗涤剂；根据衣物版型、衣物款式类别、衣物材料类别等衣物属性，可以确认衣物属于衬衫、T恤、卫衣、运动服、休闲外套、家居装、羽绒服、风衣、夹克、连衣裙、短裙、休闲裤、牛仔裤、家居裤、婴童上衣、婴童下装、婴童连体衣或服饰配件等，从而选用相应类型的洗涤剂，例如普通衣物洗涤液、色渍净衣物洗涤液和丝毛净衣物洗涤液等；根据污渍颜色和污渍形状等污渍属性，可以确认污渍属于油污、色渍、特殊污渍或隐性污渍等，从而选用相应类型的洗涤剂；根据污渍面积或污渍严重程度等污渍属性，可以确认污渍为轻微脏、一般脏或特别脏等，从而选用相应剂量的洗涤剂；根据污渍的位置，可以确定向衣物上哪些位置投放洗涤剂。
在执行步骤S4时，可以将衣物属性、污渍属性和污渍位置看做是第一向量中的不同分量，将洗涤剂的类型、洗涤剂的用量和洗涤剂在衣物上的投放位置等工作参数看做是第二向量中的不同分量。这样，可以预先建立多个第一向量和多个第二向量之间的一一对应关系，在执行步骤S4时通过查表的方式即可根据第一向量确定相应的第二向量，也就是根据衣物属性、污渍属性和污渍位置等形成的组合来确定工作参数。
本领域技术人员，还可以根据衣物洗涤的原理，根据衣物属性、污渍属性和污渍位置，设定浸泡时长、衣物洗涤时长、衣物洗涤温度、风干温度、增艳、消毒、柔顺或去静电等工作参数。
执行步骤S5时，可以控制衣物洗涤装置等装置中的洗涤剂投放器件的工作参数，从而将合适类型和合适剂量的洗涤剂投放到衣物上的污渍集中所在位置。
本实施例中的衣物洗涤装置方法，根据深度学习模型对衣物图像处理所得的衣物属性、污渍属性和污渍位置来选择工作参数，除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。
实施例3
参照图3，本实施例中，衣物洗涤装置包括数据采集模块、计算模块和执行模块，数据采集模块的数据接口与计算模块的IO接口连接，执行模块的控制接口与计算模块的IO接口连接。
数据采集模块包括摄像头和CMOS等成像器件，可以安装在衣物洗涤桶上方、滚筒一侧等位置以拍摄衣物洗涤桶或滚筒内部的待洗涤衣物，也可以安装在衣物洗涤装置外部，以提示用户将待洗涤衣物展示于衣物洗涤装置前，从而拍摄获取待洗涤衣物的衣物图像。在另一些实施例中，数据采集模块还可以安装在洗衣流水线等的位置对待洗涤衣物进行拍摄，拍摄所得的衣物图像回传后统一处理。
计算模块包括处理器、存储器和通信单元等器件。本实施例中，如果存储器的空间足够大且处理器的处理能力足够强，可以由计算模块来运行经过实施例1训练的深度学习模型，从而直接对数据采集模块拍摄所得的衣物图像进行处理，从而得到衣物属性、污渍属性和污渍位置。本实施例中，也可以设置服务端，由服务端来运行经过实施例1训练的深度学习模型，计算模块与服务端通过5G网络等通道连接，计算模块将衣物图像发送到服务端，服务端运行深度学习模型对衣物图像处理得到衣物属性、污渍属性和污渍位置，服务端将衣物属性、污渍属性和污渍位置发送到计算模块。
计算模块通过计算输出获得衣物属性、污渍属性和污渍位置等信息后，可以通过条件判断、查表等方式，输出相应的工作参数，从而指导执行模块根据所选定的工作参数进行衣物洗涤。本实施例中，执行模块包括洗涤剂投放器件、电机器件、注水器件和脱水器件等，从而可以根据所选定的洗涤剂类型、洗涤剂用量、洗涤剂投放位置、浸泡时长、衣物洗涤时长、衣物洗涤温度以及风干温度等工作参数来洗涤衣物。
本实施例中的衣物洗涤装置，根据深度学习模型对衣物图像处理所得的衣物属性、污渍属性和污渍位置来选择工作参数，除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。
实施例4
参照图4，本实施例中的衣物洗涤系统是由衣物洗涤装置和服务端组成的整体。其中衣物洗涤装置的结构可以如实施例3中的说明所示，包括数据采集模块、计算模块和执行模块。服务端通过5G等通道与衣物洗涤装置中的计算模块连接，服务端运行有经过实施例1中训练方法训练的深度学习模型。
计算模块将衣物图像发送到服务端，服务端运行深度学习模型对衣物图像处理得到衣物属性、污渍属性和污渍位置，服务端将衣物属性、污渍属性、污渍位置以及洗涤方式发送到计算模块，以供计算模块控制执行模块进行衣物洗涤。
本实施例中的衣物洗涤系统，根据深度学习模型对衣物图像处理所得的衣物属性、污渍属性和污渍位置来选择工作参数，除了能够达到良好的去污效果，还能达到良好的衣物保护效果，即达到更好的综合衣物洗涤效果。
实施例5
编写用于执行实施例1中步骤P1-P5和/或实施例2中步骤S1-S5的计算机程序，将计算机程序存储到存储介质中，当存储介质与处理器连接时，其存储的计算机程序可以被处理器读取出来执行，从而执行步骤P1-P5和/或实施例2中步骤S1-S5。这一存储介质(存储器)也可与处理器制造成一个整体，从而成为具有执行步骤P1-P5和/或实施例2中步骤S1-S5功能的计算机装置。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (10)
1.一种深度学习模型训练方法，其特征在于，所述深度学习模型包括目标检测网络、第一子网络、第二子网络和实例分割网络，所述目标检测网络分别与第一子网络、第二子网络连接和实例分割网络连接；所述训练方法包括以下步骤：
获取多组第一训练数据、第二训练数据、第三训练数据和第四训练数据；所述第一训练数据包括衣物图像和所述衣物图像中衣物的外接矩形位置标签；所述第二训练数据包括衣物图像和衣物属性标签；所述第三训练数据包括衣物图像和污渍属性标签；所述第四训练数据包括衣物图像和污渍位置标签；
使用至少一组所述第一训练数据对所述目标检测网络进行训练；
使用至少一组所述第二训练数据对所述第一子网络进行训练；
使用至少一组所述第三训练数据对所述第二子网络进行训练；
使用至少一组所述第四训练数据对所述实例分割网络进行训练。
2.根据权利要求1所述的深度学习模型训练方法，其特征在于，还包括以下步骤：
在完成对所述目标检测网络的训练后，固定所述目标检测网络的参数；
在完成对所述目标检测网络、第一子网络、第二子网络和实例分割网络的训练后，解除固定所述目标检测网络的参数。
3.根据权利要求2所述的深度学习模型训练方法，其特征在于，还包括以下步骤：
对所述目标检测网络、第一子网络、第二子网络和实例分割网络进行协同训练。
4.根据权利要求3所述的深度学习模型训练方法，其特征在于，所述对所述目标检测网络、第一子网络、第二子网络和实例分割网络进行协同训练，具体包括以下至少一个步骤：
使用至少一组所述第一训练数据对所述目标检测网络进行训练；
使用至少一组所述第二训练数据对所述第一子网络进行训练；
使用至少一组所述第三训练数据对所述第二子网络进行训练；
使用至少一组所述第四训练数据对所述实例分割网络进行训练。
5.一种衣物洗涤方法，其特征在于，包括以下步骤：
获取待洗涤衣物的衣物图像；
将所述衣物图像输入到深度学习模型；所述深度学习模型经过如权利要求1-4任一项所述的训练方法训练；
获取所述深度学习模型处理得到的衣物属性、污渍属性和污渍位置；
根据所述衣物属性、污渍属性和污渍位置所形成的组合，输出相应的工作参数；
根据所选定的所述工作参数进行衣物洗涤。
6.根据权利要求5所述的衣物洗涤方法，其特征在于，所述工作参数包括洗涤剂的类型、洗涤剂的用量和洗涤剂的投放位置。
7.一种衣物洗涤装置，其特征在于，包括：
数据采集模块，用于获取待洗涤衣物的衣物图像；
计算模块，用于将所述衣物图像发送到服务端，接收所述服务端处理得到的衣物属性、污渍属性和污渍位置，或者运行深度学习模型对所述衣物图像进行处理，从而得到衣物属性、污渍属性和污渍位置，以及用于根据所述衣物属性、污渍属性和污渍位置所形成的组合，输出相应的工作参数；所述服务端通过运行深度学习模型对所述衣物图像进行类别预测，所述深度学习模型经过如权利要求1-4任一项所述的训练方法训练；
执行模块，用于根据所述计算模块输出的所述工作参数进行衣物洗涤。
8.一种衣物洗涤系统，其特征在于，包括：
如权利要求7所述的衣物洗涤装置；
服务端，与所述衣物洗涤装置连接，用于通过运行深度学习模型对所述衣物图像进行处理，所述深度学习模型经过如权利要求1-4任一项所述的训练方法训练。
9.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-6任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-6任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010338903.6A CN111598141A (zh) | 2020-04-26 | 2020-04-26 | 模型训练方法、衣物洗涤方法、系统、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010338903.6A CN111598141A (zh) | 2020-04-26 | 2020-04-26 | 模型训练方法、衣物洗涤方法、系统、装置和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598141A true CN111598141A (zh) | 2020-08-28 |
Family
ID=72185562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010338903.6A Pending CN111598141A (zh) | 2020-04-26 | 2020-04-26 | 模型训练方法、衣物洗涤方法、系统、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598141A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107893309A (zh) * | 2017-10-31 | 2018-04-10 | 珠海格力电器股份有限公司 | 洗涤方法及装置、洗衣方法及装置 |
| CN107918780A (zh) * | 2017-09-01 | 2018-04-17 | 中山大学 | 一种基于关键点检测的衣服种类和属性分类方法 |
| CN108914489A (zh) * | 2018-07-27 | 2018-11-30 | 北京智能管家科技有限公司 | 洗衣机的控制方法、装置、洗衣机及存储介质 |
| CN109208245A (zh) * | 2018-09-14 | 2019-01-15 | 宁波慈溪小家电创新设计研究院有限公司 | 一种自动洗衣方法 |
| CN109594286A (zh) * | 2018-11-26 | 2019-04-09 | 歌尔股份有限公司 | 一种智能洗衣方法、装置、智能洗衣机 |
| CN110004664A (zh) * | 2019-04-28 | 2019-07-12 | 深圳和而泰家居在线网络科技有限公司 | 衣物污渍识别方法、装置、洗衣机及存储介质 |
| CN110895707A (zh) * | 2019-11-28 | 2020-03-20 | 江南大学 | 一种强遮挡条件下洗衣机内衣物类型的深度判别方法 |
| CN110924052A (zh) * | 2018-09-20 | 2020-03-27 | 格力电器（武汉）有限公司 | 洗衣机控制方法及装置 |
-
2020
- 2020-04-26 CN CN202010338903.6A patent/CN111598141A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107918780A (zh) * | 2017-09-01 | 2018-04-17 | 中山大学 | 一种基于关键点检测的衣服种类和属性分类方法 |
| CN107893309A (zh) * | 2017-10-31 | 2018-04-10 | 珠海格力电器股份有限公司 | 洗涤方法及装置、洗衣方法及装置 |
| CN108914489A (zh) * | 2018-07-27 | 2018-11-30 | 北京智能管家科技有限公司 | 洗衣机的控制方法、装置、洗衣机及存储介质 |
| CN109208245A (zh) * | 2018-09-14 | 2019-01-15 | 宁波慈溪小家电创新设计研究院有限公司 | 一种自动洗衣方法 |
| CN110924052A (zh) * | 2018-09-20 | 2020-03-27 | 格力电器（武汉）有限公司 | 洗衣机控制方法及装置 |
| CN109594286A (zh) * | 2018-11-26 | 2019-04-09 | 歌尔股份有限公司 | 一种智能洗衣方法、装置、智能洗衣机 |
| CN110004664A (zh) * | 2019-04-28 | 2019-07-12 | 深圳和而泰家居在线网络科技有限公司 | 衣物污渍识别方法、装置、洗衣机及存储介质 |
| CN110895707A (zh) * | 2019-11-28 | 2020-03-20 | 江南大学 | 一种强遮挡条件下洗衣机内衣物类型的深度判别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110004664B (zh) | 衣物污渍识别方法、装置、洗衣机及存储介质 | |
| CN108914489B (zh) | 洗衣机的控制方法、装置、洗衣机及存储介质 | |
| CN108411565A (zh) | 洗衣机控制方法及装置 | |
| CN107227582B (zh) | 一种洗涤程序的生成方法、装置及洗衣机 | |
| CN103820971B (zh) | 一种基于无线自动识别技术的洗衣机智能洗涤方法 | |
| CN107904860B (zh) | 洗衣机内衣物处理方法及装置 | |
| CN112626800B (zh) | 智能洗衣方法、装置及智能洗衣机 | |
| CN110924052A (zh) | 洗衣机控制方法及装置 | |
| CN111876963A (zh) | 衣物污渍洗涤方法、洗衣设备和存储介质 | |
| CN110735281A (zh) | 洗衣机及其衣物洗涤控制方法 | |
| CN105544146A (zh) | 智能化多功能节能节耗洗涤设备 | |
| CN111598141A (zh) | 模型训练方法、衣物洗涤方法、系统、装置和介质 | |
| CN110894658B (zh) | 洗涤控制方法、装置以及衣物处理装置 | |
| US20230272569A1 (en) | Clothing management apparatus and method for controlling thereof | |
| CN109137392B (zh) | 衣物洗涤方法、装置和衣物处理装置 | |
| CN108978110B (zh) | 一种洗涤设备控制方法及洗涤设备 | |
| CN112176642A (zh) | 一种洗衣机控制处理方法及装置 | |
| CN112115839A (zh) | 衣物清洗方法、装置、存储介质及电子装置 | |
| Chen et al. | Learning to grasp clothing structural regions for garment manipulation tasks | |
| CN114411401A (zh) | 衣物分拣方法、衣物处理方法、装置、系统及存储介质 | |
| CN113622144B (zh) | 洗衣控制方法、系统、洗衣机及计算机可读存储介质 | |
| CN112663274A (zh) | 用于衣物处理设备的开门控制方法 | |
| CN111850940A (zh) | 一种衣物处理设备的控制方法 | |
| CN115992426A (zh) | 衣物类型的识别方法 | |
| CN117431747A (zh) | 一种衣物分拣方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |
|
| RJ01 | Rejection of invention patent application after publication |