CN114600167A - 通过目标检测模型的多通道训练调整机器设置 - Google Patents

通过目标检测模型的多通道训练调整机器设置 Download PDF

Info

Publication number
CN114600167A
CN114600167A CN202080061909.1A CN202080061909A CN114600167A CN 114600167 A CN114600167 A CN 114600167A CN 202080061909 A CN202080061909 A CN 202080061909A CN 114600167 A CN114600167 A CN 114600167A
Authority
CN
China
Prior art keywords
images
image processing
processing model
training
appliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080061909.1A
Other languages
English (en)
Other versions
CN114600167B (zh
Inventor
何清
高煜翔
区志财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Publication of CN114600167A publication Critical patent/CN114600167A/zh
Application granted granted Critical
Publication of CN114600167B publication Critical patent/CN114600167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

用于控制机器的系统和方法，包括：接收第一图像处理模型，该第一图像处理模型被训练为将输入图像分类为针对包括第一类型的至少一个对象的图像的第一类别或者针对不包括第一类型的对象的第二类别；识别作为假阳性结果的推断结果的子集；从该第一组图像生成一组新的训练数据，包括增强该第一组图像中的图像以获得相应的多个图像，以及将相应的多个图像标记为包括伪第一类别的至少一个对象；训练第二图像处理模型以将输入图像分类为第一类别、第二类别和伪第一类别；以及基于第二图像处理模型的推断结果修改机器的设备设置。

Description

通过目标检测模型的多通道训练调整机器设置
相关申请的交叉引用
本申请要求于2019年10月18日提交的美国申请号16/657,975的权益，其公开内容在此通过引用整体并入。
技术领域
本发明涉及图像处理领域，并且特别地涉及使用改进的图像处理模型来检测对象，并基于检测到的对象自动操作机器的系统和方法。
背景技术
诸如家用电器的机器通常具有不同的预定义操作设置。例如，洗衣机具有多种洗涤循环设置，多种洗涤循环设置具有不同的水温、翻滚速度、旋转速度等。微波炉具有多种烹饪设置，多种烹饪设置具有不同的微波功率级别和烹饪时间。选择适当的设置对于优化机器的性能是很重要的。例如，针对要洗衣物选择合适的洗涤循环设置对于防止衣物损坏(例如，拉伸、收缩或变色)和实现最佳清洁效果非常重要。在一些情况下，机器依赖于图像处理模型来检测要操作的一个或多个对象(或对象类型)(例如，洗衣机的衣服类型，微波炉的食品类型)，并基于检测到的一个或多个对象(或对象类型)自动选择机器操作设置。
诸如卷积神经网络(convolutional neural networks，CNN)及其变体的机器学习模型是强大的图像处理模型，被广泛应用于目标检测任务中。然而，机器学习模型的性能往往很差，导致对作为各种机器的操作对象的相关对象的分类和检测不准确。
基于这些原因，迫切需要提高用于目标检测和分类的图像处理模型。
发明内容
如背景技术中描述，诸如卷积神经网络(CNN)及其变体的机器学习模型是强大的图像处理模型，并且被广泛应用于目标检测任务中。然而，有时由于存在容易误分类的对象类别，例如在对象检测/分类算法的观点下看起来非常类似于阳性样本的“难”阴性样本(假阳性)，或者看起来非常类似于阴性样本的“难”阳性样本(假阴性)，以高精度(例如，假阳性率低)和高召回率(假阴性率低)两者检测对象是具有挑战性的。例如，当衣服被装载进洗衣机的滚筒时，往往会缠结、扭曲，甚至打结。结果，现有的图像处理模型常常通过错误地将一类衣服(例如，扭曲和缠绕的衬衫)识别为另一类衣服(例如，胸罩)而持续地产生假阳性输出。如果洗衣机错误地为洗涤胸罩(例如，要求慢翻滚速度和低转速)选择了为洗涤衬衫而设计的洗涤循环设置(例如，高翻滚速度、高转速等)，洗衣机将永久地损坏胸罩。
由于这些原因，迫切需要改进的方法和系统，用于提高图像处理模型的对象检测和二分类的精度，同时保持高召回率，并基于检测到且分类后的对象自动选择机器操作设置。
本发明描述了一种系统和方法，其用于：接收第一图像处理模型，该第一图像处理模型被训练为将相应的输入图像分类为：第一类别或第二类别，该第一类别针对包括第一类型的至少一个对象的图像，该第二类别针对不包括第一类型的至少一个对象的图像；从该第一图像处理模型输出的多个推断结果中，识别作为假阳性结果的推断结果的第一子集，该假阳性结果将不包括第一类型的至少一个对象的第一组图像分类为针对包括第一类型的至少一个对象的图像的第一类别；从该第一组图像生成第一组新训练数据，包括：增强第一组图像中的相应图像以获得第一相应多个图像，以及将第一相应多个图像标记为包括伪第一类别的至少一个对象，该伪第一类别与第一类别和该第二类别不同；使用包括至少第一组新训练数据的训练数据集合，训练第二图像处理模型，以将相应的输入图像分类为：针对包括第一类型的至少一个对象的图像的第一类别，针对不包括第一类型的至少一个对象的第二类别；以及针对包括容易被第一图像处理模型误分类为第一类别的对象的图像的伪第一类别；以及基于由第一机器捕获的第一输入图像的第一推断结果修改第一机器的设备设置，其中第一推断结果由第二图像处理模型生成并且对应于第一类别。
基于本发明描述的方法和系统，解决了与使用图像处理模型来检测和分类容易误分类的对象相关联的各种问题。
在一个方面，根据一些实施例，由与家用电器可通信地耦接并且被配置成控制家用电器的一个或多个功能的计算系统执行所述方法。
根据一些实施例，计算系统包括处理器和存储有指令的存储器，所述指令在执行时使一个或多个处理器执行本发明描述的方法。根据一些实施例，电子设备包括一个或多个处理器，和存储有一个或多个程序的存储器；一个或多个程序被配置成由一个或多个处理器执行，并且一个或多个程序包括指令，该指令用于执行或引起执行本文描述的任何方法的操作的性能。根据一些实施例，非临时性计算机可读存储介质存储有指令，该指令在被电子装置执行时，使得该装置执行或引起执行本文描述的任何方法的操作的性能。根据一些实施例，电子设备包括：用于捕获图像的装置，以及用于执行或引起本文所描述的任何方法的操作的性能的装置。
根据下列详细描述，本申请的特中附加优点是显然的。
附图说明
通过结合附图对优选实施例的详细描述，以下将更清楚地理解所公开技术的上述特征和优点以及其附加特征和优点。
为了更清楚地描述当前所公开技术的实施例中或现有技术中的技术方案，下面简要地介绍用于描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了当前所公开的技术的一些实施例，并且本领域普通技术人员仍可以在不付出创造性劳动的情况下从这些附图中推导出其他图。
图1A示出了根据一些实施例的家用电器系统的操作环境的框图。
图1B至图1C示出了根据一些实施例的家用电器系统的框图。
图2是根据一些实施例的用于基于装载在洗衣机中的要洗衣物的检测到的图像自动选择洗涤循环设置的过程的示意图。
图3是根据一些实施例的用于训练图像处理模型以提高对象检测和二分类的精度同时保持召回率的过程的示意图。
图4是根据一些实施例的在图3中描述的多通道训练过程中生成的图像处理模型的示意图，其中更新的模型在保持召回率的同时具有提高的对象检测和二分类的精度。
图5是根据一些实施例的基于通过对象检测模型的多通道训练产生的图像检测和二分类结果执行自动机器设置选择的方法的流程图。
图6是根据一些实施例的示例性家用电器的图。
贯穿附图中的多个视图，相同的附图标记指代对应部分。
具体实施方式
现在将详细参照实施例，附图中示出实施例的示例。在以下详细描述中，阐述了许多具体细节以提供对本文所呈现的主题的透彻理解。但是对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本主题。在其他实例中，并未详细描述公知方法、过程、组件和电路以避免不必要地模糊实施例的各方面。
下面参考本申请的实施例中的附图，对本申请的实施例中的技术方案进行清楚且完整地描述。显然，所描述的实施例仅仅是本申请的实施例的一部分而不是全部。本领域普通技术人员基于本申请的实施例在没有创造性的劳动的情况下所获得的所有其他实施例落入本申请的保护范围内。
图1A示出了根据一些实施例的家用电器系统的操作环境100的框图。
家用电器系统的操作环境100包括一个或多个家用电器(例如，电器A 110、电器B112和电器C 114)，一个或多个家用电器经由网络190(例如，诸如因特网的广域网，或诸如智能家居网的局域网)连接到一个或多个服务器(例如，训练集服务器120和训练模型服务器122)，以及可选地连接到一个或多个用户设备(例如，用户设备A 111、用户设备B 113和用户设备C 115)和/或注释站128。
在一些实施例中，一个或多个家用电器(例如，智能洗衣机、智能微波炉等)被配置成收集原始传感器数据(例如，图像、重量、温度、热图数据等)并将原始传感器数据发送到相应的用户设备(例如，智能电话、平板设备等)、注释站128(例如，工作站和台式计算机)和/或训练集服务器120(例如，由家用电器的制造商或由制造商的第三方服务提供商提供的服务器)。在一些实施例中，一个或多个家用电器还被配置成从训练模型服务器122和/或对应的用户设备接收控制指令(例如，电器C 114可以从训练模型服务器122接收控制指令以将微波炉温度设置为425°F以烘烤蔬菜，电器A 110可以从用户设备A 111接收控制指令以选择洗涤循环)。关于一个或多个家用电器(例如，电器A 110、电器B 112和电器C 114)的附加细节参照本公开的其他部分详细描述。
在一些实施例中，一个或多个用户设备被配置成从相应电器接收原始传感器数据(例如，对应于电器A 110的用户设备A 111被配置成从电器A 110接收原始传感器数据)。在一些实施例中，一个或多个用户设备还被配置成将注释数据发送到注释站128和/或训练集服务器120。在一些实施例中，一个或多个用户设备被配置成生成控制指令并向相应的电器发送控制指令(例如，用户设备A 111可以向电器A 110发送指令以打开/关闭电器A 110或选择电器A 110上的设置)。在一些实施例中，一个或多个用户设备包括但不限于移动电话、平板电脑或计算机设备。在一些实施例中，一个或多个用户设备可以对应于一个电器(例如，计算机和移动电话都可以对应于电器A 110(例如，在设备设置过程中两者都被注册为电器A的控制设备)，使得电器A 110可以将原始传感器数据发送到计算机和移动电话中的一个或两者)。在一些实施例中，用户设备对应于(例如，与电器共享数据和/或与电器通信)电器(例如，用户设备A 111对应于电器A 110)。例如，电器A 110可以收集数据(例如，诸如图像或温度数据的原始传感器数据)并将收集的数据发送到用户设备A 111，以便用户可以在用户设备A 111上注释收集的数据。
在一些实施例中，注释站128被配置成从一个或多个电器(例如，电器110、112和114)接收收集的数据，使得由专门的注释人员对收集的数据进行注释。在一些实施例中，注释站128被配置成从一个或多个用户设备(例如，用户设备111、113和115)接收注释数据，以供专门注释人员评审、编辑和/或批准。在一些实施例中，当来自一个或多个用户设备的注释数据在注释站128获得批准时，注释站将批准的数据发送到训练集服务器120以包括在存储在训练集服务器处的训练数据集合中。在一些实施例中，注释站128从服务器120检索注释数据，以供专门注释人员评审、编辑和/或批准。在一些实施例中，注释站128从服务器120检索未注释的数据，以供专门注释人员进行注释。在注释站128处已注释和/或已批准的传感器数据被返回到服务器120以包括在训练数据集合中。
在一些实施例中，训练集服务器120被配置成从一个或多个家用电器(例如，电器110、112和114)接收原始传感器数据，和/或从一个或多个用户设备(例如，用户设备111、113和115)接收注释数据。在一些实施例中，训练集服务器120还被配置成向注释站128发送原始和/或注释数据，并从注释站128接收已注释和/或已批准的注释数据。训练集服务器120被配置成根据训练模型服务器122所采用的训练模型和训练方法，预处理注释数据，例如，对训练数据进行分组、划分和关联，以及索引和存储训练数据。训练集服务器120被配置成根据请求训练数据的特定训练模型将所选择的训练数据(例如，包括、对应于或基于在注释站128已批准的注释数据的数据)发送到训练模型服务器122。
在一些实施例中，训练模型服务器122被配置成从训练集服务器120接收训练数据。训练模型服务器还可选地被配置成向一个或多个电器和/或用户设备发送控制指令(例如，根据特定家用电器的控制协议准备的机器指令)和/或发送文本数据(例如，文本消息)。训练模型服务器122包括：识别模型123(例如，用于识别和分类对象)、定位模型124(例如，用于定位对象和显示对象轮廓)和其他模型。识别模型123与识别由家用电器操作的对象(例如，衣服、食品等)有关。定位模型124与家用电器中的物品定位有关。例如，定位模型124可用于识别智能烤箱的烤箱架左侧的两块鸡肉和智能烤箱的烤箱架右侧的四块饼干，并在由智能烤箱捕获的图像中勾勒出它们中的每一个。训练模型服务器122基于从训练集服务器120接收的训练数据训练识别模型123、定位模型124和/或其他模型。一旦识别模型123、定位模型124和其他模型的训练充分完成(例如，达到精确度的阈值水平)，训练集服务器120从家用电器接收请求，以基于由家用电器捕获的传感器数据实时地确定品目身份/位置。在一些实施例中，由训练集服务器120确定品目的条件被提供回退给请求的家用电器，使得每个家用电器基于所确定的品目的条件来确定适当的动作，例如，改变家用电器的操作和/或向用户报警。
在一些实施例中，家用电器(例如，电器110、112和114)、用户设备(例如，用户设备111、113和115)、注释站128、训练集服务器120和训练模型服务器122通过一个或多个网络190连接(例如，与一个或多个网络190共享数据和/或与之通信)。一个或多个网络190可以包括有线和无线网络，并且可以是家庭的局域网或广域网(例如，因特网)。
图1B示出了根据一些实施例的家用电器系统101的框图。
在一些实施例中，如图1B所示，家用电器系统101包括家用电器140和与家用电器140分别实现地计算系统130。家用电器140可以用作图1A中的家用电器110、112和114中的任何一个。在一些实施例中，计算系统130通过一个或多个网络190与家用电器140通信。在一些实施例中，计算系统130在用户设备上实现(例如，与用于控制家用电器并与家用电器交互的用户应用相关联)。在一些实施例中，计算系统130和电器140进一步与计算系统160通信，以根据客户端-服务器配置完成计算系统130和电器140上的一些功能。在一些实施例中，计算系统160在家用电器制造商的服务器上(例如，在训练模型服务器122上)实现。在一些实施例中，计算系统160在独立计算机上(例如，在智能家庭的本地服务器上)实现。
参考图1B，计算系统130包括注释用户接口模块132、图像处理模块134、网络通信单元136和一个或多个数据库138中的一个或多个。其对应于上面关于图1A描述的用户设备(例如，用户设备111、113和115)。在一些实施例中，计算系统130还包括用户侧操作进度监测模块149和用户侧电器功能控制模块153，除了促进如本文所述的家用电器系统的数据收集和注释方面之外，还促进家用电器系统的机器操作进度监测和电器控制的方面。
在一些实施例中，注释用户接口模块132使得计算系统130的用户能够查看和注释从相应的电器140(例如，电器110、112或114)接收的原始传感器数据。例如，用户可以使用其用户设备(例如，用户设备111、113或115)上的应用来查看由相应电器记录的图像和温度数据。根据一些实施例，用户可以能够向所收集的数据添加注释和细节。
在一些实施例中，图像处理模块155获得由电器140的成像系统捕获的图像，并处理该图像以进行分析。图像处理模块154的功能和电器140的成像系统的功能在下面例如参考3进行描述。
网络通信单元136使得计算系统130能够通过一个或多个网络190与电器140和/或计算系统160通信。
在一些实施例中，数据库138包括先前捕获的对象图像或来自其他类似家用电器系统的图像。在一些实施例中，数据库138包括使得计算系统能够向用户提供营养信息和食谱的成分数据库，或者使得计算系统能够向用户提供洗涤指令的衣服数据库。
在一些实施例中，计算系统130包括与计算系统160和电器140结合提供用户侧功能例如用户侧操作进度监测和电器功能控制的应用程序，。
在一些实施例中，用户侧进度监测模块149被配置成基于由电器140捕获的实时传感器数据来确定机器操作的进度。
在一些实施例中，用户侧电器功能控制模块153被配置成为用户提供用户接口以直接控制电器功能(例如，打开/关闭电器或设置电器参数等)，和/或基于进度监测的结果自动生成控制指令。在一些实施例中，进度监测的结果从用户侧进度监测模块149提供给用户侧电器功能控制模块153。在一些实施例中，进度监测的结果从计算系统160提供给用户侧电器功能控制模块153。在一些实施例中，进度监测的结果从电器140提供给用户侧电器功能控制模块153。
在一些实施例中，电器140包括一个或多个第一传感器(例如，传感器141)、一个或多个加热单元143，显示器144、I/O模块145、用户接口145、网络通信单元147、机械单元148、控制模块155、成像系统，以及可选地电器侧操作进度监测模块149’。控制模块155包括可选的电器侧电器功能控制单元153’。
在一些实施例中，一个或多个第一传感器141被配置成捕获结构化数据，例如温度、重量和/或湿度。如本公开所讨论的，结构化数据指的是诸如温度、湿度、时间、开/关、烤箱模式等的定量或状态数据。例如，一个或多个第一传感器212可以是家用电器140的温度传感器(例如，温度计)或湿度传感器、或重量传感器。
在一些实施例中，一个或多个加热单元143被配置成加热电器的至少一部分(例如，被配置成加热智能烤箱的烹饪室的加热线圈)。
在一些实施例中，电器140包括显示器144，显示器144可以向用户提供关于电器140的信息(例如，当前选择的洗涤循环)。在一些实施例中，显示器144可以与I/O模块145和用户接口146集成在一起，使得用户将信息输入到电器140中或从电器140读出信息。在一些实施例中，显示器144结合I/O模块145和用户接口146向用户提供建议、警报和营养信息，并从用户接收控制指令(例如，经由电器140提供的硬件和/或软件接口)。在一些实施例中，显示器144可以是触摸屏显示器或包括按钮的显示器。在一些实施例中，显示器144可以是不具有触摸屏特征的简单显示器(例如传统的LED或LCD显示器)，并且用户接口146可以是可以手动控制的硬件按钮或旋钮。在一些实施例中，用户接口146可选地包括显示器、扬声器、键盘、触摸屏、语音输入输出接口等中的一个或多个。
网络通信单元147在功能上类似于网络通信单元137。网络通信单元147使得电器140通过一个或多个网络190与计算系统130和/或计算系统160通信。
本公开描述的机械单元148是指电器140的硬件和相应的软件以及固件组件，其被配置成物理地改变家用电器140的内部感测(例如，成像)、加热和/或布局配置。例如，一个或多个第一传感器141可对应于机械单元，使得一个或多个传感器141可移动以扫描电器140内的相应区域(例如，电机可以被配置成在预定区域内移动传感器，以便在预定区域内捕获数据)。在一些实施例中，根据来自家用电器系统的家用电器功能控制单元(例如，家用电器侧家用电器功能控制模块153’、用户侧电器功能控制模块153和/或服务器侧电器功能控制模块153”)的指令操作电器140的机械单元148。
在一些实施例中，电器侧操作进度监测模块149’被配置成监测电器140的操作进度。例如，如果电器是智能烤箱，则电器侧操作进度监测模块149’可基于由一个或多个第一传感器212和/或一个或多个第二传感器214记录的原始数据，确定食物已烹饪到中等熟度。在一些实施例中，电器侧操作进度监测模块149’被配置成使用食物品目位置和轮廓确定模型以及已经在计算系统160上训练过的食物烹饪进度等级确定模型基于由传感器141和成像系统捕获的实时传感器数据来确定食物品目的烹饪进度。
在一些实施例中，成像系统包括一个或多个第二传感器142。一个或多个第二传感器142被配置成捕获非结构化数据。非结构化数据的示例包括RGB图像和热图像或红外图像。例如，如果电器是智能烤箱，则一个或多个第二传感器142可以被配置成捕获或记录电器的烹饪箱中存在的食物的静态图像或视频。在一些实施例中，如果电器是智能烤箱，则成像系统包括数据存储系统，数据存储系统存储食物烹饪箱的尺寸、食物烹饪箱内的参考标记的尺寸、相机与食物烹饪箱内的各种参考标记之间的距离，使得可以使用相机拍摄的图像来准确地确定图像内的食物品目的尺寸和形状。因此，成像系统消除了传统成像系统中的需要用户特别注意在图像中放置参考标记或使用图像而不得益于图像中品目的大小、位置和方向信息的问题。在一些实施例中，成像系统包括图像捕获触发系统。例如，在一些实施例中，当图像捕获触发系统检测到相机的视场中已经发生改变时，触发图像捕获。例如，当烤箱门打开时，烤箱内的照明条件将被改变，并响应烤箱门的打开触发图像捕捉。在一些实施例中，当食物品目开始出现在相机的视场中时触发图像捕获。在一些实施例中，当食物品目完全插入并且烤箱门关闭时触发图像捕获。在一些实施例中，图像捕获触发系统还指示相机在烤箱门打开之前即刻捕获并存储烤箱架的图像，作为烤箱内部的箱基线图像。在一些实施例中，例如，在用户已将食物品目插入食物烹饪箱之后，响应于用户的输入，手动触发图像捕获。手动触发更容易且更不复杂地实现，并且使得用户有目的地捕获最能反映食物品目特征的图像，用于成分识别。在一些实施例中，图像处理模块154获取由一个或多个第二传感器142捕获的图像，并基于在插入食品品目之前捕获的箱基线图像对图像进行预处理以从图像中去除背景。箱基线图像捕获家用电器系统的食物烹饪箱中食物支撑平台的确切情况，并为包含食物品目的图像提供优良的过滤以去除背景。
在一些实施例中，控制模块155包括传感器控制151、传感器控制152和电器侧电器功能控制模块153’。传感器控制151被配置为控制和调整一个或多个第一传感器141。例如，传感器控制151可以发送指令，用于一个或多个第一传感器141以1分钟间隔记录温度数据。传感器控制152被配置为控制和调整一个或多个第二传感器142。例如，当一个或多个第二传感器142被移动之前处于起始位置并且被移动之后处于最终位置时，传感器控制152可以发送指令，以使一个或多个第二传感器142沿着第一方向移动，并进行捕获图片。
电器侧电器功能控制模块153’被配置为控制和调整电器140的各种功能。例如，电器侧电器功能控制模块153’可以向加热单元143发送指令以激活一个或多个加热单元中的第一加热单元，或者可以向机械单元148发送指令以改变其位置。在一些实施例中，电器侧电器功能控制模块153’基于预配置的操作协议(例如，以实现电器140的正常常规功能)生成控制指令并将其发送到电器140的各个组件。在一些实施例中，电器侧电器功能控制模块153’基于家用电器内的实时操作进度监测，生成控制指令并向家用电器140的各个组件发送控制指令(例如，基于预设反应协议或程序在无需用户干预的情况下自动调整电器140的功能)。在一些实施例中，电器侧电器功能控制模块153’基于从用户设备接收的或经由电器140的用户接口146接收的实时用户指令生成控制指令并将控制指令发送到电器140的各个组件。在一些实施例中，将操作进度监测的结果从用户侧操作进度监测模块149提供给电器侧电器功能控制模块153’。在一些实施例中，将操作进度监测的结果从计算系统160提供给电器侧电器功能控制模块153’。在一些实施例中，将操作进度监测的结果从电器侧操作进度监测模块149’提供给电器侧电器功能控制模块153’。
在一些实施例中，计算系统160包括服务器侧操作进度监测模块149”和服务器侧电器功能控制模块153”。在一些实施例中，服务器侧操作进度监测模块149”使用图1A中所示的识别模型123、定位模型124和其他模型，以根据从家用电器140(例如，直接或通过计算系统130)接收的实时传感数据来确定对象身份、位置、轮廓和其他条件。在一些实施例中，计算系统160，例如，由图1A中的训练模型服务器122来实现。
图1B中的家用电器系统101内的各种系统的功能仅是说明性的。功能的其他配置和功能的其他划分是可能的。在各种实施例中，一个子系统的一些功能可以在另一个子系统中实现。
在一些实施例中，如图1C所示，图1C，家用电器系统101包括与电器140’集成的计算系统130’。在一些实施例中，计算系统130’与计算系统160’通信以完成电器140’的一些功能。在一些实施例中，电器140’可选地与计算系统160通信以外包电器140’的一些功能。
参考图1C，电器140’具有内置的计算系统130’。电器140’包括传感器141、加热单元143、显示器144、I/O模块145、用户接口146、网络通信单元147、机械单元148和成像系统。电器140’的这些组件对应于电器140中的组件，并且具有类似的功能，简洁起见，此处不再重复描述。
在一些实施例中，电器140’内的计算系统130’包括控制单元155’、传感器控制151’、传感器控制152’、电器侧操作进度监测系统149’”、电器侧电器功能控制模块153’”、图像处理系统154’、数据库138’、以及电器侧注释用户接口模块132’。这些组件的功能对应于它们在电器140中具有相同名称的相应对应物(例如，传感器控制151’具有与传感器控制151相同的功能)，并且为了简洁起见将不再重复。在一些实施例中，注释用户接口模块132”’使得用户能够在与电器140分离的用户设备上查看和注释原始用户数据。相比之下，电器侧注释用户接口模块132’使得用户能够在电器140’的显示器144上查看和注释原始用户数据，和/或用语音输入注释图像中的操作进度级别。
以上示例仅出于说明性目的而提供。下面将结合其他附图和说明阐述各组件功能的更多细节。可以理解，本公开描述的一个或多个组件可以独立于其他组件使用。
图2是根据一些实施例的基于洗衣机内的装载的要洗衣物的检测图像自动选择洗涤循环设置的过程200的示意图。为了方便起见，过程200被描述为由洗衣机的计算系统(例如，图1C中的电器140’的计算系统130’)执行。
无需依赖用户手动选择洗涤循环设置，洗衣机的计算系统使用图像检测和分类模型来识别衣服类型，并自动选择合适的洗涤循环设置。在一些实施例中，自动选择的洗涤循环设置基于检测到的装载衣物的特征(例如，织物纹理、颜色、尺寸、类型等)，并且被设置为在洗涤期间对衣物的损伤最小(例如，褪色、撕裂、拉伸等)。在一些实施例中，设置自动选择的洗涤循环以防止损坏洗衣机。例如，如果计算系统检测到带有诸如金属拉链之类的金属部件的衣服，则计算系统可以选择具有减少翻滚的洗涤循环，以防止金属部件划伤洗衣机的滚筒。在一些实施例中，计算系统使得用户能够区分洗涤目标的优先级(例如，防止损坏衣物、最大化清洁结果、最小化洗涤时间等)，并且计算系统将根据用户的配置自动选择洗涤循环。在一些实施例中，用户可以禁用自动洗涤循环设置选择，并且替代地手动选择洗涤循环设置。
为了自动选择洗涤循环，洗衣机的计算系统首先获取装载在洗衣机(202)内的要洗的衣物的多个图像。在一些实施例中，一个或多个相机(例如，图1B的传感器141或142)安装在洗衣机中，并且相机的视场覆盖洗衣机的滚筒。例如，一个或多个相机可以安装在洗衣机机门或窗户上。在一些实施例中，为了获得装载的衣物的更有代表性和更完整的图片，洗衣机滚筒在每个图像捕获会话之间轻微地翻滚(例如，半圈)以展开装载的要洗的衣物。在一些实施例中，当洗衣机滚筒翻滚时，一个或多个摄像机拍摄装载的要洗的衣物的视频。在一些实施例中，在基于洗涤循环的相应设置正式开始洗涤循环之前，计算系统指示洗衣机开始机器滚筒的旋转，并获取机器滚筒内的衣物品目的一系列图像，并使用这些图像中的每一个作为用于对象检测和分类的输入图像。通过组合来自每个输入图像的推断结果，获取来自多个输入图像的最终推断结果。例如，在一些实施例中，只要多个图像中的单个输入图像的推断结果指示在所识别的服装品目中存在具有最严格设置要求的特定类型的服装品目，则会根据该特定类型的服装品目的存在修改机器设置。在一些实施例中，需要在多个输入图像中的阈值数目的输入图像中检测特定类型的服装品目，以触发机器设置的修改。
一旦一个或多个相机完成对加载衣物的图像拍摄，计算系统将图像发送到图像处理模块(例如，图1C中的图像处理模块154’)进行预处理(203)。在预处理过程中，非结构化图像原始数据在被送入图像处理模型之前先进行转换。预处理有助于提高训练速度和分类精度。示例性预处理技术包括纵横比标准化、图像缩放、均值标准化、数据标准化、降维、数据增强等。
接下来，预处理图像被发送到一个或多个图像处理模型用于特征检测(204)。在一些实施例中，图像处理模型被存储在在洗衣机的计算系统中并且在洗衣机的计算系统中本地执行。或者，图像处理模型被存储在远程服务器(例如，图1A中的推断结果集服务器129)并且在远程服务器中执行，该远程服务器经由网络(例如，图1A中的网络190)连接到洗衣机的计算系统。图像处理模型可以通过网络在洗衣机的整个工作生命中不断更新。
在一些实施例中，图像处理模型接收预处理的要洗的衣物图像作为输入，并输出装载的要洗的衣物的一个或多个检测到的特征。图像处理模型可以包括一个或多个图像检测算法，例如卷积神经网络(CNN)、基于区域的CNN(R-CNN)、快速和更快的R-CNN、基于区域的全卷积网络(R-FCN)、You-Only-Look-Once(YOLO)、单次检测器(SSD)等。由于与训练图像处理模型相关联的高资源成本，在一些实施例中，图像处理模型首先在远程计算系统(例如，图1A中的训练模型服务器122)中训练，并通过网络更新发送到洗衣机的本地计算系统。
在一些实施例中，每个图像处理模型被配置成检测一种类型的特征。例如，单独的图像处理模型可以被配置成检测衣服类型(206)、装载大小(208)、衣服颜色(210)、泡沫(212)、质地水平(214)等。在一些实施例中，图像处理模型从安装在洗衣机中的传感器接收附加输入，以进行特征检测。例如，可以在洗衣机中安装一个或多个体重秤来测量负载重量。在一些实施例中，每个图像处理模型是二分类分类器。例如，图像处理模型可以被配置成确定图像是否包含“衬衫”，或者图像处理模型可以被配置成确定图像是否包含“红色衣服”。
与使用图像处理模型来检测衣服类型相关联的问题是，某些衣服类型容易错误分类，并一直导致图像处理模型产生假阳性结果(或者替代地，假阴性结果)。这可能是由于衣服经常在滚筒中扭曲缠绕，从而隐藏了它们的全部特征。例如，缠绕和扭曲的衬衫可能看起来与胸罩非常相似，并导致图像处理模型错误地确定衬衫是胸罩(假阳性)。为了增加对象检测和分类的精度(例如，减少假阳性结果的数量)，同时通过图像处理模型保持召回率(例如，不增加假阴性结果的数量)，在训练服务器(例如，图1A的训练模型服务器122)上实现修改后的机器学习训练过程。参考图3详细地描述了修改后的机器学习训练过程。
在图像处理模型检测并分类装载的要洗的衣物之后，洗衣机的计算系统将检测结果映射到相应的洗涤循环(216)。示例性的洗涤循环包括常规循环(例如，用于棉质衣服)、永久压力循环(例如，用于彩色衣服)、精细循环(例如，用于细料衣服)，等等。每个循环与不同的水温、翻滚速度、旋转速度和洗涤时间相关联。
检测结果到相应洗涤循环设置的映射是预先配置的，并且可以稍后经由远程服务器(例如，图1B的计算系统130)来更新。例如，映射可以被配置成最大化一个或多个洗涤目标，例如保持衣物寿命、减少洗涤时间、去除污渍等。映射可以基于被检测衣服的材料、质地、尺寸、数量和颜色。例如，如果计算系统检测到要洗的衣物负载包含由羊毛制成的鲜艳色衣服，则可以使用温和的洗涤循环。
图2是根据来自图像处理模块的目标检测结果和分类结果如何控制机器设置的示例，该目标检测和分类结果是通过本公开描述的多步骤训练过程生成的。根据一些实施例，其他类型的机器可选地使用本文所述的方法来以可变设置控制机器的各种操作，其他类型的机器为例如具有针对在烘干机滚筒的图像中识别的不同类型的衣物条目的不同干燥设置的干衣机，具有针对在烘箱室的图像中识别的不同类型的食物条目的不同烹饪设置的烤箱、具有针对不同类型的碗碟架中的盘子和容器的不同洗涤设置的洗碗机等。
图3是根据一些实施例的用于在多通道训练过程中训练图像处理模型的过程300的示意图。为了方便起见，过程300被描述为由远程服务器(例如，图1A的训练模型服务器122)执行。过程300输出要由本地计算系统(例如，图1C的计算系统130’)存储和使用的经训练的图像处理模型。在一个替代实施例中，过程300由本地计算系统执行，并输出要由同一本地计算系统存储和使用的经训练的图像处理模型。过程300是一般化的图像处理模型训练过程，并且不特定于如图2所描述的训练用于检测衣服类型的图像处理模型。
过程300是包括至少第一训练通道301和第二训练通道303的多通道处理。与传统的单通道图像处理模型训练过程(例如，CNN中的反向传播)相比，过程300通过首先识别训练数据集合中的“困难”数据点(例如，导致图像处理模型输出假阳性推断结果的一组数据点)，然后向图像处理模型添加附加的输出类别以解释这些困难数据点的推断结果，来提高推断精度。结果，过程300有效地将双分类模型(例如，第一图像处理306)转换为多分类模型(例如，第二图像处理模型306)。
在第一训练通道301期间，计算系统在第一训练会话304中使用第一组训练数据302来生成第一图像处理模型306。第一组训练数据302包括适用于图像处理模型训练的注释数据。例如，第一组训练数据302可以是标记有衣服类型(例如，当家用电器是洗衣机时)或标记有食物品目类型(例如，当家用电器是智能烤箱或微波炉时)的一组图像。在一些实施例中，单个图像包括具有不同数据类型的多个数据。例如，图像可以包括不同类型的多个衣服。在这种情况下，在用于第一训练会话304之前，图像被分割成多个子图像，每个子图像具有单个数据类型(例如，衣服类型)。
第一训练会话304输出将数据(例如，装载在洗衣机内的衣服的图像)适配到一个或多个预定义输出类别(例如，衣服类型)的图像处理模型。图像处理模型的例子包括线性回归、逻辑回归、支持向量机、神经网络等。在第一训练会话304期间，图像处理模型参数(例如，神经网络中的权重连接节点)被微调以最小化预定义损失函数(例如，使用梯度下降方法)，其中损失函数测量图像处理模型的预测数据类型与实际数据类型相比的匹配程度。
在第一训练会话304结束时，生成第一图像处理模型306。然后，计算系统在第一验证会话308中测试第一图像处理模型306。在第一验证会话308期间，第一图像处理模型306接收一组验证数据并预测相应的数据类型。在一些实施例中，计算系统将第一组训练数据302馈送到第一图像处理模型306作为验证数据。或者，计算系统使用与第一组训练数据302的不同的一组注释数据作为验证数据。
在一些实施例中，第一图像处理模型306是二分类预测器(例如，具有用于确定输入图像是否包括特定类型衣服的输出节点的神经网络)。来自二分类图像处理模型306的输出(也称为预测)在与实际输入数据类型相比较时，可以被归类为四种类型之一：(1)真阳性结果314，(2)真阴性结果316，(3)假阳性结果310，(4)假阴性结果312。
真阳性结果314指示第一图像处理模型306已将输入样本正确地分类为属于某数据类型(例如，预测出图像包括衬衫，并且图像实际上确实包括衬衫)。
真阴性结果312指示第一图像处理模型306已将输入样本正确地预测为不属于某数据类型(例如，预测出图像不包括衬衫，并且图像仅包括袜子)。
假阳性结果310指示第一图像处理模型306错误地预测输入样本属于某种数据类型(例如，预测出图像包括衬衫，但实施上图像仅包括袜子)。
假阴性结果312指示第一图像处理模型306错误地预测输入数据不属于某种数据类型(例如，预测图像不包含衬衫，但实际上图像包括衬衫)。
在一些实施例中，某些样本组容易错误分类，并且一直导致第一图像处理模型306产生假阳性结果。例如，在基于从洗衣机内部拍摄的图像检测衣服类型的上下文中，扭曲的衣服如衬衫经常被错误地检测为胸罩。因此，被配置成检测胸罩的图像处理模型在被提供仅有扭曲衬衫的图像时很可能会有假阳性预测结果。
为了减少第一图像处理模型306的假阳性结果的数量(例如，为了增加模型的精度)同时不增加假阴性结果的数量(例如，保持或减少模型的召回率)，计算系统执行第二训练通道303以基于第一图像处理模型306生成第二图像处理模型328。在第二训练通道303期间，计算系统从第一组训练数据302中识别导致第一图像处理模型306在第一验证会话308中产生假阳性结果的一组数据，并对所识别的该组数据应用附加标记。例如，包括扭曲衬衫的图像最初的数据类型为“衬衫”。由于该图像已导致第一图像处理模型306产生假阳性结果，因此计算系统将用第二数据类型替换衬衫数据类型，该第二数据类型指示衬衫数据类型属于“伪假阳性类别318”(例如，“伪衬衫”)。
在一些实施例中，如果训练数据集合包括图像数据，为了增加用于训练目的的新创建的伪假阳性数据的数目，计算系统对识别的伪假阳性图像执行图像增强322。如果数据不是图像数据，则可以执行其他类型的数据增强或跳过数据增强。
在对已经导致第一图像处理模型306产生假阳性结果的数据应用伪假阳性类型标签318，并执行图像增强322(如果该数据包括图像数据)之后，计算系统通过包含第一组训练数据302以及新生成的具有伪假阳性类型的数据来形成第二组训练数据324。
接下来，计算系统使用第二组训练数据324在第二训练会话326中重新训练第一图像处理模型306，以生成第二图像处理模型328。与第一图像处理模型306相比，第二图像处理模型328具有对应于伪假阳性数据类型的附加输出。结果，在对第二图像处理模型328的训练和推断期间，具有伪假阳性标签的数据被分类到单独的类别中。例如，第一图像处理模型和第二图像处理模型可以被配置成检测洗衣机中的胸罩。如上所述，某些类型的衣服，当扭曲或缠绕时，可能在部分上类似于胸罩，并导致图像处理模型输出假阳性结果。通过过程300，第二图像处理模型328现在被配置成接收图像并将图像上的对象分类为(1)胸罩，(2)与胸罩非常相似的衣服(例如，已经使第一图像处理模型306给出假阳性结果的衣服)，以及(3)其他类型的衣服(例如，袜子、牛仔裤和已经被第一图像处理模型正确预测不是胸罩的其他衣服)。因此，过程300向图像处理模型的输出增加粒度，从而在保持其召回率的同时增加图像处理模型的精度。
在一些实施例中，替代在第一验证会话308期间使用导致第一图像处理模型306输出假阴性结果310的一组数据，计算系统可以附加地或可选地使用导致第一图像处理模型306输出假阳性结果312的一组数据。
得到的用于给定对象类型的第二图像处理模型328用于处理输入图像并生成检测相应类型对象的推断结果。在一些实施例中，对于，与针对机器的特定操作的机器设置的选择有关(例如，洗涤会话的洗涤循环)的每种对象类型(例如，熟食、毛巾、床上用品、红色服装品目等)，图3中描述的多通道模型训练可用于生成改进的图像处理模型，用于识别对象类型的品目，并且对于每个操作，激活一个以上的改进图像处理模型(例如，用于同时检测精致衣物品目和红色品目的改进图像处理模型)，并且组合来自这些多个改进图像处理模型的结果(例如，根据它们对设置的影响的预设优先级等)以生成针对特定操作的设置值。
图4是根据一些实施例的在图3中描述的多通道训练过程中生成的图像处理模型的示意图，其中更新的模型在保持召回率的同时能够增加对象检测精度和二分类的精度。尽管图4中示出了神经网络，但在一些可选地实施例中，可以以相同的方式重新配置其他类型的图像处理模型以提高预测精度。原始模型402包括输入层404、一个或多个隐藏层406和输出层408。输出层408包括两个节点(例如，二分类)，对应于预测的“阳性结果”和“阴性结果”的。例如，原始模型402可以是如图3所描述的第一图像处理模型306。
在诸如图3中所描述的再训练过程之后，原始模型402被更新成为经更新的模型403。与原始模型402相比，经更新的模型403具有一个额外的输出节点，即伪类别输出410。如上所述，伪类别输出410指示数据点是易于错误分类的“困难样本”，例如导致原始模型402给出假阳性或假阴性结果。
图5是根据一些实施例的基于图像检测和通过对象检测模型的多通道训练产生的二分类结果来执行自动机器设置选择的方法500的流程图。为了方便起见，方法500将被描述为由包括经由网络连接的多个服务器的计算系统执行，其中计算系统的每个服务器专用于执行特定任务。例如，计算系统可以包括训练模型服务器(例如，图1A的训练模型服务器122)和电器服务器(例如，图1C的计算系统130’)。在一些实施例中，机器是洗衣机、烤箱、微波炉、冰箱或其他家用电器。
作为第一步骤，计算系统(例如，经由训练模型服务器)接收第一图像处理模型，该第一图像处理模型被训练为将相应的输入图像分类为：针对包括第一类型的至少一个对象的图像的第一类别或针对不包括第一类型的至少一个对象图像的第二类别(502)。因此，第一图像处理模型是将图像分类为属于第一类别或第二类别的二分类分类器。例如，第一图像处理模型被设计为将衣服的图像(例如，从洗衣机拍摄的要洗的洗衣图像)分类为包含衣服的类型(例如，衬衫)或不包含该衣服的类型(例如，没有衬衫)。在一些实施例中，第一图像处理模型是先前使用第一组训练数据在远程服务器中训练的神经网络，其中第一组训练数据包括带有标签对象的图像。
在接收到第一图像处理模型之后，计算系统从第一图像处理模型输出的多个推断结果中识别作为假阳性结果的推断结果的第一子集，该假阳性结果将不包含第一类型的至少一个对象的第一组图像分类为针对包括第一类型的至少一个对象的图像的第一类别(504)。在一些实施例中，计算系统的图像处理模块(例如，图1C的图像处理模块154’)被配置成执行推断任务。在一些实施例中，为了产生多个推断结果，计算系统(经由图像处理模块)对照第一组训练数据(例如，已用于生成第一图像处理模型的训练数据集合)、或不同于第一组训练数据的第一组推断数据、或两者的组合来验证第一图像处理模型。第一组训练数据和第一组推断数据都包括标记有对象类型的图像(例如，标记为包括“衬衫”、“袜子”、“连衣裙”等的图像)。例如，第一组图像中的图像被标记为包括衣服类型，第一图像处理模型被设计为检测图像是否包括“衬衫”。因此，推断结果的第一子集包括不包含任何衬衫但仍然被第一图像处理模型错误地分类为包含衬衫的图像。
然后，计算系统从第一组图像生成第一组新训练数据，包括增强第一组图像中的相应图像以获得第一相应多个图像，以及将第一相应多个图像标记为包括与第一类别和第二类别不同的伪第一类别的至少一个对象(506)。在一些实施例中，计算系统经由训练集服务器(例如，图1A的训练集服务器120)生成第一组新训练数据。在一些实施例中，计算系统通过图像失真、翻转、调整图像亮度、放大图像等创建相应图像的变化来增强第一组图像中的相应图像。增强图像增加了训练数据集合的大小，可以更好地训练图像处理模型以执行对象检测和目标分类。例如，第一组图像中的图像被标记为包括衣服类型，第一图像处理模型被设计为检测图像是否包括“衬衫”，并且第一组图像的不包含衬衫的子集在前一推断步骤期间已被错误地分类为包括衬衫。结果，第一组图像的子集中的图像将接收到与任何先前的衣服标签不同的特殊类别标签，例如“伪衬衫”。这个类别标签指示这些图像包括容易错误分类的对象(导致第一图像处理模型产生假阳性结果)。在一些实施例中，计算系统经由训练集服务器移除第一组图像的子集的旧标签。结果，这些图像不再标记有衣服类型，而只是新的“伪类别”标签。
在获得第一组新的训练数据后，然后，计算系统经由训练模型服务器(例如，图1A的训练模型服务器122)使用包括至少第一组新训练数据的训练数据集合训练第二图像处理模型，以将相应的输入图像分类为：针对包括第一类型的至少一个对象的图像的第一类别、针对不包括第一类型的至少一个对象的图像的第二类别，以及针对包括容易被第一图像处理模型误分类为第一类别的对象的图像的第一伪类别(508)。因此，与被设计为执行二分类的第一图像处理模型相比，第二图像处理模型具有对应于将图像分类为包括伪类别的对象(例如，使第一图像处理模型输出假阳性结果的对象)的附加输出。例如，训练数据集合可以包括标记为包含“衬衫”的图像、未标记为包含衬衫的图像(例如，仅包含“袜子”、“连衣裙”等)以及标记为包含“伪衬衫”的图像。注意，第二训练模型中的第一类别和第二类别不同于第一训练模型中的第一类别和第二类别，因为第二训练模型被训练为不将属于第一伪类别的图像(例如，根据第一训练模型，容易被包括在第一类型中但实际上属于第二类型的图像)包括到第一类别和第二类别。
最后，计算系统经电器服务器(例如，图1C的电器功能控制单元153”’)基于由第一机器捕获的第一输入图像的第一推断结果修改第一机器的设备设置，其中第一推断结果由第二图像处理模型生成并对应于第一类别(510)。例如，如果计算系统确定装载在洗衣机中的要洗的衣物的图像包含特定类型的衣物(例如衬衫)，则计算系统可以基于检测到的衣物类型选择洗涤循环，以最小化对衣物的损坏并最大化清洁结果。
在一些实施例中，在第一机器对在第一输入图像中捕获的对象执行第一操作之前，计算系统在第一机器处捕获第一输入图像，其中设备设置是由第一机器执行的第一操作的设置。例如，第一机器是洗衣机，第一操作是洗涤操作，设备设置是特定的洗涤循环设置。洗衣机在操作之前，拍摄装载在洗衣机中的要洗的衣物的图像，确定衣物类型，并通过选择适当的洗涤循环设置来相应地操作洗衣机。
在一些实施例中，存在多个图像处理模型并且计算系统使用不同的图像处理模型来检测不同类型的对象并应用不同设置。计算系统训练第四图像处理模型，以用于将相应的输入图像分类为：第三类别，第四类别或伪第三类别，该第三类别针对包括不同于第一类型的第二类型的至少一个对象的图像，该第四类型针对不包括第二类型的至少一个对象的图像，该伪第三类别针对包括容易被第三图像处理模型误分类为第三类别的对象的图像，该第三图像处理模型被训练为将相应的输入图像仅分类为第三类别和第四类别，并且基于由第一机器捕获的第一输入图像的第二推断结果修改第一机器的不同设备设置，其中第二推断结果由第四图像处理模型生成并对应于第三类型。例如，洗衣机可以使用一个图像处理模型来分类衬衫，使用另一个图像处理模型来检测牛仔裤。衬衫和牛仔裤的图像处理模型都可以使用上面描述的多通道训练过程来改进。然后，计算系统在衬衫和牛仔裤的存在或不存在选择洗涤循环设置。例如，如果要洗的衣物中同时存在衬衫和牛仔裤，则洗涤时间可能比仅衬衫或仅牛仔裤的洗涤时间长。
在一些实施例中，可选地或替代地，增强的假阴性样本被标记并与新训练数据中的真阳性样本合并。结果，新图像处理模型被训练为分类容易被误分类为假阴性的样本。计算系统从第一图像处理模型输出的多个推断结果中识别推断结果的第二子集，该推断结果的第二子集是假阴性结果，该假阴性结果将包括第一类型的至少一个对象的第二组图像分类为不包括第一类型的至少一个对象的第二类别。例如，推断结果的第二子集可以包括包含衬衫，但被第一图像处理模型分类为不包括衬衫的图像。
基于推断结果的第二子集，计算系统从第二组图像生成第二组新训练数据，包括增强第二组图像中的相应图像以获得第二相应多个图像，并且将第二相应多个图像标记为第一类别的图像。例如，计算系统可以执行类似于如上面描述的创建“伪类别”的这些任务。
然后，计算系统将第二相应多个图像添加到训练数据集合，与由第一图像处理模型正确地分类到第一类别的图像一起作为对应于第一类别的训练图像。例如，在被设计为检测衬衫的图像处理模型的情况下，训练数据集合会包括四种类型的数据：(1)包括衬衫的图像，(2)包括容易被错误归类为衬衫(“伪衬衫”)的对象的图像，(3)包括不是衬衫且不是“伪衬衫”的对象的图像，(4)包括是衬衫但容易被错误归类为不是衬衫的对象的图像。
在一些实施例中，当假阳性结果在训练期间发生时，用户识别假阳性结果。因此，具有传统模型的联网机器可以在升级之前对训练数据集合做出贡献。计算系统收集用户输入，该用户输入将由第二机器使用的第一图像处理模型的副本生成的附加推断结果识别为假阳性结果；以及将在第二机器处捕获的对应于附加推断结果的相应图像添加到训练数据集合中，以训练第二图像处理模型。
图6是根据一些实施例的示例性家用电器600的框图。例如，在各种实施例中，家用电器600可以用作电器18、112、114、140、140’、200、201、202、203、204。家用电器600包括一个或多个处理单元(CPU)602、一个或多个网络接口604、存储器606和用于互连这些组件(有时称为芯片组)的一个或多个通信总线608。家用电器600还包括用户接口610。用户接口610包括使得能够呈现媒体内容的一个或多个输出设备612，所述输出设备包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口610还包括一个或多个输入设备614，包括便于用户输入的用户接口组件诸如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。在一些实施例中，家用电器600还包括传感器(例如，传感器141、142)，其感测家用电器600的操作环境信息。传感器包括但不限于一个或多个热传感器、光传感器、一个或多个相机、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮肤电阻传感器、脉搏血氧计等等)、重量传感器、光谱仪和其他传感器。此外，家用电器600包括家用电器操作单元626(例如，基于电、感应、气体、辐射等的加热装置)。存储器606包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。可选地，存储器606包括远离一个或多个处理单元602的一个或多个存储设备。存储器606，或可选地存储器606内的非易失性存储器，包括非暂时性计算机可读存储介质。在一些实施方式中，存储器606，或存储器606的非暂时性计算机可读存储介质存储下面的程序、模块和数据结构、或其子集或超集：
操作系统616，该操作系统包括用于处理各种基础系统服务和用于执行硬件相关任务的过程；
·网络通信模块618，用于经一个或多个网络接口604(有线或无线)连接到外部服务；
·呈现模块620，该呈现模块用于实现信息的呈现；
·输入处理模块622，用于从一个或多个输入设备614中的一个检测一个或多个用户输入或交互，并解释检测到的输入或交互；
·家用电器控制单元624，其控制家用电器600，包括但不限于如本公开描述的家用电器140或140’的模块。
上述识别的元件中的每一个可以存储在前面提到的存储器设备中的一个或多个中，并且对应于用于执行上述功能的指令集。上文所识别的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各子集可以在各种实施方式中被组合或以其他方式重新排列。在一些实施方式中，可选地，存储器606存储上文所识别的模块和数据结构的子集。此外，可选地，存储器606存储上文没有描述的附加模块和数据结构。
尽管上述描述了特定的实施例，但是应当理解，这不意味着将本申请限于这些特定的实施例。相反，本申请包括在所附权利要求的精神和范围内的替代、修改和等同物。为了提供对本公开所描述主题的透彻理解，阐述了许多具体细节。但是对于本领域技术人员而言显而易见的是，可以在没有这些特定细节的情况下实践本主题。在其他实例中，并未详细描述公知的方法、过程、组件和电路以避免不必要地使当前实施例的各方面模糊。
上述识别的元件中的每一个可以存储在前面提到的存储器设备中的一个或多个中，并且对应于用于执行上述功能的指令集。上文所识别的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各子集可以在各种实施方式中组合或以其他方式重新排列。在一些实施方式中，可选地，存储器606存储上文所识别的模块和数据结构的子集。此外，可选地，存储器606存储上文没有描述的附加模块和数据结构。

Claims (9)

1.一种方法，包括：
在具有一个或多个处理器和存储器的计算设备处：
接收第一图像处理模型，所述第一图像处理模型被训练为将相应的输入图像分类为：第一类别或者第二类别，所述第一类别针对包括第一类型的至少一个对象的图像，所述第二类别针对不包括所述第一类型的至少一个对象的图像；
从所述第一图像处理模型输出的多个推断结果中，识别作为假阳性结果的推断结果的第一子集，所述假阳性结果将不包括第一类型的至少一个对象的第一组图像分类为针对包括所述第一类型的至少一个对象的图像的所述第一类别；
从所述第一组图像生成第一组新训练数据，包括：增强所述第一组图像中的相应图像以获得第一相应多个图像，以及将所述第一相应多个图像标记为包括伪第一类别的至少一个对象，所述伪第一类别与所述第一类别和所述第二类别不同；
使用包括至少所述第一组新训练数据的训练数据集合来训练第二图像处理模型，以将相应的输入图像分类为：针对包括所述第一类型的至少一个对象的图像的所述第一类别，针对不包括所述第一类型的至少一个对象的图像的所述第二类别；以及针对包括容易被所述第一图像处理模型误分类为所述第一类别的对象的图像的所述伪第一类别；以及
基于由第一机器捕获的第一输入图像的第一推断结果修改所述第一机器的设备设置，其中所述第一推断结果由所述第二图像处理模型生成并且对应于所述第一类别。
2.根据权利要求1所述的方法，包括：
在所述第一机器对所述第一输入图像中捕获的对象执行第一操作之前，在所述第一机器处捕获所述第一输入图像，其中所述设备设置是由所述第一机器执行的所述第一操作的设置。
3.根据权利要求1所述的方法，包括：
训练第四图像处理模型，所述第四图像处理模型用于将相应的输入图像分类为：第三类别、第四类别或者伪第三类别，所述第三类别针对包括不同于所述第一类型的第二类型的至少一个对象的图像，所述第四类别针对不包括所述第二类型的至少一个对象的图像，所述伪第三类别针对包括容易被第三图像处理模型误分类为所述第三类别的图像，所述第三图像处理模型被训练为将所述相应的输入图像仅分类为所述第三类别和所述第四类别；以及
基于由所述第一机器捕获的第一输入图像的第二推断结果，修改所述第一机器的不同设备设置，其中所述第二推断结果由所述第四图像处理模型生成并且对应于所述第三类别。
4.根据权利要求1所述的方法，包括：
从所述第一图像处理模型输出的多个推断结果中识别推断结果的第二子集，所述推断结果的第二子集是假阴性结果，所述假阴性结果将包括所述第一类型的至少一个对象的第二组图像分类为针对不包括所述第一类型的至少一个对象的所述第二类别；
从所述第二组图像生成第二组新训练数据，包括增强所述第二组图像中的相应图像以获得第二相应多个图像，以及将所述第二相应多个图像标记为所述第一类别的图像；以及
将所述第二相应多个图像添加到训练数据集合中与被所述第一图像处理模型正确地分类为所述第一类别的图像一起作为对应于所述第一类别的训练图像。
5.根据权利要求4所述的方法，包括：
从由所述第一图像处理模型输出的所述多个推断结果中识别推断结果的第三子集，所述第三子集是将不包括所述第一类型的至少一个对象的第三组图像分类为所述第二类别的真阴性结果；以及
将对应于推断结果的所述第三子集的图像添加到所述训练数据集合中作为对应于所述第二类别的训练图像。
6.根据权利要求1所述的方法，包括：
收集用户输入，所述用户输入将由第二机器使用的所述第一图像处理模型的副本生成的附加推断结果识别为假阳性结果；以及
将在所述第二机器处捕获的对应于所述附加推断结果的相应图像添加到所述训练数据集合，以用于训练所述第二图像处理模型。
7.根据权利要求1所述的方法，其中，在第一服务器上训练所述第一图像处理模型和所述第二图像处理模型，其中，在第二服务器上生成所述第一组新训练数据，并且其中，在第三服务器上由所述第二图像处理模型生成所述第一推断结果，并且其中所述第一服务器、所述第二服务器和所述第三服务器通过网络连接。
8.一种计算设备，包括：
一个或多个处理器；以及
存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述处理器执行根据权利要求1至7中任一项所述的方法。
9.一种存储指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述处理器执行根据权利要求1至7中任一项所述的方法。
CN202080061909.1A 2019-10-18 2020-09-29 通过目标检测模型的多通道训练调整机器设置的方法 Active CN114600167B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/657,975 US11120311B2 (en) 2019-10-18 2019-10-18 Adjusting machine settings through multi-pass training of object detection models
US16/657,975 2019-10-18
PCT/CN2020/119069 WO2021073429A1 (en) 2019-10-18 2020-09-29 Adjusting machine settings through multi-pass training of object detection models

Publications (2)

Publication Number Publication Date
CN114600167A true CN114600167A (zh) 2022-06-07
CN114600167B CN114600167B (zh) 2024-09-17

Family

ID=75492427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080061909.1A Active CN114600167B (zh) 2019-10-18 2020-09-29 通过目标检测模型的多通道训练调整机器设置的方法

Country Status (5)

Country Link
US (1) US11120311B2 (zh)
EP (1) EP4025733A4 (zh)
JP (1) JP7239782B2 (zh)
CN (1) CN114600167B (zh)
WO (1) WO2021073429A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12119953B2 (en) * 2017-01-24 2024-10-15 Electrolux Appliances Aktiebolag Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance
US11321618B2 (en) * 2018-04-25 2022-05-03 Om Digital Solutions Corporation Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
CN110399804A (zh) * 2019-07-01 2019-11-01 浙江师范大学 一种基于深度学习的食品检测识别方法
KR20210054796A (ko) * 2019-11-06 2021-05-14 엘지전자 주식회사 지능형 디바이스의 도어 오픈 모니터링
US20210390424A1 (en) * 2020-06-10 2021-12-16 At&T Intellectual Property I, L.P. Categorical inference for training a machine learning model
US20220335258A1 (en) * 2021-04-16 2022-10-20 Toyota Research Institute, Inc. Systems and methods for dataset and model management for multi-modal auto-labeling and active learning
US20240069516A1 (en) * 2022-08-31 2024-02-29 University Of Central Florida Research Foundation, Inc. Audiovisual Detection of Expectation Violations in Disparate Home Automation Systems
KR20240068261A (ko) * 2022-11-10 2024-05-17 주식회사 슈퍼브에이아이 확장된 오브젝트 클래스를 검출하는 딥러닝 기반의 오브젝트 디텍터를 생성하는 방법 및 이를 이용한 디텍터 생성 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180012082A1 (en) * 2016-07-05 2018-01-11 Nauto, Inc. System and method for image analysis
CN107871130A (zh) * 2016-09-27 2018-04-03 顶级公司 图像处理
CN108305299A (zh) * 2017-01-13 2018-07-20 谷歌有限责任公司 使用机器学习检测合成图像内的组成图像
CN109564575A (zh) * 2016-07-14 2019-04-02 谷歌有限责任公司 使用机器学习模型来对图像进行分类
US20190220694A1 (en) * 2018-01-18 2019-07-18 Accenture Global Solutions Limited Dynamically identifying object attributes via image analysis
CN110046631A (zh) * 2018-01-15 2019-07-23 塔塔咨询服务有限公司 用于自动推断时空图像的变化的系统和方法
CN110288049A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US7996339B2 (en) 2004-09-17 2011-08-09 International Business Machines Corporation Method and system for generating object classification models
JP4743312B2 (ja) * 2009-07-29 2011-08-10 株式会社デンソー 画像識別装置
US9082403B2 (en) 2011-12-15 2015-07-14 Microsoft Technology Licensing, Llc Spoken utterance classification training for a speech recognition system
EP2672396A1 (en) * 2012-06-08 2013-12-11 ETH Zürich Method for annotating images
CN103971342B (zh) 2014-05-21 2017-11-03 厦门美图之家科技有限公司 一种基于卷积神经网络的图像噪点检测方法
JP6305207B2 (ja) 2014-05-22 2018-04-04 三菱電機株式会社 冷蔵庫及びネットワークシステム
JP2016151805A (ja) 2015-02-16 2016-08-22 大日本印刷株式会社 オブジェクト検出装置、オブジェクト検出方法、及びプログラム
US10909313B2 (en) * 2016-06-22 2021-02-02 Sas Institute Inc. Personalized summary generation of data visualizations
DE102017209857A1 (de) * 2017-06-12 2018-12-13 Henkel Ag & Co. Kgaa Erkennung einer Verunreinigung und/oder einer Eigenschaft zumindest eines Teils einer Textilie
US10563338B2 (en) 2017-12-04 2020-02-18 Midea Group Co., Ltd. Personalized laundry appliance
JP7040193B2 (ja) 2018-03-22 2022-03-23 三菱電機株式会社 冷蔵庫システム
CN109811508A (zh) 2019-01-24 2019-05-28 深圳市赛亿科技开发有限公司 一种根据衣物材质分类洗涤的智能洗衣机控制方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180012082A1 (en) * 2016-07-05 2018-01-11 Nauto, Inc. System and method for image analysis
CN109564575A (zh) * 2016-07-14 2019-04-02 谷歌有限责任公司 使用机器学习模型来对图像进行分类
CN107871130A (zh) * 2016-09-27 2018-04-03 顶级公司 图像处理
CN108305299A (zh) * 2017-01-13 2018-07-20 谷歌有限责任公司 使用机器学习检测合成图像内的组成图像
CN110046631A (zh) * 2018-01-15 2019-07-23 塔塔咨询服务有限公司 用于自动推断时空图像的变化的系统和方法
US20190220694A1 (en) * 2018-01-18 2019-07-18 Accenture Global Solutions Limited Dynamically identifying object attributes via image analysis
CN110288049A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置

Also Published As

Publication number Publication date
US20210117717A1 (en) 2021-04-22
US11120311B2 (en) 2021-09-14
JP7239782B2 (ja) 2023-03-14
CN114600167B (zh) 2024-09-17
EP4025733A1 (en) 2022-07-13
EP4025733A4 (en) 2022-11-16
JP2022552383A (ja) 2022-12-15
WO2021073429A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN114600167B (zh) 通过目标检测模型的多通道训练调整机器设置的方法
CN114466954B (zh) 基于对象识别的机器控制方法及系统
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
CN107904856B (zh) 洗衣机启动方法及装置
CN105353634B (zh) 利用手势识别控制操作的家电设备与方法
CN107904860B (zh) 洗衣机内衣物处理方法及装置
CN106567220A (zh) 具有衣服材质识别功能的洗衣机及其控制方法
CN106868792A (zh) 基于图像内容搜索引擎的衣物处理方法和装置
CN110488672B (zh) 烹饪设备的控制方法、装置、烹饪设备和存储介质
KR20170138559A (ko) 세탁기 제어 방법 및 세탁기
CN105204351B (zh) 空调机组的控制方法及装置
CN110894658B (zh) 洗涤控制方法、装置以及衣物处理装置
CN113463327B (zh) 衣物展示方法和装置、电子设备、计算机可读存储介质
WO2019036974A1 (zh) 一种智能洗涤方法及洗衣机
US20230272569A1 (en) Clothing management apparatus and method for controlling thereof
CN109137392B (zh) 衣物洗涤方法、装置和衣物处理装置
US20230169150A1 (en) Method and System for Reducing False Positives in Object Detection Neural Networks Caused by Novel Objects
CN113622144B (zh) 洗衣控制方法、系统、洗衣机及计算机可读存储介质
CN113622145B (zh) 洗衣控制方法、系统、洗衣机及计算机可读存储介质
CN110042640A (zh) 用于组织待处理的洗涤物的方法和用于组织洗涤物的系统
US20240133101A1 (en) Electronic device for mapping identification information and custom information, and control method thereof
CN115323713B (zh) 一种洗衣机及其控制方法
CN118015328A (zh) 衣物存放方法、装置、设备及存储介质
TW202043572A (zh) 讀取衣物資訊以設定洗滌程序之裝置及方法
CN118029091A (zh) 一种衣物处理方法、装置、衣物处理设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant