CN114466954A - 基于对象识别的机器控制方法及系统 - Google Patents

基于对象识别的机器控制方法及系统 Download PDF

Info

Publication number
CN114466954A
CN114466954A CN202080065025.3A CN202080065025A CN114466954A CN 114466954 A CN114466954 A CN 114466954A CN 202080065025 A CN202080065025 A CN 202080065025A CN 114466954 A CN114466954 A CN 114466954A
Authority
CN
China
Prior art keywords
machine
feature
appliance
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080065025.3A
Other languages
English (en)
Other versions
CN114466954B (zh
Inventor
田云轲
何清
区志财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Publication of CN114466954A publication Critical patent/CN114466954A/zh
Application granted granted Critical
Publication of CN114466954B publication Critical patent/CN114466954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data

Abstract

一种方法包括：采集第一机器内的无组织物品集合的一个或多个图像；从一个或多个图像中确定无组织物品集合的一个或多个物品类型，包括：将一个或多个图像中的相应图像划分为相应的多个子区域；对所述相应的多个子区域进行特征检测，以获取相应的多个区域特征向量，其中子区域的区域特征向量指示所述子区域的多个预定义的局部物品特征的特性；通过组合相应的多个区域特征向量生成集成特征向量；将多个二元分类器应用于所述集成特征向量；以及基于在所述无组织物品集合中确定的一个或多个物品类型为所述第一机器选择机器设置。

Description

基于对象识别的机器控制方法及系统
相关申请的交叉引用
本公开要求于2019年11月11日提交的、申请号为16/680,347的美国专利申请的优先权，其全部内容通过引用并入本文中。
技术领域
本公开涉及基于对象识别的机器控制领域，尤其涉及用于开发图像处理模型以检测/识别对象并基于检测/识别的对象自动操作机器的系统和方法。
背景技术
家用电器等机器通常具有不同的预定义操作设置。例如，洗涤机具有多种具有不同水温、翻滚速度、旋转速度等的洗涤周期设置。微波炉具有多种具有不同微波功率等级和烹饪时间的烹饪设置。选择适当的设置对于优化机器性能很重要。例如，为大量衣物选择合适的洗涤周期设置对于防止衣物损坏(例如，拉伸、收缩或变色)和实现最佳清洁效果非常重要。对于机器的没有经验的用户来说，为该机器手动选择适当的设置可能具有挑战性，并且可能导致效果不佳(例如，损坏衣物或食物烹饪不当)。
卷积神经网络(Convolutional Neural Network，CNN)等机器学习模型及其变体是强大的图像处理模型，广泛用于对象检测任务。这些机器学习模型通常是端到端模型，这些模型接收图像作为输入并直接输出检测到的对象类型。然而，训练一个端到端机器学习模型需要大量的标记数据，而这些数据可能很难获取。此外，训练端到端机器学习模型可能具有挑战性且是耗时的，因为这通常包含通过试错过程(例如，反向传播)计算出的数千甚至数百万个参数(例如，学习权重和偏差)，因此，端到端机器学习模型也被称为“黑盒模型”。
由于这些原因，非常需要改进的机器控制和改进的图像处理模型以对对象进行检测和分类。
发明内容
在某些情况下，机器依靠图像处理模型来检测一个或多个待操作的对象(或对象类型)(例如，洗涤机的衣物类型，微波炉的食物类型)，并根据检测到的一个或多个对象(或对象类型)自动地选择机器操作设置。
如背景技术中所述，端到端机器学习模型，例如卷积神经网络(CNN)及其变体，是强大的图像处理模型，并且被广泛用于对象检测任务。然而，端到端机器学习模型往往需要大量的数据以进行训练，并且由于通过试错过程计算出大量的模型参数，因此训练和故障排除既困难又耗时。另一方面，传统模型(例如，非端到端的手工模型)涉及(例如，由工程师)开发启发式算法以从输入数据(例如，输入图像)中提取预定义特征列表(例如，手动选择和定义的局部特征)，并根据提取的特征预测对象类型。与端到端机器学习模型相比，传统模型需要更少训练数据或不需要训练数据，并且更容易排除故障。然而，开发传统模型需要特殊的工程知识和专业知识来定义局部特征和设计定制的启发式算法以提取定义的特征从而进行对象检测。
对于对象检测任务，全局特征将图像描述为一个整体，并将整个图像表示为单个向量。另一方面，局部特征是局部图像特性的描述符。与基于全局特征的图像处理模型(例如端到端模型)相比，基于局部特征的图像处理模型通常更擅长检测被搅乱和/或遮挡的对象。例如，针对无法清晰分割感兴趣对象的图像(例如，装载在洗涤机的可变形待洗物品的图像)，基于局部特征的图像处理模型的性能明显优于基于全局特征的图像处理模型。图3、图4和相关描述描述了基于局部特征的图像处理模型的训练和推理。
由于这些原因，非常需要改进的方法和系统，该改进的方法和系统用于基于局部特征采用深度学习和传统手工方法的混合来开发图像处理模型，将图像处理模型应用于对象检测和分类，并自动地基于检测到且已分类的对象选择机器操作设置。
本公开描述了一种用于控制机器(例如，洗衣机)的系统和方法。在一些实施例中，在具有一个或多个处理器、相机和存储器的第一机器(例如，洗衣机)处：第一机器(例如，洗衣机)采集在第一机器(例如，洗衣机)内的无组织物品集合(例如，衣物)的一个或多个图像。第一机器(例如，洗衣机)从一个或多个图像中确定的无组织物品集合的一个或多个物品类型(例如，待洗衣物的衣物类型)包括：将一个或多个图像中的相应图像划分为多个子区域；对相应图像的相应多个子区域进行特征检测以获取相应的多个区域特征向量，其中子区域的区域特征向量指示子区域的多个预定义的局部物品特征(例如，局部衣物特征)的特性；通过组合相应的多个区域特征向量，生成相应图像的集成特征向量；以及将多个二元分类器应用于相应图像的集成特征向量，其中，多个二元分类器中的相应二元分类器被配置为：接收集成特征向量，以及基于相应图像的集成特征向量确定与二元分类器相关联的物品类型(例如，衣物类型)是否存在于相应图像中。第一机器(例如，洗衣机)基于在无组织物品集合中确定的一个或多个物品类型(例如，洗衣机中的衣物类型)为第一机器(例如，洗衣机)选择机器设置。
在一些实施例中，第一机器(例如，洗衣机)在采集一个或多个图像中的相应一个图像之后移动第一机器内的无组织物品集合(例如，洗衣机内的待洗衣物)。
在一些实施例中，预定义的物品特征(例如衣物特征)包括多个人工识别的物品特征标签(例如衣物特征标签)，并且对相应的多个子区域进行特征检测以获取相应的多个区域特征向量包括通过机器学习模型获取对应于多个人工识别的物品特征标签(例如，衣物特征标签)的相应机器生成的潜在特征。
在一些实施例中，二元分类器是支持向量机，并且支持向量机通过由深度学习模型生成的多个子区域的特征向量进行训练。在一些实施例中，特征向量是从深度学习模型的除深度学习模型的输出层之外的层获取的。在一些实施例中，深度学习模型是在训练过程中生成的，包括：接收训练数据集；将训练数据集划分为多个子集，每个子集对应多个预定义的局部物品特征(例如，局部衣物特征)中的一个或多个，并且每个子集具有对应的一个或多个局部物品特征标签(例如，衣物特征标签)；以及使用具有相应物品特征标签(例如衣物特征标签)的训练数据集训练深度学习模型。
基于本文所述的方法和系统，关于使用图像处理模型对对象进行检测和分类易于导致错误分类涉及的各种问题得到了解决。
在一个方面，根据一些实施例，披露了一种由计算系统执行的方法，该方该计算系统与家用电器可通信地耦接并且被配置为控制家用电器的一个或多个功能。
根据一些实施例，一种计算系统包括处理器和存储有指令的存储器，这些指令在被执行时使一个或多个处理器执行本文所述的方法。根据一些实施例，一种电子设备包括一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行本文描述的任何方法的操作或使本文描述的任何方法的操作得以执行的指令。根据一些实施例，非暂时性计算机可读存储介质具有存储在其中的指令，这些指令在由电子设备执行时使设备执行本文描述的任何方法的操作或使得本文描述的任何方法的操作得以执行。根据一些实施例，一种电子设备包括：用于采集图像的装置，以及用于执行本文描述的任何方法的操作或用于使本文描述的任何方法的操作得以执行的装置。
根据下面的描述，本公开的各种附加优点是显而易见的。
附图说明
通过结合附图对优选实施例的详细描述，所公开的技术的上述特征和优点以及其附加特征和优点将在下文中得到更清楚的理解。
为了更清楚地描述本公开实施例或现有技术中的技术方案，下面简要介绍描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了本公开的一些实施例，本领域普通技术人员在没有创造性劳动的情况下仍可以从这些附图中推导出其他附图。
图1A示出了根据一些实施例的家用电器系统的操作环境的框图。
图1B-图1C示出了根据一些实施例的家用电器系统的框图。
图2是根据一些实施例用于基于检测到的装载在洗涤机中的待洗衣物的图像自动选择洗涤周期设置的过程的示意图。
图3是根据一些实施例使用深度学习方法和传统手工方法的结合来开发具有局部特征提取器和支持向量机的图像处理模型的过程的示意图。
图4示出了根据一些实施例的衣物的示例性局部特征。
图5是根据一些实施例使用具有局部特征提取器和支持向量机的图像处理模型来对对象进行检测和分类的过程的示意图。
图6是根据一些实施例的用于基于通过局部特征提取产生的图像检测和分类结果来执行自动化机器设置选择的方法的流程图。
图7是根据一些实施例的示例性家用电器的简图。
相同的附图标记指代附图的数个视图中相应的元件。
具体实施方式
现在将详细参考实施例，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节以提供对本文所呈现的主题的透彻理解。但是对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践该主题。在其他情况下，没有详细描述众所周知的方法、过程、组件和电路，以免不必要地混淆实施例的方面。
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整的描述。所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本公开保护的范围。
图1A示出了根据一些实施例的家用电器系统的操作环境100的框图。
家用电器系统的操作环境100包括一个或多个家用电器(例如，电器A 110、电器B112和电器C 114)，所述一个或多个家用电器连接到一个或多个服务器(例如，训练集服务器120和训练模型服务器122)，并且可选地经由网络190(例如广域网，如互联网，或局域网，如智能家庭网络)连接到一个或多个用户设备(例如，用户设备A 111、用户设备B 113和用户设备C 115)和/或标注站128。
在一些实施例中，一个或多个家用电器(例如，智能洗涤机、智能微波炉等)被配置为收集原始传感器数据(例如，图像、重量、温度、热图数据等)并将原始传感器数据(例如，图像、重量、温度、热图数据等)发送到相应的用户设备(例如，智能手机、平板设备等)、标注站128(例如，工作站和台式计算机)和/或训练集服务器120(例如，由家用电器制造商或制造商的第三方服务提供商提供的服务器)。在一些实施例中，一个或多个家用电器还被配置为从训练模型服务器122和/或相应的用户设备接收控制指令(例如，电器C 114可以从训练模型服务器122接收控制指令以将微波炉温度设置为425°F以用于烘烤蔬菜，以及电器A110可以从用户设备A 111接收控制指令以选择洗涤周期)。参考本公开的其他部分详细描述了关于一个或多个家用电器(例如，电器A 110、电器B 112和电器C 114)的附加细节。
在一些实施例中，一个或多个用户设备被配置为从相应的电器接收原始传感器数据(例如，对应于电器A 110的用户设备A 111被配置为从电器A 110接收原始传感器数据)。在一些实施例中，一个或多个用户设备还被配置为将已标注数据发送到标注站128和/或训练集服务器120。在一些实施例中，一个或多个用户设备被配置为生成控制指令并将控制指令发送到相应的电器(例如，用户设备A 111可以向电器A 110发送指令以打开/关闭电器A110或选择电器A 110上的设置)。在一些实施例中，一个或多个用户设备包括但不限于移动电话、平板电脑或计算机设备。在一些实施例中，一个或多个用户设备可以对应于一个电器(例如，计算机和移动电话都可以对应于电器A 110(例如，在电器设置过程中将计算机和移动电话均注册为电器A的控制设备)，以使得电器A110可以将原始传感器数据发送到计算机和/或移动电话)。在一些实施例中，用户设备对应于一个电器(例如，与该电器共享数据和/或与该电器通信)(例如，用户设备A 111对应于电器A 110)。例如，电器A 110可以收集数据(例如，原始传感器数据，例如图像或温度数据)并将收集到的数据发送到用户设备A111，以便用户可以在用户设备A 111上对收集到的数据进行标注。
在一些实施例中，标注站128被配置为从一个或多个电器(例如电器110、112和114)接收所收集的数据，使得可以由专业标注人员对所收集的数据进行标注。在一些实施例中，标注站128被配置为接收来自一个或多个用户设备(例如，用户设备111、113和115)的已标注数据，以供专业标注人员审查、编辑和/或批准。在一些实施例中，当来自一个或多个用户设备的已标注数据已经在标注站128处被批准时，标注站将已批准数据发送到训练集服务器120以被包括在存储在训练集服务器处的训练语料库中。在一些实施例中，标注站128检索来自服务器120的已标注数据以供专业标注人员审查、编辑和/或批准。在一些实施例中，标注站128检索来自服务器120的未标注数据以供专业标注人员标注。已经在标注站128标注和/或批准的传感器数据被返回到服务器120以包含在训练语料库中。
在一些实施例中，训练集服务器120被配置为从一个或多个家用电器(例如电器110、112和114)接收原始传感器数据，和/或从一个或多个用户设备(例如，用户设备111、113和115)接收已标注数据。在一些实施例中，训练集服务器120还被配置为将原始数据和/或已标注数据发送到标注站128，并从标注站128接收已标注和/或已批准的已标注数据。训练集服务器120被配置为预处理已标注数据，例如，根据训练模型服务器122采用的训练模型和训练方法，对训练数据进行分组、分割和关联，并对训练数据进行索引和存储。训练集服务器120被配置为例如根据请求训练数据的特定训练模型将所选的训练数据(包括、对应于或基于已在标注站128批准的已标注数据的数据)发送到训练模型服务器122。
在一些实施例中，训练模型服务器122被配置为从训练集服务器120接收训练数据。训练模型服务器还可选地被配置为向一个或多个电器和/或用户设备发送控制指令(例如，根据特定家用电器的控制协议准备的机器指令)和/或发送文本数据(例如，文本消息)。训练模型服务器122包括识别模型123(例如，用于对对象进行识别和分类)、定位模型124(例如，用于定位对象和勾勒对象的外形)和其他模型。识别模型123涉及识别由家用电器操作的对象(例如，衣物、食品等)。定位模型124涉及定位家用电器中的物品。例如，定位模型124可用于识别智能烤箱的烤箱架左侧的两块鸡肉和右侧的四块饼干，并在智能烤箱采集的图像中勾勒出它们中每一个的外形。训练模型服务器122基于从训练集服务器120接收的训练数据训练识别模型123、定位模型124和/或其他模型。一旦识别模型123、定位模型124和其他模型的训练充分完成(例如，达到准确率的阈值水平)，训练集服务器120接收来自家用电器的请求，以基于家用电器采集的传感器数据实时确定物品身份/位置。在一些实施例中，由训练集服务器120确定的物品的状况被提供回发出请求的家用电器，使得每个家用电器确定适当的动作，例如，基于确定的物品状况，改变家用电器的操作和/或提醒用户。
在一些实施例中，，家用电器(例如电器110、112和114)、用户设备(例如用户设备111、113和115)、标注站128、训练集服务器120和训练模型服务器122通过一个或多个网络190被连接在一起(例如，与之共享数据和/或与之通信)。一个或多个网络190可以包括有线和无线网络并且可以是家庭的局域网或广域网(例如，互联网)。
图1B示出了根据一些实施例的家用电器系统101的框图。
在一些实施例中，如图1B所示，家用电器系统101包括家用电器140和与家用电器140分开实施的计算系统130。家用电器140可以用作图1A中的家用电器110、112和114中的任何一个。在一些实施例中，计算系统130通过一个或多个网络190与家用电器140通信。在一些实施例中，在(例如，与用于控制家用电器并与家用电器交互的用户应用程序相关联的)用户设备上实现计算系统130。在一些实施例中，计算系统130和电器140还与计算系统160通信以根据客户端-服务器配置在计算系统130和电器140上完成一些功能。在一些实施例中，在家用电器制造商的服务器上(例如，在训练模型服务器122上)实现计算系统160。在一些实施例中，在独立计算机(例如，在智能家庭的本地服务器上)实现上计算系统160。
参考图1B，计算系统130包括以下一个或多个：标注用户界面模块132、成像处理模块134、网络通信单元136和一个或多个数据库138，这对应于上文关于图1A描述的用户设备(例如，用户设备111、113和115)。在一些实施例中，除了如本文所述的家用电器系统的数据收集和标注方面之外，计算系统130还包括用户侧操作进度监视模块149和用户侧电器功能控制模块153，以方便家用电器系统的机器操作进度监视和电器控制方面。
在一些实施例中，标注用户界面模块132使得计算系统130的用户能够查看和标注从相应电器140(例如，电器110、112或114)接收的原始传感器数据。例如，用户可以使用他们的用户设备(例如，用户设备111、113或115)上的应用程序来查看由相应电器记录的图像和温度数据。根据一些实施例，用户可能能够向所收集的数据添加标注和细节。
在一些实施例中，图像处理模块155获取由电器140的成像系统采集的图像并且处理这些图像以供分析。例如，在下面参考图3描述了图像处理模块154和电器140的成像系统的功能。
网络通信单元136使得计算系统130通过一个或多个网络190能够与电器140和/或计算系统160通信。
在一些实施例中，数据库138包括对象的先前采集的图像或来自其他类似家用电器系统的图像的数据库。在一些实施例中，数据库138包括使得计算系统能够向用户提供营养信息和食谱的原料数据库，或使得计算系统能够向用户提供洗涤指令的衣物数据库。
在一些实施例中，计算系统130包括与计算系统160和电器140共同提供用户侧功能(例如，用户侧操作进度监视和电器功能控制)的应用程序。
在一些实施例中，用户侧操作进度监视模块149被配置为基于由电器140采集的实时传感器数据来确定机器操作的进度。
在一些实施例中，用户侧电器功能控制模块153配置为提供用户界面以供用户直接控制电器功能(例如，打开/关闭电器或设置电器参数等)，和/或者基于进度监视的结果自动生成控制指令。在一些实施例中，将进度监视的结果从用户侧操作进度监视模块149提供给用户侧电器功能控制模块153。在一些实施例中，将进度监视的结果从计算系统160提供给用户侧电器功能控制模块153。在一些实施例中，将进度监视的结果从电器140提供给用户侧电器功能控制模块153。
在一些实施例中，电器140包括一个或多个第一传感器(例如，传感器141)、一个或多个加热单元143、显示器144、I/O模块145、用户界面145、网络通信单元147、机械单元148、控制模块155、成像系统，以及可选地，电器侧操作进度监视模块149’。控制模块155包括可选的电器侧电器功能控制单元153’。
在一些实施例中，一个或多个第一传感器141被配置为采集结构化数据，例如温度、重量和/或湿度。如本文所讨论的，结构化数据是指诸如温度、湿度、时间、开/关、烤箱模式等的定量或状态数据。例如，一个或多个第一传感器212可以是家用电器140的温度传感器(例如，温度计)或湿度传感器或重量传感器。
在一些实施例中，一个或多个操作单元143(例如，加热元件、转动元件、风扇等)被配置为加热电器的至少一部分(例如，被配置为加热智能烤箱的烹饪隔室的加热线圈，用于加热进入烘干机的空气的加热元件，用于加热进入洗涤机的洗涤桶的水的加热元件等)。
在一些实施例中，电器140包括显示器144，显示器144可以向用户提供关于电器140的信息(例如，当前所选择的洗涤周期)。在一些实施例中，显示器144可以与I/O模块145和用户界面146集成以允许用户将信息输入到电器140或从电器140读出信息。在一些实施例中，显示器144与I/O模块145和用户界面146向用户提供推荐、警报和营养信息，并从用户接收控制指令(例如，经由电器140提供的硬件和/或软件界面)。在一些实施例中，显示器144可以是触摸屏显示器或包括按钮的显示器。在一些实施例中，显示器144可以是没有触摸屏特征的简单显示器(例如传统的LED或LCD显示器)，并且用户界面146可以是可以人工控制的硬件按钮或旋钮。在一些实施例中，用户界面146可选地包括显示器、扬声器、键盘、触摸屏、语音输入-输出界面等中的一个或多个。
网络通信单元147在功能上类似于网络通信单元137。网络通信单元147允许电器140通过一个或多个网络190与计算系统130和/或计算系统160通信。
本文所述的机械单元148指的是电器140的硬件和对应的软件和固件组件，电器140的硬件和对应的软件和固件组件被配置为物理地改变家用电器140的内部感测(例如，成像)配置、加热配置和/或布局配置。例如，一个或多个第一传感器141可以对应于机械单元，使得一个或多个传感器141可移动以扫描电器140内部的相应区域(例如，电机可以被配置为在预定区域上移动传感器以便在整个预定区域上采集数据)。在一些实施例中，根据来自家用电器系统的电器功能控制单元(例如，电器侧电器功能控制模块153’、用户侧电器功能控制模块153和/或服务器侧电器功能控制模块153”)的指令来操作电器140的机械单元148。
在一些实施例中，电器侧操作进度监视模块149’被配置为监视电器140的操作进度。例如，如果电器是智能烤箱，电器侧操作进度监视模块149’可以基于通过一个或多个第一传感器212和/或一个或多个第二传感器214记录的原始数据，确定食物已经被煮到中等熟度。在一些实施例中，电器侧操作进度监视模块149’被配置为基于传感器141和成像系统采集的实时传感器数据，使用已经在计算系统160上训练的食品位置和轮廓确定模型和食物烹饪进度等级确定模型，来确定食品的烹饪进度。
在一些实施例中，成像系统包括一个或多个第二传感器142。一个或多个第二传感器142被配置为采集非结构化数据。非结构化数据的示例包括RGB图像和热图像或红外图像。例如，如果电器是洗涤机或烘干机，在洗涤机或烘干机的门关闭之后，洗涤机或烘干机进入正常操作(例如，开始洗涤周期或烘干周期)之前，洗涤机或烘干机触发洗涤机或烘干机门上的相机，以采集洗涤机或烘干机内部的一系列图像。在一些实施例中，洗涤机或烘干机使其滚筒转动一次或多次以翻滚里面的衣物，以便从不同角度采集衣物的图像。在一些实施例中，洗涤机或烘干机包括位于不同位置的多个手电筒，并且每次采集图像时从不同方向照亮衣物。例如，如果电器是智能烤箱，则一个或多个第二传感器142可以被配置为采集或记录电器的烹饪隔室中存在的食物的静止图像或视频。在一些实施例中，如果电器是智能烤箱，则成像系统包括数据存储系统，该数据存储系统存储食物烹饪隔室的尺寸、食物烹饪隔室内的参考标注的尺寸、食物烹饪隔室内的相机和各种参考标注之间的距离，以便相机采集的图像可用于准确地确定图像中食品的尺寸和形状。因此，成像系统消除了传统成像系统的问题，即用户需要特别注意在图像内放置参考标注或在使用图像时没有图像内物品的尺寸、位置以及方向信息。在一些实施例中，成像系统包括图像采集触发系统。例如，在一些实施例中，当图像采集触发系统检测到相机的视场已经发生变化时，触发图像采集。例如，当烤箱门打开时，烤箱内的照明条件将发生变化，并响应烤箱门的打开触发图像采集。在一些实施例中，当食物开始出现在相机的视场中时触发图像采集。在一些实施例中，当食品被完全放入并且烤箱门关闭时触发图像采集。在一些实施例中，图像采集触发系统还指示相机在烤箱门即将打开之前采集并存储烤箱架的图像，以作为烤箱内部的隔室基线图像。在一些实施例中，响应于用户的输入人工触发图像采集，例如，在用户将食物放进食物烹饪隔室之后。人工触发实施起来更容易，也更简单，并且允许用户有目的地采集最能反映食品特性的图像，以进行原料识别。在一些实施例中，图像处理模块154获取由一个或多个第二传感器142采集的图像，并且基于在放进食物之前采集的隔室基线图像对图像进行预处理以从该图像中去除背景。隔室基线图像采集家用电器系统的食物烹饪隔室中食物支撑平台的准确状况，并为包含食品的图像提供出色的过滤器以去除背景。
在一些实施例中，控制模块155包括传感器控制151、传感器控制152和电器侧电器功能控制模块153’。传感器控制151被配置为控制和调整一个或多个第一传感器141。例如，传感器控制151可以发送指令以使一个或多个第一传感器141以1分钟的间隔记录温度数据。传感器控制152被配置为控制和调整一个或多个第二传感器142。例如，传感器控制152可发送指令以使一个或多个第二传感器142沿第一方向移动，并且当一个或多个第二传感器142在移动之前处于起始位置以及在移动之后处于最终位置时采集照片。
电器侧电器功能控制模块153’被配置为控制和调节电器140的各种功能。例如，电器侧电器功能控制模块153’可以向加热单元143发送指令以激活一个或多个加热单元中的第一加热单元，或者可以向机械单元148发送指令以改变机械单元148的位置。在一些实施例中，电器侧电器功能控制模块153’基于预先配置的操作协议生成控制指令并将控制指令发送到电器140的各个组件(例如，以实现电器140的正常例行功能)。在一些实施例中，电器侧电器功能控制模块153’基于家用电器内的实时操作进度监视，生成控制指令并向电器140的各个组件发送控制指令(例如，以基于预设的反应协议或程序自动地调整电器140的功能而无需用户干预)。在一些实施例中，电器侧电器功能控制模块153’基于从用户设备或经由电器140的用户界面146接收的实时用户指令生成控制指令并将控制指令发送到电器140的各个组件。在一些实施例中，操作进度监视的结果从用户侧操作进度监视模块149提供给电器侧电器功能控制模块153’。在一些实施例中，操作进度监视的结果从计算系统160提供给电器侧电器功能控制模块153’。在一些实施例中，操作进度监视的结果从电器侧操作进度监视模块149’提供给电器侧电器功能控制模块153’。
在一些实施例中，计算系统160包括服务器侧操作进度监视模块149”和服务器侧电器功能控制模块153”。在一些实施例中，服务器侧操作进度监视模块149”采用图1A中所示的识别模型123、定位模型124和其他模型来根据(例如，直接或通过计算系统130)从家用电器140接收的实时传感器数据确定对象身份、位置、轮廓和其他条件。在一些实施例中，例如由图1A中的训练模型服务器122实现计算系统160。
图1B中的家用电器系统101内的各种系统的功能仅仅是说明性的。功能的其他配置和分割是可能的。在各种实施例中，一个子系统的一些功能可以在另一个子系统上实现。
在一些实施例中，如图1C所示，家用电器系统101包括与电器140’集成的计算系统130’。在一些实施例中，计算系统130’与计算系统160’通信以完成电器140’的一些功能。在一些实施例中，电器140’可选地与计算系统160通信以外包电器140’的一些功能。
参考图1C，电器140’具有内置计算系统130’。电器140’包括传感器141、加热单元143、显示器144、I/O模块145、用户界面146、网络通信单元147、机械单元148和成像系统。电器140’的这些组件对应于电器140中的组件并且具有相似的功能，为简洁起见在此不再重复。
在一些实施例中，电器140’内的计算系统130’包括控制单元155’、传感器控制151’、传感器控制152’、电器侧操作进度监视系统149”’、电器侧电器功能控制模块153”’、图像处理系统154’、数据库138’和电器侧标注用户界面模块132’。这些组件的功能对应于它们各自在电器140中具有相同名称的对应物(例如，传感器控件151’具有与传感器控件151相同的功能)并且为了简洁将不再重复。在一些实施例中，标注用户界面模块132”’可以允许用户在与电器140分开的用户设备上查看和标注原始用户数据。相比之下，电器侧标注用户界面模块132’可以允许用户在电器140’的显示器144上查看和标注原始用户数据和/或通过语音输入在图像中标注操作进度等级。
提供上述示例仅用于说明目的。在下面关于其他附图和图示中进行阐述各种组件的功能的更多细节。可以理解，本文所述的一个或多个组件可以独立于其他组件使用。
图2是根据一些实施例用于基于检测到的洗涤机内装载的待洗衣物的图像自动地选择洗涤周期设置的过程200的示意图。为了方便起见，过程200被描述为由洗涤机的计算系统(例如，图1C中的电器140’的计算系统130’)执行。
洗涤机的计算系统不再依赖用户手动选择洗涤周期设置，而是使用图像检测和分类模型来识别衣物类型，并自动选择合适的洗涤周期设置。在一些实施例中，自动选择的洗涤周期设置基于检测到的装载衣物的特性(例如，织物质地、颜色、尺寸、类型等)，并且被设置为在洗涤时使损坏(例如，褪色、撕裂、拉伸)最小化等。在一些实施例中，设置自动选择的洗涤周期以防止损坏洗涤机。例如，如果计算系统检测到带有金属部件(例如金属拉链)的衣物，则计算系统可以选择采用减少翻滚的洗涤周期，以防止金属部件刮伤洗涤机的滚筒。在一些实施例中，计算系统允许用户优先考虑洗涤目标(例如，防止损坏衣物、最大化清洁效果、最小化洗涤时间等)，并且根据用户的配置，计算系统将自动地选择洗涤周期。在一些实施例中，用户可以禁用对自动洗涤周期设置的选择，而是手动地选择洗涤周期设置。
为了自动地选择洗涤周期，洗涤机的计算系统首先获取装载在洗涤机内的待洗衣物的多个图像(202)。在一些实施例中，一个或多个相机(例如，图1B的传感器141或142)被安装在洗涤机中，该一个或多个相机的视场覆盖洗涤机的滚筒。例如，一个或多个相机可以安装在洗涤机的门或窗上。在一些实施例中，为了获取装载的待洗衣物的更具代表性和完整性的图像，洗涤机滚筒在各个图像采集阶段之间轻微翻滚(例如，半转)以展开装载的待洗衣物。在一些实施例中，一个或多个相机在洗涤机滚筒翻滚时采集装载的待洗衣物的视频。在一些实施例中，在基于洗涤周期的相应设置正式启动洗涤周期之前，计算系统指示洗涤机开始滚筒的旋转并采集滚筒内的衣物的一系列图像，并将这些图像中的每一个图像用作对象检测和分类的输入图像。通过组合来自每个输入图像的推理结果，获取来自多个这些输入图像的最终推理结果。例如，在一些实施例中，只要来自多个图像中的单个输入图像的推断结果表明在所识别的衣物中存在具有最严格设置要求的特定类型的衣物，则基于存在的该特定类型的衣物，修改机器设置。在一些实施例中，需要在多个输入图像中的阈值数量的输入图像中检测到特定类型的衣物以触发机器设置的修改。
一旦一个或多个相机完成对装载的待洗衣物的采集，计算系统将图像发送到图像处理模块(例如，图1C中的图像处理模块154’)以进行预处理(203)。在预处理过程中，在被馈送到图像处理模型之前，非结构化图像原始数据被转换。预处理有助于提高训练速度和分类准确率。示例性预处理技术包括纵横比标准化、图像缩放、均值归一化、数据归一化、降维、数据增强等。
接下来，将预处理的图像发送到一个或多个图像处理模型以进行特征检测(204)。在一些实施例中，在洗涤机的计算系统中本地存储和执行图像处理模型。可选地，在通过网络(例如，图1A中的网络190)连接到洗涤机的计算系统的远程服务器(例如，图1A的推理集服务器129)中存储并执行图像处理模型。可以在洗涤机的整个使用寿命期间通过网络不断更新图像处理模型。
在一些实施例中，图像处理模型接收预处理的待洗衣物图像作为输入，并输出装载的待洗衣物的一个或多个检测到的特征。图像处理模型可以包括一种或多种图像检测算法，例如卷积神经网络(Convolutional Neural Network，CNN)、基于区域的CNN(Regional-based CNN，R-CNN)、快速和更快速R-CNN(Fast and Faster R-CNN)、基于区域的全卷积网络(Region-based Fully Convolutional Network，R-FCN)、YOLO(You-Only-Look-Once)算法、单发检测器(Single Shot Detector，SSD)等。由于训练图像处理模型涉及高资源成本，在一些实施例中，首先在远程计算系统(例如，图1A的训练模型服务器122)中训练图像处理模型，然后通过网络更新将图像处理模型发送到洗涤机的本地计算系统。
在一些实施例中，每个图像处理模型被配置为检测一种类型的特征。例如，单独的图像处理模型可以被配置为检测衣物类型(206)、装载大小(load size)(208)、衣物颜色(210)、泡沫(212)、污渍等级(214)等。在一些实施例中，图像处理模型从安装在洗涤机中的传感器接收附加输入以进行特征检测。例如，可以在洗涤机中安装一个或多个称量台来测量装载重量。在一些实施例中，每个图像处理模型是双分类器(bi-classificationclassifier)。例如，图像处理模型可以被配置为确定图像是否包含“衬衫”，或者图像处理模型可以被配置为确定图像是否包含“红色衣物”。
使用图像处理模型来检测衣物类型涉及的一个问题是某些衣物类型容易被错误分类并始终导致图像处理模型产生假阳性结果(或者替代性地，假阴性结果)。这可能是由于衣物在滚筒中经常被扭曲和缠结，从而隐藏了衣物的全部特征。例如，缠结和扭曲的衬衫可能看起来与胸罩非常相似，并导致图像处理模型错误地将衬衫确定为胸罩(假阳性)。为了提高图像处理模型的对象检测和分类的精确率(例如，减少假阳性结果的数量)，同时保持召回率(例如，不增加假阴性结果的数量)，在训练服务器(例如，图1A的训练模型服务器122)上实施改进的机器学习训练过程。参考图3详细描述了改进后的机器学习训练过程。
在图像处理模型对装载的待洗衣物进行检测和分类之后，洗涤机的计算系统将检测结果映射到相应的洗涤周期(216)。示例性洗涤周期包括常规周期(例如，用于棉质衣物)、免烫周期(例如，用于彩色衣物)、柔和周期(例如，用于精细材料的衣物)等等。每个周期都与不同的水温、翻滚速度、旋转速度和洗涤时间相关联。
从检测结果到相应的洗涤周期设置的映射是预先配置的，并且可以稍后通过远程服务器(例如，图1B的计算系统130)进行更新。例如，该映射可以被配置为最大化一个或多个洗涤目标，例如保持衣物寿命、减少洗涤时间、去除污渍等。该映射可以基于检测到的衣物的材质、质地、尺寸、数量和颜色。例如，如果计算系统检测到待洗衣物装载包含由羊毛制成的亮色衣物，则可以使用温和的洗涤周期。
图2是如本文所述的如何根据来自基于局部特征提取器和支持向量机的图像处理模块的对象检测和分类结果来控制机器设置的示例。根据一些实施例，使用本文所述的用于具有可变设置的机器的各种操作的方法可选地控制其他类型的机器，例如针对在烘干机滚筒的图像中识别的不同类型的衣物具有不同烘干设置的烘干机、针对在烤箱室的图像中识别的不同类型的食品具有不同烹饪设置的烤箱，以及针对在碗碟架中的不同类型的盘子和容器具有不同洗涤设置的洗碗机等等。
图3是根据一些实施例使用深度学习方法和传统手工方法的结合来开发具有局部特征提取器和支持向量机的图像处理模型的过程的示意图。图像处理模型使用特征提取器从输入图像中识别用户定义的局部特征的特征向量，并将一个或多个支持向量机应用于所识别的特征向量以对对象进行检测和分类。为方便起见，过程300被描述为由远程计算系统(例如，图1A的训练模型服务器122)执行。过程300输出已训练的图像处理模型以供本地计算系统(例如，图1C的计算系统130’)存储和使用。在替代性实施例中，由本地计算系统执行过程300，并且过程300输出已训练的图像处理模型以供同一本地计算系统存储和使用。过程300是通用的图像处理模型训练过程并且不特定于如图2中描述的用于检测衣物类型的训练图像处理模型。
在一些实施例中，过程300包括用于开发(例如，训练)图像处理模型的三个不同阶段：(1)数据缩减阶段301；(2)第一训练阶段303，用于训练深度学习模型310以执行局部特征提取；以及(3)第二训练阶段305，用于训练支持向量机314以执行对象检测和分类。
在一些实施例中，在数据缩减阶段301期间，计算系统过滤训练数据集302以识别包含感兴趣的局部特征(例如，用户定义的局部特征)的经过滤的训练数据308的子集。对于对象检测任务，局部特征表示对象的(例如，由用户定义的)局部特性。例如，对于被配置为对衣物进行检测和分类的图像处理模型，用户可以基于布料质地、线迹图案、花边、纽扣或其他衣物特性来定义衣物的局部特征。对于用于对衣物进行检测和分类的图像处理模型的用户定义局部特征的示例，请参阅图4和相关描述。数据缩减阶段301提高了深度学习模型310(例如，局部特征提取器)的训练效率，因为与初始训练数据302相比，经过滤的训练数据308更有可能包含局部特征。数据缩减阶段301需要用户在定义用户特征和检测局部特征的算法方面具备专长和知识，这使其成为传统的手工方法。
在一些实施例中，为了执行数据缩减，计算系统接收用户定义的局部特征列表304和用于检测局部特征的用户定义算法306，并且检查训练数据302中的每个数据点(例如，标记的图像)以确定数据点上是否存在任何用户定义的局部特征。在一些实施例中，用于检测局部特征的用户定义算法306包括用于检查局部特征的一个或多个特性的启发式算法。例如，用于检测局部特征的用户定义算法306可以包括用于检查图像上的对象的轮廓、形状、位置、颜色或其他特性的启发式算法，这些特征指示来自用户定义的局部特征列表304的用户定义的局部特征。
在一些实施例中，为了保持足够量的经过滤的训练数据308以用于训练深度学习模型310(例如，局部特征提取器)，用于检测局部特征的用户定义算法306被配置为较之假阴性(例如，不正确地将具有局部特征的数据点从经过滤的训练数据308中排除)，更有可能产生假阳性结果(例如，不正确地将不具有局部特征的数据点包括在经过滤的训练数据308中)。在一些实施例中，可以(例如，通过图1A的标注站)手动地执行数据缩减阶段301，而不是通过用于检测局部特征的用户定义算法306和用户定义的局部特征列表304来执行数据缩减阶段301。
计算系统接下来在第一训练阶段303中使用经过滤的训练数据308来训练深度学习模型310以识别用户定义的局部特征。例如，深度学习模型310可以是诸如CNN、ResNet、YOLO、SSD等用于对象检测的模型。
在一些实施例中，在已经使用经过滤的训练数据308训练了深度学习模型310之后，计算系统将初始训练数据馈送到深度学习模型310以进行局部特征提取。例如，深度学习模型310接收训练数据302(例如，图像)并输出提取的特征向量312，该特征向量指示训练数据302上是否存在用户定义的局部特征。在一些实施例中，训练数据302包括图像数据，并且计算系统在将图像数据馈送到深度学习模型310之前首先执行图像分割309以将每个图像划分为多个子图像(例如，图像网格)。深度学习模型310对每个子图像进行特征提取以生成相应的特征向量，并且属于同一图像的所有特征向量在特征向量级联313步骤期间被集成以形成集成特征向量，该特征向量指示图像上存在或不存在所有局部特征。
接下来，在第二训练阶段305期间，计算系统使用每个图像的集成特征向量来训练一个或多个支持向量机(Support Vector Machine，SVM)314。SVM是一种监督学习模型，该监督学习模型使用回归分析执行数据的双分类。例如，可以使用每个支持向量机314在已知(例如，通过深度学习模型310)从图像中提取的特征向量(例如，集成特征向量)的情况下，预测图像是否包括特定数据类型。
在被配置为对衣物进行检测和分类的图像处理模型的上下文中，训练数据302可以包括从洗涤机采集的待洗衣物的图像。用户定义的局部特征列表304包括作为衣物一部分的多个局部特征，例如布料质地、纽扣、线迹、花边、衣领、拉链等。用户定义的算法是一种启发式算法，用于估计图像上是否存在一个或多个局部特征，例如通过检查轮廓、颜色、对比度和其他图像特性。被认为包含(例如，由用户定义的算法确定的)一个或多个局部特征的训练数据302的子集随后被用于训练深度学习模型310以生成图像的对应特征向量。将特征向量(或集成特征向量)馈送到多个支持向量机，每个支持向量机被配置为在已知输入特征向量的情况下检测是否存在特定类型的衣物(例如，牛仔类衣物、衬衫、连衣裙等)。
图4示出了根据一些实施例的衣物的示例性局部特征400。衣物的局部特征采集区域特性可用于对衣物进行检测和分类。在一些实施例中，由于(例如，在洗涤机中)衣物的搅乱、遮挡和/或变形，使用局部特征来对衣物类型进行检测和分类比使用全局特征(例如，描述整个图像)更准确、使用局部特征预测衣物类型的过程参见图5及相关描述。如图4所示，衣物的局部特征的示例包括羊毛质地(wool texture)402、衬衫纽扣404、线迹(stitch)406、毛皮408、花边(lace)410、丝带(band)412、牛仔质地414、牛仔线迹416等。
图5是根据一些实施例的用于使用具有局部特征提取器和支持向量机的图像处理模型来对对象进行检测和分类的过程500的示意图。在一些实施例中，对象是机器内无组织物品集合(例如，装载在洗涤机内的衣物、智能烤箱或炒锅中的食物原料、智能冰箱内的食品等)。为方便起见，过程500被描述为由计算系统(例如，图1C的计算系统130’)执行并且被配置为对装载在洗涤机内的衣物进行检测和分类。
过程500包括两个不同的阶段：(1)特征提取阶段503和(2)对象分类阶段505。在特征提取阶段503，深度学习模型506接收包含衣物的图像502作为输入和输出特征向量507a-507c，该特征向量507a-507c指示图像(例如，子图像)不同部分上的局部特征。接下来，在对象分类阶段505，级联特征向量507a-507c以形成集成特征向量508，并且多个SVM 510a-510c中的每一个接收集成特征向量508以作为输入，并且输出相应的对象检测结果。
在一些实施例中，图像502是从洗涤机内部采集的一系列图像的灰度或RGB图像。图像502可能包含被遮挡和搅乱的衣物，并且该一系列图像是在洗涤机的滚筒翻滚以展开滚筒内的衣物时采集的。在一些实施例中，计算系统在将图像502传递给深度学习模型506之前执行一个或多个预处理步骤，例如去除图像502上的颜色或调整图像502的尺寸。
在一些实施例中，计算系统将图像502划分为多个子图像504，并将每个子图像504传递给深度学习模型506(例如，残差神经网络)以进行特征提取。例如，计算系统可以将图像502划分为图像网格的预定义阵列。每个子图像可能包含或可能不包含用户定义的局部特征509。在另一示例中，计算系统以使得每个子图像包含至少一个局部特征的方式分割图像502。
深度学习模型506接收子图像504作为输入并输出相应的特征向量(例如，特征向量507a)，该特征向量指示子图像504上存在或不存在用户定义的局部特征509。在实施例中，先前已经在如图3中描述的过程中训练了深度学习模型506。在一些实施例中，深度学习模型506是去除了最后一个柔性最大值(softmax)层的深度学习分类神经网络。
在深度学习模型506生成针对图像502的子图像504的相应的特征向量之后，计算系统将所有特征向量级联以生成集成特征向量508。集成特征向量508表示图像502上的所有局部特征。然后计算系统将集成特征向量508发送到多个二元分类器，例如SVM 510a-510c，以预测分类结果512。在一些实施例中，先前已经(例如，通过图3的第二训练阶段305)训练了每个SVM以接收特征向量和预测是否存在特定类型的对象(例如，衣物的类型)。例如，每个SVM可以输出指示特定类型的衣物出现在表示图像502的集成特征向量508中的可能性的概率。虽然在图5中仅示出了三个不同的SVM(例如，SVM 510a-510c)，在实际实现中，对应于待检测的不同类型衣物的数量，可以有更多或更少数量的SVM。
图6是根据一些实施例的用于基于通过局部特征提取产生的图像检测和分类结果来执行自动化机器设置选择的方法600的流程图。为方便起见，方法600将被描述为由包括经由网络连接的多个服务器的计算系统执行，其中，计算系统的每个服务器专用于执行特定任务。例如，计算系统可以包括训练模型服务器(例如，图1A的训练模型服务器122)和电器服务器(例如，图1C的计算系统130’)。在一些实施例中，该机器是具有一个或多个处理器、相机和存储器(602)的第一机器(例如，洗衣机(例如，洗涤机或烘干机)、用于在盘中烹饪各种食品或食物原料的智能烤箱，以及用于储存各种食品的智能冰箱等)。
作为第一步，计算系统在第一机器中采集无组织物品(例如，在受限空间中随机分布并且可能以各种方式相互遮挡的物品)集合(例如，洗衣机内的待洗衣物、智能烤箱或炒锅内的食物原料、智能冰箱内的食品等)的一个或多个图像(604)。例如，计算系统可以控制安装在机器(例如，洗衣机、智能烤箱炒锅、或智能冰箱等)的窗口上的相机来采集一个或多个图像。在一些实施例中，机器(例如，洗衣机)在采集一张或多张图像的相应的一个图像之后移动机器内无组织物品集合(例如，洗衣内的待洗衣物，或智能烤箱或炒锅内的食物原料)。例如，洗衣机在每两个连续的图像采集会话之间将包含衣物的滚筒旋转预定量(例如，半圈)，以使洗衣机中的衣物相对于彼此移动并获取洗衣机内的衣物的不同视角。这有助于在基于衣物类型确定结果更改机器设置之前提高跨多个图像的识别准确率。
在获取一个或多个图像之后，计算系统确定来自一个或多个图像(606)中的每一个中的无组织物品集合的一个或多个物品类型(例如，待洗衣物的衣物类型、烤箱或炒锅中食物的原料类型、在冰箱中的食品的食品类型等)。例如，衣物类型可以包括衬衫、连衣裙、牛仔类衣物、卡其裤、短上衣等。在一些实施例中，计算系统使用具有特征提取器和多个支持向量机的图像处理模型来确定一种或多种衣物类型。在另一个示例中，原料类型包括鸡肉块、猪肉片、牛肉条、土豆块、生菜叶、四季豆段、洋葱丁、碎番茄等。在另一个示例中，食品类型包括果汁、牛奶、酸奶、桃子、苹果、西瓜、培根、奶酪片、各类调味品等。
作为图像处理模型的第一步，计算系统将一个或多个图像中的相应图像划分为相应的多个子区域(608)。在一些实施例中，子区域是图像(例如，图5的子图像504)的一部分的矩形网格。例如，计算系统可以将相应图像均匀地划分为相应的多个子区域，或者可以基于用户定义的局部特征的存在来分割相应图像，使得每个子区域包括至少一个局部特征。
然后计算系统对相应的多个子区域进行特征检测，以得到相应的多个区域特征向量(例如，图5的特征向量507a-507c)(610)。区域特征向量指示在图像的子区域中的多个预定义的局部物品特征(例如，局部衣物特征(例如，毛领、衬衫纽扣、牛仔线迹等)、局部食物原料特征(例如，不同类型的肉类纤维、鸡皮、叶脉等)、局部包装或食品特征(例如，纸箱顶部、盖子、罐头、知名食品的商标等))的特性。在一些实施例中，预定义的局部物品特征(例如，局部衣物特征、局部食物原料特征、局部食品特征等)包括多个人工识别的局部物品特征标签(例如，衣物特征标签，包括：例如与羊毛质地、线迹、毛皮、蕾丝、丝带、牛仔布图案、牛仔线迹、衬衫角或衬衫纽扣、食物原料特征标签、食品特征标签等相对应的特征标签)。这些人工识别的物品特征标签(例如，布料特征标签、食物原料标签、食品标签等)中的每一个都是针对特定类型的物品(例如，衣物、食物原料、食品等)的特性，这些特定类型的物品需要机器(例如，洗衣机(例如，特殊的烘干或洗涤周期、温度等)、智能烤箱、智能冰箱等)进行特殊对待或处理。这些物品特征标签(例如，衣物特征标签、食物原料标签、食品标签等)对于人类或专家来说很容易定义，并且相应地由人类和专家标记具有局部特征(例如，局部布料特征、局部食物原料特征和局部食品特征等)的训练图像，以创建针对特征提取模型的训练数据集，所述局部特征对应于这些物品特征标签(例如，局部布料特征标签、局部食物原料特征标签和局部食品特征标签等)。在一些实施例中，对相应的多个子区域进行特征检测以获取这些物品特征标签(例如，衣物特征标签、食物原料标签和食品标签等)的相应多个区域特征向量包括通过机器学习模型获取对应于多个人工识别的物品特征标签的相应机器生成的潜在特征。在为每个物品特征标签定义特征向量方面，通过机器学习的特征提取比使用人类专家人工地定义特征向量更有效和高效。在一些实施例中，相应的机器生成的区域特征向量可以指示在图像的子区域中存在或不存在局部物品特征(例如，局部衣物特征(例如，羊毛质地、线迹、毛皮、花边、丝带、牛仔布图案、牛仔线迹、衬衫角或衬衫纽扣))。在一些实施例中，计算系统使用深度学习图像处理模型(例如，图5的深度学习模型506)来执行特征检测。例如，深度学习图像处理模型可以是残差神经网络。深度学习图像处理模型可能先前已经在图3中描述的远程计算系统上被训练过。在一些实施例中，深度学习模型是在训练过程中生成的，包括：接收训练数据集(例如，洗衣机中衣物的图像)(例如，工程师定义局部特征以获取所定义的衣物特征显著的图像样本)；将训练数据集划分为多个子集(例如，使用用户定义的特征检测或识别模型，或人工标注图像子集或图像的部分)，每个子集对应于多个预定义的局部物品特征(例如，局部衣物特征、局部食物原料特征、局部食品特征等)中的一个或多个，并且每个子集具有对应的一个或多个物品特征标签(例如，衣物特征标签、食物原料标签和食品标签等)；使用具有相应物品特征标签的训练数据集训练深度学习模型。
在获取相应图像的相应多个区域特征向量之后，计算系统通过组合(例如，级联)相应图像的相应多个区域特征向量(612)来生成相应图像的集成特征向量(612)。相应图像的集成特征向量指示在无组织物品集合(例如，待洗衣物、烤箱所容纳之物或冰箱所容纳之物等)的一个或多个图像的相应图像上存在或不存在预定义的局部物品特征(例如，局部衣物特征、局部食物原料特征和局部食品特征等)。
然后，计算系统将多个二元分类器应用于针对相应图像的集成特征向量(614)。多个二元分类器中的每一个相应二元分类器被配置为接收集成特征向量，以及基于针对相应图像的集成特征向量确定与相应二元分类器相关联的物品类型(例如，衣物类型、食物原料类型、食品类型等)是否存在于相应图像中。在一些实施例中，每个二元分类器被配置为接收特征向量(例如，每个区域特征向量)，该特征向量指示多个预定义的局部物品特征(例如，局部衣物特征、局部食物原料特征和局部食品特征)的特性，以及确定关联的物品类型(例如，衣物类型、食物原料、食品等)是否存在于与特征向量对应的相应子区域中。例如，二元分类器可以是接收特征向量(例如，指示存在或不存在用户定义的特征)并输出特定类型的物品(例如，衣物、食物原料、食品)是否存在于用于生成特征向量的图像(或图像的一部分)上。在一些实施例中，每个二元分类器是支持向量机，并且通过由深度学习模型生成的多个子区域的特征向量(例如，由深度学习模型从图像(或图像的部分)生成的特征向量，所述图像(或图像的部分)中包含与多个人工定义的物品特征标签中的相应一个对应的衣物特征的相应类型)训练支持向量机。在一些实施例中，特征向量是从深度学习模型中除深度学习模型的输出层之外的层获取的(例如，特征向量是从深度学习模型的输出层之前的一层或两层获取的)。
最后，在获取无组织物品集合的预测物品类型(例如，待洗衣物的衣物类型、烤箱或炒锅所容纳之物的原料类型、冰箱所容纳之物的食品类型等)之后，计算系统基于所确定的一个或多个物品类型为机器选择机器设置(616)。例如，计算系统可以选择最小化衣物损坏的设置(例如，如果图像处理模型预测洗衣机中有精致的衣物)、优化洗衣结果的设置，或者节省洗衣时间的设置。
如本文所公开的，上述技术有助于以高准确率检测洗衣机内的衣物类型，其优点是它利用有限的训练数据和/或输入数据实现了高的整体性能。与使用深度学习方法识别对象的情况相比，这一点尤其明显。纯粹的深度学习方法几乎不需要人为知识(humanknowledge)的干扰，但需要大量已标记的训练数据并且需要已标记数据之间存在巨大差异才能获取良好的性能。当前公开的技术更多地关注待识别或待检测对象的局部特征(例如，与将对象作为整体的特征相反)以进行对象检测和识别，因此，尽管整个对象的形状存在遮挡和变形，这种技术为模型学习和改进提供了更好、更可靠的信息。此外，通过使用深度学习和传统工程方法的结合，模型的学习方向以专业的人为知识为指导，这大大减少了所需的训练数据的数量和变化，同时提高了整体性能和训练效率。
如本文所述，对象检测/识别模型的构建和训练包括：(1)准备工作：(i)获取机器内相同或不同类型衣物的图像，这些图像被标记有衣物类型、局部特征和局部特征在图像中的位置；(ii)以及不同衣物类型的局部特征列表。(2)训练深度学习模型：获取图像的一部分(～50％)以用于第一训练阶段；使用网格将每个图像划分为子部分，并且每个网格位置处的图像的子部分被赋予图像的子部分中存在的局部特征的标签；训练深度学习分类神经网络，其中图像的子部分作为输入并且图像的局部特征标签作为输出；以及通过除去最后一个softmax层，网络成为特征提取器，该特征提取器接收图像的子部分并输出表示图像的子部分中存在的特征的特征向量。(3)训练SVM模型：将图像的另一部分(～50％)用于第二阶段；对于每张图像，按照网格划分为子部分，将每个子部分输入第一阶段的特征提取器，该特征提取器产生每个子部分的特征向量；然后将属于同一图像的子部分的特征向量级联为集成特征向量；对于每一衣物类型，采用作为输入的针对每个图像的大特征向量以及标签来训练SVM模型，该标签指示该图像是否包含该类型衣物。
在使用构建和训练好的模型来判断输入图像中是否存在衣物类型时，该判断包括两个阶段：(1)获取图像的集成特征向量。为此，首先将图像按照网格划分为子部分；将每个子部分输入到特征提取器，该特征提取器输出子部分的特征向量；然后将子部分的特征向量级联以形成输入图像的集成特征向量。(2)检测图像是否包含每种类型的衣物。为此，将第一步中的集成特征向量输入到针对每种类型衣物的相应SVM模型中；然后，每个SVM模型将以一定的概率输出数字(1或0)，该数字指示该种类型衣物出现在图像中的可能性有多大。
虽然衣物识别被用作本文描述的技术的示例应用，但是衣物类型可以被替换为其他对象类型，并且对应的局部特征可以被替换为对应于其他对象类型的局部特征(对于食品的部分，例如，对应于食品形状、口感、装饰等的局部特征)。在一些实施例中，可以使用不同的网格来分割图像，以适应局部特征的尺寸或形状。在一些实施例中，可以使用不同深度学习网络结构的不同变体来提取不同类型对象的特征向量。在一些实施例中，可以将不同的算法用于对象识别/检测过程的第二阶段。
图7是根据一些实施例的示例性家用电器700的框图。例如，在各种实施例中，家用电器700可以用作电器110、112、114、140、140’、200、201、202、203、204。家用电器700包括一个或多个处理单元(CPU)702、一个或多个网络接口704、存储器706以及用于互连这些组件(有时称为芯片组)的一个或多个通信总线708。家用电器700还包括用户界面710。用户界面710包括能够呈现媒体内容的一个或多个输出设备712，包括一个或多个扬声器和/或一个或多个视觉显示器。用户界面710还包括一个或多个输入设备714，包括便于用户输入的用户界面组件，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势采集相机或其他输入按钮或控件。在一些实施例中，家用电器700还包括传感器(例如，传感器141、142)，其感测家用电器600的操作环境信息。传感器包括但不限于一个或多个热传感器、光传感器、一个或多个相机、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮肤电阻传感器、脉搏血氧计等)、重量传感器、光谱仪和其他传感器。此外，家用电器600包括家用电器操作单元726(例如，基于电、感应、气体、辐射等的加热装置)。存储器706包括非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备、或一个或多个其他非易失性固态存储设备，可选地，存储器706包括远离一个或多个处理单元702设置的一个或多个存储设备。存储器606或存储器706内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器706或存储器706的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或它们的子集或超集。
·操作系统716，包括处理各种基本系统服务和执行硬件相关任务的过程；
·网络通信模块718，用于经由一个或多个网络接口704(有线或无线)连接到外部服务；
·呈现模块720，用于使得能够呈现信息；
·输入处理模块722，用于检测来自一个或多个输入设备714之一的一个或多个用户输入或交互，并解释检测到的输入或交互；
·家用电器控制单元724，用于控制家用电器700，家用电器控制单元724包括但不限于如本文所述的家用电器140或140’的模块。
上面每个标识的元件都可以存储在一个或多个前述存储设备中，并且对应于用于执行上述功能的指令集。上述模块或程序(即指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，因此这些模块的各种子集可以在各种实现中被组合或以其他方式重新布置。在一些实施方式中，存储器706可选地存储上述模块和数据结构的子集。此外，存储器706可选地存储上文未描述的附加模块和数据结构。
尽管上文描述了特定实施例，但应当理解，并不旨在将应用限制于这些特定实施例。相反，本公开包括在所附权利要求的精神和范围内的替代、修改和等同物。阐述了许多具体细节以提供对本文所提出的主题的透彻理解。但是对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践该主题。在其他情况下，没有详细描述众所周知的方法、过程、组件和电路，以免不必要地使实施例的各方面不清楚。
上面每个标识的元件都可以存储在一个或多个前述存储设备中，并且对应于用于执行上述功能的指令集。上述模块或程序(即指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，因此这些模块的各种子集可以在各种实现中被组合或以其他方式重新布置。在一些实施方式中，存储器706可选地存储上述模块和数据结构的子集。此外，存储器706可选地存储上文未描述的附加模块和数据结构。

Claims (8)

1.一种方法，包括：
在具有一个或多个处理器、相机和存储器的第一机器处：
采集所述第一机器内无组织物品集合的一个或多个图像；
从所述一个或多个图像中确定所述无组织物品集合的一个或多个物品类型，包括：
将所述一个或多个图像中的相应图像划分为相应的多个子区域；
对所述相应图像的所述相应的多个子区域进行特征检测以获取相应的多个区域特征向量，其中，所述子区域的区域特征向量指示所述子区域的多个预定义的局部物品特征的特性；以及
通过组合所述相应的多个区域特征向量，生成所述相应图像的集成特征向量；以及
将多个二元分类器应用于所述相应图像的所述集成特征向量，其中，所述多个二元分类器中的相应二元分类器被配置为：接收所述集成特征向量，以及基于所述相应图像的所述集成特征向量确定与所述二元分类器相关联的物品类型是否存在于所述相应图像中；以及
基于在所述无组织物品集合中确定的一个或多个物品类型为所述第一机器选择机器设置。
2.根据权利要求1所述的方法，其中，所述第一机器在采集所述一个或多个图像中的相应一个图像之后移动所述第一机器内的所述无组织物品集合。
3.根据权利要求1所述的方法，其中，所述预定义的局部物品特征包括多个人工识别的局部物品特征标签，并且对所述相应的多个子区域进行特征检测以获取所述相应的多个区域特征向量包括：通过机器学习模型获取对应于所述多个人工识别的局部物品特征标签的相应的机器生成的潜在特征。
4.根据权利要求1所述的方法，其中，所述二元分类器是支持向量机，所述支持向量机通过由深度学习模型生成的所述多个子区域的特征向量进行训练。
5.根据权利要求4所述的方法，其中，所述特征向量是从所述深度学习模型的除所述深度学习模型的输出层之外的层获取的。
6.根据权利要求4所述的方法，其中，所述深度学习模型是在训练过程中生成的，所述训练过程包括：
接收训练数据集；
将所述训练数据集划分为多个子集，每个子集对应于所述多个预定义的局部物品特征中的一个或多个，并且所述每个子集具有对应的一个或多个局部物品特征标签；以及
使用具有对应的局部物品特征标签的所述训练数据集训练所述深度学习模型。
7.一种机器，包括：
一个或多个处理器；
相机；以及
存储有指令的存储器，所述指令在由所述一个或多个处理器执行时使得所述处理器执行根据权利要求1-6中任一项所述的方法。
8.一种计算机可读存储介质，存储有指令，所述指令在由机器的一个或多个处理器执行时使得所述处理器执行根据权利要求1-6中任一项所述的方法。
CN202080065025.3A 2019-11-11 2020-07-17 基于对象识别的机器控制方法及系统 Active CN114466954B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/680,347 2019-11-11
US16/680,347 US11048976B2 (en) 2019-11-11 2019-11-11 Method and system for controlling machines based on object recognition
PCT/CN2020/102857 WO2021093359A1 (en) 2019-11-11 2020-07-17 Method and system for controlling machines based on object recognition

Publications (2)

Publication Number Publication Date
CN114466954A true CN114466954A (zh) 2022-05-10
CN114466954B CN114466954B (zh) 2022-11-29

Family

ID=75846688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080065025.3A Active CN114466954B (zh) 2019-11-11 2020-07-17 基于对象识别的机器控制方法及系统

Country Status (5)

Country Link
US (1) US11048976B2 (zh)
EP (1) EP4028591A4 (zh)
JP (1) JP7332220B2 (zh)
CN (1) CN114466954B (zh)
WO (1) WO2021093359A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210054796A (ko) * 2019-11-06 2021-05-14 엘지전자 주식회사 지능형 디바이스의 도어 오픈 모니터링
US11373095B2 (en) * 2019-12-23 2022-06-28 Jens C. Jenkins Machine learning multiple features of depicted item
CN112663277A (zh) * 2020-12-12 2021-04-16 上海电机学院 一种基于图像识别的洗衣系统及控制方法
US11205101B1 (en) * 2021-05-11 2021-12-21 NotCo Delaware, LLC Formula and recipe generation with feedback loop
CN114855416B (zh) * 2022-04-25 2024-03-22 青岛海尔科技有限公司 洗涤程序的推荐方法及装置、存储介质及电子装置
CN114627279B (zh) * 2022-05-17 2022-10-04 山东微亮联动网络科技有限公司 一种快餐菜品定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956512A (zh) * 2016-04-19 2016-09-21 安徽工程大学 一种基于机器视觉的空调温度自动调节系统及方法
CN106192289A (zh) * 2015-04-30 2016-12-07 青岛海尔洗衣机有限公司 洗衣机控制方法及洗衣机
CN108385330A (zh) * 2018-04-10 2018-08-10 深圳市度比智能技术有限公司 洗衣装置、系统及方法
CN109594288A (zh) * 2018-12-03 2019-04-09 珠海格力电器股份有限公司 一种衣物洗涤方法、系统及洗衣机
US20190200797A1 (en) * 2017-12-30 2019-07-04 Midea Group Co., Ltd Food preparation method and system based on ingredient recognition
CN110004664A (zh) * 2019-04-28 2019-07-12 深圳和而泰家居在线网络科技有限公司 衣物污渍识别方法、装置、洗衣机及存储介质
US20190304099A1 (en) * 2018-03-29 2019-10-03 Amir HEVER Method of vehicle image comparison and system thereof
CN110331551A (zh) * 2019-05-24 2019-10-15 珠海格力电器股份有限公司 洗衣机的洗涤控制方法、装置、计算机设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657424A (en) * 1995-10-31 1997-08-12 Dictaphone Corporation Isolated word recognition using decision tree classifiers and time-indexed feature vectors
JP3530363B2 (ja) * 1997-11-26 2004-05-24 日本電信電話株式会社 認識モデル生成方法および画像認識方法
US7319779B1 (en) * 2003-12-08 2008-01-15 Videomining Corporation Classification of humans into multiple age categories from digital images
JP2010092199A (ja) * 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4906900B2 (ja) * 2009-09-24 2012-03-28 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
US8391602B2 (en) * 2010-04-08 2013-03-05 University Of Calcutta Character recognition
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
US8718362B2 (en) * 2012-03-28 2014-05-06 Mitsubishi Electric Research Laboratories, Inc. Appearance and context based object classification in images
US8873812B2 (en) * 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers
US9600711B2 (en) * 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
MX366270B (es) 2012-12-04 2019-07-04 Genannt Wersborg Ingo Stork Sistema de monitoreo de tratamiento termico.
US9158992B2 (en) * 2013-03-14 2015-10-13 Here Global B.V. Acceleration of linear classifiers
US9792823B2 (en) * 2014-09-15 2017-10-17 Raytheon Bbn Technologies Corp. Multi-view learning in detection of psychological states
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
US10037456B2 (en) * 2015-09-04 2018-07-31 The Friedland Group, Inc. Automated methods and systems for identifying and assigning attributes to human-face-containing subimages of input images
JP6717049B2 (ja) * 2016-05-19 2020-07-01 株式会社リコー 画像解析装置、画像解析方法およびプログラム
CN109213886B (zh) * 2018-08-09 2021-01-08 山东师范大学 基于图像分割和模糊模式识别的图像检索方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106192289A (zh) * 2015-04-30 2016-12-07 青岛海尔洗衣机有限公司 洗衣机控制方法及洗衣机
CN105956512A (zh) * 2016-04-19 2016-09-21 安徽工程大学 一种基于机器视觉的空调温度自动调节系统及方法
US20190200797A1 (en) * 2017-12-30 2019-07-04 Midea Group Co., Ltd Food preparation method and system based on ingredient recognition
US20190304099A1 (en) * 2018-03-29 2019-10-03 Amir HEVER Method of vehicle image comparison and system thereof
CN108385330A (zh) * 2018-04-10 2018-08-10 深圳市度比智能技术有限公司 洗衣装置、系统及方法
CN109594288A (zh) * 2018-12-03 2019-04-09 珠海格力电器股份有限公司 一种衣物洗涤方法、系统及洗衣机
CN110004664A (zh) * 2019-04-28 2019-07-12 深圳和而泰家居在线网络科技有限公司 衣物污渍识别方法、装置、洗衣机及存储介质
CN110331551A (zh) * 2019-05-24 2019-10-15 珠海格力电器股份有限公司 洗衣机的洗涤控制方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP4028591A1 (en) 2022-07-20
EP4028591A4 (en) 2022-11-02
WO2021093359A1 (en) 2021-05-20
JP2022554127A (ja) 2022-12-28
JP7332220B2 (ja) 2023-08-23
US20210142110A1 (en) 2021-05-13
US11048976B2 (en) 2021-06-29
CN114466954B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN114466954B (zh) 基于对象识别的机器控制方法及系统
JP7239782B2 (ja) 目標検出モデルのマルチパストレーニングによる機器設定の調整
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
CN107904856B (zh) 洗衣机启动方法及装置
CN107904860B (zh) 洗衣机内衣物处理方法及装置
CN105204351B (zh) 空调机组的控制方法及装置
Lao et al. Convolutional neural networks for fashion classification and object detection
CN110488672B (zh) 烹饪设备的控制方法、装置、烹饪设备和存储介质
CN107862313B (zh) 洗碗机及其控制方法和装置
US20210140091A1 (en) Clothing treatment device, electronic apparatus, and method for controlling same
CN107609554A (zh) 一种识别冰箱中食材的方法及装置
WO2019036974A1 (zh) 一种智能洗涤方法及洗衣机
US20230272569A1 (en) Clothing management apparatus and method for controlling thereof
WO2019205933A1 (zh) 一种衣物处理设备清洗衣物的方法
US20230169150A1 (en) Method and System for Reducing False Positives in Object Detection Neural Networks Caused by Novel Objects
JP7270628B2 (ja) 衣類情報管理システム及びその制御方法
KR20220011450A (ko) 물품을 식별하는 장치, 서버 및 식별하는 방법
Morris et al. Inventory Management of the Refrigerator's Produce Bins Using Classification Algorithms and Hand Analysis
CN110042640A (zh) 用于组织待处理的洗涤物的方法和用于组织洗涤物的系统
CN113584847B (zh) 循环扇控制方法、系统、中控设备及存储介质
TW202043572A (zh) 讀取衣物資訊以設定洗滌程序之裝置及方法
Dayananda et al. FabricSense: A Tactile-Based Fabric Structure Detection Methodology for Automatic Temperature Adjustment
CN110173866B (zh) 空调器的智能送风方法及装置、空调器
CN118015328A (zh) 衣物存放方法、装置、设备及存储介质
Lin et al. A Study of Automatic Judgment of Food Color and Cooking Conditions with Artificial Intelligence Technology. Processes 2021, 9, 1128

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant