CN110004664B - 衣物污渍识别方法、装置、洗衣机及存储介质 - Google Patents

Abstract

本申请涉及一种衣物污渍识别方法，获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。该衣物污渍识别方法可以准确地识别污渍所在的位置。此外，还提出了一种衣物污渍识别装置、洗衣机、存储介质以及清洗衣物污渍的方法。

Description

衣物污渍识别方法、装置、洗衣机及存储介质

技术领域

本发明涉及计算机处理领域，尤其是涉及一种衣物污渍识别方法、装置、洗衣机及存储介质。

背景技术

随着人们生活水平的提高，一般都采用洗衣机来代替人工完成衣物的洗涤。目前所有的洗衣机洗衣物的时候都是放入洗衣粉，然后所有衣物的所有部位同时洗涤，有污渍和没污渍的地方受力均匀，所以经常出现洗完之后发现一些衣物的顽固污渍没有清除掉。如果能够确定洗衣机中衣物上顽固污渍的位置，然后定点祛除，这样将会大大提升洗衣机的洗涤效果。但是由于洗衣机中的衣物经常是搅在一起的，所以一般的识别方法是无法满足要求的，故，亟需提出一种可以准确定位污渍位置的识别方法。

发明内容

基于此，有必要针对上述问题，提供一种确定衣物污渍位置的衣物污渍识别方法、装置、洗衣机、存储介质，和清洗衣物污渍的方法、装置、洗衣机及存储介质。

一种衣物污渍识别方法，所述方法包括：

获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

一种衣物污渍识别装置，所述装置包括：

获取模块，用于获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

输入识别模块，用于将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

分割模块，用于根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

确定模块，用于将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

一种洗衣机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

上述衣物污渍识别方法、装置、洗衣机及存储介质，获取到待识别污渍的目标图像后，将目标图像作为区域分割模型的输入，然后区域分割模型对目标图像中的不同衣物区域进行区分，根据识别出的多个衣物区域将目标图像分割为多个衣物区域图像，然后将衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。上述衣物污渍识别方法首先对目标图像中的衣物进行分区，这样对于缠绕在一起的衣物可以区分识别，之后根据识别得到的多个衣物区域进行分割，得到多个衣物区域图像，然后分别将衣物区域图像作为污渍识别模型的输入，这样就可以识别到相应衣物区域中是否存在污渍以及污渍的位置。故，采用该衣物污渍识别的方法能够有效地对缠绕在一起的衣物中的污渍进行识别。

一种清洗衣物污渍的方法，应用于洗衣机，所述方法包括：

对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；

根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

一种清洗衣物污渍的装置，应用于洗衣机，所述装置包括：

拍摄模块，用于对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；

输入识别模块，用于将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

分割模块，用于根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

确定模块，用于将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；

清洗模块，用于根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

一种洗衣机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；

根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；

根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

上述清洗衣物污渍的方法、装置、洗衣机及存储介质，通过对洗衣机中的衣物进行拍摄得到目标图像，将目标图像作为区域分割模型的输入，然后区域分割模型对目标图像中的不同衣物区域进行区分，根据识别出的多个衣物区域将目标图像分割为多个衣物区域图像，然后将衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。上述衣物污渍识别方法首先对目标图像中的衣物进行分区，这样对于缠绕在一起的衣物可以区分识别，之后根据识别得到的多个衣物区域进行分割，得到多个衣物区域图像，然后分别将衣物区域图像作为污渍识别模型的输入，这样就可以识别到相应衣物区域中是否存在污渍以及污渍的位置，然后就可以调用清洗设备进行定点清洗。该清洗衣物污渍的方法能够有效地对缠绕在一起的衣物中的污渍进行识别，然后定点清洗，大大提高了清洗的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为一个实施例中衣物污渍识别方法的流程图；

图2为一个实施例中对目标图像中的衣物区域进行识别的示意图；

图3为另一个实施例中衣物污渍识别方法的流程图；

图4为一个实施例中清洗衣物污渍的方法流程图；

图5为一个实施例中衣物污渍识别装置的结构框图；

图6为一个实施例中清洗衣物污渍的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，提出了一种衣物污渍识别方法，该衣物污渍识别方法应用于洗衣机，具体包括以下步骤：

步骤102，获取待识别污渍的目标图像，目标图像中包含有待洗涤的衣物。

其中，目标图像是指对待识别污渍的衣物进行拍摄得到的图像。拍摄到的目标图像中包含有待洗涤的衣物。在一个实施例中，在通过洗衣机对衣物进行洗涤的过程中，其间可以定时或随机停止转动，然后使用摄像头对洗衣机内部的衣物进行拍摄。

在一个实施例中，目标图像是指经过预处理之后得到的图像，具体地，通过对待识别污渍的衣物进行拍摄得到原始图像，然后对原始图像进行预处理得到目标图像，预处理包括：归一化处理等。

步骤104，将目标图像作为区域分割模型的输入，区域分割模型用于根据目标图像中的像素特征识别区分目标图像中的多个衣物区域。

其中，区域分割模型用于根据提取到的目标图像中的像素特征区分出不同的衣物区域。通过区域分割模型可以将缠绕搅合在一起的衣物区分出来。比如，洗衣机中放入白衬衫和蓝色衬衫，拍摄到的包含有白色衬衫和蓝色衬衫的图像很可能是缠绕在一起的，比如，图片的左上角可能是白色衬衫的一部分，中间是蓝色衬衫的一部分，然后右下角是白色衬衫的另一部分。由于白色衬衫和蓝色衬衫属于不同的颜色，如果直接进行污渍识别，很可能将蓝色衬衫识别为白色衬衫上存在的污渍。所以为了提高识别的准确度，需要先将目标图像作为区域分割模型的输入，识别出多个衣物区域，比如，识别出上述包含有白色衬衫和蓝色衬衫的图片中存在三个衣物区域，分别是左上角的白色衬衫区域，然后蓝色衬衫的中间区域，以及右下角的白色衬衫区域。由于两部分白色衬衫区域没有在一起，所以识别得到的是两个衣物区域。区域分割模型根据提取到的像素特征将目标图像中的多个衣物区域进行区分，即把不是同一颜色的相邻区域分割开来。目标图像中衣物区域的个数是根据拍摄得到的衣物缠绕情况确定的，即不同的缠绕情况相应地衣物划分的区域个数也不一样，比如，对于两件衣物，有可能存在2个衣物区域，也可能是3个甚至是更多个。如图2所示，为一个实施例中，对目标图像中的衣物区域进行识别后的示意图，图中包含有5个衣物区域，由于衣物很多时候是缠绕在一起的，衣物区域往往是不规则的形状。

区域分割模型用于根据提取到的目标图像中的像素特征区分出不同的衣物区域。区域分割模型的输出可以是包含有区域边缘线的图像，也可以是得到框住每个衣物区域的边界框的位置参数，当然也可以是将不同衣物区域分别用不同颜色进行填充后的图像。不管是哪一种，都可以根据区域分割模型的输出来确定识别得到的多个衣物区域。在一个实施例中，区域分割模型是基于卷积神经网络模型训练得到的。

步骤106，根据区域分割模型识别出的多个衣物区域将目标图像分割为多个衣物区域图像。

其中，衣物区域图像是指将目标图像进行分割后得到的子图像。区域分割模型识别出多个衣物区域后，将目标图像相应地分割为多个衣物区域图像。

步骤108，将衣物区域图像作为污渍识别模型的输入，根据污渍识别模型的输出确定识别到的污渍的位置。

其中，污渍识别模型用于对衣物区域图像中的衣物中的污渍进行识别，然后确定污渍的位置。污渍识别模型可以采用深度学习模型进行训练得到，训练的过程如下：通过将拍摄得到的衣物区域的图像作为训练图像样本，然后将衣物区域中相应的污渍的位置作为相应的标注。通过采用大量的训练图像样本以及相应的标注对污渍识别模型进行训练，得到污渍识别模型。

污渍识别模型识别得到的是污渍在相应的衣物区域图像中的位置。在一个实施例中，上述衣物污渍识别方法还包括：根据识别得到的污渍在区域图像中的位置确定污渍在实际衣物中的位置；根据污渍在实际衣物中的位置进行污渍的定点祛除。其中，根据实际物体与图像的映射关系，确定污渍在相应的实际衣物中的位置，然后调用清洗装置(比如，刷子和洗衣液)对该污渍进行定点清洗。

上述衣物污渍识别方法，获取到待识别污渍的目标图像后，将目标图像作为区域分割模型的输入，然后区域分割模型对目标图像中的不同衣物区域进行区分，根据识别出的多个衣物区域将目标图像分割为多个衣物区域图像，然后将衣物区域图像作为污渍识别模型的输入，根据污渍识别模型的输出确定识别到的污渍的位置。上述衣物污渍识别方法首先对目标图像中的衣物进行分区，这样对于缠绕在一起的衣物可以区分识别，之后根据识别得到的多个衣物区域进行分割，得到多个衣物区域图像，然后分别将衣物区域图像作为污渍识别模型的输入，这样就可以识别到相应衣物区域中是否存在污渍以及污渍的位置。故，采用该衣物污渍识别方法能够有效地对缠绕在一起的衣物中的污渍进行识别。

在一个实施例中，根据区域分割模型识别出的多个衣物区域将目标图像分割为多个衣物区域图像，包括：获取区域分割模型输出的包含区域分割边线的掩码图像；根据掩码图像中的区域分割边线将目标图像分割为多个衣物区域图像。

其中，掩码图像(mask图像)是指对目标图像进行处理后呈现出来的图像，一般掩码图像会对非衣物区域进行隐藏，同时将识别得到的不同衣物区域进行填充。掩码图像中包含具有区域分割边线。区域分割边线可以是框出来的相邻区域的边界线，也可以是由于两个区域填充颜色的不同自然带来的边缘区分线。在确定了区域分割边缘线之后，就可以将目标图像分割为多个衣物区域图像。

在一个实施例中，区域分割模型还用于识别每个衣物区域对应的类型；根据区域分割模型输出的与每个衣物区域对应的类型确定与每个衣物区域图像对应的目标污渍识别模型；将衣物区域图像作为污渍识别模型的输入，根据污渍识别模型的输出确定识别到的污渍的位置，包括：将衣物区域图像作为相应的目标污渍识别模型的输入，根据目标污渍识别模型的输出确定识别到的污渍的位置。

其中，区域分割模型除了区分衣物区域外，还对每个衣物区域的类型进行识别，即识别衣物区域中衣物的类型，比如，识别出衣物是衬衫，还是裤子。这样后续可以根据识别得到的衣物的类型来选择不同的污渍识别模型来进行污渍识别，即针对不同的衣物类型设置不同的污渍识别模型，这样可以有针对性地进行识别，有利于提高识别的准确度。

类型的划分可以是根据衣物的种类，比如，分为衬衫、裤子、外套等。还可以根据衣物种类以及衣物的位置进行划分，比如，区分是衬衫的领子，还是衬衫的衣袖。类型的划分在预测的过程与训练的过程是保持一致的，即训练模型过程中的类型划分决定了模型预测阶段预测得到的类型。

如图3所示，在一个实施例中，所述根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像之后，还包括：

步骤110，将衣物区域图像作为衣物类型识别模型的输入，获取衣物类型识别模型输出的与衣物区域图像中的衣物对应的衣物类型；

步骤112，根据衣物类型确定与衣物区域图像匹配的污渍识别模型。

其中，区域分割模型和衣物类别识别模型是分开的，即首先使用区域分割模型对目标图像中的区域进行划分，然后将划分后得到的区域图像作为衣物类型识别模型的输入，衣物类别识别模型用于对衣物区域图像中的衣物的类型进行识别，然后根据衣物类型确定衣物区域图像匹配的污渍识别模型。

由于不同衣物的污渍可能不同，比如，西装基本是单色，所以一旦发现颜色不同的不规则状物体就是污渍，而休闲状则可能有各种图案，所以在污渍识别的时候需要更复杂的网络判定，所以针对不同的衣物类型然后训练得到不同的污渍识别模型，有利于提高污渍识别的准确度。

在一个实施例中，衣物类型识别模型是采用深度神经网络模型训练得到的，通过获取训练图像样本以及对图像样本中的衣物区域的类型进行标注来实现对模型的训练，从而得到衣物类型识别模型。

在一个实施例中，所述区域分割模型是基于卷积神经网络模型训练得到的；所述区域分割模型的训练包括以下步骤：获取训练图像集，所述训练图像集中包括多个训练图像，每个训练图像中包含有多个不同衣物区域，获取每个训练图像对应的样本标注，所述样本标注中包括：对应不同衣物区域的位置标注；将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

其中，为了使得训练得到的区域分割模型能够识别目标图像中不同衣物区域，在训练该模型时，采用有监督的训练方式，获取训练图像以及相应的样本标注，样本标注中包括：对应该训练图像中不同衣物区域的位置标准，这样通过将位置标准为期望的输出来对区域分割模型进行训练，得到目标区域分割模型。区域分割模型是基于卷积神经网络模型训练得到的，卷积神经网络中包括卷积层，卷积层用于对图像的特征进行提取学习。

在一个实施例中，为了对模型进行训练，需要设置一个损失函数(loss)，根据实际输出值和期望输出值之间的误差来计算得到的损失函数的值，然后采用后向传递的方式来对模型中的参数进行调整，比如，可以使用梯度下降法来训练模型，直到损失函数的值小于预设的阈值，则训练完成。

在一个实施例中，所述样本标注中还包括：与每个衣物区域对应的类型标注；所述将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型，包括：将所述训练图像输入所述区域分割模型，将每个衣物区域对应的位置标注和类型标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

其中，为了使得训练得到的区域分割模型能够识别衣物区域中的衣物类型，在训练区域分割模型时，则需要同时将衣物区域的类型标注作为期望的输出来对模型进行训练，然后得到目标区域分割模型。

如图4所示，在一个实施例中，提出了一种清洗衣物污渍的方法，应用于洗衣机，该方法包括：

步骤402，对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像。

步骤404，将目标图像作为区域分割模型的输入，区域分割模型用于根据目标图像中的像素特征识别区分目标图像中的多个衣物区域。

步骤406，根据区域分割模型识别出的多个衣物区域将目标图像分割为多个衣物区域图像。

步骤408，将衣物区域图像作为污渍识别模型的输入，根据污渍识别模型的输出确定识别到的污渍的位置。

步骤410，根据污渍的位置调用清洗设备对污渍进行定点清除。

其中，清洗衣物污渍的方法应用于智能洗衣机，该洗衣机在洗衣物的过程中，为了检测是否还存在污渍，通过对洗衣机中的衣物进行拍照得到目标图像，然后通过一系列的识别来确定是否存在污渍，以及污渍存在的位置，然后就可以调用清洗设备来对污渍进行针对性地清除。在一个实施例中，清洗设备包括：清洁刷和喷头，喷头用于喷射洗衣液或洗衣物，然后使用清洁刷进行刷洗。

如图5所示，在一个实施例中，提出了一种衣物污渍识别装置，该装置包括：

获取模块502，用于获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

输入识别模块504，用于将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

分割模块506，用于根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

确定模块508，用于将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

在一个实施例中，分割模块506还用于获取所述区域分割模型输出的包含区域分割边线的掩码图像；根据所述掩码图像中的区域分割边线将所述目标图像分割为多个衣物区域图像。

在一个实施例中，所述区域分割模型还用于识别每个衣物区域对应的类型；所述装置还包括：匹配模块，用于根据所述区域分割模型输出的与每个衣物区域对应的类型确定与每个衣物区域图像对应的目标污渍识别模型；所述确定模块还用于将所述衣物区域图像作为相应的目标污渍识别模型的输入，根据所述目标污渍识别模型的输出确定识别到的污渍的位置。

在一个实施例中，所述装置还包括：类型确定模块，用于将所述衣物区域图像作为衣物类型识别模型的输入，获取所述衣物类型识别模型输出的与所述衣物区域图像中的衣物对应的衣物类型；模型匹配模块，用于根据所述衣物类型确定与所述衣物区域图像匹配的污渍识别模型。

在一个实施例中，所述区域分割模型是基于卷积神经网络模型训练得到的；所述装置还包括：训练模块，用于获取训练图像集，所述训练图像集中包括多个训练图像，每个训练图像中包含有多个不同衣物区域，获取每个训练图像对应的样本标注，所述样本标注中包括：对应不同衣物区域的位置标注；将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

在一个实施例中，所述样本标注中还包括：与每个衣物区域对应的类型标注；所述训练模块还用于将所述训练图像输入所述区域分割模型，将每个衣物区域对应的位置标注和类型标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

如图6所示，在一个实施例中，提出了一种清洗衣物污渍的装置，应用于洗衣机，包括：

拍摄模块602，用于对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像。

输入识别模块604，用于将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域。

分割模块606，用于根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像。

确定模块608，用于将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

清洗模块610，根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

图7示出了一个实施例中洗衣机的内部结构图。该洗衣机包括通过系统总线连接的处理器、存储器。其中，存储器包括非易失性存储介质、内存储器和摄像头。该洗衣机的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现衣物污渍识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行衣物污渍识别方法，摄像头用于采集图像。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的洗衣机的限定，具体的洗衣机可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的衣物污渍识别方法可以实现为一种计算机程序的形式，计算机程序可在如图7所示的洗衣机上运行。洗衣机的存储器中可存储组成该衣物污渍识别装置的各个程序模板。比如，获取模块502，输入识别模块504，分割模块506和确定模块508。

一种洗衣机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

在一个实施例中，所述根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像，包括：获取所述区域分割模型输出的包含区域分割边线的掩码图像；根据所述掩码图像中的区域分割边线将所述目标图像分割为多个衣物区域图像。

在一个实施例中，所述区域分割模型还用于识别每个衣物区域对应的类型；所述计算机程序被所述处理器执行时，还用于执行以下步骤：根据所述区域分割模型输出的与每个衣物区域对应的类型确定与每个衣物区域图像对应的目标污渍识别模型；所述将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置，包括：将所述衣物区域图像作为相应的目标污渍识别模型的输入，根据所述目标污渍识别模型的输出确定识别到的污渍的位置。

在一个实施例中，所述根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像之后，所述计算机程序被所述处理器执行时，还用于执行以下步骤：将所述衣物区域图像作为衣物类型识别模型的输入，获取所述衣物类型识别模型输出的与所述衣物区域图像中的衣物对应的衣物类型；根据所述衣物类型确定与所述衣物区域图像匹配的污渍识别模型。

在一个实施例中，所述区域分割模型是基于卷积神经网络模型训练得到的；所述计算机程序被所述处理器执行时，还用于执行以下步骤：获取训练图像集，所述训练图像集中包括多个训练图像，每个训练图像中包含有多个不同衣物区域，获取每个训练图像对应的样本标注，所述样本标注中包括：对应不同衣物区域的位置标注；将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

在一个实施例中，所述样本标注中还包括：与每个衣物区域对应的类型标注；所述将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型，包括：将所述训练图像输入所述区域分割模型，将每个衣物区域对应的位置标注和类型标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

一种洗衣机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

在一个实施例中，所述根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像，包括：获取所述区域分割模型输出的包含区域分割边线的掩码图像；根据所述掩码图像中的区域分割边线将所述目标图像分割为多个衣物区域图像。

在一个实施例中，所述区域分割模型还用于识别每个衣物区域对应的类型；所述计算机程序被所述处理器执行时，还用于执行以下步骤：根据所述区域分割模型输出的与每个衣物区域对应的类型确定与每个衣物区域图像对应的目标污渍识别模型；所述将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置，包括：将所述衣物区域图像作为相应的目标污渍识别模型的输入，根据所述目标污渍识别模型的输出确定识别到的污渍的位置。

在一个实施例中，所述根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像之后，所述计算机程序被所述处理器执行时，还用于执行以下步骤：将所述衣物区域图像作为衣物类型识别模型的输入，获取所述衣物类型识别模型输出的与所述衣物区域图像中的衣物对应的衣物类型；根据所述衣物类型确定与所述衣物区域图像匹配的污渍识别模型。

在一个实施例中，所述区域分割模型是基于卷积神经网络模型训练得到的；所述计算机程序被所述处理器执行时，还用于执行以下步骤：获取训练图像集，所述训练图像集中包括多个训练图像，每个训练图像中包含有多个不同衣物区域，获取每个训练图像对应的样本标注，所述样本标注中包括：对应不同衣物区域的位置标注；将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

在一个实施例中，所述样本标注中还包括：与每个衣物区域对应的类型标注；所述将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型，包括：将所述训练图像输入所述区域分割模型，将每个衣物区域对应的位置标注和类型标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；将所述衣物区域图像作为污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种衣物污渍识别方法，其特征在于，所述方法包括：

获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为衣物类型识别模型的输入，获取所述衣物类型识别模型输出的与所述衣物区域图像中的衣物对应的衣物类型；

根据所述衣物类型确定与所述衣物区域图像匹配的污渍识别模型；

将所述衣物区域图像作为所述污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像，包括：

获取所述区域分割模型输出的包含区域分割边线的掩码图像；

根据所述掩码图像中的区域分割边线将所述目标图像分割为多个衣物区域图像。

3.根据权利要求1所述的方法，其特征在于，所述区域分割模型是基于卷积神经网络模型训练得到的；

所述区域分割模型的训练包括以下步骤：

获取训练图像集，所述训练图像集中包括多个训练图像，每个训练图像中包含有多个不同衣物区域，获取每个训练图像对应的样本标注，所述样本标注中包括：对应不同衣物区域的位置标注；

将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

4.根据权利要求3所述的方法，其特征在于，所述样本标注中还包括：与每个衣物区域对应的衣物类型标注；

所述将所述训练图像作为所述区域分割模型的训练输入，将相应的对应不同衣物区域的位置标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型，包括：

将所述训练图像输入所述区域分割模型，将每个衣物区域对应的位置标注和衣物类型标注作为期望的输出对所述区域分割模型进行训练，得到目标区域分割模型。

5.一种衣物污渍识别方法，其特征在于，所述方法包括：

获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域，还用于识别每个衣物区域对应的衣物类型；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

根据所述区域分割模型输出的与每个衣物区域对应的衣物类型确定与每个衣物区域图像对应的目标污渍识别模型；

将所述衣物区域图像作为相应的目标污渍识别模型的输入，根据所述目标污渍识别模型的输出确定识别到的污渍的位置。

6.一种清洗衣物污渍的方法，应用于洗衣机，其特征在于，所述方法包括：

对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

将所述衣物区域图像作为衣物类型识别模型的输入，获取所述衣物类型识别模型输出的与所述衣物区域图像中的衣物对应的衣物类型；

根据所述衣物类型确定与所述衣物区域图像匹配的污渍识别模型；

将所述衣物区域图像作为所述污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置；

根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

7.一种清洗衣物污渍的方法，应用于洗衣机，其特征在于，所述方法包括：

对洗衣机中的衣物进行拍摄得到待识别污渍的目标图像；

将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域，还用于识别每个衣物区域对应的衣物类型；

根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

根据所述区域分割模型输出的与每个衣物区域对应的衣物类型确定与每个衣物区域图像对应的目标污渍识别模型；

将所述衣物区域图像作为相应的目标污渍识别模型的输入，根据所述目标污渍识别模型的输出确定识别到的污渍的位置；

根据所述污渍的位置调用清洗设备对所述污渍进行定点清除。

8.一种衣物污渍识别装置，所述装置包括：

获取模块，用于获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

输入识别模块，用于将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域；

分割模块，用于根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

类型确定模块，用于将所述衣物区域图像作为衣物类型识别模型的输入，获取所述衣物类型识别模型输出的与所述衣物区域图像中的衣物对应的衣物类型；

模型匹配模块，用于根据所述衣物类型确定与所述衣物区域图像匹配的污渍识别模型；

确定模块，用于将所述衣物区域图像作为所述污渍识别模型的输入，根据所述污渍识别模型的输出确定识别到的污渍的位置。

9.一种衣物污渍识别装置，所述装置包括：

获取模块，用于获取待识别污渍的目标图像，所述目标图像中包含有待洗涤的衣物；

输入识别模块，用于将所述目标图像作为区域分割模型的输入，所述区域分割模型用于根据所述目标图像中的像素特征识别区分所述目标图像中的多个衣物区域，还用于识别每个衣物区域对应的衣物类型；

分割模块，用于根据所述区域分割模型识别出的多个衣物区域将所述目标图像分割为多个衣物区域图像；

匹配模块，用于根据所述区域分割模型输出的与每个衣物区域对应的衣物类型确定与每个衣物区域图像对应的目标污渍识别模型；

确定模块，用于将所述衣物区域图像作为相应的目标污渍识别模型的输入，根据所述目标污渍识别模型的输出确定识别到的污渍的位置。

10.一种洗衣机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

11.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

Images