CN112756324B - 一种物品清洗方法、装置及终端设备 - Google Patents

一种物品清洗方法、装置及终端设备 Download PDF

Info

Publication number
CN112756324B
CN112756324B CN201911002488.0A CN201911002488A CN112756324B CN 112756324 B CN112756324 B CN 112756324B CN 201911002488 A CN201911002488 A CN 201911002488A CN 112756324 B CN112756324 B CN 112756324B
Authority
CN
China
Prior art keywords
article
cleaned
cleaning
color information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911002488.0A
Other languages
English (en)
Other versions
CN112756324A (zh
Inventor
都莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Century Yutong Technology Co ltd
Original Assignee
Shenzhen Qianhai Century Yutong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Century Yutong Technology Co ltd filed Critical Shenzhen Qianhai Century Yutong Technology Co ltd
Priority to CN201911002488.0A priority Critical patent/CN112756324B/zh
Publication of CN112756324A publication Critical patent/CN112756324A/zh
Application granted granted Critical
Publication of CN112756324B publication Critical patent/CN112756324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/04—Cleaning involving contact with liquid
    • B08B3/10—Cleaning involving contact with liquid with additional treatment of the liquid or of the object being cleaned, e.g. by heat, by electricity or by vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于自动控制技术领域，提供了一种物品清洗方法、装置及终端设备，所述方法包括：获取待清洗物品的三维轮廓信息以及三维轮廓信息中各个轮廓点的颜色信息；将待清洗物品的三维轮廓信息和待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；将待清洗物品的颜色信息与物品类别对应的颜色信息进行比对，确定待清洗物品的污损区域；获取物品类别对应的第一清洗策略和第二清洗策略，根据待清洗物品的污损区域、第一清洗策略和第二清洗策略生成第一清洗指令并将第一清洗指令发送至清洗执行装置。本申请可以解决现有的清洗模式无法做到精细化清洗，无法清洗一些较为脆弱或清洗难度较高的物品的问题。

Description

一种物品清洗方法、装置及终端设备
技术领域
本申请属于自动控制技术领域，尤其涉及一种物品清洗方法、装置及终端设备。
背景技术
随着科技的发展，越来越多的自动化设备进入了人们的生活和工作当中，包括一些物品的自动化清洗装置。
当前的清洗装置的清洗模式较为粗暴，通常是用户将物品放入清洗装置后，清洗装置通入清洗剂后，以翻滚或者高速振动的模式对物品进行清洗。这种模式可以清洗一些较为坚固且清洗难度较低的物品，但是无法做到精细化清洗，无法清洗一些较为脆弱或清洗难度较高的物品。
发明内容
有鉴于此，本申请实施例提供了一种物品清洗方法、装置及终端设备，以解决现有的清洗模式无法做到精细化清洗，无法清洗一些较为脆弱或清洗难度较高的物品的问题。
本申请实施例的第一方面提供了一种物品清洗方法，包括：
获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息；
将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；
将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
本申请实施例的第二方面提供了一种物品清洗装置，包括：
信息获取模块，用于获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息；
类别识别模块，用于将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；
污损比对模块，用于将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
清洗指令模块，用于获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
在本申请的物品清洗方法中，根据物品的三维轮廓信息和颜色信息准确识别物品的物品类型和污损区域，从而根据物品类型选取对应的第一清洗策略和第二清洗策略，第一清洗策略可以用于清洗非污损区域，第二清洗策略可以清洗污损区域，根据污损区域、第一清洗策略和第二清洗策略生成第一清洗指令，以指示清洗执行装置可以有针对性地对待清洗物品进行清洗，解决了现有的清洗模式无法做到精细化清洗，无法清洗一些较为脆弱或清洗难度较高的物品的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种物品清洗方法的流程示意图；
图2是本申请实施例提供的一种物品清洗装置的结构示意图；
图3是本申请实施例提供的终端设备的示意图；
图4是本申请实施例提供的清洗执行装置的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一：
下面对本申请实施例一提供的一种物品清洗方法进行描述，请参阅附图1，本申请实施例一中的物品清洗方法包括：
步骤S101、获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息；
当存在待清洗物品需要清洗时，可以先通过4D(3D+颜色信息)扫描仪获取待清洗物品的三维轮廓信息，以及三维轮廓信息中各个轮廓点的颜色信息。
4D扫描仪可以由2D多光谱摄像头和3D深度摄像头等器件组成，可以检测物体的三维轮廓信息以及相应的颜色信息。
步骤S102、将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；
获取到待清洗物品的三维轮廓信息和颜色信息后，可以将三维轮廓信息和颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别。
例如，采集待清洗的鞋子的三维轮廓信息和颜色信息，将三维轮廓信息和颜色信息输入经过训练的神经网络模型，神经网络模型可以输出该鞋子的物品类别，比如X品牌鞋子Y系列的红蓝款，从而准确得知待清洗的鞋子的款式。
上述神经网络模型用于根据三维轮廓信息和颜色信息识别待清洗物品的物品类别。上述神经网络的训练过程如下：
A1、获取样本物品的三维轮廓信息和所述样本物品的颜色信息；
获取样本物品的三维轮廓信息和样本物品的颜色信息。在一些可能的实现方式中，可以将各种未污损的物品作为样本物品，例如可以将各类刚出厂的物品作为样本物品。对各种未污损的物品进行4D扫描，得到样本物品的三维轮廓信息和样本物品的颜色信息。
在一些可能的实现方式中，为了扩展样本集，可以通过翻转、旋转、尺度调整、亮度调节、裁剪等预处理方式对样本物品的三维轮廓信息和样本物品的颜色信息进行等预处理，扩充样本数据，并且提高神经网络模型的抗干扰性能。
A2、将所述样本物品的三维轮廓信息和所述样本物品的颜色信息输入预设的神经网络模型中进行训练，得到经过训练的神经网络模型。
将样本物品的三维轮廓信息和样本物品的颜色信息输入预设的神经网络模型中进行训练，可以得到经过训练的神经网络模型。
预设的神经网络可以近似估计样本物品的三维轮廓信息和样本物品的颜色信息中最具说服力的视觉特性，即隐变量(Latent Variable)，以及长度信息、宽度信息和高度信息之中的一种或多种，从而获得经过训练的神经网络模型。
机器学习的领域中，此类问题属于流形学习(Manifold Learning)的范畴。流形数据是在三维空间给出的，每个点拥有3个坐标，看起来是三维数据，但是其本质是位于三维空间的一张曲面上，即二维流形曲面，本征维数是2。因此，可以将其一一映射到二维平面上。
基于产品扫描获取的三维轮廓信息和颜色信息(例如运动鞋等产品的三维轮廓信息和颜色信息)的图像数据分布特征，通常可以在局部欧式空间表示成较低维特征，同时保留了大部分的有用信息。例如：运动鞋的图像可以在局部类似于欧几里德空间的较低维度表示中表达，同时保留大部分有用信息。这样就可以将数百万个图像像素转换为可解释的细微差别特征，并将其封装为少量数字的列表。
预设的神经网络模型可以根据实际情况进行选择。例如，在一些可能的实现方式中，可以选择变分自编码器(Variational Autoencoders，VAE)、对抗式生成网络/生成式对抗网络(Generative Adversarial Networks，GAN)、Wasserstein自编码器(WassersteinAuto-Encoders，WAE)以及各种混合的非监督学习模型作为预设的神经网络模型来学习流形。
当使用自编码器作为预设的神经网络模型时，神经网络模型将产品扫描获取的三维轮廓信息和颜色信息生成的影像转换为隐因子(latent factors)，也称为嵌入(embeddings)。神经网络模型利用某种形式的自动编码器框架来推断隐空间(latentspace)。神经网络模型的编码器将图像分解为其隐向量(latent vector)，然后通过神经网络模型的解码器重建图像。在此过程后，测试神经网络模型重建输入的能力并计算其不正确性，即损失值(loss)。该神经网络模型不断地迭代压缩和解压缩更多图像产生的损失值，作为提高精度的信号。反复重建迭代来驱动蝴蝶结造型(bowtie looking)模型来学习最有效的嵌入(隐因子)。与其他降维技术(如主成分分析法)类似，此技术通常会导致对数据集中的可变性部分进行编码。
选取合适的模型取决于散度测量(divergence measurement)、重构误差(reconstruction error)和强制先验(imposed priors)的设计选型。例如，β-VAE和Wasserstein自动编码模型分别利用KL散度(又称相对熵，Kullback-Leibler divergence)和对抗损失(adversarial loss)。
通常需要在输出质量和多样性之间进行权衡，根据学习的效果，来选择某一种模型。
对神经网络模型进行初始化时，可以限定激活值的均值为0，保证每一层激活值的方差一致，并且可以通过高斯分布、均匀初始化等方式阻止梯度爆炸或梯度消失。选择激活函数时，可以根据需要选择Sigmoid函数、tanh函数、ReLU函数等激活函数，对选择的激活函数进行调试，使得模型可以更容易且更快地收敛。
同时，还可以设置合理的学习率、初始化权重值和偏置值，以帮助模型可以更容易且更快地收敛。
当采用的神经网络模型为自编码器时，该模型的泛化能力较弱，在样本之间的空间中具有裂缝，导致学习得到的流形不佳。此时，可以在损失函数中增加散度正则化项，将隐空间约束至理论值范围内。
为了防止过拟合，可以增加样本集和减少模型的复杂度。此外，也可以在训练和验证的过程中随机丢弃部分神经元以避免过拟合。
其中，所述将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别包括：
B1、将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到所述待清洗物品与各个物品类别的匹配概率；
将待清洗物品的三维轮廓信息和待清洗物品的颜色信息输入经过训练的神经网络模型之后，可以得到待清洗物品与各个物品类别的匹配概率。匹配概率表示待清洗物品与该物品类别的相似程度，匹配概率越高，则待清洗物品与该物品类别的相似程度越高。
B2、若存在大于或等于预设概率阈值的匹配概率，则将匹配概率的最大值对应的物品类别判定为所述待清洗物品的物品类别。
在一些情况下，可能出现待清洗物品与各个物品类别的匹配概率均小于预设概率阈值的情况。例如，可能出现待清洗物品与物品类别1的匹配概率为0.28，与物品类别2的匹配概率为0.27，与物品类别3的匹配概率为0.20，与物品类别4的匹配概率为0.25，此时，假设预设概率阈值为0.7，虽然待清洗物品与物品类别1的匹配概率最高，但是也远低于预设概率阈值0.7，若强行将待清洗物品归类为物品类别1显然是不合理了。
因此，为了提高待清洗物品分类的合理性，可以先判断是否存在大于或等于预设概率阈值的匹配概率。
若存在大于或等于预设概率阈值的匹配概率，则可以将匹配概率的最大值对应的物品类别判定为待清洗物品的物品类别。例如，假设预设概率阈值为0.7，待清洗物品与物品类别1的匹配概率为0.78，与物品类别2的匹配概率为0.12，与物品类别3的匹配概率为0.04，与物品类别4的匹配概率为0.06，此时，待清洗物品与物品类别1的匹配概率不仅是匹配概率中的最大值，而且匹配概率大于预设概率阈值，此时将待清洗物品归类为物品类别1为相对合理的分类方式。
B3、若不存在大于或等于预设概率阈值的匹配概率，则提示匹配失败。
若不存在大于或等于预设概率阈值的匹配概率，则表示待清洗物品与任一物品类别的相似度都比较低，则此时可以提示匹配失败，从而提醒工作人员进行人工识别，确定待清洗物品的物品类别。
在一些可能的应用场景中，匹配失败是因为待清洗物品的污损区域过大，污损程度过高引起的。因此，在一些可能的实现方式中，若不存在大于或等于预设概率阈值的匹配概率，则根据预设通常清洗策略生成初步清洗指令，以较为柔和的清洗方式对待清洗物品进行初步清洗，清洗后再重新进行4D扫描，获取初步清洗后的三维轮廓信息和颜色信息，重新进行物品类别的匹配。
步骤S103、将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
确定了待清洗物品的物品类别之后，可以获取该物品类别对应的颜色信息，上述物品类别对应的颜色信息为该类物品未污损时的颜色信息，例如，可以是该类物品刚出厂时的颜色信息。
然后，将待清洗物品的颜色信息与物品类别对应的颜色信息进行比对，将两者颜色差异较大的区域确定待清洗物品的污损区域。
步骤S104、获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
确定了待清洗物品的污损区域后，可以获取上述物品类别对应的第一清洗策略和第二清洗策略。其中，第一清洗策略为清洗该类物品的非污损区域的清洗策略，第二清洗策略为清洗该类物品的污损区域的清洗策略。
之后，根据待清洗物品的污损区域、第一清洗策略和第二清洗策略可以生成第一清洗指令，并通过有线通信方式或无线通信方式将第一清洗指令发送至清洗执行装置。
第一清洗指令用于控制清洗执行装置根据第一清洗策略对上述待清洗物品的非污损区域进行清洗，根据第二清洗策略对上述待清洗物品的污损区域进行清洗。在一些可能的实现方式中，上述清洗执行装置可以为多轴机械手，此时，第一清洗指令可以包括移动路径、清洗工具(例如清洗液喷枪、高压水枪、转动毛刷、蒸汽喷枪、高压冷热气流喷枪和养护液喷枪等)、清洁液类型(例如养护液、清洗液、清水)等，可以控制多轴机械手按照预设的移动路径进行清洗，并在清洗过程中选用合适的清洗工具和合适类型的清洁液。
在一些可能的实现方式中，上述多轴机械手可以包括手部、手臂和躯干。手部安装在手臂的第一端，上述手部可以为二指或多指的夹持部、真空吸盘或磁性吸盘，手部的末端可以设置有旋转刷头，此时，手部的末端可以拥有2个自由端以实现旋转功能，例如图4中的自由度4和自由度5。手臂至少拥有3个自由度，才可以自由定位三维空间中任意一个点，例如图4中的自由度1、自由度2和自由度3。手臂的第二端与躯干相连，躯干用于安装动力源，例如电机等，为多轴机械手的运动提供动力以及提供支撑功能。
在本实施例的物品清洗方法中，可以准确识别物品的物品类别，根据物品类别获取相应的颜色信息，从而准确定位物品中的污损区域，此外，还可以根据物品类别有针对性地获取相应的第一清洗策略和第二清洗策略，根据污损区域、第一清洗策略和第二清洗策略生成第一清洗指令，从而控制清洗执行装置对待清洗物品进行精细化清洗，解决了现有的清洗模式无法做到精细化清洗，无法清洗一些较为脆弱或清洗难度较高的物品的问题。
进一步地，所述方法还包括：
C1、获取清洗后的物品的颜色信息；
对待清洗物品清洗完成后，可以检测清洗效果，获取清洗后的物品的颜色信息。
C2、将所述清洗后的物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述清洗后的物品的污损区域；
将清洗后的物品的颜色信息与上述物品类别对应的颜色信息进行比对，将两者颜色差异较大的区域确定清洗后的物品的污损区域。
C3、若所述清洗后的物品的污损区域大于或等于预设区域阈值，则根据所述清洗后的物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第二清洗指令并将所述第二清洗指令发送至所述清洗执行装置，以指示所述清洗执行装置重新执行清洗操作直至所述清洗后的物品的污损区域小于预设区域阈值，或清洗次数大于预设次数阈值。
之后，可以将清洗后的物品的污损区域的大小作为清洗效果的评价指标。
如果清洗后的物品的污损区域大于或等于预设区域阈值，则表示清洗效果不佳，仍残留有较多的污渍，此时，可以根据所述清洗后的物品的污损区域、第一清洗策略和第二清洗策略生成第二清洗指令并将第二清洗指令发送至清洗执行装置，以指示清洗执行装置重新执行清洗操作。重复执行上述步骤，直至清洗后的物品的污损区域小于预设区域阈值，或者清洗次数大于预设次数阈值。
当清洗后的物品的污损区域小于预设区域阈值时，表示该物品已经清洗干净，结束清洗程序。
当清洗此时大于预设次数阈值时，表示该物品的污渍为顽固污渍，对用户进行提示，使得用户可以使用其他更强力的方式对该物品进行清洗。
本实施例一提供的物品清洗方法中，根据物品的三维轮廓信息和颜色信息准确识别物品的物品类型和污损区域，从而根据物品类型选取对应的第一清洗策略和第二清洗策略，第一清洗策略可以用于清洗非污损区域，第二清洗策略可以清洗污损区域，根据污损区域、第一清洗策略和第二清洗策略生成第一清洗指令，以指示清洗执行装置可以有针对性地对待清洗物品进行清洗，解决了现有的清洗模式无法做到精细化清洗，无法清洗一些较为脆弱或清洗难度较高的物品的问题。
识别待清洗物品的物品类别时，判断是否存在大于或等于预设概率阈值的匹配概率，若存在，将匹配概率的最大值对应的物品类别判定为待清洗物品的物品类别，提高物品分类的合理性，从而更准确地得到物品类别。
清洗完成后，可以进行清洗效果检测，若清洗不达标，则重复进行清洗直至达到目标效果或清洗次数大于预设次数阈值，为用户提供更好的清洗体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
本申请实施例二提供了一种物品清洗装置，为便于说明，仅示出与本申请相关的部分，如图2所示，物品清洗装置包括，
信息获取模块201，用于获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息；
类别识别模块202，用于将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；
污损比对模块203，用于将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
清洗指令模块204，用于获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
进一步地，所述装置还包括：
样本信息模块，用于获取样本物品的三维轮廓信息和所述样本物品的颜色信息；
模型训练模块，用于将所述样本物品的三维轮廓信息和所述样本物品的颜色信息输入预设的神经网络模型中进行训练，得到经过训练的神经网络模型。
进一步地，所述类别识别模块202包括：
概率子模块，用于将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到所述待清洗物品与各个物品类别的匹配概率；
类别子模块，用于若存在大于或等于预设概率阈值的匹配概率，则将匹配概率的最大值对应的物品类别判定为所述待清洗物品的物品类别。
进一步地，所述类别识别模块202还包括：
失败子模块，用于若不存在大于或等于预设概率阈值的匹配概率，则提示匹配失败。
进一步地，所述装置还包括：
清洗颜色模块，用于获取清洗后的物品的颜色信息；
污损残余模块，用于将所述清洗后的物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述清洗后的物品的污损区域；
重复清洗模块，用于若所述清洗后的物品的污损区域大于或等于预设区域阈值，则根据所述清洗后的物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第二清洗指令并将所述第二清洗指令发送至所述清洗执行装置，以指示所述清洗执行装置重新执行清洗操作直至所述清洗后的物品的污损区域小于预设区域阈值，或清洗次数大于预设次数阈值。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例三：
图3是本申请实施例三提供的终端设备的示意图。如图3所示，该实施例的终端设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述物品清洗方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块201至204的功能。
示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器30执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述终端设备3中的执行过程。例如，所述计算机程序32可以被分割成信息获取模块、类别识别模块、污损比对模块以及清洗指令模块，各模块具体功能如下：
信息获取模块，用于获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息；
类别识别模块，用于将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；
污损比对模块，用于将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
清洗指令模块，用于获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
所述终端设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端设备3的示例，并不构成对终端设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述终端设备3的内部存储单元，例如终端设备3的硬盘或内存。所述存储器31也可以是所述终端设备3的外部存储设备，例如所述终端设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述终端设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种物品清洗方法，其特征在于，包括：
获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息，包括：通过4D扫描仪获取待清洗物品的三维轮廓信息，以及三维轮廓信息中各个轮廓点的颜色信息；所述待清洗物品为待清洗的鞋子；
将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别，包括：将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到所述待清洗物品与各个物品类别的匹配概率；若存在大于或等于预设概率阈值的匹配概率，则将匹配概率的最大值对应的物品类别判定为所述待清洗物品的物品类别；所述待清洗物品的物品类别为待清洗的鞋子的款式；
将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
2.如权利要求1所述的物品清洗方法，其特征在于，所述经过训练的神经网络模型的训练方法包括：
获取样本物品的三维轮廓信息和所述样本物品的颜色信息；
将所述样本物品的三维轮廓信息和所述样本物品的颜色信息输入预设的神经网络模型中进行训练，得到经过训练的神经网络模型。
3.如权利要求1所述的物品清洗方法，其特征在于，所述方法还包括：
若不存在大于或等于预设概率阈值的匹配概率，则提示匹配失败。
4.如权利要求1所述的物品清洗方法，其特征在于，所述方法还包括：
获取清洗后的物品的颜色信息；
将所述清洗后的物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述清洗后的物品的污损区域；
若所述清洗后的物品的污损区域大于或等于预设区域阈值，则根据所述清洗后的物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第二清洗指令并将所述第二清洗指令发送至所述清洗执行装置，以指示所述清洗执行装置重新执行清洗操作直至所述清洗后的物品的污损区域小于预设区域阈值，或清洗次数大于预设次数阈值。
5.一种物品清洗装置，其特征在于，包括：
信息获取模块，用于获取待清洗物品的三维轮廓信息以及所述三维轮廓信息中各个轮廓点的颜色信息，包括：通过4D扫描仪获取待清洗物品的三维轮廓信息，以及三维轮廓信息中各个轮廓点的颜色信息；所述待清洗物品为待清洗的鞋子；
类别识别模块，用于将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到待清洗物品的物品类别；所述类别识别模块包括：概率子模块，用于将所述待清洗物品的三维轮廓信息和所述待清洗物品的颜色信息输入经过训练的神经网络模型中，得到所述待清洗物品与各个物品类别的匹配概率；类别子模块，用于若存在大于或等于预设概率阈值的匹配概率，则将匹配概率的最大值对应的物品类别判定为所述待清洗物品的物品类别；所述待清洗物品的物品类别为待清洗的鞋子的款式；
污损比对模块，用于将所述待清洗物品的颜色信息与所述物品类别对应的颜色信息进行比对，确定所述待清洗物品的污损区域；
清洗指令模块，用于获取所述物品类别对应的第一清洗策略和第二清洗策略，根据所述待清洗物品的污损区域、所述第一清洗策略和所述第二清洗策略生成第一清洗指令并将所述第一清洗指令发送至清洗执行装置，所述第一清洗指令用于控制所述清洗执行装置根据所述第一清洗策略对所述待清洗物品的非污损区域进行清洗，根据所述第二清洗策略对所述待清洗物品的污损区域进行清洗。
6.如权利要求5所述的物品清洗装置，其特征在于，所述装置还包括：
样本信息模块，用于获取样本物品的三维轮廓信息和所述样本物品的颜色信息；
模型训练模块，用于将所述样本物品的三维轮廓信息和所述样本物品的颜色信息输入预设的神经网络模型中进行训练，得到经过训练的神经网络模型。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201911002488.0A 2019-10-21 2019-10-21 一种物品清洗方法、装置及终端设备 Active CN112756324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911002488.0A CN112756324B (zh) 2019-10-21 2019-10-21 一种物品清洗方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911002488.0A CN112756324B (zh) 2019-10-21 2019-10-21 一种物品清洗方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112756324A CN112756324A (zh) 2021-05-07
CN112756324B true CN112756324B (zh) 2023-02-17

Family

ID=75691745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911002488.0A Active CN112756324B (zh) 2019-10-21 2019-10-21 一种物品清洗方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112756324B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114154272B (zh) * 2021-12-24 2022-06-21 广州涂涂乐科技有限公司 一种应用于喷胶设备的自动清洁控制方法及系统
CN115846306A (zh) * 2022-12-29 2023-03-28 河北中瓷电子科技股份有限公司 生瓷片自动化清扫系统、方法、装置及终端设备
CN116988244A (zh) * 2023-09-28 2023-11-03 江苏华一机械有限公司 用于织物的超声波清洗优化方法及系统
CN118455216B (zh) * 2024-07-10 2024-09-20 青岛富勒姆科技有限公司 一种清洗机的人工智能控制系统及清洗机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108814501A (zh) * 2018-06-28 2018-11-16 北京金山安全软件有限公司 一种洗涤控制的优化方法、装置、电子设备、存储介质
CN108823901A (zh) * 2018-09-14 2018-11-16 宁波慈溪小家电创新设计研究院有限公司 一种污渍自动识别清洗的洗衣装置及洗衣方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108814501A (zh) * 2018-06-28 2018-11-16 北京金山安全软件有限公司 一种洗涤控制的优化方法、装置、电子设备、存储介质
CN108823901A (zh) * 2018-09-14 2018-11-16 宁波慈溪小家电创新设计研究院有限公司 一种污渍自动识别清洗的洗衣装置及洗衣方法

Also Published As

Publication number Publication date
CN112756324A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112756324B (zh) 一种物品清洗方法、装置及终端设备
Nguyen et al. Detecting object affordances with convolutional neural networks
Wu et al. 3d shapenets for 2.5 d object recognition and next-best-view prediction
Aldoma et al. Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation
Englander Machine learning of visual recognition using genetic algorithms
Wang et al. Motion segmentation based robust RGB-D SLAM
Abelha et al. Learning how a tool affords by simulating 3D models from the web
Tang et al. Learning collaborative pushing and grasping policies in dense clutter
Sheta et al. Genetic algorithms: a tool for image segmentation
Wimmer et al. Learning local objective functions for robust face model fitting
WO2021009062A1 (en) Methods of estimating a bare body shape from a concealed scan of the body
Eppner et al. Visual detection of opportunities to exploit contact in grasping using contextual multi-armed bandits
Remus et al. i2c-net: using instance-level neural networks for monocular category-level 6d pose estimation
US11775699B2 (en) Extracting grasping cues from tool geometry for digital human models
US11328170B2 (en) Unknown object identification for robotic device
Florence et al. Robot-supervised learning for object segmentation
Figueiredo et al. Automatic object shape completion from 3d point clouds for object manipulation
Erich et al. Learning depth completion of transparent objects using augmented unpaired data
Tahoun et al. Visual-tactile fusion for 3D objects reconstruction from a single depth view and a single gripper touch for robotics tasks
Saund et al. CLASP: Constrained Latent Shape Projection for Refining Object Shape from Robot Contact
Bergström et al. Integration of visual cues for robotic grasping
Moreno et al. Learning to grasp from point clouds
Xi et al. Localizing 3-d anatomical landmarks using deep convolutional neural networks
Rumezhak et al. Towards realistic symmetry-based completion of previously unseen point clouds
Safronov et al. Active Perception for Ambiguous Objects Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant