CN113298100A - 一种数据清洗的方法、自助设备及存储介质 - Google Patents

Abstract

本申请适用于自助设备技术领域，提供了一种数据清洗的方法，包括：获取第一图像；获取第一图像与第一对象集中的每个第一对象的匹配度；将匹配度最大的预设数量个第一对象作为第一子集；将其余第一对象作为第二子集；按照匹配度从高至低的顺序，展示第一子集和第二子集中的各个对象；响应于针对目标对象的选择操作确定目标对象；将第一图像添加到目标对象的样本图像集；若目标对象为第二子集中的第一对象，则确定目标对象失配一次，保存目标对象的本次失配记录；针对第一对象集中每个第一对象，统计每个第一对象的历史失配次数；若第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留样本图像集中符合样本条件的图像。

Description

一种数据清洗的方法、自助设备及存储介质

技术领域

本申请属于自助设备技术领域，尤其涉及一种数据清洗的方法、自助设备及存储介质。

背景技术

零售领域中的自助设备开始得到广泛的应用，其中的自助称重设备或自助收银设备可帮助商户节省人力成本。以自助称重设备为例，通过计算机视觉技术识别待称重的目标物，可以为消费者使用自助称重设备带来方便。但是，由于零售业中的环境的变化比较频繁，例如商品更换外包装；又例如，光照环境变化；再例如，自助设备被搬动导致的摄像装置的焦距变化。自助收银设备等自助设备也面临同样的问题。这些环境的变化导致对待识别商品的识别的准确率下降，从而导致用户体验变差。

发明内容

本申请实施例提供了一种数据清洗的方法、自助设备及存储介质，可以解决以上问题的至少一部分。

第一方面，本申请实施例提供了一种数据清洗的方法，包括：

获取第一图像；

获取所述第一图像与第一对象集中的每个第一对象的匹配度；

将所述匹配度最大的预设数量个所述第一对象作为第一子集；将所述第一对象集中除属于所述第一子集外的其余所述第一对象作为第二子集；

按照所述第一图像的所述匹配度从高至低的顺序，展示所述第一子集和所述第二子集中的各个对象；

响应于针对目标对象的选择操作，确定所述目标对象；所述目标对象为所述第一子集和所述第二子集中的任一第一对象；

将所述第一图像添加到所述目标对象的样本图像集；

若所述目标对象为所述第二子集中的第一对象，则确定所述目标对象失配一次，保存所述目标对象的本次失配记录；

针对第一对象集中每个第一对象，统计每个所述第一对象的历史失配次数；

若所述第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像。

可以理解的是，本申请实施例通过将待识别商品的图像与第一对象的进行匹配，按匹配度由高到低的顺序显示第一对象，以方便用户尽快的选择合适的商品标签。另一方面，通过用户对第一对象的选择，确定自助设备对该商品的识别是否为准确的。将待识别商品的图像保存于用户选择的第一对象的样本图像集中。若检测到某一第一对象对应的商品的历史失配次数高于预设数量，则对该标签的样本图库进行清洗，保留符合样本条件的图像。通过用户的选择确定对商品图像的识别是否准确，并扩充第一对象的样本图像集，以及对样本图像集中图像的清洗；可以实现不需要零售商对自助设备进行干预，即完成商品的样本图像集进行更新，使得该自助设备随着使用次数的增加，识别准确率逐渐提高，从而提升了消费者的用户体验，并且节约了零售商的人力成本。

第二方面，本申请实施例提供了一种数据清洗的装置，包括：

图像获取模块，用于获取第一图像；

匹配模块，用于获取所述第一图像与第一对象集中的每个第一对象的匹配度；

分集模块，用于将所述匹配度最大的预设数量个所述第一对象作为第一子集；将所述第一对象集中除属于所述第一子集外的其余所述第一对象作为第二子集；

展示模块，用于按照所述第一图像的所述匹配度从高至低的顺序，展示所述第一子集和所述第二子集中的各个对象；

目标对象确定模块，用于响应于针对目标对象的选择操作，确定所述目标对象；所述目标对象为所述第一子集和所述第二子集中的任一第一对象；

图像添加模块，用于将所述第一图像添加到所述目标对象的样本图像集；

失配确定模块，用于若所述目标对象为所述第二子集中的第一对象，则确定所述目标对象失配一次，保存所述目标对象的本次失配记录；

统计模块，用于针对第一对象集中每个第一对象，统计每个所述第一对象的历史失配次数；

清洗模块，用于若所述第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像。

第三方面，本申请实施例提供了一种自助设备，包括：

存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的方法步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法步骤。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的自助设备的结构示意图；

图2是本申请另一实施例提供的自助设备的结构示意图；

图3是本申请一实施例提供的数据清洗的方法的流程示意图；

图4是本申请另一实施例提供的数据清洗的方法的流程示意图；

图5是本申请另一实施例提供的数据清洗的方法的流程示意图；

图6是本申请另一实施例提供的数据清洗的方法的流程示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

零售领域中的自助设备开始得到广泛的应用，其中的自助称重设备或自助收银设备可帮助商户节省人力成本。以自助称重设备为例，通过计算机视觉技术识别待称重的目标物，可以为消费者使用自助称重设备带来方便。但是，由于零售业中的环境的变化比较频繁，例如商品更换外包装；又例如，光照环境变化；再例如，自助设备被搬动导致的摄像装置的焦距变化。自助收银设备等自助设备也面临同样的问题。这些环境的变化导致对待识别商品的识别的准确率下降，从而导致用户体验变差。

为了解决上述问题，本申请实施例提供了一种数据清洗的方法，将待识别商品的图像与商品标签的进行匹配，按匹配度由高到低的顺序显示商品类别的标签，以方便用户尽快的选择合适的商品标签。另一方面，通过用户对商品类别标签的选择，确定自助设备对该商品的识别是否为准确的。将待识别商品的图像保存于用户选择的标签对应的样本图像集中。若检测到某一商品标签对应的商品的识别正确率低于预设值，则对该标签的样本图库进行清洗，保留符合样本条件的图像。通过用户的选择确定对商品图像的识别是否准确，并扩充商品标签对应的样本图像集，以及对样本图像集中图像的清洗；可以实现不需要零售商对自助设备进行干预，即完成商品的样本图像集进行更新，使得该自助设备越使用，识别准确率越高，提升了消费者的用户体验，并且节约了零售商的人力。

实施本申请实施例时，可以将商品标签，即第一对象处理为计算机可处理的数据对象。每个商品标签具有与该标签对应的样本图像集，以及通过特征提取模型，例如特征提取网络，获取的各个样本图像集的特征向量。在对待识别商品进行识别时，通过特征提取模型提取获取该待识别商品图像的特征向量，并与各个商品标签的样本图像集的特征向量进行匹配，获得待识别商品与商品标签匹配度的匹配结果。以此方法作为自助设备的商品识别方法，一方面每次进行识别时，只需要提取待识别商品的图像的特征向量，与已保存的样本图像集的特征向量进行匹配，可以提高识别速度；另一方面，此种识别方法可以在样本图像集的样本数量较少的情况下实现对货品的识别，避免了传统的识别网络，需要大量样本图像训练识别网络的缺陷；再一方面，此种识别方法因所需样本数量较少，为本申请的数据清洗的方法提供了自动获取样本的基础，使得本方法提供的数据清洗的方法，可以根据消费者的选择操作更新样本图像集，并且因对样本图像集的数量要求低，可以实现及时对数据进行清洗，从而提高了对商品图像识别的正确率。

图1示出的是本申请实施例提供的一种自助设备的结构示意图。如图1所示，该实施例的自助设备D10包括：至少一个处理器D100(图1中仅示出一个)处理器、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现本申请各实施提供的数据清洗的方法的步骤。或者，所述处理器D100执行所述计算机程序D102时实现本申请各个实施例提供的数据清洗的装置中各模块/单元的功能。

所述自助设备D10可以是自助称重设备、自助收银设备、自助售货柜、自动售货机等自助设备。该自助设备可包括，但不仅限于，处理器D100、存储器D101。本领域技术人员可以理解，图1仅仅是自助设备D10的举例，并不构成对自助设备D10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器D100可以是中央处理单元(Central Processing Unit，CPU)，该处理器D100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器D101在一些实施例中可以是所述自助设备D10的内部存储单元，例如自助设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述自助设备D10的外部存储设备，例如所述自助设备D10上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器D101还可以既包括所述自助设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。

当本申请提供的电子设备D10是自助设备时，图2示出的是本申请实施例提供的一种自助设备的结构示意图。所述自助设备还包括：摄像组件D111、显示组件D112；

所述摄像组件D111与所述处理器D100通信耦合；所述显示组件D112与所述处理器D100通信耦合。

所述显示组件D112，用于通过用户交互界面D1121展示第一对象集中的第一对象；

所述摄像组件D111，用于获取待识别商品的第一图像。

在本申请的一些非限定性的示例中，所述摄像组件D111通过有线或无线的方式与所述处理器D100通信；所述处理器D110可以内置于所述显示组件D112通过内部总线的方式通信，也可以通过有线或无线的方式与所述显示组件D112通信。

如图2所示，在本申请的一些实施中，所述自助设备还包括载物台组件D113，当所述自助设备为自助称重设备时，所述载物台组件为秤台组件。所述秤台组件D113用于承载待称重物品并获取所述待称重物品的重量。所述秤台组件D113通过重力传感器获取待称重物品的重量，所述重力传感器可以通过有线或无线的方式与所述处理器D100通信。

图3示出了本申请实施例提供的数据清洗的方法，应用于上述图1所示自助设备，可由所述自助设备的软件和/或硬件实现。如图3所示，该方法包括步骤S110至S190。各个步骤的具体实现原理如下：

S110，获取第一图像。

非限定性的，所述第一图像包括但不限于置于自助称重设备秤台组件上待称重商品的图像，或置于自助收银设备的载物台上的待识别商品的图像。

在一个非限定性的示例中，消费者将待称重的商品放置在自助称设备上，该自助称重设备通过摄像组件拍摄一次或多次待称重商品的图像。

在一个非限定性的示例中，根据称重台的重力传感装置的重力信号的改变，例如，重力传感信号检测到重力增加超过称重阈值，触发摄像组件获取被称重物品的图像。

在一个非限定性的示例中，根据消费者的操作，触发通过摄像组件获取被称重物品的图像。例如，通过检测消费者在用户交互界面的选择操作，触发摄像组件获取被称重物品的图像。

在一个非限定性的示例中，通过结合重力传感装置的重力信号改变和检测消费者手部运动轨迹，触发通过摄像组件获取被称重物品的图像。例如，重力传感信号检测到重力增加超过称重阈值后，开始通过经训练的跟踪检测模型检测消费者手部的运动轨迹，当消费者手部运动轨迹移出自助设备载物台区域，则触发通过摄像组件获取被称重物品的图像。

S120，获取所述第一图像与第一对象集中的每个第一对象的匹配度。

非限定性的，所述第一对象集中的第一对象，为自助设备中包含的，已经可以通过自助设备进行识别的商品的商品标签，自助设备通过对商品的识别，从这些商品标签中选择与商品最为匹配的标签推荐给消费者选择，以帮助消费者实现快速称重或快速收银结账，这里可以视商品标签为第一对象，一个或多个第一对象构成第一对象集。实施本申请实施例时，可以将商品标签处理为计算机可处理的数据对象，例如图标、按钮、选择框、数据库中的标签字段或程序实例中的标签数据等计算机可以处理的数据对象。

在一个非限定性的示例中，自助设备将所述第一图像与第一对象集中每个第一对象进行匹配，获得匹配度。非限定性的，通过经训练的商品分类模型对所述第一图像进行识别，获得所述第一图像为某一商品品类的概率，从而获得与代表的商品品类的第一对象之间的匹配度。

在一个非限定性的示例中，自助设备将所述第一图像与所述第一对象集中每个第一对象进行匹配，获得匹配度，包括：针对第一对象集中的每个第一对象的样本图像集，对该样本图像集进行特征提取，获得每个所述第一对象对应的第一特征向量。

将所述第一图像与所述第一对象集中每个所述第一对象进行匹配，获得匹配结果，包括：提取所述第一图像的第二特征向量；

根据第二特征向量分别与第一对象集中每个第一对象对应的第一特征向量的内积，确定所述第一图像与第一对象集中每个对象的相似度；

将所述第一图像与第一对象集中每个第一对象的相似度作为所述匹配度。

在一个非限定性的示例中，获取第一对象集中每个对象的样本图像集的第一特征向量；获取所述第一图像的第二特征向量；根据所述第二特征向量与第一对象集中各个样本图像集的第一特征向量的相似度，确定所述第一图像与第一对象集中每个对象的匹配度。

在一个具体的示例中，可以采用特征提取模型，例如，特征提取网络，获取图像的特征向量，所述图像包括第一图像和样本图像集中的图像。由此，针对第一对象集中的每个第一对象的样本图像集，对该样本图像集进行特征提取，获得每个所述第一对象对应的第一特征向量。具体可以为：针对第一对象集中每个第一对象的样本图像集，通过特征提取网络提取样本图像集中每个样本图像的特征，将每个样本图像相加后进行归一化处理，获得第一对象对应的第一特征向量；应理解，每个第一对象具有与其唯一对应的一个第一特征向量。非限定性的，所述归一化处理包括但不限于线性归一化处理或非线性归一化处理。其中，线性归一化处理包括但不限于最大最小值归一化处理；非线性归一化包括但不限于对数函数归一化转换、反余切函数归一化转换等。

在本申请的一些非限定性的具体示例中，特征提取网络采用Resnet网络，例如，Resnet 50网络，用以提取图像的特征向量。在另一些具体的示例中，在Resnet 50网络的输出端添加一个降维网络，用以提取图像的特征向量，该降维网络可以是将特征维度将至256维的网络。应理解，该降维网络可以是一层或多层的神经网络。可以理解的是，通过添加降维网络，可以既保证准确率，又不占用较多的存储空间，和保证较快的识别速度。在一些具体的示例中，采用包含多种商品品类的图像的训练数据训练Resnet 50网络，或训练Resnet50网络和降维网络的特征提取网络。可以理解的是，训练数据越丰富，特征提取网络的准确性会越高。

S130，将所述匹配度最大的预设数量个所述第一对象作为第一子集；将所述第一对象集中除属于所述第一子集外的其余所述第一对象作为第二子集。

非限定性的，预设数量可以为在自助设备的用户交互界面首页可显示的最多数量；也可以为根据对自助设备识别性能进行测试后，根据对识别准确率的统计确定的数量；也可以为通过对用户心理调查确定的适合提供给用户的推荐品类数量。在一个具体的示例中，根据用户交互界面的可显示第一对象的数量，确定此预设数量为10个。

在一个非限定性的示例中，共有100个品类的商品，对应100个商品标签，即第一对象，自助设备将匹配度最大的前10个的第一对象作为第一子集，其余的90个第一对象作为第二子集。

S140，按照所述第一图像的所述匹配度从高至低的顺序，展示所述第一子集和所述第二子集中的各个所述第一对象。

展示所述第一对象包括通过将第一对象映射为可视的图标、按钮、选择框等提示信息的等方式进行展示。所述展示所述第一对象集中的所述第一对象包括但不限于：通过图2所示的显示组件显示；通过增强现实技术(Augmented Reality，AR)，于用户AR设备显示；通过投影设备显示；经由语音合成和发声设备，通过语音方式展示。

非限定性的，在展示第一子集的第一对象的同一用户界面，同时展示第二子集中的第一对象。例如，在用户交互界面的两侧，同时显示第一子集和第二子集的第一对象。

非限定性的，在同一用户交互界面，按照所述第一图像的所述匹配度从高至低的顺序，展示所述第一子集和所述第二子集中的各个所述第一对象。非限定性的，按照所述第一图像的所述匹配度从高至低的顺序，展示将所述第一子集和所述第二子集中的各个所述第一对象展示与不同页面，响应于消费者的页面选择操作，展示不同页面的第一对象。例如，在用户交互界面显示第一子集第一对象，在用户选择了用户交互界面的下一页按钮后，显示第二集的第第一对象。当然，也可以在用户交互界面的多个页面显示第一对象集的第一对象，通过消费者对页面的选择操作切换显示。

S150，响应于针对目标对象的选择操作，确定所述目标对象；所述目标对象为所述第一子集和所述第二子集中的任一第一对象。

非限定性的，所述选择操作包括但不限于针对展示于用户界面的第一对象的按键选择操作、触摸屏触摸选择操作、语音选择指令和手势识别选择指令等。

在一个非限定性的示例中，消费者在用户操作界面，例如触摸屏，通过触摸选择操作，点选了在该触摸屏展示的任一个第一对象。响应于该用户的选择操作，将用户选择的确定的第一对象作为目标对象。

应理解，用户可能选择第一子集中的第一对象，也可能选择第二子集中的第一对象，这取决于对待识别商品的识别准确程度。本申请实施例恰恰是利用了机器识别和消费者的识别能力的差异，通过消费者的选择，确定展示的物品是第一子集中的第一对象还是第二子集中的第一对象，从而可以确定自助设备是否准确的识别的商品品类。

S160，将所述第一图像添加到所述目标对象的样本图像集。

非限定性的，目标对象的样本图像集为与目标对象对应的样本图像的数据集，包括但不限于样本图像数据库或样本图像文件集。

在一个非限定性的示例中，自助设备将所述第一图像添加到所述目标对象的样本图像集，第一图像成为样本图像集中的一个图像。非限定性的，目标对象的样本图像集中的第一图像按添加顺序排列。

S170，若所述目标对象为所述第二子集中的第一对象，则确定所述目标对象失配一次，保存所述目标对象的本次失配记录。

可以理解的是，若根据匹配度顺序展示第一对象的情况下，消费者基于自身认知的判断，仍然选择第二子集中的第一对象，则说明第一子集中的推荐全部失败了；也就是说本次对待识别商品的识别，在消费者看来，本次识别的结果是错误的，因此，若所述目标对象为所述第二子集中的第一对象，则确定所述目标对象失配一次，保存所述目标对象的本次失配记录。非限定性的，失配记录保存在于目标对象对应的存储介质中。

S180，针对第一对象集中每个第一对象，统计每个所述第一对象的历史失配次数。

非限定性的，所述历史失配次数可以为自统计时刻起，前溯预设时间内的失配记录的次数。例如，自统计时刻起，前溯2天内的失配记录次数。

在一个非限定性的示例中，自助设备定时轮询第一对象集中的每个第一对象，统计每个所述第一对象的历史失配次数。

在一个非限定性的示例中，自助设备响应于每个第一对象的一次失配，统计该对象的历史失配次数。

S190，若所述第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像。

非限定性的，所述预设次数可以为经验值，例如，过去2天内发生15次失配，则认为失配次数过高，识别率降低，将15次作为预设次数。

在一个非限定性的示例中，若所述第一对象的历史失配次数达到预设次数，例如15次，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像。非限定性的，所述对该第一对象的样本图像集进行清洗可以为，将该第一随想的样本图像集中的图像进行分类，将分类后样本图像数量最多的类别中的各个第一图像作为新的样本图像集，保留该类别的样本图像，删除其余类别的样本图像。

可以理解的是，本申请实施例通过将待识别商品的图像与第一对象的进行匹配，按匹配度由高到低的顺序显示第一对象，以方便用户尽快的选择合适的商品标签。另一方面，通过用户对第一对象的选择，确定自助设备对该商品的识别是否为准确的。将待识别商品的图像保存于用户选择的第一对象的样本图像集中。若检测到某一第一对象对应的商品的历史失配次数高于预设数量，则对该标签的样本图库进行清洗，保留符合样本条件的图像。通过用户的选择确定对商品图像的识别是否准确，并扩充第一对象的样本图像集，以及对样本图像集中图像的清洗；可以实现不需要零售商对自助设备进行干预，即完成商品的样本图像集进行更新，使得该自助设备随着使用次数的增加，识别准确率逐渐提高，从而提升了消费者的用户体验，并且节约了零售商的人力成本。

在上述图3所示的数据清洗的方法的实施例的基础上，在步骤S190，若所述第一对象的历史失配次数达到预设次数，对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像，如图4所示，包括步骤：S1901至步骤S1904。

S1901，若所述第一对象在预设时间段内的所述历史失配次数达到所述预设次数。

非限定性的，所述预设时间段为自统计时刻起，前溯预设时间的一段时间。例如，自统计时刻起前溯2天，的2天时间。

在一个非限定性的示例中，自助设备检测到第一对象在2天内的历史失配次数达到预设次数，例如10次。

S1902，获取所述第一对象的所述样本图像集中各个图像的特征向量。

在一个非限定性的示例中，采用前述任意特征提取模型获取所述第一对象的所述样本图像集中各个图像的特征向量。

S1903，根据各个所述特征向量对所述样本图像集中的图像进行分类，确定图像数量最多的类别为特征类别。

非限定性，可以通过统计模型、深度学习模型等分类模型对样本图像集中的第一图像进行分类。

在一个非限定性的示例中，根据各个所述特征向量对所述样本图像集中的图像进行分类，确定图像数量最多的类别为特征类别，包括：对各个所述特征向量进行聚类，获得第一预设数量的第一类别；计算各个第一类别两两之间的相似度，将相似度大于相似度阈值的第一类别进行合并，得到多个第二类别；将各个所述第二类别作为第一类别，重复计算各个第一类别两两之间的相似度，将相似度大于相似度阈值的第一类别进行合并，得到多个第二类别的步骤，直到各个类别间的相似度均小于所述相似度阈值，得到至少一个第二类别；选取各个所述第二类别中图像数量最多的类别作为特征类别。

可以理解的是，如果消费者选择的目标对象为第二子集中的第一对象，则第一图像的与目标对象的匹配关系是通过消费者的选择确定的。虽然通过消费者的选择，确定了第一图像中的商品为第二子集中的第一对象，即商品标签对应的商品，但是应考虑到，消费者的选择也会出现偏差，例如消费者将黄色的苹果误认为是梨。但是可以认为，大部分消费者的选择大体上是正确的；因此，可以用分类的方法，将被错误添加到样本图像集中的第一图像滤除。样本图像集中图像数量多的子类可以认为是正确的对应于目标对象的图像，而图像数量较少的类别，可以认为是被误选添加到样本图像集的图像。通过对样本图像集分类后，图像数量最多的类别作为特征类别。可以降低误选图像的干扰，提高自助设备的识别精度。

在一个非限定性的示例中，根据各个所述特征向量对所述样本图像集中的图像进行分类，确定图像数量最多的类别为特征类别，包括：对各个所述特征向量进行聚类，将所述样本图像集中的图像分为第一预设数量个类别；迭代执行合并操作的步骤，直至两两类别间的相似度均小于或等于相似度阈值；所述合并操作包括：计算任两个类别之间的相似度，将相似度大于所述相似度阈值的两个类别进行合并；选取图像数量最多的类别作为特征类别。

在一个具体的示例中，采用K均值法对各个所述特征向量进行聚类，将所述样本图像集中的图像分为第一预设数量个类别；第一预设类别数量可以根据预备图像集中的图像第一图像数量，经有限次试验确定例如第一预设类别数量可以设置为10个类别。一个具体的示例中，通过K均值法将样本图像集中的30个图像聚类为10个类别。可以通过判断各个聚类中心的距离是否小于相似度阈值，来判断两个聚类类别的相似的。计算聚类类别的两两之间的相似度，将相似度大于相似阈值，即类中心距离小于预设阈值的两个类别进行合并。在一些示例中，可以任选一个类别，计算其与其他类别的相似度，若相似度小于相似阈值则将两个类别合并，重复任选一个类别计算其与其他类别的相似度，若相似度小于相似阈值则将两个类别合并的步骤；直至两两类别间的相似度均小于或等于相似度阈值。在另一些示例中，可以任选一个类别，计算该类别与其他所有类别的相似度，将该类别与其最相似的类别合并，再任选一个类别重复计算该类别与其他所有类别的相似度，将该类别与其最相似的类别合并的步骤。当经过以上的合并步骤后，得到的所有第二类别的两两之间的相似度均大于相似阈值，此时认为各个类别间的差异足够大，各个类别的图像分属不同的商品，选取图像数量最多的类别作为特征类别。

S1904，保留所述特征类别的图像作为所述对象的样本图像集的图像。

在一个非限定性的示例中，根据所述特征类别中的各个图像的时间标识，对所述特征类别中的各个图像进行排序；所述时间标识可以为图像的获取时间，也可以为图像的添加时间。保留所述时间标识与当前时间最接近的前M个图像，作为所述对象的样本图像集的图像；其中，M为大于或等于1的整数。例如M为20，则保留与当前时间最接近的20个图像。

可以理解的是，根据所述特征类别中的各个图像的时间标识，对所述特征类别中的各个图像进行排序，保留所述时间标识与当前时间最接近的前M个图像，在商品零售环境中，保留最新的第一图像，保证保留下来的图像的时效性，可以使自助设备更适应环境的变化，提高自助设备的识别准确率。

在上述图3所示的数据清洗的方法的实施例的基础上，在步骤S110，获取第一图像，如图5所示，还包括步骤：S1001和步骤S1002。

S1001，响应于图像获取触发信号，获取第一目标区域的第二图像。

非限定性的，所述图像获取触发信号包括但不限于：消费者通过用户交互界面发出的触发信号，例如，消费者通过自助设备的用户交互界面发出的开始结账的指令，或开始称重的指令；自助设备的传感装置接收的到触发信号，例如，重力传感装置接收到的重力变化信号，又例如，检测到距离传感器接收到的物体靠近的传感信号。

非限定性的，所述第一目标区域包括但不限于自助设备的摄像组件可以拍摄到的区域，例如，摄像组件可以拍摄到的秤台组件所在区域。

在一个非限定性的示例中，秤台组件的重力传感装置检测到的重力增加信号，响应于该信号的触发，获取秤台所在区域的第二图像。该第二图像不仅包含秤台上物品的图像，也包含秤台周围的物品的图像。

可以理解的是，摄像组件即便经过人为的调整方向和角度，仍然不可避免的将包含秤台周围物品的图像拍摄下来，而秤台周围物品的图像，会对真正要识别的商品产生干扰。

S1002，提取所述第二图像中第二目标区域，获得所述第一图像。

非限定性的，所述第二目标区域包括，预设的区域，例如，载物台上标记出的区域；或跟踪网络训练样本标注区域，训练样本标注区域为训练样本图像中经人工标注的，需要被跟踪网络提取的区域。

在一个非限定性的示例中，通过识别载物台组件上的标记区域，通过图像分割算法提取该标记区域内的图像作为所述第一图像。

在一个非限定性的示例中，载物台组件为秤台组件，采用标注秤台区域的训练样本图像训练跟踪网络，例如，全连接孪生网络(Fully-Convolutional Siamese Networks，Siamese-FC)，使该网络得到识别秤台区域的能力。应用训练过的跟踪网络，识别秤台区域，并抠取秤台区域内的图像作为第一图像。当然，本领域技术人员可以在实施本申请实施例时选择合适的跟踪模型，例如相关滤波模型，或卷积神经网络模型，这里不对跟踪模型做具体的限定。

可以理解的是，通过检测器将载物台或预设区域内的物品抠取出来非常的关键，可以排除目标物品周围其他物品的干扰，提高识别的准确率。

在上述图3所示的数据清洗的方法的实施例的基础上，在步骤S160，将所述第一图像添加到与所述目标对象对应的样本图像集前，如图6所示，还包括步骤：S1601和步骤S1602。

S1601，判断所述第一图像的质量是否满足预设质量要求。

在消费者使用自助设备时，采集到的第一图像可能会因消费者的操作动作或其他物品产生遮挡；或者在一些意外的情况下第一图像的光照可能过度或者不足；如果将此种第一图像添加到样本图像集，将会降低自助设备的图像识别精度。因此需要在添加第一图像到样本图像集前，对第一图像的质量进行检测，以排除发生遮挡的图像，以及排除掉光照条件不符合要求的图像。

可以理解的是，这里指的添加第一图像到样本图像集前，可以为获取第一图像的步骤，以及该步骤到添加第一图像到样本图像集前的任意时刻。

在一个非限定性的示例中，采用经过训练的质量分类模型，对第一图像进行分类判断，确定第一图像是否为满足预设质量要求的图像。具体的，以第一图像作为质量分类模型的输入，通过质量分类模型输出该第一图像为满足预设质量要求的概率是否超过质量阈值，例如0.7，来确定该第一图像是否满足预设质量要求。可以理解，质量分类模型可以为质量分类网络，采用遮挡图像样本、光照过度样本和光照不足样本等不符合质量要求的负样本，以及采用符合质量要求的无遮挡、正常光照的正常样本，训练该质量分类网络。非限定性的，该质量分类网络可以是任意可实现分类任务的神经网络模型，例如，InceptionV3、Xception或MobileNet。本领域技术人员可以根据实际情况进行选择。

S1602，若所述第一图像满足预设质量要求，则将所述第一图像添加到与所述目标对象对应的所述样本图像集。

非限定性的，所述预设质量要求为第一图像为合格图像的概率大于质量阈值，例如，质量阈值为0.7。

在一个非限定性的示例中，若所述第一图像经质量分类模型分类，判断其满足预设质量要求的图像的概率为0.92，大于质量阈值0.7，则确定该第一图像满足预设的质量要求，将该第一图像添加到与目标对象对应的样本图像集。否则，丢弃该第一图像。

可以理解的是，通过对第一图像的质量进行检测，并滤除不符合质量要求的第一图像，可以提高自助设备的识别精度。

对应于上述图3所示的数据清洗的方法，本申请实施例提供的了一种数据清洗的装置，包括：

图像获取模块M110，用于获取第一图像。

匹配模块M120，用于获取所述第一图像与第一对象集中的每个第一对象的匹配度。

分集模块M130，用于将所述匹配度最大的预设数量个所述第一对象作为第一子集；将所述第一对象集中除属于所述第一子集外的其余所述第一对象作为第二子集。

展示模块M140，用于按照所述第一图像的所述匹配度从高至低的顺序，展示所述第一子集和所述第二子集中的各个对象。

目标对象确定模块M150，用于响应于针对目标对象的选择操作，确定所述目标对象；所述目标对象为所述第一子集和所述第二子集中的任一第一对象。

图像添加模块M160，用于将所述第一图像添加到所述目标对象的样本图像集。

失配确定模块M170，用于若所述目标对象为所述第二子集中的第一对象，则确定所述目标对象失配一次，保存所述目标对象的本次失配记录。

统计模块M180，用于针对第一对象集中每个第一对象，统计每个所述第一对象的历史失配次数。

清洗模块M190，用于若所述第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在自助设备上运行时，使得自助设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据清洗的方法，其特征在于，包括：

获取第一图像；

获取所述第一图像与第一对象集中的每个第一对象的匹配度；

将所述匹配度最大的预设数量个所述第一对象作为第一子集；将所述第一对象集中除属于所述第一子集外的其余所述第一对象作为第二子集；

按照所述第一图像的所述匹配度从高至低的顺序，展示所述第一子集和所述第二子集中的各个所述第一对象；

响应于针对目标对象的选择操作，确定所述目标对象；所述目标对象为所述第一子集和所述第二子集中的任一第一对象；

将所述第一图像添加到所述目标对象的样本图像集；

若所述目标对象为所述第二子集中的第一对象，则确定所述目标对象失配一次，保存所述目标对象的本次失配记录；

针对第一对象集中每个第一对象，统计每个所述第一对象的历史失配次数；

若所述第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像。

2.如权利要求1所述的方法，其特征在于，若所述第一对象的历史失配次数达到预设次数，则对该第一对象的样本图像集进行清洗，保留所述样本图像集中符合样本条件的图像，包括：

若所述第一对象在预设时间段内的所述历史失配次数达到所述预设次数；

获取所述第一对象的所述样本图像集中各个图像的特征向量；

根据各个所述特征向量对所述样本图像集中的图像进行分类，确定图像数量最多的类别为特征类别；

保留所述特征类别的图像作为所述对象的样本图像集的图像。

3.如权利要求2所述的方法，其特征在于，保留所述特征类别的图像作为所述对象的样本图像集的图像，包括：

根据所述特征类别中的各个图像的时间标识，对所述特征类别中的各个图像进行排序；

保留所述时间标识与当前时间最接近的前M个图像，作为所述对象的样本图像集的图像；其中，M为大于或等于1的整数。

4.如权利要求2所述的方法，根据各个所述特征向量对所述样本图像集中的图像进行分类，确定图像数量最多的类别为特征类别，包括：

对各个所述特征向量进行聚类，将所述样本图像集中的图像分为第一预设数量个类别；

迭代执行合并操作的步骤，直至两两类别间的相似度均小于或等于相似度阈值；所述合并操作包括：计算任两个类别之间的相似度，将相似度大于所述相似度阈值的两个类别进行合并；

选取图像数量最多的类别作为特征类别。

5.如权利要求1所述的方法，其特征在于，获取第一图像，包括：

响应于图像获取触发信号，获取第一目标区域的第二图像；

提取所述第二图像中的第二目标区域，获得所述第一图像。

6.如权利要求1所述的方法，其特征在于，获取所述第一图像与第一对象集中每个对象的匹配度，包括：

获取第一对象集中每个对象的样本图像集的第一特征向量；

获取所述第一图像的第二特征向量；

根据所述第二特征向量与第一对象集中各个样本图像集的第一特征向量的相似度，确定所述第一图像与第一对象集中每个对象的匹配度。

7.如权利要求1所述的方法，其特征在于，将所述第一图像添加到所述目标对象的样本图像集，包括：

判断所述第一图像的质量是否满足预设质量要求；

若所述第一图像满足预设质量要求，则将所述第一图像添加到所述目标对象的所述样本图像集。

8.一种自助设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

9.如权利要求8所述的自助设备，其特征在于，还包括：摄像组件和显示组件；

所述摄像组件与所述处理器通信耦合；所述显示组件与所述处理器通信耦合；

所述显示组件，用于展示第一对象集中的第一对象；

所述摄像组件，用于获取第一图像。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images