CN109711475A - 识别物品的方法、装置、售货设备及计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种识别物品的方法、装置、售货设备及计算机可读存储介质，涉及图像识别技术领域。其中的识别物品的方法包括：采集售货设备中被取出物品的图像，售货设备中含有旧款物品和上新物品；利用机器学习模型提取图像的特征向量，机器学习模型是由标注了物品名称的旧款物品图像进行训练得到的；从特征向量库中确定图像的特征向量的相似特征向量，特征向量库包含利用机器学习模型提取的旧款物品图像及上新物品图像的特征向量，特征向量库中的各个特征向量表示相应的物品名称；将被取出物品识别为相似特征向量表示的物品名称。本公开通过被取出物品的图像及特征向量库识别被取出物品，无需重新训练机器学习模型，实现了售货设备的快速上新。

Description

识别物品的方法、装置、售货设备及计算机可读存储介质

技术领域

本公开涉及机器人技术领域，特别涉及一种识别物品的方法、装置、售货设备及计算机可读存储介质。

背景技术

自动售货机是一种智能的售货设备，能够在没有售货人员参与的情况下为用户提供物品。

通常情况下，自动售货机中同时含有多种物品。如何识别用户从自动售货机中取出的物品，是与自动售货机相关的重要技术问题。

识别自动售货机中被取出物品的相关技术主要分为三类。第一类是基于射频识别的识别技术，该技术需要为每种物品添加唯一的射频识别标签，因此较为繁琐。第二类是基于重力的识别技术，该技术要求自动售货机中的每种物品具有不同的重量，因此适用性较差。第三类是基于图像的识别技术，该技术能够根据被取出物品的图像识别出物品名称，使售货设备具有相对较好的用户体验。

发明内容

发明人针对基于图像的识别技术进行了深入研究。相关技术中，首先需要采集售货设备中所有物品的图像，并标注各个图像对应的物品名称。然后，利用标注完成的图像对机器学习模型进行训练，使训练后的机器学习模型能够根据输入的图像直接输出相应的物品名称。售货设备在售卖物品时，采集被取出物品的图像并输入该机器学习模型，从而直接识别出相应的物品名称。

发明人研究发现，相关技术会导致售货设备的上新周期较长。由于售货设备中含有的物品是不断更新的，售货设备中含有的物品可能包括售卖已久的旧款物品以及最新布置的上新物品。为了使机器学习模型能够识别出上新物品，每一次在售货设备布置上新物品之前，都需要利用旧款物品图像以及上新物品图像重新对机器学习模型进行训练。在实际应用当中，利用全量的图像重新训练机器学习模型可能需要两周甚至更长的时间，因此从客观上限制了售货设备的上新速度，延长了售货设备的上新周期。

本公开解决的一个技术问题是，如何缩短售货设备的上新周期。

根据本公开实施例的一个方面，提供了一种识别物品的方法，包括：采集售货设备中被取出物品的图像，售货设备中含有旧款物品和上新物品；利用机器学习模型提取图像的特征向量，机器学习模型是由标注了物品名称的旧款物品图像进行训练得到的；从特征向量库中确定图像的特征向量的相似特征向量，特征向量库包含利用机器学习模型提取的旧款物品图像及上新物品图像的特征向量，特征向量库中的各个特征向量表示相应的物品名称；将被取出物品识别为相似特征向量表示的物品名称。

在一些实施例中，该方法还包括：利用机器学习模型提取旧款物品图像及上新物品图像的特征向量；利用旧款物品图像及上新物品图像的特征向量组成特征向量库。

在一些实施例中，从特征向量库中确定图像的特征向量的相似特征向量包括：分别计算图像的特征向量与特征向量库中的各个特征向量之间的距离；将特征向量库中与图像的特征向量距离最近的特征向量，作为相似特征向量。

在一些实施例中，从特征向量库中确定图像的特征向量的相似特征向量包括：分别计算图像的特征向量与特征向量库中的各个特征向量之间的距离；将特征向量库中与图像的特征向量距离最近、且最近距离小于第一阈值的特征向量，作为相似特征向量。

在一些实施例中，该方法还包括：在目标物品被售货设备识别为相似物品的概率大于预设概率的情况下，不在所述售货设备中布置所述相似物品。

在一些实施例中，该方法还包括：确定目标物品被售货设备识别为相似物品的概率。

在一些实施例中，确定目标物品被售货设备识别为相似物品的概率包括：确定售货设备中的目标旧款物品被识别为相似旧款物品的概率；在目标物品被售货设备识别为相似物品的概率大于预设概率的情况下，不在所述售货设备中布置所述相似物品包括：在目标旧款物品被识别为相似旧款物品的概率大于预设概率的情况下，从售货设备中移除相似旧款物品。

在一些实施例中，确定售货设备中的目标旧款物品被识别为相似旧款物品的概率包括：采集目标旧款物品的多张图像，并利用机器学习模型分别提取目标旧款物品的各张图像的特征向量；计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第一距离；计算各张图像的特征向量与特征向量库中目标旧款物品的图像的特征向量之间的距离，得到各张图像的第二距离；将第一距离小于第二距离、且第一距离小于第一阈值的图像张数，除以多张图像的图像张数，得到第一距离小于第二距离的概率。

在一些实施例中，计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第一距离包括：计算各张图像的特征向量与特征向量库中相似旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第一距离；计算各张图像的特征向量与特征向量库中目标旧款物品的图像的特征向量之间的距离，得到各张图像的第二距离包括：计算各张图像的特征向量与特征向量库中目标旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第二距离。

在一些实施例中，该方法还包括：确定售货设备中的目标上新物品被识别为相似旧款物品的概率；在目标上新物品被识别为相似旧款物品的概率大于预设概率的情况下，从售货设备中移除相似旧款物品。

在一些实施例中，确定售货设备中的目标上新物品被识别为相似旧款物品的概率包括：采集目标上新物品的多张图像，并利用机器学习模型分别提取各张图像的特征向量；计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第三距离；计算各张图像的特征向量与特征向量库中目标上新物品的图像的特征向量之间的距离，得到各张图像的第四距离；将第三距离小于第四距离、且第三距离小于第二阈值的图像张数，除以多张图像的图像张数，得到第三距离小于第四距离的概率；第二阈值大于第一阈值。

在一些实施例中，该方法还包括：采用如下方法确定第二阈值：确定各个旧款物品的识别准确率，并计算各个旧款物品的平均识别准确率；确定上新物品的识别准确率，同时在第一阈值的基础上不断增加预设数值得到第二阈值，直至确定得到的上新物品的识别准确率不小于平均识别准确率。

在一些实施例中，计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第三距离包括：计算各张图像的特征向量与特征向量库中相似旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第三距离；计算各张图像的特征向量与特征向量库中目标上新物品的图像的特征向量之间的距离，得到各张图像的第四距离包括：计算各张图像的特征向量与特征向量库中目标上新物品的图像的多个特征向量之间的最短距离，得到各张图像的第四距离。

在一些实施例中，该方法还包括：确定售货设备中的目标上新物品被识别为相似上新物品的概率；在目标上新物品被识别为相似上新物品的概率大于预设概率的情况下，从售货设备中移除相似上新物品。

在一些实施例中，确定售货设备中的目标上新物品被识别为相似上新物品的概率包括：计算目标上新物品的各张图像的特征向量与特征向量库中相似上新物品的图像的特征向量之间的距离，得到各张图像的第五距离；将第五距离小于第四距离、且第五距离小于第二阈值的图像张数，除以多张图像的图像张数，得到第五距离小于第四距离的概率。

在一些实施例中，计算各张图像的特征向量与特征向量库中相似上新物品的图像的特征向量之间的距离，得到各张图像的第五距离包括：计算各张图像的特征向量与特征向量库中相似上新物品的图像的多个特征向量之间的最短距离，得到各张图像的第五距离。

在一些实施例中，该方法还包括：输出物品名称对应的价格信息。

在一些实施例中，该方法还包括：在出现以下情况中的至少一种情况时，利用旧款物品图像及上新物品图像重新训练机器学习模型：售货设备中含有上新物品的款数大于预设款数；或者，距离上一次训练机器学习模型的时间超过预设时间；或者，被取出物品的识别准确率低于预设准确率；或者，被取出物品的识别召回率低于预设召回率。

根据本公开实施例的另一个方面，提供了一种识别物品的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的识别物品的方法。

根据本公开实施例的又一个方面，提供了一种售货设备，包括前述的识别物品的装置。

根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的识别物品的方法。

本公开利用旧款物品图像对机器学习模型进行训练，利用训练后的机器学习模型对被取出物品的图像的特征向量进行提取，并将提取的特征向量与特征向量库中的特征向量的进行比对，从而在被取出物品为上新物品的情况下识别出物品名称。因此，在售货设备中布置上新物品之前，仅需将上新物品图像的特征向量添加至特征向量库，无需重新训练机器学习模型，缩短了售货设备的上新周期，实现了售货设备的快速上新。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了在售货设备中布置上新物品之前的准备工作的流程示意图。

图2示出了本公开识别物品的方法的一些实施例的流程示意图。

图3示出了确定目标旧款物品被识别为相似旧款物品的概率的流程示意图。

图4示出了确定目标上新物品被识别为相似物品的概率的流程示意图。

图5示出了计算目标上新物品的相似旧款物品以及确定第二阈值取值的具体应用例的示意图。

图6示出了物品上新过程的流程示意图。

图7示出了本公开一些实施例的识别物品的装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

首先介绍在售货设备中布置上新物品之前需要进行的准备工作。准备工作主要包括训练机器学习模型以及生成特征向量库。

图1示出了在售货设备中布置上新物品之前的准备工作的流程示意图。如图1所示，本实施例包括步骤S102～步骤S108。

在步骤S102中，采集旧款物品的图像，并标注对应的旧款物品名称。

售货设备中通常具有多种旧款物品。对于每种旧款物品，可以分别从不同角度来采集图像，并标注每张旧款物品图像对应的旧款物品名称。

在步骤S104中，利用标注后的旧款物品图像对机器学习模型进行训练，使得训练后的机器学习模型能够提取图像的特征向量。

机器学习模型具体可以为深度学习神经网络。需要特别说明的是，相关技术中采用的深度学习神经网络，用于直接输出被取出物品的物品名称，因此相关技术中采用的深度学习神经网络需要具有分类神经层。而本实施例采用的深度学习神经网络，用于提取被取出物品的特征向量，因此对深度学习神经网络训练完成后，需要去掉位于深度学习神经网络末端的分类神经层(例如softmax层，等等)。

在步骤S106中，采集上新物品的图像。

与采集旧款物品的图像相类似，可以分别从不同角度来采集上新物品的图像。如果上新物品的种类有多种，则需要分别对每种上新物品进行图像采集。

在步骤S108中，利用机器学习模型提取旧款物品图像及上新物品图像的特征向量，并利用旧款物品图像及上新物品图像的特征向量组成特征向量库。

在提取上新物品图像的特征向量之前，特征向量库包含当前所有旧款物品图像的特征向量。提取上新物品图像的特征向量之后，可以将上新物品图像的特征向量以增量的方式加入特征向量库。假设特征向量中共有k种物品，每种物品的具有m个特征向量，那么特征向量库中具有的总特征向量数为m×k。其中m、k均表示大于1的正整数。

至此，在售货设备中布置上新物品之前需要进行的准备工作已经完成。预先训练的机器学习模型以及更新得到的特征向量库，可以用于在售货设备中布置上新物品之后对上新物品进行识别。因此，在售货设备的上新准备阶段，仅需将上新物品图像的特征向量添加至特征向量库，无需重新训练和测试机器学习模型，缩短了售货设备的上新周期，降低了售货设备的上新成本。

下面介绍在售货设备中布置上新物品之后如何识别被取出的物品。

图2示出了本公开识别物品的方法的一些实施例的流程示意图。如图2所示，本实施例包括步骤S202～步骤S208。

在步骤S202中，采集售货设备中被取出物品的图像。

此时，售货设备中含有旧款物品和上新物品。为了更加准确的识别被取出物品的名称，可以从不同角度分别采集被取出物品的多张图像，以便分别进行识别。

在步骤S204中，利用机器学习模型提取被取出物品的图像的特征向量。

其中，机器学习模型是由标注了物品名称的旧款物品图像进行训练得到的。机器学习模型的训练过程可以参照图1对应的实施例，在此不作赘述。如果被取出物品的图像有多张，则可以利用机器学习模型分别提取被取出物品的各张图像的特征向量。

在步骤S206中，从特征向量库中确定被取出物品的图像的特征向量的相似特征向量。特征向量库包含利用机器学习模型提取的旧款物品图像及上新物品图像的特征向量，特征向量库中的各个特征向量表示相应的物品名称。

在计算特征向量x的相似特征向量时，可以分别计算特征向量x与特征向量库中的各个特征向量之间的距离。然后，将特征向量库中与特征向量x距离最近的特征向量，作为特征向量x的相似特征向量。本领域技术人员应理解，这里提到的距离例如可以为欧式距离等等，在此作为举例而不作为限定。

为使得识别效果更加准确，可以首先分别计算图像的特征向量与特征向量库中的各个特征向量之间的距离。然后，将特征向量库中与图像的特征向量距离最近、且最近距离小于第一阈值的特征向量，作为相似特征向量。例如，训练后的机器学习模型提取的所有特征向量都是经归一化操作后的特征向量。在所有特征向量的模值都为1的情况下，可以设定第一阈值为0.9。通过设定第一阈值，不仅可以求得特征向量库中与特征向量x相对距离最近的特征向量，同时可以求得与特征向量x绝对距离较近的特征向量，从而提高被取出物品的识别准确率。

在步骤S208中，将被取出物品识别为相似特征向量表示的物品名称。

识别被取出物品的物品名称之后，可以输出物品名称对应的价格信息。输出价格信息的形式可以是多样的。例如，售货设备可以将物品名称对应的价格信息输出到显示屏上，以便向用户收取费用；或者，售货设备可以将被取出物品的图像发送至云端设备，由云端设备识别被取出物品的物品名称，并将对应的价格信息输出至用户的终端设备上，以便向用户收取费用。

本实施例利用机器学习模型对被取出物品的图像的特征向量进行提取，并将提取的特征向量与特征向量库中的特征向量进行比对，从而能够在被取出物品为上新物品的情况下识别出物品名称。由于无需重新训练和测试机器学习模型，即可在保障物品识别效果的前提下识别被取出物品的物品名称，因此缩短了售货设备的上新周期，实现了售货设备的快速上新，提高了售货设备的工作效率。

发明人进一步研究发现，售货设备中某些物品的外观较为相似。这些物品彼此之间被误识别的概率较高，因此降低了售货设备识别被取出物品的准确率。针对这一问题，发明人提出可以事先确定目标物品被售货设备识别为相似物品的概率。在目标物品被售货设备识别为相似物品的概率大于预设概率的情况下，不在售货设备中布置相似物品。这里的目标物品和相似物品，既可以为在售货设备中已经布置的物品，也可以为准备在售货设备中布置的物品。为便于描述，将其中某一个物品成为目标物品，将与目标物品相似的其它物品成为相似物品。如果目标物品为目标旧款物品，则可以提升目标旧款物品的识别准确率；若果目标物品为目标上新物品，则可以提升目标上新物品的识别准确率。下面分两种情况进行详细介绍。

(一)移除旧款物品的相似物品

在准备阶段，确定售货设备中的目标旧款物品被识别为相似旧款物品的概率。在目标旧款物品被识别为相似旧款物品的概率大于预设概率的情况下，从售货设备中移除相似旧款物品。下面结合图3具体说明如何确定售货设备中的目标旧款物品被识别为相似旧款物品的概率。

图3示出了确定目标旧款物品被识别为相似旧款物品的概率的流程示意图。如图3所示，本实施例包括步骤S302～步骤S308。

在步骤S302中，采集目标旧款物品的多张图像，并利用机器学习模型分别提取目标旧款物品的各张图像的特征向量。

例如，采集目标旧款物品A的m张图像，利用机器学习模型提取得到各张图像的特征向量为a₁、a₂、……、a_m。

在步骤S304中，计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第一距离。

例如，分别计算特征向量a₁、a₂、……、a_m与特征向量库中相似旧款物品B的图像的特征向量b之间的距离，得到各张图像的第一距离λ₁、λ₂、……、λ_m。

在步骤S306中，计算各张图像的特征向量与特征向量库中目标旧款物品的图像的特征向量之间的距离，得到各张图像的第二距离。

例如，分别计算特征向量a₁、a₂、……、a_m与特征向量库中目标旧款物品的图像的特征向量a₀之间的距离，得到各张图像的第二距离ε₁、ε₂、……、ε_m。

在步骤S308中，将第一距离小于第二距离、且第一距离小于第一阈值的图像张数，除以多张图像的图像张数，得到第一距离小于第二距离的概率。

例如，λ₁小于ε₁、λ₃小于ε₃、λ₅小于ε₅、λ_m小于ε_m，并且λ₁、λ₃、λ_m小于第一阈值0.9，λ₅不小于第一阈值0.9。那么，第一距离小于第二距离的概率为3/m。也就是说，目标旧款物品A的m张图像中有3张可能被识别为相似旧款物品B，售货设备中的目标旧款物品A被识别为相似旧款物品B的概率为3/m。若3/m大于预设概率0.05，则可以从售货设备中移除相似旧款物品B；若3/m不大于预设概率0.05，则可以在售货设备中同时保留旧款物品A和B。

本实施例能够较为准确的确定目标旧款物品被识别为相似旧款物品的概率。在确定目标旧款物品被识别为相似旧款物品的概率大于预设概率的情况下，从售货设备中移除相似旧款物品，提高目标旧款物品的识别准确率，并提高售货设备在售卖阶段识别被取出物品的平均准确率。同时，由于售货设备的空间有限，售货设备能向用户提供的物品种类也有限。通常外观相似的物品具有相似的物品功能，因此移除具有相似物品功能的物品，可以提高售货设备包含物品的品类数量，使售货设备的选品范围更加丰富，为用户提供更多品类的物品，进一步提升售货设备的用户体验。

此外，服务器后台还可以维护一张相似物品列表，该列表的每个表项记录彼此容易被误识别的相似物品对。在售货设备中布置物品时，可以参照相似物品列表，将位于相同表项下的相似物品对中的部分物品移除，避免相同表项下的相似物品对同时出现在相同的售货设备中。

在一些实施例中，特征向量库中具有相似旧款物品的图像的多个特征向量。这种情况下，在步骤S304中，计算各张图像的特征向量与特征向量库中相似旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第一距离。在步骤S306中，计算各张图像的特征向量与特征向量库中目标旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第二距离。

例如，先计算特征向量a₁与特征向量库中相似旧款物品B的图像的特征向量b₁、b₂、……、b_m之间的最短距离，得到特征向量a₁的第一距离；再计算特征向量a₂与特征向量b₁、b₂、……、b_m之间的最短距离，得到特征向量a₂的第一距离，依此类推。然后计算特征向量a₁与特征向量库中目标旧款物品A的图像的特征向量a₀₁、a₀₂、……、a_0m之间的最短距离，得到特征向量a₁的第二距离；再计算特征向量a₂与特征向量a₀₁、a₀₂、……、a_0m之间的最短距离，得到特征向量a₂的第二距离，依此类推。

特征向量库中具有相似旧款物品的图像的多个特征向量时，分别计算与多个特征向量之间的最短距离，能够更加准确的确定目标旧款物品被识别为相似旧款物品的概率。

此外，在确定售货设备中的目标旧款物品被识别为相似旧款物品的概率时，还可以为识别效果较差的物品设定更大的第一阈值。提高第一阈值的取值，会使得确定售货设备中的目标旧款物品被识别为相似旧款物品的概率更大，从而能够移除目标旧款物品的更多相似旧款物品，进一步提高目标旧款物品的识别准确率，并进一步提高售货设备在售卖阶段识别被取出物品的平均准确率。

(二)移除上新物品的相似物品

在上新阶段，确定售货设备中的目标上新物品被识别为相似旧款物品的概率。在目标上新物品被识别为相似旧款物品的概率大于预设概率的情况下，从售货设备中移除相似旧款物品。下面结合图4具体说明如何确定售货设备中的目标上新物品被识别为相似旧款物品的概率。

图4示出了确定目标上新物品被识别为相似物品的概率的流程示意图。如图4所示，本实施例包括步骤S402～步骤S408。

在步骤S402中，采集目标上新物品的多张图像，并利用机器学习模型分别提取各张图像的特征向量。

在步骤S404中，计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第三距离。

在步骤S406中，计算各张图像的特征向量与特征向量库中目标上新物品的图像的特征向量之间的距离，得到各张图像的第四距离。

在步骤S408中，将第三距离小于第四距离、且第三距离小于第二阈值的图像张数，除以多张图像的图像张数，得到第三距离小于第四距离的概率；第二阈值大于第一阈值。

在一些实施例中，特征向量库中具有相似旧款物品的图像的多个特征向量。这种情况下，在步骤S404中，计算各张图像的特征向量与特征向量库中相似旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第三距离。在步骤S406中，计算各张图像的特征向量与特征向量库中目标上新物品的图像的多个特征向量之间的最短距离，得到各张图像的第四距离。

本领域技术人员应理解，步骤S402～步骤S408的具体实现过程与步骤S302～步骤S308相类似，在此不作赘述。需要特别说明的是，由于没有利用上新物品图像对机器模型进行训练，机器学习模型提取的上新物品图像的特征向量，与提取的旧款物品图像的特征向量相比通常具有较差的收敛性。更直观的说，特征向量具有多个维度，那么在多维空间坐标内，旧款物品图像的特征向量的聚类效果要强于上新物品图像的特征向量。如果第二阈值的取值与第一阈值相同，可能导致上新物品容易被售货设备识别为旧款物品，使得上新物品的识别召回率较低。为此，令第二阈值的取值大于第一阈值，能够移除目标上新物品的更多相似旧款物品，使得售货设备在售卖阶段能够识别出更多的目标上新物品，从而提高目标上新物品的识别召回率。

第二阈值的具体取值可以采用如下方法。首先确定各个旧款物品的识别准确率，并计算各个旧款物品的平均识别准确率。然后确定上新物品的识别准确率，同时在第一阈值的基础上不断增加预设数值得到第二阈值，直至确定得到的上新物品的识别准确率不小于平均识别准确率。

例如，通过图3对应的实施例计算得到各个旧款物品的平均识别准确率为95％。然后，在第一阈值0.9的基础上以0.05为步长不断增加得到第二阈值，同时通过图4对应的实施例确定上新物品的识别准确率，直至确定得到上新物品的识别准确率不小于95％，最终得到第二阈值的取值为1.1。

对于每种不同的上新物品，其对应的第二阈值往往不同。由于第二阈值是根据不同的上新物品动态确定的，第二阈值也可以称为动态阈值。通过动态阈值的策略，可以在保障上新物品的识别准确率的前提下，提升上新物品的识别召回率，从而降低上新物品不被识别的可能性，进一步改善售货设备的用户体验。

在上新阶段，可能需要在售货设备中同时布置多种上新物品，这些上新物品之间也可能容易被误识别。针对这一问题，还可以确定售货设备中的目标上新物品被识别为相似上新物品的概率。在目标上新物品被识别为相似上新物品的概率大于预设概率的情况下，从售货设备中移除相似上新物品。下面结合图4具体说明如何确定售货设备中的目标上新物品被识别为相似上新物品的概率。

如图4所示，本实施例还可以包括步骤S410～步骤S412。

在步骤S410中，计算目标上新物品的各张图像的特征向量与特征向量库中相似上新物品的图像的特征向量之间的距离，得到各张图像的第五距离；

在步骤S412中，将第五距离小于第四距离、且第五距离小于第二阈值的图像张数，除以多张图像的图像张数，得到第五距离小于第四距离的概率。

在一些实施例中，特征向量库中具有相似上新物品的图像的多个特征向量。这种情况下，在步骤S410中，计算各张图像的特征向量与特征向量库中相似上新物品的图像的多个特征向量之间的最短距离，得到各张图像的第五距离。本领域技术人员应理解，步骤S410、步骤S412的具体实现过程分别与步骤S304、步骤S308相类似，在此不作赘述。

本实施例能够较为准确的确定目标上新物品被识别为相似上新物品的概率，从而在售货设备中同时布置多种上新物品的情况下，为目标上新物品移除相似的上新物品，减少多种上新物品之间被误识别的情况，进一步提高目标上新物品的识别准确率。

下面结合图5更加直观的介绍如何计算目标上新物品的相似旧款物品，以及如何确定第二阈值的取值。

图5示出了计算目标上新物品的相似旧款物品以及确定第二阈值取值的具体应用例的示意图。

如图5所示，利用机器学习模型提取上新物品Z的m张测试图像的特征向量z₁～z_m，分别与特征向量库中物品A、B、C、D、E、……Z的图像的特征向量计算欧式距离，并对欧式距离按照从小到大的顺序将物品由左至右排序，得到m个排序结果。以旧款物品D为例，在m个排序结果中，D出现在与Z自身左侧的次数越多，上新物品Z被识别为旧款物品D的概率越高。本领域技术人员应理解，该排序步骤的目的是知晓A、B、C、D、E……出现在与Z自身左侧的次数，而并不一定需要知晓A、B、C、D、E……之间的排序关系，所以排序的步骤是为了举例而不作为限定。假设特征向量库中具有各个物品的图像的多个特征向量，对于特征向量z1而言，排序结果为D、D、D、E、Z、B……，对于特征向量z2而言，排序结果为D、F、D、E、Z、E……等等。统计各个特征向量对应的排序结果中，D出现在Z左侧的次数为d，E出现在Z左侧的次数为e。在第二阈值的取值为第一阈值的情况下，上新物品Z被识别为旧款物品D的概率为d/m，d/m大于0.05，因此需要移除旧款物品D。提高第二阈值的取值使得上新物品Z的识别准确率为95％之后，上新物品Z被识别为旧款物品D的概率为d/m，被识别为旧款物品E的概率为e/m，e/m大于0.05也需要移除，从而移除了更多的相似旧款物品E，能够提高上新物品Z的识别召回率。

随着上新物品的种类逐渐增多，没有对训练机器学习模型进行训练的上新物品图像也逐渐增多，这可能导致售货设备的识别效果呈现下降趋势。售货设备的识别效果主要包括物品的识别准确率以及物品的识别召回率。为保障售货设备的识别效果，可以在出现(1)～(4)情况中的至少一种情况时，利用旧款物品图像及上新物品图像重新训练机器学习模型：

(1)售货设备中含有上新物品的款数大于预设款数；

(2)距离上一次训练机器学习模型的时间超过预设时间；

(3)被取出物品的识别准确率低于预设准确率；

(4)被取出物品的识别召回率低于预设召回率。

下面举一个物品上新过程的应用例来说明在什么情况下对机器学习模型进行训练。

图6示出了物品上新过程的流程示意图。如图6所示，本实施例具体包括步骤S601～步骤S614。

在步骤S601中，采集上新物品的图像。

在步骤S602中，对上新物品的图像进行标注。

在步骤S603中，将标注后上新物品的图像加入未对机器学习模型进行训练的图像集合。

在步骤S604中，判断是否需要重新训练机器学习模型。

在判断是否需要重新训练机器学习模型时，可以判断售货设备中含有上新物品的款数是否大于预设款数，并判断距离上一次训练机器学习模型的时间是否超过预设时间。若售货设备中含有上新物品的款数不大于预设款数，且距离上一次训练机器学习模型的时间未超过预设时间，则不对机器学习模型进行重新训练，执行步骤S605；否则执行步骤S612。

在步骤S605中，利用机器学习模型提取标注后上新物品图像的特征向量，并加入特征向量库。

在步骤S606中，确定上新物品的相似旧款物品。

在步骤S607中，将上新物品的相似旧款物品移除。

在步骤S608中，判断上新物品是否满足上新指标。

上新指标主要包括被取出物品的识别准确率是否高于预设准确率、被取出物品的识别召回率是否高于预设召回率。若被取出物品的识别准确率低于预设准确率或被取出物品的识别召回率低于预设召回率，则不满足上新指标，执行步骤S609；否则满足上新指标，执行步骤S614。

在步骤S609中，对上新物品的第二阈值进行动态调整。

在步骤S610中，重新判断上新物品是否满足上新指标。

若不满足上新指标，则执行步骤S611；若满足上新指标，则执行步骤S614。此时如果不满足上新指标，一般情况为上新物品的识别召回率低于预设召回率。

在步骤S611中，等待利用未对机器学习模型进行训练的图像集合对机器学习模型进行训练后，再安排上新操作。

在步骤S612中，将未对机器学习模型进行训练的图像集合加入已对机器学习模型进行训练的图像集合，并利用上新物品的图像以及旧款物品的图像重新对机器学习模型进行训练。

在步骤S613中，利用重新训练的机器学习模型，提取上新物品图像以及旧款物品图像的特征向量，重新生成特征向量库。

在步骤S614中，将上新物品以及旧款物品中的相似物品移除。

由于售货设备中新增加了上新物品，且机器学习模型经过了重新训练，旧款物品之间、上新物品之间、旧款物品及上新物品之间都可能构成相似物品对，需要将相似物品对中的部分物品移除，避免将相似物品对同时布置在售货设备中。如果旧款物品和上新物品之间构成相似物品对，为了满足上新的需求，可以将与上新物品相似的旧款物品移除。

在步骤S615中，在售货设备中布置上新物品。

本实施例将售货设备中含有上新物品的款数大于预设款数、距离上一次训练机器学习模型的时间超过预设时间、被取出物品的识别准确率低于预设准确率、被取出物品的识别召回率低于预设召回率作为重新训练机器学习模型的触发条件。在满足触发条件时，利用上新物品图像以及旧款物品图像重新对机器学习模型进行训练，可以避免售货设备识别被取出物品的效果随上新物品款数的增多而下降。

下面结合图7介绍本公开一些实施例的识别物品的装置。

图7示出了本公开一些实施例的识别物品的装置的结构示意图。如图7所示，该实施例的识别物品的装置70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一些实施例中的识别物品的方法。

其中，存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

识别物品的装置70还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。

本公开还提供了一种售货设备，包括前述识别物品的装置70。

本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的识别物品的方法。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (21)

1.一种识别物品的方法，包括：

采集售货设备中被取出物品的图像，所述售货设备中含有旧款物品和上新物品；

利用机器学习模型提取所述图像的特征向量，所述机器学习模型是由标注了物品名称的旧款物品图像进行训练得到的；

从特征向量库中确定所述图像的特征向量的相似特征向量，所述特征向量库包含利用所述机器学习模型提取的旧款物品图像及上新物品图像的特征向量，所述特征向量库中的各个特征向量表示相应的物品名称；

将所述被取出物品识别为所述相似特征向量表示的物品名称。

2.如权利要求1所述的识别物品的方法，还包括：

利用所述机器学习模型提取所述旧款物品图像及上新物品图像的特征向量；

利用所述旧款物品图像及上新物品图像的特征向量组成特征向量库。

3.如权利要求1所述的识别物品的方法，其中，所述从特征向量库中确定所述图像的特征向量的相似特征向量包括：

分别计算所述图像的特征向量与特征向量库中的各个特征向量之间的距离；

将特征向量库中与所述图像的特征向量距离最近的特征向量，作为所述相似特征向量。

4.如权利要求1所述的识别物品的方法，其中，所述从特征向量库中确定所述图像的特征向量的相似特征向量包括：

分别计算所述图像的特征向量与特征向量库中的各个特征向量之间的距离；

将特征向量库中与所述图像的特征向量距离最近、且最近距离小于第一阈值的特征向量，作为所述相似特征向量。

5.如权利要求4所述的识别物品的方法，还包括：

在目标物品被售货设备识别为相似物品的概率大于预设概率的情况下，不在所述售货设备中布置所述相似物品。

6.如权利要求5所述的识别物品的方法，还包括：

确定目标物品被售货设备识别为相似物品的概率。

7.如权利要求6所述的识别物品的方法，其中，

所述确定目标物品被售货设备识别为相似物品的概率包括：确定售货设备中的目标旧款物品被识别为相似旧款物品的概率；

所述在目标物品被售货设备识别为相似物品的概率大于预设概率的情况下，不在所述售货设备中布置所述相似物品包括：在目标旧款物品被识别为相似旧款物品的概率大于预设概率的情况下，从所述售货设备中移除所述相似旧款物品。

8.如权利要求7所述的识别物品的方法，其中，所述确定售货设备中的目标旧款物品被识别为相似旧款物品的概率包括：

采集所述目标旧款物品的多张图像，并利用所述机器学习模型分别提取所述目标旧款物品的各张图像的特征向量；

计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第一距离；

计算各张图像的特征向量与特征向量库中所述目标旧款物品的图像的特征向量之间的距离，得到各张图像的第二距离；

将所述第一距离小于所述第二距离、且所述第一距离小于所述第一阈值的图像张数，除以所述多张图像的图像张数，得到所述第一距离小于所述第二距离的概率。

9.如权利要求8所述的识别物品的方法，其中，

所述计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第一距离包括：计算各张图像的特征向量与特征向量库中相似旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第一距离；

所述计算各张图像的特征向量与特征向量库中所述目标旧款物品的图像的特征向量之间的距离，得到各张图像的第二距离包括：计算各张图像的特征向量与特征向量库中所述目标旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第二距离。

10.如权利要求8所述的识别物品的方法，还包括：

确定售货设备中的目标上新物品被识别为相似旧款物品的概率；

在所述目标上新物品被识别为相似旧款物品的概率大于所述预设概率的情况下，从所述售货设备中移除相似旧款物品。

11.如权利要求10所述的识别物品的方法，其中，所述确定售货设备中的目标上新物品被识别为相似旧款物品的概率包括：

采集所述目标上新物品的多张图像，并利用所述机器学习模型分别提取各张图像的特征向量；

计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第三距离；

计算各张图像的特征向量与特征向量库中所述目标上新物品的图像的特征向量之间的距离，得到各张图像的第四距离；

将所述第三距离小于所述第四距离、且所述第三距离小于第二阈值的图像张数，除以所述多张图像的图像张数，得到所述第三距离小于所述第四距离的概率；所述第二阈值大于所述第一阈值。

12.如权利要求11所述的识别物品的方法，还包括：

采用如下方法确定所述第二阈值：

确定各个旧款物品的识别准确率，并计算各个旧款物品的平均识别准确率；确定所述上新物品的识别准确率，同时在所述第一阈值的基础上不断增加预设数值得到所述第二阈值，直至确定得到的所述上新物品的识别准确率不小于所述平均识别准确率。

13.如权利要求11所述的识别物品的方法，其中，

所述计算各张图像的特征向量与特征向量库中相似旧款物品的图像的特征向量之间的距离，得到各张图像的第三距离包括：计算各张图像的特征向量与特征向量库中相似旧款物品的图像的多个特征向量之间的最短距离，得到各张图像的第三距离；

所述计算各张图像的特征向量与特征向量库中所述目标上新物品的图像的特征向量之间的距离，得到各张图像的第四距离包括：计算各张图像的特征向量与特征向量库中所述目标上新物品的图像的多个特征向量之间的最短距离，得到各张图像的第四距离。

14.如权利要求11所述的识别物品的方法，还包括：

确定售货设备中的目标上新物品被识别为相似上新物品的概率；

在所述目标上新物品被识别为相似上新物品的概率大于所述预设概率的情况下，从所述售货设备中移除相似上新物品。

15.如权利要求14所述的识别物品的方法，其中，所述确定售货设备中的目标上新物品被识别为相似上新物品的概率包括：

计算所述目标上新物品的各张图像的特征向量与特征向量库中相似上新物品的图像的特征向量之间的距离，得到各张图像的第五距离；

将所述第五距离小于所述第四距离、且所述第五距离小于所述第二阈值的图像张数，除以所述多张图像的图像张数，得到所述第五距离小于所述第四距离的概率。

16.如权利要求15所述的识别物品的方法，其中，

所述计算各张图像的特征向量与特征向量库中相似上新物品的图像的特征向量之间的距离，得到各张图像的第五距离包括：计算各张图像的特征向量与特征向量库中相似上新物品的图像的多个特征向量之间的最短距离，得到各张图像的第五距离。

17.如权利要求1所述的识别物品的方法，还包括：

输出所述物品名称对应的价格信息。

18.如权利要求1至17中任一项所述的识别物品的方法，还包括：

在出现以下情况中的至少一种情况时，利用所述旧款物品图像及上新物品图像重新训练所述机器学习模型：

所述售货设备中含有上新物品的款数大于预设款数；

或者，

距离上一次训练所述机器学习模型的时间超过预设时间；

或者，

被取出物品的识别准确率低于预设准确率；

或者，

被取出物品的识别召回率低于预设召回率。

19.一种识别物品的装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至18中任一项所述的识别物品的方法。

20.一种售货设备，包括如权利要求18所述的识别物品的装置。

21.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至18中任一项所述的识别物品的方法。