CN114724025A

CN114724025A - 异物检测方法、装置、电子设备及存储介质

Info

Publication number: CN114724025A
Application number: CN202210273263.4A
Authority: CN
Inventors: 田茂清; 刘建博; 伊帅
Original assignee: Shanghai Sensetime Intelligent Technology Co Ltd
Current assignee: Shanghai Sensetime Intelligent Technology Co Ltd
Priority date: 2022-03-18
Filing date: 2022-03-18
Publication date: 2022-07-08

Abstract

本公开提供了一种异物检测方法、装置、电子设备及存储介质，该方法包括：获取反映存储柜内环境的待检测图像，存储柜中放置有物品；对待检测图像进行目标检测，得到每个物品的检测框信息；基于检测框信息，对待检测图像中的物品进行特征提取，得到物品的目标特征提取结果；基于物品的目标特征提取结果以及预设的物品特征库，确定物品是否为异物，其中，物品特征库包括第一物品对应的至少一个特征提取结果，第一物品为预设的存放于存储柜内的物品，特征提取结果用于指示第一物品的物品种类信息，异物与所述第一物品不同。本公开实施例，基于物品的目标特征提取结果以及预设的物品特征库，能够检测出存储柜内的异物，有利于提升用户的使用体验。

Description

异物检测方法、装置、电子设备及存储介质

技术领域

本公开涉及智能零售技术领域，具体而言，涉及一种异物检测方法、异物检测装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些智能存储柜(如智能冰箱或者智能货架)应运而生。

然而，目前的智能存储柜对于用户是完全开放的，存储柜内经常会出现原本不是存储柜内的目标物品(也称异物)，进而导致在用户拿取该目标物品时，将无法识别该目标物品的相关信息，从而影响用户的使用体验。

发明内容

本公开实施例至少提供一种异物检测方法、异物检测装置、电子设备以及计算机可读存储介质，以检测出存储柜内是否存在异物，进而有利于提升用户的使用体验。

本公开实施例提供了一种异物检测方法，包括：

获取反映存储柜内环境的待检测图像，所述存储柜中放置有至少一个物品；

对所述待检测图像进行目标检测，得到所述待检测图像中的每个物品的检测框信息；

基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果；

基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，其中，所述物品特征库包括第一物品对应的至少一个特征提取结果，所述第一物品为预设的存放于所述存储柜内的物品，所述特征提取结果用于指示所述第一物品的物品种类信息，所述异物与所述第一物品不同。

本公开实施例中，通过获取反映存储柜内环境的待检测图像，并对待检测图像中的每个物品进行特征提取，然后基于物品的目标特征提取结果以及预设的物品特征库，确定存储柜内是否存在异物，如此，在识别到存储柜中存在异物的情况下，存储柜的管理人员可以及时将异物从存储柜内取出，避免了用户在从存储柜内获取物品时，拿取到异物的情况，进而有利于提升用户的使用体验。

一种可选的实施方式中，所述基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果，包括：

获取预设的特征提取网络；

基于所述检测框信息以及所述预设的特征提取网络，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果。

本公开实施例中，基于预设的特征提取网络对待检测图像中的物品进行特征提取，得到物品的目标特征提取结果，如此，可以提高得到目标特征提取结果的效率以及准确度。

一种可选的实施方式中，所述基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，包括：

确定所述物品的目标特征提取结果与所述预设的物品特征库中的每个特征提取结果之间的距离信息，得到至少一个距离信息；

在所述至少一个距离信息符合预设条件的情况下，确定所述物品为异物。

本公开实施例中，通过确定物品的目标特征提取结果与预设的物品特征库中的每个特征提取结果之间的距离信息，并通过确定至少一个距离信息是否符合预设条件来确定物品为异物，如此，可以提高确定物品为异物的准确度。

一种可选的实施方式中，所述距离信息包括余弦距离；在至少一个余弦距离中的最小余弦距离大于预设阈值的情况下，确定所述至少一个余弦距离符合所述预设条件。

一种可选的实施方式中，通过以下步骤确定所述预设阈值：

获取多个物品图像样本；

基于所述多个物品图样样本，构建多个正样本对，所述正样本对包括两个具有相同种类信息的物品图像样本；

确定每个正样本对中的两个物品图像样本之间的第一余弦距离，得到多个第一余弦距离；

基于所述多个第一余弦距离，确定所述预设阈值。

本公开实施例中，基于多个正样本对对应的多个第一余弦距离，确定所述预设阈值，如此，可以使得预设阈值的选取更加合理与准确，有利于提升异物检测的准确性。

一种可选的实施方式中，所述基于所述多个第一余弦距离，确定所述预设阈值，包括：

将所述多个第一余弦距离按照预设规则进行排序，得到排序列表；

将所述排序列表中相对于目标余弦距离在预设相对排序位置处的第一余弦距离，确定为所述预设阈值，其中，所述目标余弦距离为所述多个第一余弦距离中的最大余弦距离。

本公开实施例中，将排序列表中相对于目标余弦距离在预设相对排序位置处的第一余弦距离，确定为预设阈值，如此，可以在保证存储柜内物品种类的识别精度的情况下，提升异物检测的准确度。

一种可选的实施方式中，所述方法还包括：

确定所述预设阈值是否符合预设要求；

在所述预设阈值不符合所述预设要求的情况下，对所述预设的特征提取网络进行重复训练，直至所述预设阈值符合所述预设要求。

本公开实施例中，若预设阈值不符合预设要求，则说明特征提取网络的特征提取精度存在误差，因此，需要对特征提取网络进行重复训练，以提升特征提取网络的精度，进而有利于提升异物检测的精度。

一种可选的实施方式中，所述确定所述预设阈值是否符合预设要求，包括：

基于所述多个物品图样样本，构建多个负样本对，所述负样本对包括两个具有不同种类信息的物品图像样本；

确定每个负样本对中的两个物品图像样本之间的第二余弦距离，得到多个第二余弦距离；

基于所述多个第二余弦距离，确定所述预设阈值是否符合预设要求。

本公开实施例中，基于多个负样本对得到多个第二余弦距离，并基于多个第二余弦距离，确定预设阈值是否符合预设要求，也即，通过负样本对来确定异物是否可以被准确检测出来，如此，通过异物检测的召回率，来检验预设阈值是否符合预设要求，可以提升预设阈值检验的精度。

一种可选的实施方式中，所述基于所述多个第二余弦距离，确定所述预设阈值是否符合预设要求，包括：

确定所述多个第二余弦距离中大于所述预设阈值的目标数量；

在所述目标数量达到预设数量的情况下，确定所述预设阈值符合所述预设要求。

本公开实施例中，根据多个第二余弦距离中大于所述预设阈值的目标数量，确定预设阈值是否符合预设要求，也即，多个第二余弦距离中大于所述预设阈值的目标数量越多，则认为对于异物的检测更加准确，也即证明预设阈值符合预设要求。

一种可选的实施方式中，所述方法还包括：

在确定所述物品为异物的情况下，生成提示信息，并通过所述存储柜上的显示区域进行显示或者语音播报所述提示信息。

本公开实施例中，若检测出存储柜内存在异物，则生成提示信息，并通过存储柜上的显示区域进行显示或者语音播报，如此，可以在第一时间通知存储柜的管理人员对异物进行清除，以提升用户的使用体验。

本公开实施例还提供一种异物检测装置，所述装置包括：

图像获取模块，用于获取反映存储柜内环境的待检测图像，所述存储柜中放置有至少一个物品；

目标检测模块，用于对所述待检测图像进行目标检测，得到所述待检测图像中的每个物品的检测框信息；

特征提取模块，用于基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果；

异物确定模块，用于基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，其中，所述物品特征库包括第一物品对应的至少一个特征提取结果，所述第一物品为预设的存放于所述存储柜内的物品，所述特征提取结果用于指示所述第一物品的物品种类信息，所述异物与所述第一物品不同。

一种可选的实施方式中，所述特征提取模块具体用于：

获取预设的特征提取网络；

一种可选的实施方式中，所述异物确定模块具体用于：

一种可选的实施方式中，所述装置还包括阈值确定模块，所述阈值确定模块用于：

获取多个物品图像样本；

基于所述多个第一余弦距离，确定所述预设阈值。

一种可选的实施方式中，所述阈值确定模块具体用于：

一种可选的实施方式中，所述装置还包括网络训练模块；

所述阈值确定模块还用于：

确定所述预设阈值是否符合预设要求；

所述网络训练模块用于：

一种可选的实施方式中，所述阈值确定模块具体用于：

一种可选的实施方式中，所述装置还包括提示信息生成模块，所述提示信息生成模块用于：

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述异物检测方法。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述异物检测方法。

关于上述异物检测装置、电子设备、及计算机可读存储介质的效果描述参见上述异物检测方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开实施例所提供的一种存储柜的结构示意图；

图2为本公开实施例所提供的一种异物检测方法的流程图；

图3为本公开实施例所提供的另一种存储柜的结构示意图；

图4为本公开实施例所提供的一种待检测图像的示意图；

图5为本公开实施例所提供的一种检测框信息的示意图；

图6为本公开实施例所提供的一种提取物品的目标特征的方法流程图；

图7为本公开实施例所提供的一种确定物品为异物方法的流程图；

图8为本公开实施例所提供的一种确定预设阈值方法的流程图；

图9为本公开实施例所提供的一种基于多个第一余弦距离确定预设阈值方法的流程图；

图10为本公开实施例所提供的一种预设阈值检验方法的流程图；

图11为本公开实施例所提供的一种确定预设阈值符合预设要求方法的流程图；

图12为本公开实施例所提供的一种基于多个第二余弦距离确定预设阈值符合预设要求方法的流程图；

图13为本公开实施例所提供的另一种异物检测方法的流程图；

图14为本公开实施例提供的一种异物检测装置的结构示意图；

图15为本公开实施例提供的另一种异物检测装置的结构示意图；

图16为本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些自助售卖机(如智能冰箱或者智能货架)应运而生。

请参见图1，图1为本公开实施例所提供的一种存储柜的结构示意图。如图1中所示，存储柜100中包括多层置物板10以及图像采集装置20，每层置物板10上摆放物品30，例如，饮料(例如冰红茶)、速食产品(例如面包或者泡面)以及日用品(例如餐巾纸)等，每个物品30附带射频识别RFID标签31，存储柜100可以通过射频识别技术来识别RFID标签31，以对物品30进行识别。图像采集装置20为具有人脸识别功能的装置，用于刷脸支付或者扫码支付。然而，由于存储柜100对于用户是完全开放的，经常会出现原本不是存储柜内的目标物品(也称异物)，进而导致在用户拿取该目标物品时，将无法识别该目标物品的相关信息，从而影响用户的使用体验。

其中，所述存储柜可以是智能冰箱(例如，自助售卖机、家用冰箱或者冷藏柜)，还可以是保温柜等，在此不做限定。

基于上述研究，本公开实施例提供了一种异物检测方法，包括：获取反映存储柜内环境的待检测图像，所述存储柜中放置有至少一个物品；对所述待检测图像进行目标检测，得到所述待检测图像中的每个物品的检测框信息；基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果；基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，其中，所述物品特征库包括第一物品对应的至少一个特征提取结果，所述第一物品为预设的存放于所述存储柜内的物品，所述特征提取结果用于指示所述第一物品的物品种类信息，所述异物与所述第一物品不同。

本公开实施例中，通过获取反映存储柜内环境的待检测图像，并对待检测图像中的每个物品进行特征提取，然后基于物品的目标特征提取结果以及预设的物品特征库，可以确定存储柜内是否存在异物，如此，在识别到存储柜中存在异物的情况下，存储柜的管理人员可以及时将异物从存储柜内取出，避免了用户在从存储柜内获取物品时，拿取到异物的情况，进而有利于提升用户的使用体验。

下面结合附图对本公开实施例中的异物检测方法进行详细介绍。

请参阅图2，图2为本公开实施例所提供的一种异物检测方法的流程图，如图2所示，本公开实施例提供的异物检测方法，包括以下S101～S104：

S101，获取反映存储柜内环境的待检测图像，所述存储柜中放置有至少一个物品。

示例性地，请同时参见图3和图4，图3为本公开实施例所提供的另一种存储柜的结构示意图，图4为本公开实施例所提供的一种待检测图像的示意图。如图3中所示，存储柜200包括摄像装置40以及多个层叠且间隔设置置物板50。置物板50用于承载多种物品60(例如，哇哈哈、500ml冰红茶、1.5L冰红茶以及泡面等)，摄像装置40能够对存储柜200内的环境进行拍摄，得到如图4中所示的待检测图像A，如图4中所示，所述待检测图像中包括存储柜200中当前放置的各个物品的图像。图4中的待检测图像A中的物品仅是示意性的，由于不同存储柜中所设置的摄像装置的位置的不同，则采集待检测图像的角度也不同。

需要说明的是，本公开实施例中的摄像装置40所采集的图像中包含所述存储柜200内的所有物品。在其他实施方式中，还可以通过在存储柜200中设置多个摄像装置，且每个摄像装置均能够采集到完整的存储柜的内环境的图像，然后，可以从多个摄像装置所采集的多张图像中确定出图像质量较好的图像(例如，清晰度高的图像)作为待检测图像。在一些实施方式中，可以在存储柜中设置两个摄像装置，如此，不仅可以得到质量较好的图像，还可以节约成本。

在其他实施方式中，若所述存储柜200中设置多个摄像装置，则还可以通过每个摄像装置分别采集存储柜200的部分内环境的图像，然后，将每个摄像装置采集到的图像进行拼接，得到完整的存储柜内环境的图像。具体的，可以根据实际需求设置摄像装置的数量，例如，可以根据每个摄像装置的拍摄视角、拍摄范围，或者根据每个摄像装置的成本等因素进行设置，在此不做限定。

S102，对所述待检测图像进行目标检测，得到所述待检测图像中的每个物品的检测框信息。

示例性地，在一幅图像中，区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如，可以利用已经训练好的目标检测模型(或者目标检测网络)，检测在待检测图像里的目标物品。

所述检测框信息包括检测框的大小(例如，检测框的长度和宽度)以及检测框的位置信息(例如，检测框的中心点的位置坐标以及检测框的四个顶点的坐标)。

示例性地，请参见图5，为本公开实施例所提供的一种检测框信息的示意图，如图5中所示，待检测图像A中的物品(例如A1、A2、A3)标注了检测框(例如，B1、B2以及B3)。需要说明的是，本公开实施方式中所标注出的检测框的个数仅是示意性的，在一些实施方式中，待检测图像A中的每个物品均会标注不同的检测框。

S103，基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果。

其中，特征提取是计算机视觉领域和图像处理领域中的重要技术之一，其通过影像分析和变换提取出需要的特征，是图像处理中的运算处理，通过检查图像中的每个像素来确定该像素是否代表一个特征。

所述目标特征提取结果可以是一维或者多维的特征向量。在一些实施方式中，在对待检测图像中的所述物品进行特征提取时，可以通过特征提取网络进行特征提取，因此，针对上述步骤S103，在基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果时，如图6所示，可以包括以下S1031～S1032：

S1031，获取预设的特征提取网络；

S1032，基于所述检测框信息以及所述预设的特征提取网络，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果。

示例性地，所述预设的特征提取网络可以是任意常见的深度卷积神经网络，例如，深度残差网络(ResNet)、MobiletNet或者YOLO特征提取网络等，在此不做限定。

具体的，由于待检测图像中可能包括很多检测框，每个检测框内均存在一个目标物品，因此，可以将每个检测框内的图像输入至预设的特征提取网络，得到该检测框内的物品的目标特征提取结果。

需要说明的是，所述预设的特征提取网络中不包含全连接层(Fully Connected)，并且，得到的所述物品的目标特征提取结果为特征值(特征向量)，而不是该物品的类别信息，另外，通过不包含全连接层的特征提取网络能够对提取到的特征向量进行降维，如此，便于对所述物品的目标特征提取结果进行计算。

S104，基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，其中，所述物品特征库包括第一物品对应的至少一个特征提取结果，所述第一物品为预设的存放于所述存储柜内的物品，所述特征提取结果用于指示所述第一物品的物品种类信息，所述异物与所述第一物品不同。

可以理解，所述第一物品可以是预设的存放于所述存储柜内的任意种类的物品，物品特征库中包括第一物品对应的至少一个特征提取结果，例如，针对一种物品，其在不同视角下所提取到的特征提取结果存在差异，因此，预设的物品特征库中要包含该种物品在不同视角下的特征提取结果，如此，才能确保待检测图像中的物品被正确检测，进而，可以基于物品的目标特征提取结果以及预设的物品特征库，确定物品是否为异物。

需要说明的是，针对不同种类的物品的特征提取结果，可以是基于同一视角提取的，也可以是基于不同视角提取的，在此不做限定。

本公开实施例中，通过获取反映存储柜内环境的待检测图像，并对待检测图像中的每个物品进行特征提取，然后基于物品的目标特征提取结果以及预设的物品特征库，确定存储柜内是否存在异物，如此，在识别到存储柜中存在异物的情况下，存储柜的管理者可以及时将异物从存储柜内取出，避免了用户在从存储柜内获取物品时，拿取到异物的情况，进而有利于提升用户的使用体验。

在一些实施方式中，可以通过下述步骤建立上述实施例中的物品特征库：

首先，获取第一物品在不同视角下的多张图像，例如，可以是俯视图或者侧视图等，在此不做限定。然后，对每张图像进行特征提取，如此，既可得到每张图像中的物品的特征提取结果，也即，针对一种物品可以对应多个特征提取结果，最后，可以基于各类第一物品的特征提取结果，生成所述预设的物品特征库。

需要说明的是，所述物品特征库中的物品的种类包含所述存储柜中放置的物品的种类。

在一些实施方式中，针对步骤S104，请参见图7，在基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物时，可以包括以下S1041～S1042：

S1041，确定所述物品的目标特征提取结果与所述预设的物品特征库中的每个特征提取结果之间的距离信息，得到至少一个距离信息。

示例性地，所述距离信息可以是曼哈顿距离、欧氏距离、切比雪夫距离或者余弦距离等，在此不做限定。本公开实施例中，所述距离信息为余弦距离。

可以理解，由于预设的物品特征库中具有至少一个特征提取结果，需要确定物品的目标特征提取结果分别与至少一个特征提取结果之间的距离信息，进而得到至少一个距离信息。

S1042，在所述至少一个距离信息符合预设条件的情况下，确定所述物品为异物。

其中，两个特征提取结果之间的距离信息越大，则说明两个特征提取结果之间的相似度越小，则可以确定两个特征提取结果所对应的两个物品的相似度越低，也即，若目标特征提取结果与物品特征库中的特征提取结果的距离信息越大，则说明所述物品为异物的概率越大。因此，本公开实施例中通过设置预设条件来判断所述物品是否为异物。

本公开实施例中，由于所述距离信息包括余弦距离，则所述至少一个距离信息符合预设条件是指至少一个余弦距离中的最小余弦距离大于预设阈值的情况。可以理解，若最小余弦距离大于预设阈值，则说明该物品为异物，若最小余弦距离小于预设阈值，则说明该物品为正常物品，进一步的，若该物品为正常物品，由于最小余弦距离由所述物品的目标特征提取结果与物品特征库中的一个特征提取结果得到，则可以将该物品特征库中的特征提取结果所对应的物品识别结果(也即物品类别)确定为所述物品的类别。

其中，所述预设阈值可以根据实际情况进行设置，本公开实施例中，请参见图8，可以通过以下S801～S804确定预设阈值：

S801，获取多个物品图像样本。

S802，基于所述多个物品图样样本，构建多个正样本对，所述正样本对包括两个具有相同种类信息的物品图像样本。

S803，确定每个正样本对中的两个物品图像样本之间的第一余弦距离，得到多个第一余弦距离。

S804，基于所述多个第一余弦距离，确定所述预设阈值。

其中，所述多个物品图像样本的种类不做限制。

可以理解，首先从多个物品图像样本中确定多组具有相同种类信息的物品图像样本，构建多个正样本对，例如，针对A1物品(例如冰红茶)，可以从多个物品图像样本中确定多张不同视角下的冰红茶的图像，并任意确定两张图像，构建一个正样本对，以此类推，构建多个正样本对。然后，对每个正样本对中的两个物品图像样本进行特征提取，得到两个物品图像样本对应的两个特征提取结果，进而确定两个特征提取结果之间的第一余弦距离，如此，针对多个正样本对，可以得到多个余弦距离，进而可以基于多个余弦距离，确定预设阈值，如此，可以使得预设阈值的选取更加合理和准确，进而可以提升异物检测的准确度。

需要说明的是，在确定预设阈值之后，为了确保正常样本(也即，非异物)不被误判为异物，该预设阈值是不能随意改变的。

在一些实施方式中，针对上述步骤S804，在基于所述多个第一余弦距离，确定所述预设阈值时，如图9所示，可以包括以下S8041～S8042：

S8041，将所述多个第一余弦距离按照预设规则进行排序，得到排序列表。

其中，所述预设规则可以是从大到小的排序规则，还可以是从小到大的排序规则，在此不做限定，本公开实施例中，以从大到小的排序规则进行排序。

可以理解，为了更清晰的表示出多个第一余弦距离之间的顺序，可以通过表格、队列、集合等方式对多个余弦距离之间的排序结果进行表示。在本公开实施例中，以表格为例对多个第一余弦距离进行详细说明。

示例性地，可以通过表1所示的内容来示意多个第一余弦距离的排序结果。如表1中所示，左侧一列中的01、02、03至N是指正样本对的标识号，每个标识号对应一组正样本对。右侧一列数字为每个正样本对对应的第一余弦距离，例如，标识号为01的正样本对所对应的第一余弦距离为0.15，标识号为03的正样本对所对应的第一余弦距离为0.1。也即，正样本对所对应的第一余弦距离越接近于0，则该正样本对中的两个物品图像样本的相似度越高。

表1

S8042，将所述排序列表中相对于目标余弦距离在预设相对排序位置处的第一余弦距离，确定为所述预设阈值，其中，所述目标余弦距离为所述多个第一余弦距离中的最大余弦距离。

示例性地，请再次参见表1，所述目标余弦距离为多个余弦距离中的最大余弦距离，也即0.15，所述预设相对排序位置可以是相对于目标余弦距离的0.1％的位置，并将位于此位置的第一余弦距离确定为预设阈值。例如，N为10000，则相对于目标余弦距离0.15的0.1％处为标识号M所在的位置，标识号M对应的第一余弦距离为0.05，则可以确定预设阈值为0.05。

其中，所述预设相对排序位置可以根据实际情况进行设置，在一些实施方式中，可以根据第一余弦距离的排列顺序、第一余弦距离的数量以及第一余弦距离的大小等设置所述预设相对排序位置，在此不做限定。

在本实施方式中，通过将排序列表中相对于目标余弦距离在预设相对排序位置处的第一余弦距离，确定为预设阈值，如此，可以在保证存储柜内物品种类的识别精度的情况下，提升异物检测的准确度。

可以理解，在确定预设阈值之后，需要进一步检验预设阈值的选取是否合理，因此，请参见图10，为本公开实施例所提供的一种预设阈值检验方法的流程图，如图10中所示，本公开实施例所提供的预设阈值的检验方法包括以下：S1001～S1002：

S1001，确定所述预设阈值是否符合预设要求。

S1002，在所述预设阈值不符合所述预设要求的情况下，对所述预设的特征提取网络进行重复训练，直至所述预设阈值符合所述预设要求。

可以理解，由于在确定预设阈值之后，为了确保正常样本(也即，非异物)不被误判为异物，该预设阈值是不能随意调整的。因此，若预设阈值不符合预设要求，则说明特征提取网络的特征提取精度存在误差，需要对预设的特征提取网络进行重复训练，得到新的特征提取网络，并将上述实施例中的正样本对输入至新的特征提取网络中，确定新的阈值，重复上述步骤，直至新的阈值符合预设条件，如此，可以提升特征提取网络的精度，进而有利于提升异物检测的精度。

在一些实施方式中，针对步骤S1001，在确定所述预设阈值是否符合预设要求时，请参见图11，可以包括以下S10011～S10013：

S10011，基于所述多个物品图样样本，构建多个负样本对，所述负样本对包括两个具有不同种类信息的物品图像样本。

S10012，确定每个负样本对中的两个物品图像样本之间的第二余弦距离，得到多个第二余弦距离。

S10013，基于所述多个第二余弦距离，确定所述预设阈值是否符合预设要求。

可以理解，首先从多个物品图像样本中确定多组具有不同种类信息的物品图像样本，构建多个负样本对，示例性地，可以从多个物品图像样本中确定出一张矿泉水的图像和一张可乐的图像，并将这两张图像构建为一个负样本对，然后，对每个负样本对中的两个物品图像样本进行特征提取，得到两个物品图像样本对应的两个特征提取结果，进而确定两个特征提取结果之间的第二余弦距离，如此，针对多个负样本对，可以得到多个第二余弦距离，进而可以基于多个第二余弦距离，确定预设阈值是否符合预设要求，也即，通过负样本对来确定异物是否可以被准确检测出来，如此，通过异物检测的召回率，来检验预设阈值是否符合预设要求，可以提升预设阈值检验的精度。

在一些实施方式中，针对步骤S10013，在基于所述多个第二余弦距离，确定所述预设阈值是否符合预设要求时，请参见图12，可以包括以下S100131～S100132：

S100131，确定所述多个第二余弦距离中大于所述预设阈值的目标数量。

S100132，在所述目标数量达到预设数量的情况下，确定所述预设阈值符合所述预设要求。

可以理解，由于负样本对中的两张物品图像样本为不同种类信息的物品图像样本，也即，两张物品图像样本之间的相似度越小，则对应的该负样本对的第二余弦距离越大。综上所述，可以确定多个第二余弦距离中大于预设阈值的目标数量，若目标数量达到预设数量，也即，多个负样本对中，被检测出来的负样本对的数量达到预设数量，则认为预设阈值符合预设要求。

请参见图13，为本公开实施例所提供的另一种异物检测方法的流程图，与图2中所示的异物检测方法不同的是，所述方法还包括S105：

S105，在确定所述物品为异物的情况下，生成提示信息，并通过所述存储柜上的显示区域进行显示或者语音播报所述提示信息。

可以理解，在确定所述物品为异物的情况下，也即，若检测出存储柜内存在异物，则生成提示信息，其中，所述提示信息可以以文字、音频或者图片的方式进行展示，具体的，可以通过存储柜上的显示区域展示提示信息，还可以通过语音播报提示信息。在其他实施方式中，还可以将提示信息发送至该存储柜的管理人员，以在第一时间通知管理人员及时对异物进行处理，以确保存储柜的正常使用，进而提高用户的使用体验。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与异物检测方法对应的异物检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述异物检测方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。

请参阅图14，图14为本公开实施例提供的一种异物检测装置的结构示意图，所述异物检测装置1400包括：图像获取模块1410、目标检测模块1420、特征提取模块1430以及异物确定模块1440；其中，

图像获取模块1410，用于获取反映存储柜内环境的待检测图像，所述存储柜中放置有至少一个物品；

目标检测模块1420，用于对所述待检测图像进行目标检测，得到所述待检测图像中的每个物品的检测框信息；

特征提取模块1430，用于基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果；

异物确定模块1440，用于基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，其中，所述物品特征库包括第一物品对应的至少一个特征提取结果，所述第一物品为预设的存放于所述存储柜内的物品，所述特征提取结果用于指示所述第一物品的物品种类信息，所述异物与所述第一物品不同。

一种可选的实施方式中，所述特征提取模块1430具体用于：

获取预设的特征提取网络；

一种可选的实施方式中，所述异物确定模块1440具体用于：

请参见图15，为本公开实施例所提供的另一种异物检测装置，所述装置还包括阈值确定模块1450，所述阈值确定模块1450用于：

获取多个物品图像样本；

基于所述多个第一余弦距离，确定所述预设阈值。

一种可选的实施方式中，所述阈值确定模块1450具体用于：

一种可选的实施方式中，所述装置还包括网络训练模块1460；

所述阈值确定模块1450还用于：

确定所述预设阈值是否符合预设要求；

所述网络训练模块1460用于：

一种可选的实施方式中，所述阈值确定模块1450具体用于：

一种可选的实施方式中，所述装置还包括提示信息生成模块1470，所述提示信息生成模块1470用于：

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参见图16所示，为本公开实施例提供的电子设备4000的结构示意图，包括处理器4001、存储器4002、和总线4003。其中，存储器4002用于存储执行指令，包括内存40021和外部存储器40022；这里的内存40021也称内存储器，用于暂时存放处理器4001中的运算数据，以及与硬盘等外部存储器40022交换的数据，处理器4001通过内存40021与外部存储器40022进行数据交换。

本申请实施例中，存储器4002具体用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。也即，当电子设备4000运行时，处理器4001与存储器4002之间通过总线4003通信，使得处理器4001执行存储器4002中存储的应用程序代码，进而执行前述任一实施例中的方法。

处理器4001可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，存储器4002可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的异物检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的异物检测方法的步骤，具体可参阅上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种异物检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述检测框信息，对所述待检测图像中的所述物品进行特征提取，得到所述物品的目标特征提取结果，包括：

获取预设的特征提取网络；

3.根据权利要求2所述的方法，其特征在于，所述基于所述物品的目标特征提取结果以及预设的物品特征库，确定所述物品是否为异物，包括：

4.根据权利要求3所述的方法，其特征在于，所述距离信息包括余弦距离；在至少一个余弦距离中的最小余弦距离大于预设阈值的情况下，确定所述至少一个余弦距离符合所述预设条件。

5.根据权利要求4所述的方法，其特征在于，通过以下步骤确定所述预设阈值：

获取多个物品图像样本；

基于所述多个第一余弦距离，确定所述预设阈值。

6.根据权利要求5所述的方法，其特征在于，所述基于所述多个第一余弦距离，确定所述预设阈值，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

确定所述预设阈值是否符合预设要求；

8.根据权利要求7所述的方法，其特征在于，所述确定所述预设阈值是否符合预设要求，包括：

9.根据权利要求8所述的方法，其特征在于，所述基于所述多个第二余弦距离，确定所述预设阈值是否符合预设要求，包括：

10.根据权利要求1-9任一所述的方法，其特征在于，所述方法还包括：

11.一种异物检测装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任意一项所述的异物检测方法。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任意一项所述的异物检测方法。