CN114708441A - 目标检测及状态确定方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种目标检测及状态确定方法、装置、设备及存储介质，其中，该方法包括：获取反映存储柜内环境的待检测图像；对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；基于所述检测结果，确定检测框候选列表；基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。本公开实施例，可以提升检测框的筛选精度。

Description

目标检测及状态确定方法、装置、设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种目标检测方法、物品拿取状态确定方法、目标检测装置、物品拿取状态确定装置、电子设备及计算机可读存储介质。

背景技术

随着计算机视觉技术的不断发展，目标检测技术被得到广泛开发。基于神经网络的目标检测技术，极大地提高了物品检测的准确率，同时具有较强的泛化能力和鲁棒性。在目标检测技术中，会出现大量的检测框，因此需要NMS(Non-maximum suppression，非极大值抑制)算法对检测框进行筛选。

然而，在一些场景下，比如存储柜内存放有多个物品且物品完全暴露的场景下，在目标检测过程中通常会同时检测出一个目标物品的部分和整体(比如：瓶装物品的瓶盖和瓶身)，针对这种情况，若采用目前的NMS算法，由于IOU(重叠度)不满足条件，往往不能将多余的检测框(部分的检测框)筛除，导致NMS算法不能满足目前一些场景的需求。

发明内容

本公开实施例至少提供一种目标检测方法、物品拿取状态确定方法、目标检测装置、物品拿取状态确定装置、电子设备及计算机可读存储介质。

本公开实施例提供了一种目标检测方法，所述方法包括：

获取反映存储柜内环境的待检测图像；

对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；

基于所述检测结果，确定检测框候选列表；

基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

本公开实施例中，在得到多个检测框之后先建立检测框候选列表，然后基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果，如此，将同一目标物体的多个检测框进行筛选，进而可以降低将同一目标物品的部分和整体识别为多个目标物品的概率，提升了检测框的筛选精度。

在一种可能的实施方式中，所述检测结果还包括每个检测框的置信度，所述基于所述检测结果，确定检测框候选列表，包括：

基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表；

所述基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果，包括：

从所述检测框候选列表中确定第一目标检测框，并将所述第一目标检测框从所述检测框候选列表中删除，添加至检测框输出列表中；其中，所述第一目标检测框为所述检测框候选列表中置信度最高的检测框；

在所述检测侯选列表中确定与所述第一目标检测框对应的第二目标检测框，并将所述第二目标检测框从所述检测框候选列表中删除，其中，所述第二目标检测框与所述第一目标检测框之间的交集面积以及参考检测框的面积符合预设条件，所述参考检测框为所述第一目标检测框与所述第二目标检测框中面积较小的检测框；

返回执行所述从所述检测框候选列表中确定第一目标检测框的步骤，直至所述检测框候选列表为空的情况下，基于所述检测框输出列表，得到所述待检测图像的最终检测结果。

本公开实施例中，通过将检测框候选列表中置信度最高的检测框确定为第一目标检测框，并在第一目标检测框与第二目标检测框之间的交集面积与参考检测框的面积符合预设条件的情况下，将第二目标检测框从检测框候选列表中删除，直至检测框候选列表为空，最后基于检测框输出列表，确定待检测图像的最终检测结果，如此，可以进一步确定待检测图像的最终检测结果，降低同一目标物品出现多个检测框的情况发生的概率。

在一种可能的实施方式中，在所述交集面积与所述参考检测框的面积之间的比值大于预设阈值的情况下，确定所述交集面积以及所述参考检测框的面积符合所述预设条件。

在一种可能的实施方式中，所述基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表，包括：

将所述每个检测框的置信度与预设的置信度阈值进行比较；

基于所述置信度大于所述置信度阈值的检测框，得到所述检测框候选列表。

本公开实施例中，首先将每个检测框的置信度与预设的置信度阈值进行比较，然后根据置信度大于置信度阈值的检测框，得到检测框候选列表，如此，可以根据检测框的置信度阈值确定检测框候选列表，以降低置信度较低的检测框对最终检测结果的影响，进一步提升最终检测结果的准确度。

在一种可能的实施方式中，所述基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表，包括：

基于所述每个检测框的置信度，将所述至少两个检测框按照预设顺序进行排列，得到所述检测框候选列表，所述预设顺序包括升序排列或者降序排列。

本公开实施例中，可以根据每个检测框的置信度将至少两个检测框按照预设顺序进行排列，基于排列后的检测框顺序确定检测框候选列表，如此，可以更加方便的确定目标检测框。

本公开实施例还提供了一种物品拿取状态确定方法，包括：

获取反映存储柜内环境的两帧图像的最终检测结果；所述两帧图像包括前帧图像以及后帧图像，所述前帧图像为用户拿取行为之前的图像，所述后帧图像为所述用户拿取行为之后的图像，所述最终检测结果根据上述实施例中任一所述的目标检测方法得到；

基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态。

本公开实施例中，在获取到反映存储柜内环境的两帧图像的最终检测结果后，即可基于前帧图像的最终检测结果以及后帧图像的最终检测结果，确定物品的拿取状态，如此，由于最终检测结果根据前述任一实施例中的目标检测方法得到，可以降低将同一目标物品的部分和整体识别为多个目标物品的概率，提升检测精度，此外，前帧图像以及后帧图像分别为用户拿取行为之前以及拿取行为之后的图像，因此，基于前帧图像的最终检测结果以及后帧图像的最终检测结果，可以提高判断物品拿取状态的准确度。

在一种可能的实施方式中，所述前帧图像的最终检测结果以及后帧图像的最终检测结果，确定物品的拿取状态，包括：

在所述前帧图像的最终检测结果与所述后帧图像的最终检测结果之间存在差异的情况下，确定所述目标物品被拿取出所述存储柜。

本公开实施例中，可以通过前帧图像的最终检测结果以及后帧图像的最终检测结果进行对比，判断前帧图像的最终检测结果以及后帧图像的最终检测结果是否存在差异，若前帧图像的最终检测结果以及后帧图像的最终检测结果之间存在差异，则确定目标物品被拿取出存储柜，如此，可以进一步提高判断物品拿取状态的准确度。

在一种可能的实施方式中，所述方法还包括：

对所述目标物品进行物品种类识别，得到物品种类识别结果；

基于所述物品种类识别结果，确定所述目标物品的种类信息；

基于所述目标物品的种类信息，生成物品拿取信息。

本公开实施例中，对目标物品进行物品种类识别，得到物品种类识别结果，进一步确定目标物品的种类信息，基于目标物品的种类信息生成物品拿取信息，如此，通过对目标物品进行物品种类识别，可以提升物品拿取信息生成的完整性。

本公开实施例还提供了一种目标检测装置，包括：

图像获取模块，用于获取反映存储柜内环境的待检测图像；

目标检测模块，用于对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；

第一确定模块，用于基于所述检测结果，确定检测框候选列表；

第二确定模块，用于基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

在一种可能的实施方式中，所述检测结果还包括每个检测框的置信度，所述第一确定模块具体用于：

基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表；

所述第二确定模块具体用于：

从所述检测框候选列表中确定第一目标检测框，并将所述第一目标检测框从所述检测框候选列表中删除，添加至检测框输出列表中；其中，所述第一目标检测框为所述检测框候选列表中置信度最高的检测框；

在所述检测侯选列表中确定与所述第一目标检测框对应的第二目标检测框，并将所述第二目标检测框从所述检测框候选列表中删除，其中，所述第二目标检测框与所述第一目标检测框之间的交集面积以及参考检测框的面积符合预设条件，所述参考检测框为所述第一目标检测框与所述第二目标检测框中面积较小的检测框；

返回执行所述从所述检测框候选列表中确定第一目标检测框的步骤，直至所述检测框候选列表为空的情况下，基于所述检测框输出列表，得到所述待检测图像的最终检测结果。

在一种可能的实施方式中，在所述交集面积与所述参考检测框的面积之间的比值大于预设阈值的情况下，确定所述交集面积以及所述参考检测框的面积符合所述预设条件。

在一种可能的实施方式中，所述第一确定模块具体用于：

将所述每个检测框的置信度与预设的置信度阈值进行比较；

基于所述置信度大于所述置信度阈值的检测框，得到所述检测框候选列表。

在一种可能的实施方式中，所述第一确定模块具体用于：

基于所述每个检测框的置信度，将所述至少两个检测框按照预设顺序进行排列，得到所述检测框候选列表，所述预设顺序包括升序排列或者降序排列。

本公开实施例还提供了物品拿取状态确定装置，包括：

检测结果获取模块，用于获取反映存储柜内环境的两帧图像的最终检测结果；所述两帧图像包括前帧图像以及后帧图像，所述前帧图像为用户拿取行为之前的图像，所述后帧图像为所述用户拿取行为之后的图像，所述最终检测结果根据上述任一种可能的实施方式中的目标检测装置得到；

拿取状态确定模块，用于基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态。

在一种可能的实施方式中，所述拿取状态确定模块具体用于：

在所述前帧图像的最终检测结果与所述后帧图像的最终检测结果之间存在差异的情况下，确定所述目标物品被拿取出所述存储柜。

在一种可能的实施方式中，所述装置还包括：

识别结果确定模块，用于对所述目标物品进行物品种类识别，得到物品种类识别结果；

物品种类确定模块，用于基于所述物品种类识别结果，确定所述目标物品的种类信息；

拿取信息确定模块，用于基于所述目标物品的种类信息，生成物品拿取信息。

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的实施方式中的目标检测方法，或上述物品拿取状态确定方法。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一种可能的实施方式中的目标检测方法，或上述物品拿取状态确定方法。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种目标检测方法的流程图；

图2示出了本公开实施例所提供的一种存储柜的结构示意图；

图3示出了本公开实施例所提供的一种对待检测图像进行目标检测的结果示意图；

图4示出了本公开实施例所提供的一种展示检测框候选列表的示意图；

图5示出了本公开实施例所提供的另一种目标检测方法的流程图；

图6示出了本公开实施例所提供的一种展示降序排列的检测框候选列表的示意图；

图7示出了本公开实施例所提供的一种确定检测框候选列表的方法流程图；

图8示出了本公开实施例所提供的一种展示检测框候选列表以及检测框输出列表之间关系的示意图；

图9示出了本公开实施例所提供的一种展示检测框候选列表以及检测框输出列表之间关系的示意图；

图10示出了本公开实施例所提供的一种物品拿取状态确定方法的流程图；

图11示出了本公开实施例所提供的另一种物品拿取状态确定方法的流程图；

图12示出了本公开实施例所提供的一种目标检测装置的示意图；

图13示出了本公开实施例所提供的一种物品拿取状态确定装置的示意图；

图14示出了本公开实施例所提供的另一种物品拿取状态确定装置的示意图；

图15示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在对存储柜中的多个物品进行目标检测的过程中，通常会同时检测出一个物品的部分和整体(比如：瓶装物品的瓶盖和瓶身)，然而，目前的NMS算法往往不能将多余的检测框(部分的检测框)进行筛除，最终影响检测精度。

针对上述问题，本公开提供了一种目标检测方法，包括：获取反映存储柜内环境的待检测图像；对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；基于所述检测结果，确定检测框候选列表；基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

本实施方式中，在得到多个检测框之后先建立检测框候选列表，然后基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果，如此，可以将同一目标物体的多个检测框进行筛选，进而可以降低将同一目标物品的部分和整体识别为多个目标物品的概率，提升了检测框的筛选精度。

参见图1所示，为本公开实施例提供的一种目标检测方法的流程图，所述方法包括步骤S101～S104：

S101，获取反映存储柜内环境的待检测图像。

其中，存储柜是指能够对目标物品进行存储的装置，不同的应用场景，存储柜的形态也不同。比如，存储柜可以是用于售卖商品的自助售货柜、用于冷藏物品的家用冰箱、用于存储物品的快递柜。

下面以存储柜为自助售卖柜为例进行说明。

参见图2所示，为本公开实施例所提供的一种存储柜的结构示意图，如图2所示，该存储柜100包括多个层叠且间隔设置置物板10以及至少一个摄像装置20。其中，每个置物板10用于放置目标物品200，至少一个摄像装置20用于采集待检测图像。其中，目标物品200可以是零食类物品，比如巧克力、各种瓶装或者罐装饮料、方便面等，还可以是日用品，比如梳子、镜子、勺子等，此处不做限定。至少一个摄像装置20会分别从不同的角度采集存储柜内环境的待检测图像。因此，通过上述摄像装置20可以获取到反映存储柜内环境的待检测图像。

需要说明的是，摄像装置20的数量可以根据实际需求进行设置，且多个摄像装置20之间需要具有较多的共同拍摄视野，以从不同角度拍摄存储柜内环境的待检测图像。具体的，可以根据摄像装置的拍摄视角、拍摄范围，或者根据成本等因素进行设置，比如，摄像装置20还可以是其他数量，三个或者五个等，在此不做限定。

本实施方式中，该目标检测方法的执行主体为存储柜，在其他实施方式中，该目标检测方法的执行主体还可以是具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动设备、用户终端、终端、计算设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该目标检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

S102，对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框。

在获取到反映存储柜内环境的待检测图像后，需要对待检测图像进行目标检测。其中，在一幅图像中，区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如，可以利用已经训练好的目标检测模型(或者目标检测网络)，检测在待检测图像里的目标物品的位置，得到检测结果。

参见图3所示，为本公开实施例所提供的一种对待检测图像进行目标检测的结果示意图，示例性地，可以将待检测图像T输入至目标检测模型进行目标检测，得到检测出的至少一个目标物品200的检测结果，本实施方式中，待检测图像中包括多个目标物品200，检测结果包括每个目标物品200的至少两个检测框A。需要说明的是，目标物品200的数量是根据实际情况而确定的，比如，存储柜100中可以容纳50件物品，则目标物品200的数量不能超过50件。其中，检测框的大小指示了目标物品的大小。

S103，基于所述检测结果，确定检测框候选列表。

在得到检测结果之后，可以进一步确定检测框候选列表。其中，检测框候选列表包括检测结果中的所有检测框。具体地，参见图4所示，为本公开实施例所提供的一种展示检测框候选列表的示意图，如图4所示，该检测框候选列表包括检测结果中的检测框1、检测框2、检测框3、检测框4、检测框5以及检测框N。

S104，基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

在确定检测框候选列表之后，确定不同目标检测框两两之间的交集面积以及产生交集的两个目标检测框中面积较小的检测框的面积，从而确定待检测图像的最终检测结果。在一些实施例中，在确定不同目标检测框两两之间的交集面积以及产生交集的两个目标检测框中面积较小的检测框的面积时，可以是遍历所有组合方式，从而确定所有两两目标检测框组合之间的交集面积以及较小的检测框的面积。

其中，目标检测框为检测框候选列表中的检测框。交集面积是指不同目标检测框之间的公共区域的面积。待检测图像的最终检测结果是指通过将检测框候选列表中的所有检测框进行筛选，筛选后得到的结果为待检测图像的最终检测结果。

具体地，再次参见图4所示，不同目标检测框可以是检测框1和检测框2，也可以是检测框3和检测框5，也即，不同目标检测框为检测框候选列表中的任意两个检测框。

本公开实施例中，在得到多个检测框之后先建立检测框候选列表，然后基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果，如此，可以将同一目标物体的多个检测框进行筛选，进而可以降低将同一目标物品的部分和整体识别为多个目标物品的概率，提升了检测框的筛选精度。

在一种可能的实施方式中，所述检测结果还包括每个检测框的置信度。参见图5所示，为本公开实施例提供的另一种目标检测方法的流程图，所述方法包括步骤S201～S210：

S201，获取反映存储柜内环境的待检测图像。

该步骤与图1中的步骤S101类似，在此不再赘述。

S202，对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框以及每个检测框的置信度。

其中，检测框的置信度是指输出结果的一个置信分数，比如，获取到的待检测图像可能不清晰，导致检测和输出的结果不准，此时生成的置信度分数会较低。示例性地，可以以文字的形式输出每个检测框的置信度，比如，置信度为0.88。

S203，基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表。

在得到检测结果之后，可以根据检测结果中的多个检测框以及每个检测框的置信度，确定检测框候选列表。

在一种可能的实施方式中，可以基于每个检测框的置信度，将至少两个检测框按照预设顺序进行排列，得到检测框候选列表，其中，预设顺序包括升序排列或者降序排列。

具体地，可以根据每个检测框的置信度将至少两个检测框按照预设顺序进行排列，基于排列后的检测框顺序确定检测框候选列表，如此，可以更加方便的确定目标检测框。

示例性地，参见图6所示，为本公开实施例所提供的一种展示降序排列的检测框候选列表的示意图，如图6所示，该检测框候选列表以5个检测框为例进行说明，根据每个检测框的置信度，将检测框候选列表中的所有检测框按照降序进行排列，得到检测框的排列顺序为检测框1、检测框5、检测框3、检测框2以及检测框4。

在另一种可能的实施方式中，可以先根据置信度大于置信度阈值的检测框，确定检测框候选列表，然后再对检测框候选列表中的检测框按照预设顺序进行排列。具体地，参见图7所示，为本公开实施例所提供的一种确定检测框候选列表的方法流程图，包括S1031～S1032：

S1031，将所述每个检测框的置信度与预设的置信度阈值进行比较。

S1032，基于所述置信度大于所述置信度阈值的检测框，得到所述检测框候选列表。

本实施方式中，首先将每个检测框的置信度与预设的置信度阈值进行比较，然后根据置信度大于置信度阈值的检测框，得到检测框候选列表，如此，可以根据检测框的置信度阈值确定检测框候选列表，以降低置信度较低的检测框对最终检测结果的影响，进一步提升最终检测结果的准确度。

示例性地，预设的置信度阈值可以根据实际情况而进行设定，比如可以设置为0.5、0.6、0.8或者0.9等，在此不做限定。若检测框的置信度大于预设的置信度阈值，则可以证明待检测图像的置信水平较高，可以继续进行检测；若检测框的置信度小于预设的置信度阈值，则可以证明待检测图像的置信水平较低，说明该待检测图像可能存在不清晰的情况，如果继续进行检测可能会导致检测和输出的结果不准确，因此，为了提高检测精度，可以将置信度小于预设的置信度阈值的检测框从多个检测框中删除，然后将置信度大于预设的置信度阈值的检测框按照预设顺序进行排序，以得到检测框候选列表。

S204，从所述检测框候选列表中确定第一目标检测框，并将所述第一目标检测框从所述检测框候选列表中删除，添加至检测框输出列表中；其中，所述第一目标检测框为所述检测框候选列表中置信度最高的检测框。

在确定检测框候选列表之后，将检测框候选列表中置信度最高的检测框确定为第一目标检测框，在确定第一目标检测框之后，将第一目标检测框从检测框候选列表中删除，添加至检测框输出列表中。其中，第一目标检测框为检测框候选列表中置信度最高的检测框。检测框输出列表包括检测框候选列表中置信度最高的检测框。

具体地，参见图8所示，为本公开实施例所提供的一种展示检测框候选列表以及检测框输出列表之间关系的示意图，如图8所示，由上述可知检测框1为检测框候选列表中置信度最高的检测框，也即，检测框1为第一目标检测框。因此，将检测框1从检测框候选列表中删除，并将检测框1添加至检测框输出列表中。

S205，在所述检测侯选列表中确定与所述第一目标检测框对应的第二目标检测框。

在将第一目标检测框从检测框候选列表中删除之后，需要确定与第一目标检测框对应的第二目标检测框。其中，第二检测框为检测框候选列表中的任一检测框。

S206，确定所述第二目标检测框与所述第一目标检测框之间的交集面积以及参考检测框的面积是否符合预设条件，所述参考检测框为所述第一目标检测框与所述第二目标检测框中面积较小的检测框；若是，则执行步骤S208；若否，则执行步骤S207。

在确定第一目标检测框以及第二目标检测框之后，需要进一步确定第一目标检测框与第二目标检测框之间的交集面积以及参考检测框的面积是否符合预设条件。其中，参考检测框为第一目标检测框与第二目标检测框中面积较小的检测框。

在一种可能的实施方式中，如图8所示，将检测框5确定为第二目标检测框，以检测框1为目标物品的瓶盖部分的检测框(也即检测框1的面积较小)、检测框5为目标物品的瓶身部分的检测框为例。示例性地，将预设阈值设置为0.8，若检测框1与检测框5之间的交集面积与检测框1的面积之间的比值为0.9，则证明所述交集面积与检测框1的面积之间的比值大于该预设阈值，也即交集面积以及参考检测框的面积符合预设条件，因此，将检测框5从检测框候选列表中删除，删除后的检测框候选列表如图9所示。

在另一种可能的实施方式中，如图8所示，将检测框3确定为第二目标检测框，以检测框1为第一目标物品的检测框、检测框3为第二目标物品且面积较小的检测框为例，若检测框1与检测框3之间的交集面积与检测框3的面积之间的比值为0.75，则证明所述交集面积与检测框3的面积之间的比值小于该预设阈值，也即交集面积以及参考检测框的面积不符合预设条件，因此，将检测框3继续保留在检测框候选列表中，检测框候选列表如图9所示。

S207，将所述第二目标检测框保留至所述检测框候选列表中。

示例性地，若交集面积以及参考检测框的面积不符合预设条件，则将第二目标检测框继续保留在检测框候选列表中。

S208，将所述第二目标检测框从所述检测框候选列表中删除。

示例性地，若交集面积以及参考检测框的面积符合预设条件，则将第二目标检测框从检测框候选列表中删除。

S209，判断所述检测框候选列表是否为空；若是，则执行步骤S210；若否，则执行步骤S204。

将第二目标检测框从检测框候选列表中删除后，需要进一步判断检测框候选列表是否为空，若检测框候选列表为空，则根据检测框输出列表，确定待检测图像的最终检测结果；若检测框候选列表不为空，则需要从检测框候选列表中再次确定第一目标检测框，直至检测框候选列表为空。

具体地，参见图9所示，为本公开实施例所提供的另一种展示检测框候选列表以及检测框输出列表之间关系的示意图，如图9所示，将检测框候选列表中的检测框3确定为第一目标检测框，将检测框候选列表中的检测框2确定为第二目标检测框，通过将检测框3和检测框2之间的交集面积以及检测框3和检测框2中面积较小的检测框的面积进行计算，若该交集面积以及面积较小的检测框的面积符合预设条件，则将检测框2从检测框候选列表中删除，然后，将检测框候选列表中的检测框4确定为第二目标检测框，继续确定检测框3和检测框4之间的交集面积以及检测框3和检测框4中面积较小的检测框的面积是否符合预设条件，若该交集面积以及面积较小的检测框的面积也符合预设条件，则将检测框4从检测框候选列表中删除，即可确定检测框候选列表为空，检测框输出列表中包括检测框3以及检测框1。

S210，基于所述检测框输出列表，得到所述待检测图像的最终检测结果。

在确定检测框候选列表为空之后，可以根据检测框输出列表，确定待检测图像的最终检测结果。具体地，再次参见图9所示，由上述可知，检测框输出列表中包括检测框3以及检测框1，根据检测框输出列表可以确定待检测图像的检测结果为待检测图像存在检测框3以及检测框1所对应的目标物品。

本实施方式中，通过将检测框候选列表中置信度最高的检测框确定为第一目标检测框，并在第一目标检测框与第二目标检测框之间的交集面积与参考检测框的面积符合预设条件的情况下，将第二目标检测框从检测框候选列表中删除，直至检测框候选列表为空，最后基于检测框输出列表，确定待检测图像的最终检测结果，如此，可以进一步确定待检测图像的最终检测结果，降低同一目标物品出现多个检测框的情况发生的概率。

下面对本公开实施例提供的物品拿取状态确定方法加以说明。

参见图10所示，为本公开实施例提供的一种物品拿取状态确定方法的流程图，包括以下S301～S302：

S301，获取反映存储柜内环境的两帧图像的最终检测结果；所述两帧图像包括前帧图像以及后帧图像，所述前帧图像为用户拿取行为之前的图像，所述后帧图像为所述用户拿取行为之后的图像，所述最终检测结果根据前述任一实施例中的目标检测方法得到。

S302，基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态。

其中，目标物品的拿取状态包括目标物品已拿取状态以及目标物品未拿取状态。

可以理解，在获取到反映存储柜内环境的两帧图像的最终检测结果后，即可基于前帧图像的最终检测结果以及后帧图像的最终检测结果，确定物品的拿取状态，如此，由于最终检测结果根据前述任一实施例中的目标检测方法得到，可以降低将同一目标物品的部分和整体识别为多个目标物品的概率，提升检测精度，此外，前帧图像以及后帧图像分别为用户拿取行为之前以及拿取行为之后的图像，因此，基于前帧图像的最终检测结果以及后帧图像的最终检测结果，可以提高判断物品拿取状态的准确度。

具体地，可以通过前帧图像的最终检测结果以及后帧图像的最终检测结果进行对比，判断两帧图像的最终检测结果是否存在差异，若前帧图像的最终检测结果与后帧图像的最终检测结果之间存在差异，则可以确定目标物品被拿取出存储柜，如此，可以进一步提高判断物品拿取状态的准确度。

在一种可能的实施方式中，若前帧图像的最终检测结果以及后帧图像的最终检测结果之间未存在差异，则可以确定目标物品未被拿取。

参见图11所示，为本公开实施例提供的另一种物品拿取状态确定方法的流程图，该方法与图10中的方法不同的是，在步骤S302之后还包括以下S303～S305：

S303，对所述目标物品进行物品种类识别，得到物品种类识别结果。

在确定目标物品的拿取状态后，需要对目标物品进行物品种类识别，得到物品种类识别结果。其中，物品种类识别结果包括目标物品的种类信息。

示例性地，在识别目标物品时，可以将目标物品输入至训练好的、用于识别物品信息的物品识别模型中进行识别，以得到目标物品的物品种类识别结果。

S304，基于所述物品种类识别结果，确定所述目标物品的种类信息。

在得到目标物品的物品种类识别结果后，可以进一步确定目标物品的种类信息。示例性地，种类信息可以是巧克力、饼干等。

S305，基于所述目标物品的种类信息，生成物品拿取信息。

在确定目标物品的种类信息后，可以生成物品拿取信息。其中，物品拿取信息可以包括目标物品的种类信息、拿取目标物品的时间信息以及目标物品的拿取状态中的至少一种。比如，物品拿取信息可以为“A饮料于09时21分被拿取出存储柜”。

在另一些实施方式中，在存储柜为自助售卖柜的场景下，物品拿取信息也可以称为订单明细信息，也即，物品拿取信息还可以包括物品资源信息，所述物品资源信息是指物品的金额信息，比如A饮料，3.5元。

本实施方式中，对目标物品进行物品种类识别，得到物品种类识别结果，进一步确定目标物品的种类信息，基于目标物品的种类信息生成物品拿取信息，如此，通过对目标物品进行物品种类识别，可以提升物品拿取信息生成的完整性。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与目标检测方法对应的目标检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述目标检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图12所示，为本公开实施例提供的一种目标检测装置的示意图，所述装置500包括：

图像获取模块501，用于获取反映存储柜内环境的待检测图像；

目标检测模块502，用于对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；

第一确定模块503，用于基于所述检测结果，确定检测框候选列表；

第二确定模块504，用于基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

在一种可能的实施方式中，所述检测结果还包括每个检测框的置信度，所述第一确定模块503具体用于：

基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表；

所述第二确定模块504具体用于：

从所述检测框候选列表中确定第一目标检测框，并将所述第一目标检测框从所述检测框候选列表中删除，添加至检测框输出列表中；其中，所述第一目标检测框为所述检测框候选列表中置信度最高的检测框；

在所述检测侯选列表中确定与所述第一目标检测框对应的第二目标检测框，并将所述第二目标检测框从所述检测框候选列表中删除，其中，所述第二目标检测框与所述第一目标检测框之间的交集面积以及参考检测框的面积符合预设条件，所述参考检测框为所述第一目标检测框与所述第二目标检测框中面积较小的检测框；

返回执行所述从所述检测框候选列表中确定第一目标检测框的步骤，直至所述检测框候选列表为空的情况下，基于所述检测框输出列表，得到所述待检测图像的最终检测结果。

在一种可能的实施方式中，在所述交集面积与所述参考检测框的面积之间的比值大于预设阈值的情况下，确定所述交集面积以及所述参考检测框的面积符合所述预设条件。

在一种可能的实施方式中，所述第一确定模块503具体用于：

将所述每个检测框的置信度与预设的置信度阈值进行比较；

基于所述置信度大于所述置信度阈值的检测框，得到所述检测框候选列表。

在一种可能的实施方式中，所述第一确定模块503具体用于：

基于所述每个检测框的置信度，将所述至少两个检测框按照预设顺序进行排列，得到所述检测框候选列表，所述预设顺序包括升序排列或者降序排列。

本公开实施例中还提供了与物品拿取状态确定方法对应的物品拿取状态确定装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述物品拿取状态确定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图13所示，为本公开实施例提供的一种物品拿取状态确定装置的示意图，所述装置600包括：

检测结果获取模块601，用于获取反映存储柜内环境的两帧图像的最终检测结果；所述两帧图像包括前帧图像以及后帧图像，所述前帧图像为用户拿取行为之前的图像，所述后帧图像为所述用户拿取行为之后的图像，所述最终检测结果根据上述任一种可能的实施方式中的目标检测装置得到；

拿取状态确定模块602，用于基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态。

在一种可能的实施方式中，所述拿取状态确定模块602具体用于：

在所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果之间存在差异的情况下，确定所述目标物品被拿取出所述存储柜。

参见图14所示，在一种可能的实施方式中，所述装置还包括：

识别结果确定模块603，用于对所述目标物品进行物品种类识别，得到物品种类识别结果；

物品种类确定模块604，用于基于所述物品种类识别结果，确定所述目标物品的种类信息；

拿取信息确定模块605，用于基于所述目标物品的种类信息，生成物品拿取信息。

基于同一技术构思，本申请实施例还提供了一种电子设备。参照图15所示，为本申请实施例所提供的一种电子设备700的结构示意图，包括处理器701、存储器702和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所揭示的方法。

其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的目标检测方法，或上述方法实施例中所述的物品拿取状态确定方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的目标检测方法，或上述方法实施例中所述的物品拿取状态确定方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种目标检测方法，其特征在于，包括：

获取反映存储柜内环境的待检测图像；

对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；

基于所述检测结果，确定检测框候选列表；

基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

2.根据权利要求1所述的方法，其特征在于，所述检测结果还包括每个检测框的置信度，所述基于所述检测结果，确定检测框候选列表，包括：

基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表；

所述基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果，包括：

从所述检测框候选列表中确定第一目标检测框，并将所述第一目标检测框从所述检测框候选列表中删除，添加至检测框输出列表中；其中，所述第一目标检测框为所述检测框候选列表中置信度最高的检测框；

在所述检测侯选列表中确定与所述第一目标检测框对应的第二目标检测框，并将所述第二目标检测框从所述检测框候选列表中删除，其中，所述第二目标检测框与所述第一目标检测框之间的交集面积以及参考检测框的面积符合预设条件，所述参考检测框为所述第一目标检测框与所述第二目标检测框中面积较小的检测框；

返回执行所述从所述检测框候选列表中确定第一目标检测框的步骤，直至所述检测框候选列表为空的情况下，基于所述检测框输出列表，得到所述待检测图像的最终检测结果。

3.根据权利要求2所述的方法，其特征在于，在所述交集面积与所述参考检测框的面积之间的比值大于预设阈值的情况下，确定所述交集面积以及所述参考检测框的面积符合所述预设条件。

4.根据权利要求2或3所述的方法，其特征在于，所述基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表，包括：

将所述每个检测框的置信度与预设的置信度阈值进行比较；

基于所述置信度大于所述置信度阈值的检测框，得到所述检测框候选列表。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述基于所述至少两个检测框以及所述每个检测框的置信度，确定所述检测框候选列表，包括：

基于所述每个检测框的置信度，将所述至少两个检测框按照预设顺序进行排列，得到所述检测框候选列表，所述预设顺序包括升序排列或者降序排列。

6.一种物品拿取状态确定方法，其特征在于，包括：

获取反映存储柜内环境的两帧图像的最终检测结果；所述两帧图像包括前帧图像以及后帧图像，所述前帧图像为用户拿取行为之前的图像，所述后帧图像为所述用户拿取行为之后的图像，所述最终检测结果根据权利要求1-5任一所述的目标检测方法得到；

基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态。

7.根据权利要求6所述的方法，其特征在于，所述基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态，包括：

在所述前帧图像的最终检测结果与所述后帧图像的最终检测结果之间存在差异的情况下，确定所述目标物品被拿取出所述存储柜。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

对所述目标物品进行物品种类识别，得到物品种类识别结果；

基于所述物品种类识别结果，确定所述目标物品的种类信息；

基于所述目标物品的种类信息，生成物品拿取信息。

9.一种目标检测装置，其特征在于，包括：

图像获取模块，用于获取反映存储柜内环境的待检测图像；

目标检测模块，用于对所述待检测图像进行目标检测，得到检测结果，所述检测结果包括至少两个检测框；

第一确定模块，用于基于所述检测结果，确定检测框候选列表；

第二确定模块，用于基于所述检测框候选列表中不同目标检测框两两之间的交集面积、以及产生交集的两个目标检测框中面积较小的检测框的面积，确定所述待检测图像的最终检测结果。

10.一种物品拿取状态确定装置，其特征在于，包括：

检测结果获取模块，用于获取反映存储柜内环境的两帧图像的最终检测结果；所述两帧图像包括前帧图像以及后帧图像，所述前帧图像为用户拿取行为之前的图像，所述后帧图像为所述用户拿取行为之后的图像，所述最终检测结果根据权利要求1-5任一所述的目标检测方法得到；

拿取状态确定模块，用于基于所述前帧图像的最终检测结果以及所述后帧图像的最终检测结果，确定目标物品的拿取状态。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任意一项所述的目标检测方法，或者如权利要求6至8任意一项所述的物品拿取状态确定方法。

12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任意一项所述的目标检测方法，或者如权利要求6至8任意一项所述的物品拿取状态确定方法。

Images