CN110517289A - 一种物品追踪方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种物品追踪方法、装置、计算机设备及存储介质，用于解决现有技术中物品追踪准确性较低的技术问题。该方法包括：将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算；若所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量对应同一物品；确定满足所述第一预设关联条件的N帧图像中最后一帧图像中的所述同一物品的检测框；判断所述检测框是否越过预设检测线，以确定所述同一物品的状态。

Description

一种物品追踪方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种物品追踪方法、装置、计算机设备及存储介质。

背景技术

近年来，目标追踪是计算机视觉领域中一个重要的研究课题，其在无人机飞行器、移动机器人、智能交通系统、无人零售等很多方面都有着广泛的应用前景。

现有技术中的目标追踪的方法是检测每帧图片中所有物品的位置信息，然后将多帧图像之间的同一物品的信息进行处理。然而，在确定物品位置信息的过程中，对于小尺寸的物体或者是被遮挡一部分的物品，根据单帧图像的信息确定出的物品位置信息可能是不准确的，即检测物品不准确，可能会使多帧图像之间处理出现问题，例如当前帧图像可以检测到物品，而在与之相邻的下一帧图像中无法检测到该物品，从而导致无法准确判断物品移动过程。

可见，现有技术中存在物品追踪的准确性较低的技术问题。

发明内容

本申请实施例提供一种物品追踪方法、装置、计算机设备及存储介质，用于解决现有技术中物品追踪准确性较低的技术问题。

第一方面，提供一种物品追踪的方法，所述方法包括：

将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算，其中，所述第二帧图像为与所述第一帧图像相邻的下一帧图像，所述第一物品和所述各个物品属于所述固定区域放置的物品；

若所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量对应同一物品；

确定满足所述第一预设关联条件的N帧图像中最后一帧图像中的所述同一物品的检测框，其中，N为大于1的正整数，所述检测框用于表征所述同一物品在帧图像中的区域信息；

判断所述检测框是否越过预设检测线，以确定所述同一物品的状态。

在本申请实施例中，可以先采集的固定区域中的第一帧图像中第一物品的特征向量，与它相邻的下一帧图像即第二帧图像中各个物品的特征向量进行余弦距离的计算，当确定第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值即满足第一预设关联条件时，则可以确定第一帧图像中的第一物品的特征向量和第二帧图像中的第二物品的特征向量对应同一物品，也就是说，本申请是根据物品的特征向量来计算相邻的两帧图像中物品是否对应同一物品，这样的方式，由于是根据物品的特征向量来确定的，因而可以较为准确的确定同一物品。

进一步地，可以确定满足第一预设关联条件的N帧图像中最后一帧图像中的同一物品的检测框，然后判断检测框是否越过预设检测线，从而来确定同一物品的状态。这样的方式，由于是根据满足第一预设关联条件的N帧图像中最后一帧图像中同一物品的检测框进行的判断，从而可以较为准确的确定出物品的状态。

在一种可能的设计方式中，判断所述检测框是否越过预设检测线，以确定所述同一物品的状态，包括：

若所述最后一帧图像中的所述同一物品的检测框越过所述预设检测线，在第一预定时间后，获取所述固定区域的第一回检帧图像；

将所述最后一帧图像中的所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量进行余弦距离计算；

若所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量之间的各个余弦距离均大于或等于第一阈值，则确定所述预定时间后所述同一物品离开所述固定区域。

在一种可能的设计方式中，所述方法还包括：

在获取所述固定区域的第一回检帧图像后，在达到第二预定时间时获取所述固定区域的第二回检帧图像；

若所述最后一帧图像中的所述同一物品的特征向量与所述第二回检帧图像中的第四物品的特征向量满足所述第一预设关联条件，则确定所述同一物品离开所述固定区域又回到所述固定区域。

在一种可能的设计方式中，判断所述检测框是否越过预设检测线，以确定所述同一物品的状态，包括：

若所述最后一帧图像中的所述同一物品的检测框未越过所述预设检测线，则确定所述同一物品未离开所述固定区域。

在一种可能的设计方式中，所述方法还包括：

若所述第一帧图像中的第一物品的特征向量和所述第二帧的各个物品的特征向量均不满足所述第一预设关联条件，则确定所述第一帧图像中的第一物品的预测框的特征值，其中，预测框用于表征物品在下一帧图像中的预测区域信息；

将所述第一帧图像中的第一物品的预测框的特征值与所述第二帧图像中各个物品的检测框的特征值进行相似度计算以获得各个第一相似度，并判断所述各个第一相似度是否小于第二阈值；

若确定所述第一物品的预测框的特征值与所述第二帧图像中的第三物品之间的第一相似度小于第二阈值，则确定满足第二预设关联条件，以确定所述第一帧图像中的第一物品的预测框和所述第二帧图像中的第三物品的检测框中对应同一物品。

在一种可能的设计方式中，所述方法还包括：

若所述各个第一相似度均不满足所述第二预设关联条件，则将所述第一物品的检测框和特征向量进行存储；

判断所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量是否满足所述第一预设关联条件，其中，M为大于或等于3的整数；

若是，则确定所述第一物品为所述固定区域的物品。

在一种可能的设计方式中，所述方法还包括：

若所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量均不满足所述第一预设关联条件，则确定所述第一物品为误检物品。

第二方面，提供一种物品追踪装置，所述装置包括：

处理模块，用于将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算，其中，所述第二帧图像为与所述第一帧图像相邻的下一帧图像，所述第一物品和所述各个物品属于所述固定区域放置的物品；

关联模块，用于若所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量对应同一物品；

第一确定模块，用于确定满足所述第一预设关联条件的N帧图像中最后一帧图像中的所述同一物品的检测框，其中，N为大于1的正整数，所述检测框用于表征所述同一物品在帧图像中的区域信息；

第二确定模块，用于判断所述检测框是否越过预设检测线，以确定所述同一物品的状态。

在一种可能的设计方式中，所述第二确定模块，用于：

若所述最后一帧图像中的所述同一物品的检测框越过所述预设检测线，在第一预定时间后，获取所述固定区域的第一回检帧图像；

将所述最后一帧图像中的所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量进行余弦距离计算；

若所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量之间的各个余弦距离均大于或等于第一阈值，则确定所述预定时间后所述同一物品离开所述固定区域。

在一种可能的设计方式中，所述第二确定模块，用于：

在获取所述固定区域的第一回检帧图像后，在达到第二预定时间时获取所述固定区域的第二回检帧图像；

若所述最后一帧图像中的所述同一物品的特征向量与所述第二回检帧图像中的第四物品的特征向量满足所述第一预设关联条件，则确定所述同一物品离开所述固定区域又回到所述固定区域。

在一种可能的设计方式中，所述第二确定模块，用于：

若所述最后一帧图像中的所述同一物品的检测框未越过所述预设检测线，则确定所述同一物品未离开所述固定区域。

在一种可能的设计方式中，所述装置还包括第三确定模块，用于：

若所述第一帧图像中的第一物品的特征向量和所述第二帧的各个物品的特征向量均不满足所述第一预设关联条件，则确定所述第一帧图像中的第一物品的预测框的特征值，其中，预测框用于表征物品在下一帧图像中的预测区域信息；

将所述第一帧图像中的第一物品的预测框的特征值与所述第二帧图像中各个物品的检测框的特征值进行相似度计算以获得各个第一相似度，并判断所述各个第一相似度是否小于第二阈值；

若确定所述第一物品的预测框的特征值与所述第二帧图像中的第三物品之间的第一相似度小于第二阈值，则确定满足第二预设关联条件，以确定所述第一帧图像中的第一物品的预测框和所述第二帧图像中的第三物品的检测框中对应同一物品。

在一种可能的设计方式中，所述装置还包括回检模块，用于：

若所述各个第一相似度均不满足所述第二预设关联条件，则将所述第一物品的检测框和特征向量进行存储；

判断所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量是否满足所述第一预设关联条件，其中，M为大于或等于3的整数；

若是，则确定所述第一物品为所述固定区域的物品。

在一种可能的设计方式中，所述装置还包括回检模块，用于：

若所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量均不满足所述第一预设关联条件，则确定所述第一物品为误检物品。

第三方面，提供一种计算机设备，所述计算机设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中的任一方法包括的步骤。

第四方面，提供一种存储介质，该存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面中的任一方法包括的步骤。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为本申请实施例中的应用场景示意图；

图2为本申请实施例中的物品追踪方法的流程图；

图3为本申请实施例中的物品检测框的示意图；

图4为本申请实施例中的物品追踪装置的结构框图；

图5为本申请实施例中的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中的目标追踪，是在每帧图片中找到所有目标对象即物品的位置，然后是在多帧图像之间把同一个对象即物品进行关联，也就是说，现有的物品追踪是对每帧图像中所有目标对象整体进行位置的确定以实现物品追踪，那么，可能会出现由于对该帧图像所有目标对象的位置的检测失败，而导致该帧图像相邻帧中所有目标对象的位置关联失败，从而导致确定追踪目标的状态的错误的问题，即追踪结果准确性较低。

鉴于此，本申请实施例提供一种物品追踪的方法，可以确定固定区域的图像中每个物品是哪一种物品，然后再判断每个物品在固定区域的连续多帧的图像中检测区域是否发生变化，来确定每个物品是否离开固定区域，从而可以准确的确定物品追踪的状态，以提高物品追踪的准确性。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例中的物品追踪方法技术方案适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

在无人零售的超市中，一般放置有多个物品柜，每个物品柜中放置有不同的物品，例如，饮料，面包等物品，以及在每个柜子中设置多个摄像头，以便采集每个摄像头对应的固定区域的物品的图像信息。例如，请参见图1，当用户需要购买饮料A时，可以打开饮料A对应放置的物品柜1，并在固定区域1中将饮料A取出，摄像头可以在用户打开物品柜1的柜门时，向计算机设备发送其所拍摄的固定区域1的图像，计算机设备接收摄像头发送的图像并对图像进行处理，从而确定该固定区域1中物品的状态，进而还可以确定用户是否拿走该物品柜中饮料A，对该用户收取饮料A的费用，从而可以实现无人零售。

下面结合说明书附图介绍本申请实施例提供的技术方案。

请参见图2，本申请实施例提供一种物品追踪的方法，该方法可以由前述的计算机设备执行，在具体实施过程中，该计算机设备可以是服务器，例如是个人计算机、大中型计算机、计算机集群，等等。该方法的具体流程描述如下。

步骤201：将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算。

在本申请实施例中，可以通过预定的方式来获取通过摄像头采集到固定区域的一帧图像，以将获取到的一帧图像输入到检测网络中，例如，以前面的应用场景为例，用户打开物品柜时，与物品柜对应连接的传感器向摄像头发送触发信息，当摄像头接收到该触发信息时，可以触发采集其对应拍摄的固定区域的一帧图像，并将采集到的一帧图像发送给计算机设备，然后计算机设备中的检测网络可以输出输入的帧图像中包括的所有物品的检测框，其中，检测框用于表征物品在一帧图像中的位置，具体的，检测框可以表示为(x，y，w，h，其中x，y为检测框任意一角的角坐标(例如左上角的角坐标)，w，h分别为检测框的宽、高)，例如，如图3所示的物品3的检测框，可以表示为(x，y，w，h)。

例如，请参见图3，假设摄像头采集的帧图像中包括4个物品，分别为物品1、物品2、物品3以及物品4，当检测网络接收到前述的帧图像后，可以对帧图像进行处理，从而获得如图3所示的处理效果图，即可以获得分别针对物品1、物品2、物品3以及物品4确定的检测框，检测框在图3中以虚线示出。

在具体实施过程中，在确定通过摄像头采集到固定区域的一帧图像中的检测框之后，还可以将检测框对应的区域信息输入到特征提取网络中，从而特征提取网络可以输出检测框中对应的物品的特征向量。

例如，当获得检测框1、检测框2、检测框3、检测框4之后，可以将检测框1对应的区域信息、检测框2对应的区域信息、检测框3对应的区域信息、检测框4对应的区域信息输入到特征提取网络中，从而可以确定一帧图像中包括物品1、物品2、物品3、物品4，其分别位于一帧图像中检测框1、检测框2、检测框3以及检测框4中。

在本申请实施例中，可以采用上述方法对固定区域的摄像头采集的单帧图像中所包括的物品的确定以及物品所在位置的确定，为了便于理解，本申请实施例中以单个物品为例来对本申请实施例提供的技术方案进行说明。

在本申请实施例中，可以采用上述方法确定出固定区域的第一帧图像中的第一物品的特征向量，以及确定出固定区域的第二帧图像中的各个物品的特征向量，其中，固定区域可以理解为前述应用场景中任一摄像头所对应采集信息的区域，第二帧图像为与第一帧图像相邻的下一帧图像，第一物品和各个物品属于固定区域放置的物品。

在本申请实施例中，可以将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算，即将第一物品的特征向量和第二帧图像中的所有物品的特征向量进行余弦距离计算。

步骤202:判断第一帧图像中的第一物品的特征向量和第二帧图像中各个物品的特征向量之间的余弦距离是否小于第一阈值。

在本申请实施例中，当确定出第一帧图像中的第一物品的特征向量和第二帧图像中各个物品的特征向量之后，还可以判断第一帧图像中的第一物品的特征向量和第二帧图像中各个物品的特征向量之间的余弦距离是否小于第一阈值。

进一步的，在具体的实施过程中，请参见步骤203：若第一帧图像中的第一物品的特征向量和第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定第一帧图像中的第一物品的特征向量和第二帧图像中的第二物品的特征向量对应同一物品。也就是说，本申请实施例中，可以采用根据物品的特征向量与物品的特征向量之间的余弦距离来确定第一图像中的某一个物品是否与第二帧图像中的某一个物品是同一物品，这样的方式，可以准确的将第一帧图像中的物品和与第一帧相邻的第二帧图像中的物品关联起来。

在具体的实施过程中，考虑到摄像头在采集图像的过程中，可能由于有小飞虫或者其它原因，导致采集到的图像中的物品的特征信息可能不全，从而导致第一帧图像中的第一物品的特征向量和第二帧图像中各个物品的特征向量之间的余弦距离大于或等于第一阈值，即不满足第一预设关联条件。因而，在本申请实施例，还可以通过判断第一物品的预测框的特征值和第二帧图像中各个物品的检测框的特征值是否满足第二预设关联条件，来确定第一帧图像中的第一物品是否与第一帧相邻的第二帧图像中的物品可以关联，即第一物品与第二帧图像中的某一物品为同一物品。

具体的，通过判断第一物品的预测框的特征值和第二帧图像中各个物品的检测框的特征值是否满足第二预设关联条件，来确定第一帧图像中的第一物品是否与第一帧相邻的第二帧图像中的物品可以关联的详细过程如下：

请继续参见图2，步骤204：若第一帧图像中的第一物品的特征向量和第二帧的各个物品的特征向量均不满足第一预设关联条件，则确定第一帧图像中的第一物品的预测框的特征值，其中，预测框用于表征物品在下一帧图像中的预测区域信息。

步骤205：将第一帧图像中的第一物品的预测框的特征值与第二帧图像中各个物品的检测框的特征值进行相似度计算以获得第一相似度，并判断第一相似度是否小于第二阈值；

步骤206：若确定第一物品的预测框的特征值与第二帧图像中的第三物品之间的第一相似度小于第二阈值，则确定满足第二预设关联条件，以确定第一帧图像中的第一物品的特征向量和第二帧图像中的第三物品的特征向量对应同一物品。

在本申请实施例中，可以通过确定第一帧图像中的第一物品的预测框，也就是说，可以预先确定第一帧图像中的第一物品在第二帧图像中可能出现的区域，然后将第一物品的预测框的特征值和第二帧图像中各个物品的检测框的特征值进行相似度计算，然后可以得到各个第一相似度。

进一步地，当确定出各个第一相似度之后，可以确定各个第一相似度是否小于第二阈值，即是否满足第二预设关联条件，当确定第一物品的预测框的特征值和第二帧图像中的第三物品之间的第一相似度小于第二阈值，则可以确定第一物品与第三物品对应的同一物品。也就是说，通过将第一帧图像中物品的预测框和第二帧图像中各个物品的检测框进行计算，通过检测区域信息可以较为准确的确定出同一物品在不同帧图像中是否关联上，以便后续物品跟踪的状态的确定。

在本申请实施例中，可以以马氏距离计算为例，来对本申请提出的技术方案进行说明，具体的，马氏距离(Mahalanobis distance)是表示数据的协方差距离，它是一种有效的计算两个未知样本集的相似度的方法。即可以将第一物品的预测框的特征值和第二帧图像中各个物品的检测框的特征值进行马氏距离计算，然后可以得到各个第一距离，进而还可以判断各个第一距离是否小于第三阈值，从而可以确定出相邻两帧图像中是否包含同一物品。

另外，上述的方式，当不满足第一预设条件时，可以做进一步地判断，从而降低关联错误的问题出现次数，增加了技术方案的灵活性和实用性，可以较为准确的将相邻两帧图像中的同一物品进行关联。

在本申请实施例中，如前所述当用户打开物品柜时，自动触发摄像头采集其对应的固定区域的图像，然后计算机设备接收到摄像头发送的固定区域的图像之后，对接收到的图像采用上述的方法进行处理，即当确定满足第一预设关联条件或第二预设关联条件时，即相邻帧的图像中可以关联同一物品，从而可以确定接收到的多帧图像中同一物品的运动状态。

具体的，请参见如图2所示的步骤206：确定满足预设关联条件的N帧图像中最后一帧图像中的同一物品的检测框，其中，N为大于1的正整数，检测框用于表征同一物品在帧图像中的区域信息。

步骤207：判断检测框是否越过预设检测线，以确定同一物品的状态。

在具体的实施过程中，当确定摄像头采集的固定区域的第一帧图像中的第一物品和与第一帧图像相邻的第二帧图像中的第二物品为同一物品时，可以采用上述的方法，确定出前述摄像头采集的固定区域中满足第一预设关联条件或第二预设关联条件的N帧图像(例如20帧图像)中最后一帧图像中的同一物品的检测框，其中，N为大于1的正整数，检测框用于表征同一物品在帧图像中的区域信息。

在具体的实施过程中，当确定出最后一帧图像中的同一物品的检测框之后，可以检测框是否越过预设检测线，从而可以确定同一物品的状态。

具体的，在一种可能的实施方式中，若最后一帧图像中的同一物品的检测框越过预设检测线，在第一预定时间后(例如5秒后)，获取固定区域的第一回检帧图像，然后将最后一帧图像中的同一物品的特征向量与第一回检帧图像中的各个物品的特征向量进行余弦距离计算，当同一物品的特征向量与第一回检帧图像中的各个物品的特征向量之间的各个余弦距离均大于或等于第一阈值即不满足第一预设关联条件时，则确定预定时间后同一物品离开固定区域。

也就是说，当确定最后一帧图像中的同一物品的检测框越过预设检测线，则表明同一物品可能离开固定区域，因而，在预定时间后可以再判断第一回检帧图像中是否还包括同一物品，即可以确定第一回检帧图像中各个物品的特征向量，从而可以确定同一物品的特征向量和第一回检帧图像中的各个物品的特征向量是否满足第一预设条件，当不满足时，可以确定同一物品离开固定区域。

具体的，在一种可能的实施方式中，在获取固定区域的第一回检帧图像后，在达到第二预定时间时获取固定区域的第二回检帧图像。当最后一帧图像中的同一物品的特征向量与第二回检帧图像中的第四物品的特征向量满足第一预设关联条件，则确定同一物品离开固定区域又回到固定区域。

在本申请实施例中，当确定同一物品有离开固定区域的趋势时，通过采集第一回检帧图像，然后将第一回检帧图像中各个物品的特征向量和同一物品的特征向量进行余弦计算的方式可以确定同一物品是否确定离开固定区域，进一步地，还可以在采集第一回检帧图像之后，当达到第二预定时间时(例如20秒)，获得第二回检帧图像，然后将同一物品的特征向量和第二回检帧图像中各个物品的特征向量进行余弦距离计算，当确定同一物品的特征向量与第二回检帧图像中的第四物品的特征向量满足第一预设关联条件，即同一物品离开所述固定区域又回到所述固定区域。

具体的，在一种可能的实施方式中，若最后一帧图像中的同一物品的检测框未越过预设检测线，则确定同一物品未离开固定区域。

在一种可能的实施方式，当各个第一相似度均不满足第二预设关联条件，也就是说，第一帧图像中的第一物品和第二帧图像中的各个物品都无法关联时，可以将第一物品的检测框和特征向量进行存储，然后可以判断第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与第一物品的特征向量是否满足第一预设关联条件，其中，M为大于或等于3的整数，当满足时，则可以确定第一物品为固定区域的物品，从而可以避免由于一次图像采集失误的问题，降低物品追踪的准确性。

当第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与第一物品的特征向量均不满足第一预设关联条件，则确定第一物品为误检物品。也就是说，可能第一帧图像中出现的不是该固定区域的物品，是误检的物品。

在本申请实施例中，可以采用前述如图2所示的方法对摄像头采集的固定区域中的每个物品进行状态的追踪，进一步地，还可以根据预先设定的规则，确定离开固定区域的物品的价格，从而可以实现先购物后付款的无人零售。

本发明实施例提供了一种用于物品追踪方法，该物品追踪方法能够实现前述的物品追踪方法对应的功能。基于同一发明构思，该物品追踪方法可以是硬件结构、软件模块、或硬件结构加软件模块。该物品追踪方法可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图4所示，该物品追踪方法包括处理模块401、关联模块402、第一确定模块403和第二确定模块404。其中：

处理模块401，用于将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算，其中，所述第二帧图像为与所述第一帧图像相邻的下一帧图像，所述第一物品和所述各个物品属于所述固定区域放置的物品；

关联模块402，用于若所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量对应同一物品；

第一确定模块403，用于确定满足所述第一预设关联条件的N帧图像中最后一帧图像中的所述同一物品的检测框，其中，N为大于1的正整数，所述检测框用于表征所述同一物品在帧图像中的区域信息；

第二确定模块404，用于判断所述检测框是否越过预设检测线，以确定所述同一物品的状态。

在一种可能的设计方式中，所述第二确定模块404，用于：

若所述最后一帧图像中的所述同一物品的检测框越过所述预设检测线，在第一预定时间后，获取所述固定区域的第一回检帧图像；

将所述最后一帧图像中的所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量进行余弦距离计算；

若所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量之间的各个余弦距离均大于或等于第一阈值，则确定所述预定时间后所述同一物品离开所述固定区域。

在一种可能的设计方式中，所述第二确定模块404，用于：

在获取所述固定区域的第一回检帧图像后，在达到第二预定时间时获取所述固定区域的第二回检帧图像；

若所述最后一帧图像中的所述同一物品的特征向量与所述第二回检帧图像中的第四物品的特征向量满足所述第一预设关联条件，则确定所述同一物品离开所述固定区域又回到所述固定区域。

在一种可能的设计方式中，所述第二确定模块404，用于：

若所述最后一帧图像中的所述同一物品的检测框未越过所述预设检测线，则确定所述同一物品未离开所述固定区域。

在一种可能的设计方式中，所述装置还包括第三确定模块，用于：

若所述第一帧图像中的第一物品的特征向量和所述第二帧的各个物品的特征向量均不满足所述第一预设关联条件，则确定所述第一帧图像中的第一物品的预测框的特征值，其中，预测框用于表征物品在下一帧图像中的预测区域信息；

将所述第一帧图像中的第一物品的预测框的特征值与所述第二帧图像中各个物品的检测框的特征值进行相似度计算以获得各个第一相似度，并判断所述各个第一相似度是否小于第二阈值；

若确定所述第一物品的预测框的特征值与所述第二帧图像中的第三物品之间的第一相似度小于第二阈值，则确定满足第二预设关联条件，以确定所述第一帧图像中的第一物品的预测框和所述第二帧图像中的第三物品的检测框中对应同一物品。

在一种可能的设计方式中，所述装置还包括回检模块，用于：

若所述各个第一相似度均不满足所述第二预设关联条件，则将所述第一物品的检测框和特征向量进行存储；

判断所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量是否满足所述第一预设关联条件，其中，M为大于或等于3的整数；

若是，则确定所述第一物品为所述固定区域的物品。

在一种可能的设计方式中，所述装置还包括回检模块，用于：

若所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量均不满足所述第一预设关联条件，则确定所述第一物品为误检物品。

前述的物品追踪方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明实施例中的物品追踪装置所对应的功能模块的功能描述，在此不再赘述。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本发明实施例提供一种计算机设备，请参见图5所示，该语音采集设备包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本发明实施例中不限定处理器501与存储器502之间的具体连接介质，图5中是以处理器501和存储器502之间通过总线500连接为例，总线500在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线500可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的物品追踪方法中所包括的步骤。

其中，处理器501是计算机设备的控制中心，可以利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的物品追踪方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器501进行设计编程，可以将前述实施例中介绍的物品追踪方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的物品追踪方法的步骤，如何对处理器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的物品追踪方法的步骤。

在一些可能的实施方式中，本申请提供的物品追踪方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使该计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的物品追踪方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种物品追踪方法，其特征在于，所述方法包括：

将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算，其中，所述第二帧图像为与所述第一帧图像相邻的下一帧图像，所述第一物品和所述各个物品属于所述固定区域放置的物品；

若所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量对应同一物品；

确定满足所述第一预设关联条件的N帧图像中最后一帧图像中的所述同一物品的检测框，其中，N为大于1的正整数，所述检测框用于表征所述同一物品在帧图像中的区域信息；

判断所述检测框是否越过预设检测线，以确定所述同一物品的状态。

2.如权利要求1所述的方法，其特征在于，判断所述检测框是否越过预设检测线，以确定所述同一物品的状态，包括：

若所述最后一帧图像中的所述同一物品的检测框越过所述预设检测线，在第一预定时间后，获取所述固定区域的第一回检帧图像；

将所述最后一帧图像中的所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量进行余弦距离计算；

若所述同一物品的特征向量与所述第一回检帧图像中的各个物品的特征向量之间的各个余弦距离均大于或等于第一阈值，则确定所述预定时间后所述同一物品离开所述固定区域。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

在获取所述固定区域的第一回检帧图像后，在达到第二预定时间时获取所述固定区域的第二回检帧图像；

若所述最后一帧图像中的所述同一物品的特征向量与所述第二回检帧图像中的第四物品的特征向量满足所述第一预设关联条件，则确定所述同一物品离开所述固定区域又回到所述固定区域。

4.如权利要求1所述的方法，其特征在于，判断所述检测框是否越过预设检测线，以确定所述同一物品的状态，包括：

若所述最后一帧图像中的所述同一物品的检测框未越过所述预设检测线，则确定所述同一物品未离开所述固定区域。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一帧图像中的第一物品的特征向量和所述第二帧的各个物品的特征向量均不满足所述第一预设关联条件，则确定所述第一帧图像中的第一物品的预测框的特征值，其中，预测框用于表征物品在下一帧图像中的预测区域信息；

将所述第一帧图像中的第一物品的预测框的特征值与所述第二帧图像中各个物品的检测框的特征值进行相似度计算以获得各个第一相似度，并判断所述各个第一相似度是否小于第二阈值；

若确定所述第一物品的预测框的特征值与所述第二帧图像中的第三物品之间的第一相似度小于第二阈值，则确定满足第二预设关联条件，以确定所述第一帧图像中的第一物品的预测框和所述第二帧图像中的第三物品的检测框中对应同一物品。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

若所述各个第一相似度均不满足所述第二预设关联条件，则将所述第一物品的检测框和特征向量进行存储；

判断所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量是否满足所述第一预设关联条件，其中，M为大于或等于3的整数；

若是，则确定所述第一物品为所述固定区域的物品。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

若所述第二帧图像之后的连续M帧图像中的每帧图像中各个物品的特征向量与所述第一物品的特征向量均不满足所述第一预设关联条件，则确定所述第一物品为误检物品。

8.一种物品追踪装置，其特征在于，所述装置包括：

处理模块，用于将固定区域的第一帧图像中的第一物品的特征向量和固定区域的第二帧图像中的各个物品的特征向量进行余弦距离计算，其中，所述第二帧图像为与所述第一帧图像相邻的下一帧图像，所述第一物品和所述各个物品属于所述固定区域放置的物品；

关联模块，用于若所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量之间的余弦距离小于第一阈值，则确定满足第一预设关联条件，以确定所述第一帧图像中的第一物品的特征向量和所述第二帧图像中的第二物品的特征向量对应同一物品；

第一确定模块，用于确定满足所述第一预设关联条件的N帧图像中最后一帧图像中的所述同一物品的检测框，其中，N为大于1的正整数，所述检测框用于表征所述同一物品在帧图像中的区域信息；

第二确定模块，用于判断所述检测框是否越过预设检测线，以确定所述同一物品的状态。

9.一种计算机设备，其特征在于，所述计算机设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-7任一所述的方法包括的步骤。

10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-7任一所述的方法包括的步骤。