CN117710405A - 处理目标轨迹的方法、装置及存储介质 - Google Patents

Abstract

本公开内容涉及处理目标轨迹的方法、装置及存储介质。根据本公开内容的一个实施例，该处理目标轨迹的方法包括：确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；针对候选顾客轨迹集中的每条轨迹，统计在售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹。

Description

处理目标轨迹的方法、装置及存储介质

技术领域

本公开内容总体上涉及信息处理和计算机视觉，更具体的，涉及用于目标跟踪中处理目标轨迹的方法、装置及存储介质。

背景技术

随着计算机科学与人工智能的发展，计算机视觉技术得到了进一步的发展。计算机视觉技术包括对摄像头捕获的图像序列(视频)进行目标跟踪的目标跟踪技术。目标跟踪可以对视频中的诸如行人、汽车或/或动物的多个感兴趣类型的目标进行检测并根据目标赋予标识(ID)，以获得不同目标的轨迹。理想的跟踪结果为：不同的目标的轨迹被标识为相应的不同ID，相同目标的多段轨迹被用同一ID标识。根据所使用摄像头的数量，目标跟踪可以分为多摄像头多目标跟踪和单摄像头多目标跟踪。为了获得可靠的监视效果，通常对较大的空间使用多摄像的目标跟踪。目标跟踪可以利用目标跟踪模型实现。

在多目标跟踪中，针对输入视频，输出目标的跟踪结果。在跟踪结果图像中，每个目标例如用具有对应ID标识的矩形外接框指示。在视频的多个帧的图像序列中，同一ID的外接框的移动轨迹，可视为该ID的目标的轨迹。在这多个帧中，该ID外接框所指示多个图像块的图像块序列被称为跟踪小片段(tacklet)。在一个跟踪小片段中，其中的每个图像块，可视为该跟踪小片段的一帧图像，可为每帧图像分配表征目标轨迹的时间信息和空间位置信息的信息。换言之，目标轨迹上轨迹点可以具有位置属性、时间属性，以及表征图像块中的目标特征的重识别特征。位置属性可以用来表示目标在真实空间中的位置(如目标在真实空间的二维投影平面内的坐标)。时间属性可以用来表示所对应的摄像头捕获图像的拍摄时间。重识别特征可以用于识别目标。

常见的，线下销售场所配备一个或多个监视摄像头。能够理解，可以利用目标跟踪模型获得选定目标在销售场所内的轨迹。考虑到遮挡(如，顾客被货架、物品遮挡)、光照、人员密集等因素。对线下销售场所内顾客的目标跟踪效果可能受限的。例如，跟踪模型给出的名义上的多个顾客的多条轨迹，实际为同一顾客的轨迹，或者，同一顾客的轨迹的多个分段在时间上并不连续。另外，销售场所的顾客在结账时，会产生购物收据数据，商家会将包含购物收据数据的购物收据提供给顾客。购物收据数据包含顾客购买的物品的列表、结账时间等信息。通常情况下，目标跟踪模型或目标跟踪方法并不能指示对应一个购物收据的购物收据数据组对应哪个目标(顾客)轨迹，即，不能将某顾客的一个购物收据数据组与其对应的轨迹关联起来。

发明内容

在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

确定对应同一顾客的购物收据数据组及其匹配轨迹是期望的。发明人研究了线下销售场所的购物收据和目标跟踪。构思了本公开内容的技术方案。本公开内容的实施例解决的技术问题包括但不限于以下中的至少一个：确定与一个购物收据数据组匹配的对应顾客轨迹；以及，改善目标跟踪的准确度。

根据本公开内容的一个方面，提供了一种目标跟踪中处理目标轨迹的方法，包括：确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；针对候选顾客轨迹集中的每条轨迹，统计在售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹；其中，候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

根据本公开内容的另一方面，提供了一种用于多目标多摄像头跟踪的装置。该装置包括：存储器，其上存储有指令；以及至少一个处理器，被配置成执行指令以：确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；针对候选顾客轨迹集中的每条轨迹，统计在售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹；其中，候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

根据本公开内容的又一方面，提供了一种存储有程序的计算机可读非暂态存储介质。当程序被计算机执行时，计算机实现以下操作：确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；针对候选顾客轨迹集中的每条轨迹，统计在售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹；其中，候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

本公开内容的方法、装置以及存储介质的有益效果包括以下中的至少一个：确定与一个购物收据数据组匹配的顾客轨迹；以及改善目标跟踪的准确度。

附图说明

参照附图下面说明本公开内容的实施例，这将有助于更加容易地理解本公开内容的以上和其他目的、特点和优点。附图只是为了示出本公开内容的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。相同的附图标记可以表示相同的特征。在附图中：

图1示出了包含示例性顾客轨迹的线下销售场所的平面示意图；

图2示出了根据本公开内容的一个实施例的用于目标跟踪中处理目标轨迹的方法的示例性流程图；

图3示出了根据本公开内容的一个实施例的确定第一位置匹配计数的示例性流程图；

图4示出了根据本公开内容的一个实施例的确定第二位置匹配计数的示例性流程图；

图5示出了根据本公开内容的一个实施例的顾客轨迹校正操作的示例性流程图；

图6示出了根据本公开内容的一个实施例的用于目标跟踪中处理目标轨迹的装置的示例性框图；

图7是根据本公开内容的另一实施例的用于目标跟踪中处理目标轨迹的装置的示例性框图；以及

图8是根据本公开内容的一个实施例的信息处理设备的示例性框图。

具体实施方式

在下文中将结合附图对本公开内容的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的装置结构，而省略了与本公开内容关系不大的其他细节。

应理解的是，本公开内容并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。

用于执行本公开内容的实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言，诸如"C"程序设计语言或类似的程序设计语言。

本公开内容的方法例如可以通过具有相应功能配置的电路来实现。所述电路包括用于处理器的电路。

本公开内容一个方面涉及目标跟踪中处理目标轨迹的方法。该方法可以用计算机实现。该方法涉及针对线下销售场所的购物收据与顾客轨迹的匹配。

在描述该方法前，先对该方法涉及的一些概念进行描述。下面对本公开内容涉及的线下销售场所进行描述。图1示出了包含示例性顾客轨迹的线下销售场所200的平面示意图。如图1中所示，线下销售场所200内布置有用于陈列待出售物品的多个货架以及多个结账柜台。顾客在线下销售场所100内浏览物品、挑选物品、结账，从而产生相应的顾客轨迹，其中，在某些轨迹点，顾客对眼前的物品表现出兴趣，这样的轨迹点可以称为感兴趣轨迹点；顾客可能最终购买了多件物品。顾客轨迹可以基于线下销售场所100内布置的多个摄像头提供的视频，使用目标跟踪模型获得，其中，模型可以将目标(顾客)在图像中的坐标转换到世界坐标(即，目标在线下销售场所100内的坐标)，从而确定轨迹上的轨迹点的在世界坐标下的位置属性信息。货架上物品所处的位置是已知的，可以用二维坐标或一个二维区域来表示。需要说明的是，由于技术上的局限性，目标跟踪模型不一定可以识别出一个顾客的在线下销售场所的完整轨迹，有可能仅识别出图中所示的真实顾客轨迹的多个部分片段，并且这些片段不一定被分配了同一顾客标识。目标跟踪模型通常也不会输出某顾客轨迹应对应哪个购物收据。同样，生成购物收据的终端通常也不能输出当前购物收据对应哪个目标跟踪轨迹。确定出与购物收据对应的顾客轨迹(即，确定购物数据的匹配顾客轨迹)，有利于得出一些有益信息(例如，顾客偏好，受关注物品)。发明人分析后认识到，购物收据对于得到更为完整的顾客轨迹也是有益的，这有利于改善目标跟踪的准确度。

图2示出了根据本公开内容的一个实施例的目标跟踪中处理目标轨迹的方法200的示例性流程图。

在步骤S201，确定对应多个购物收据中的一个购物收据R[i]的收据数据组rdG[i]的候选顾客轨迹集cTrs：cTr[ciStart]至cTr[ciEnd])。候选顾客轨迹集cTrs中的实例性顾客轨迹可以表示为cTr[ci]。

候选顾客轨迹集可以从目标跟踪模型提供的顾客轨迹集中选择。在线下销售场所陈列有待出售物品。顾客在该销售场所内选购物品。线下销售场所内配备的一个或更多个摄像头可以捕获销售场所内相应区域的实时图像(视频)。将一个时间段内的实时图像序列提供给目标跟踪模型，目标跟踪模型对图像序列进行处理后可以确定包括线下销售场所中的顾客轨迹的顾客轨迹集Trs：Tr[nStart]至Tr[nEnd]。目标跟踪模型给出的一个顾客的顾客轨迹可能包括基于多个摄像头提供的多个图像序列确定的多个轨迹分段。

目标跟踪模型可以是针对单个摄像头的多目标跟踪模型。目标跟踪模型也可以为多摄像头多目标跟踪模型。优选使用多摄像头多目标跟踪模型。多个摄像头(Cams：Cam[kStart]至Cam[kEnd])中每个可以用于捕获相应货架附近的空间内的图像。摄像头Cam[k]提供的图像序列可以记为imSq[k]。基于图像序列imSq[k]，通过单摄像头多目标跟踪来确定摄像头Cam[k]的局部目标轨迹集。各摄像头的局部目标轨迹集的并集构成总局部目标轨迹集。通过对总局部目标轨迹集进行多摄像头多目标匹配来确定针对多个摄像头的全局目标轨迹集作为线下销售场所中的顾客轨迹的顾客轨迹集。

购物收据例如是在顾客结账时，由商家提供给顾客购物小票。购物收据包含多条数据，这些数据构成收据数据组。商家的用于结账的结账终端或服务器可以提供对应多个顾客的多个历史收据数据组。结账例如发生在线下销售场内的结账柜台处。一个线下销售场内结账柜台的数量可以为至少一个，优选多个。

收据数据组例如包括电子销售点(ePOS：electronic point of sale)系统提供的电子销售点数据。

收据数据组例如包括指示顾客的已购买物品的物品名称列表itList[i]和购买时间信息。物品名称列表itList[i]例如包括指示售出物品集中的多个物品(Item[imStart]至Item[imEnd])的多个物品名称。收据数据组例如可以包括指示顾客的结账柜台的结账柜台信息，例如，包括顾客Cu[i]的结账柜台的编号或名称。

在一个示例中，使用目标跟踪模型确定了包括线下销售场所中的顾客轨迹的顾客轨迹集Trs后，可以基于收据数据组rdG[i]中包括的购买时间信息从顾客轨迹集Trs中确定候选顾客轨迹集cTrs。例如，将轨迹结束时间在购买时间信息指示的结账时间之前的所有当天顾客轨迹选择为候选顾客轨迹cTrs中的元素。

在一个示例中，使用目标跟踪模型确定包括线下销售场所中的顾客轨迹的顾客轨迹集；并基于收据数据组中包括的购买时间信息和结账柜台信息从顾客轨迹集中确定候选顾客轨迹集。例如，将轨迹结束时间在购买时间信息指示的结账时间之前的所有当天顾客轨迹中经过特定结账柜台的轨迹选择为候选顾客轨迹cTrs中的元素，该特定结账柜台为收据数据组rdG[i]包括的结账柜台信息指示的结账柜台。

在步骤S203，针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集Items(即，{Item[imStart],……，Item[imEnd]})中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数Ct1。例如，若收据数据组rdG[i]的售出物品集Items中包含11件物品，其中有6件物品在位置上与候选顾客轨迹cTr[cj]匹配，则候选顾客轨迹cTr[cj]的第一位置匹配计数cTr[cj].Ct1＝6。通过该步骤操作，可以得到每条候选顾客轨迹的第一位置匹配计数。

在步骤S205，针对候选顾客轨迹集中的每条轨迹，统计在售出物品集Items中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数Ct2。例如，若收据数据组rdG[i]的售出物品集Items中包含11件物品，其中有3件物品在位置上与候选顾客轨迹cTr[cj]的感兴趣轨迹点集itPs中的轨迹点匹配，则候选顾客轨迹cTr[cj]的第二位置匹配计数cTr[cj].Ct2＝3。候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。即，轨迹上的感兴趣轨迹点为该轨迹上的在其位置顾客对线下销售场所中陈列的待出售物品表现出兴趣的轨迹点。通过该步骤操作，可以得到每条候选顾客轨迹的第二位置匹配计数。

在步骤S207，基于候选顾客轨迹集cTrs中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹。

能够理解的是，可以对多个购物收据中的每个购物收据的收据数据组执行方法200，以确定每个收据数据组的匹配顾客轨迹。

根据上述描述，能够理解，方法200可以确定购物收据的匹配(对应)顾客轨迹。

在一个实施例中，满足以下条件中的至少一个时，将候选顾客轨迹集中的轨迹上的轨迹点视为该轨迹上的感兴趣轨迹点：

条件1：与该轨迹点相关联的停留时间长度大于第一预定时间长度阈值tTh1；以及

条件2：该轨迹点的对应跟踪图像指示与该轨迹相关联的顾客有向线下销售场所中陈列的待出售物品伸手的动作。

候选顾客轨迹上的轨迹点具有位置属性，其指示顾客处于该轨迹点处时，顾客在线下销售场所的二维投影位置。该二维投影位置可以用二维坐标(x,y)来表示。轨迹点例如具有停留时间长度属性，停留时间长度tL指示顾客在该轨迹点处停留的时间的长度。停留时间长度可以由目标跟踪模型给出或者根据目标跟踪模型给出的针对目标的跟踪小片段得出。第一预定时间长度阈值tTh1例如为5秒。

监视图像中顾客是否有向线下销售场所中陈列的待出售物品伸手的动作可以通过动作识别模型给出。

下面对第一位置匹配计数进行进一步的描述。在一个实施例中，针对候选顾客轨迹集中的每条轨迹，当该轨迹与收据数据组指示的售出物品集中的一个物品的陈列区域的最小距离小于第一距离阈值dTh1(即，该物品与该具有小于第一距离阈值的距离的轨迹在位置上匹配)，则该轨迹的第一位置匹配计数增加1。例如，针对候选顾客轨迹cTr[cj]，遍历当前收据数据组rdG[i]包含的多个物品Item[imStart]至Item[imEnd]中的物品，确定轨迹cTr[cj]与当前物品Item[im]陈列区域的最小距离minDt2i,如果minDt2i<dTh1,则Ct1＝Ct1+1,否则，im＝im+1，以确定下一物品与轨迹的最小距离minDt2i是否小于dTh1，Ct1是否增加1。该确定第一位置匹配计数的示例方法300的流程图如图3所示。针对候选顾客轨迹cTr[cj]，在步骤S301，将Ct1初始化为0，循环变量im初始化为imStart。在步骤S303，确定物品Item[im]的陈列区域与轨迹cTr[cj]的最小距离minDt2i。在步骤S305，确定最小距离minDt2i是否小于第一距离阈值dTh1。在步骤S307，Ct1增加1。在步骤S309，循环变量im增加1。在步骤S311，确定im是否等于imEnd+1。其中，物品的陈列区域是已知的，并且被投影在线下销售场所的二维布局平面中；最小距离为二维欧氏距离。在一个示例中，可以使用物品的陈列区域的一个代表性点的二维坐标来表示该物品的陈列区域以方便地计算物品Item[im]的陈列区域与轨迹cTr[cj]上的轨迹点的距离Dt2i，从而找出针对轨迹上的多个轨迹点的多个距离Dt2i中的最小距离作为该轨迹与收据数据组指示的售出物品集中的一个物品的陈列区域的最小距离minDt2i。在一个示例中，可以对轨迹cTr[cj]上的轨迹点以固定时间间隔进行降采样(以减小计算量)，并对得到降采样轨迹点集中的轨迹点计算距离Dt2i，以确定最小距离minDt2i。

下面对第二位置匹配计数进行进一步的描述。在一个实施例中，针对候选顾客轨迹集中的每条轨迹，当该轨迹的感兴趣轨迹点集中的感兴趣轨迹点与收据数据组指示的售出物品中的一个物品的陈列区域的距离中的最小距离小于第二距离阈值dTh2(即，该物品与该具有小于第二距离阈值的距离的感兴趣轨迹点在位置上匹配)，则该轨迹的第二位置匹配计数增加1。例如，针对候选顾客轨迹cTr[cj]，遍历当前收据数据组rdG[i]包含的多个物品Item[imStart]至Item[imEnd]中的物品，确定轨迹cTr[cj]的感兴趣轨迹点集中的轨迹点(inP[inStart]至inP[inEnd])与当前物品Item[im]的陈列区域的最小距离minDi2i,如果minDi2i<dTh1,则Ct2＝Ct2+1,否则，im＝im+1，以确定下一物品与感兴趣轨迹点集中的轨迹点的最小距离minDi2i是否小于dTh2，Ct2是否增加1。该确定第二位置匹配计数的示例方法400的流程图如图4所示。针对候选顾客轨迹cTr[cj]，在步骤S401，将Ct2初始化为0，循环变量im初始化为imStart。在步骤S403，确定物品Item[im]的陈列区域与轨迹cTr[cj]的感兴趣轨迹点集中的轨迹点inP[inStart]至inP[inEnd]的最小距离minDi2i。在步骤S405，确定最小距离minDi2i是否小于第二距离阈值dTh2。在步骤S407，Ct2增加1。在步骤S409，循环变量im增加1。在步骤S411，确定im是否等于imEnd+1。其中，物品的陈列区域是已知的，并且被投影在线下销售场所的二维布局平面中；最小距离为二维欧氏距离。在一个示例中，可以使用物品的陈列区域的一个代表性点的二维坐标来表示该物品的陈列区域以方便地计算物品Item[im]的陈列区域与轨迹cTr[cj]上的感兴趣轨迹点的距离Di2i，从而找出多个感兴趣轨迹的相应多个距离Di2i中的最小距离minDi2i。在一个示例中，第一距离阈值dTh1与第二距离阈值dTh2相等。

在有些线下销售场所，顾客可以在查看商品并确定购买后，直接自助扫描并买入该商品，即顾客可以自助实时购买各物品。在这种情况下，收据数据组还可以包括顾客自助实时购买各物品时的相应实时结账时间。考虑到这种情况，在一个实施例中，在统计第一位置匹配计数时，对于该轨迹上的与收据数据组指示的售出物品在位置上匹配的轨迹点，该轨迹点满足：该售出物品的实时结账时间与该轨迹点的停留时间段匹配；并且，在统计第二位置匹配计数时，对于该轨迹的感兴趣轨迹点集中的与收据数据组指示的售出物品在位置上匹配的感兴趣轨迹点，该感兴趣轨迹点满足：该售出物品的实时结账时间与该感兴趣轨迹点的停留时间段匹配。即，对于计入第一位置匹配计数或第二位置匹配计数的轨迹点，不仅在平面距离上要满足距离阈值要求，还在时间上满足时间匹配(例如，实时结账时间在该轨迹点的停留时间段内，或者，实时结账时间与该轨迹点的停留时间段的代表性时间的差的绝对值在预定时间差阈值范围内)。在一个示例中，轨迹点的停留时间段用该轨迹点的代表性时间来表示；并且该感兴趣轨迹点的停留时间段用该感兴趣轨迹点的代表性时间来表示。进一步的，在一个示例中，在统计第一位置匹配计数时，对于该轨迹上的与收据数据组指示的售出物品在位置上匹配的轨迹点，该轨迹点满足：该售出物品的实时结账时间与该轨迹点的代表性时间的差的绝对值小于第二预定时间长度阈值tTh2；并且，在统计第二位置匹配计数时，对于该轨迹的感兴趣轨迹点集中的与收据数据组指示的售出物品在位置上匹配的感兴趣轨迹点，该感兴趣轨迹点满足：该售出物品的实时结账时间与该感兴趣轨迹点的代表性时间的差的绝对值小于第二预定时间长度阈值。

在一个实施例中，基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹包括：确定针对候选顾客轨迹集中的每条轨迹的第一位置匹配计数和第二位置匹配计数的加权和，即，c1*Ct2+c2*Ct2,c1、c2为加权系数，可以限定c1+c2＝1；确定所有加权和中的最大加权和；以及将最大加权和所对应的对应轨迹确定为与收据数据组对应的顾客轨迹的一部分。

在一个实施例中，考虑到上面确定的对应轨迹可能仅是与收据数据组对应的顾客轨迹的多个分段轨迹中的一个，可以通过执行顾客轨迹校正操作来获得顾客轨迹的多个分段轨迹中的另外的分段轨迹。图5示出了根据本公开内容的一个实施例的顾客轨迹校正操作500的示例性流程图。在步骤S501，通过从候选顾客轨迹集中移除对应轨迹来更新候选顾客轨迹集。在步骤S503，通过从售出物品集中移除与对应轨迹匹配的物品来更新售出物品集，在步骤S505，在更新的候选顾客轨迹集中，确定关于更新的售出物品集中的售出物品的位置具有最大位置匹配计数的轨迹作为候选匹配轨迹。在步骤S507，基于重识别特征确定候选匹配轨迹与对应轨迹之间的重识别特征相似度S。在步骤S509,确定重识别特征相似度S是否大于预定相似度阈值sTh。在步骤S511，将候选匹配轨迹确定为与收据数据组对应的顾客轨迹的又一部分。在确定当前轨迹的位置匹配计数时，当当前售出物品集中的一个物品的陈列区域与当前轨迹的最小距离小于预定距离阈值(例如，第一距离阈值dTh1)时，则该轨迹的位置匹配计数增加1。这样，可以得到候选顾客轨迹集中的每条轨迹的位置匹配计数，从中找出具有最大位置匹配计数的轨迹作为候选匹配轨迹。候选匹配轨迹与对应轨迹之间的重识别特征相似度S可以是候选匹配轨迹的代表性重识别特征与对应轨迹的代表性重识别特征之间的余弦相似度。轨迹的代表性重识别特征为轨迹的相应轨迹小片段(即，图像块序列)中的代表性图像块的重识别特征。该代表性图像块可以基于图像块的外接框的检测置信度、图像块的外接框的遮挡率，和或该外接框的高度与跟踪小片段中的最大外接框高度的比(高度比率)来确定。可以选择跟踪小片段中检测置信度高、遮挡率低、且高度比率大的图像块为代表性图像块。

在一个实施例中，在确定与收据数据组rdG[i]对应的匹配顾客轨迹时，考虑到匹配顾客轨迹的多个分段轨迹可能不止2个，可以重复执行顾客轨迹校正操作，直到没有新的轨迹分段被加入到顾客轨迹中。具体的，方法100还可以包括：在重识别特征相似度大于预定相似度阈值的情况下，将对应轨迹更新为候选匹配轨迹，并再次执行顾客轨迹校正操作；在重识别特征相似度不大于预定相似度阈值的情况下，退出顾客轨迹校正操作。

顾客轨迹校正操作能够将更多的轨迹合并为同一目标的轨迹，有利于提高目标跟踪的准确度。

在本公开内容的一个实施例中，提供一种用于目标跟踪中处理目标轨迹的装置。下面参照图6进行示例性描述。图6示出了根据本公开内容的一个实施例的用于目标跟踪中处理目标轨迹的装置600的示例性框图。装置600包括：候选顾客轨迹集确定单元601、第一统计单元603、第二统计单元605和顾客轨迹确定单元607。候选顾客轨迹集确定单元601被配置成：确定对应多个购物收据中的一个购物收据R[i]的收据数据组rdG[i]的候选顾客轨迹集cTrs：cTr[ciStart]至cTr[ciEnd])。第一统计单元603被配置成：针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集Items(即，{Item[imStart],……，Item[imEnd]})中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数Ct1。第二统计单元605被配置成：针对候选顾客轨迹集中的每条轨迹，统计在售出物品集Items中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数Ct2。候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。顾客轨迹确定单元607被配置成：基于候选顾客轨迹集cTrs中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹。装置600与方法100有对应关系。装置600的进一步配置可以参考本公开内容对方法100的描述。

在本公开内容的一个实施例中，提供了另一种用于多目标多摄像头跟踪的装置。下面参照图7进行示例性描述。图7示出了根据本公开内容的一个实施例的用于目标跟踪中处理目标轨迹的装置700的示例性框图。装置700包括：存储器701，其上存储有指令；以及至少一个处理器703，与存储器701连接，并且用于执行存储器701上的指令以：确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；针对候选顾客轨迹集中的每条轨迹，统计在售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹；其中，候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。指令与方法100存在对应关系。装置700的进一步配置情况可参考本公开内容对方法100的描述。

本公开内容的一个方面提供一种其上存储有程序的计算机可读非暂态存储介质，当该程序被计算机执行时，可以完成以下操作：确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；针对候选顾客轨迹集中的每条轨迹，统计在收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；针对候选顾客轨迹集中的每条轨迹，统计在售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及基于候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在候选顾客轨迹集中确定与收据数据组对应的顾客轨迹；其中，候选顾客轨迹集中的每条轨迹的感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。程序与方法100存在对应关系。程序的进一步配置情况可参考本公开内容对方法100的描述。

根据本公开内容一个方面，还提供一种信息处理设备，其用于处理目标跟踪中目标轨迹。

图8是根据本公开内容的一个实施例的信息处理设备800的示例性框图。在图8中，中央处理单元(CPU)801根据存储在只读存储器(ROM)802中的程序或从存储装置808加载到随机存取存储器(RAM)803的程序来进行各种处理。在RAM 803中，也根据需要来存储在CPU801执行各种处理时所需的数据等。

CPU 801、ROM 802以及RAM 803经由总线804彼此连接。输入/输出接口805也连接至总线804。

下述部件连接至输入/输出接口805：包括软键盘等的输入装置806；包括诸如液晶显示器(LCD)等的显示器以及扬声器等的输出装置807；诸如硬盘的存储装置808；以及包括网络接口卡如LAN卡、调制解调器等的通信装置809。通信装置809经由诸如英特网、局域网、移动网络的网络或其组合执行通信处理。

驱动器810根据需要也连接至输入/输出接口805。可拆卸介质811如半导体存储器等根据需要安装在驱动器810上，使得从其中读取的程序根据需要被安装到存储装置808。

CPU 801可以运行对应用于目标跟踪中处理目标轨迹的方法的程序。

本公开内容的方法、装置以及存储介质的有益效果包括以下中的至少一个：确定与一个购物收据数据组匹配的顾客轨迹；以及改善目标跟踪的准确度。

如上所述，根据本公开内容，已公开了确定与购物收据的对应收据数据组的匹配目标轨迹的原理。需要注意的是，本公开内容的方案的效果不一定限于上述效果，并且除了前面段落中描述的效果之外或代替前面段落中描述的效果，可以取得本说明书中示出的效果中的任何效果或者可以从本说明书中理解的其他效果。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改(包括在行的情况下，各实施例之间特征的组合或替换)、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开内容的保护范围内。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

附记

本公开内容包括但不限于以下方案。

1.一种目标跟踪中处理目标轨迹的方法，其特征在于，包括：

确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及

基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹；

其中，所述候选顾客轨迹集中的每条轨迹的所述感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

2.根据附记1所述的方法，其中，所述收据数据组包括电子销售点系统提供的电子销售点数据。

3.根据附记1所述的方法，其中，所述收据数据组包括指示顾客的已购买物品的物品名称列表和购买时间信息。

4.根据附记3所述的方法，其特征在于，还包括：使用目标跟踪模型确定包括所述线下销售场所中的顾客轨迹的顾客轨迹集；以及

基于所述收据数据组中包括的购买时间信息从所述顾客轨迹集中确定所述候选顾客轨迹集。

5.根据附记1所述的方法，其中，针对所述候选顾客轨迹集中的每条轨迹，当该轨迹与所述售出物品集中的售出物品中的一个物品的陈列区域的最小距离小于第一距离阈值，则该轨迹的第一位置匹配计数增加1。

6.根据附记1所述的方法，其中，针对所述候选顾客轨迹集中的每条轨迹，当该轨迹的感兴趣轨迹点集中的感兴趣轨迹点与所述售出物品集中的售出物品中的一个物品的陈列区域的距离中的最小距离小于第二距离阈值，则该轨迹的第二位置匹配计数增加1。

7.根据附记1所述的方法，其中，满足以下条件中的至少一个时，将所述候选顾客轨迹集中的轨迹上的轨迹点视为该轨迹上的感兴趣轨迹点：

条件1：与该轨迹点相关联的停留时间长度大于第一预定时间长度阈值；以及

条件2：该轨迹点的对应跟踪图像指示与该轨迹相关联的顾客有向线下销售场所中陈列的所述待出售物品伸手的动作。

8.根据附记5所述的方法，其中，所述最小距离为二维欧氏距离。

9.根据附记6所述的方法，其中，所述最小距离为二维欧氏距离。

10.根据附记5所述的方法，其中，所述收据数据组指示的所述售出物品中的一个物品的陈列区域用一个代表性点的二维坐标来表示。

11.根据附记6所述的方法，其中，所述收据数据组指示的售出所述物品中的一个物品的陈列区域用一个代表性点的二维坐标来表示。

12.根据附记3所述的方法，其中，所述购买时间信息包括所述顾客自助实时购买各物品时的相应实时结账时间。

13.根据附记12所述的方法，其中，在统计所述第一位置匹配计数时，对于该轨迹上的与所述售出物品集中的售出物品在位置上匹配的轨迹点，该轨迹点满足：该售出物品的实时结账时间与该轨迹点的停留时间段匹配；并且

其中，在统计所述第二位置匹配计数时，对于该轨迹的感兴趣轨迹点集中的与所述售出物品集中的售出物品在位置上匹配的感兴趣轨迹点，该感兴趣轨迹点满足：该售出物品的实时结账时间与该感兴趣轨迹点的停留时间段匹配。

14.根据附记13所述的方法，其中，该轨迹点的停留时间段匹配用该轨迹点的代表性时间来表示；并且

该感兴趣轨迹点的停留时间段用该感兴趣轨迹点的代表性时间来表示。

15.根据附记16所述的方法，其中，在统计所述第一位置匹配计数时，对于该轨迹上的与所述售出物品集中的售出物品在位置上匹配的轨迹点，该轨迹点满足：该售出物品的实时结账时间与该轨迹点的代表性时间的差的绝对值小于第二预定时间长度阈值；并且

其中，在统计所述第二位置匹配计数时，对于该轨迹的感兴趣轨迹点集中的与所述售出物品集中的售出物品在位置上匹配的感兴趣轨迹点，该感兴趣轨迹点满足：该售出物品的实时结账时间与该感兴趣轨迹点的代表性时间的差的绝对值小于所述第二预定时间长度阈值。

16.根据附记1所述的方法，其中，基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹包括：

确定针对所述候选顾客轨迹集中的每条轨迹的第一位置匹配计数和第二位置匹配计数的加权和；

确定所有加权和中的最大加权和；以及

将所述最大加权和所对应的对应轨迹确定为与所述收据数据组对应的顾客轨迹的一部分。

17.根据附记16所述的方法，其特征在于，还包括执行顾客轨迹校正操作，所述顾客轨迹校正操作包括：

通过从所述候选顾客轨迹集中移除所述对应轨迹来更新所述候选顾客轨迹集；

通过从所述售出物品集中移除与所述对应轨迹匹配的物品来更新所述售出物品集；

在更新的候选顾客轨迹集中，确定关于更新的所述售出物品集中的售出物品的位置具有最大位置匹配计数的轨迹作为候选匹配轨迹；

基于重识别特征确定所述候选匹配轨迹与所述对应轨迹之间的重识别特征相似度；以及

在所述重识别特征相似度大于预定相似度阈值的情况下，将所述候选匹配轨迹确定为与所述收据数据组对应的所述顾客轨迹的一部分。

18.根据附记17所述的方法，其特征在于，还包括：

在所述重识别特征相似度大于预定相似度阈值的情况下，将所述对应轨迹更新为所述候选匹配轨迹，并再次执行所述顾客轨迹校正操作；

在所述重识别特征相似度不大于预定相似度阈值的情况下，退出所述顾客轨迹校正操作。

19.一种用于处理目标轨迹的装置，其特征在于，包括：

存储器，其上存储有指令；以及

至少一个处理器，其与所述存储器连接并且被配置成执行所述指令以：

确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及

基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹；

其中，所述候选顾客轨迹集中的每条轨迹的所述感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

20.一种存储有程序的计算机可读非暂态存储介质，当所述程序被计算机执行时，所述计算机实现以下操作：

确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及

基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹；

其中，所述候选顾客轨迹集中的每条轨迹的所述感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

Claims (10)

1.一种目标跟踪中处理目标轨迹的方法，其特征在于，包括：

确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及

基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹；

其中，所述候选顾客轨迹集中的每条轨迹的所述感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

2.根据权利要求1所述的方法，其中，所述收据数据组包括指示顾客的已购买物品的物品名称列表和购买时间信息。

3.根据权利要求2所述的方法，其特征在于，还包括：使用目标跟踪模型确定包括所述线下销售场所中的顾客轨迹的顾客轨迹集；以及

基于所述收据数据组中包括的购买时间信息从所述顾客轨迹集中确定所述候选顾客轨迹集。

4.根据权利要求1所述的方法，其中，针对所述候选顾客轨迹集中的每条轨迹，当该轨迹与所述售出物品集中的售出物品中的一个物品的陈列区域的最小距离小于第一距离阈值，则该轨迹的第一位置匹配计数增加1。

5.根据权利要求1所述的方法，其中，针对所述候选顾客轨迹集中的每条轨迹，当该轨迹的感兴趣轨迹点集中的感兴趣轨迹点与所述售出物品集中的售出物品中的一个物品的陈列区域的距离中的最小距离小于第二距离阈值，则该轨迹的第二位置匹配计数增加1。

6.根据权利要求1所述的方法，其中，基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹包括：

确定针对所述候选顾客轨迹集中的每条轨迹的第一位置匹配计数和第二位置匹配计数的加权和；

确定所有加权和中的最大加权和；以及

将所述最大加权和所对应的对应轨迹确定为与所述收据数据组对应的顾客轨迹的一部分。

7.根据权利要求6所述的方法，其特征在于，还包括执行顾客轨迹校正操作，所述顾客轨迹校正操作包括：

通过从所述候选顾客轨迹集中移除所述对应轨迹来更新所述候选顾客轨迹集；

通过从所述售出物品集中移除与所述对应轨迹匹配的物品来更新所述售出物品集；

在更新的候选顾客轨迹集中，确定关于更新的所述售出物品集中的售出物品的位置具有最大位置匹配计数的轨迹作为候选匹配轨迹；

基于重识别特征确定所述候选匹配轨迹与所述对应轨迹之间的重识别特征相似度；以及

在所述重识别特征相似度大于预定相似度阈值的情况下，将所述候选匹配轨迹确定为与所述收据数据组对应的所述顾客轨迹的一部分。

8.根据权利要求7所述的方法，其特征在于，还包括：

在所述重识别特征相似度大于预定相似度阈值的情况下，将所述对应轨迹更新为所述候选匹配轨迹，并再次执行所述顾客轨迹校正操作；

在所述重识别特征相似度不大于预定相似度阈值的情况下，退出所述顾客轨迹校正操作。

9.一种用于处理目标轨迹的装置，其特征在于，包括：

存储器，其上存储有指令；以及

至少一个处理器，其与所述存储器连接并且被配置成执行所述指令以：

确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及

基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹；

其中，所述候选顾客轨迹集中的每条轨迹的所述感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。

10.一种存储有程序的计算机可读非暂态存储介质，其特征在于，当所述程序被计算机执行时，所述计算机实现以下操作：

确定对应多个购物收据中的一个购物收据的收据数据组的候选顾客轨迹集；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述收据数据组指示的售出物品集中在位置上与该轨迹匹配的售出物品的数量作为该轨迹的第一位置匹配计数；

针对所述候选顾客轨迹集中的每条轨迹，统计在所述售出物品集中在位置上与该轨迹的感兴趣轨迹点集中的感兴趣轨迹点匹配的售出物品的数量作为该轨迹的第二位置匹配计数；以及

基于所述候选顾客轨迹集中的多条轨迹的第一位置匹配计数和第二位置匹配计数在所述候选顾客轨迹集中确定与所述收据数据组对应的顾客轨迹；

其中，所述候选顾客轨迹集中的每条轨迹的所述感兴趣轨迹点集中包括的感兴趣轨迹点为指示该轨迹的对应顾客对线下销售场所中陈列的待出售物品表现出兴趣的位置的轨迹点。