CN111179304A

CN111179304A - 目标关联方法、装置和计算机可读存储介质

Info

Publication number: CN111179304A
Application number: CN201811329009.1A
Authority: CN
Inventors: 周佩明; 李旭峰; 梅涛; 周伯文
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2020-05-19
Anticipated expiration: 2038-11-09
Also published as: CN111179304B

Abstract

本公开涉及一种目标关联方法、装置和计算机可读存储介质，涉及视频处理技术领域。该方法包括：获取视频的待处理帧中的一个或多个目标；根据视频的多个待处理帧中各目标的候选关联关系，建立决策树，决策树的一个节点对应一个目标；计算决策树中各父节点与各父节点的子节点之间的关联程度；根据关联程度，筛选决策树中的分支；根据筛选结果，对各目标进行关联。本公开的技术方案能够提高目标关联的处理效率。

Description

目标关联方法、装置和计算机可读存储介质

技术领域

本公开涉及视频处理技术领域，特别涉及一种目标关联方法、目标关联装置和计算机可读存储介质。

背景技术

目标跟踪技术多采用“检测+关联”的方案，即先从视频的每帧中将目标检测出来，再把这些目标检测框与身份关联起来。

相关技术中，目标关联处理主要采用如匈牙利算法(Hungarian method)等递归算法。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：需要迭代求解，导致处理效率低下。

鉴于此，本公开提出了一种目标关联技术方案，能够提高目标关联的处理效率。

根据本公开的一些实施例，提供了一种目标关联方法，包括：获取视频的待处理帧中的一个或多个目标；根据所述视频的多个待处理帧中各目标的候选关联关系，建立决策树，所述决策树的一个节点对应一个所述目标；计算所述决策树中各父节点与所述各父节点的子节点之间的关联程度；根据所述关联程度，筛选所述决策树中的分支；根据筛选结果，对所述各目标进行关联。

在一些实施例中，所述决策树的一个层包含一个所述待处理帧中的一个或多个所述目标，所述决策树的一个分支代表一种候选关联关系。

在一些实施例中，将所述关联程度高于阈值的父节点和所述父节点的子节点确定为关联节点对；删除所述决策树中不符合各所述关联节点对的关联关系的分支；将所述决策树中剩余的分支作为所述筛选结果。

在一些实施例中，按照所述关联程度从高到低的顺序，读取所述关联节点对；删除所述决策树中不符合当前读取的所述关联节点对的关联关系的分支，直到读取完所有的所述关联节点对。

在一些实施例中，所述多个待处理帧为所述视频的多个相邻帧；所述根据多个待处理帧中各目标的候选关联关系建立决策树包括：按照所述多个待处理帧的时间顺序，建立所述决策树。

在一些实施例中，该方法还包括：提取各所述目标的特征向量；根据所述特征向量之间的距离计算所述关联程度。

在一些实施例中，所述候选关联关系根据所述待处理帧中的目标位置与所述待处理帧的相邻帧中的目标位置建立。

根据本公开的另一些实施例，提供一种目标关联装置，包括：获取单元，用于获取视频的待处理帧中的一个或多个目标；建立单元，用于根据所述视频的多个待处理帧中各目标的候选关联关系建立决策树，所述决策树的一个节点对应一个所述目标；计算单元，用于计算所述决策树中各父节点与所述各父节点的子节点之间的关联程度；筛选单元，用于将根据所述关联程度，筛选所述决策树中的分支；关联单元，用于根据筛选结果，对所述各目标进行关联。

在一些实施例中，所述筛选单元将所述关联程度高于阈值的父节点和所述父节点的子节点确定为关联节点对，删除所述决策树中不符合各所述关联节点对的关联关系的分支，将所述决策树中剩余的分支作为所述筛选结果。

在一些实施例中，所述筛选单元按照所述关联程度从高到低的顺序，读取所述关联节点对，删除所述决策树中不符合当前读取的所述关联节点对的关联关系的分支，直到读取完所有的所述关联节点对。

在一些实施例中，所述多个待处理帧为所述视频的多个相邻帧；所述建立单元按照所述多个待处理帧的时间顺序，建立所述决策树。

在一些实施例中，所述计算单元提取各所述目标的特征向量，根据所述特征向量之间的距离计算所述关联程度。

根据本公开的又一些实施例，提供一种目标关联装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的目标关联方法。

根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的目标关联方法。

在上述实施例中，根据候选关联关系建立决策树，并根据各目标之间的关联程度对候选关联关系进行筛选。这样，无需迭代运算即可确定各目标之间的关联关系，降低了关联算法的复杂度，从而提高了处理效率。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1示出本公开的目标关联方法的一些实施例的流程图；

图2示出本公开的多个待处理帧中的多个目标的一些实施例的示意图；

图3a示出本公开建立的决策树的一些实施例的示意图；

图3b示出本公开建立的决策树的另一些实施例的示意图；

图4示出本公开的节点对的关联程度的一些实施例的示意图；

图5示出图1中的步骤140的一些实施例的流程图；

图6示出图5中的步骤1420的一些实施例的流程图；

图7示出本公开的目标关联装置的一些实施例的框图；

图8示出本公开的目标关联装置的另一些实施例的框图；

图9示出本公开的目标关联装置的又一些实施例的框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出本公开的目标关联方法的一些实施例的流程图。

如图1所示，该方法包括：步骤110，获取目标；步骤120，建立决策树；步骤130，计算节点关联程度；步骤140，筛选决策树分支；和步骤150，进行目标关联。

在步骤110中，获取视频的待处理帧中的一个或多个目标。例如，可以通过目标表检测技术获取视频的多个待处理帧中的多个目标。

在一些实施例中，获取的目标如图2所示。

图2示出本公开的多个待处理帧中的多个目标的一些实施例的示意图。

如图2所示，待处理帧21、22、23可以是视频中的相邻帧，也可以是按照从前到后的时间顺序从视频中抽取的三帧图像。

待处理帧21中共检测到3个目标：目标211、目标212和目标213。待处理帧22中共检测到3个目标：目标222、目标221和目标223。待处理帧23中共检测到3个目标：目标233、目标232和目标231。

从图2中可以看出：目标211、目标221、目标231是同一个人；

目标212、目标222、目标232是同一个人；目标213、目标223、目标233是同一个人。因此，我们需要通过图1中的步骤120建立决策树，从而将为同一个人的目标关联起来。

在步骤120中，根据视频的多个待处理帧中各目标的候选关联关系，建立决策树，决策树的一个节点对应一个目标。例如，决策树的一个层包含一个待处理帧中的一个或多个目标，决策树的一个分支代表一种候选关联关系。

在一些实施例中，可以根据从时间最早的待处理帧中检测到的目标的数量，建立相应数量的决策树。例如，图3a和3b中的决策树。

图3a示出本公开建立的决策树的一些实施例的示意图。

如图3a所示，决策树31以待处理帧21中检测到的目标211为根节点建立，决策树31共分为3层，按照时间顺序排列依次对应待处理帧21、22和23。决策树31中的各条分支代表各种候选关联关系。

在一些实施例中，候选关联关系可以根据待处理帧中的目标位置与待处理帧的相邻帧中的目标位置建立。例如，以待处理帧21中的目标211为圆心，以预设距离为半径设置关联区域，建立待处理帧22中落入该关联区域的目标与目标211的候选关联关系，如建立候选关联关系为：目标211-目标221、目标211-目标222。再以待处理帧22中的目标221为圆心，以预设距离为半径设置关联区域，建立待处理帧23中落入该关联区域的目标与目标221的候选关联关系，如建立候选关联关系为：目标211-目标221-目标231、目标211-目标222-目标232。以此类推，直到处理完所有的待处理帧，从而建立决策树。

图3b示出本公开建立的决策树的另一些实施例的示意图。

如图3b所示，决策树32以待处理帧22中检测到的目标212为根节点建立，决策树32共分为3层，按照时间顺序排列依次对应待处理帧21、22和23。决策树32中的各条分支代表各种候选关联关系。决策树32的建立方法可以参见图3a中的实施例，在此不再赘述。

也可以待处理帧22中检测到的目标213为根节点建立决策树，建立方法可以参见图3a、3b中的实施例，在此不再赘述。

建立了决策树后，可以在此基础上通过图1中的步骤130计算关联程度。

在步骤130中，计算决策树中各父节点与各父节点的子节点之间的关联程度。在一些实施例中，提取各目标的特征向量，根据特征向量之间的距离计算所述关联程度。例如，可以通过DNN(Deep NeuralNetwork，深度神经网络)提取特征向量。特征向量可以表征人物的衣着、体态等信息。可以将归一化后的特征向量之间的欧氏距离作为父节点及其子节点之间的关联程度。

例如，图3a中父节点(目标211)及其子节点(目标221)可以组成一个节点对(决策树中相邻两层之间的两个相连节点)，根据目标211的特征向量和目标221的特征向量之间的欧氏距离计算节点对的关联程度。

在一些实施例中，可以如图4所示按照关联程度的高低对各节点对进行排序。

图4示出本公开的节点对的关联程度的一些实施例的示意图。

如图4所示，按照关联程度从高到低的顺序将决策树31和32中的节点对进行排序。各节点对中两节点的特征向量的欧氏距离依次为0.6、0.61、0.75、0.8、1.1、1.2…...，欧氏距离越小节点对的关联程度越高。例如，目标221与目标231组成的节点对的欧氏距离为0.6，在所有的节点对中距离是最短的，因此关联程度是最高的，排在第一位。后面的节点对依次排列，直到列举出所有的节点对。

这样，就可以根据关联程度，通过图1中的步骤140-150对候选关联关系进行筛选，从而进行目标关联。

在步骤140中，根据关联程度，筛选决策树中的分支。

在步骤150中，根据筛选结果，对各目标进行关联。

例如，可以通过图5中的步骤实现步骤140。

图5示出图1中的步骤140的一些实施例的流程图。

如图5所示，步骤140可以包括：步骤1410，确定关联节点对；步骤1420，删除不符合的分支；和步骤1430，确定筛选结果。

在步骤1410中，将关联程度高于阈值的父节点和父节点的子节点确定为关联节点对。例如，可以设置阈值为1，这种情况下，图4中排名前4的节点对为关联节点对。当然，也可以根据实际情况设定合适的阈值。

在步骤1420中，删除决策树中不符合各关联节点对的关联关系的分支。例如，已经确定决策树31中的目标211-目标221为关联节点，则可以删除决策树31中与目标211-目标221关联关系相冲突的分支(即候选关联关系)。例如，可以删除决策树31中的分支：目标211-目标222-目标231和目标211-目标222-目标232。

在步骤1430中，将决策树中剩余的分支作为筛选结果。剩余的分支均是符合关联节点对的分支，可以将这些分支作为筛选结果。

例如，决策树31最后剩余的分支为：目标211-目标221-目标231，即这3个目标为同一个人，而且根据时间顺序可以对这个人进行目标跟踪，从而获取这个人的行走轨迹。决策树32最后剩余的分支为：目标221-目标222-目标232，即这3个目标为同一个人。对于目标213、223、233也可以采用相同的方法进行关联，在此不再赘述。

在一些实施例中，可以通过图6中的步骤实现步骤1420。

图6示出图5中的步骤1420的一些实施例的流程图。

如图6所示，步骤1420包括：步骤14201，读取关联节点对；和步骤14202，删除不符合的分支。

在步骤14201中，按照关联程度从高到低的顺序，读取关联节点对。

在步骤14202中，删除决策树中不符合当前读取的关联节点对的关联关系的分支，直到读取完所有的关联节点对。

例如，可以按照图4中的顺序读取关联节点对，优先对关联程度最高的关联节点对进行处理。这样，可以优先保证关联正确概率最高的关联关系，从而提高关联的正确性。

上述实施例中，根据候选关联关系建立决策树，并根据各目标之间的关联程度对候选关联关系进行筛选。这样，无需迭代运算即可确定各目标之间的关联关系，降低了关联算法的复杂度，从而提高了处理效率。

图7示出本公开的目标关联装置的一些实施例的框图。

如图7所示，目标关联装置7包括获取单元71、建立单元72、计算单元73、筛选单元74和关联单元75。

获取单元71获取视频的待处理帧中的一个或多个目标。

建立单元72根据视频的多个待处理帧中各目标的候选关联关系建立决策树。决策树的一个节点对应一个目标。例如，决策树的一个层包含一个待处理帧中的一个或多个目标，决策树的一个分支代表一种候选关联关系。例如，候选关联关系根据待处理帧中的目标位置与待处理帧的相邻帧中的目标位置建立。

在一些实施例中，多个待处理帧为视频的多个相邻帧。建立单元72按照多个待处理帧的时间顺序，建立决策树。

计算单元73计算决策树中各父节点与各父节点的子节点之间的关联程度。例如，计算单元提取各目标的特征向量，根据特征向量之间的距离计算关联程度。

筛选单元74将根据关联程度，筛选决策树中的分支。例如，筛选单元74将关联程度高于阈值的父节点和父节点的子节点确定为关联节点对。筛选单元74删除决策树中不符合各关联节点对的关联关系的分支。筛选单元74将决策树中剩余的分支作为筛选结果。

在一些实施例中，筛选单元74按照关联程度从高到低的顺序，读取关联节点对。筛选单元74删除决策树中不符合当前读取的所述关联节点对的关联关系的分支，直到读取完所有的所述关联节点对。

关联单元75根据筛选结果，对各目标进行关联。

图8示出本公开的目标关联装置的另一些实施例的框图。

如图8所示，该实施例的目标关联装置8包括：存储器81以及耦接至该存储器81的处理器82，处理器82被配置为基于存储在存储器81中的指令，执行本公开中任意一个实施例中的目标关联方法中的一个或多个步骤。

其中，存储器81例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

图9示出本公开的目标关联装置的又一些实施例的框图。

如图9所示，该实施例的目标关联装置9包括：存储器910以及耦接至该存储器910的处理器920，处理器920被配置为基于存储在存储器910中的指令，执行前述任意一个实施例中的目标关联方法。

存储器910例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(BootLoader)以及其他程序等。

目标关联装置9还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930、940、950以及存储器910和处理器920之间例如可以通过总线960连接。其中，输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为SD卡、U盘等外置存储设备提供连接接口。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

至此，已经详细描述了根据本公开的目标关联方法、目标关联装置和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims

1.一种目标关联方法，包括：

获取视频的待处理帧中的一个或多个目标；

根据所述视频的多个待处理帧中各目标的候选关联关系，建立决策树，所述决策树的一个节点对应一个所述目标；

计算所述决策树中各父节点与所述各父节点的子节点之间的关联程度；

根据所述关联程度，筛选所述决策树中的分支；

根据筛选结果，对所述各目标进行关联。

2.根据权利要求1所述的目标关联方法，其中，

所述决策树的一个层包含一个所述待处理帧中的一个或多个所述目标，所述决策树的一个分支代表一种候选关联关系。

3.根据权利要求1所述的目标关联方法，其中，所述根据所述关联程度筛选所述决策树中的分支包括：

将所述关联程度高于阈值的父节点和所述父节点的子节点确定为关联节点对；

删除所述决策树中不符合各所述关联节点对的关联关系的分支；

将所述决策树中剩余的分支作为所述筛选结果。

4.根据权利要求3所述的目标关联方法，其中，所述删除所述决策树中不符合各所述关联节点对的关联关系的分支包括：

按照所述关联程度从高到低的顺序，读取所述关联节点对；

删除所述决策树中不符合当前读取的所述关联节点对的关联关系的分支，直到读取完所有的所述关联节点对。

5.根据权利要求1-4任一项所述的目标关联方法，其中，

所述多个待处理帧为所述视频的多个相邻帧；

所述根据多个待处理帧中各目标的候选关联关系建立决策树包括：

按照所述多个待处理帧的时间顺序，建立所述决策树。

6.根据权利要求1-4任一项所述的目标关联方法，还包括：

提取各所述目标的特征向量；

其中，所述计算所述决策树中各父节点与所述各父节点的子节点之间的关联程度包括：

根据所述特征向量之间的距离计算所述关联程度。

7.根据权利要求1-4任一项所述的目标关联方法，其中，

所述候选关联关系根据所述待处理帧中的目标位置与所述待处理帧的相邻帧中的目标位置建立。

8.一种目标关联装置，包括：

获取单元，用于获取视频的待处理帧中的一个或多个目标；

建立单元，用于根据所述视频的多个待处理帧中各目标的候选关联关系建立决策树，所述决策树的一个节点对应一个所述目标；

计算单元，用于计算所述决策树中各父节点与所述各父节点的子节点之间的关联程度；

筛选单元，用于将根据所述关联程度，筛选所述决策树中的分支；

关联单元，用于根据筛选结果，对所述各目标进行关联。

9.根据权利要求8所述的目标关联装置，其中，

10.根据权利要求8所述的目标关联装置，其中，

所述筛选单元将所述关联程度高于阈值的父节点和所述父节点的子节点确定为关联节点对，删除所述决策树中不符合各所述关联节点对的关联关系的分支，将所述决策树中剩余的分支作为所述筛选结果。

11.根据权利要求10所述的目标关联装置，其中，

所述筛选单元按照所述关联程度从高到低的顺序，读取所述关联节点对，删除所述决策树中不符合当前读取的所述关联节点对的关联关系的分支，直到读取完所有的所述关联节点对。

12.根据权利要求8-11任一项所述的目标关联装置，其中，

所述多个待处理帧为所述视频的多个相邻帧；

所述建立单元按照所述多个待处理帧的时间顺序，建立所述决策树。

13.根据权利要求8-11任一项所述的目标关联装置，其中，

所述计算单元提取各所述目标的特征向量，根据所述特征向量之间的距离计算所述关联程度。

14.根据权利要求8-11任一项所述的目标关联装置，其中，

15.一种目标关联装置，包括：

存储器；和

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求1-7任一项所述的目标关联方法。

16.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的目标关联方法。