CN108875666A - 运动轨迹的获取方法、装置、计算机设备及存储介质 - Google Patents

运动轨迹的获取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108875666A
CN108875666A CN201810677462.5A CN201810677462A CN108875666A CN 108875666 A CN108875666 A CN 108875666A CN 201810677462 A CN201810677462 A CN 201810677462A CN 108875666 A CN108875666 A CN 108875666A
Authority
CN
China
Prior art keywords
target
frame image
similarity
path segment
directed graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810677462.5A
Other languages
English (en)
Other versions
CN108875666B (zh
Inventor
何长伟
汪铖杰
李季檩
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810677462.5A priority Critical patent/CN108875666B/zh
Publication of CN108875666A publication Critical patent/CN108875666A/zh
Application granted granted Critical
Publication of CN108875666B publication Critical patent/CN108875666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动轨迹的获取方法、装置、计算机设备及存储介质，属于计算机视觉领域。本发明通过对每两帧图像之间的无向图进行分解，将复杂的无向图分解成多个简单的无向图，再分别对每个无向图中对应的目标进行关联，大大减少了计算量，也使得获取多帧图像的关联矩阵的效率更高，能够生成更加精准的运动轨迹。

Description

运动轨迹的获取方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机视觉领域，特别涉及一种运动轨迹的获取方法、装置、计算机设备及存储介质。
背景技术
多目标跟踪是对视频中的多个目标进行跟踪，以获取各个目标的运动轨迹的方法。随着网络技术特别是人工智能的发展，多目标跟踪在无人驾驶、智能安防监控等领域有着广泛的应用，准确的多目标跟踪是分析目标行为的前提条件，而多目标跟踪实现的关键在于如何进行有效的目标关联，以获取目标的运动轨迹。
目前，获取目标的运动轨迹的过程可以包括：首先,采用帧间差分法、背景减除法或光流法等目标检测方法检测到每一帧图像的目标坐标框，然后,采用全局目标关联，一次性地对所有帧图像中的目标进行关联，以得到关联矩阵，进而，通过关联矩阵获取目标的运动轨迹。
上述在获取目标的运动轨迹的过程中，采用全局目标关联一次性地对所有帧图像中的目标进行关联，使得计算量很大，进而大大降低了获取运动轨迹的效率。
发明内容
本发明实施例提供了一种运动轨迹的获取方法、显示方法、装置、计算机设备及存储介质，能够解决计算量大、效率低的问题。所述技术方案如下：
一方面，提供了一种运动轨迹的获取方法，所述方法包括：
对视频的第n帧图像进行目标检测，得到所述第n帧图像中的至少一个第一目标，其中，n为大于1的自然数；
获取目标无向图，所述目标无向图用于表示所述第n帧图像中的至少一个第一目标和第n-1帧图像中至少一个第二目标之间的关联关系；
对所述目标无向图进行分解，得到多个二分图，每个二分图对应于所述目标无向图中的一个连通分量；
根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
一方面，提供了一种运动轨迹的获取装置，所述装置包括：
检测模块，用于对视频的第n帧图像进行目标检测，得到所述第n帧图像中的至少一个第一目标，其中，n为大于1的自然数；
获取模块，用于获取目标无向图，所述目标无向图用于表示所述第n帧图像中的至少一个第一目标和第n-1帧图像中至少一个第二目标之间的关联关系；
分解模块，用于对所述目标无向图进行分解，得到多个二分图，每个二分图对应于所述目标无向图中的一个连通分量；
轨迹生成模块，用于根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述任一项所述的运动轨迹的获取方法所执行的操作。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述运动轨迹的获取方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果是：
通过对每两帧图像之间的无向图进行分解，将复杂的无向图分解成多个简单的无向图，再分别对每个无向图中对应的目标进行关联，大大减少了计算量，也使得获取多帧图像的关联矩阵的效率更高，最后生成更加精准的运动轨迹。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种运动轨迹的获取方法的实施环境示意图；
图2是本发明实时例提供的一种运动轨迹的获取方法的流程图；
图3是本发明实施例提供的一种目标物标记形式的示意图；
图4是本发明实施例提供的无向图的示意图；
图5是本发明实施例提供的无向图的分解及更新示意图；
图6是本发明实施例提供的一种运动轨迹显示示意图；
图7是本发明实施例提供的一种运动轨迹的获取装置的结构示意图；
图8是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种运动轨迹的获取方法的实施环境示意图。参见图1，该实施环境中可以包括多个前端摄像设备101、计算机设备102以及显示设备103，该多个前端摄像设备101可以安装于待监测区域，用以拍摄该待监测区域内的活动，从而达到监测目的，该计算机设备102可以是设置于监控中心的服务端设备，该计算机设备102可以接收多个前端摄像设备101所拍摄的视频，并获取视频中行人的运动轨迹，并在显示设备103上播放视频时，在视频的播放过程中显示行人的运动轨迹。当然，该计算机设备102和显示设备103可以是同一个设备，也即是，显示设备103为计算机设备102的显示器，而该计算机设备102和显示设备103还可以是各自独立的设备，计算机设备102可以将对视频以及对视频的处理结果发送至显示设备103，由显示设备103进行显示。
图2是本发明实施例提供的一种运动轨迹的获取方法的流程图。参见图2，该实施例具体包括：
201、计算机设备对视频的第n帧图像进行目标检测，得到所述第n帧图像中的至少一个第一目标，其中，n为大于1的自然数。
在本发明实施例中，对于该视频中多帧图像，使用目标检测算法，检测出该多帧图像中的所有目标的位置坐标，该目标的位置坐标可以采用坐标框的中心点的坐标来记录，并且，在计算机设备中显示时，目标可以采用坐标框的形式标识，如图3所示。其中，该多帧图像可以是视频中的所有帧图像，还可以是以某一个时间点为起始时间点，以另一时间点为结束时间点的视频片段中的多帧图像，该起始时间点和结束时间点可以由计算机设备的用户进行设置，本发明实施例对此不做限定。
其中，该目标检测算法可以是帧间差分法、背景减除法或光流法等算法，本发明实施例具体采用哪种算法不做限定。
202、计算机设备根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标与至少一个第二目标之间的相似度。
在本发明实施例中，相邻图像是指时序上相邻的图像，这种时序相邻可以表现为图像在图像序列中位置相邻或者序号相邻，本发明实施例对此不做具体限定。
在本发明实施例中，基于已经检测到的该第一图像中的目标和已经检测到的该第二图像中的目标，对该第一图像中的每一个目标与该第二图像中的每一个目标进行相似度的获取，根据获取到的每两个目标之间的相似度，来生成目标之间的运动轨迹片段。
在实际应用中，任意两个目标之间的相似度可以根据每两帧相邻图像中的任一目标的坐标位置、像素面积以及运动速度得到，具体地，根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标以及所述至少一个第二目标之间的像素面积比、重合比以及所述至少一个第二目标的运动速度；根据所述像素面积比、重合比以及所述至少一个第二目标的运动速度，获取所述至少一个第一目标与至少一个第二目标之间的相似度。其中，重合度为第一目标与第二目标之间的交集面积除以并集面积，运动速度为基于第一目标的位置坐标和第二目标的位置坐标估计出来的速度。
以基于混合高斯模型进行相似度获取为例进行说明，以第n帧的目标i和第n+1帧的目标j为例，
第n帧的目标i,其位置坐标(xi,yi,wi,hi)，像素面积si＝wihi；假设该目标i在n-1帧的位置为(xi-1,yi-1,wi-1,hi-1)，像素面积为si-1＝wi-1hi-1，定义速度vxi＝xi-xi-1、vyi＝yi-yi-1，面积比ai＝si/si-1，重合度ui为该目标i在n帧的坐标框与在n-1帧的坐标框之间的交集面积除以并集面积。
因此，对目标i及其在前n帧中的历史位置坐标，可以得到多个样本Xi＝(vxi,vyi,ai,ui)，可以采用混合高斯模型来估计目标i的轨迹，例如，该混合高斯模型可以采用最大期望算法来进行估计目标的轨迹估计，具体如下式所示：
其中，N(·,·)为正态分布函数，λk为系数，μk为均值，为方差。
对第n+1帧的目标j,可以计算该目标j与第n帧的目标i之间的运动速度、面积比和重合度,构成向量Xj，将向量Xj代入上述公式，以得到该目标j和目标i是同一个目标的概率，也即是，得到目标之间的相似度。进一步地，还可以对相似度进行处理，如果相似度大于设定值，则可以将相似度设置为1，而当相似度小于该设定值，则将相似度设置为0，以方便后续的处理过程。
需要说明的是，对于任意两个目标之间的相似度的计算，上述实施例是采用混合高斯模型来计算的，而在其他实施例中，还可以采用任意一种计算两个目标之间的相似度的方法，在此不一一赘述。
203、计算机设备根据获取到的相似度，生成所述第n帧图像和第n-1帧图像的目标之间的的无向图。
为了更加直观地分析两帧图像中目标之间的关系，本发明实施例采用无向图的方式来表示目标之间是否具有关联关系。无向图是基于两帧图像中的目标之间的关联关系，建立的一个没有方向指向的图。每个无向图由多个顶点和多个无向边组成，其中，无向图中每一个顶点代表一个目标，每一个无向边代表该无向边连接的两个目标之间建立关联关系，当然，如果无向图中的两个顶点之间没有无向边连接，则该两个顶点对应的两个目标之间不具有关联关系。
在本发明实施例中，具体参见图4，图4是该两帧图像之间的无向图，其中，采用圆圈表示该第一图像中的各个目标，采用正方形表示该第二图像中的各个目标，每个圆圈与正方形之间的关系有以下两种:圆圈与正方形之间有无向边；或，圆圈与正方形之间没有无向边。具体地，圆圈与正方形之间有无向边表示该圆圈与正方形代表的目标之间具有关联关系；圆圈与正方形之间没有无向边表示该圆圈与正方形代表的目标之间不具有关联关系。
需要说明的是，在无向图中，可以采用圆圈表示顶点，也可以采用正方形表示顶点，本发明实施例具体用哪种符号表示无向图中的顶点不做限定
在实际应用中，获取到的该任意两个目标之间的相似度可能有以下两种情况：该任意两个目标之间的相似度大于第一相似度阈值；或，该任意两个目标之间的相似度小于或等于第一相似度阈值。具体地，基于以上两种不同的目标之间的相似度，下面对无向图的生成过程进行介绍：
(1)如果该任意两个目标之间的相似度大于第一相似度阈值，则在该无向图中为该任意两个目标之间建立关联关系。参见图4，即在该无向图中，该两个目标对应的圆圈与正方形之间有无向边。同时，在计算机设备中以数字1进行记录。
(2)如果该任意两个目标之间的相似度小于或等于第一相似度阈值，则在该无向图中该任意连个目标之间不具有关联关系。参见图4，即在该无向图中，该两个目标对应的圆圈和正方形之间没有无向边。同时，在计算机中以数字0进行记录。
需要说明的是，如果在之前的步骤中已经对相似度进行了基于设定值的重新设置，则可以直接基于重置之后的相似度进行关联关系的建立，而如果未进行重新设置，则可以基于上述步骤(1)和(2)的过程进行关联。
204、计算机设备对所述目标无向图进行分解，得到多个二分图，每个二分图对应于所述目标无向图中的一个连通分量。
在本发明实施例中，计算机设备通过上述步骤203，得到了每两帧相邻图像的无向图，也即是，可以得到多个无向图，每个无向图用于表示两帧相邻图像中目标的关联关系。将生成的每个无向图分别分解成多个子图，例如，如果无向图中的多个目标之间建立关联关系，则将该建立关联关系的目标对应的顶点和无向边分为一个子图；如果无向图中的两个目标之间具有关联关系，则将该两个目标对应的顶点和无向边分为一个子图；如果一个目标与其他任意一个目标之间没有任何关联关系，则将该目标单独分为一个子图。其中，每个子图都是其对应的无向图的极大连通子图，每个极大连通子图都是一个二分图，也即是该对应无向图的一个连通分量。如图5，其中图5的(1)图中的每个虚线框都是该两帧图像之间的无向图进行分解后得到的二分图。
205、计算机设备对于每个二分图，通过二分图匹配算法，获取所述每个二分图中与第一目标的匹配度最高的第二目标。
在实际应用中，基于二分图匹配算法获取该每个二分图中与第一目标之间的相似度最高的目标作为第二目标，该第二目标即为与该第一目标匹配度最高的目标，该二分图匹配算法可以通过KM算法、匈牙利算法等来实现，通过获取与第一目标匹配度最高的第二目标，避免了后续对全部目标求解关联矩阵，大大减少了计算量，也使得获取多帧图像的关联矩阵的效率更高。具体参见图5，其中图5的(2)图中的每个虚线框都是对其对应的二分图中的目标进行最佳匹配后得到的匹配结果。
206、计算机设备根据匹配度最高的第二目标，更新该每个二分图。
在本发明实施例中，该更新每个二分图的过程可能有以下情况：该二分图中只有一个目标；或，该二分图中有两个目标且该两目标之间有无向边；或，该二分图中有多个目标。具体地，下面针对上述情况中的二分图更新过程作介绍：
(1)当该二分图中只有一个目标时，不进行处理。
(2)当该二分图中有两个目标且该两个目标之间有无向边时，不进行处理。
(3)当该二分图中有多个目标时，保留与第一图像中的目标相似度最高的第二目标之间的无向边，删除其他无向边。
如图5，图5的(2)图是对每个二分图进行二分图匹配算法后的得到的最佳匹配目标，每个圆圈最多只与一个正方形之间建立无向边，即保留与第一目标匹配度最高的第二目标之间的无向边，而删除其他目标之间的无向边。
207、计算机设备根据更新后的每个二分图，生成所述第n-1帧图像和所述第n帧图像的关联矩阵，该关联矩阵用于指示该两帧图像中各个目标之间的关联关系。
在本发明实施例中，根据更新后的所有二分图中的顶点和无向边的数量及其关联关系，生成相邻两帧图像的关联矩阵。其中，在该关联矩阵中，将更新后的所有二分图中的顶点的总数作为该关联矩阵的行数，将更新后的所有二分图中的无向边的总数作为该关联矩阵的列数，并将所有顶点和所有无向边以连续的数字进行编号，同时，以元素0和1表示该关联矩阵中每行代表的顶点和每列代表的无向边之间的关联关系。例如，该关联矩阵的第i行第j列表示第i个顶点和第j个无向边之间的关联关系。具体地，下面针对该关联矩阵中的每个元素的生成过程进行介绍：
(1)当该关联矩阵中的该元素对应的顶点和无向边之间建立关联关系时，则将该元素置为“1”。
(2)当该关联矩阵中的该元素对应的顶点和无向边之间不具有关联关系时，则将该元素置为“0”。
本发明采用关联矩阵的方式来表示各个图像中的各个目标之间的关联关系，将复杂的问题进行数学化，使得关联过程更加简化、清晰。
208、计算机设备根据所述关联矩阵，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
在本发明实施例中，根据该关联矩阵，将相邻两帧图像有关联关系的目标进行连接，生成多个轨迹片段，需要说明的是，目标的轨迹片段在生成后，可以存储至轨迹集合中，在轨迹集合中，目标与轨迹片段对应存储，例如，一个目标的多个轨迹片段可以随着对图像的处理过程不断增加，且，一个目标的各个轨迹片段之间具有关联关系。
在上述步骤201-208中，是通过对第n帧和第n-1帧图像中目标进行轨迹片段生成为例进行说明的，实际应用中，可以每获取一帧图像即进行上述步骤201-208的过程，以便随着图像显示的进度，来不断生成各个目标的轨迹片段。在步骤208中，由于在前n-1帧均生成了目标的轨迹片段，因此，该步骤208可以看做是在已生成的轨迹的基础上，所生成的轨迹片段，而所生成的轨迹片段与之前该目标的各个轨迹片段具有关联关系，在轨迹集合中，也可以每生成一个轨迹片段，就将该轨迹片段与之前该目标的轨迹片段合并，以得到运动轨迹，而当再生成一个轨迹片段时，则可以将已生成的运动轨迹作为轨迹片段，与当前生成的轨迹片段合并，以此类推，直到对视频的所有帧均处理完成。
209、计算机设备对于前n帧中一个目标的多个轨迹片段，获取该多个轨迹片段中首尾相连的任意第一轨迹片段和第二轨迹片段之间的相似度。
在本发明实施例中，一个目标的多个轨迹片段指的是同一个目标的多个相互连接的轨迹片段，其中，该轨迹片段可以是该帧图像中的该目标和该相邻帧图像中与该目标匹配度最高的目标之间的轨迹片段。此外，获取与第一轨迹片段尾端相连的第二轨迹片段，也即是，该第一轨迹片段与该第二轨迹片段之间不存在其他轨迹片段。获取该第一轨迹片段和第二轨迹片段之间的相似度，以根据该相似度的大小验证该第一轨迹片段和第二轨迹片段是否为同一个目标的轨迹片段。
在本发明实施例中，该任意第一轨迹片段和第二轨迹片段之间的相似度为该第一轨迹片段上和该第二轨迹片段上各个目标之间的相似度均值。此外，对于该任意第一轨迹片段和第二轨迹片段之间的相似度的获取，可以采用全部目标的相似度均值，还可以随机选取该第一轨迹片段上和该第二轨迹片段上的部分目标，获取该部分目标之间的相似度均值作为该多个轨迹片段中首尾相连的任意第一轨迹片段和第二轨迹片段之间的相似度。
具体地，该各个目标之间的相似度的获取过程包括：
(1)提取该第一轨迹片段上的各个目标的图像特征；
(2)提取该第二轨迹片段上的各个目标的图像特征；
(3)获取该第一轨迹片段上的各个目标的图像特征和该第二轨迹片段上的各个目标的图像特征之间的相似度。
例如，可以对目标p和目标q提取HOG图像特征，获取到目标p的特征向量f以及目标q的特征向量g，可以将特征向量f和特征向量g之间的特征距离作为该目标p和目标q之间的相似度。
具体地，可以采用该特征向量f和特征向量g之间的余弦距离e作为该特征距离：
其中，N是特征向量的维度，fi和gi分别是特征向量f和特征向量g的特征分量。
需要说明的是，对于各个目标的图像特征的提取，除了上述提取各个目标的HOG图像特征以外，还可以采用其他任意一种深度学习网络的特征提取方法，例如，采用深度神经网络模型进行图像特征提取。此外，除了上述采用两个特征向量之间的余弦距离作为特征距离之外，还可以采用其他任意一种特征距离度量方法。
当然，上述步骤209的各个轨迹片段，可以是已经合并后的轨迹片段，也可以是合并之前的轨迹片段，本发明实施例对此不做限定。
210、当该多个轨迹片段中首尾相连的任意第一轨迹片段和第二轨迹片段之间的相似度大于第二相似度阈值时，将该第一轨迹片段和第二轨迹片段合并，得到该目标在该视频中的运动轨迹。
在本发明实施例中，当该第一轨迹片段和该第二轨迹片段之间的相似度大于第二相似度阈值时，证明该第一轨迹片段和该第二轨迹片段是同一个目标的轨迹片段，则将该第一轨迹片段和该第二轨迹片段首尾融合，合并成同一个轨迹片段，将连接后的新的轨迹片段作为新的第一轨迹片段，执行209到210的步骤，直到得到该视频连续帧图像中的该目标的运动轨迹。
在实际应用中，该首尾相连的第一轨迹片段和第二轨迹片段之间的相似度可能小于或等于第二相似度阈值，此时，证明该第一轨迹片段和第二轨迹片段不是同一目标的轨迹片段，则不将该第一轨迹片段和第二轨迹片段合并成同一个轨迹片段。
本发明的实施例应用于计算机设备中的人工智能平台，例如，可以应用于腾讯优图开放平台，基于目标检测算法检测到的各个目标在计算机设备中以坐标框的形式进行标识，在得到目标的运动轨迹后，在计算机设备中显示的坐标框之间，以曲线的形式标识其对应的目标的运动轨迹，随着视频中图像的显示，可以显示任一个目标的运动轨迹，如图6所示。
本发明实施例提供的方法，通过对每两帧图像之间的无向图进行分解，将复杂的无向图分解成多个简单的无向图，再分别对每个无向图中对应的目标进行关联，大大减少了计算量，也使得获取多帧图像的关联矩阵的效率更高，最后生成更加精准的目标的运动轨迹。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图7是本发明实施例提供的一种运动轨迹的获取装置的结构示意图。参见图7，所说装置包括：
检测模块701，用于对视频的第n帧图像进行目标检测，得到所述第n帧图像中的至少一个第一目标，其中，n为大于1的自然数；
获取模块702，用于获取目标无向图，所述目标无向图用于表示所述第n帧图像中的至少一个第一目标和第n-1帧图像中至少一个第二目标之间的关联关系；
分解模块703，用于对所述目标无向图进行分解，得到多个二分图，每个二分图对应于所述目标无向图中的一个连通分量；
轨迹生成模块704，用于根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
在一些实施例中，所述获取模块包括：
相似度获取单元，用于根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标与至少一个第二目标之间的相似度；
无向图生成单元，用于根据获取到的相似度，生成所述第n帧图像和第n-1帧图像的目标之间的的无向图。
在一些实施例中，所述相似度获取单元用于：
根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标以及所述至少一个第二目标之间的像素面积比、重合比以及所述至少一个第二目标的运动速度；
根据所述像素面积比、重合比以及所述至少一个第二目标的运动速度，获取所述至少一个第一目标与至少一个第二目标之间的相似度。
在一些实施例中，所述无向图生成单元，用于：如果任意两个目标之间的相似度大于第一相似度阈值，则在所述无向图中为所述任意两个目标之间建立关联关系；如果任意两个目标之间的相似度小于或等于第一相似度阈值，则在所述无向图中所述任意两个目标之间不具有关联关系。
在一些实施例中，所述轨迹生成模块包括：
关联矩阵生成单元，用于根据所述多个二分图，获取所述第n-1帧图像和所述第n帧图像的关联矩阵，所述关联矩阵用于指示所述图像中各个目标之间的关联关系；
轨迹片段生成单元，用于根据所述关联矩阵，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
在一些实施例中，所述关联矩阵生成单元用于：
对于每个二分图，通过二分图匹配算法，获取所述每个二分图中与第一目标的匹配度最高的第二目标；
根据匹配度最高的第二目标，更新所述每个二分图；
根据更新后的每个二分图，生成所述第n-1帧图像和所述第n帧图像的关联矩阵。
在一些实施例中，所述轨迹生成模块还用于：对于一个目标的多个轨迹片段，当所述多个轨迹片段中首尾相连的任意第一轨迹片段和第二轨迹片段之间的相似度大于第二相似度阈值，将所述第一轨迹片段和第二轨迹片段合并，得到所述目标在所述视频中的运动轨迹。
在一些实施例中，所述第一轨迹片段和第二轨迹片段之间的相似度为所述第一轨迹片段上和所述第二轨迹片段上各个目标之间的相似度均值。
在一些实施例中，所述装置还包括：
相似度获取模块，用于提取所述第一轨迹片段上的各个目标的图像特征；提取所述第二轨迹片段上的各个目标的图像特征；获取所述第一轨迹片段上的各个目标的图像特征和所述第二轨迹片段上的各个目标的图像特征之间的相似度。
在一些实施例中，所述装置还包括：轨迹显示模块，用于在显示所述第n帧图像的过程中，在所述第n帧图像上显示所述至少一个第一目标的历史运动轨迹，所述历史运动轨迹包括任一第一目标在所述视频起始帧到所述第n帧图像的轨迹。
需要说明的是：上述实施例提供的运动轨迹的获取装置在运动轨迹的获取时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的运动轨迹的获取装置与运动轨迹的获取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本发明实施例提供的一种计算机设备的结构示意图，该计算机设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成下述实施例中的运动轨迹的获取方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种运动轨迹的获取方法，其特征在于，所述方法包括：
对视频的第n帧图像进行目标检测，得到所述第n帧图像中的至少一个第一目标，其中，n为大于1的自然数；
获取目标无向图，所述目标无向图用于表示所述第n帧图像中的至少一个第一目标和第n-1帧图像中至少一个第二目标之间的关联关系；
对所述目标无向图进行分解，得到多个二分图，每个二分图对应于所述目标无向图中的一个连通分量；
根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
2.根据权利要求1所述的方法，其特征在于，所述获取目标无向图包括：
根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标与至少一个第二目标之间的相似度；
根据获取到的相似度，生成所述第n帧图像和第n-1帧图像的目标之间的的无向图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标与至少一个第二目标之间的相似度包括：
根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标以及所述至少一个第二目标之间的像素面积比、重合比以及所述至少一个第二目标的运动速度；
根据所述像素面积比、重合比以及所述至少一个第二目标的运动速度，获取所述至少一个第一目标与至少一个第二目标之间的相似度。
4.根据权利要求3所述的方法，其特征在于，所述根据获取到的相似度，生成所述第n帧图像和第n-1帧图像的目标之间的的无向图包括：
如果任意两个目标之间的相似度大于第一相似度阈值，则在所述无向图中为所述任意两个目标之间建立关联关系；
如果任意两个目标之间的相似度小于或等于第一相似度阈值，则在所述无向图中所述任意两个目标之间不具有关联关系。
5.根据权利要求1所述的方法，其特征在于，根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段包括：
根据所述多个二分图，获取所述第n-1帧图像和所述第n帧图像的关联矩阵，所述关联矩阵用于指示所述图像中各个目标之间的关联关系；
根据所述关联矩阵，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
6.根据权利要求5所述的方法，其特征在于，所述根据所述多个二分图，获取所述第n-1帧图像和所述第n帧图像的关联矩阵包括：
对于每个二分图，通过二分图匹配算法，获取所述每个二分图中与第一目标的匹配度最高的第二目标；
根据匹配度最高的第二目标，更新所述每个二分图；
根据更新后的每个二分图，生成所述第n-1帧图像和所述第n帧图像的关联矩阵。
7.根据权利要求1所述的方法，其特征在于，所述根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段之后，所述方法还包括：
对于一个目标的多个轨迹片段，当所述多个轨迹片段中首尾相连的任意第一轨迹片段和第二轨迹片段之间的相似度大于第二相似度阈值，将所述第一轨迹片段和第二轨迹片段合并，得到所述目标在所述视频中的运动轨迹。
8.根据权利要求7所述的方法，其特征在于，所述第一轨迹片段和第二轨迹片段之间的相似度为所述第一轨迹片段上和所述第二轨迹片段上各个目标之间的相似度均值。
9.根据权利要求7所述的方法，其特征在于，所述各个目标之间的相似度的获取过程包括：
提取所述第一轨迹片段上的各个目标的图像特征；
提取所述第二轨迹片段上的各个目标的图像特征；
获取所述第一轨迹片段上的各个目标的图像特征和所述第二轨迹片段上的各个目标的图像特征之间的相似度。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在显示所述第n帧图像的过程中，在所述第n帧图像上显示所述至少一个第一目标的历史运动轨迹，所述历史运动轨迹包括任一第一目标在所述视频起始帧到所述第n帧图像的轨迹。
11.一种运动轨迹的获取装置，其特征在于，所述装置包括：
检测模块，用于对视频的第n帧图像进行目标检测，得到所述第n帧图像中的至少一个第一目标，其中，n为大于1的自然数；
获取模块，用于获取目标无向图，所述目标无向图用于表示所述第n帧图像中的至少一个第一目标和第n-1帧图像中至少一个第二目标之间的关联关系；
分解模块，用于对所述目标无向图进行分解，得到多个二分图，每个二分图对应于所述目标无向图中的一个连通分量；
轨迹生成模块，用于根据所述多个二分图，生成所述第n-1帧图像和所述第n帧图像中目标的轨迹片段。
12.根据权利要求11所述的装置，其特征在于，所述获取模块包括：
相似度获取单元，用于根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标与至少一个第二目标之间的相似度；
无向图生成单元，用于根据获取到的相似度，生成所述第n帧图像和第n-1帧图像的目标之间的的无向图。
13.根据权利要求12所述的装置，其特征在于，所述相似度获取单元用于：
根据所述至少一个第一目标的位置坐标以及第n-1帧图像中至少一个第二目标的位置坐标，获取所述至少一个第一目标以及所述至少一个第二目标之间的像素面积比、重合比以及所述至少一个第二目标的运动速度；
根据所述像素面积比、重合比以及所述至少一个第二目标的运动速度，获取所述至少一个第一目标与至少一个第二目标之间的相似度。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求8任一项所述的运动轨迹的获取方法所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的运动轨迹的获取方法所执行的操作。
CN201810677462.5A 2018-06-27 2018-06-27 运动轨迹的获取方法、装置、计算机设备及存储介质 Active CN108875666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810677462.5A CN108875666B (zh) 2018-06-27 2018-06-27 运动轨迹的获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810677462.5A CN108875666B (zh) 2018-06-27 2018-06-27 运动轨迹的获取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108875666A true CN108875666A (zh) 2018-11-23
CN108875666B CN108875666B (zh) 2023-04-18

Family

ID=64295934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810677462.5A Active CN108875666B (zh) 2018-06-27 2018-06-27 运动轨迹的获取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108875666B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740573A (zh) * 2019-01-24 2019-05-10 北京旷视科技有限公司 视频分析方法、装置、设备及服务器
CN109934849A (zh) * 2019-03-08 2019-06-25 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法
CN110263847A (zh) * 2019-06-18 2019-09-20 腾讯科技（深圳）有限公司 轨迹获取方法、装置、计算机设备及存储介质
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 一种对象识别方法和装置
CN110766715A (zh) * 2019-10-31 2020-02-07 智慧视通(杭州)科技发展有限公司 一种结合单目标轨迹的多目标跟踪方法
CN111047622A (zh) * 2019-11-20 2020-04-21 腾讯科技（深圳）有限公司 视频中对象的匹配方法和装置、存储介质及电子装置
CN111126807A (zh) * 2019-12-12 2020-05-08 浙江大华技术股份有限公司 行程切分方法和装置、存储介质及电子装置
CN111954886A (zh) * 2019-06-14 2020-11-17 北京嘀嘀无限科技发展有限公司 对象追踪的系统和方法
CN112101071A (zh) * 2019-06-18 2020-12-18 富士通株式会社 停车检测方法、停车检测装置和电子设备
CN112131904A (zh) * 2019-06-24 2020-12-25 曜科智能科技（上海）有限公司 基于图匹配的多目标跨镜追踪方法、装置、设备和介质
CN112181999A (zh) * 2020-09-21 2021-01-05 北京京东乾石科技有限公司 一种轨迹更新方法及装置、设备、存储介质
CN112712013A (zh) * 2020-12-29 2021-04-27 杭州海康威视数字技术股份有限公司 一种移动轨迹构建方法及装置
CN112883871A (zh) * 2021-02-19 2021-06-01 北京三快在线科技有限公司 一种模型训练以及确定无人车运动策略方法及装置
CN113515982A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN114625251A (zh) * 2022-03-11 2022-06-14 平安普惠企业管理有限公司 基于vr的交互方法、装置、计算机设备及存储介质
CN117557789A (zh) * 2024-01-12 2024-02-13 国研软件股份有限公司 一种海上目标的智能化检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379044A (en) * 1993-12-23 1995-01-03 Hughes Aircraft Company Efficient multi-target tracking method
CN101783020A (zh) * 2010-03-04 2010-07-21 湖南大学 一种联合概率数据关联的视频多目标快速跟踪方法
CN104200488A (zh) * 2014-08-04 2014-12-10 合肥工业大学 一种基于图表示和匹配的多目标跟踪方法
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
CN107133970A (zh) * 2017-03-30 2017-09-05 北京航空航天大学 基于运动信息的在线多目标跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379044A (en) * 1993-12-23 1995-01-03 Hughes Aircraft Company Efficient multi-target tracking method
CN101783020A (zh) * 2010-03-04 2010-07-21 湖南大学 一种联合概率数据关联的视频多目标快速跟踪方法
CN104200488A (zh) * 2014-08-04 2014-12-10 合肥工业大学 一种基于图表示和匹配的多目标跟踪方法
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
CN107133970A (zh) * 2017-03-30 2017-09-05 北京航空航天大学 基于运动信息的在线多目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
殷志祥，周维: "《运筹学教程 第2版》", 30 April 2017 *
电子科技大学应用数学学院，徐全智，杨晋浩: "《数学建模》", 31 July 2003 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740573A (zh) * 2019-01-24 2019-05-10 北京旷视科技有限公司 视频分析方法、装置、设备及服务器
CN109934849A (zh) * 2019-03-08 2019-06-25 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法
CN111954886A (zh) * 2019-06-14 2020-11-17 北京嘀嘀无限科技发展有限公司 对象追踪的系统和方法
WO2020248248A1 (en) * 2019-06-14 2020-12-17 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for object tracking
CN112101071A (zh) * 2019-06-18 2020-12-18 富士通株式会社 停车检测方法、停车检测装置和电子设备
CN110263847A (zh) * 2019-06-18 2019-09-20 腾讯科技（深圳）有限公司 轨迹获取方法、装置、计算机设备及存储介质
CN110263847B (zh) * 2019-06-18 2021-10-26 腾讯科技（深圳）有限公司 轨迹获取方法、装置、计算机设备及存储介质
CN112131904B (zh) * 2019-06-24 2024-03-15 曜科智能科技（上海）有限公司 基于图匹配的多目标跨镜追踪方法、装置、设备和介质
CN112131904A (zh) * 2019-06-24 2020-12-25 曜科智能科技（上海）有限公司 基于图匹配的多目标跨镜追踪方法、装置、设备和介质
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 一种对象识别方法和装置
CN110443190B (zh) * 2019-07-31 2024-02-02 腾讯科技(成都)有限公司 一种对象识别方法和装置
CN110766715A (zh) * 2019-10-31 2020-02-07 智慧视通(杭州)科技发展有限公司 一种结合单目标轨迹的多目标跟踪方法
CN111047622A (zh) * 2019-11-20 2020-04-21 腾讯科技（深圳）有限公司 视频中对象的匹配方法和装置、存储介质及电子装置
CN111126807A (zh) * 2019-12-12 2020-05-08 浙江大华技术股份有限公司 行程切分方法和装置、存储介质及电子装置
CN111126807B (zh) * 2019-12-12 2023-10-10 浙江大华技术股份有限公司 行程切分方法和装置、存储介质及电子装置
CN113515982B (zh) * 2020-05-22 2022-06-14 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN113515982A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN112181999A (zh) * 2020-09-21 2021-01-05 北京京东乾石科技有限公司 一种轨迹更新方法及装置、设备、存储介质
CN112712013B (zh) * 2020-12-29 2024-01-05 杭州海康威视数字技术股份有限公司 一种移动轨迹构建方法及装置
CN112712013A (zh) * 2020-12-29 2021-04-27 杭州海康威视数字技术股份有限公司 一种移动轨迹构建方法及装置
CN112883871B (zh) * 2021-02-19 2022-06-10 北京三快在线科技有限公司 一种模型训练以及确定无人车运动策略方法及装置
CN112883871A (zh) * 2021-02-19 2021-06-01 北京三快在线科技有限公司 一种模型训练以及确定无人车运动策略方法及装置
CN114625251A (zh) * 2022-03-11 2022-06-14 平安普惠企业管理有限公司 基于vr的交互方法、装置、计算机设备及存储介质
CN117557789A (zh) * 2024-01-12 2024-02-13 国研软件股份有限公司 一种海上目标的智能化检测方法及系统
CN117557789B (zh) * 2024-01-12 2024-04-09 国研软件股份有限公司 一种海上目标的智能化检测方法及系统

Also Published As

Publication number Publication date
CN108875666B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN108875666A (zh) 运动轨迹的获取方法、装置、计算机设备及存储介质
Singh et al. A multi-stream bi-directional recurrent neural network for fine-grained action detection
Moon et al. Vanishing point detection for self-driving car using harmony search algorithm
CN108960059A (zh) 一种视频动作识别方法及装置
CN112597941A (zh) 一种人脸识别方法、装置及电子设备
Elrefaei et al. Real-time face detection and tracking on mobile phones for criminal detection
Kothiya et al. A review on real time object tracking in video sequences
Li et al. Simultaneous tracking and verification via sequential posterior estimation
CN111626184A (zh) 一种人群密度估计方法及系统
CN111967406A (zh) 人体关键点检测模型生成方法、系统、设备和存储介质
CN104156982B (zh) 运动目标跟踪方法和装置
Tang et al. Smoking behavior detection based on improved YOLOv5s algorithm
CN114694261A (zh) 一种基于多级监督图卷积的视频三维人体姿态估计方法及系统
Liu et al. ACDnet: An action detection network for real-time edge computing based on flow-guided feature approximation and memory aggregation
CN112528811A (zh) 行为识别方法和装置
Vora et al. Bringing generalization to deep multi-view pedestrian detection
CN105096343B (zh) 一种移动目标跟踪方法及装置
Du et al. Monocular human motion tracking by using DE-MC particle filter
US20220038643A1 (en) Computing system and a computer-implemented method for sensing gameplay events and augmentation of video feed with overlay
Zhou et al. VDTNet: A High-Performance Visual Network for Detecting and Tracking of Intruding Drones
CN103413328A (zh) 运动物体的跟踪方法和装置
Su et al. Exploring driving-aware salient object detection via knowledge transfer
He et al. Adaptive multi-scale tracking target algorithm through drone
Li et al. FPGA Implementation of Infrared Images Small Targets Track-Before-Detect System
Fan et al. Weakly-Supervised Scene-Specific Crowd Counting Using Real-Synthetic Hybrid Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant