CN103914854B - 一种图像序列目标关联及轨迹生成方法 - Google Patents
一种图像序列目标关联及轨迹生成方法 Download PDFInfo
- Publication number
- CN103914854B CN103914854B CN201410110670.9A CN201410110670A CN103914854B CN 103914854 B CN103914854 B CN 103914854B CN 201410110670 A CN201410110670 A CN 201410110670A CN 103914854 B CN103914854 B CN 103914854B
- Authority
- CN
- China
- Prior art keywords
- target
- path segment
- calculate
- affine
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种图像序列目标关联及轨迹生成方法,设计多级关联机制,通过逐级提取目标的多种静态特征和动态特征,以及在不同关联等级形成不同的目标亲和距离模型,从而充分综合目标的多种特征进行数据关联,提高了关联的精确度;同时,基于数据关联结果,在同一图像背景中,逐级将相匹配的目标中心点连接,并不断将所得轨迹片段向两端扩展,最终获得各个目标的完整运动轨迹。本发明通过分级提取目标的多种简单特征,可靠、快速地实现了单摄像机视频中的多目标关联与轨迹生成,且计算量极小。
Description
技术领域
本发明涉及视频监控及计算机视觉技术领域,尤其涉及一种图像序列目标关联及轨迹生成方法。
背景技术
目前,视频监控技术在公共安全、智能交通、工业过程等众多监测监控中得到了广泛应用,其中,获取视频图像中的目标轨迹,以便进一步分析目标运动行为,成为了众多研究者关注的焦点。
在通过跟踪的方式获取目标轨迹的过程中,比较著名的均值漂移、粒子滤波、卡尔曼滤波等方法均存在算法复杂、计算量大的问题,因此仅适合于获取单目标轨迹,当将其应用于多目标轨迹获取时会速度变慢,不能满足视频监控的实时性要求。
相对上述算法,数据关联的方法通过提取目标特征,对视频图像中的目标检测结果进行关联匹配,并将最佳匹配结果相连,从而获得目标轨迹。该方法运算简单,计算量较小,但生成的目标轨迹往往不够准确,不能满足视频监控的精确度要求。
发明内容
本发明所要解决的技术问题是基于单摄像机场景中获取多目标轨迹的需求,针对背景技术中的缺陷,提出一种计算量较小、目标轨迹精确度高、图像序列目标关联及轨迹生成方法。
本发明为解决上述技术问题采用以下技术方案:
一种图像序列目标关联及轨迹生成方法,包括下列步骤:
步骤1),对图像序列中的目标进行检测,标出每一帧图像中的目标对象;
步骤2),设置用于过滤低亲和度组合的第一阈值,对于所有相邻图像,将其中一幅图像中的每一个目标与另一幅图像中的各个目标进行组合,得到所有的相邻目标组合后,计算各组合中两个目标中心点的坐标距离值,过滤掉相邻目标组合中距离值大于第一阈值的组合;
步骤3),对过滤后剩余的所有相邻目标组合进行初级关联:
对于每一个相邻目标组合,计算其中两个目标的位置亲和度、大小亲和度以及颜色亲和度,进而计算这两个目标的亲和距离,然后筛选出亲和距离小于预先设定的第二阈值的组合,并将该组合中的两个目标连接在一起,得到只有两个目标节点的初级轨迹碎片;
步骤4),对所得初级轨迹碎片集合以及未被关联的目标集合进行次级关联:
判断每一个初级轨迹碎片两端的相邻帧图像中是否存在未被关联的目标,若存在未被关联的目标,计算所述初级轨迹碎片的方向向量,以及所述初级轨迹碎片与所述目标进行匹配时的匹配向量后,计算所述初级轨迹碎片与所述目标的方向亲和度,进而计算出所述初级轨迹碎片和所述存在目标的亲和距离,然后筛选出亲和距离最近的目标,最后,将所得目标与所述初级轨迹碎片连接,得到较长的次级轨迹片段;
步骤5),对所得次级轨迹片段集合以及未被关联的目标集合进行三级关联:
判断每一个次级轨迹片段两端的相邻帧图像中是否存在未被关联的目标,若存在未被关联的目标,计算所述次级轨迹片段中目标的平均运动速率,以及所述次级轨迹片段与所述目标进行匹配时的匹配运动速率后,计算所述次级轨迹片段与所述目标的运动速率亲和度,进而计算出所述次级轨迹片段与所述目标的亲和距离,然后筛选出亲和距离最近的目标,最后,将所得目标与所述次级轨迹片段连接,得到更长的三级轨迹片段;
步骤6),对于所有三级轨迹片段,按照如下方法不断在其两端进行迭代关联,直到所有图像中的所有目标均被关联,或者所有轨迹片段两端均不能继续匹配到符合要求的目标:
判断轨迹片段两端的相邻帧图像中是否存在未被关联的目标,若存在未被关联的目标,计算所述轨迹片段中目标的平均运动速率,以及所述轨迹片段与所述目标进行匹配时的匹配运动速率后,计算所述轨迹片段与所述目标的运动速率亲和度,进而计算出所述轨迹片段与所述目标的亲和距离,然后筛选出亲和距离最近的目标,最后,将所得目标与所述轨迹片段连接,得到更长的轨迹片段。
本发明在数据关联过程中,逐级提取目标的多种静态特征和动态特征,其中的运动方向特征和运动速率特征在一般的匹配关联方法中都不能很好的提取和处理,本发明利用分级关联的方式突破了这一限制,提高了数据关联的精确度;此外,本发明所涉及的多种目标特征信息均可通过简单计算得到,极大的减小了计算量,增强了目标轨迹生成的实时性。
附图说明
图1是本发明方法流程图;
图2是初级关联流程图;
图3是次级关联流程图;
图4是三级关联流程图;
图5是多目标轨迹生成示意图。
具体实施方式
本发明涉及一种图像序列目标关联及轨迹生成方法,通过分级提取目标的多种特征,获得较好的关联匹配结果;同时,将相匹配目标组合逐级相连,并不断将所得轨迹片段向两端扩展,最终得到出现在摄像机监控范围内的各个目标的完整运动轨迹。
本发明方法首先对图像序列中的目标做检测,用矩形框标出每一帧图像中的目标对象。由于每帧图像中均会出现多个目标检测结果,假设t-1帧和t帧图像中分别检测到n个和m个目标,则需对这两帧中检测到的目标一一计算亲和距离值,再进行排序,选择最佳的关联组合,即共需计算n*m个亲和距离值,如果n和m都很大,其计算量会变的很大。对此,本发明方法在进行匹配关联之前先对检测结果进行过滤处理,用计算量很小的简单方法去除掉相似度低的目标组合。在随后的初级关联中,本发明方法提取目标的颜色直方图、目标矩形框大小、目标矩形框中心点坐标、目标帧序号等特征信息形成初级目标亲和距离模型;次级关联中加入了目标运动方向特征形成次级亲和距离模型;三级关联中再加入目标运动速率特征形成三级亲和距离模型。其中,运动方向特征和运动速率特征在一般的匹配关联方法中都不能很好的提取和处理,本发明方法突破了这一限制。这样,经过多级匹配关联,并将相匹配的目标组合连接在一起,最终得到了所有目标的运动轨迹。本发明方法流程如图1所示。
本发明通过计算相邻帧中两目标矩形框中心点坐标距离来对目标检测结果进行过滤处理,以极小的计算量去除相似度低的组合。用公式表示为:
其中,ri,rj分别表示相邻两帧目标检测结果,xi和yi表示ri的矩形框中心点坐标,xj和yj表示rj的矩形框中心点坐标。设立阈值θ,当d(ri,rj)>θ时,表示目标ri和目标rj相隔距离较远,属于同一目标的概率很小,故将二者组合过滤掉;当d(ri,rj)≤θ时,则表示目标ri和目标rj符合条件,可进入下一步亲和距离值的计算。此处的阈值θ根据不同的监控场景设立不同的值,对于书店等目标运动缓慢的场景可设立较低的值,对于球馆等目标运动迅速的场景可设立较高的值。
本发明方法在初级关联阶段提取目标矩形框中心点坐标、目标矩形框大小、目标颜色直方图、目标帧序号等特征形成初级目标亲和距离模型。目标ri和目标rj的亲和距离值用公式可表示为:
三个特征亲和距离值可表示为:
其中,(xi,yi)和(xj,yj)表示相邻两帧目标矩形框中心点坐标,si和sj表示目标矩形框大小,和表示方差值,均为常数,B(ci,cj)表示两目标颜色直方图的巴氏距离,γpos和γsize为归一化因数,γ1、β1、α1分别为各亲和距离值系数,满足γ1+β1+α1=1。该亲和距离值越小,则说明两目标相似度越高。
本发明方法采用双阈值方法来选择最佳关联组合。首先根据阈值θ1,筛选出相似度高的组合,再根据阈值θ2得到相似度高于其他任何组合的最佳关联组合。用公式可表示为:
A1(rj|ri)<θ1,且
min[A1(rk|ri)-A1(rj|ri),A1(rj|rk)-A1(rj|ri)]>θ2
s.t.θ1>0,θ2>0
其中,R为所有图像的目标检测结果集合,rk为R中除ri和rj之外的任意目标。通过双阈值方法,本专利在初级关联中得到多对高精确度的目标关联组合,将每对组合中的两目标连接在一起,最终得到初级轨迹碎片集合T1,且该碎片仅连接相邻两帧图像中的两个目标检测结果。初级关联流程如图2所示。
根据初级关联中得到的目标轨迹碎片,本发明方法在次级关联中提取目标的运动方向特征,并结合初级亲和距离模型,形成次级亲和距离模型。
假设轨迹碎片的两个节点为rt和rt-1,则其方向向量可表示为:
其中,(xt,yt)和(xt-1,yt-1)分别为rt和rt-1的矩形框中心点坐标。与其后一帧图像中目标ri进行匹配时,计算匹配方向向量,可表示为:
其中,(xi,yi)为ri的矩形框中心点坐标。两向量角度和方向特征亲和距离值可用公式分别表示为:
其中,γdir为归一化因数,表示方差值,为一常数。则目标ri和轨迹碎片的亲和距离值可表示为:
其中,γ2、β2、α2、τ2分别为各亲和距离值系数,满足γ2+β2+α2+τ2=1。该亲和距离值越小,则说明轨迹碎片与目标ri的关联度越大。
此处继续使用双阈值方法来选择最佳关联结果。首先设立阈值θ1,在轨迹碎片的后一帧图像中筛选出亲和度高的目标,再根据阈值θ2得到相似度高于其他任何关联方式的最佳关联结果,并将其与进行关联。用公式可表示为:
s.t.θ1>0,θ2>0
其中,R′为轨迹碎片的后一帧图像中目标检测结果集合,rk为R′中除ri之外的任意目标。
同样的,本发明方法在轨迹碎片的前一帧图像中进行相同的关联计算,得到其与前一帧图像中目标的最佳关联匹配结果。这样,通过对初级轨迹碎片的双向关联,并将所得关联结果连接在一起,本发明方法在次级关联中得到次级轨迹片段集合T2。次级关联流程如图3所示。
根据次级关联中得到的目标轨迹片段,本发明方法在三级关联中提取目标的运动速率特征,并结合次级亲和距离模型,形成三级亲和距离模型。
假设轨迹片段的四个节点分别为rt、rt-1、rt-2、rt-3,则目标平均运动速率可表示为:
其中,(xt,yt)、(xt-1,yt-1)、(xt-2,yt-2)、(xt-3,yt-3)分别为四个节点的矩形框中心点坐标,T为帧间时间间隔。与其后一帧图像中目标ri进行匹配时,计算匹配运动速率,可表示为:
其中,(xi,yi)为ri的矩形框中心点坐标。运动速率特征亲和距离值可用公式分别表示为:
其中,γvel为归一化因数,表示方差值,为一常数。则目标ri和轨迹片段的亲和距离值可表示为:
其中,γ3、β3、α3、τ3、λ3分别为各特征亲和距离值系数,满足γ3+β3+α3+τ3+λ3=1。该亲和距离值越小,则说明轨迹片段与目标ri的关联度越大。
此处仍然使用双阈值方法来选择最佳关联结果。首先设立阈值θ1,在轨迹片段的后一帧图像中筛选出亲和度高的目标,再根据阈值θ2得到相似度高于其他任何关联方式的最佳关联结果,并将其与进行关联。用公式可表示为:
s.t.θ1>0,θ2>0
其中,R″为轨迹片段的后一帧图像中目标检测结果集合,rk为R″中除ri之外的任意目标。
同样的,本发明方法在轨迹片段的前一帧图像中进行相同的关联计算,得到其与前一帧图像中目标的最佳关联匹配结果。这样通过双向关联扩展,并将所得关联结果连接在一起,本发明方法在三级关联中得到三级轨迹片段集合T3。三级关联流程如图4所示。
本发明方法利用上述三级亲和距离计算方式,并结合双阈值条件,对所得轨迹片段继续进行双向关联扩展,并重复此过程,直到所有图像中的所有目标检测结果均被关联,或者所有轨迹片段两端均不能继续匹配到符合要求的检测结果。
最终,本发明方法完成了对视频图像中所有目标检测结果的关联处理,同时,生成了各个目标的完整运动轨迹。多目标轨迹生成过程如图5所示。
Claims (1)
1.一种图像序列目标关联及轨迹生成方法,其特征在于包含以下步骤:
步骤1),对图像序列中的目标进行检测,标出每一帧图像中的目标对象;
步骤2),设置用于过滤低亲和度组合的第一阈值,对于所有相邻图像,将其中一幅图像中的每一个目标与另一幅图像中的各个目标进行组合,得到所有的相邻目标组合后,计算各组合中两个目标中心点的坐标距离值,过滤掉相邻目标组合中距离值大于第一阈值的组合;
步骤3),对过滤后剩余的所有相邻目标组合进行初级关联:
对于每一个相邻目标组合,计算其中两个目标的位置亲和度、大小亲和度以及颜色亲和度,进而计算这两个目标的亲和距离,然后筛选出亲和距离小于预先设定的第二阈值的组合,并将该组合中的两个目标连接在一起,得到只有两个目标节点的初级轨迹碎片;
步骤4),对所得初级轨迹碎片集合以及未被关联的目标集合进行次级关联:
判断每一个初级轨迹碎片两端的相邻帧图像中是否存在未被关联的目标,若存在未被关联的目标,计算所述初级轨迹碎片的方向向量,以及所述初级轨迹碎片与所述目标进行匹配时的匹配向量后,计算所述初级轨迹碎片与所述目标的方向亲和度,进而计算出所述初级轨迹碎片和所述存在目标的亲和距离,然后筛选出亲和距离最近的目标,最后,将所得目标与所述初级轨迹碎片连接,得到较长的次级轨迹片段;
步骤5),对所得次级轨迹片段集合以及未被关联的目标集合进行三级关联:
判断每一个次级轨迹片段两端的相邻帧图像中是否存在未被关联的目标,若存在未被关联的目标,计算所述次级轨迹片段中目标的平均运动速率,以及所述次级轨迹片段与所述目标进行匹配时的匹配运动速率后,计算所述次级轨迹片段与所述目标的运动速率亲和度,进而计算出所述次级轨迹片段与所述目标的亲和距离,然后筛选出亲和距离最近的目标,最后,将所得目标与所述次级轨迹片段连接,得到更长的三级轨迹片段;
步骤6),对于所有三级轨迹片段,按照如下方法不断在其两端进行迭代关联,直到所有图像中的所有目标均被关联,或者所有轨迹片段两端均不能继续匹配到符合要求的目标:
判断轨迹片段两端的相邻帧图像中是否存在未被关联的目标,若存在未被关联的目标,计算所述轨迹片段中目标的平均运动速率,以及所述轨迹片段与所述目标进行匹配时的匹配运动速率后,计算所述轨迹片段与所述目标的运动速率亲和度,进而计算出所述轨迹片段与所述目标的亲和距离,然后筛选出亲和距离最近的目标,最后,将所得目标与所述轨迹片段连接,得到更长的轨迹片段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410110670.9A CN103914854B (zh) | 2014-03-24 | 2014-03-24 | 一种图像序列目标关联及轨迹生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410110670.9A CN103914854B (zh) | 2014-03-24 | 2014-03-24 | 一种图像序列目标关联及轨迹生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103914854A CN103914854A (zh) | 2014-07-09 |
CN103914854B true CN103914854B (zh) | 2016-08-17 |
Family
ID=51040509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410110670.9A Active CN103914854B (zh) | 2014-03-24 | 2014-03-24 | 一种图像序列目标关联及轨迹生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103914854B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156705B (zh) * | 2015-04-07 | 2020-08-25 | 中国科学院深圳先进技术研究院 | 一种行人异常行为检测方法及系统 |
CN104809720B (zh) * | 2015-04-08 | 2017-07-14 | 西北工业大学 | 基于小交叉视场的两相机目标关联方法 |
CN105469429B (zh) * | 2015-11-27 | 2018-06-01 | 北京航空航天大学 | 目标跟踪方法和装置 |
CN106980477B (zh) * | 2017-04-11 | 2018-01-02 | 华中科技大学 | 一种卫星序列图像中点目标实时检测与跟踪系统及方法 |
CN107016374A (zh) * | 2017-04-12 | 2017-08-04 | 电子科技大学 | 面向特定目标的智能检测追踪及时空轨迹的生成方法 |
WO2018205120A1 (zh) * | 2017-05-09 | 2018-11-15 | 深圳市速腾聚创科技有限公司 | 目标跟踪方法、智能设备及存储介质 |
CN108416776B (zh) * | 2018-03-16 | 2021-04-30 | 京东方科技集团股份有限公司 | 图像识别方法、图像识别装置、计算机产品和可读存储介质 |
CN110390292B (zh) * | 2018-10-26 | 2022-03-04 | 西安电子科技大学 | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 |
CN111524164B (zh) * | 2020-04-21 | 2023-10-13 | 北京爱笔科技有限公司 | 一种目标跟踪方法、装置及电子设备 |
CN112989997A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学技术大学 | 一种基于多信息融合的3d目标检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2149883A1 (en) * | 2008-08-01 | 2010-02-03 | Sony Corporation | Method and apparatus for generating an event log |
CN103281477A (zh) * | 2013-05-17 | 2013-09-04 | 天津大学 | 基于多级别特征数据关联的多目标视觉跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8611590B2 (en) * | 2008-12-23 | 2013-12-17 | Canon Kabushiki Kaisha | Video object fragmentation detection and management |
-
2014
- 2014-03-24 CN CN201410110670.9A patent/CN103914854B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2149883A1 (en) * | 2008-08-01 | 2010-02-03 | Sony Corporation | Method and apparatus for generating an event log |
CN103281477A (zh) * | 2013-05-17 | 2013-09-04 | 天津大学 | 基于多级别特征数据关联的多目标视觉跟踪方法 |
Non-Patent Citations (1)
Title |
---|
一种利用时空约束轨迹片段关联的目标跟踪方法;王江峰 等;《计算机应用研究》;20110315;第28卷(第3期);第1166-1175页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103914854A (zh) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103914854B (zh) | 一种图像序列目标关联及轨迹生成方法 | |
US11120270B2 (en) | Spatiotemporal action detection method | |
CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
Wen et al. | Detection, tracking, and counting meets drones in crowds: A benchmark | |
CN111460926B (zh) | 一种融合多目标跟踪线索的视频行人检测方法 | |
Yang et al. | Multi-target tracking by online learning of non-linear motion patterns and robust appearance models | |
CN103281477B (zh) | 基于多级别特征数据关联的多目标视觉跟踪方法 | |
WO2017129020A1 (zh) | 视频中人体行为识别的方法、装置和计算机存储介质 | |
CN109064484B (zh) | 基于子群组划分与动量特征融合的人群运动行为识别方法 | |
CN102222341B (zh) | 运动特征点检测方法及装置、运动目标检测方法及装置 | |
US9569531B2 (en) | System and method for multi-agent event detection and recognition | |
CN106097391A (zh) | 一种基于深度神经网络的识别辅助的多目标跟踪方法 | |
CN111680655A (zh) | 一种面向无人机航拍影像的视频目标检测方法 | |
CN104915655A (zh) | 一种多路监控视频的管理方法与设备 | |
CN102903122A (zh) | 基于特征光流与在线集成学习的视频目标跟踪方法 | |
CN105654516B (zh) | 基于目标显著性的卫星图像对地面弱小运动目标检测方法 | |
CN106326851B (zh) | 一种人头检测的方法 | |
CN107833239A (zh) | 一种基于加权模型约束的寻优匹配目标跟踪方法 | |
Han et al. | A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection | |
Kim et al. | Video object detection using object's motion context and spatio-temporal feature aggregation | |
Abdelmutalab et al. | Pedestrian detection using MB-CSP model and boosted identity aware non-maximum suppression | |
Wang et al. | Intelligent railway foreign object detection: A semi-supervised convolutional autoencoder based method | |
Khel et al. | Realtime Crowd Monitoring—Estimating Count, Speed and Direction of People Using Hybridized YOLOv4 | |
CN104200202A (zh) | 一种基于累加感知机的人体上半身检测方法 | |
Unno et al. | Vehicle motion tracking using symmetry of vehicle and background subtraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |