CN110349184A - 基于迭代滤波和观测判别的多行人跟踪方法 - Google Patents
基于迭代滤波和观测判别的多行人跟踪方法 Download PDFInfo
- Publication number
- CN110349184A CN110349184A CN201910489984.7A CN201910489984A CN110349184A CN 110349184 A CN110349184 A CN 110349184A CN 201910489984 A CN201910489984 A CN 201910489984A CN 110349184 A CN110349184 A CN 110349184A
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- track
- frame
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001914 filtration Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 136
- 230000000717 retained effect Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000002401 inhibitory effect Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 241001301648 Tradescantia ohiensis Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于迭代滤波和观测判别的多行人跟踪方法，对待检测视频图像进行3次迭代部件组合检测以降低漏检率；计算第3次迭代后保留的新增目标头部灰度直方图与第2次迭代后的头部图像块的平均灰度直方图间的直方图面积重叠率，滤除重叠率小于设定阈值的目标头部检测框，有效抑制误检测框对检测性能的影响，保留可靠的目标检测框，利于提高检测精确率；进一步提取互遮挡或不完整检测目标的局部可观测区域，获得多目标可观测区域的中心和尺度信息并建立成观测数据集；根据观测数据集及目标轨迹置信度实现跟踪。本发明可应用于人工智能，智能机器人和智能视频监控等领域。
Description
技术领域
本发明涉及一种基于迭代滤波和观测判别的多行人跟踪方法,属于计算机视觉领域,主要用于人工智能、智能机器人和智能视频监控中。
背景技术
多目标跟踪是计算机视觉和智能视频信息处理领域的研究热点之一，其在公共安全监控和管理、医学图像分析、行为理解、视觉导航等方面有着广泛的应用。目前国内外学者主要关注的问题集中在目标间相似特征干扰、外观模糊及遮挡等复杂场景下的跟踪鲁棒性、准确性提高上。
FelzenszwalbPF等在IEEE Transactions on Pattern Analysis and MachineIntelligence(2010,32(9):1627-1645)发表的文章“Object Detection withDiscriminatively Trained Part-Based Models”中首次提出可变形部件模型DPM(Deformable Parts Model)，该方法基于目标的方向梯度直方图(Histogram of OrientedGradients，HOG)特征、根滤波器和部件滤波器模板，逐步实现多目标检测任务，该方法是增强版的HOG。Idrees H等在IEEE Transactions on Pattern Analysis and MachineIntelligence(2015,37(10):1986-1988)发表的文章“Detecting Humans in DenseCrowds Using Locally-Consistent Scale Prior and Global Occlusion Reasoning”(LCSP-GOR)中将一个完整的人体模型拆分为头、头和肩膀、上半身和整个身体的形式，4次输入到DPM检测器，该方法是DPM的扩展，又称部件组合检测，并引入二进制整数规划、重叠和链条约束以优化多目标检测结果。上述两种方法在多目标拥挤场景下取得了很大成功。然而，在一些情况下，如：模糊背景伴随头部形状相似的目标干扰时，仍会出现检测失误增加误检率的问题。
Zhang L等在IEEE Transactions on Pattern Analysis and MachineIntelligence(2014，36(4):756-769)发表的文章“Preserving Structure in Model-FreeTracking”依靠手动给定多目标初始信息，完成多目标跟踪初始化，由于无法实现新出现目标的动态初始化，使得跟踪目标的数目受到局限。Yuan Y等在IEEE Transactions onIntelligent Transportation Systems(2017,18(12):3339-3349)发表的文章“Trackingas a whole:multi-target tracking by modeling group behavior with sequentialdetection”中，基于检测环节为后续多目标跟踪提供初始信息，但是由于采用的检测和跟踪算法具有强关联性，故跟踪初始化部分不具普适性。
近些年来，基于视频的多目标跟踪技术正在崛起，许多相关科研工作取得优异的阶段性成果。Berclaz J等在IEEE Transactions on Pattern Analysis and MachineIntelligence(2011,33(9):1806-1819)发表的文章“Multiple Object Tracking UsingK-Shortest Paths Optimization”中利用约束的流化问题替代多目标问题，通过目标出现的概率加权以及k最短路径法解决多目标跟踪问题。该方法运算量小，满足跟踪实时性要求，但是在多个目标遮挡分离后会出现目标身份错乱以及轨迹误判问题。Bae S H等在IEEEConference on Computer Vision and Pattern Recognition(2014:1218-1225)发表的文章“Robust Online Multi-object Tracking Based on Tracklet Confidence andOnline Discriminative Appearance Learning”(TC-ODAL)中提出基于主成分分析的增量线性判别外观算法，较好地解决了多目标跟踪过程中身份错乱的问题，提高了多目标跟踪性能，但是该算法在目标丢失又重新出现时，存在重新初始化新的身份标号问题。Bochinski E等在International Workshop on Traffic and Street Surveillance forSafety and Security at IEEE Avss(2017:1-6)发表的文章“High-Speed Tracking-by-Detection Without Using Image Information”中通过分析视频图像帧之间细微变化提出基于目标感兴趣区域的多目标跟踪算法，该算法运行速率可达每秒10万帧，但是在丢失检测情况下，会降低跟踪性能。
发明内容
本发明所要解决的技术问题是现有技术中多行人跟踪方法采用的部件组合检测算法经过3次迭代后，增加了误检率，制约着检测性能提升的缺陷，提供一种基于迭代滤波和观测判别的多行人跟踪方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于迭代滤波和观测判别的多行人跟踪方法，包括以下步骤：
步骤一、对待检测视频图像进行3次迭代部件组合检测，其中在第2次部件组合检测后，根据非极大值抑制算法滤除重复的头部检测区域，并定位和获取剩余目标的头部图像块，计算第2次迭代后的头部图像块的平均灰度直方图；
步骤二、在第3次部件组合检测后，再次利用非极大值抑制滤除重复的目标头部检测框，判别第3次与第2次迭代生成的目标头部矩形区域中心点间的欧式距离是否为零，若为零则剔除第2次生成的头部检测框，若不为零则保留新增目标头部检测框；计算第3次迭代后保留的新增目标头部灰度直方图与第2次迭代后的头部图像块的平均灰度直方图间的直方图面积重叠率，滤除重叠率小于设定阈值的目标头部检测框，获得剩余头部检测框及所在目标检测框；
步骤三、通过二进制整数规化、重叠约束和链条约束提取剩余头部检测框及所在目标检测框中互遮挡或不完整检测目标的局部可观测区域，获得目标可观测区域的中心和尺度信息；将各帧图像中检测的多目标区域信息建立成观测数据集；
步骤四、根据观测数据集获得目标轨迹，计算当前帧每个跟踪轨迹的置信度，依据上一帧置信度的计算结果判断目标对应关系实现跟踪。
在以上技术方案的基础上，本发明还要解决的技术问题是针对目标短暂丢失后再次出现时发生的重起始、标号改变从而影响多目标跟踪准确性的问题，
为解决上述技术问题，本发明在以上技术方案中进一步步骤四中根据观测数据集获得目标轨迹包括以下步骤：
步骤401：根据观测数据集获得目标初始轨迹，设置轨迹置信度初值；依据上一帧置信度值切换不同的轨迹关联方式，跟踪轨迹置信度大于等于轨迹置信等级阈值ε时判定为高置信度轨迹，高置信度轨迹采用局部关联；跟踪轨迹置信度小于判别轨迹置信等级的阈值ε时判定为低置信度轨迹片段，低置信度轨迹片段采用整体关联；
当目标被判定离开视场时，取消对应的身份标号；
利用置信度模型更新当前帧视场内多目标的跟踪轨迹置信度，根据观测集、连续帧的尺度数据获得多目标矩形区域的尺度信息，并利用卡尔曼滤波法预测目标的矩形区域中心位置信息；
步骤402：融合当前与历史观测信息判断是否存在未被关联的孤立检测区域，该区域对应目标为孤立检测目标；将该孤立检测目标与历史帧中的高置信度目标逐一进行分块HSV颜色直方图匹配，计算二者间分块HSV颜色直方图的总KL散度积，若散度积小于设定阈值，则该孤立检测目标为旧目标，否则为首次出现的新目标；初始化新目标跟踪轨迹。
本发明所达到的有益效果：
1.本发明采用3次迭代部件组合多目标检测以降低漏检率；计算平均灰度直方图与第3次迭代检测新增目标头部灰度直方图间的直方图面积重叠率，滤除重叠率小于设定阈值的目标头部图像，定位剩余目标检测矩形区域，有效抑制误检测框对检测性能的影响；求取平均灰度直方图以作为匹配模板，利于均衡不同目标的发色、肤色差异；计算第3次新增目标头部灰度直方图与平均灰度直方图间的面积重叠率，依据重叠率与设定阈值的比较结果，保留可靠的目标检测框，利于提高检测精确率；
2.在跟踪过程中，通过分块匹配，计算孤立检测目标与高置信度历史目标块HSV直方图间总的KL散度积，以区别该目标为首次出现的新目标或非首次出现的历史目标，解决在多目标跟踪过程中目标标号重起始的问题，提升跟踪性能；本发明设计一个孤立检测目标与历史帧中高置信度目标对应分块图像间的总KL散度积模型，并设置对应约束阈值，避免同一目标短暂丢失后初始化为新的身份标号，影响跟踪性能的提升。
附图说明
图1为本发明具体实施例的方法流程图；
图2：其中2a～2d分别为本发明实施例针对分辨率为640×480视频序列的第13帧、第23帧、第62帧和第153帧的多目标检测结果图；
图3：其中3a～3b分别为本发明实施例针对分辨率为640×480视频序列的第62帧中，蓝色上衣的孤立检测目标与历史模板目标1、9的第2分块HSV彩色直方图；
图4：其中4a～4b分别为本发明实施例针对分辨率为640×480视频序列的第62帧中，蓝色上衣的孤立检测目标与历史模板目标1、9的第2分块HSV彩色直方图的KL散度积曲线图；
图5：其中5a～5d分别为本发明实施例针对分辨率为640×480视频序列的第13帧、第23帧、第62帧和第153帧的多目标跟踪结果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本实施例提供一种基于迭代滤波和观测判别的多行人跟踪方法，包括以下步骤：
第一步，采用3次迭代部件组合检测以降低漏检率；在完成迭代检测后，通过非极大值抑制和迭代滤波，初步获得多目标检测结果。
第1次迭代：采用部件组合算法检测序列图像，设Ωi＝(xi,yi,wi,hi)为一组检测结果，目标i＝1,2,…,Q，xi、yi为目标i矩形区域的中心点坐标，wi、hi为目标i矩形区域的尺度；依据LCSP-GOR算法中的部件组合检测输出初步置信得分为confCoP(Ωi)，保留得分较高的目标及部件检测区域；由于目标的识别误差主要分布于头部检测的过程中，因此本实施例通过计算头部误差得分以衡量目标的检测误差：采用K-近邻算法挑选图像中距离目标i头部检测框最近的K个矩形框，并计算头部尺度异常目标的误差得分σ1、σ2，如公式(1)所示；
利用非极大值抑制算法滤除多余的目标头部检测框，据此定位目标的矩形区域；更新迭代检测置信度模型，如公式(2)所示；将生成的目标尺度信息作为随机变量置于马尔科夫随机场中，依据LCSP-GOR算法中的影响函数，利用求得的尺度、置信度更新目标i在图像位置(xi,yi)处的置信先验和尺度先验；
置信先验为该位置影响函数的最大值，尺度先验为最大值对应的尺度；
其中，Q为目标总数；σ1为距离误差得分、σ2为尺度误差得分；d(i,k)为目标i头部矩形框与最近的第k个头部矩形框的距离，k＝1,2,…,K；Si为目标i头部矩形框的尺度；s(i,k)为距目标i头部最近的第k个头部矩形框的尺度。
第2次迭代：依据LCSP-GOR算法利用第1次迭代检测获得的尺度和置信先验更新部件组合检测置信得分confCoP(Ωi)，保留得分较高的目标及部件检测区域；通过非极大值抑制算法滤除重复的头部检测框后，将剩余目标头部灰度直方图叠加并取平均，获得平均灰度直方图；利用公式(2)更新迭代检测置信度，并同第1次迭代所述方法求取该次迭代对应的尺度和置信先验。
第二步：第3次迭代：依据LCSP-GOR算法利用第2次迭代获得的尺度和置信先验更新部件组合检测置信得分confCoP(Ωi)，保留得分较高的目标及部件检测区域；再次通过非极大值抑制滤除重复的头部检测框，计算第3次与第2次迭代检测生成的目标头部矩形区域中心坐标之间的欧式距离D，剔除D＝0的头部检测框，即保留第3次迭代新增目标头部检测框(D≠0)，求取新增目标头部灰度直方图与平均灰度直方图间面积重叠率，记为ρ；阈值θ的取值范围为：θ∈[0.6，0.8]，本实施例中，设定阈值θ＝0.65，若ρ>θ时，则保留该目标头部检测框；若ρ≤θ时，则去除该目标头部检测框，如公式(3)所示；定位被保留的头部矩形区域对应的目标检测框；
其中，i为新增目标头部矩形区域的序号；Q1、Q2分别为第2和3次迭代生成目标头部的总序号。
第三步，引入LCSP-GOR检测算法中的二进制整数规划、重叠和链条约束获得互遮挡或不完整检测目标的局部可观测区域，输出检测目标i可观测矩形区域的中心和尺度信息，即当前帧t中行人i矩形区域的中心点坐标尺度循环序列图像，将最终的多目标区域检测信息存储至对应数组单元 和如公式(4)所示；生成多目标观测数据集Ut，如公式(5)所示；保存至跟踪算法文件目录下；输出序列检测结果，附图2所示部分检测结果证明所提迭代滤波算法能够有效地处理误检测问题。
其中，N为图像序列的总帧数。
第四步，运行跟踪算法:根据观测数据集获得目标轨迹，计算当前帧每个跟踪轨迹的置信度，依据上一帧置信度的计算结果判断目标对应关系实现跟踪。
在以上实施例的基础上，在另一个具体实施例中为了解决针对目标短暂丢失后再次出现时发生的重起始、标号改变从而影响目标跟踪准确性能的问题，根据观测数据集获得目标轨迹具体包括以下步骤：
步骤401：基于多目标观测信息建立初始多目标轨迹，如公式(6)和(7)所示：当且时，其中分别为相邻帧目标间的区域重叠率及尺度比，τ1、τ2分别为重叠率、尺度比的设定阈值；关联目标g和i，建立目标i的初始轨迹片段；若目标i轨迹片段长度为设定阈值L1，则该目标为稳定目标；初始化稳定多目标的轨迹并赋置信初值γ；设定ε为判别轨迹置信等级的阈值，上一帧高置信度(跟踪轨迹置信度≥ε)轨迹采用局部关联当前所有观测数据的方式，上一帧低置信度(跟踪轨迹置信度＜ε)轨迹片段采用整体关联当前未被局部关联的观测数据和上一帧中高置信度轨迹的方式；在关联过程中，既计算低置信度轨迹片段和当前未被局部关联的观测数据的关联得分，又计算低置信度轨迹片段和上一帧中高置信度轨迹的关联得分，因此称作整体关联。
基于TC-ODAL算法中的外观、尺度和运动相似度模型，在两种关联过程中，计算各目标和关联对象的相似度，获取对应轨迹关联得分，并利用匈牙利算法选取最佳关联对。
取消观测信息持续丢失超过设定阈值L2帧的目标身份标号，判定该目标消失；更新当前帧跟踪轨迹置信度c(Ti)，如公式(8)所示；若某目标轨迹被成功关联，则该目标尺度为对应观测尺度数据；若某目标轨迹未被成功关联，则该目标尺度为连续L1帧内对应尺度的均值；利用卡尔曼滤波对多目标中心位置信息进行预估；
其中，为第t-1帧检测目标i和第t帧检测目标g的矩形区域面积总和；为两者的重叠面积；为第t-1帧目标i矩形区域的高度；为第t帧目标g矩形区域的高度；Ti为目标i的轨迹或轨迹片段；L3为Ti的长度； 分别为轨迹开始和结束的时间戳；为检测器输出的目标矩形区域观测信息；ω为由于其他目标的遮挡或不可靠检测导致目标丢失的帧数(即不可靠的轨迹片段长度)；
在具体实施例中，τ1∈[0.3,0.5]，τ2∈[0.7,0.9]，L1∈[3,5]，γ∈[0.7,0.8]，ε∈[0.45,0.65]，L2∈[15,18]；在本实施例中，τ1＝0.35，τ2＝0.75，L1＝4，γ＝0.75，ε＝0.5，L2＝16。
β为系统的控制参数，其取值范围是β∈[1.2,1.4]，在本实施例中β＝1.3。
步骤402：，融合当前与历史观测信息判别孤立检测目标是否为新出现目标；选择历史目标轨迹开始时的图像(该时刻历史目标轨迹置信度较高)，沿着垂直方向平分为三等分，分别对各分块图像进行仿射变换并求得各目标的第b(b＝1,2,3)个分块HSV颜色直方图Gb，作为匹配模板，如附图3a及3b中天蓝色曲线所示，此时b＝2。同理，生成孤立检测目标的第b个分块HSV颜色直方图Hb，如附图3a及3b中品红色曲线所示；分别计算Gb相对于Hb的总KL散度积DKL(G||H)，如公式(9)所示，以反映两者的分布差异，附图4a及4b所示为历史模板目标1、9与蓝色上衣孤立检测目标第2分块HSV颜色直方图的KL散度积；阈值δ的取值范围为：δ∈[0.001,0.015]，本实施例中，设定阈值δ＝0.001，当DKL(G||H)＜δ，则该孤立检测目标非首次出现，关联历史目标的轨迹信息，赋予历史标号，以保证旧目标跟踪的一致性；反之，则为首次出现的新目标，须赋予新的身份标号，以给定新目标一个身份标记；建立新目标初始跟踪轨迹；
其中，b为分块图像的序号；c为HSV颜色直方图的箱格(bin)序号，c＝1…144；G(b,c)为历史模板目标的第b个分块颜色直方图的第c个bin，H(b,c)为孤立检测目标的第b个分块颜色直方图的第c个bin。直方图的bin的含义是：计算颜色直方图需要将颜色空间划分为若干小的颜色区间，即直方图的bin。
第五，开始下一帧的跟踪，直到最后一帧，输出跟踪结果，附图5所示部分跟踪结果证明复杂场景下所提多目标跟踪算法具有高的准确性和鲁棒性。
本发明采用3次迭代部件组合多目标检测以降低漏检率；计算平均灰度直方图与第3次迭代检测新增目标头部灰度直方图间的直方图面积重叠率，滤除小于设定阈值的目标头部图像，定位剩余目标检测矩形区域，有效抑制误检测框对检测性能的影响；在跟踪过程中，通过分块匹配，计算孤立检测目标与高置信度历史目标块HSV直方图间总的KL散度积，以区别该目标为首次出现的新目标或非首次出现的历史目标，解决在多目标跟踪过程中目标标号重起始的问题，提升跟踪性能。
首先，求取平均灰度直方图以作为匹配模板，均衡不同目标的发色、肤色差异；计算第3次新增目标头部灰度直方图与平均灰度直方图间的面积重叠率，依据重叠率与设定阈值的比较结果，保留可靠的目标检测框，利于提高检测精确率。
第二，融合当前与历史观测信息判断是否存在未被关联的孤立检测目标，设计一个孤立检测目标与历史帧中高置信度目标对应分块图像间的总的KL散度积模型，并设置对应约束阈值，避免同一目标短暂丢失后初始化为新的身份标号，影响和制约跟踪性能的提升。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，包括如下步骤：
步骤一、对待检测视频图像进行3次迭代部件组合检测，其中在第2次部件组合检测后，根据非极大值抑制算法滤除重复的头部检测区域，并定位和获取剩余目标的头部图像块，计算第2次迭代后的头部图像块的平均灰度直方图；
步骤二、在第3次部件组合检测后，再次利用非极大值抑制滤除重复的目标头部检测框，判别第3次与第2次迭代生成的目标头部矩形区域中心点间的欧式距离是否为零，若为零则剔除第2次生成的头部检测框，若不为零则保留新增目标头部检测框；计算第3次迭代后保留的新增目标头部灰度直方图与第2次迭代后的头部图像块的平均灰度直方图间的直方图面积重叠率，滤除重叠率小于设定阈值的目标头部检测框，获得剩余头部检测框及所在目标检测框；
步骤三、通过二进制整数规化、重叠约束和链条约束提取剩余头部检测框及所在目标检测框中互遮挡或不完整检测目标的局部可观测区域，获得目标可观测区域的中心和尺度信息；将各帧图像中检测的多目标区域信息建立成观测数据集；
步骤四、根据观测数据集获得目标轨迹，计算当前帧每个跟踪轨迹的置信度，依据上一帧置信度的计算结果判断目标对应关系实现跟踪。
2.根据权利要求1所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，步骤二具体为：
计算第3次迭代后保留的新增目标头部灰度直方图与第2次迭代后的头部图像块的平均灰度直方图间的直方图面积重叠率ρ，即二者重叠部分的面积与平均灰度直方图面积的比值；设面积重叠率阈值为θ，若ρ>θ时，则保留该目标头部检测框，该头部检测对应的目标检测区域作为最终检测；若ρ≤θ时，则去除该目标头部检测框，如式(3)所示；
其中，i为新增目标头部矩形区域的序号；Q1、Q2分别为第2和3次迭代生成目标头部的总序号，ρt表示当前帧t的直方图面积重叠率。
3.根据权利要求1所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，面积重叠率阈值θ的取值范围为θ∈[0.6,0.8]。
4.根据权利要求1所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，步骤三包括，获得目标可观测区域的中心和尺度信息，即当前帧t中行人i的矩形区域中心点坐标和尺度将最终的多目标区域检测信息存储至对应数组单元 和以建立多目标观测数据集Ut，如式(4)和(5)所示；
其中，N为图像序列的总帧数。
5.根据权利要求1所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，步骤四中根据观测数据集获得目标轨迹包括：
步骤401：根据观测数据集获得目标初始轨迹，设置轨迹置信度初值；依据上一帧置信度值切换不同的轨迹关联方式，跟踪轨迹置信度大于等于轨迹置信等级阈值ε时判定为高置信度轨迹，高置信度轨迹采用局部关联；跟踪轨迹置信度小于判别轨迹置信等级的阈值ε时判定为低置信度轨迹片段，低置信度轨迹片段采用整体关联；
当目标被判定离开视场时，取消对应的身份标号；
利用置信度模型更新当前帧视场内多目标的跟踪轨迹置信度，根据观测集、连续帧的尺度数据获得多目标矩形区域的尺度信息，并利用卡尔曼滤波法预测目标的矩形区域中心位置信息；
步骤402：融合当前与历史观测信息判断是否存在未被关联的孤立检测区域，该区域对应目标为孤立检测目标；将该孤立检测目标与历史帧中的高置信度目标逐一进行分块HSV颜色直方图匹配，计算二者间分块HSV颜色直方图的总KL散度积，若散度积小于设定阈值，则该孤立检测目标为旧目标，否则为首次出现的新目标；初始化新目标跟踪轨迹。
6.根据权利要求5所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，步骤401具体为：
以多目标观测数据建立初始多目标轨迹，如式(6)和(7)所示：
当且时，其中分别为相邻帧目标间的区域重叠率及尺度比，τ1、τ2分别为重叠率、尺度比的设定阈值；目标g和目标i关联成功，生成目标i的初始轨迹片段；若同时满足轨迹片段长度等于设定轨迹片段长度阈值L1，则目标i被判定为稳定出现；
建立目标i的初始轨迹，并设该目标初始轨迹置信度为γ；
依据上一帧轨迹置信度的值切换不同的轨迹关联方式实现跟踪：当轨迹被判定为高置信度轨迹时，轨迹采用局部关联当前所有观测数据的方式；当轨迹被判定为低置信度轨迹片段时，该轨迹片段采用整体关联当前未被局部关联的观测数据和上一帧中高置信度轨迹的方式；
通过计算多目标和关联对象间的外观、尺度和运动相似度模型，获取关联得分；
基于关联得分，利用匈牙利算法选取最佳关联对；若目标观测信息丢失超过设定阈值L2帧，则判定该目标离开视场并取消其身份标号；利用式(8)更新多目标跟踪轨迹置信度；被成功关联的目标尺度为观测集中对应的尺度数据，未被关联的目标尺度为连续L1帧内对应尺度的均值；利用卡尔曼滤波更新目标矩形区域中心位置信息；
其中，为第t-1帧检测目标i和第t帧检测目标g的矩形区域面积总和；为两者的重叠面积；为第t-1帧目标i矩形区域的高度；为第t帧目标g矩形区域的高度；Ti为目标i的轨迹或轨迹片段；L3为Ti的长度； 分别为轨迹开始和结束的时间戳；为检测器输出的目标矩形区域观测信息；ω为不可靠的轨迹片段长度；β为系统的控制参数。
7.根据权利要求6所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，参数的取值范围如下：重叠率阈值τ1∈[0.3,0.5]，尺度比阈值τ2∈[0.7,0.9]，轨迹片段长度阈值L1∈[3,5]，目标初始轨迹置信度γ∈[0.7,0.8]，轨迹置信等级阈值ε∈[0.45,0.65]，目标观测信息丢失阈值L2∈[15,18]。
8.根据权利要求6所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，系统的控制参数β的取值范围为：β∈[1.2,1.4]。
9.根据权利要求5所述的一种基于迭代滤波和观测判别的多行人跟踪方法，其特征在于，步骤402具体为：
融合当前和历史观测信息判断是否存在孤立检测目标，为判别该孤立检测目标是否为新出现目标，将该孤立检测目标区域沿垂直方向等分为固定数量矩形子块，计算各块的HSV颜色直方图，并与历史帧中高置信度目标的块HSV颜色直方图进行匹配；计算块HSV颜色直方图间总的KL散度积DKL(G||H)，如式(9)所示；设阈值为δ，若DKL(G||H)＜δ，则该孤立检测目标非首次出现，赋予其历史标号，以确保同一目标跟踪的一致性；若DKL(G||H)＞δ，则该目标为首次出现的新目标，赋予其新的身份标号，以给定新出现目标一个身份标记；根据步骤401建立新目标初始跟踪轨迹；
其中，δ∈[0.001,0.015]；H为孤立检测目标分块HSV颜色直方图；G为历史帧中高置信度目标分块HSV颜色直方图；b为分块图像的序号，b∈[3,5]；c为HSV颜色直方图的箱格序号，max(c)∈[120,150]；G(b,c)为历史模板目标的第b个分块颜色直方图的第c个bin，H(b,c)为孤立检测目标的第b个分块颜色直方图的第c个bin。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910489984.7A CN110349184B (zh) | 2019-06-06 | 2019-06-06 | 基于迭代滤波和观测判别的多行人跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910489984.7A CN110349184B (zh) | 2019-06-06 | 2019-06-06 | 基于迭代滤波和观测判别的多行人跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349184A true CN110349184A (zh) | 2019-10-18 |
| CN110349184B CN110349184B (zh) | 2022-08-09 |
Family
ID=68181541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910489984.7A Active CN110349184B (zh) | 2019-06-06 | 2019-06-06 | 基于迭代滤波和观测判别的多行人跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349184B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291717A (zh) * | 2020-02-28 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 基于图像的物体检测方法、装置、设备及可读存储介质 |
| CN112016440A (zh) * | 2020-08-26 | 2020-12-01 | 杭州云栖智慧视通科技有限公司 | 一种基于多目标跟踪的目标推送方法 |
| CN114120188A (zh) * | 2021-11-19 | 2022-03-01 | 武汉大学 | 一种基于联合全局和局部特征的多行人跟踪方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070003141A1 (en) * | 2005-06-30 | 2007-01-04 | Jens Rittscher | System and method for automatic person counting and detection of specific events |
| CN104091348A (zh) * | 2014-05-19 | 2014-10-08 | 南京工程学院 | 融合显著特征和分块模板的多目标跟踪方法 |
| CN104318263A (zh) * | 2014-09-24 | 2015-01-28 | 南京邮电大学 | 一种实时高精度人流计数方法 |
| CN105205819A (zh) * | 2015-09-18 | 2015-12-30 | 苏州派瑞雷尔智能科技有限公司 | 一种基于层次结构的公交车辆检测方法 |
| CN105678804A (zh) * | 2016-01-06 | 2016-06-15 | 北京理工大学 | 一种耦合目标检测与数据关联的实时在线多目标跟踪方法 |
| CN105894542A (zh) * | 2016-04-26 | 2016-08-24 | 深圳大学 | 一种在线目标跟踪方法及装置 |
| CN106600631A (zh) * | 2016-11-30 | 2017-04-26 | 郑州金惠计算机系统工程有限公司 | 基于多目标跟踪的客流统计方法 |
| CN107133970A (zh) * | 2017-03-30 | 2017-09-05 | 北京航空航天大学 | 基于运动信息的在线多目标跟踪方法及装置 |
| CN107194950A (zh) * | 2017-04-26 | 2017-09-22 | 天津大学 | 一种基于慢特征分析的多人跟踪方法 |
| CN108009466A (zh) * | 2016-10-28 | 2018-05-08 | 北京旷视科技有限公司 | 行人检测方法和装置 |
| CN108446707A (zh) * | 2018-03-06 | 2018-08-24 | 北方工业大学 | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 |
| CN108765468A (zh) * | 2018-05-30 | 2018-11-06 | 中国石油大学(华东) | 一种基于特征融合的目标跟踪方法和装置 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
| CN109558810A (zh) * | 2018-11-12 | 2019-04-02 | 北京工业大学 | 基于部位分割与融合目标人物识别方法 |
| CN109583293A (zh) * | 2018-10-12 | 2019-04-05 | 复旦大学 | 星载sar图像中的飞机目标检测与鉴别方法 |
| CN109636829A (zh) * | 2018-11-24 | 2019-04-16 | 华中科技大学 | 一种基于语义信息和场景信息的多目标跟踪方法 |
| CN109741398A (zh) * | 2018-12-28 | 2019-05-10 | 同方威视技术股份有限公司 | 图像识别方法、装置和计算机存储介质 |
-
2019
- 2019-06-06 CN CN201910489984.7A patent/CN110349184B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070003141A1 (en) * | 2005-06-30 | 2007-01-04 | Jens Rittscher | System and method for automatic person counting and detection of specific events |
| CN104091348A (zh) * | 2014-05-19 | 2014-10-08 | 南京工程学院 | 融合显著特征和分块模板的多目标跟踪方法 |
| CN104318263A (zh) * | 2014-09-24 | 2015-01-28 | 南京邮电大学 | 一种实时高精度人流计数方法 |
| CN105205819A (zh) * | 2015-09-18 | 2015-12-30 | 苏州派瑞雷尔智能科技有限公司 | 一种基于层次结构的公交车辆检测方法 |
| CN105678804A (zh) * | 2016-01-06 | 2016-06-15 | 北京理工大学 | 一种耦合目标检测与数据关联的实时在线多目标跟踪方法 |
| CN105894542A (zh) * | 2016-04-26 | 2016-08-24 | 深圳大学 | 一种在线目标跟踪方法及装置 |
| CN108009466A (zh) * | 2016-10-28 | 2018-05-08 | 北京旷视科技有限公司 | 行人检测方法和装置 |
| CN106600631A (zh) * | 2016-11-30 | 2017-04-26 | 郑州金惠计算机系统工程有限公司 | 基于多目标跟踪的客流统计方法 |
| CN107133970A (zh) * | 2017-03-30 | 2017-09-05 | 北京航空航天大学 | 基于运动信息的在线多目标跟踪方法及装置 |
| CN107194950A (zh) * | 2017-04-26 | 2017-09-22 | 天津大学 | 一种基于慢特征分析的多人跟踪方法 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
| CN108446707A (zh) * | 2018-03-06 | 2018-08-24 | 北方工业大学 | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 |
| CN108765468A (zh) * | 2018-05-30 | 2018-11-06 | 中国石油大学(华东) | 一种基于特征融合的目标跟踪方法和装置 |
| CN109583293A (zh) * | 2018-10-12 | 2019-04-05 | 复旦大学 | 星载sar图像中的飞机目标检测与鉴别方法 |
| CN109558810A (zh) * | 2018-11-12 | 2019-04-02 | 北京工业大学 | 基于部位分割与融合目标人物识别方法 |
| CN109636829A (zh) * | 2018-11-24 | 2019-04-16 | 华中科技大学 | 一种基于语义信息和场景信息的多目标跟踪方法 |
| CN109741398A (zh) * | 2018-12-28 | 2019-05-10 | 同方威视技术股份有限公司 | 图像识别方法、装置和计算机存储介质 |
Non-Patent Citations (9)
| Title |
|---|
| CHI XIAO 等: "Object Tracking Algorithm Based on HSV Color Histogram and Block-Sparse Representation", 《PROCEEDINGS OF THE 34TH CHINESE CONTROL CONFERENCE》 * |
| HAROON IDREES 等: "Detecting Humans in Dense Crowds Using Locally-Consistent Scale Prior and Global Occlusion Reasoning", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| JUNJIE YAN 等: "Adaptive Structural Model for Video Based Pedestrian Detection", 《ACCV 2014》 * |
| SEUNG-HWAN BAE 等: "Robust Online Multi-Object Tracking based on Tracklet Confidence and Online Discriminative Appearance Learning", 《CVPR 2014》 * |
| YUTO SHIMBO 等: "Parts Selective DPM for detection of pedestrians possessing an umbrella", 《2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
| 蔡英凤 等: "双行人可变形部件模型及其在行人检测中的应用", 《江苏大学学报（自然科学版）》 * |
| 许正 等: "基于轨迹关联的多目标跟踪", 《南京邮电大学学报（自然科学版）》 * |
| 郭烈 等: "基于人体典型部位特征组合的行人检测方法", 《汽车工程》 * |
| 陈健虞 等: "基于卡尔曼粒子滤波框架的鲁棒多人跟踪算法", 《计算机工程与设计》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291717A (zh) * | 2020-02-28 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 基于图像的物体检测方法、装置、设备及可读存储介质 |
| CN112016440A (zh) * | 2020-08-26 | 2020-12-01 | 杭州云栖智慧视通科技有限公司 | 一种基于多目标跟踪的目标推送方法 |
| CN112016440B (zh) * | 2020-08-26 | 2024-02-20 | 杭州云栖智慧视通科技有限公司 | 一种基于多目标跟踪的目标推送方法 |
| CN114120188A (zh) * | 2021-11-19 | 2022-03-01 | 武汉大学 | 一种基于联合全局和局部特征的多行人跟踪方法 |
| CN114120188B (zh) * | 2021-11-19 | 2024-04-05 | 武汉大学 | 一种基于联合全局和局部特征的多行人跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349184B (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114972418B (zh) | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 | |
| CN111784747B (zh) | 一种基于关键点检测和校正的车辆多目标跟踪系统及方法 | |
| CN107292252B (zh) | 一种自主学习的身份识别方法 | |
| CN107145862B (zh) | 一种基于霍夫森林的多特征匹配多目标跟踪方法 | |
| CN113674328A (zh) | 一种多目标车辆跟踪方法 | |
| CN109064484B (zh) | 基于子群组划分与动量特征融合的人群运动行为识别方法 | |
| CN106934817B (zh) | 基于多属性的多目标跟踪方法及装置 | |
| CN111369597B (zh) | 一种基于多特征融合的粒子滤波目标跟踪方法 | |
| CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN106709472A (zh) | 一种基于光流特征的视频目标检测与跟踪方法 | |
| CN110349184B (zh) | 基于迭代滤波和观测判别的多行人跟踪方法 | |
| CN105320917B (zh) | 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法 | |
| CN112052802B (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
| CN102542289A (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN113723190A (zh) | 一种面向同步移动目标的多目标跟踪方法 | |
| CN110555867B (zh) | 一种融合物体捕获识别技术的多目标物体跟踪方法 | |
| CN104992453A (zh) | 基于极限学习机的复杂背景下目标跟踪方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
| CN110349188B (zh) | 基于tsk模糊模型的多目标跟踪方法、装置及存储介质 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| Iraei et al. | Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram | |
| CN107103301B (zh) | 视频目标时空最大稳定性判别性颜色区域匹配方法和系统 | |
| CN109448024B (zh) | 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统 | |
| CN106446832B (zh) | 一种基于视频的实时检测行人的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |