CN114511803A - 一种面向视觉跟踪任务的目标遮挡检测方法 - Google Patents

一种面向视觉跟踪任务的目标遮挡检测方法 Download PDF

Info

Publication number
CN114511803A
CN114511803A CN202210005648.2A CN202210005648A CN114511803A CN 114511803 A CN114511803 A CN 114511803A CN 202210005648 A CN202210005648 A CN 202210005648A CN 114511803 A CN114511803 A CN 114511803A
Authority
CN
China
Prior art keywords
target
depth
occlusion
cluster
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210005648.2A
Other languages
English (en)
Inventor
胡珂立
赵利平
马思伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoxing Beida Information Technology Innovation Center
Original Assignee
Shaoxing Beida Information Technology Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoxing Beida Information Technology Innovation Center filed Critical Shaoxing Beida Information Technology Innovation Center
Priority to CN202210005648.2A priority Critical patent/CN114511803A/zh
Publication of CN114511803A publication Critical patent/CN114511803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向视觉跟踪任务的目标遮挡检测方法，通过目标响应图峰瓣比、区域极大响应高值数、目标和可能遮挡物深度信息估计、区域获取、可能遮挡物同目标位置区域比构建更为鲁棒的视觉目标跟踪过程中的目标遮挡综合决策策略。本发明充分考虑了单一特征决策方式的不稳定问题，融合多类特征参数进行层级决策，提升了遮挡检测综合性能，使得算法能及时感知目标状态，进而提升跟踪算法的抗遮挡性能。

Description

一种面向视觉跟踪任务的目标遮挡检测方法
技术领域
本发明属于计算机视觉领域，特别是一种面向视觉跟踪任务的目标遮挡检测方法。
背景技术
基于模板匹配的跟踪算法主要通过构建能够表征目标视觉特征的特征模板，基于运动目标在视频相邻帧中偏移量不大的假设，在视频新帧中从上一帧位置开始计算偏移量逐步递归至目标位置，或者从该位置开始计算其附近各像素点位置的目标响应，以最大响应处作为目标位置。基于相关滤波的高效性和鲁棒性，以及深度学习算法强大的视觉特征提取能力，基于相关滤波框架和深度学习框架的跟踪算法成为近些年的主流算法框架。
为了适应被跟踪目标在时间序列上的变化，目标跟踪算法须在跟踪过程中持续学习并更新目标特征信息，若未及时侦测到遮挡现象，对目标特征的持续学习会直接弱化跟踪算子性能，易造成跟踪漂移，甚至失败。因此，及时发现目标是否处于遮挡状态至关重要。现有遮挡检测算法或针对特定类别目标进行目标检测，在目标检测失败时认为遮挡发生，该类方法局限性大，仅能完成对特定类型目标的遮挡检测；另有算法通过简单的颜色空间响应阈值进行判定，稳定性不高。
发明内容
本发明要解决的是现有遮挡检测算法类型特定或稳定性不高的问题。
本发明所采用的技术方案是：一种面向视觉跟踪任务的目标遮挡检测方法，包括以下步骤：
S1，输入视频数据；
S2，确定兴趣目标，依跟踪算法得出目标响应图，获取兴趣目标在视频帧的位置信息；
S3，根据目标响应图得出峰瓣比，若峰瓣比大于预设值A，判定无遮挡，返回S2；否则，根据目标响应图得出区域极大响应高值数，若区域极大响应高值数大于预设值B，执行S4，否则,判定无遮挡，返回S2；
S4，根据S2中的位置信息得出深度直方图，根据深度直方图中的深度信息进行聚类，根据各聚类像素点总数选取目标聚类，若在目标聚类之前没有聚类或目标聚类之前的聚类像素点总数小于预设值C，判定无可能遮挡物且无遮挡，返回S2；否则，判定存在可能遮挡物，根据目标聚类和目标聚类之前的聚类的深度信息得出目标深度信息和可能遮挡物深度信息，进行可能遮挡物区域提取，若可能遮挡物区域同目标区域的比值大于预设值D且可能遮挡物区域与目标区域的距离小于τ，判定遮挡发生，执行S5，否则判定无遮挡，返回S2；
S5：执行遮挡情况下的跟踪策略。
优选的，所述S3中，峰瓣比的计算公式为：
Figure BDA0003456596160000021
其中fmax为目标响应图中的最大值，S为目标响应图中除最大响应fmax所在位置小邻域范围外的所有响应值集合，
Figure BDA0003456596160000022
为集合S的均值，σS为集合S的标准差。
优选的，所述S3中，区域极大响应高值数为目标响应图中区域极大响应值集合中响应值高于阈值E的区域极大值数量。
优选的，所述S4中，聚类的方法如下：提取深度直方图中的区域极大值，以各区域极大值为中心，依目标位置区域深度直方图，以深度信息为基准进行K均值聚类，其中K为深度直方图中区域极大值总数。
优选的，所述S4中，目标聚类的选取方法为：将首个像素点总数为目标区域内像素点总数一半以上的聚类作为目标聚类。
优选的，所述S4中，
目标深度信息的计算方法为：以目标聚类的深度均值作为目标深度信息；
可能遮挡物深度信息的计算方法为：将目标聚类之前的聚类的深度均值作为可能遮挡物深度信息。
优选的，所述S4中，可能遮挡物区域的提取方法为：
设任一聚类的深度均值为μd，标准差为σd，在目标区域内随机选取Q个深度值在μd-σd到μd+σd之间的像素点作为区域生长起始种子点；以各种子点为起始点，执行区域生长图像分割算法直至生长结束，将各种子点生长得到的区域合并作为可能遮挡物区域。
优选的，所述S1中的视频数据包含深度图像，S4中，可能遮挡物区域同目标位置区域比的计算公式如下：
Figure BDA0003456596160000031
其中函数A用于统计相应集合内的像素点总数，τ为距离阈值；
D(O,Oc)＝min(||xo-xoc||2|xo∈O,xoc∈Oc)
其中，设深度图像中目标区域内像素点集合为O，Oc为任一可能遮挡物区域内像素点集合，则D(O,Oc)为集合O和Oc之间的距离D(O,Oc)，||.||2为L2范数，xo和xoc均为图像坐标，xo属于目标区域，xoc属于可能遮挡物区域。
本发明同现有的技术相比具有以下优点和效果：
本发明计算复杂度低，支持并行计算，能够有效完成面向视觉跟踪任务的遮挡检测，使得算法能及时感知目标状态，遇遮挡时采取停止模型更新等策略提升目标跟踪算法的抗遮挡性能。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，下面将结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1所示，一种面向视觉跟踪任务的目标遮挡检测方法，包括以下步骤：
步骤一：连接可同时获取颜色信息和深度信息的设备，该设备可以是Kinect或多目摄像头，将采集到的数据实时传输至计算机终端。
步骤二：选取跟踪算法，确定兴趣目标并针对兴趣目标完成算法初始化。
步骤三：读取视频新帧，依跟踪算法计算目标响应图，获取目标在当前帧的位置信息。
步骤四：
(4.1)计算峰瓣比
(4.1.1)峰瓣比按以下方式计算：
Figure BDA0003456596160000041
其中fmax为目标响应图中的最大值，S为目标响应图中除最大响应fmax所在位置小邻域范围外的所有响应值集合，
Figure BDA0003456596160000042
为集合S的均值，σS为集合S的标准差。本实施例中小邻域设定为距离最大响应值所对应图像坐标在12像素距离范围内像素点，此处距离为欧式距离。
(4.2)进行颜色空间遮挡判定。
若峰瓣比大于预设值A，判定无遮挡，返回步骤三，优选的，本实施例中预设值A为10；
否则，执行以下步骤：
计算区域极大响应高值数，假定Mf为目标响应图中区域极大响应值集合，区域极大响应高值数即为集合Mf中响应值高于预设阈值的区域极大值数量，本实施例中该阈值为0.1fmax。若区域极大响应高值数大于预设值B，执行步骤五，优选的，本实施例中预设值B为1；否则判定无遮挡，返回步骤三。
步骤五：
(5.1)依据当前帧目标位置信息，计算目标位置区域内的深度直方图，深度直方图主要统计落在各距离区间内的像素点数量，本实施例中深度直方图分辨率(单个bin宽度)设为10mm。
(5.2)提取深度直方图中的区域极大值，以各区域极大值为中心，依目标位置区域深度直方图，以深度信息为基准进行K均值聚类，其中K为深度直方图中区域极大值总数。
(5.3)以各聚类内所有像素点深度均值为依据，由近及远分析各聚类信息，主要分析各聚类像素点总数，将首个像素点总数为跟踪算法估计的目标位置区域内像素点总数一半以上的聚类作为目标聚类。
(5.4)判定遮挡情况
若在目标聚类之前没有聚类或目标聚类之前的聚类像素点总数小于目标区域内像素点总数预设值C的情况下，判定无可能遮挡物且无遮挡，返回步骤三，优选的，本实施例中的预设值C为10％；
否则，判定存在可能遮挡物，按以下步骤执行：
(5.4.1)以目标聚类的深度均值作为目标深度信息，将上述目标聚类之前的深度均值作为可能遮挡物深度信息。以目标、可能遮挡物深度信息为基础，按如下步骤得出其在深度图像中相应区域：
(a)计算各聚类深度信息标准差，假定某聚类深度均值为μd，标准差为σd，在目标区域内随机选取Q个深度值在μd-σd到μd+σd之间的像素点作为区域生长起始种子点，优选的，本实施例Q设为6。
(b)以各种子点为起始点，执行区域生长图像分割算法直至生长结束，将各种子点生长得到的区域合并作为可能遮挡物区域。优选的，本实施例中区域生长按区域内所有像素点的9邻域进行生长判定，每次判定一个像素点，像素点纳入区域准则为：像素点深度值和区域内所有像素点深度均值的差值小于一阈值。本实施例中该差值阈值设定为20mm。
(5.4.2)假定深度图像中目标区域内像素点集合为O，Oc为某一可能遮挡物区域内像素点集合，则集合O和Oc之间的距离为
D(O,Oc)＝min(||xo-xoc||2|xo∈O,xoc∈Oc)
其中||.||2为L2范数，xo和xoc均为图像坐标，分别属于目标区域和可能遮挡物区域。
(5.4.3)按下式计算可能遮挡物区域同目标位置区域比为：
Figure BDA0003456596160000061
其中函数A(.)用于统计相应集合内的像素点总数；
若R大于预设值D且可能遮挡物区域与目标区域的距离小于τ，则判定遮挡发生，执行步骤六，优选的，本实施例中，预设值D为0.2，τ为50；否则返回步骤三。
步骤六：
执行现有算法中出现遮挡情况下的跟踪策略。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种面向视觉跟踪任务的目标遮挡检测方法，其特征在于，包括以下步骤：
S1，输入视频数据；
S2，确定兴趣目标，依跟踪算法得出目标响应图，获取兴趣目标在视频帧的位置信息；
S3，根据目标响应图得出峰瓣比，若峰瓣比大于预设值A，判定无遮挡，返回S2；否则，根据目标响应图得出区域极大响应高值数，若区域极大响应高值数大于预设值B，执行S4，否则,判定无遮挡，返回S2；
S4，根据S2中的位置信息得出深度直方图，根据深度直方图中的深度信息进行聚类，根据各聚类像素点总数选取目标聚类，若在目标聚类之前没有聚类或目标聚类之前的聚类像素点总数小于预设值C，判定无可能遮挡物且无遮挡，返回S2；否则，判定存在可能遮挡物，根据目标聚类和目标聚类之前的聚类的深度信息得出目标深度信息和可能遮挡物深度信息，进行可能遮挡物区域提取，若可能遮挡物区域同目标区域的比值大于预设值D且可能遮挡物区域与目标区域的距离小于τ，判定遮挡发生，执行S5，否则判定无遮挡，返回S2；
S5：执行遮挡情况下的跟踪策略。
2.根据权利要求1所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S3中，峰瓣比的计算公式为：
Figure FDA0003456596150000011
其中fmax为目标响应图中的最大值，S为目标响应图中除最大响应fmax所在位置小邻域范围外的所有响应值集合，
Figure FDA0003456596150000012
为集合S的均值，σS为集合S的标准差。
3.根据权利要求1所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S3中，区域极大响应高值数为目标响应图中区域极大响应值集合中响应值高于阈值E的区域极大值数量。
4.根据权利要求1所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S4中，聚类的方法如下：提取深度直方图中的区域极大值，以各区域极大值为中心，依目标位置区域深度直方图，以深度信息为基准进行K均值聚类，其中K为深度直方图中区域极大值总数。
5.根据权利要求1所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S4中，目标聚类的选取方法为：将首个像素点总数为目标区域内像素点总数一半以上的聚类作为目标聚类。
6.根据权利要求4所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S4中，
目标深度信息的计算方法为：以目标聚类的深度均值作为目标深度信息；
可能遮挡物深度信息的计算方法为：将目标聚类之前的聚类的深度均值作为可能遮挡物深度信息。
7.根据权利要求6所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S4中，可能遮挡物区域的提取方法为：
设任一聚类的深度均值为μd，标准差为σd，在目标区域内随机选取Q个深度值在μd-σd到μd+σd之间的像素点作为区域生长起始种子点；以各种子点为起始点，执行区域生长图像分割算法直至生长结束，将各种子点生长得到的区域合并作为可能遮挡物区域。
8.根据权利要求7所述的面向视觉跟踪任务的目标遮挡检测方法，其特征在于，所述S1中的视频数据包含深度图像，S4中，可能遮挡物区域同目标位置区域比的计算公式如下：
Figure FDA0003456596150000021
其中函数A用于统计相应集合内的像素点总数，τ为距离阈值；
D(O,Oc)＝min(||xo-xoc||2|xo∈O,xoc∈Oc)
其中，设深度图像中目标区域内像素点集合为O，Oc为任一可能遮挡物区域内像素点集合，则D(O,Oc)为集合O和Oc之间的距离D(O,Oc)，||·||2为L2范数，xo和xoc均为图像坐标，xo属于目标区域，xoc属于可能遮挡物区域。
CN202210005648.2A 2022-01-05 2022-01-05 一种面向视觉跟踪任务的目标遮挡检测方法 Pending CN114511803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210005648.2A CN114511803A (zh) 2022-01-05 2022-01-05 一种面向视觉跟踪任务的目标遮挡检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210005648.2A CN114511803A (zh) 2022-01-05 2022-01-05 一种面向视觉跟踪任务的目标遮挡检测方法

Publications (1)

Publication Number Publication Date
CN114511803A true CN114511803A (zh) 2022-05-17

Family

ID=81549302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210005648.2A Pending CN114511803A (zh) 2022-01-05 2022-01-05 一种面向视觉跟踪任务的目标遮挡检测方法

Country Status (1)

Country Link
CN (1) CN114511803A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011288A (zh) * 2023-09-27 2023-11-07 勤源(江苏)科技有限公司 视频质量诊断方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011288A (zh) * 2023-09-27 2023-11-07 勤源(江苏)科技有限公司 视频质量诊断方法及系统
CN117011288B (zh) * 2023-09-27 2024-02-20 勤源(江苏)科技有限公司 视频质量诊断方法及系统

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
US11403839B2 (en) Commodity detection terminal, commodity detection method, system, computer device, and computer readable medium
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
KR101087592B1 (ko) Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
CN110610150B (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN110531618B (zh) 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN114511803A (zh) 一种面向视觉跟踪任务的目标遮挡检测方法
CN104715476A (zh) 一种基于直方图幂函数拟合的显著目标检测方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN113205494A (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
CN105590086A (zh) 一种基于视觉标签识别的物品防盗检测方法
CN110349184B (zh) 基于迭代滤波和观测判别的多行人跟踪方法
CN109118493B (zh) 一种深度图像中的显著区域检测方法
Yang et al. Contrast limited adaptive histogram equalization for an advanced stereo visual slam system
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
CN106447685B (zh) 一种红外跟踪方法
CN112348853B (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法
Stentoumis et al. Implementing an adaptive approach for dense stereo-matching
CN112560740A (zh) 一种基于PCA-Kmeans的可见光遥感影像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination