CN102800106A - 基于光流场估计的自适应均值漂移目标跟踪方法 - Google Patents
基于光流场估计的自适应均值漂移目标跟踪方法 Download PDFInfo
- Publication number
- CN102800106A CN102800106A CN2012102195787A CN201210219578A CN102800106A CN 102800106 A CN102800106 A CN 102800106A CN 2012102195787 A CN2012102195787 A CN 2012102195787A CN 201210219578 A CN201210219578 A CN 201210219578A CN 102800106 A CN102800106 A CN 102800106A
- Authority
- CN
- China
- Prior art keywords
- target
- optical flow
- window
- shift
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及基于光流场估计的自适应Mean-Shift目标跟踪方法。针对Mean-Shift算法在目标跟踪中出现由于目标运动速度过快或尺度明显变化以及目标遮挡时导致跟踪失败的问题，该方法在基于传统均值漂移矢量法的同时，引入光流法，在目标上找寻特征点，通过特征点前后变化的信息，修正跟踪窗口中心位置和大小，再根据Bhattacharyya系数二分法分别自适应得到更为精确的窗口长宽。而针对目标被静止物体遮挡，通过色差分析观测目标被遮挡区域，利用Bhattacharyya系数重新捕捉目标。
Description
技术领域
本发明涉及一种目标跟踪算法，尤其涉及一种基于光流场估计的自适应Mean-Shift目标跟踪方法，属于图像处理领域。
背景技术
目标跟踪方法是图像处理领域中的重要研究方向之一，在公共安全、智能交通和目标定位等领域有着广泛应用。为此，国内外许多研究人员一直致力于该项目的研究。目标跟踪一般是基于对图像序列的处理，从复杂的背景中识别出目标，并对目标的运动规律加以预测，实现对目标的连续、准确的跟踪.
随着计算机技术和图像算法研究的快速发展，目标跟踪方法也得到了长足的进步，其中Mean-Shift算法由于其运行速度快，效果好得到了广泛的应用。Mean-Shift算法，是通过一个迭代的过程，算出当前点的偏移均值，然后将该点移动到偏移均值处作为新的起始点，往复循环，直到满足条件为止。但在目标跟踪中，由于传统Mean-Shift算法采用均值漂移和固定的窗体大小，因此在目标运动速度很快或尺度发生明显变化时，会造成目标的丢失，同时也不能处理目标全遮挡的情况。目前针对这一不足，提出的解决方法有卡尔曼滤波、粒子滤波和SSD(Sum of Squared Differences)算法等。但均在自适应跟踪上存在各自的缺点。
发明内容
本发明所要解决的技术问题是提供一种基于Mean-Shift算法的自适应目标跟踪方法，以提高目标跟踪的区域自适应性，提升对目标跟踪的准确性以及能解决目标被静止物体全遮挡情况下的目标跟踪方法.
本发明的解决方案是：利用光流法的特性测出运动方向和速度，对窗口位置和大小进行预判和调整，然后二分法自适应分别获得精确的长宽。再基于色差分析跟踪方法，解决目标被静止物体遮挡的情况.
本发明为实现上述解决方案，其方法步骤如下所示：
1. 利用光流法算出目标的移动速度和方向。首先在目标窗口内找取若干特征点，再利用光流约束方程 
，其中
表示亮度，
，
是图像的偏导数，
是图像随时间的导数，算出各个特征点的光流信息
，即运动方向和位移。
2. 利用步骤1算出的移动速度和方向，为下一帧目标跟踪提供预测位置和目标变化趋势。由于帧之间，目标的运动方向和速度改变不会过大，特征点在当前帧的位置
，上一帧位置，下一帧预测窗口中心
其中C是当前帧的窗口位置中心。再根据一般监控下，目标朝图像下方运动时，处于增大趋势，反之处于减小趋势的先验知识。预判目标大小变化趋势。
3. 在新预测后而得到的窗口内利用二分法自适应Mean-Shift算法得到漂移结果。首先建立基于RGB颜色的直方图分布，假设物体中心位于
，用
表示当前目标区域的色彩直方图，
表示预测区域的色彩直方图.
其中因为离中心距离越近的采样点对估计
周围的统计特性越有效，引入
核函数，h为带宽。
是克罗内科函数，即
。式中
为像素
处的颜色子空间索引值，
是所包含的颜色子空间索引值。即将各点的像素值归于各自对应的直方图区间内。C是归一化常量。最终物体跟踪简化为寻找最优的y，使得
和
最相似。可以用Bhattacharyya系数
来度量分布，即
得到新位置后，以新位置为基点进行Mean-Shift迭代，直至得到最优的目标位置。最后利用二分法Bhattacharyya系数分别获得精确的窗口长宽。
4. 利用色差分析处理被静止物体遮挡情况。当目标处于全遮挡或长时间遮挡时，首先在目标丢失处周围一定区域内建立一个监控区，再根据监控区内色差变化，如果色差变化超过一定阈值的点达到一定数量时，取色差变化区域的中心像素点为目标中心，再均值漂移，计算Bhattacharyya系数，如果相似度较高，表明目标已再次出现。
附图说明
图1光流效果图
图2是自适应窗口跟踪效果图
图3是监控区色差变化检测图。
具体实施方案
下面结合附图对方法的实施作进一步的详细描述：
1. 如图1所示，中间两幅图中的白色点即为通过光流法获取的前后两帧的特征点，由位置信息即可得到位移信息，最终光流图以白色线条在最下方图中标识出。大部分线条均正确的指出了目标运动方向。因此利用光流法能有效获得特征点的运动信息的特性，可以算出目标的移动速度和方向。首先在目标窗口内找取若干特征点，再利用光流约束方程
，其中
表示亮度，，是图像的偏导数，
是图像随时间的导数，算出各个特征点的光流信息
，即运动方向和位移。
2. 利用步骤1算出的移动速度和方向，为下一帧目标跟踪提供预测位置和目标变化趋势。由于帧之间，目标的运动方向和速度改变不会过大，特征点在当前帧的位置
，上一帧位置
，下一帧预测窗口中心
其中C是当前帧的窗口位置中心。再根据一般监控下，目标朝图像下方运动时，处于增大趋势，反之处于减小趋势的先验知识。预判目标大小变化趋势。
3. 在新预测后而得到的窗口内利用二分法自适应Mean-Shift算法得到漂移结果。首先建立基于RGB颜色的直方图分布，假设物体中心位于
，用
表示当前目标区域的色彩直方图，
表示预测区域的色彩直方图。
其中因为离中心距离越近的采样点对估计
周围的统计特性越有效，引入
核函数，h为带宽。
是克罗内科函数，即
。式中
为像素处的颜色子空间索引值，是所包含的颜色子空间索引值。即将各点的像素值归于各自对应的直方图区间内。C是归一化常量。最终物体跟踪简化为寻找最优的y，使得和最相似。可以用Bhattacharyya系数
来度量分布，即
得到新位置后，以新位置为基点进行Mean-Shift迭代，直至得到最优的目标位置。最后利用二分法Bhattacharyya系数分别获得精确的窗口长宽。效果如图2所示。
4. 利用色差分析处理被静止物体遮挡情况。当目标处于全遮挡或长时间遮挡时，首先在目标丢失处周围一定区域内建立一个监控区，再根据监控区内色差变化，如图3所示，分别代表了目标遮挡中，目标逐渐出现以及目标完全出现时的色差变化检测图。如果色差变化超过一定阈值的点达到一定数量时，取色差变化区域的中心像素点为目标中心，再均值漂移，计算Bhattacharyya系数，如果相似度较高，表明目标已再次出现。
Claims (5)
1.一种基于光流场估计的自适应Mean-Shift目标跟踪方法，其特征在于包括以下步骤：
1) 利用光流法算出目标的移动速度和方向；
2) 对下一帧目标跟踪提供预测位置和目标变化趋势；
3) 在新预测后而得到的窗口内利用二分法自适应Mean-Shift算法得到漂移结果；
利用色差分析处理被静止物体遮挡情况。
2.根据权利1所述的一种基于光流场估计的自适应Mean-Shift目标跟踪方法，其特征在于所述的利用光流法算出目标的移动速度和方向步骤：
1) 在目标窗口内找取若干特征点；
2) 利用光流约束方程 
，其中
表示亮度，，
是图像的偏导数，
是图像随时间的导数，算出各个特征点的光流信息
，即运动方向和位移。
3.根据权利1所述的一种基于光流场估计的自适应Mean-Shift目标跟踪方法，其特征在于所述的对下一帧目标跟踪提供预测位置和目标变化趋势步骤：
1) 将获取的移动速度和方向，为下一帧目标跟踪提供预测位置; 特征点在当前帧的位置
，上一帧位置
，下一帧预测窗口中心
其中C是当前帧的窗口位置中心；
2) 根据一般监控下，目标朝图像下方运动时，处于增大趋势，反之处于减小趋势的先验知识; 预判目标大小变化趋势。
4.根据权利1所述的一种基于光流场估计的自适应Mean-Shift目标跟踪方法，其特征在于所述的在新预测后而得到的窗口内利用二分法自适应Mean-Shift算法得到漂移结果步骤：
1) 建立基于RGB颜色的直方图分布；
2) 假设物体中心位于
，用
表示当前目标区域的色彩直方图，
表示预测区域的色彩直方图；
其中因为离中心距离越近的采样点对估计
周围的统计特性越有效，引入
核函数，h为带宽,是克罗内科函数，即
; 式中
为像素
处的颜色子空间索引值，
是所包含的颜色子空间索引值; 即将各点的像素值归于各自对应的直方图区间内. C是归一化常量；
3) 物体跟踪简化为寻找最优的y，使得
和
最相似; 用Bhattacharyya系数
来度量分布，即
4) 得到新位置后，以新位置为基点进行Mean-Shift迭代，直至得到最优的目标位置；
5) 最后利用二分法Bhattacharyya系数分别获得精确的窗口长宽。
5.根据权利1所述的一种基于光流场估计的自适应Mean-Shift目标跟踪方法，其特征在于所述的利用色差分析处理被静止物体遮挡情况步骤：
1) 在目标丢失处周围一定区域内建立一个监控区.
2) 根据监控区内色差变化，如果色差变化超过一定阈值的点达到一定数量时，取色差变化区域的中心像素点为目标中心.
3) 均值漂移，计算Bhattacharyya系数，如果相似度较高，表明目标已再次出现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012102195787A CN102800106A (zh) | 2012-06-29 | 2012-06-29 | 基于光流场估计的自适应均值漂移目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012102195787A CN102800106A (zh) | 2012-06-29 | 2012-06-29 | 基于光流场估计的自适应均值漂移目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102800106A true CN102800106A (zh) | 2012-11-28 |
Family
ID=47199203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012102195787A Pending CN102800106A (zh) | 2012-06-29 | 2012-06-29 | 基于光流场估计的自适应均值漂移目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102800106A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426184A (zh) * | 2013-08-01 | 2013-12-04 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
| CN103426185A (zh) * | 2013-08-09 | 2013-12-04 | 北京博思廷科技有限公司 | 一种在ptz跟踪过程中调整目标尺度的方法及装置 |
| CN103605637A (zh) * | 2013-11-28 | 2014-02-26 | 华中科技大学 | 一种空间分辨率自适应调整的粒子图像测速矢量估计方法 |
| CN105844641A (zh) * | 2016-03-24 | 2016-08-10 | 武汉工程大学 | 一种动态环境下的自适应阈值分割方法 |
| CN103745230B (zh) * | 2014-01-14 | 2017-05-10 | 四川大学 | 一种自适应群体异常行为分析方法 |
| CN106803265A (zh) * | 2017-01-06 | 2017-06-06 | 重庆邮电大学 | 基于光流法和卡尔曼滤波的多目标跟踪方法 |
| CN107578426A (zh) * | 2017-07-26 | 2018-01-12 | 浙江工业大学 | 一种面向严重退化视频的实时光流分析跟踪方法 |
| CN107944343A (zh) * | 2017-10-30 | 2018-04-20 | 北京陌上花科技有限公司 | 视频检测方法及装置 |
| CN108162858A (zh) * | 2016-12-07 | 2018-06-15 | 杭州海康威视数字技术股份有限公司 | 车载监控装置及其方法 |
| CN109636835A (zh) * | 2018-12-14 | 2019-04-16 | 中通服公众信息产业股份有限公司 | 基于模板光流的前景目标检测方法 |
| WO2020107524A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
| CN113888616A (zh) * | 2021-09-18 | 2022-01-04 | 西安交通大学 | 一种结构不规则运动高精度测量的窗口自适应光流算法 |
| WO2022052853A1 (zh) * | 2020-09-10 | 2022-03-17 | 华为技术有限公司 | 目标跟踪方法、装置、设备及计算机可读存储介质 |
| CN115994911A (zh) * | 2023-03-24 | 2023-04-21 | 山东上水环境科技集团有限公司 | 一种基于多模态视觉信息融合的游泳馆目标检测方法 |
| CN116188533A (zh) * | 2023-04-23 | 2023-05-30 | 深圳时识科技有限公司 | 特征点跟踪方法与装置、电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110142282A1 (en) * | 2009-12-14 | 2011-06-16 | Indian Institute Of Technology Bombay | Visual object tracking with scale and orientation adaptation |
| CN102270348A (zh) * | 2011-08-23 | 2011-12-07 | 中国科学院自动化研究所 | 基于视频流的对变形手势进行跟踪的方法 |
-
2012
- 2012-06-29 CN CN2012102195787A patent/CN102800106A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110142282A1 (en) * | 2009-12-14 | 2011-06-16 | Indian Institute Of Technology Bombay | Visual object tracking with scale and orientation adaptation |
| CN102270348A (zh) * | 2011-08-23 | 2011-12-07 | 中国科学院自动化研究所 | 基于视频流的对变形手势进行跟踪的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李剑锋 等: "基于光流场估计的自适应Mean-Shift算法及其目标跟踪应用", 《中国科技论文在线》 * |
| 白向峰 等: "窗宽自适应Mean-Shift跟踪算法", 《计算机应用》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9536147B2 (en) | 2013-08-01 | 2017-01-03 | Huawei Technologies Co., Ltd. | Optical flow tracking method and apparatus |
| CN103426184A (zh) * | 2013-08-01 | 2013-12-04 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
| CN103426184B (zh) * | 2013-08-01 | 2016-08-10 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
| CN103426185A (zh) * | 2013-08-09 | 2013-12-04 | 北京博思廷科技有限公司 | 一种在ptz跟踪过程中调整目标尺度的方法及装置 |
| CN103605637B (zh) * | 2013-11-28 | 2017-02-08 | 华中科技大学 | 一种空间分辨率自适应调整的粒子图像测速矢量估计方法 |
| CN103605637A (zh) * | 2013-11-28 | 2014-02-26 | 华中科技大学 | 一种空间分辨率自适应调整的粒子图像测速矢量估计方法 |
| CN103745230B (zh) * | 2014-01-14 | 2017-05-10 | 四川大学 | 一种自适应群体异常行为分析方法 |
| CN105844641A (zh) * | 2016-03-24 | 2016-08-10 | 武汉工程大学 | 一种动态环境下的自适应阈值分割方法 |
| CN105844641B (zh) * | 2016-03-24 | 2019-05-28 | 武汉工程大学 | 一种动态环境下的自适应阈值分割方法 |
| CN108162858A (zh) * | 2016-12-07 | 2018-06-15 | 杭州海康威视数字技术股份有限公司 | 车载监控装置及其方法 |
| CN106803265A (zh) * | 2017-01-06 | 2017-06-06 | 重庆邮电大学 | 基于光流法和卡尔曼滤波的多目标跟踪方法 |
| CN107578426A (zh) * | 2017-07-26 | 2018-01-12 | 浙江工业大学 | 一种面向严重退化视频的实时光流分析跟踪方法 |
| CN107944343B (zh) * | 2017-10-30 | 2020-04-14 | 北京陌上花科技有限公司 | 视频检测方法及装置 |
| CN107944343A (zh) * | 2017-10-30 | 2018-04-20 | 北京陌上花科技有限公司 | 视频检测方法及装置 |
| EP3889897A4 (en) * | 2018-11-27 | 2022-08-24 | CelePixel Technology Co. Ltd | TARGET TRACKING METHOD AND COMPUTER DEVICE |
| WO2020107524A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
| US11657516B2 (en) | 2018-11-27 | 2023-05-23 | Omnivision Sensor Solution (Shanghai) Co., Ltd | Target tracking method and computing device |
| CN109636835A (zh) * | 2018-12-14 | 2019-04-16 | 中通服公众信息产业股份有限公司 | 基于模板光流的前景目标检测方法 |
| WO2022052853A1 (zh) * | 2020-09-10 | 2022-03-17 | 华为技术有限公司 | 目标跟踪方法、装置、设备及计算机可读存储介质 |
| CN113888616A (zh) * | 2021-09-18 | 2022-01-04 | 西安交通大学 | 一种结构不规则运动高精度测量的窗口自适应光流算法 |
| CN113888616B (zh) * | 2021-09-18 | 2024-04-05 | 西安交通大学 | 一种结构不规则运动高精度测量的窗口自适应光流算法 |
| CN115994911A (zh) * | 2023-03-24 | 2023-04-21 | 山东上水环境科技集团有限公司 | 一种基于多模态视觉信息融合的游泳馆目标检测方法 |
| CN116188533A (zh) * | 2023-04-23 | 2023-05-30 | 深圳时识科技有限公司 | 特征点跟踪方法与装置、电子设备 |
| CN116188533B (zh) * | 2023-04-23 | 2023-08-08 | 深圳时识科技有限公司 | 特征点跟踪方法与装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102800106A (zh) | 基于光流场估计的自适应均值漂移目标跟踪方法 | |
| Pang et al. | Mask-guided attention network for occluded pedestrian detection | |
| CN110517288B (zh) | 基于全景多路4k视频图像的实时目标检测跟踪方法 | |
| Sina et al. | Vehicle counting and speed measurement using headlight detection | |
| CN102298781B (zh) | 基于颜色和梯度特征的运动阴影检测方法 | |
| CN103279791B (zh) | 基于多特征的行人计算方法 | |
| CN104318263A (zh) | 一种实时高精度人流计数方法 | |
| CN103871079A (zh) | 基于机器学习和光流的车辆跟踪方法 | |
| CN101794385A (zh) | 用于视频序列的多角度多目标快速人脸跟踪方法 | |
| CN103530874A (zh) | 基于Kinect的人流计数方法 | |
| CN104318211A (zh) | 一种抗遮挡人脸跟踪方法 | |
| Chen et al. | [Retracted] Research on the Detection and Tracking Algorithm of Moving Object in Image Based on Computer Vision Technology | |
| CN103136537A (zh) | 一种基于支持向量机的车型识别方法 | |
| Yoshinaga et al. | Background model based on intensity change similarity among pixels | |
| CN104537695A (zh) | 一种抗阴影和遮挡的多运动目标检测和跟踪方法 | |
| CN110688969A (zh) | 视频帧人体行为识别方法 | |
| CN103456012A (zh) | 基于最大稳定曲率区域的视觉人手检测跟踪方法及系统 | |
| Luo et al. | SiamFF: Visual tracking with a Siamese network combining information fusion with rectangular window filtering | |
| CN104463910A (zh) | 基于运动矢量的高速运动目标提取方法 | |
| Tian et al. | Object Tracking Algorithm based on Improved Siamese Convolutional Networks Combined with Deep Contour Extraction and Object Detection Under Airborne Platform. | |
| Yang et al. | Small Maritime Target Detection Using Gradient Vector Field Characterization of Infrared Image | |
| Zhang et al. | Visual pedestrian tracking from a UAV platform | |
| Fei et al. | Improved KCF algorithm and its application to target lost prediction | |
| Kuplyakov et al. | Further improvement on an MCMC-based video tracking algorithm | |
| CN104700429A (zh) | 一种机载显示器的运动检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121128 |