CN109064490B - 一种基于MeanShift的运动目标跟踪方法 - Google Patents

一种基于MeanShift的运动目标跟踪方法 Download PDF

Info

Publication number
CN109064490B
CN109064490B CN201810800979.9A CN201810800979A CN109064490B CN 109064490 B CN109064490 B CN 109064490B CN 201810800979 A CN201810800979 A CN 201810800979A CN 109064490 B CN109064490 B CN 109064490B
Authority
CN
China
Prior art keywords
target
pixel
tracking
color
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810800979.9A
Other languages
English (en)
Other versions
CN109064490A (zh
Inventor
陈超
潘九宝
王玮
赫春晓
石善球
孙长奎
沈泉飞
丁婷
黄明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PROVINCIAL GEOMATICS CENTRE OF JIANGSU
Original Assignee
PROVINCIAL GEOMATICS CENTRE OF JIANGSU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PROVINCIAL GEOMATICS CENTRE OF JIANGSU filed Critical PROVINCIAL GEOMATICS CENTRE OF JIANGSU
Publication of CN109064490A publication Critical patent/CN109064490A/zh
Application granted granted Critical
Publication of CN109064490B publication Critical patent/CN109064490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于MeanShift的运动目标跟踪方法，将视频帧从RGB空间转入CN空间，在CN空间内结合了目标的颜色信息与目标区域颜色分布的空间信息，并加入了通过无符号距离函数表示的形状轮廓信息，通过结合高斯混合模型计算跟踪目标区域内每个颜色的质心位置来确定候选目标中心的位置，完成MeanShift跟踪。本发明的方法改善了传统MeanShift算法中丢失像素点空间信息的不足，提高了算法的跟踪效率。

Description

一种基于MeanShift的运动目标跟踪方法
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于MeanShift的运动目标跟踪方法。
背景技术
目标跟踪是计算机视觉和图像处理领域的重要研究方向之一，在许多领域有着广泛应用。Comaniciu等人将MeanShift引入到目标跟踪算法中，MeanShift算法原理简单，易于实现，实时性好，有较好的跟踪性能。但是经典MeanShift算法只使用了目标颜色直方图，并不包含目标的空间位置、纹理特征等其它信息。因此当目标被遮挡、或目标和背景颜色相似时，容易跟踪失败。
发明内容
本发明的目的在于提供一种改进的基于MeanShift的运动目标跟踪方法，当跟踪目标与背景颜色相似时，依旧能够很好的跟踪目标。
为实现上述技术目的，本发明采用如下技术方案：
一种基于MeanShift的运动目标跟踪方法，将视频帧RGB图像映射入CN空间，结合高斯混合模型获取CN空间内每个颜色单元的质心位置，利用颜色直方图、空间信息与形状轮廓信息计算得到新的候选区域的中心位置，完成目标跟踪。
进一步的，本发明的运动目标跟踪方法具体包括如下步骤：
S100读取视频序列，获取初始帧；
S200将初始帧RGB图像映射入CN空间；
S300在初始帧图像中选取目标与背景样本数据，基于高斯混合模型分别获取目标、背景的概率密度函数pf、pb；之后在初始帧图像中框选矩形目标区域，分别计算获取目标模型的概率密度qu、跟踪目标在初始帧图像的中心位置y1和核函数窗口大小h；
S400获取下一帧，将前一帧的目标中心位置y1作为当前帧的中心位置，获取当前帧的候选区域；之后利用Canny算子获取候选区域图像的边缘特征，计算边缘特征的无符号距离函数φ(x)并对其归一化；将候选区域像素分别带入pf、pb，得到当前帧每个像素分别属于目标和背景的概率pF、pB；基于无符号距离函数φ(x)、每个像素分别属于目标和背景的概率pF、pB计算获取目标像素权值αi，计算候选区域每一个颜色质心点位置
Figure BDA0001737098620000011
S500结合目标像素权值αi和候选区域每一个颜色质心点位置
Figure BDA0001737098620000012
基于下式获取跟踪目标在当前帧图像的中心位置；
Figure BDA0001737098620000021
S600重复步骤S400-S500，直至视频序列读取结束。
进一步的，所述S200中，将初始帧图像映射入CN空间，步骤如下：
S210将像素点的R、G、B数值分别以1，32，32*32的权值之和规划为单层数据；
S220将单层数据映射入11个色彩标签的CN空间，以11个色彩表示；
S230将数据恢复至原有尺寸。
CN空间比RGB空间对人类视觉来说更接近实际看到的色彩，利用映射图将RGB空间映射入由黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄11种色彩表示的CN色彩标签。
进一步的，所述S300中，核函数选用Epanechikov函数。
进一步的，所述S400中，基于下式，通过与阈值比较标记目标像素获取目标像素权值αi：
Figure BDA0001737098620000022
Figure BDA0001737098620000023
式中，Ti为1的像素为目标像素，反之则为背景像素；阈值ε取值0.5。
进一步的，所述S400中，基于下式获取候选区域每一个颜色质心点位置：
Figure BDA0001737098620000024
式中，
Figure BDA0001737098620000025
表示第k帧图像中每个颜色单元的质心位置，nk表示第k帧的像素数；
Figure BDA0001737098620000026
表示以目标中心为原点的归一化像素位置，(x0,y0)为目标中心坐标；K为核函数；δ[b(zi)-u]表示当像素zi处的灰度值等于u时为1，否则为0。
本发明通过结合高斯混合模型计算跟踪目标区域内每个颜色的质心位置来确定候选目标中心的位置，完成MeanShift跟踪。改进后的算法首先将传统的RGB空间转入CN空间，在CN空间内结合了目标的颜色信息与目标区域颜色分布的空间信息，并加入了通过无符号距离函数表示的形状轮廓信息，改善了传统MeanShift算法中丢失像素点空间信息的不足，提高了算法的跟踪效率，能在跟踪目标与背景颜色相似的情况下获得良好的跟踪效果。
具体实施方式
下面结合具体实施例，对本发明的技术方案作进一步描述。
本发明的方法具体包括如下步骤：
S100读取视频序列，获取初始帧；
S200将初始帧RGB图像映射入CN空间；
S210将像素点的R、G、B数值分别以1，32，32*32的权值之和规划为单层数据；
S220将单层数据映射入11个色彩标签的CN空间，以11个色彩表示；
S230将数据恢复至原有尺寸。
后续步骤基于CN空间的图像帧进行进一步图像处理。
S300在初始帧图像中选取目标与背景样本数据，基于高斯混合模型分别获取目标、背景的概率密度函数pf、pb；
Figure BDA0001737098620000031
Figure BDA0001737098620000032
式中K是单高斯模型的个数，N(x|μk,Σk)是第k个单高斯模型的概率密度函数，αk是样本中第k个单高斯模型被选中的概率；
之后在初始帧图像中框选矩形目标区域，分别计算获取目标模型的概率密度qu、跟踪目标在初始帧图像的中心位置y1和核函数窗口大小h；
Figure BDA0001737098620000033
Figure BDA0001737098620000034
Figure BDA0001737098620000035
式中zi表示像素位置，i＝1,2…n，
Figure BDA0001737098620000036
表示以目标中心为原点的归一化像素位置，(x0,y0)为目标中心坐标，K为核函数，本实施例中选用Epanechikov函数；b(zi)表示zi处像素属于哪个直方图区间，u为直方图的颜色索引；δ[b(zi)-u]表示当像素zi处的灰度值等于u时，为1，否则为0；C为归一化系数。
S400获取下一帧(第k帧)，将k-1的目标中心位置作为当前帧(第k帧)的中心位置，获取当前帧的候选区域；则候选模型的概率密度pu(f)为：
Figure BDA0001737098620000041
式中，h表示核函数窗口大小。
之后利用Canny算子获取候选区域图像的边缘特征，计算边缘特征的无符号距离函数φ(x)并对其归一化；为了获得轮廓的无符号距离，用1表示轮廓上的像素，0表示非轮廓像素。φ为无符号距离函数，φ(x)表示点x与轮廓间的最小欧氏距离。具体实施时，首先利用Canny算子获取图像的边缘特征，边缘轮廓用1表示，非边缘特征用0表示。
将候选区域像素分别带入pf、pb，得到当前帧每个像素分别属于目标和背景的概率pF、pB；通过与阈值比较标记目标像素，基于无符号距离函数φ(x)、每个像素分别属于目标和背景的概率pF、pB计算获取目标像素权值αi；
Figure BDA0001737098620000042
Figure BDA0001737098620000043
Ti为1的像素为目标像素，反之则为背景像素。本实施例中阈值ε取值0.5。
根据下式计算候选区域每一个颜色质心点位置
Figure BDA0001737098620000045
Figure BDA0001737098620000044
式中nk表示第k帧的像素数；
S500结合目标像素权值αi和候选区域每一个颜色质心点位置
Figure BDA0001737098620000046
基于下式获取跟踪目标在当前帧图像的中心位置；
Figure BDA0001737098620000051
S600重复步骤S400-S500，直至视频序列读取结束。
实验结果表明，当跟踪目标与背景颜色相似时，依旧能够很好的跟踪目标。

Claims (4)

1.一种基于MeanShift的运动目标跟踪方法，其特征在于，包括如下步骤：
S100读取视频序列，获取初始帧；
S200将初始帧RGB图像映射入CN空间，包括：
S210将像素点的R、G、B数值分别以1，32，32*32的权值之和规划为单层数据；
S220将单层数据映射入由黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄11种色彩表示的CN空间；
S230将数据恢复至原有尺寸；
S300在初始帧图像中选取目标与背景样本数据，基于高斯混合模型分别获取目标、背景的概率密度函数pf、pb；之后在初始帧图像中框选矩形目标区域，分别计算获取目标模型的概率密度qu、跟踪目标在初始帧图像的中心位置y1和核函数窗口大小h；
S400获取下一帧，将前一帧的目标中心位置y1作为当前帧的中心位置，获取当前帧的候选区域；之后利用Canny算子获取候选区域图像的边缘特征，计算边缘特征的无符号距离函数φ(x)并对其归一化；将候选区域像素分别带入pf、pb，得到当前帧每个像素分别属于目标和背景的概率pF、pB；基于无符号距离函数φ(x)、每个像素分别属于目标和背景的概率pF、pB计算获取目标像素权值αi，计算候选区域每一个颜色质心点位置
Figure FDA0003204429480000013
S500结合目标像素权值αi和候选区域每一个颜色质心点位置
Figure FDA0003204429480000014
基于下式获取跟踪目标在当前帧图像的中心位置；
Figure FDA0003204429480000011
S600重复步骤S400-S500，直至视频序列读取结束。
2.根据权利要求1所述的方法，其特征在于，所述S300中，核函数选用Epanechikov函数。
3.根据权利要求1所述的方法，其特征在于，所述S400中，基于下式，通过与阈值比较标记目标像素获取目标像素权值αi：
Figure FDA0003204429480000012
Figure FDA0003204429480000023
式中，Ti为1的像素为目标像素，反之则为背景像素；阈值ε取值0.5。
4.根据权利要求3所述的方法，其特征在于，所述S400中，基于下式获取候选区域每一个颜色质心点位置：
Figure FDA0003204429480000021
式中，
Figure FDA0003204429480000022
表示第k帧图像中每个颜色单元的质心位置，nk表示第k帧的像素数；δ[b(zi)-u]表示当像素zi处的灰度值等于u时为1，否则为0。
CN201810800979.9A 2018-04-12 2018-07-20 一种基于MeanShift的运动目标跟踪方法 Active CN109064490B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018103245668 2018-04-12
CN201810324566 2018-04-12

Publications (2)

Publication Number Publication Date
CN109064490A CN109064490A (zh) 2018-12-21
CN109064490B true CN109064490B (zh) 2021-09-28

Family

ID=64817558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810800979.9A Active CN109064490B (zh) 2018-04-12 2018-07-20 一种基于MeanShift的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109064490B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539993B (zh) * 2020-04-13 2021-10-19 中国人民解放军军事科学院国防科技创新研究院 基于分割的空间目标视觉跟踪方法
CN111724418A (zh) * 2020-06-19 2020-09-29 马鞍山职业技术学院 基于OpenCV的运动物体跟踪方法
CN112634356B (zh) * 2020-12-30 2024-08-06 欧普照明股份有限公司 跟踪方法及系统、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
KR20090111044A (ko) * 2008-04-21 2009-10-26 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
JP2010122734A (ja) * 2008-11-17 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 対象物追跡装置、対象物追跡方法及び対象物追跡プログラム
CN102324030A (zh) * 2011-09-09 2012-01-18 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪系统
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111044A (ko) * 2008-04-21 2009-10-26 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
JP2010122734A (ja) * 2008-11-17 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 対象物追跡装置、対象物追跡方法及び対象物追跡プログラム
CN102324030A (zh) * 2011-09-09 2012-01-18 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪系统
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于MeanShift的视频目标跟踪算法研究;张铁明;《中国优秀硕士学位论文全文数据库信息科技辑》;20170115;正文第7-36页 *

Also Published As

Publication number Publication date
CN109064490A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN107169475B (zh) 一种基于kinect相机的人脸三维点云优化处理方法
CN109064490B (zh) 一种基于MeanShift的运动目标跟踪方法
CN107657619B (zh) 一种低照度林火图像分割方法
CN104616308A (zh) 一种基于核模糊聚类的多尺度水平集图像分割方法
CN103679173A (zh) 图像显著区域检测方法
CN112101370B (zh) 一种纯色背景图像自动抠像方法、计算机可读存储介质及设备
CN108711160B (zh) 一种基于hsi增强性模型的目标分割方法
CN111882555B (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN115578660B (zh) 基于遥感图像的土地地块分割方法
CN114511567B (zh) 舌体与舌苔图像识别分离方法
CN114359323A (zh) 一种基于视觉注意机制的图像目标区域检测方法
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN116310420A (zh) 一种基于邻域差值的图像相似度度量方法及装置
CN117274981B (zh) 一种基于图像识别的辣椒病理推测方法和装置
CN104766068A (zh) 一种多规则融合的随机游走舌像提取方法
CN110060308B (zh) 一种基于光源颜色分布限制的颜色恒常性方法
CN109934152B (zh) 一种针对手语图像的改进小弯臂图像分割方法
CN114359244B (zh) 一种基于超像素分割与多种颜色特征的图像显著性检测方法
CN116129278A (zh) 一种基于遥感影像的土地利用分类识别系统
CN107392936B (zh) 一种基于meanshift的目标跟踪方法
CN113658193B (zh) 基于信息融合的肝脏ct影像肿瘤分割方法
CN111415372B (zh) 一种基于hsi颜色空间和上下文信息的运动目标归并方法
CN108205814B (zh) 彩色图像的黑白轮廓生成方法
CN112541471B (zh) 一种基于多特征融合的遮挡目标识别方法
CN114648512A (zh) 舌下图像分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant