CN109087334B - 基于显著语境稀疏表示的目标追踪方法 - Google Patents
基于显著语境稀疏表示的目标追踪方法 Download PDFInfo
- Publication number
- CN109087334B CN109087334B CN201810635733.0A CN201810635733A CN109087334B CN 109087334 B CN109087334 B CN 109087334B CN 201810635733 A CN201810635733 A CN 201810635733A CN 109087334 B CN109087334 B CN 109087334B
- Authority
- CN
- China
- Prior art keywords
- target
- formula
- image
- map
- occlusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于显著语境稀疏表示的目标追踪方法,属于图像处理领域,包括提取样本图像的特征映射,分别对中心区域和边缘区域的特征映射,将得到的特征映射进行融合处理;对融合后的图像进行稀疏处理,基于处理后的图像进行遮挡求解,对待测视频中的两个连续帧进行建模,基于已建立的模型进行遮挡判断,当判断出现遮挡时,使用前述内容计算当前帧的可视显著性映射,在得到的显著性图中与每个目标模板进行比较,选取权重最高的目标模板作为追踪结果。通过将目标对象被提取为一个显著特征映射,用稀疏表示和显著的语境校正部分遮挡和突然运动的目标,本方法计算简单,提升了目标追踪的有效性和准确性,抗干扰能力也大大提高。
Description
技术领域
本发明属于图像处理领域,特别涉及基于显著语境稀疏表示的目标追踪方法。
背景技术
目标跟踪在视频监控、威胁检测、复合安全、人机交互等众多应用中发挥着至关重要的作用,近年来已经取得了大量的进展。一般来说,一个跟踪算法使用一个外观模型来表示对象,并用对象表示来评估预测的图像补丁。此外,还应用动态模型来不断地计算目标的状态。
通过对视觉信息的过滤和选择,可以有效地提高跟踪程序。Itti L等人首先提出基于显著性视觉注意力模型,用于快速场景分析。Wu Y等人提倡在稀疏编码的特征空间中寻找合适的度量标准,提出一种基于度量的结构外观模型,以便更准确地匹配不同的外观。Mei X将稀疏表示扩展到对象跟踪,然而由于该方法可以利用l_1最小化公式处理每个粒子的最小值,计算量较大,且随着目标和背景之间的模糊性越来越大,可能会导致跟踪失败。现有技术中由于光照变化、遮挡、尺度变化和背景杂波等因素影响,鲁棒性和抗干扰能力较弱。
发明内容
为了解决现有技术中存在的缺点和不足,本发明提供了基于显著语境稀疏表示的目标追踪方法,用于提升跟踪的稳定性。
为了达到上述技术目的,本发明提供了基于显著语境稀疏表示的目标追踪方法,所述目标追踪方法,包括:
步骤一,提取样本图像的特征映射,分别对中心区域和边缘区域的特征映射,将得到的特征映射进行融合处理;
步骤二,对融合后的图像进行稀疏处理,基于处理后的图像进行遮挡求解;
步骤三,对待测视频中的两个连续帧进行建模,基于已建立的模型进行遮挡判断,当判断出现遮挡时,使用步骤一和步骤二的内容计算当前帧的可视显著性映射,在得到的显著性图中与每个目标模板进行比较,选取权重最高的目标模板作为追踪结果。
可选的,所述提取样本图像的特征映射,分别对中心区域和边缘区域的特征映射,将得到的特征映射进行融合处理,包括:
将图像分解为一组特征映射,从特征映射中提取颜色映射CRG,CBY、亮度映射Ι和局部方向映射O,O的计算公式如公式1所示
O(θ)=‖IG0(θ)‖+||IGπ/2(θ)|| 公式1
其中G(.)代表Gabor过滤器,θ是局部方向;
获取中心区域与周围区域的对比:利用不同空间尺度的图像的差分来模拟对比度,处理公式如公式2所示
Fl(c,s)=|Fl(c)ΘFl(s)| 公式2
其中Fl(c)代表中部区域特性,Fl(s)代表周边区域特性,Θ的意思是用相同的大小插入这两个图像,并计算每个像素的差分;
使用归一化函数N(.)和跨尺度加法运算,将各特征的获得的映射分别进行融合,以实现规模的统一,处理公式如公式3所示
Mk=αN(Ik)+βN(Ck)+γN(Ok) 公式3
其中Ik,Ck,Ok表示第k个坐标系中的颜色、亮度和方向特征显著性映射,α,β,γ,为权重因子,用于减轻图像质量、图像噪声或其他元素的干扰。
可选的,所述对融合后的图像进行稀疏处理,基于处理后的图像进行遮挡求解,包括:
将跟踪问题转换为稀疏表示的最可能的补丁,并通过公式4的小模板处理部分遮挡:
其中S代表显著映射中的显著特征向量的一个矩阵,I表示单位矩阵;
可选的,所述对待测视频中的两个连续帧进行建模,基于已建立的模型进行遮挡判断,当判断出现遮挡时,使用步骤一和步骤二的内容计算当前帧的可视显著性映射,在得到的显著性图中与每个目标模板进行比较,选取权重最高的目标模板作为追踪结果,包括:
对两个连续帧之间的目标运动仿射变换建模,并利用对角线协方差矩阵进行随机游走,形成状态转换;
在没有遮挡的情况下,从目标物体的子空间生成图像观测yk,用每个观测到的图像补片的重构误差来计算观测的可能性,计算公式如公式8所示
如果出现重遮挡和跟踪漂移,用步骤一和步骤二的方法计算当前帧的可视显著性映射,并在显著性图中检测显著性yi表示由xi建立的图像补丁,区域R={R1,R2,…,Rn},再与每个Ri的目标模板进行比较,匹配最可能的Rm和来自周围区域的样品,xi表示运动状态变量x的第I个样本,ai表示第i个目标系数向量,p(yi|xi)表示通过状态xi中估计观察的yi的可能性,S代表显著映射中的显著特征向量的一个矩阵;
初始化目标模板,将每个对象模板都与执行更新的重要权重相关联。
本发明提供的技术方案带来的有益效果是:
通过将目标对象被提取为一个显著特征映射,用稀疏表示和显著的语境校正部分遮挡和突然运动的目标,本方法计算简单,提升了目标追踪的有效性和准确性,抗干扰能力也大大提高。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于显著语境稀疏表示的目标追踪方法的流程示意图。
具体实施方式
为使本发明的结构和优点更加清楚,下面将结合附图对本发明的结构作进一步地描述。
实施例一
本发明提供了基于显著语境稀疏表示的目标追踪方法,如图1所示,所述目标追踪方法,包括:
步骤一,提取样本图像的特征映射,分别对中心区域和边缘区域的特征映射,将得到的特征映射进行融合处理;
步骤二,对融合后的图像进行稀疏处理,基于处理后的图像进行遮挡求解;
步骤三,对待测视频中的两个连续帧进行建模,基于已建立的模型进行遮挡判断,当判断出现遮挡时,使用步骤一和步骤二的内容计算当前帧的可视显著性映射,在得到的显著性图中与每个目标模板进行比较,选取权重最高的目标模板作为追踪结果。
在实施中,本发明提出一种基于稀疏表示的有效和自适应跟踪算法。在跟踪方法中,目标对象被提取为一个显著特征映射,用稀疏表示和显著的语境校正部分遮挡和突然运动的目标,提升了目标追踪的有效性和准确性,抗干扰能力大大提高。
可选的,所述提取样本图像的特征映射,分别对中心区域和边缘区域的特征映射,将得到的特征映射进行融合处理,包括:
将图像分解为一组特征映射,从特征映射中提取颜色映射CRG,CBY、亮度映射Ι和局部方向映射O,O的计算公式如公式1所示
O(θ)=‖IG0(θ)‖+||IGπ/2(θ)|| 公式1
其中G(.)代表Gabor过滤器,θ是局部方向;
获取中心区域与周围区域的对比:利用不同空间尺度的图像的差分来模拟对比度,处理公式如公式2所示
Fl(c,s)=|Fl(c)ΘFl(s)| 公式2
其中Fl(c)代表中部区域特性,Fl(s)代表周边区域特性,Θ的意思是用相同的大小插入这两个图像,并计算每个像素的差分;
使用归一化函数N(.)和跨尺度加法运算,将各特征的获得的映射分别进行融合,以实现规模的统一,处理公式如公式3所示
Mk=αN(Ik)+βN(Ck)+γN(Ok) 公式3
其中Ik,Ck,Ok表示第k个坐标系中的颜色、亮度和方向特征显著性映射,α,β,γ,为权重因子,用于减轻图像质量、图像噪声或其他元素的干扰。
在实施中,提取图像特征:使用一组8个具有地面真实对象位置的具有挑战性的图像序列,将图像分解为一组特征映射,从这些特征中提取颜色映射CRG,CBY、亮度映射I和局部方向映射O,O的计算公式如下:
O(θ)=‖IG0(θ)‖+|IGπ/2(θ)|| 公式1
其中G(.)代表Gabor过滤器,θ是局部方向。
获取中心区域与周围区域的对比:利用不同空间尺度的图像的差分来模拟对比度,处理公式如下:
Fl(c,s)=|Fl(c)ΘFl(s)| 公式2
其中Fl(c)代表中部区域特性,Fl(s)代表周边区域特性,Θ的意思是用相同的大小插入这两个图像,并计算每个像素的差分。
融合特征:使用归一化函数N(.)和跨尺度加法运算,将各特征的获得的映射分别进行融合,处理公式如下:
Mk=αN(Ik)+βN(Ck)+γN(Ok) 公式3
其中Ik,Ck,Ok表示第k个坐标系中的颜色、亮度和方向特征显著性映射,α,β,γ,为权重因子,用于减轻图像质量、图像噪声或其他元素的干扰。
可选的,所述对融合后的图像进行稀疏处理,基于处理后的图像进行遮挡求解,包括:
将跟踪问题转换为稀疏表示的最可能的补丁,并通过公式4的小模板处理部分遮挡:
其中S代表显著映射中的显著特征向量的一个矩阵,I表示单位矩阵;
可选的,所述对待测视频中的两个连续帧进行建模,基于已建立的模型进行遮挡判断,当判断出现遮挡时,使用步骤一和步骤二的内容计算当前帧的可视显著性映射,在得到的显著性图中与每个目标模板进行比较,选取权重最高的目标模板作为追踪结果,包括:
对两个连续帧之间的目标运动仿射变换建模,并利用对角线协方差矩阵进行随机游走,形成状态转换;
在没有遮挡的情况下,从目标物体的子空间生成图像观测yk,用每个观测到的图像补片的重构误差来计算观测的可能性,计算公式如公式8所示
如果出现重遮挡和跟踪漂移,用步骤一和步骤二的方法计算当前帧的可视显著性映射,并在显著性图中检测显著性yi表示由xi建立的图像补丁,区域R={R1,R2,…,Rn},再与每个Ri的目标模板进行比较,匹配最可能的Rm和来自周围区域的样品,xi表示运动状态变量x的第I个样本,ai表示第i个目标系数向量,p(yi|xi)表示通过状态xi中估计观察的yi的可能性,S代表显著映射中的显著特征向量的一个矩阵;
初始化目标模板,将每个对象模板都与执行更新的重要权重相关联。
本发明提供了基于显著语境稀疏表示的目标追踪方法,包括提取样本图像的特征映射,分别对中心区域和边缘区域的特征映射,将得到的特征映射进行融合处理;对融合后的图像进行稀疏处理,基于处理后的图像进行遮挡求解;,对待测视频中的两个连续帧进行建模,基于已建立的模型进行遮挡判断,当判断出现遮挡时,使用前述内容计算当前帧的可视显著性映射,在得到的显著性图中与每个目标模板进行比较,选取权重最高的目标模板作为追踪结果。通过将目标对象被提取为一个显著特征映射,用稀疏表示和显著的语境校正部分遮挡和突然运动的目标,本方法计算简单,提升了目标追踪的有效性和准确性,抗干扰能力也大大提高。
上述实施例中的各个序号仅仅为了描述,不代表各部件的组装或使用过程中的先后顺序。
以上所述仅为本发明的实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.基于显著语境稀疏表示的目标追踪方法,其特征在于,所述目标追踪方法,包括:
步骤一,将图像分解为一组特征映射,从特征映射中提取颜色映射CRG,CBY、亮度映射Ι和局部方向映射O,O的计算公式如公式1所示
O(θ)=‖IG0(θ)‖+‖IGπ/2(θ)‖ 公式1
其中G(.)代表Gabor过滤器,θ是局部方向;
获取中心区域与周围区域的对比度:利用不同空间尺度的图像的差分来模拟对比度,处理公式如公式2所示
Fl(c,s)=|Fl(c)ΘFl(s)| 公式2
其中Fl(c)代表中部区域特性,Fl(s)代表周边区域特性,Θ的意思是用相同的大小插入这两个图像,并计算每个像素的差分;
使用归一化函数N(.)和跨尺度加法运算,将各特征的获得的映射分别进行融合,以实现规模的统一,处理公式如公式3所示
Mk=αN(Ik)+βN(Ck)+γN(Ok) 公式3
其中Ik,Ck,Ok分别表示第k个坐标系中的颜色、亮度和方向特征显著性映射,α,β,γ为权重因子,用于减轻图像质量、图像噪声或其他元素的干扰;
步骤二,将跟踪问题转换为稀疏表示的最可能的补丁,并通过公式4的小模板处理部分遮挡:
其中y表示当前帧中的图像补丁,并将其规范化,使其与模板具有相同的大小,T表示包含目标模板的矩阵,B=[T,I]为由T和I组成的矩阵组合,表示由a和e组成的向量的组合,a是目标系数向量,e是表示被破坏或遮挡的y中的像素点的误差向量;
其中S代表显著映射中的显著特征向量的一个矩阵,I表示单位矩阵;
步骤三,对两个连续帧之间的目标运动仿射变换建模,并利用对角线协方差矩阵进行随机游走,形成状态转换;
在没有遮挡的情况下,从目标物体的子空间生成图像观测yk,用每个观测到的图像补片的重构误差来计算观测的可能性,计算公式如公式8所示
如果出现重遮挡和跟踪漂移,用步骤一和步骤二的方法计算当前帧的可视显著性映射,并在显著性图中检测显著性yi表示由xi建立的图像补丁,区域R={R1,R2,…,Rn},再与每个Ri的目标模板进行比较,匹配最可能的Rm和来自周围区域的样本,xi表示运动状态变量x的第i个样本,ai表示第i个目标系数向量,p(yi|xi)表示通过状态xi中估计观察的yi的可能性,S代表显著映射中的显著特征向量的一个矩阵;
初始化目标模板,将每个对象模板都与执行更新的重要权重相关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810635733.0A CN109087334B (zh) | 2018-06-20 | 2018-06-20 | 基于显著语境稀疏表示的目标追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810635733.0A CN109087334B (zh) | 2018-06-20 | 2018-06-20 | 基于显著语境稀疏表示的目标追踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109087334A CN109087334A (zh) | 2018-12-25 |
CN109087334B true CN109087334B (zh) | 2020-06-30 |
Family
ID=64840076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810635733.0A Active CN109087334B (zh) | 2018-06-20 | 2018-06-20 | 基于显著语境稀疏表示的目标追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109087334B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816694B (zh) * | 2019-01-28 | 2021-05-04 | 北京旷视科技有限公司 | 目标跟踪方法、装置及电子设备 |
CN110555405B (zh) * | 2019-08-30 | 2022-05-06 | 北京迈格威科技有限公司 | 目标跟踪方法及装置、存储介质和电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9213899B2 (en) * | 2014-03-24 | 2015-12-15 | International Business Machines Corporation | Context-aware tracking of a video object using a sparse representation framework |
CN104637052B (zh) * | 2015-01-22 | 2017-07-11 | 西南交通大学 | 基于目标引导显著性检测的对象跟踪方法 |
CN104574445B (zh) * | 2015-01-23 | 2015-10-14 | 北京航空航天大学 | 一种目标跟踪方法 |
US10332274B2 (en) * | 2016-11-14 | 2019-06-25 | Nec Corporation | Surveillance system using accurate object proposals by tracking detections |
-
2018
- 2018-06-20 CN CN201810635733.0A patent/CN109087334B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109087334A (zh) | 2018-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194408B (zh) | 一种混合块稀疏协作模型的目标跟踪方法 | |
CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
Guo et al. | Lightweight deep network-enabled real-time low-visibility enhancement for promoting vessel detection in maritime video surveillance | |
CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
CN109767454B (zh) | 基于时-空-频显著性的无人机航拍视频运动目标检测方法 | |
Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
CN109993052B (zh) | 一种复杂场景下尺度自适应的目标跟踪方法和系统 | |
CN109215025B (zh) | 一种基于非凸秩逼近极小化的红外弱小目标检测方法 | |
CN109166137A (zh) | 针对抖动视频序列中运动目标检测算法 | |
CN109087334B (zh) | 基于显著语境稀疏表示的目标追踪方法 | |
CN113822352A (zh) | 基于多特征融合的红外弱小目标检测方法 | |
CN112633274A (zh) | 一种声呐图像目标检测方法、装置、电子设备 | |
CN109886195A (zh) | 基于深度相机近红外单色灰度图的皮肤识别方法 | |
CN111260691B (zh) | 一种基于上下文感知回归时空正则相关滤波跟踪方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
Xu et al. | COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences | |
Petković et al. | An overview on horizon detection methods in maritime video surveillance | |
Hashmani et al. | A survey on edge detection based recent marine horizon line detection methods and their applications | |
Song et al. | Ship detection in haze and low-light remote sensing images via colour balance and DCNN | |
CN112613565A (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
Jia et al. | A novel moving cast shadow detection of vehicles in traffic scene | |
CN108205814B (zh) | 彩色图像的黑白轮廓生成方法 | |
CN115439777A (zh) | 一种基于多特征融合与运动估计的视频卫星目标跟踪方法 | |
CN115410089A (zh) | 自适应局部上下文嵌入的光学遥感小尺度目标检测方法 | |
CN111860161B (zh) | 一种目标遮挡检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |