CN105741317B - 基于时空域显著性分析和稀疏表示的红外运动目标检测方法 - Google Patents

基于时空域显著性分析和稀疏表示的红外运动目标检测方法 Download PDF

Info

Publication number
CN105741317B
CN105741317B CN201610041349.9A CN201610041349A CN105741317B CN 105741317 B CN105741317 B CN 105741317B CN 201610041349 A CN201610041349 A CN 201610041349A CN 105741317 B CN105741317 B CN 105741317B
Authority
CN
China
Prior art keywords
infrared
detection method
image
target detection
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610041349.9A
Other languages
English (en)
Other versions
CN105741317A (zh
Inventor
张宝华
裴海全
张明
黄显武
周文涛
焦豆豆
刘艳仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Science and Technology
Original Assignee
Inner Mongolia University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Science and Technology filed Critical Inner Mongolia University of Science and Technology
Priority to CN201610041349.9A priority Critical patent/CN105741317B/zh
Publication of CN105741317A publication Critical patent/CN105741317A/zh
Application granted granted Critical
Publication of CN105741317B publication Critical patent/CN105741317B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一种基于时空域显著性分析和稀疏表示的红外运动目标检测方法，通过稀疏表示方法对红外序列图像粗分割后的子区域进行平滑处理，提取各子区域的对比特征和局部先验特征，并进行合并，从而得到红外序列图像对应的显著图；再根据预设的阈值和形态学方法对显著图依次进行分割和伪目标区域的滤除，得到红外目标图像；本发明很好地解决了提取目标边缘模糊的问题，可满足红外监控系统快速精确检测地面运动目标的需要且具有较好的自适应性和检测效果。

Description

基于时空域显著性分析和稀疏表示的红外运动目标检测方法
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于时空域显著性分析和稀疏表示的红外运动目标检测方法。
背景技术
红外成像能够在低能见度环境捕捉热目标，不受光照、目标形状或成像角度等因素的影响。红外监控系统能够应用于室内外环境监控，具有全天候、环境适应性强等特点。与可见光视频图像相比，红外图像因其背景相对简单，目标和背景的区分效果较好。
运动目标检测是指：通过图像处理方法在视频序列中提取与固定或移动背景存在着相对运动的前景目标，为更高级的运动分析和场景理解提供支持，作为计算机视觉领域的一个重要研究方向，在智能监控系统、人机交互系统等领域得到广泛应用。
精确定位红外序列图像中运动目标的位置，并提取其完整边缘是红外目标检测的关键。红外成像系统中运动目标不仅受到背景和噪声的影响，还受到来自红外探测器自身的干扰，导致摄取的图像降质严重，清晰度和对比度较差。而红外目标的模糊边缘、缺少明显形状和纹理特征的背景，也增加了分割方法的难度。
以差分法、背景差法、光流法等为代表的经典方法，通过获取背景模型并比较帧间差异进而检测运动目标。由于上述方法的性能高度依赖于获取的背景模型的精度，方法鲁棒性差，在场景变动或外界干扰时会严重降低图像的对比度和信噪比，影响对红外目标的识别。另外，由于混合高斯法的背景模型收敛较慢，遇到低速大目标时该法检测效果并不理想。
经过对现有技术的检索发现，中国专利文献号CN103996209A，公开日2014.8.20，公开了一种基于显著性区域检测的红外舰船目标分割方法，包含七个步骤：一、局部行对比度检测；二、边缘强度检测；三、显著线性结构检测；四、亮前景区域检测；五、显著性区域检测；六、局部显著性区域分割，对显著性图像分区域用基于均值、标准差和估计背景构造的自适应阈值处理得到初步舰船分割结果；七、显著性区域筛选，对于初步结果用显著性特征和形状特征进行筛选判别，最终得到舰船目标分割结果。但该技术在进行显著性检测后直接进行特征融合形成显著性图像，未对图像进行预前处理，增大了后期筛选的复杂度和计算量；并且不能满足实时性要求，没有考虑帧间图像运动目标的移动速度，不适于快速运动小目标的检测，普适性较弱。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于时空域显著性分析和稀疏表示的红外运动目标检测方法，通过稀疏表示法平滑粗分割的子区域，提取对比特征和局部先验特征，根据融合规则确定显著性区域后融合形成显著图；对显著图进行分割和去除干扰后得到较为精确的红外运动目标图像。
本发明是通过以下技术方案实现的：
本发明通过稀疏表示方法对红外序列图像粗分割后的子区域进行平滑处理，提取各子区域的对比特征和局部先验特征，并进行合并，从而得到红外序列图像对应的显著图；再根据预设的阈值和形态学方法对显著图依次进行分割和伪目标区域的滤除，得到红外目标图像。
所述的稀疏表示方法为基于K-SVD字典学习的稀疏表示方法。
所述的平滑处理是指：计算并去除连续帧之间的方向图中和前景图中的伪目标区域，得到连续帧之间的光流矢量的方向信息的修正值和前景特征的修正值。
所述的合并是指：对各子区域的对比特征和局部先验特征根据融合规则分别进行合并，确定显著性区域，即Sj＝Cj·LPj，其中：Sj为显著性区域，Cj为对比特征，LPj为局部先验特征。
所述的对比特征其中：mj为光流矢量的幅值，o′j为光流矢量的方向信息的修正值。
所述的局部先验特征其中：为红外序列图像的速度，为红外序列图像的加速度，f′j为红外序列图像的前景特征的修正值。
技术效果
与现有技术相比，本发明基于稀疏表示法和显著性分析，设定固定阈值，得到较精确的运动目标的红外图像，设计合理，计算复杂度降低，可满足红外监控系统快速精确检测地面运动目标的需要；并且很好地解决了提取目标边缘模糊的问题，与传统的检测方法相比，具有较好的自适应性和检测效果。
附图说明
图1为本发明示意图；
图2为稀疏表示示意图；
图3为各方法第二帧处理效果图；
图中：(a)为原始红外图像，(b)为本发明处理效果图，(c)为帧差法处理效果图，(d)为高斯混合模型处理效果图，(e)为光流法处理效果图；
图4为各方法第十五帧处理效果图；
图中：(a)为原始红外图像，(b)为本发明处理效果图，(c)为帧差法处理效果图，(d)为高斯混合模型处理效果图，(e)为光流法处理效果图。
具体实施方式
如图1所示，本实施例包括以下步骤：
步骤1、对采集到的若干帧红外序列图像Ij进行基于分级流视频分割的粗分割处理，得到灰度值接近的多个子区域。
步骤2、通过稀疏表示方法对各个子区域进行平滑处理，提取各子区域对应的对比特征和局部先验特征，并根据融合规则进行合并，确定显著性区域，进而得到红外序列图像Ij对应的显著图，具体包括以下步骤：
步骤2.1)计算连续帧之间的光流矢量提取光流矢量的幅值mj和方向信息oj，并根据光流矢量计算红外序列图像Ij的速度加速度和前景特征fj，得到对应的幅度图、方向图、速度图、加速度图和前景图。
所述的方向信息oj＝(Gx,Gy)，其中：I为分割图像，t为时间。
所述的前景特征其中：Ij(x,y)为第j帧图像的灰度值，Ij+1(x+u,y+v)为第j+1帧图像的灰度值，u和v分别为光流矢量沿着x和y方向的分量，为与高斯核的卷积。
步骤2.2)如图2所示，通过基于K-SVD字典学习的稀疏表示方法去除方向图和前景图中的伪目标区域，得到方向信息oj的修正值o′j和前景特征fj的修正值f′j，具体包括：
步骤2.2.1)选取DCT(离散余弦变换)字典为初始化字典，尺寸由分块大小n决定，n为自然数，初始字典D0中包含的每个原子信号为n2维，由4n2个原子信号组成。
步骤2.2.2)将方向信息oj和前景特征fj采用小块方式由上到下，从左至右按像素展开，每个小块展开成一列作为稀疏处理对象Xo和Xf。
步骤2.2.3)采用OMP方法稀疏编码：将Xo和Xf中的每一列分别用字典中的列D0 j进行逼近，得到稀疏矩阵Yo和Yj，其中：Yo和Yj的每一列和对应字典中每个原子在上贡献的权值，j∈[1,4n2]。
步骤2.2.4)字典和稀疏矩阵的更新：字典和稀疏矩阵同时更新，更新方式为字典的列和稀疏矩阵的行。即：分别选择稀疏矩阵Yo和Yj中p行的非零值为对应D0中第p个原子在Xo和Xf对应p行中的非零值列中的贡献权值。Xo和Xf对应p行中的非零值列组成矩阵Ω，Yo和Yj对应p行中的非零值列组成矩阵Θ，为使E＝Ω-D0*Θ最小，采用最大的奇异值分解，得到U、V和T，用U更新字典的第p个原子，V*T’更新Yo和Yj中p行的非零值，依次更新整个字典和稀疏矩阵Y′o和Y′f，即方向信息的修正值o′j和前景信息的修正值f′j。
步骤2.3)提取各个子区域的对比特征和局部先验特征，根据融合规则进行合并，即Sj＝Cj·LPj，其中：Sj为显著性区域，对比特征局部先验特征
步骤3、归一化显著图并通过预设的阈值法进行分割，通过形态学方法去除孤立区域，得到红外目标图像。
所述的阈值为0.05。
所述的分割形成红外目标区域和背景区域。
所述的形态学方法是指：通过开闭运算实现空间频率图像中的伪聚焦区域的滤除，即：其中：h为结构元素，选定disk类型，取值为5，I为分割图像。
步骤4、通过选取若干指标对得到的红外目标进行有效性证明，与帧差法、高斯混合模型和光流法之间的比较结果如图3和图4所示，本实施例经证明可精确提取红外目标。
所述的指标包括：召回率、特异度、精度和结构相似度，对比结果如表1所示。
所述的指标的值越大，说明提取的红外目标越接近真实目标；前景点错误率和分类错误率的值越低，说明检测结果越准确。
表1各方法性能比较
由表1可得，本实施例所有指标均优于其他方法。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于时空域显著性分析和稀疏表示的红外运动目标检测方法，其特征在于，通过稀疏表示方法对红外序列图像粗分割后的子区域进行平滑处理，提取各子区域的对比特征和局部先验特征，并进行合并，从而得到红外序列图像对应的显著图；再根据预设的阈值和形态学方法对显著图依次进行分割和伪目标区域的滤除，得到红外目标图像；
所述的平滑处理包括以下步骤：
步骤1)计算连续帧之间的光流矢量，提取光流矢量的幅值和方向信息，并根据光流矢量计算红外序列图像的速度、加速度和前景特征，得到对应的幅度图、方向图、速度图、加速度图和前景图；
步骤2)通过稀疏表示方法去除方向图和前景图中的伪目标区域，得到方向信息的修正值和前景特征的修正值。
2.根据权利要求1所述的红外运动目标检测方法，其特征是，所述方法具体为：通过基于K-SVD字典学习的稀疏表示方法对红外序列图像进行基于分级流视频分割算法的粗分割后的子区域进行平滑处理，提取各子区域的对比特征和局部先验特征，并对各子区域的对比特征和局部先验特征根据融合规则分别进行合并，确定显著性区域，并生成红外序列图像对应的显著图；再根据预设的阈值和形态学方法对显著图依次进行分割和伪目标区域的滤除，得到红外目标图像。
3.根据权利要求1所述的红外运动目标检测方法，其特征是，所述的步骤2)具体包括：
步骤2.1)选取DCT字典为初始化字典，尺寸由分块大小n决定，n为自然数，初始字典D0中包含的每个原子信号为n2维，由4n2个原子信号组成；
步骤2.2)将方向信息和前景特征采用小块方式由上到下，从左至右按像素展开，每个小块展开成一列作为稀疏处理对象，分别为Xo和Xf；
步骤2.3)采用OMP方法稀疏编码；
步骤2.4)字典和稀疏矩阵的更新：字典和稀疏矩阵同时更新，更新方式为字典的列和稀疏矩阵的行，得到方向信息的修正值和前景信息的修正值。
4.根据权利要求3所述的红外运动目标检测方法，其特征是，所述的稀疏编码是指：将Xo和Xf中的每一列分别用字典中的列D0 j进行逼近，得到稀疏矩阵Yo和Yj，其中：Yo和Yj的每一列和对应字典中每个原子在上贡献的权值，j∈[1,4n2]。
5.根据权利要求2所述的红外运动目标检测方法，其特征是，所述的融合规则是指：其中：Sj为显著性区域，Cj为对比特征，LPj为局部先验特征。
6.根据权利要求1或2所述的红外运动目标检测方法，其特征是，所述的对比特征为：其中：Cj为对比特征，mj为光流矢量的幅值，o′j为光流矢量的方向信息的修正值。
7.根据权利要求1或2所述的红外运动目标检测方法，其特征是，所述的局部先验特征其中：LPj为局部先验特征，为红外序列图像的速度，为红外序列图像的加速度，fj′为红外序列图像的前景特征的修正值。
8.根据权利要求1或2所述的红外运动目标检测方法，其特征是，所述的形态学方法是指：通过开闭运算实现空间频率图像中的伪聚焦区域的滤除，即： 其中：h为结构元素，I为分割图像。
CN201610041349.9A 2016-01-20 2016-01-20 基于时空域显著性分析和稀疏表示的红外运动目标检测方法 Expired - Fee Related CN105741317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610041349.9A CN105741317B (zh) 2016-01-20 2016-01-20 基于时空域显著性分析和稀疏表示的红外运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610041349.9A CN105741317B (zh) 2016-01-20 2016-01-20 基于时空域显著性分析和稀疏表示的红外运动目标检测方法

Publications (2)

Publication Number Publication Date
CN105741317A CN105741317A (zh) 2016-07-06
CN105741317B true CN105741317B (zh) 2018-10-02

Family

ID=56247359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610041349.9A Expired - Fee Related CN105741317B (zh) 2016-01-20 2016-01-20 基于时空域显著性分析和稀疏表示的红外运动目标检测方法

Country Status (1)

Country Link
CN (1) CN105741317B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563370B (zh) * 2017-07-07 2020-04-03 西北工业大学 一种基于视觉注意机制的海上红外目标检测方法
CN114088207A (zh) * 2020-07-17 2022-02-25 北京京东尚科信息技术有限公司 温度检测方法和系统
CN117475091B (zh) * 2023-12-27 2024-03-22 浙江时光坐标科技股份有限公司 高精度3d模型生成方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957993A (zh) * 2010-10-11 2011-01-26 上海交通大学 自适应红外小目标检测方法
CN103996209A (zh) * 2014-05-21 2014-08-20 北京航空航天大学 一种基于显著性区域检测的红外舰船目标分割方法
CN104166975A (zh) * 2013-05-17 2014-11-26 中国航天科工集团第二研究院二〇七所 一种复杂环境下低空红外目标检测算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0807487D0 (en) * 2008-04-24 2008-12-31 Selex Sensors & Airborne Sys Infra Red Dectector System and Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957993A (zh) * 2010-10-11 2011-01-26 上海交通大学 自适应红外小目标检测方法
CN104166975A (zh) * 2013-05-17 2014-11-26 中国航天科工集团第二研究院二〇七所 一种复杂环境下低空红外目标检测算法
CN103996209A (zh) * 2014-05-21 2014-08-20 北京航空航天大学 一种基于显著性区域检测的红外舰船目标分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于光流估计的红外弱小运动目标检测;罗寰 等;《电光与控制》;20090715;第16卷(第7期);49-52 *
复杂背景下红外序列图像中运动目标检测与分析方法的研究;张蔚;《中国优秀硕博士学位论文全文数据库（硕士）信息科技辑》;20050615;I140-236 *

Also Published As

Publication number Publication date
CN105741317A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN111079556B (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN106846359B (zh) 基于视频序列的运动目标快速检测方法
CN106056053B (zh) 基于骨骼特征点提取的人体姿势识别方法
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN109767454B (zh) 基于时-空-频显著性的无人机航拍视频运动目标检测方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN105741317B (zh) 基于时空域显著性分析和稀疏表示的红外运动目标检测方法
CN109544635A (zh) 一种基于枚举试探的相机自动标定方法
Liu et al. Self-correction ship tracking and counting with variable time window based on YOLOv3
Jia et al. Research on the decomposition and fusion method for the infrared and visible images based on the guided image filtering and Gaussian filter
Tian et al. Pedestrian detection based on laplace operator image enhancement algorithm and faster R-CNN
Guo et al. Small aerial target detection using trajectory hypothesis and verification
CN103632373B (zh) 一种三帧差分高阶统计量结合otsu算法的絮体检测方法
Qiao et al. An adaptive algorithm for grey image edge detection based on grey correlation analysis
Xiang et al. Research on target detection method based on HSV fusion Gaussian mixture model
Yan et al. Robust infrared superpixel image separation model for small target detection
Ye et al. Improved edge detection algorithm of high-resolution remote sensing images based on fast guided filter
Guangjing et al. Research on static image recognition of sports based on machine learning
CN110830734B (zh) 一种突变和渐变镜头切换识别方法及系统
CN114495170A (zh) 一种基于局部抑制自注意力的行人重识别方法及系统
Hong et al. A real-time critical part detection for the blurred image of infrared reconnaissance balloon with boundary curvature feature analysis
Cao et al. Target detection algorithm based on improved multi-scale SSD
CN102222324A (zh) 一种基于对称特性的图像显著区域检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181002

Termination date: 20190120