CN105631898A - 基于空时显著性融合的红外运动目标检测方法 - Google Patents
基于空时显著性融合的红外运动目标检测方法 Download PDFInfo
- Publication number
- CN105631898A CN105631898A CN201510998019.4A CN201510998019A CN105631898A CN 105631898 A CN105631898 A CN 105631898A CN 201510998019 A CN201510998019 A CN 201510998019A CN 105631898 A CN105631898 A CN 105631898A
- Authority
- CN
- China
- Prior art keywords
- significance
- formula
- saliency
- spatio
- time domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空时显著性融合的红外运动目标检测方法,用于解决现有基于空时显著性的运动目标检测方法获取的运动目标轮廓清晰度差的技术问题。技术方案是首先利用空域显著性方法得到红外图像的静态显著图,利用时域检测方法得到动态显著图;然后采用加权融合的方式计算空时融合显著图;最后对融合显著图做适当的阈值分割得到检测的运动目标前景结果。本发明方法利用目标的运动特征,突出运动目标的显著性。在OTCBVS公开红外数据库上测试结果表明,本发明方法保留了空域显著性特征中静止目标的显著性,抑制了时域显著性特征中运动目标的晕轮效应。
Description
技术领域
本发明涉及一种基于空时显著性的运动目标检测方法,特别是涉及一种基于空时显著性融合的红外运动目标检测方法。
背景技术
红外成像仪根据物体自身辐射率被动成像,具有不受光照变化影响、可全天侯工作的特点。一般情况下,红外图像中运动目标亮度信息高于周围环境亮度,有较高的显著性,提取红外图像的目标显著性,进而提取运动目标信息在单源传感器目标检测中具有重要的研究意义。现有的显著性检测方法主要有:基于空域的静态特征的显著性检测方法和基于时域运动信息的显著性检测方法。
文献“Objectmotiondetectionusinginformationtheoreticspatio-temporalsaliency.PatternRecognition,2009,42(11):2897-2906”公开了一种基于空时显著性的运动目标检测方法。该方法通过分析图像的空域和时域显著信息建立一个信息显著图,然后利用目标的显著性强弱检测目标。该方法可以快速的提取出运动目标,但是获取的运动目标轮廓不准确,难以分辨目标的形态。如果使用该方法进行后续目标识别和行为分析时,检测的目标不能达到目标分析的要求。
发明内容
为了克服现有基于空时显著性的运动目标检测方法获取的运动目标轮廓清晰度差的不足,本发明提供一种基于空时显著性融合的红外运动目标检测方法。该方法首先利用空域显著性方法得到红外图像的静态显著图,利用时域检测方法得到动态显著图;然后采用加权融合的方式计算空时融合显著图;最后对融合显著图做适当的阈值分割得到检测的运动目标前景结果。本发明方法利用目标的运动特征,突出运动目标的显著性。在OTCBVS公开红外数据库上测试结果表明,本发明方法保留了空域显著性特征中静止目标的显著性,抑制了时域显著性特征中运动目标的晕轮效应。
本发明解决其技术问题所采用的技术方案是:一种基于空时显著性融合的红外运动目标检测方法,其特点是包括以下步骤:
步骤一、将红外检测图像的颜色空间转换到Lab颜色空间,使用空域显著性检测方法-频率调谐方法计算检测帧的区域静态显著性特征,得到空域显著图SalS。
步骤二、在计算检测帧空域显著性的同时计算该帧图像的时域显著性特征。将检测帧分成子块,标记所述子块为检测帧的一个事件B(r,s,t)。相应的在前N-1帧中对应位置的事件构成集合V(r,s)={B(r,s,t-1),B(r,s,t-2),...,B(r,s,t-N+1)},则该事件的时域显著性通过公式(1)计算得到。
SalT(r,s,t)=-log(p(B(r,s,t)|V(r,s)))(1)
=-log(p(y0|Y))
构建一个N维向量Y={y0,y1,...,yN-1},表示每一个子块,在此引入非参核密度估计,估计每一个事件发生的概率分布。
式中,H表示带宽矩阵,核函数表示为KH(y)=||H||-1/2K(H-1/2y),式(2)具体展开表示为公式(3)。
式中,H(yi)反应样本点yi的变化导致估计样本点的变化情况,带宽表示为H(yi)=h(yi)I,h(yi)表示为yi到k-th近邻点的欧氏距离。采用对称多变量高斯密度函数作为核函数。
最终检测帧中一个事件块的时域显著性表示为公式(5),
式中,SalT表示检测帧的时域显著性。
步骤三、将步骤一计算的静态空域显著性特征和步骤二计算的动态时域显著性特征融合,得到空时域目标显著性特征。
本发明的有益效果是:该方法首先利用空域显著性方法得到红外图像的静态显著图,利用时域检测方法得到动态显著图;然后采用加权融合的方式计算空时融合显著图;最后对融合显著图做适当的阈值分割得到检测的运动目标前景结果。本发明方法利用目标的运动特征,突出运动目标的显著性。在OTCBVS公开红外数据库上测试结果表明,本发明方法保留了空域显著性特征中静止目标的显著性,抑制了时域显著性特征中运动目标的晕轮效应。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于空时显著性融合的红外运动目标检测方法具体步骤如下:
1、空域显著性检测。
FT方法设计了一组组合的DoG(DifferenceofGaussian)带通滤波器来计算wlc和whc的值。简单带通滤波器DoG可以定义如下:
σ1和σ2表示高斯函数的标准差,且σ1>σ2。
每个DoG滤波器的带宽是由σ1和σ2比值决定,如果定义σ1=ρσ,σ2=σ,则ρ=σ1/σ2。考虑一组窄带DoG的组合滤波器,
对于整数N≥0,FN可以简化为两个高斯函数的差,此时组合带通滤波器的带宽可以由K=ρN来决定。
在实际计算过程中,为了消除噪声、纹理的影响,对原始图像进行高斯模糊,算法使用的颜色空间对应的是Lab颜色空间,每个像素以向量[L,a,b]T表示。对于W×H的图像,全分辨率的空域显著图SalS显著性计算公式可如公式(3)所示。
Iu表示原图的算术平均值,是原始图像的高斯模糊之后对应像素的值,||·||表示的是欧氏距离。
2、时域显著性检测。
根据香农信息论,如果一个事件的发生是小概率事件,则这个事件包含较高的信息量。也就是说事件包含的信息与事件发生的概率是相反的。假设事件x已经发生,则它的自信息量I(x)可以表示为公式(4)。
I(x)=-log(p(x))(4)
从香农自信息量的公式可以发现计算检测帧的显著性也就是是计算像素的概率。将检测帧分成很小的子块,标记该子块为检测帧的一个事件B(x,y,t)。相应的在前N-1帧中对应位置的事件构成集合V(x,y)={B(x,y,t-1),B(x,y,t-2),...,B(x,y,t-N+1)},则该事件的时域显著性可以通过公式(5)计算得到。
SalT(x,y,t)=-log(p(B(x,y,t)|V(x,y)(5)
=-log(p(y0|Y))
构建一个N维向量Y={y0,y1,...,yN-1},表示每一个子块,在此引入非参核密度估计,估计每一个事件发生的概率分布。
H表示带宽矩阵,核函数可以表示为KH(y)=||H||-1/2K(H-1/2y),式(6)具体展开可以表示为公式(7)。
公式中H(yi)反应样本点yi的变化导致估计样本点的变化情况,通常带宽可以表示为H(yi)=h(yi)I,h(yi)可以表示为yi到k-th近邻点的欧氏距离。为了计算简单,本文采用对称多变量高斯密度函数作为核函数。
最终检测帧中一个事件块的时域显著性可以表示为公式(9),
SalT表示检测帧的时域显著图。
3、空时域融合方法。
心理学研究发现,在人类视野注意范围之内,物体的显著性越高,越容易引起人的注意。而相对于静态的外部特征,人类更容易关注视觉场景中的运动物体,也就是说相对于静止的物体,运动物体的显著性更高。在本发明中,通过一种融合空域和时域显著性检测特征的方法,计算红外序列图像的显著图,突出红外图像的运动特征。
Sal(i,j)=α*SalS(i,j)+(1-α)*SalT(i,j)+β*SalT(i,j)*SalS(i,j)(10)
空时显著性特征值融合公式中α和β是可变参数,其中α∈[0,1],β>0。其中α表示目标静止特性的权值,更高的α值能突出目标的运动特性,β表示对非运动目标的抑制,更高的β值能加强对非运动目标的抑制作用,该公式在突出运动目标的显著性的同时保留非运动目标的显著性特征。
Claims (1)
1.一种基于空时显著性融合的红外运动目标检测方法,其特征在于包括以下步骤:
步骤一、将红外检测图像的颜色空间转换到Lab颜色空间,使用空域显著性检测方法-频率调谐方法计算检测帧的区域静态显著性特征,得到空域显著图SalS;
步骤二、在计算检测帧空域显著性的同时计算该帧图像的时域显著性特征;将检测帧分成子块,标记所述子块为检测帧的一个事件B(r,s,t);相应的在前N-1帧中对应位置的事件构成集合V(r,s)={B(r,s,t-1),B(r,s,t-2),...,B(r,s,t-N+1)},则该事件的时域显著性通过公式(1)计算得到;
构建一个N维向量Y={y0,y1,...,yN-1},表示每一个子块,在此引入非参核密度估计,估计每一个事件发生的概率分布;
式中,H表示带宽矩阵,核函数表示为KH(y)=||H||-1/2K(H-1/2y),式(2)具体展开表示为公式(3);
式中,H(yi)反应样本点yi的变化导致估计样本点的变化情况,带宽表示为H(yi)=h(yi)I,h(yi)表示为yi到k-th近邻点的欧氏距离;采用对称多变量高斯密度函数作为核函数;
最终检测帧中一个事件块的时域显著性表示为公式(5),
步骤三、将步骤一计算的静态空域显著性特征和步骤二计算的动态时域显著性特征融合,得到空时域目标显著性特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510998019.4A CN105631898B (zh) | 2015-12-28 | 2015-12-28 | 基于空时显著性融合的红外运动目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510998019.4A CN105631898B (zh) | 2015-12-28 | 2015-12-28 | 基于空时显著性融合的红外运动目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105631898A true CN105631898A (zh) | 2016-06-01 |
CN105631898B CN105631898B (zh) | 2019-04-19 |
Family
ID=56046784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510998019.4A Active CN105631898B (zh) | 2015-12-28 | 2015-12-28 | 基于空时显著性融合的红外运动目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105631898B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295542A (zh) * | 2016-08-03 | 2017-01-04 | 江苏大学 | 一种夜视红外图像中的基于显著性的道路目标提取方法 |
CN107122715A (zh) * | 2017-03-29 | 2017-09-01 | 哈尔滨工程大学 | 一种基于频‑时显著性结合的运动目标检测方法 |
CN107194948A (zh) * | 2017-04-17 | 2017-09-22 | 上海大学 | 基于集成式预测与时空域传播的视频显著性检测方法 |
CN107220628A (zh) * | 2017-06-06 | 2017-09-29 | 北京环境特性研究所 | 红外干扰源检测的方法 |
CN107507225A (zh) * | 2017-09-05 | 2017-12-22 | 明见(厦门)技术有限公司 | 运动目标检测方法、装置、介质及计算设备 |
CN107563370A (zh) * | 2017-07-07 | 2018-01-09 | 西北工业大学 | 一种基于视觉注意机制的海上红外目标检测方法 |
CN108647693A (zh) * | 2018-04-20 | 2018-10-12 | 华中科技大学 | 一种基于二元显著性特征的海面红外目标检测方法 |
CN109872300A (zh) * | 2018-12-17 | 2019-06-11 | 南京工大数控科技有限公司 | 一种摩擦片外观缺陷的视觉显著性检测方法 |
CN110969605A (zh) * | 2019-11-28 | 2020-04-07 | 华中科技大学 | 一种基于空时显著图的运动小目标检测方法和系统 |
CN111626306A (zh) * | 2019-03-25 | 2020-09-04 | 北京联合大学 | 一种显著图融合方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102496016A (zh) * | 2011-11-22 | 2012-06-13 | 武汉大学 | 一种基于时空协同框架的红外目标检测方法 |
CN102903120A (zh) * | 2012-07-19 | 2013-01-30 | 中国人民解放军国防科学技术大学 | 基于时空条件信息的运动目标检测方法 |
CN104123734A (zh) * | 2014-07-22 | 2014-10-29 | 西北工业大学 | 基于可见光和红外检测结果融合的运动目标检测方法 |
-
2015
- 2015-12-28 CN CN201510998019.4A patent/CN105631898B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102496016A (zh) * | 2011-11-22 | 2012-06-13 | 武汉大学 | 一种基于时空协同框架的红外目标检测方法 |
CN102903120A (zh) * | 2012-07-19 | 2013-01-30 | 中国人民解放军国防科学技术大学 | 基于时空条件信息的运动目标检测方法 |
CN104123734A (zh) * | 2014-07-22 | 2014-10-29 | 西北工业大学 | 基于可见光和红外检测结果融合的运动目标检测方法 |
Non-Patent Citations (2)
Title |
---|
CHANG LIU, ET AL.: "Object motion detection using information theoretic spatio-temporal saliency", 《PATTERN RECOGNITION》 * |
任蕾 等: "应用改进频率调谐的海上小目标检测方法", 《中国图象图形学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295542A (zh) * | 2016-08-03 | 2017-01-04 | 江苏大学 | 一种夜视红外图像中的基于显著性的道路目标提取方法 |
CN107122715A (zh) * | 2017-03-29 | 2017-09-01 | 哈尔滨工程大学 | 一种基于频‑时显著性结合的运动目标检测方法 |
CN107194948A (zh) * | 2017-04-17 | 2017-09-22 | 上海大学 | 基于集成式预测与时空域传播的视频显著性检测方法 |
CN107194948B (zh) * | 2017-04-17 | 2021-08-10 | 上海大学 | 基于集成式预测与时空域传播的视频显著性检测方法 |
CN107220628A (zh) * | 2017-06-06 | 2017-09-29 | 北京环境特性研究所 | 红外干扰源检测的方法 |
CN107563370A (zh) * | 2017-07-07 | 2018-01-09 | 西北工业大学 | 一种基于视觉注意机制的海上红外目标检测方法 |
CN107563370B (zh) * | 2017-07-07 | 2020-04-03 | 西北工业大学 | 一种基于视觉注意机制的海上红外目标检测方法 |
CN107507225B (zh) * | 2017-09-05 | 2020-10-27 | 明见(厦门)技术有限公司 | 运动目标检测方法、装置、介质及计算设备 |
CN107507225A (zh) * | 2017-09-05 | 2017-12-22 | 明见(厦门)技术有限公司 | 运动目标检测方法、装置、介质及计算设备 |
CN108647693A (zh) * | 2018-04-20 | 2018-10-12 | 华中科技大学 | 一种基于二元显著性特征的海面红外目标检测方法 |
CN109872300B (zh) * | 2018-12-17 | 2021-02-19 | 南京工大数控科技有限公司 | 一种摩擦片外观缺陷的视觉显著性检测方法 |
CN109872300A (zh) * | 2018-12-17 | 2019-06-11 | 南京工大数控科技有限公司 | 一种摩擦片外观缺陷的视觉显著性检测方法 |
CN111626306A (zh) * | 2019-03-25 | 2020-09-04 | 北京联合大学 | 一种显著图融合方法及系统 |
CN111626306B (zh) * | 2019-03-25 | 2023-10-13 | 北京联合大学 | 一种显著图融合方法及系统 |
CN110969605A (zh) * | 2019-11-28 | 2020-04-07 | 华中科技大学 | 一种基于空时显著图的运动小目标检测方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105631898B (zh) | 2019-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105631898A (zh) | 基于空时显著性融合的红外运动目标检测方法 | |
Wang et al. | Infrared dim target detection based on total variation regularization and principal component pursuit | |
CN103369209B (zh) | 视频降噪装置及方法 | |
CN102768760B (zh) | 一种基于图像纹理的图像快速去雾方法 | |
CN103700114B (zh) | 一种基于可变高斯混合数的复杂背景建模方法 | |
CN105261037A (zh) | 一种自适应复杂场景的运动目标检测方法 | |
CN101950416A (zh) | 基于双边滤波的实时图像去雾增强方法 | |
CN104834915B (zh) | 一种复杂云天背景下小红外目标检测方法 | |
CN102156995A (zh) | 一种运动相机下的视频运动前景分割方法 | |
CN104504652A (zh) | 一种快速有效保留边缘及方向特征的图像去噪方法 | |
CN104408742A (zh) | 一种基于空间-时间频谱联合分析的运动目标检测方法 | |
CN103729854A (zh) | 一种基于张量模型的红外弱小目标检测方法 | |
CN111353496B (zh) | 一种红外弱小目标实时检测方法 | |
CN102236887A (zh) | 基于旋转差分和加权总变分的运动模糊图像复原方法 | |
CN103514610B (zh) | 一种背景静止的运动目标分割方法 | |
CN112489073B (zh) | 基于帧间高级特征差分的零样本视频前景分割方法 | |
CN105046670A (zh) | 一种图像去雨方法及系统 | |
CN106056626B (zh) | 一种基于前景背景模型交互的运动目标检测方法 | |
CN105719251A (zh) | 一种用于大像移线性模糊的压缩降质图像复原方法 | |
Li et al. | The integration adjacent frame difference of improved ViBe for foreground object detection | |
CN105279742A (zh) | 一种快速的基于分块噪声能量估计的图像去噪方法 | |
Zhang et al. | Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model | |
CN103996199A (zh) | 一种基于深度信息的运动检测方法 | |
CN104424623A (zh) | 一种自然图像去雾方法和系统 | |
Qin et al. | A background extraction and shadow removal algorithm based on clustering for ViBe |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |