CN110751068B - 基于自适应时空融合的远距离弱小目标视觉检测方法 - Google Patents
基于自适应时空融合的远距离弱小目标视觉检测方法 Download PDFInfo
- Publication number
- CN110751068B CN110751068B CN201910951859.3A CN201910951859A CN110751068B CN 110751068 B CN110751068 B CN 110751068B CN 201910951859 A CN201910951859 A CN 201910951859A CN 110751068 B CN110751068 B CN 110751068B
- Authority
- CN
- China
- Prior art keywords
- space
- fusion
- image
- time
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开了一种基于自适应时空融合的远距离弱小目标视觉检测方法。该方法包括:1.滤除视频帧图像中地平线以下的地面背景,得到空域图;2.用暗目标帧间差分法对该空域图进行处理得到时间特征图;3.用行列解耦合底帽形态学滤波法对该空域图进行处理得到空间特征图;4.设计自适应切换的时空特征图融合机制对时间特征图和空间特征图进行融合,生成自适应时空融合图;5:局部自适应阈值分割。本发明方法在增强目标与背景对比度的同时抑制噪声和杂波,以实现高准确、低误检、少漏检的远距离弱小目标检测。
Description
技术领域
本发明涉及计算机视觉领域,具体而言,涉及一种基于自适应时空融合的远距离弱小目标视觉检测方法。
背景技术
随着低空空域的逐步开放,小型无人机、航模、滑翔机、三角翼、风筝等非合作小目标的增加,空域的管制难度大大增加。尤其是多旋翼小型无人机,由于其价格便宜、容易购买和使用、开放的编程体系、体型轻巧隐蔽、低空飞行速度快等特点,已经广泛应用到工业、民用等方面,包括个人航拍、娱乐、农业、林业、物流、气象、安防等。但是同时,近几年以来,全世界各地无人机的“黑飞”、“滥飞”事件频发,严重危害个人隐私安全、公共场所安全、航空安全以及国家安全。为应对频发的无人机的“黑飞”、“滥飞”事件对个体、公共甚至是国家安全造成的挑战,非常有必要对侵入特定区域的无人机进行反制。对目标进行高准确、低误检的检测是反制重要前提。为了给反制留出足够多的时间,应尽可能在较远距离时发现目标。由于目标距离监控摄像机很远且监测环境复杂,获取的观测目标存在信号弱、成像面积小、形状或纹理特征弱、无固定运动规律、缺乏相对运动等特点,目前的弱小目标视觉检测存在着诸多挑战。如何设计一种高准确、低误检、少漏检的远距离弱小目标检测方法是一个亟待解决的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本发明提供一种基于自适应时空融合的远距离弱小目标视觉检测方法,通过设计根据目标运动状态的自适应切换的时空融合算法,在增强目标与环境对比度的同时抑制噪声和杂波的强度,以实现高准确、低误检、少漏检的远距离弱对比度小目标检测。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面,提供了一种基于自适应时空融合的远距离弱小目标视觉检测方法,包括五个步骤,分别是:步骤一:通过地平线检测算法,滤除视频帧图像中地平线以下的地面背景,得到空域图;步骤二:远距离弱小目标在可见光图像中相对于天空背景多呈暗色斑块,使用暗目标帧间差分法对所述空域图进行处理,生成时间特征图;步骤三:使用行列解耦合底帽形态学滤波法对所述空域图进行处理,生成空间特征图;步骤四:设计自适应切换的时空特征图融合机制对所述时间特征图和所述空间特征图进行融合,生成自适应时空融合图,具体为由空间特征图与时间特征图做元素点乘和空间均匀平滑得到得到块级时空融合图,当块级时空融合图的峰值大于运动阈值时,块级时空融合图即为自适应时空融合图,否则对空间特征图做元素平方得到自适应时空融合图;步骤五:使用局部自适应阈值分割对所述自适应时空融合图进行二值化分割,得到时空融合二值化分割图,将弱小目标从空域背景中分割出来。以下我们将依次对各个步骤进行详细介绍。
针对步骤一中的视频图像预处理,本方法主要用于检测空域背景中的弱小目标避免复杂地面背景对检测的影响,首先由基于Canny算子得到边缘图,然后根据原图及边缘共同构建梯度的能量优化函数,当能量优化函数取得最小值时的地平线即为最优地平线,然后将地平线以下的地面背景滤除,只保留天空背景;
在步骤二中,由暗目标帧间差分法生成时间特征图的计算过程如公式(1)所示:
TDID(x,y,c,k)=max{μ,I(x,y,c,k-1)-I(x,y,c,k)} (1)
其中I(x,y,c,k)表示第k帧视频图像,x=1,2...,M,y=1,2,...,N分别为像素的横纵坐标,M,N分别是图像的宽度和高度,c∈{R,G,B}代表图像的不同通道,TDID(x,y,c,k)为生成的时间特征图,μ为表征暗目标的预设值。首先第k-1帧图像减去第k帧图像得到残差图像,由于远距离弱小目标在可见光图像中多呈暗色,故将残差图中小于预设值μ的元素置为μ,μ是根据实验环境设定的,通常设为0即可,得到时间特征图。
在步骤三中,使用行列解耦合底帽形态学滤波法生成空间特征图的计算过程如公式(2-5)所示:
SRCSBH=min{BH(I,Erow),BH(I,Ecol)} (5)
其中I为图像I(x,y,c,k)的缩写,与分别为形态学腐蚀算子和形态学膨胀算子如公式(2-3)所示,E、Erow、Ecol均为结构化算子,其中矩形结构化算子被解耦成行结构化算子与列结构化算子 ω表征结构化算子的大小,SRCSBH代表生成的空间特征图。
在步骤四中,设计自适应切换的时空特征图融合机制对步骤二、三中生成的时间特征图TDID和空间特征图SRCSBH进行融合,生成自适应时空融合图,其计算步骤为公式(6-8)所示:
其中|C|为图像通道数,为融合切换符号,用于时空融合检测模式与纯空间检测模式之间的切换,其值为公式(8)确定,α为切换阈值,由大量实验数据集交叉验证得到,ASSTpixel为像素级时空融合图,ASSTpatch为块级时空融合图,K(i,j)为空间均匀滤波核,其元素均为r用来表征均匀滤波核的大小,r通常取2。
在步骤五中,使用局部自适应阈值分割对步骤四中生成的块级自适应时空融合图ASSTpatch进行二值化分割,得到时空融合二值化分割图如公式(9-10)所示,将弱小目标从空域背景中分割出来。
其中θ(x,y)为局部自适应阈值,m(x,y)和σ(x,y)为大小为s×s的图像局部矩形区域的元素平均值与标准差,k1和k2分别是时空融合检测模式与纯空间检测模式的偏离率,由数据集交叉验证得到,B(x,y)表征最终二值化分割图。
本发明的有益效果在于:
1.根据远距离弱小目标可见光图像多呈暗色斑点的特性,使用暗目标帧间差分法代替传统的帧间差分法,消除了“鬼影”现象。
2.在空间特征图获取时,将传统底帽形态学滤波的矩形结构化算子解耦成行结构化算子与列结构化算子,减小了算法复杂度,提高了算法的运算效率。
3.使用融合机制的自适应切换,使得本发明算法可以同时检测静止和运动的目标。
4.通过时空融合机制,在提高目标与局部背景对比度的同时,抑制了噪声和杂活,提高了检测的准确率,降低了误检率与漏检率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
在附图中:
图1示出了基于自适应时空融合的远距离弱小目标视觉检测方法流程图;
图2示出了基于自适应时空融合的远距离弱小目标视觉检测方法的可视化效果图;
图3是暗目标帧间差分法的流程图;
图4是暗目标帧间差分法产与传统帧间差分法检测结果比较图;
图5是行列解耦底帽形态学滤波波的算法流程图;
图6是基于自适应时空融合的远距离弱小目标视觉检测方法在实际实验中的检测结果图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
图1示出了基于自适应时空融合的远距离弱小目标视觉检测方法流程图。步骤一:通过梯度能量优化法检测视频帧中的地平线,若检测到有地平线将地平线以下的地面背景滤除,得到空域图;步骤二:使用暗目标帧间差分法对所述空域图进行处理,生成时间特征图;步骤三:使用行列解耦合底帽形态学滤波法对所述空域图进行处理,生成空间特征图;步骤四:设计自适应切换的时空特征图融合机制对所述时间特征图和所述空间特征图进行融合,生成自适应时空融合图,具体计算过程如公式(6-8)所示:
其中|C|为图像通道数,为融合切换符号,用于时空融合检测模式纯空间检测模式之间的切换,其值为公式(8)确定,α为切换阈值,由大量实验数据集交叉验证得到,ASSTpixel为像素级时空融合图,ASSTpatch为块级时空融合图,K(i,j)为空间均匀滤波核,其元素均为r用来表征均匀滤波核的大小,r通常取2。步骤五:使用局部自适应阈值分割对所述自适应时空融合图进行二值化分割,得到时空融合二值化分割图,将弱小目标从空域背景中分割出来,具体计算过程如公式(9-11)所示:
其中θ(x,y)为局部自适应阈值,m(x,y)和σ(x,y)为大小为s×s的图像局部矩形区域的元素平均值与标准差,s通常根据小目标的最大尺寸设定,本实施例中s=15;k1和k2分别是时空融合检测模式与纯空间检测模式的偏离率,由数据集交叉验证得到,本实施例中k1=3和k2=10,B(x,y)表征最终二值化分割图。
图2示出了基于自适应时空融合的远距离弱小目标视觉检测方法的可视化效果图,从时间特征图、空间特征图与自适应时空融合图的对比中可以发现,目标与局部背景的对比度在时空融合特征图中被大大增强,同时噪声及杂波(即误检)被抑制。
图3是暗目标帧间差分法的流程图,首先第k-1帧图像减去第k帧图像得到残差图像,由于远距离弱小目标在可见光图像中多呈暗色,故将残差图的中的图像中小于μ的元素均置μ,此操作在图像RGB3个通道上均进行。
其具体计算过程如下:
TDID(x,y,c,k)=max{μ,I(x,y,c,k-1)-I(x,y,c,k)} (1)
其中I(x,y,c,k)表示第k帧视频图像,x=1,2...,M,y=1,2,...,N分别为像素的横纵坐标,M,N分别是图像的宽度和高度,c∈{R,G,B}代表图像的不同通道,TDID(x,y,c,k)为生成的时间特征图,μ为表征暗目标的预设值。首先第k-1帧图像减去第k帧图像得到残差图像,由于远距离弱小目标在可见光图像中多呈暗色,故将残差图中小于预设值μ的元素置为μ,μ是根据实验环境设定的,通常设为0即可,得到时间特征图。
图4是暗目标帧间差分法产与传统帧间差分法检测结果比较图,(a)为视频原图,(b)为传统帧间差分检测效果图,(c)为暗目标帧间差分检测效果图,由(b)(c)图比较,我们可以发现暗目标帧间差分法可以消除鬼影现象,从而降低误检率。
图5是行列解耦底帽形态学滤波波的算法流程图,首先用行结构元素底帽形态学滤波用列结构元素滤波处理输入图像l,得到BH(I,Erow)与BH(I,Ecol),然后取两者对应元素的最小值得到空间特征图SRCSBH,其具体计算过程如下:
SRcSBH=min{BH(I,Erow),BH(I,Ecol)} (5)
其中I为图像I(x,y,c,k)的缩写,与分别为形态学腐蚀算子和形态学膨胀算子如公式(2-3)所示,E、Erow、Ecol均为结构化算子,其中矩形结构化算子被解耦成行结构化算子与列结构化算子 ω表征结构化算子的大小。
图6是基于自适应时空融合的远距离弱小目标视觉检测算法在实际实验中的检测结果图。每一列代表一种不同的实验场景,第一行是视频原图,第二行是经过地平线检测过滤地面背景后的视频图像,第三、四、五行分别是时间特征图,空间特征图及自适应时间融合特征图。由对比可知,本专利提出的算法可以显著地提升目标与局部背景之间的对比度,且适用于不同天气不同场景。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (1)
1.一种基于自适应时空融合的远距离弱小目标视觉检测方法,其特征在于,包括以下步骤:
步骤一:滤除视频帧图像中地平线以下的地面背景,得到空域图;
步骤二:使用暗目标帧间差分法对所述空域图进行处理,生成时间特征图;由暗目标帧间差分法生成时间特征图的计算过程如公式(1)所示:
TDID(x,y,c,k)=max{μ,I(x,y,c,k-1)-I(x,y,c,k)} (1)
其中I(x,y,c,k)表示第k帧视频图像,x=1,2...,M,y=1,2,...,N分别为像素的横纵坐标,M,N分别是图像的宽度和高度,c∈{R,G,B}代表图像的不同通道,TDID(x,y,c,k)为生成的时间特征图,μ为表征暗目标的预设值;首先第k-1帧图像减去第k帧图像得到残差图像,然后将残差图中小于预设值μ的元素置为μ,得到时间特征图;
步骤三:使用行列解耦合底帽形态学滤波法对所述空域图进行处理,生成空间特征图;行列解耦合底帽形态学滤波法生成空间特征图的计算过程如公式(2-5)所示:
SRCSBH=min{BH(I,Erow),BH(I,Ecol)} (5)
其中I为图像I(x,y,c,k)的缩写,与分别为形态学腐蚀算子和形态学膨胀算子,E、Erow、Ecol均为结构化算子,其中矩形结构化算子被解耦成行结构化算子 与列结构化算子ω表征结构化算子的大小,SRCSBH代表生成的空间特征图;
步骤四:由空间特征图与时间特征图做元素点乘和空间均匀平滑得到块级时空融合图,当块级时空融合图的峰值大于运动阈值时,块级时空融合图即为自适应时空融合图,否则对空间特征图做元素平方得到自适应时空融合图;具体为:设计自适应切换的时空特征图融合机制对步骤二、三中生成的时间特征图TDID和空间特征图SRCSBH进行融合,生成自适应时空融合图,其计算步骤为公式(6-8)所示:
其中|c|为图像通道数,为融合切换符号,用于时空融合检测模式与纯空间检测模式之间的切换,其值为公式(8)确定,α为切换阈值,ASSTpixel为像素级时空融合图,ASSTpatch为块级时空融合图,K(i,j)为空间均匀滤波核,其元素均为r用来表征均匀滤波核的大小;
步骤五:使用局部自适应阈值分割步骤四中生成的块级自适应时空融合图ASSTpatch进行二值化分割,得到时空融合二值化分割图,将弱小目标从空域背景中分割出来;
其中θ(x,y)为局部自适应阈值,m(x,y)和σ(x,y)为大小为s×s的图像局部矩形区域的元素平均值与标准差,k1和k2分别是时空融合检测模式与纯空间检测模式的偏离率,由数据集交叉验证得到,B(x,y)表征最终二值化分割图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910951859.3A CN110751068B (zh) | 2019-10-08 | 2019-10-08 | 基于自适应时空融合的远距离弱小目标视觉检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910951859.3A CN110751068B (zh) | 2019-10-08 | 2019-10-08 | 基于自适应时空融合的远距离弱小目标视觉检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751068A CN110751068A (zh) | 2020-02-04 |
CN110751068B true CN110751068B (zh) | 2022-08-23 |
Family
ID=69277746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910951859.3A Active CN110751068B (zh) | 2019-10-08 | 2019-10-08 | 基于自适应时空融合的远距离弱小目标视觉检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751068B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699786B (zh) * | 2020-12-29 | 2022-03-29 | 华南理工大学 | 一种基于空间增强模块的视频行为识别方法及系统 |
CN113223059B (zh) * | 2021-05-17 | 2022-10-21 | 浙江大学 | 基于超分辨率特征增强的弱小空域目标检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005022090A2 (en) * | 2003-03-21 | 2005-03-10 | Lockheed Martin Corporation | Target detection improvements using temporal integrations and spatial fusion |
CN104103080A (zh) * | 2014-07-02 | 2014-10-15 | 华中科技大学 | 一种复杂背景下弱小目标检测的方法 |
CN104299229A (zh) * | 2014-09-23 | 2015-01-21 | 西安电子科技大学 | 一种基于时空域背景抑制的红外弱小目标检测方法 |
CN107507225A (zh) * | 2017-09-05 | 2017-12-22 | 明见(厦门)技术有限公司 | 运动目标检测方法、装置、介质及计算设备 |
-
2019
- 2019-10-08 CN CN201910951859.3A patent/CN110751068B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005022090A2 (en) * | 2003-03-21 | 2005-03-10 | Lockheed Martin Corporation | Target detection improvements using temporal integrations and spatial fusion |
CN104103080A (zh) * | 2014-07-02 | 2014-10-15 | 华中科技大学 | 一种复杂背景下弱小目标检测的方法 |
CN104299229A (zh) * | 2014-09-23 | 2015-01-21 | 西安电子科技大学 | 一种基于时空域背景抑制的红外弱小目标检测方法 |
CN107507225A (zh) * | 2017-09-05 | 2017-12-22 | 明见(厦门)技术有限公司 | 运动目标检测方法、装置、介质及计算设备 |
Non-Patent Citations (3)
Title |
---|
Spatial-temporal local contrast for moving point target detection in space-based infrared imaging system;BendongZhao等;《Infrared Physics & Technology》;20181012;第95卷;第53-60页 * |
基于时空域融合滤波的红外小目标实时检测算法及其多C64x的设计与实现;刘云鹤等;《弹箭与制导学报》;20071215;第27卷(第5期);第75-77页 * |
基于时空域融合滤波的红外运动小目标检测算法;王卫华等;《红外与激光工程》;20051225;第34卷(第6期);第715-718页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110751068A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Rain streak removal using layer priors | |
CN109272489B (zh) | 基于背景抑制与多尺度局部熵的红外弱小目标检测方法 | |
Long et al. | Single remote sensing image dehazing | |
CN104933680B (zh) | 一种智能的无人艇视觉系统视频快速海雾去除方法 | |
Guo et al. | Lightweight deep network-enabled real-time low-visibility enhancement for promoting vessel detection in maritime video surveillance | |
CN108921803B (zh) | 一种基于毫米波与可见光图像融合的去雾方法 | |
CN104616258B (zh) | 一种针对道路图像的快速去雾方法 | |
US20140314270A1 (en) | Detection of floating objects in maritime video using a mobile camera | |
CN105404847A (zh) | 一种遗留物实时检测方法 | |
CN111179318B (zh) | 基于双流法的复杂背景运动小目标检测方法 | |
CN110751068B (zh) | 基于自适应时空融合的远距离弱小目标视觉检测方法 | |
CN110660065B (zh) | 一种红外故障检测识别算法 | |
Huerta et al. | Exploiting multiple cues in motion segmentation based on background subtraction | |
Xie et al. | Adaptive switching spatial-temporal fusion detection for remote flying drones | |
Gu et al. | A low-light image enhancement method based on image degradation model and pure pixel ratio prior | |
He et al. | Lane detection for track-following based on histogram statistics | |
Miller et al. | Person tracking in UAV video | |
CN113205494B (zh) | 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统 | |
Chan | Maritime filtering for images and videos | |
Dong et al. | Adaptive Object Detection and Visibility Improvement in Foggy Image. | |
Sandeep | Remote sensing image dehazing using guided filter | |
Jeong et al. | Fast fog detection for de-fogging of road driving images | |
CN108171661B (zh) | 基于改进Tri边缘算子的红外目标检测方法 | |
CN111160154A (zh) | 串级时空特征融合远距离弱小目标视觉检测方法 | |
CN109948570B (zh) | 一种用于动态环境下的无人机实时检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |