CN115311470B - 自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质 - Google Patents
自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115311470B CN115311470B CN202211186992.2A CN202211186992A CN115311470B CN 115311470 B CN115311470 B CN 115311470B CN 202211186992 A CN202211186992 A CN 202211186992A CN 115311470 B CN115311470 B CN 115311470B
- Authority
- CN
- China
- Prior art keywords
- target
- filter
- filtering
- block matching
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 36
- 238000011897 real-time detection Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，包括如下步骤：步骤1，基于探测器输入视频信号转换成数据流；步骤2，对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；步骤3，提取场景中目标特征，获取当前帧目标位置；步骤4，预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；步骤5，输出叠加目标位置信息的数字视频和模拟视频。本发明提供一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，可以在目标明显场景下抑制背景干扰，在目标不明显场景下突显目标，提高目标与背景的对比度，实现红外小目标的检测与跟踪。
Description
技术领域
本发明属于光电探测和图像处理技术领域，涉及一种红外小目标检测与跟踪方法，尤其涉及一种自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质。
背景技术
红外目标检测与跟踪技术是当前国内外武器装备发展的重点技术之一，在现代化武器装备发展和国防安全领域起到至关重要的作用。红外目标由于成像距离远，在视场中往往只占几像素或十几像素，在场景中多以小目标形式存在。红外小目标检测主要有以下难点：图像对比度低，可提取特征少；背景复杂，目标通常淹没在背景或噪声中；目标机动性强，运动轨迹难以预测，对算法实时性要求高。因此，如何在复杂背景下更早更快更准的发现目标和跟踪目标是当前红外图像研究领域的一个热点和难点。
目前，红外目标检测与跟踪领域已发展出大量的检测与跟踪算法。基于相关滤波的方法主要通过设计滤波模板并利用模板与目标候选区域进行卷积，根据最大响应获取当前目标位置。基于深度学习的方法主要利用深度学习强大的学习能力去提取目标特征，将目标外观模型和运动特征结合起来去检测和跟踪目标。多目标跟踪方法主要利用图像分割方法对场景中的多个目标进行分类，并利用单目标跟踪方法进行多线程跟踪。
综上所述，对于实时目标检测和跟踪系统，有效的红外小目标实时检测与跟踪方法是十分重要的。特别在弹标检测与跟踪领域，弹标灰度和尺寸均随时间逐渐减小，且运动轨迹受加速器影响是复杂多变的，如何在复杂背景下实现对红外弹标的实时检测与跟踪具有重要的研究意义和实用价值。
发明内容
为了解决上述问题，本发明提供一种自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质，可以在目标明显场景下抑制背景干扰，在目标不明显场景下突显目标，提高目标与背景的对比度，实现红外小目标的检测与跟踪。
上述目的可通过以下技术方案实现：
本发明首先一个方面提供一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，包括如下步骤：
步骤1，基于探测器输入视频信号转换成数据流；
步骤2，对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；
步骤3，提取场景中目标特征，获取当前帧目标位置；
步骤4，预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；
步骤5，输出叠加目标位置信息的数字视频和模拟视频。
在一个实施例中，步骤1包括：
步骤1.1，根据探测器的通信协议，对探测器数据包进行解码处理，找到数据包包头位置，获取对应的图像信息包；
步骤1.2，由所述图像信息包生成对应的标准行信号、场信号和数据有效信号；
步骤1.3，采用FPGA自带的视频流转换模块将生成的标准行信号、场信号和数据有效信号转换成数据流。
在一个实施例中，步骤2包括：
步骤2.1，根据跟踪目标的形状和尺寸设计滤波器，以抑制背景突显目标；
步骤2.2，将所述数据流与滤波器卷积得到滤波结果；
步骤2.3，比较多路多尺度滤波结果，选择最优滤波结果。
在一个实施例中，步骤2.1包括：
根据跟踪目标的形状和尺寸，设计一个平滑局部突显中心的滤波器；
所述平滑局部突显中心的滤波器采用拉普拉斯滤波器，将均值滤波器和拉普拉斯滤波器结合，以平滑局部突显中心；
采用HLS将块匹配滤波器设计为多路多尺度，具体为：
式中，Kernal为滤波器，SIZE为滤波器尺度因子，SIZE=3,5,7,9；i和j分别代表滤波器的横向和纵向坐标，i=0,1,2,…,3SIZE-1，j=0,1,2,…,3SIZE-1，
表示向下取整；
和/或，步骤2.2包括：
根据步骤2.1构造的滤波器与输入数据流进行卷积，获得多路多尺度数据流滤波结果，具体为：
式中，I k 为滤波后结果，I in 为输入数据流，m和n分别代表图像的横向和纵向坐标，m=1,2,…,M，n=1,2,…,N，M和N为图像最大尺寸；
和/或，步骤2.3包括：
根据步骤2.2滤波结果，计算每个尺度下滤波结果的局部对比度，响应最大的即为当前目标最适合的尺度，具体为：
式中，LCM表示获取图像局部对比度，I s 表示当前帧最优滤波结果，I k1 表示滤波器中心区域像素灰度，I k2 表示滤波器周围区域像素灰度。
在一个实施例中，步骤3包括：
步骤3.1，采用FAST角点检测的方法获取目标特征，利用HLS实现FAST角点检测，并设定一个随帧数变化的动态阈值；
步骤3.2，考虑到特征点通常位于目标中心，将目标的特征点位置视为当前帧目标位置。
在一个实施例中，步骤4包括：
步骤4.1，根据目标运动的整个过程设定智能波门大小，并根据预测结果调整波门大小；
步骤4.2，采取二阶自回归预测方法预测运动轨迹，以前两帧的相对位移预测当前帧目标位置；
步骤4.3，在波门内，根据目标预测位置和实际位置差异，给波门内的所有特征点赋以不同的置信度因子。
在一个实施例中，步骤5包括：
步骤5.1，将目标位置信息叠加到输出的数字视频中，具体为：
采用FPGA自带的叠图模块，在原始视频流上叠加一路目标位置信息图像，并利用FPGA自带的数据流输出模块转换成标准行信号、场信号和数据有效信号；
根据数字视频输出端口及其协议，通过重新编码的方式借助芯片或软核转换成要求输出的数字视频；
步骤5.2，将数字视频转换成模拟视频，具体为：
根据步骤5.1得到的数字视频，借助芯片或软核转换成模拟视频，便于视频的实时显示与观察。
本发明另一方面提供一种自适应块匹配滤波的红外小目标实时检测与跟踪系统，包括：
数据输入模块，用于将探测器输入的视频信号转换成数据流；
块匹配滤波模块，用于对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；
特征提取模块，用于提取场景中目标特征，获取当前帧目标位置；
预测反馈模块，用于预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；
数据输出模块，用于输出叠加目标位置信息的数字视频和模拟视频。
本发明又一方面提供一种自适应块匹配滤波的红外小目标实时检测与跟踪装置，其特征在于，包括：
至少一个存储器，用于存储至少一个程序；
至少一个处理器；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现本发明第一方面所述的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法。
本发明再一方面提供一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行本发明第一方面所述的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法。
相比于现有技术，本发明的有益效果如下：
1、本发明公开的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，根据检测和跟踪目标的形状和大小，设计一种自适应匹配滤波器，通过与目标块进行卷积增强目标特征，抑制背景中噪声和其他小目标的影响。
2、本发明公开的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，在单目标检测与跟踪算法中增加了反馈链路，通过引入智能波门和置信度因子，一方面抑制了背景中干扰目标的影响，增强了目标检测的可靠性，另一方面对智能波门内的所有特征点赋予了不同的置信度因子，提高了目标跟踪的稳定性。
3、本发明公开的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，能够基于FPGA硬件平台实现实时红外小目标的检测与跟踪。
4、本发明公开的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法应用领域，包括红外导引头末端制导、地控火箭筒、近程榴弹制导等领域，在所述应用领域构造符合目标的自适应匹配滤波器，抑制背景突显目标，提高红外小目标检测与跟踪的精度和可靠性。
应当理解，本发明任一实施方式的实现并不意味要同时具备或达到上述有益效果的多个或全部。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容涵盖的范围内。
图1为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法模块原理图；
图2为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法流程图；
图3为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪系统框图；
图4为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪装置框图；
图5（a）为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法的实际效果图（不加自适应块匹配滤波器的图像）；
图5（b）为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法的实际效果图（加自适应块匹配滤波器的图像）。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本发明的描述中，需要理解的是，术语“包括/包含”、“由……组成”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的产品、设备、过程或方法不仅包括那些要素，而且需要时还可以包括没有明确列出的其他要素，或者是还包括为这种产品、设备、过程或方法所固有的要素。在没有更多限制的情况下，由语句“包括/包含……”、“由……组成”限定的要素，并不排除在包括所述要素的产品、设备、过程或方法中还存在另外的相同要素。
除非另有明确的规定和限定，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“中心”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置、部件或结构必须具有特定的方位、以特定的方位构造或操作，不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“步骤一”、“步骤二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者对步骤顺序的限定或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以下结合较佳的实施方式对本发明的实现进行详细的描述。
参见图1，图1示出本发明一种自适应块匹配滤波的红外小目标实时检测与跟踪方法模块原理图，根据检测和跟踪目标的形状和大小，设计一个自适应块匹配滤波器，通过多尺度块匹配滤波、目的特征点提取，并增加了反馈链路，通过引入智能波门和置信度因子，抑制背景中干扰目标的影响，增强目标检测的可靠性，提高目标跟踪的稳定性。
参见图2，本发明一种自适应块匹配滤波的红外小目标实时检测与跟踪方法100，包括如下步骤：基于探测器输入视频信号转换成数据流；对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；提取场景中目标特征，获取当前帧目标位置；预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；输出叠加目标位置信息的数字视频和模拟视频。本发明使用自适应块匹配滤波技术，相比未使用自适应块匹配滤波技术的情形，采用本发明方法可以在目标明显场景下抑制背景干扰，在目标不明显场景下突显目标，提高目标与背景的对比度，实现红外小目标的实时检测与跟踪。
在一些实施例中，本发明采用基于FPGA的硬件平台，输入的序列红外小目标图像分辨率为640×512，可通过CML、Cameralink、LVDS等协议传输，传输14位原始红外图像数据进行目标检测和跟踪，输出CameraLink数字视频和PAL制模拟视频，采用RS422进行通信。
方法100具体实施步骤如下：
框101中，步骤1，基于探测器输入视频信号转换成数据流。
具体方法为：首先，接收探测器的CML、Cameralink、LVDS等信号到对应的解码芯片，然后根据协议对探测器数据包进行解码处理，获取对应的图像信息包，并生成对应的行信号、场信号和数据有效信号；其次，采用FPGA的IP核视频流转换模块Video In to AXI-4Stream将生成的标准行场数据有效信号转换成数据流。
框102中，步骤2，对数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果。
步骤2.1，根据实际跟踪目标的形状和尺寸设计滤波器，起到抑制背景突显目标的作用。
考虑到场景中目标尺寸一般大于3×3像素，而噪声和部分干扰源尺寸小于3×3或大于3×3，因此平滑局部采取3×3大小的均值滤波器可以抑制局部微小变化。考虑到后续提取目标特征时主要通过中心与周围像素灰度差异来提取特征，所以突显中心采用拉普拉斯滤波器。将均值滤波器和拉普拉斯滤波器结合起来，起到平滑局部突显中心的作用。
在一些实施例中，根据实际跟踪目标的形状和尺寸，设计三种尺度的块匹配滤波器，分别为3、5、7。其中，均值滤波器尺度一直为3，主要起到抑制噪声干扰和场景微小变化的作用，拉普拉斯滤波器尺度为3、5、7，主要增强目标和背景的对比度，突出目标位置。
考虑到实际使用，采用HLS将块匹配滤波器设计为多路多尺度，具体为：
公式（1）描述了滤波器的构造，式中，Kernal为滤波器，SIZE为滤波器尺度因子，SIZE=3,5,7,9（红外小目标小于81个像素）；i和j分别代表滤波器的横向和纵向坐标，i =0,1,2,…,3SIZE-1，j=0,1,2,…,3SIZE-1，
表示向下取整。
通过采用HLS将块匹配滤波器设计为多路多尺度，一方面在目标尺寸剧烈变化时可以获取某一尺度较好结果，另一方面通过多路并行处理可以满足实时滤波。
步骤2.2，将数据流与滤波器器卷积得到滤波结果。
在一些实施例中，根据步骤2.1构造的滤波器与输入数据流进行卷积，获得多路多尺度数据流滤波结果，具体为：
公式（2）为数据流与滤波器卷积，式中，I k 为滤波后结果，I in 为输入数据流，m和n分别代表图像的横向和纵向坐标，m=1,2,…,M，n=1,2,…,N，M和N为图像最大尺寸。
本发明中，将Video In to AXI-4 Stream模块的视频流一分三输入到HLS生成的块滤波匹配器，获得对应尺度的滤波结果。
步骤2.3，比较多路多尺度滤波结果，选择最优滤波结果。
在一些实施例中，根据步骤2.2滤波结果，计算每个尺度下滤波结果的局部对比度，响应最大的即为当前目标最适合的尺度，具体为：
公式（3）和（4）描述了如何去自适应选择最优滤波结果，式中，I k1 表示滤波器中心区域像素灰度，I k2 表示滤波器周围区域像素灰度，LCM表示获取图像局部对比度，I s 表示当前帧最优滤波结果。
框103中，步骤3，提取场景中目标特征，获取当前帧目标位置。
在一些实施例中，具体方法为：
步骤3.1，采用FAST角点检测的方法获取目标特征，利用HLS实现FAST角点检测，并设定一个随帧数变化的动态阈值；
步骤3.2，考虑到特征点通常位于目标中心，故将目标的特征点位置视为当前帧目标位置。
本发明中，考虑到弥散效应，实际跟踪的红外小目标在视场中基本呈现一个圆斑，采取FAST角点检测的方法去获取目标特征，利用HLS自带的FAST模块进行目标的特征点提取，由于跟踪的目标为弹标，初始会有发动机喷火和加速剂脱离过程，所以前期灰度和面积均很大，只需要用灰度阈值去获取目标位置即可。中后期弹标逐渐缩小且无辐射源导致灰度减弱，基本只存在一个特征点或者不存在特征点，如果更改FAST阈值，会产生更多的噪声干扰源，而经过块匹配滤波器后可有效增强目标与背景的对比度，提高目标识别的准确率。
通常情况下目标只有一个特征点，且该特征点位于目标中心，故可将特征点位置认为是当前目标位置。
框104中，步骤4，预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子。
在一些实施例中，具体方法为：
步骤4.1，根据目标运动的整个过程设定智能波门大小，并根据预测结果去调整波门大小；
步骤4.2，采取二阶自回归预测方法预测运动轨迹，以前两帧的相对位移预测当前帧目标位置；
步骤4.3，在波门内，根据目标预测位置和实际位置差异，给波门内的所有特征点赋以不同的置信度因子。
本发明中，根据智能波门和运动轨迹预测下一帧目标位置，智能波门大小主要是通过帧数进行设定，运动轨迹预测采取二阶自回归预测方法。智能波门的设定主要考虑到目标飞行的整个阶段，从准备到发射到飞行到落地的全过程，整个过程目标的形状以及位置在初始阶段会有一个比较大的变化，故前期波门相对较大便于捕获目标，后期目标飞行平稳，其亮度与背景亮度差异减小，故以抗干扰为目的，设定较小波门。考虑到目标在中后期飞行阶段相对平稳，前后三帧的实际运动轨迹与预测的偏差很小，故以前两帧的相对位移来预测当前帧目标位置。在波门内，根据目标预测位置和实际位置差异，给波门内的所有特征点赋以不同的置信度因子来增强算法的抗干扰能力。
框105中，步骤5，输出叠加目标位置信息的数字视频和模拟视频。
步骤5.1，将目标位置信息叠加到输出的数字视频中。
具体方法为：采用FPGA自带的Video Mixer叠图模块，在原始视频流上叠加一路目标位置信息图像，并利用FPGA自带的数据流输出模块AXI4-Stream to Video Out转换成标准行场数据有效信号。根据CameraLink数字视频输出端口及其协议，利用软核转换成要求输出的数字视频。
步骤5.2，将数字视频转换成模拟视频。
具体方法为：根据步骤5.1得到的数字视频，借助ADV7391等数模转换芯片将其转换成模拟视频，便于视频的实时显示与观察。图5（a）、5（b）分别为本发明公开的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法的不加自适应块匹配滤波器和加自适应块匹配滤波器的实际效果图。可以发现，经过块匹配滤波器处理后，目标与背景的对比度得到显著提升。
继续参见图3，图3为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪系统200框图，由图3可见，系统200包括：数据输入模块201，用于将探测器输入的视频信号转换成数据流；块匹配滤波模块202，用于对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；特征提取模块203，用于提取场景中目标特征，获取当前帧目标位置；预测反馈模块204，用于预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；数据输出模块205，用于输出叠加目标位置信息的数字视频和模拟视频。
虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
继续参见图4，图4为本发明的一种自适应块匹配滤波的红外小目标实时检测与跟踪装置300框图，由图4可见，装置300包括：至少一个存储器301，用于存储至少一个程序；至少一个处理器302；当至少一个程序被至少一个处理器302执行，使得至少一个处理器302实现一种自适应块匹配滤波的红外小目标实时检测与跟踪方法。
处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor)、专用集成电路(ApplicationSpecific Integrated Circuit)、现成可编程门阵列(Field Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储所述计算机程序和/或模块，处理器通过运行或执行存储在所述存储器内的数据，实现发明中模型构建装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行一种自适应块匹配滤波的红外小目标实时检测与跟踪方法。
方法的实现如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明公开的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法应用领域，包括红外导引头末端制导、地控火箭筒、近程榴弹制导等领域，在所述应用领域构造符合目标的自适应匹配滤波器，抑制背景突显目标，提高红外小目标检测与跟踪的精度和可靠性。
本领域技术人员容易理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种自适应块匹配滤波的红外小目标实时检测与跟踪方法，其特征在于，包括如下步骤：
步骤1，基于探测器输入视频信号转换成数据流；
步骤2，对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；
步骤3，提取场景中目标特征，获取当前帧目标位置；
步骤4，预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；
步骤5，输出叠加目标位置信息的数字视频和模拟视频。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
步骤1.1，根据探测器的通信协议，对探测器数据包进行解码处理，找到数据包包头位置，获取对应的图像信息包；
步骤1.2，由所述图像信息包生成对应的标准行信号、场信号和数据有效信号；
步骤1.3，采用FPGA自带的视频流转换模块将生成的标准行信号、场信号和数据有效信号转换成数据流。
3.根据权利要求1所述的方法，其特征在于，步骤2包括：
步骤2.1，根据跟踪目标的形状和尺寸设计滤波器，以抑制背景突显目标；
步骤2.2，将所述数据流与滤波器卷积得到滤波结果；
步骤2.3，比较多路多尺度滤波结果，选择最优滤波结果。
4.根据权利要求3所述的方法，其特征在于，步骤2.1包括：
根据跟踪目标的形状和尺寸，设计一个平滑 局部突显中心的滤波器；
所述的平滑 局部突显中心的滤波器采用拉普拉斯滤波器，将均值滤波器和拉普拉斯滤波器结合，以平滑局部突显中心；
采用HLS将块匹配滤波器设计为多路多尺度，具体为：
式中，Kernal为滤波器，SIZE为滤波器尺度因子，SIZE=3,5,7,9；i和j分别代表滤波器的横向和纵向坐标，i=0,1,2,…,3SIZE-1，j=0,1,2,…,3SIZE-1，
表示向下取整。
5.根据权利要求3所述的方法，其特征在于，步骤2.2包括：
根据步骤2.1构造的滤波器与输入数据流进行卷积，获得多路多尺度数据流滤波结果，具体为：
式中，I k 为滤波后结果，I in 为输入数据流，m和n分别代表图像的横向和纵向坐标，m=1,2,…,M，n=1,2,…,N，M和N为图像最大尺寸。
6.根据权利要求3所述的方法，其特征在于，步骤2.3包括：
根据步骤2.2滤波结果，计算每个尺度下滤波结果的局部对比度，响应最大的即为当前目标最适合的尺度，具体为：
式中，LCM表示获取图像局部对比度，I s 表示当前帧最优滤波结果，I k1表示滤波器中心区域像素灰度，I k2表示滤波器周围区域像素灰度。
7.根据权利要求1所述的方法，其特征在于，步骤3包括：
步骤3.1，采用FAST角点检测的方法获取目标特征，利用HLS实现FAST角点检测，并设定一个随帧数变化的动态阈值；
步骤3.2，考虑到特征点通常位于目标中心，将目标的特征点位置视为当前帧目标位置。
8.根据权利要求1所述的方法，其特征在于，步骤4包括：
步骤4.1，根据目标运动的整个过程设定智能波门大小，并根据预测结果调整波门大小；
步骤4.2，采取二阶自回归预测方法预测运动轨迹，以前两帧的相对位移预测当前帧目标位置；
步骤4.3，在波门内，根据目标预测位置和实际位置差异，给波门内的所有特征点赋以不同的置信度因子。
9.根据权利要求1所述的方法，其特征在于，步骤5包括：
步骤5.1，将目标位置信息叠加到输出的数字视频中，具体为：
采用FPGA自带的叠图模块，在原始视频流上叠加一路目标位置信息图像，并利用FPGA自带的数据流输出模块转换成标准行信号、场信号和数据有效信号；
根据数字视频输出端口及其协议，通过重新编码的方式借助芯片或软核转换成要求输出的数字视频；
步骤5.2，将数字视频转换成模拟视频，具体为：
根据步骤5.1得到的数字视频，借助芯片或软核转换成模拟视频，便于视频的实时显示与观察。
10.一种自适应块匹配滤波的红外小目标实时检测与跟踪系统，其特征在于，包括：
数据输入模块，用于将探测器输入的视频信号转换成数据流；
块匹配滤波模块，用于对所述数据流进行多路多尺度块匹配滤波，自适应选择最优滤波结果；
特征提取模块，用于提取场景中目标特征，获取当前帧目标位置；
预测反馈模块，用于预测下一帧目标位置，通过预测位置和实际位置差异自适应调节目标置信度因子；
数据输出模块，用于输出叠加目标位置信息的数字视频和模拟视频。
11.一种自适应块匹配滤波的红外小目标实时检测与跟踪装置，其特征在于，包括：
至少一个存储器，用于存储至少一个程序；
至少一个处理器；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至9中任一项所述的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法。
12.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至9中任一项所述的一种自适应块匹配滤波的红外小目标实时检测与跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211186992.2A CN115311470B (zh) | 2022-09-28 | 2022-09-28 | 自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211186992.2A CN115311470B (zh) | 2022-09-28 | 2022-09-28 | 自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115311470A CN115311470A (zh) | 2022-11-08 |
| CN115311470B true CN115311470B (zh) | 2023-01-24 |
Family
ID=83865971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211186992.2A Active CN115311470B (zh) | 2022-09-28 | 2022-09-28 | 自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311470B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722706A (zh) * | 2012-05-24 | 2012-10-10 | 哈尔滨工程大学 | 基于粒子滤波的红外弱小目标检测与跟踪方法及装置 |
| CN102830391A (zh) * | 2011-06-16 | 2012-12-19 | 中国科学院沈阳自动化研究所 | 一种红外搜索与跟踪系统准确性指标计算方法 |
| CN104766334A (zh) * | 2015-04-21 | 2015-07-08 | 西安电子科技大学 | 红外弱小目标检测跟踪方法及其装置 |
| CN111027496A (zh) * | 2019-12-16 | 2020-04-17 | 电子科技大学 | 基于空时联合局部对比度的红外弱小目标检测方法 |
| CN111415370A (zh) * | 2020-04-13 | 2020-07-14 | 中山大学 | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 |
| DE102020105652A1 (de) * | 2019-04-02 | 2020-10-08 | GM Global Technology Operations LLC | Verfolgungssystem mit infrarot-kamera |
| CN114677554A (zh) * | 2022-02-25 | 2022-06-28 | 华东理工大学 | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 |
| CN114972418A (zh) * | 2022-03-30 | 2022-08-30 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
-
2022
- 2022-09-28 CN CN202211186992.2A patent/CN115311470B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830391A (zh) * | 2011-06-16 | 2012-12-19 | 中国科学院沈阳自动化研究所 | 一种红外搜索与跟踪系统准确性指标计算方法 |
| CN102722706A (zh) * | 2012-05-24 | 2012-10-10 | 哈尔滨工程大学 | 基于粒子滤波的红外弱小目标检测与跟踪方法及装置 |
| CN104766334A (zh) * | 2015-04-21 | 2015-07-08 | 西安电子科技大学 | 红外弱小目标检测跟踪方法及其装置 |
| DE102020105652A1 (de) * | 2019-04-02 | 2020-10-08 | GM Global Technology Operations LLC | Verfolgungssystem mit infrarot-kamera |
| CN111027496A (zh) * | 2019-12-16 | 2020-04-17 | 电子科技大学 | 基于空时联合局部对比度的红外弱小目标检测方法 |
| CN111415370A (zh) * | 2020-04-13 | 2020-07-14 | 中山大学 | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 |
| CN114677554A (zh) * | 2022-02-25 | 2022-06-28 | 华东理工大学 | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 |
| CN114972418A (zh) * | 2022-03-30 | 2022-08-30 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115311470A (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460764B (zh) | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 | |
| KR101636370B1 (ko) | 영상 처리 장치 및 방법 | |
| CN111354017A (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
| CN106534616A (zh) | 一种基于特征匹配与运动补偿的视频稳像方法及系统 | |
| CN113807188B (zh) | 基于锚框匹配和Siamese网络的无人机目标跟踪方法 | |
| CN110544269A (zh) | 基于特征金字塔的孪生网络红外目标跟踪方法 | |
| CN109658440A (zh) | 一种基于目标显著性特征的目标跟踪方法 | |
| CN114708300B (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
| CN103440662A (zh) | Kinect深度图像获取方法与装置 | |
| Cao et al. | Infrared small target detection based on derivative dissimilarity measure | |
| CN114581752A (zh) | 一种基于上下文感知和边界细化的伪装目标检测方法 | |
| CN113487530B (zh) | 一种基于深度学习的红外与可见光融合成像方法 | |
| CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
| CN107527370A (zh) | 一种基于camshift的目标跟踪方法 | |
| CN114821356B (zh) | 一种精确定位的光学遥感目标检测方法 | |
| US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN111476167B (zh) | 一种基于“学生-t”分布辅助的一阶段方向遥感图像目标检测方法 | |
| Li et al. | A collaborative learning tracking network for remote sensing videos | |
| Li et al. | Weak moving object detection in optical remote sensing video with motion-drive fusion network | |
| CN115311470B (zh) | 自适应块匹配滤波的红外小目标实时检测与跟踪方法及其系统、装置和计算机可读存储介质 | |
| CN112131984B (zh) | 视频裁剪方法、电子设备和计算机可读存储介质 | |
| CN114463664B (zh) | 一种用于冰球运动的新型冰球追踪方法 | |
| CN116665097A (zh) | 一种结合上下文感知的自适应目标跟踪方法 | |
| KR101919879B1 (ko) | 사용자 인터랙션 정보 기반 깊이 정보 영상 보정 장치 및 방법 | |
| Chen et al. | AdapTrack: An adaptive FairMOT tracking method applicable to marine ship targets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |