CN108288030A - 一种机载红外小目标检测识别实时处理系统和方法 - Google Patents
一种机载红外小目标检测识别实时处理系统和方法 Download PDFInfo
- Publication number
- CN108288030A CN108288030A CN201711478992.9A CN201711478992A CN108288030A CN 108288030 A CN108288030 A CN 108288030A CN 201711478992 A CN201711478992 A CN 201711478992A CN 108288030 A CN108288030 A CN 108288030A
- Authority
- CN
- China
- Prior art keywords
- image
- filtering
- airborne
- asic
- chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种机载红外小目标检测识别实时处理系统及方法,属于红外目标识别技术领域。系统包括主处理器DSP、协处理器FPGA、Rapid IO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片、ASIC非均匀校正芯片SoC;主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机,另一端通过Rapid IO交换机连接协处理器FPGA,协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC。本发明提高了数据吞吐量和处理能力,并具有较低的功耗和体积,适合机载条件红外小目标的识别。
Description
技术领域
本发明属于红外目标技术领域,具体涉及一种机载红外小目标检测识别实时处理系统和方法。
背景技术
随着现代航天、航空事业的蓬勃发展,机载条件下的实时目标检测识别技术一直是重要研究方向。由于飞行器飞行速度快、机载环境有限等约束,处理器需具备处理速度快、体积小和功耗低等特点,因此研究机载目标检测识别实时处理系统和方法具有重要意义。
传统红外探测器一般采用红外焦平面和多个元器件构成,红外图像在成像过程中不可避免会产生非均匀性,影响后续目标检测识别。同时,在飞行器高速飞行过程中,光学窗口与气流之间的相互作用形成复杂的流场,气流在光学窗口表面附近产生边界层,边界层内具有很大速度梯度的各层产生强烈的摩擦,从而使光学窗口处于严重的气动热环境下,产生热辐射噪声;光学头罩与气流形成的复杂流场,也会对成像探测器产生传输畸变,引起被观测图像的偏移、抖动和模糊,严重降低了图像质量。
由于在机载条件下目标距离较远,经红外成像后目标所占像素少、特征少,容易淹没在环境背景杂波中,因此对机载条件下的红外小目标(25像素以内)检测识别具有较大难度。目标检测识别包括图像预处理、背景干扰抑制、特征提取和检测识别等步骤,这些处理步骤计算量大,耗时长,目前业界普遍采用通用型处理器(DSP、GPU、FPGA等),这些处理器虽然具有较好的处理速度,但体积和功耗大,面对目标检测识别的大量运算量,也难以适应机载条件下实时检测识别。
发明内容
针对现有技术的以上缺陷或不足,本发明提出了一种机载红外小目标检测识别实时处理系统和方法,有效解决了机载条件下,要求实时处理系统体积小、功耗低和处理能力强的问题。
一种机载红外小目标检测识别实时处理系统,包括主处理器DSP、协处理器FPGA、Rapid IO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片、ASIC非均匀校正芯片SoC;
主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机,另一端通过RapidIO交换机连接协处理器FPGA,协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC;
主处理器DSP用于通过PCIE交换机从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息,对机载飞行参数信息解析得到飞行器姿态信息,将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA;
协处理器FPGA用于调用非均匀校正芯片SoC进行非均匀性校正,再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转,旋转后的红外图像回传给主处理器DSP;
主处理器DSP用于对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像,将待处理图像传送给协处理器FPGA;
协处理器FPGA用于调用多级滤波芯片ASIC对待处理图像进行多级滤波,再对滤波图像进行分割,最后调用连通区域标记ASIC完成连通域标记,将连通域标记后的图像回传给主处理器DSP;
主处理器DSP用于在连通域标记后的图像中检测识别目标。
进一步地,所述主处理器DSP按照如下方式进行气动热辐射效应校正:
(21)图像滤波:令设校正和旋转后的红外图像为s,滤波图像表示为以滤波图像u为变量的能量函数最小化问题的解:
其中λ为光滑参数,Dx和Dy为图像s的x和y方向上的一阶梯度算子,Ax和Ay分别表示图像x和y方向上光滑参数对角矩阵;
(22)将滤波图像输入到梯度拟合的校正模型中求解热辐射场b:
其中,E(b)为梯度拟合差,热辐射场b表示为
(xi,yi)为像素i的坐标,a为多项式系数的向量形式,K为多项式最高阶;可通过最小二乘法求得热辐射估计场;
(23)求取校正和旋转后的红外图像为s与热辐射场b的差值。
进一步地,所述求解热辐射场b采用多次低阶梯度拟合的方式求解,所述低阶梯度拟合的具体实施方式为:
对滤波图像使用梯度拟合低阶热辐射场得到初校正图像,梯度拟合阶数范围为2≤K≤3;
计算低阶热辐射场中心坐标(x,y),分别统计滤波图像和初校正图像在热辐射场中心的图像反差值Constrast,图像反差值Constrast定义为图像块每个灰度值与周围邻近个像素灰度差的平方和,公式如下:
Constrast=∑δ(xi,yi)2Pδ(xi,yi)
其中,δ(xi,yi)为图像坐标(xi,yi)相邻像素近灰度差,Pδ(xi,yi)为相邻像素间的灰度差为δ的像素分布概率;
若图像反差值Constrast大于阈值Tthresh,则说明初校正后的图像仍有较高的气动热辐射噪声,则再次执行低阶梯度拟合,否则,将初校正结果作为最终结果。
进一步地,所述多级滤波芯片ASIC包括三个滤波通道和延迟电路;其中,
第一滤波通道包括依次连接的第一1×3均值滤波器、第一寄存器、第一减法器、第二1×3均值滤波器;
第二滤波通道包括依次连接的第一1×5均值滤波器、第三1×3均值滤波器、第二1×5均值滤波器、第二寄存器、第二减法器、第四1×3均值滤波器;
第三滤波通道包括依次连接的第三1×5均值滤波器、第五1×3均值滤波器、第四1×5均值滤波器、第五1×5均值滤波器、第三寄存器、第三减法器、第六1×3均值滤波器;
第一1×3均值滤波器的输出端连接第一1×5均值滤波器的输入端,第三1×3均值滤波器的输出端连接第三1×5均值滤波器的输入端;
延迟电路包括依次连接的第一延迟器、第二延迟器和第三延迟器,第一延迟器的输出端连接第一减法器的输入端,第二延迟器的输出端连接第二减法器的输入端,第三延迟器的输出端连接第三减法器的输入端。
进一步地,所述主处理器DSP还用于判断上一帧是否检测到目标,若没有,则将待处理图像传送给协处理器FPGA;否则,将提取以上一帧目标位置为中心的区域作为待处理图像传送给协处理器FPGA。
进一步地,所述主处理器DSP为多核处理器。
一种机载红外小目标检测识别实时处理方法,包括以下步骤:
主处理器DSP从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息,对机载飞行参数信息解析得到飞行器姿态信息,将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA;
协处理器FPGA调用非均匀校正芯片SoC进行非均匀性校正,再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转,旋转后的红外图像回传给主处理器DSP;
主处理器DSP对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像,将待处理图像传送给协处理器FPGA;
协处理器FPGA调用多级滤波芯片ASIC对待处理图像进行多级滤波,再对滤波图像进行分割,最后调用连通区域标记ASIC完成连通域标记,将连通域标记后的图像回传给主处理器DSP;
主处理器DSP在连通域标记后的图像中检测识别目标。
本发明包括硬件处理板卡设计和目标检测识别流程设计,针对机载红外图像进行红外图像非均匀性校正、气动热辐射校正、多级滤波以及目标检测识别等处理,并采取流水线和多核并行的处理方式,显著提高整个系统的处理速度。总体而言,按照本发明点的以上技术方案与现有技术相比,主要具有以下技术优点:
1.本发明系统包括的机载红外小目标检测识别方法,将红外小目标检测识别分解为若干个互相独立的低层图像处理,通过协处理器FPGA的流水线设计以及红外图像非均匀性校正SoC、旋转ASIC、多级滤波ASIC和连通区域ASIC的专用芯片处理,虽然每一帧图像的处理时间没有减少,但极大的提供了整个处理系统的稳定性、数据吞吐量和处理能力;显著提高整个系统实时性,并具有较低的功耗和体积,适合机载条件使用;
2.进一步地,通过利用气动热辐射效应越强,其图像反差特性越小的特点,将高阶的热辐射场曲面估计转换为低阶曲面估计,并使用多核硬件加速技术,在保证取得较好的热辐射校正效果的同时,显著提高的算法的执行速度;
3.进一步地,多级滤波采用三路滤波通道,将输入的图像分三级滤波,分别通过等效的1×3、1×5、1×7的均值滤波器,配合寄存器存储中间结果,设计成流水线结果,可高效完成图像多级滤波,去除有效地抑制背景并去除高频噪声,保留中低频的小目标。
4.进一步地,利用了帧间信息,将上一帧检测的目标位置周围区域作为感兴趣区,在后续序列图像中仅对感兴趣区内进行处理,可有效减少整体算法运算量,从而进一步提高整个系统的处理速度。
附图说明
图1为机载红外小目标检测识别流程图;
图2为机载红外小目标检测识别实时处理系统硬件结构框图;
图3为气动热辐射校正方法流程图;
图4为实时处理系统流水线工作示意图;
图5为红外小目标检测识别方法中间结果示意图,其中(a)为原始机载红外图像,(b)为红外图像非均匀校正后图像,(c)为气动热辐射校正后图像,(d)为多级滤波后图像,(e)为滤波图像分割后图像,(f)为红外小目标检测识别结果;
图6为多级滤波ASIC内部结构图;
图7为图像反差值与气动热辐射强度之间的关系示意图;
图8为直接使用高阶梯度拟合热辐射校正和图像反差热辐射校正结果对比图,其中(a)为气动热辐射退化图像,(b)为高阶梯度拟合热辐射校正结果,(c)为图像反差热辐射校正结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
较佳实施例硬件系统:
(1)硬件系统包括一块TITMS320C6678多核主处理器,一块Xilinx Kintex7 FPGA芯片;4片图像处理专用芯片(ASIC),包括图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片、ASIC非均匀校正芯片SoC。
(2)红外图像数据以及相关机载飞行参数通过PCIE交换机的PCIEx2接口传输到主处理器DSP的指定内存中,主处理器DSP与协处理器之间通过SRIO交换机的4xSerial RapidIO(SRIO)接口,可提供芯片与芯片间提供每秒GByte的高速数据交互能力。
优选地,如图6所示,所述多级滤波ASIC采用三路滤波通道,将图像分别进行1×3、1×5和1×7均值滤波,然后与原始图像相减,可以有效地抑制背景并去除高频噪声,保留中低频的小目标,可根据实际需求获取一级、二级或三级滤波结果。所述多级滤波芯片ASIC包括三个滤波通道和延迟电路;其中,
第一滤波通道包括依次连接的第一1×3均值滤波器、第一寄存器、第一减法器、第二1×3均值滤波器;
第二滤波通道包括依次连接的第一1×5均值滤波器、第三1×3均值滤波器、第二1×5均值滤波器、第二寄存器、第二减法器、第四1×3均值滤波器;
第三滤波通道包括依次连接的第三1×5均值滤波器、第五1×3均值滤波器、第四1×5均值滤波器、第五1×5均值滤波器、第三寄存器、第三减法器、第六1×3均值滤波器;
第一1×3均值滤波器的输出端连接第一1×5均值滤波器的输入端,第三1×3均值滤波器的输出端连接第三1×5均值滤波器的输入端;
延迟电路包括依次连接的第一延迟器、第二延迟器和第三延迟器,第一延迟器的输出端连接第一减法器的输入端,第二延迟器的输出端连接第二减法器的输入端,第三延迟器的输出端连接第三减法器的输入端。
如图1所示,本发明实施例的红外小目标检测识别方法包括如下步骤:
(1)实时处理系统上电后,主处理器(DSP)、协处理器(FPGA、ASICs、SoC)等完成初始化;
(2)主处理器DSP接收来自PCEI接口传输的机载红外图像和飞行参数;
(3)主处理器DSP根据飞行参数判断图像是否需要旋转,并通过内嵌的驱动控制通信程序,调用FPGA中相应非均匀性校正和图像旋转驱动模块,控制红外图像非均匀性校正SoC和旋转ASIC进行图像非均匀性校正和旋转;
具体地,协处理器FPGA采用流水线的工作方式控制非均匀校正Soc和旋转ASIC,各个模块间的时序关系如图4所示,虽然整个处理流程各个芯片的处理速度不会加快,但系统某一时刻的每个芯片均处于有序的工作状态,每帧图像间的图像处理间隔为耗时最长的单步处理,可有效提高系统数据吞吐量和处理速度。
(4)主处理器DSP接收预处理后的图像数据,进行全图气动热辐射效应校正。
(41)图像滤波:令设校正和旋转后的红外图像为s,滤波图像表示为以滤波图像u为变量的能量函数最小化问题的解:
其中λ为光滑参数,Dx和Dy为图像s的x和y方向上的一阶梯度算子,Ax和Ay分别表示图像x和y方向上光滑参数对角矩阵;
(42)将滤波图像输入到梯度拟合的校正模型中求解热辐射场b:
其中,E(b)为梯度拟合差,热辐射场b表示为
(xi,yi)为像素i的坐标,a为多项式系数的向量形式,K为多项式最高阶;可通过最小二乘法求得热辐射估计场;
(43)求取校正和旋转后的红外图像为s与热辐射场b的差值。
按照一种优选的方式,所述求解热辐射场b采用多次低阶梯度拟合的方式求解,所述低阶梯度拟合的具体实施方式为:
对滤波图像使用梯度拟合低阶热辐射场得到初校正图像,梯度拟合阶数范围为2≤K≤3;
计算低阶热辐射场中心坐标(x,y),分别统计滤波图像和初校正图像在热辐射场中心的图像反差值Constrast,图像反差值Constrast定义为图像块每个灰度值与周围邻近个像素灰度差的平方和,公式如下:
Constrast=∑δ(xi,yi)2Pδ(xi,yi)
其中,δ(xi,yi)为图像坐标(xi,yi)相邻像素近灰度差,Pδ(xi,yi)为相邻像素间的灰度差为δ的像素分布概率;
气动热辐射强度与图像反差值关系如图7所示,若图像反差值Constrast大于阈值Tthresh,则说明初校正后的图像仍有较高的气动热辐射噪声,则再次执行低阶梯度拟合,否则,将初校正结果作为最终结果。
表1
图像 | 耗时(ms) | PSNR(Db) |
气动热辐射图像 | - | 12.34 |
梯度拟合热辐射校正 | 38.78 | 19.23 |
图像反差热辐射校正 | 17.32 | 20.79 |
如表1所示,使用高阶梯度拟合热辐射校正方法对气动热辐射图像进行K=7的高阶热辐射噪声曲面拟合,相比原始退化图像,图像的峰值信噪比(PSNR)有了较大的提高,但校正的时间较长,而使用本发明所使用的图像反差热辐射校正,相比之下可大幅减少校正时间,且图像的峰值信噪比(PSNR)少许增加,更加适合机载条件下的气功热辐射效应校正。具体校正效果对比如图8所示。
(5)判断上一帧是否检测到目标,若没有检测到目标,执行步骤(6),否则执行步骤(8);
(6)主处理器DSP通过内嵌的驱动控制通信程序,调用协处理器FPGA中多级滤波芯片和连通区域标记驱动芯片和分割模块(可采用譬如OTSU分割、二值分割),控制多级滤波ASIC,并将滤波结果进行分割后进行连通区域标记;
(7)主处理器DSP对标记后的结果进行处理,取全图中连通区域中面积最大,且小于30像素的区域中心作为红外小目标的位置,并返回到步骤(2);
(8)根据上一帧检测结果,确定目标中心位置20x20像素区域作为感兴趣区,调用FPGA中多级滤波和连通区域标记驱动模块和OTSU分割模块,控制多级滤波ASIC,并将滤波结果进行OTSU分割后进行连通区域标记;
(9)主处理器DSP对标记后的结果进行处理,取感兴趣区内连通区域面积最大且小于30像素的区域中心作为红外小目标的位置,并返回到步骤(2)。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种机载红外小目标检测识别实时处理系统,其特征在于,包括主处理器DSP、协处理器FPGA、Rapid IO交换机、PCIE交换机、图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC;
主处理器DSP的一端通过PCIE交换机连接机载成像器和上位机,另一端通过Rapid IO交换机连接协处理器FPGA,协处理器FPGA分别连接图像旋转芯片ASIC、多级滤波芯片ASIC、连通区域标记芯片ASIC、非均匀校正芯片SoC;
主处理器DSP用于通过PCIE交换机从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息,对机载飞行参数信息解析得到飞行器姿态信息,将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA;
协处理器FPGA用于调用非均匀校正芯片SoC进行非均匀性校正,再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转,旋转后的红外图像回传给主处理器DSP;
主处理器DSP用于对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像,将待处理图像传送给协处理器FPGA;
协处理器FPGA用于调用多级滤波芯片ASIC对待处理图像进行多级滤波,再对滤波图像进行分割,最后调用连通区域标记ASIC完成连通域标记,将连通域标记后的图像回传给主处理器DSP;
主处理器DSP用于在连通域标记后的图像中检测识别目标。
2.根据权利要求1所述的机载红外小目标检测识别实时处理系统,其特征在于,所述主处理器DSP按照如下方式进行气动热辐射效应校正:
(21)图像滤波:令设校正和旋转后的红外图像为s,滤波图像表示为以滤波图像u为变量的能量函数最小化问题的解:
其中λ为光滑参数,Dx和Dy为图像s的x和y方向上的一阶梯度算子,Ax和Ay分别表示图像x和y方向上光滑参数对角矩阵;
(22)将滤波图像输入到梯度拟合的校正模型中求解热辐射场b:
其中,E(b)为梯度拟合差,热辐射场b表示为
(xi,yi)为像素i的坐标,a为多项式系数的向量形式,K为多项式最高阶;可通过最小二乘法求得热辐射估计场;
(23)求取校正和旋转后的红外图像为s与热辐射场b的差值。
3.根据权利要求2所述的机载红外小目标检测识别实时处理系统,其特征在于,所述求解热辐射场b采用多次低阶梯度拟合的方式求解,所述低阶梯度拟合的具体实施方式为:
对滤波图像使用梯度拟合低阶热辐射场得到初校正图像,梯度拟合阶数范围为2≤K≤3;
计算低阶热辐射场中心坐标(x,y),分别统计滤波图像和初校正图像在热辐射场中心的图像反差值Constrast,图像反差值Constrast定义为图像块每个灰度值与周围邻近个像素灰度差的平方和,公式如下:
Constrast=∑δ(xi,yi)2Pδ(xi,yi)
其中,δ(xi,yi)为图像坐标(xi,yi)相邻像素近灰度差,Pδ(xi,yi)为相邻像素间的灰度差为δ的像素分布概率;
若图像反差值Constrast大于阈值Tthresh,则说明初校正后的图像仍有较高的气动热辐射噪声,则再次执行低阶梯度拟合,否则,将初校正结果作为最终结果。
4.根据权利要求2所述的机载红外小目标检测识别实时处理系统,其特征在于,所述多级滤波芯片ASIC包括三个滤波通道和延迟电路;其中,
第一滤波通道包括依次连接的第一1×3均值滤波器、第一寄存器、第一减法器、第二1×3均值滤波器;
第二滤波通道包括依次连接的第一1×5均值滤波器、第三1×3均值滤波器、第二1×5均值滤波器、第二寄存器、第二减法器、第四1×3均值滤波器;
第三滤波通道包括依次连接的第三1×5均值滤波器、第五1×3均值滤波器、第四1×5均值滤波器、第五1×5均值滤波器、第三寄存器、第三减法器、第六1×3均值滤波器;
第一1×3均值滤波器的输出端连接第一1×5均值滤波器的输入端,第三1×3均值滤波器的输出端连接第三1×5均值滤波器的输入端;
延迟电路包括依次连接的第一延迟器、第二延迟器和第三延迟器,第一延迟器的输出端连接第一减法器的输入端,第二延迟器的输出端连接第二减法器的输入端,第三延迟器的输出端连接第三减法器的输入端。
5.根据权利要求1或2或4或所述的机载红外小目标检测识别实时处理系统,其特征在于,所述主处理器DSP还用于判断上一帧是否检测到目标,若没有,则将待处理图像传送给协处理器FPGA;否则,将提取以上一帧目标位置为中心的区域作为待处理图像传送给协处理器FPGA。
6.根据权利要求1或2或4或所述的机载红外小目标检测识别实时处理系统,其特征在于,所述主处理器DSP为多核处理器。
7.一种机载红外小目标检测识别实时处理方法,其特征在于,包括以下步骤:
主处理器DSP从机载成像器和上位机接收机载红外图像数据和机载飞行参数信息,对机载飞行参数信息解析得到飞行器姿态信息,将机载红外图像数据和飞行器姿态信息传送给协处理器FPGA;
协处理器FPGA调用非均匀校正芯片SoC进行非均匀性校正,再根据飞行器姿态信息调用旋转ASIC芯片对校正后的红外图像进行旋转,旋转后的红外图像回传给主处理器DSP;
主处理器DSP对校正和旋转后的红外图像进行全图气动热辐射效应校正得到待处理图像,将待处理图像传送给协处理器FPGA;
协处理器FPGA调用多级滤波芯片ASIC对待处理图像进行多级滤波,再对滤波图像进行分割,最后调用连通区域标记ASIC完成连通域标记,将连通域标记后的图像回传给主处理器DSP;
主处理器DSP在连通域标记后的图像中检测识别目标。
8.根据权利要求7所述的机载红外小目标检测识别实时处理系统,其特征在于,所述主处理器DSP按照如下方式进行气动热辐射效应校正:
(21)图像滤波:令设校正和旋转后的红外图像为s,滤波图像表示为以滤波图像u为变量的能量函数最小化问题的解:
其中λ为光滑参数,Dx和Dy为图像s的x和y方向上的一阶梯度算子,Ax和Ay分别表示图像x和y方向上光滑参数对角矩阵;
(22)将滤波图像输入到梯度拟合的校正模型中求解热辐射场b:
其中,E(b)为梯度拟合差,热辐射场b表示为
(xi,yi)为像素i的坐标,a为多项式系数的向量形式,K为多项式最高阶;可通过最小二乘法求得热辐射估计场;
(23)求取校正和旋转后的红外图像为s与热辐射场b的差值。
9.根据权利要求8所述的机载红外小目标检测识别实时处理系统,其特征在于,所述求解热辐射场b采用多次低阶梯度拟合的方式求解,所述低阶梯度拟合的具体实施方式为:
对滤波图像使用梯度拟合低阶热辐射场得到初校正图像,梯度拟合阶数的范围为2≤K≤3;
计算低阶热辐射场中心坐标(x,y),分别统计滤波图像和初校正图像在热辐射场中心的图像反差值Constrast,图像反差值Constrast定义为图像块每个灰度值与周围邻近个像素灰度差的平方和,公式如下:
Constrast=∑δ(xi,yi)2Pδ(xi,yi)
其中,δ(xi,yi)为图像坐标(xi,yi)相邻像素近灰度差,Pδ(xi,yi)为相邻像素间的灰度差为δ的像素分布概率;
若图像反差值Constrast大于阈值Tthresh,则说明初校正后的图像仍有较高的气动热辐射噪声,则再次执行低阶梯度拟合,否则,将初校正结果作为最终结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711478992.9A CN108288030B (zh) | 2017-12-29 | 2017-12-29 | 一种机载红外小目标检测识别实时处理系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711478992.9A CN108288030B (zh) | 2017-12-29 | 2017-12-29 | 一种机载红外小目标检测识别实时处理系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108288030A true CN108288030A (zh) | 2018-07-17 |
CN108288030B CN108288030B (zh) | 2021-05-18 |
Family
ID=62832484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711478992.9A Active CN108288030B (zh) | 2017-12-29 | 2017-12-29 | 一种机载红外小目标检测识别实时处理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108288030B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345472A (zh) * | 2018-09-11 | 2019-02-15 | 重庆大学 | 一种复杂场景的红外运动小目标检测方法 |
CN110490904A (zh) * | 2019-08-12 | 2019-11-22 | 中国科学院光电技术研究所 | 一种弱小目标检测与跟踪方法 |
CN111222511A (zh) * | 2020-04-13 | 2020-06-02 | 中山大学 | 一种红外无人机目标检测方法及系统 |
CN111462060A (zh) * | 2020-03-24 | 2020-07-28 | 湖南大学 | 胎儿超声图像中标准切面图像的检测方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105118037A (zh) * | 2015-09-02 | 2015-12-02 | 华中科技大学 | 一种气动热辐射图像自动校正方法 |
CN105469370A (zh) * | 2015-12-28 | 2016-04-06 | 华中科技大学 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
CN105654430A (zh) * | 2015-12-24 | 2016-06-08 | 华中科技大学 | 一种反差约束的气动热辐射校正方法 |
-
2017
- 2017-12-29 CN CN201711478992.9A patent/CN108288030B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105118037A (zh) * | 2015-09-02 | 2015-12-02 | 华中科技大学 | 一种气动热辐射图像自动校正方法 |
CN105654430A (zh) * | 2015-12-24 | 2016-06-08 | 华中科技大学 | 一种反差约束的气动热辐射校正方法 |
CN105469370A (zh) * | 2015-12-28 | 2016-04-06 | 华中科技大学 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345472A (zh) * | 2018-09-11 | 2019-02-15 | 重庆大学 | 一种复杂场景的红外运动小目标检测方法 |
CN109345472B (zh) * | 2018-09-11 | 2021-07-06 | 重庆大学 | 一种复杂场景的红外运动小目标检测方法 |
CN110490904A (zh) * | 2019-08-12 | 2019-11-22 | 中国科学院光电技术研究所 | 一种弱小目标检测与跟踪方法 |
CN111462060A (zh) * | 2020-03-24 | 2020-07-28 | 湖南大学 | 胎儿超声图像中标准切面图像的检测方法和装置 |
CN111222511A (zh) * | 2020-04-13 | 2020-06-02 | 中山大学 | 一种红外无人机目标检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108288030B (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108288030A (zh) | 一种机载红外小目标检测识别实时处理系统和方法 | |
CN106157267A (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
CN108564549A (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
CN109544487A (zh) | 一种基于卷积神经网络的红外图像增强方法 | |
CN111667433A (zh) | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 | |
CN104796582A (zh) | 基于随机喷射retinex的视频图像去噪与增强方法及装置 | |
CN104598929A (zh) | 一种hog特征快速提取方法 | |
CN112200746A (zh) | 一种雾天交通场景图像的去雾方法和设备 | |
CN111414938B (zh) | 一种板式换热器内气泡的目标检测方法 | |
CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
CN111784610A (zh) | 一种基于聚类的边窗滤波器优化方法 | |
CN116091357A (zh) | 深度卷积注意力和多尺度特征融合的低光图像增强方法 | |
CN114998186B (zh) | 基于图像处理的铜始极片表面结疤缺陷检测方法及系统 | |
CN113781368B (zh) | 基于局部信息熵的红外成像装置 | |
Mahdi et al. | SINGLE IMAGE DE-HAZING THROUGH IMPROVED DARK CHANNEL PRIOR AND ATMOSPHERIC LIGHT ESTIMATION. | |
CN106127704A (zh) | 用于降低红外图像边缘模糊度的实时增强方法 | |
CN113469287A (zh) | 一种基于实例分割网络的航天器多局部构件检测方法 | |
CN112822343A (zh) | 一种面向夜间视频的清晰化方法及存储介质 | |
Gao et al. | Image Dehazing Based on Multi-scale Retinex and Guided Filtering | |
Luo et al. | An improved moment-preserving auto threshold image segmentation algorithm | |
CN104966275B (zh) | 基于雨频率特性的单幅图像去除雨滴影响的方法和系统 | |
CN112597906B (zh) | 一种基于退化先验的水下目标检测方法 | |
CN113763294B (zh) | 基于动态clahe的焊缝图像快速预处理方法及系统 | |
CN114897833B (zh) | 一种多帧激励下的正则化随机共振强背景弱目标增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |