CN105631799B - 一种动平台激光红外融合检测识别系统 - Google Patents
一种动平台激光红外融合检测识别系统 Download PDFInfo
- Publication number
- CN105631799B CN105631799B CN201510961542.XA CN201510961542A CN105631799B CN 105631799 B CN105631799 B CN 105631799B CN 201510961542 A CN201510961542 A CN 201510961542A CN 105631799 B CN105631799 B CN 105631799B
- Authority
- CN
- China
- Prior art keywords
- image
- laser
- target
- infrared
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 4
- 235000019800 disodium phosphate Nutrition 0.000 description 36
- 238000003331 infrared imaging Methods 0.000 description 15
- 101150115013 DSP1 gene Proteins 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种激光红外融合检测识别系统,包括非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记ASIC芯片、主DSP处理器、从DSP处理器、主FPGA处理器和从FPGA处理器,其中,从FPGA处理器控制各ASIC/SoC芯片完成激光和红外图像的预处理,主FPGA处理器控制主DSP、从DSP及标记ASIC协助完成远距离、中距离和近距离的目标融合检测识别。本发明提高系统并行度和实时性,同时有效地降低了系统的功耗。
Description
技术领域
本发明属于红外图像与激光图像融合检测识别技术领域,具体涉及一种动平台激光红外融合检测识别实时系统。
背景技术
飞行器自动目标识别通常是成像平台相对目标由远及近的过程,在远距离时,红外成像目标识别占据主导地位,激光成像目标识别暂时不工作。远距离时,红外成像目标多表现为点源目标,信息量少;中等距离时,红外成像目标多表现为斑状目标,可以利用其像面大小、简单形状和图像灰度分布信息,激光成像可利用距离像进行测距,为红外成像目标提供距离信息;最后在较近的距离上,红外成像可以获得非常细致的特征信息,包括丰富的形状和纹理特征,并可用于识别分类,此时目标表现为面目标,同时在背景像素中也相应的增加了前景疑似目标的个数,这时可以利用激光成像的距离像和强度像排除疑似目标。相应地,从目标特征模型以及目标识别算法上都体现出多层次多尺度的特点。因此,特征提取映射及表达目标的特征空间应该是分级的,从而充分挖掘各个阶段的目标信息,一般的识别算法不能应付这样一个搜索、探测、识别过程,要求开发远、中、近距离成像下的多态识别流程,如图1所示,使得处理系统能够正确的检测、跟踪和识别目标,这样系统负担更大。
(1)远距离成像。一般情况下,飞行器在红外成像目标识别开始阶段为了获得更广阔的视野,多在较远的高度或者距离上获取场景。这时红外成像目标没有形状信息,表现为弱小的点源目标。采用匹配滤波、多级滤波等算法可以在二维空间或者时间一空间三维空间内抑制背景和噪声干扰,突出红外成像目标,从而实现红外成像目标的捕获。
(2)中距离成像。飞行器在红外成像捕获到目标之后,会逐步靠近待识别目标,进入跟踪阶段。此时红外成像目标具有一定的形状信息,表现为斑状目标。针对相同空间位置的激光成像目标,对激光距离像进行波门设置,可利用激光距离像计算出目标的距离信息,然后,使用多级滤波器突出红外图像目标信息,抑制背景杂波。
(3)近距离成像。随着跟踪阶段飞行器不断靠近目标,红外成像目标表现出更多的轮廓、纹理等特征信息,此时红外成像目标表现为面目标。此时可以使用连通域标记与轮廓跟踪算法实现目标的跟踪,同时也会出现疑似目标,这时要利用激光成像的距离像和强度像提取目标的距离、长宽比和矩形度等特征,去除疑似目标。
激光红外融合检测识别系统,要实现对激光和红外双传感器提取的图像数据进行实时处理,都存在着体积、重量和功耗等多方面的约束,同时双路图像信息量大,融合处理算法复杂性较高,因此必须要设计具有高计算能力和高灵活性并行结构的处理机来保证计算实时性。这同时也意味着对处理机有以下几个方面的要求:
(1)实时性。激光红外融合检测目标识别多是为了指引各种飞行器检测并跟踪目标,而飞行器一般具有较高的运动速度,因此只有做到实时的目标识别才能保证激光红外融合检测系统在运动中对目标更精准的跟踪与定位。
(2)小型化。飞行器的小型化趋势,要求激光红外融合检测识别系统实现同样或更多功能时,系统物理尺寸更小。
(3)低功耗。激光红外融合检测识别系统的小型化将引起系统散热方面的问题。只有设计低功耗的处理系统才能保证系统热设计满足要求,从而保证系统工作的可靠性。
传统的图像处理系统多采用“DSP+FPGA(Field Programmable Gate Array)”或者“多DSP+FPGA”结构,这种同构结构的处理系统存在功耗大、效率低等缺点,同时由于DSP处理器的通用性使得它在图像处理与目标检测识别算法优化方面存在瓶颈。
发明内容
针对现有技术的缺陷,本发明提供一种激光红外融合检测识别系统,旨在解决现有技术在激光成像和红外成像动平台条件下,识别地面运动目标时功耗和实时性方面存在的问题。
为实现上述目的,本发明采用以下技术方案:
一种激光红外融合检测识别系统,包括非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记ASIC芯片、主DSP处理器、从DSP处理器、主FPGA处理器和从FPGA处理器,其中,
所述主DSP处理器用于完成预处理后的红外图像目标检测与特征识别,以及结合从DSP处理器传递过来的预处理后激光图像中的目标特征信息,完成目标融合检测识别;
所述从DSP处理器用于接收激光图像信息并通过对距离像进行波门设置,结合激光强度像信息提取激光图像中的目标特征信息,传递给所述主DSP处理器;
所述从FPGA处理器用于控制除连通域标记ASIC以外的其它芯片的工作,从而完成激光图像和红外图像的预处理工作;
所述主FPGA处理器用于接收从FPGA处理器传递过来的预处理后激光和红外图像,以及连通域标记ASIC芯片传递过来的标记后的激光和红外图像,对主DSP处理器和从DSP处理器执行目标检测与特征识别的流程控制,完成控制连通区域标记ASIC、主DSP处理器和从DSP处理器的信息传递;所述非均匀性校正SoC芯片用于执行对红外图像和激光图像非均匀性校正;
所述图像旋转ASIC芯片用于将二维旋转变换分解为三次一维平移运算,同时结合立方卷积插值算法,实现对红外图像和激光图像的旋转操作;
所述多级滤波ASIC芯片用于根据对于弱小目标、背景和噪声频谱的分析,构建带通滤波器来抑制背景和噪声,其中,针对红外图像和激光图像中多种大小目标并存的情况,基于多级滤波算法,利用同一滤波模块的级联实现滤波器带宽的调整以提取不同大小的目标;
所述连通域标记ASIC芯片用于按照八邻域规则,对输入的多值分割激光和红外图像中具有相同灰度值的连通像素赋予一致且唯一的标记,输出标记后的图像。
进一步地,所述主FPGA处理器包括图像接收模块、图像连通区域标记控制模块、图像输出模块、目标检测与特征识别控制模块、EMIFA地址译码模块;其中,
所述图像接收模块用于接收从FPGA预处理后的激光和红外图像;
所述图像连通区域标记控制模块用于执行对所述图像连通区域标记ASIC芯片的复位与启动,以控制所述图像连通区域标记ASIC芯片的工作流程;
所述图像输出模块用于将融合处理后的结果分别以模拟信号和数字信号的形式输出到输出接口;
所述目标检测与特征识别控制模块用于根据接收到的飞行器参数信息选择相应的图像融合检测识别处理算法,并控制主DSP处理器和从DSP处理器执行相应的算法程序;
所述EMIFA地址译码模块用于协助主DSP和从DSP完成地址分配,以进行数据读写和参数配置。
进一步地,在远距离成像条件下,所述目标检测与特征识别控制模块用于启动主DSP处理器的单模红外点目标检测识别程序,以针对点目标进行检测识别;
在中距离成像条件下,所述目标检测与特征识别控制模块用于启动主DSP处理器的单模红外斑状目标检测识别程序及从DSP处理器的激光测距程序,从DSP处理器对激光距离像进行波门设置,提取激光距离像中目标的距离信息并将目标的距离信息传输给主DSP处理器,主DSP处理器接收红外图像,对红外斑状目标进行处理,结合激光图像的目标距离信息,检测识别目标;
在近距离成像条件下,所述目标检测与特征识别控制模块用于启动主DSP处理器和从DSP处理器的激光红外双模融合程序;其中,从DSP处理器对激光距离像和强度像进行特征提取,将提取的特征传输给主DSP处理器;主DSP处理器利用连通域标记结果,对红外图像进行特征提取和目标识别,结合接收到的从DSP处理器传来的激光图像目标特征信息,对目标进行融合检测识别。
进一步地,所述从FPGA处理器包括图像接收模块、图像输出模块、图像校正控制模块、图像旋转控制模块和图像多级滤波控制模块;其中,
所述图像接收模块用于接收外部传入的激光和红外图像;
所述图像输出模块将预处理后的激光和红外图像发送给主FPGA处理器;
所述图像校正控制模块用于通过异步串口完成非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置,同时通过控制状态机,生成非均匀性校正SoC芯片所需的控制信号,从而控制非均匀性校正SoC芯片进入相应的处理过程;
所述图像旋转控制模块用于执行对所述旋转ASIC芯片的复位与启动,以控制所述图像旋转ASIC芯片的工作流程;
所述图像多级滤波控制模块用于执行对所述图像多级滤波ASIC的复位与启动,以控制所述图像多级滤波ASIC的工作流程。
本发明的有益技术效果为:
本发明采用图像处理和目标识别专用ASIC/SoC芯片、通用DSP处理器和FPGA处理器,完成不同层次的图像处理和目标识别,提高系统并行度,实时地实现了激光红外融合检测识别算法。同时,图像处理和目标识别专用ASIC/SoC芯片的低功耗特性使得处理系统的功耗能够满足系统功耗和热设计要求。
附图说明
图1描述了激光红外融合检测识别处理的一般流程;
图2描述了本发明激光红外融合检测识别系统的功能实现框图;
图3描述了本发明激光红外融合检测识别系统的硬件实现结构;
图4描述了本发明主DSP0处理的操作流程;
图5描述了本发明从DSP1处理的操作流程;
图6描述了本发明非均匀校正SoC芯片的操作流程;
图7描述了本发明图像旋转ASIC芯片的操作流程;
图8描述了本发明多级滤波ASIC芯片的操作流程;
图9描述了本发明连通域标记ASIC芯片的操作流程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图2所示,在功能实现上,激光红外融合检测识别系统可划分为图像非均匀性校正模块、图像旋转模块、多级滤波模块、连通域标记模块、目标检测与特征识别控制模块以及FPGA实现的互联模块。
图像非均匀性校正模块接收红外图像和激光图像,采用基于运动检测的自适应校正算法,实现对红外成像和激光成像焦平面非均匀性问题的实时校正,基于运动检测指导的自适应校正算法包括校正预处理、实时校正、迭代步长调整和增益校正系数更新四个环节。
(1)校正预处理环节:要进行无效像元的检测,就必须正确确定无效像元的位置,对于固定的无效像元,可以采用在实验室进行检测的办法确定其具体的位置;而在成像过程中,由于电荷读出及通道障碍使相关单元信号衰减或增强从而表现为无效像元,该型无效像元具有随机性和漂移性,无法在实验室预先检测确定其位置,由于它是随时间的变化而变化的,因此必须引入基于场景的动态检测技术,场景自适应标定算法就是一种动态监测方法,可以为实时校正动态地更新背景帧和坏元模板。
(2)实时校正环节:在坏元模板的指导下,分别对有效像元和无效像元进行处理。对于无效像元,一般都采用相邻有效像元输出的空间插值来代替,然后结合背景帧以及利用上一帧图像计算得到的增益校正系数进行实时校正得到校正后的图像。
(3)迭代步长调整环节:运动信息来指导增益校正系数的迭代过程,把场景的运动方差作为增益校正系数迭代步长的正比信息,在场景运动充分时,增大迭代步长,在场景运动缓慢时,减小迭代步长,从而自适应地控制了校正系数更新速度。
(4)增益校正系数更新环节:结合运动信息和最陡下降法更新增益校正系数,从而实现增益校正系数的实时更新。
图像旋转模块接收非均匀性校正后的图像,根据飞行器飞行参数,利用三步平移图像旋转算法实现图像的旋转变换,所谓三步平移图像旋转算法即将二维图像旋转变换转换为三次一维图像平移运算。一般情况下,旋转后的像素点不可能正好位于原始图像的整像素点上,图像旋转模块使用双三次插值算法计算旋转后的像素值。
多级滤波模块在远距离成像条件下检测点源目标,在中距离成像条件下检测斑状目标,多级滤波算法根据弱小目标、背景以及噪声在频率域呈现出来的特性:背景能量主要集中在低频段,目标能量主要集中在中频段,噪声主要集中在高频段,构建带通滤波器,抑制背景与噪声,突出目标,达到提高信噪比的目标。同时为了达到对不同大小的弱小目标的检测,利用同一滤波模块的级联实现滤波器带宽的调整。
连通域标记模块在近距离成像条件下,利用多值图像连通域标记算法对多值分割得到的图像数据进行连通域标记,并且计算连通域面积、连通域像素行坐标和、连通域像素列坐标和、检测连通域的轮廓起点坐标。其中,连通域像素行坐标和、列坐标和可以用于计算连通域的重心,连通域轮廓起点坐标指明了轮廓跟踪算法执行的起点,用于加速轮廓跟踪算法的执行过程。其中多值图像连通域标记算法分为三个步骤,分别是:①图像初步标记:为每个像素赋予临时标记,并且将临时标记的等价关系记录在等价表中;②整理等价表:将具有等价关系的临时标记全部等价为其中的最小值,然后对连通区域以自然数顺序重新编号,该编号作为最终标记,在等价表中保存临时标记与最终标记之间的等价关系;③图像代换:对图像进行逐个像素的代换,把临时标记代换成最终标记。
目标检测与特征识别控制模块:在远距离成像条件下,该模块对多级滤波模块得到的红外图像进行二值分割获取目标位置,同时利用前后多帧红外图像的检测结果对目标位置信息的可信度进行判断,从而可以增强目标信息的可信度,同时消除噪声干扰引起的“虚警”;在中距离成像条件下,该模块对多级滤波模块得到的红外图像进行二值分割获取目标位置和各目标区域的大小信息,同时利用前后多帧红外图像的目标位置、大小信息及激光图像的目标距离信息约束目标跟踪过程,得到多帧图像中目标的对应关系,实现目标跟踪;在近距离成像条件下,该模块利用连通域标记模块中对红外图像得到的连通域标记结果以及连通域面积计算目标的长宽比、矩形度以及目标的轮廓,与待识别目标模板的长宽比和轮廓信息进行对比,初步判断目标是否为待识别的疑似目标,然后对激光距离像进行波门设置,利用利用多级滤波模块和连通域标记模块对激光距离像和强度像进行像素特征融合,然后,提取激光图像中目标的长宽比、矩形度以及目标的轮廓,对疑似目标进行判别,最终输出识别结果。
互联模块:FPGA模块提供各模块之间的数据通道,有效地解决不同数据宽度、不同数据速率、不同接口之间的差异引起的互联问题。同时利用状态机协助目标检测与特征识别控制模块实现对各模块的控制,使得各模块能够协同有序地完成图像处理任务。
如图3所示,在硬件实现上,激光红外融合检测识别系统采用了“ASICs/SoCs+FPGAs+DSPs”架构,其中的处理芯片包括非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记ASIC芯片、主DSP0处理器、从DSP1处理器、主FPGA0处理器和从FPGA1处理器。
各个芯片完成如下功能:
(1)主DSP0处理器:①与从DSP1处理器实现通信,接收激光图像特征信息及完成红外图像特征识别,实现目标的检测与跟踪以及识别任务,同时对多帧结果进行融合判断,完成目标检测;②同时输出检测、跟踪和识别结果信息。
(2)从DSP1处理器:接收激光图像,完成激光图像目标特征提取工作,协助主DSP0处理器完成目标检测识别,具体功能为:①中等距离条件下通过对激光距离像进行波门设置提取激光距离像中目标的距离信息,传递给主DSP0处理器;②近距离条件下,对激光距离像和强度像进行融合处理,提取目标的距离、长宽比及矩形度等特征信息,传递给主DSP0处理器。
(3)主FPGA0处理器:①构成连通区域标记ASIC芯片、主DSP0处理器和从DSP1处理器的数据传输通道;②协助主DSP0处理器和从DSP1处理器目标融合检测识别。主要包含图像接收模块、图像连通区域标记控制模块、图像输出模块、目标检测与特征识别控制模块和用于主DSP0和从DSP1的EMIFA(external memory interface A)地址译码模块。其中,图像接收模块负责接收从FPGA1传递的激光和红外图像;图像连通区域标记控制模块用于执行对所述图像连通区域标记ASIC芯片的复位与启动,以控制所述图像连通区域标记ASIC芯片的工作流程;图像输出模块将主DSP0处理器识别后结果以数字信号和模拟信号两种方式传输到输出接口;目标检测与特征识别控制模块负责接收飞行器参数信息并完成目标检测与特征识别的流程控制;EMIFA地址译码模块协助主DSP0及从DPA1完成地址分配,以进行数据读写和参数配置。
(4)从FPGA1处理器:主要完成激光图像和红外图像的预处理工作,包含图像校正控制模块、图像旋转控制模块、图像多级滤波控制模块。其中,图像校正控制模块通过异步串口完成非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置,同时通过控制状态机,将控制指令解析成SoC芯片所需的控制信号,从而控制SoC芯片进入相应的处理过程;图像接收模块接收外部传入的图像数据;图像旋转控制模块控制图像旋转ASIC的工作流程,上电时,对旋转ASIC芯片的复位与启动信号,图像旋转ASIC正常启动后,控制图像数据以及参数的输入;图像多级滤波控制模块控制图像多级滤波ASIC芯片的工作流程,上电时,对图像多级滤波ASIC芯片片复位与启动,图像多级滤波ASIC芯片正常启动后,控制图像数据以及参数的输入。
(5)非均匀性校正SoC芯片:包括一个内嵌微处理器CPU和校正ASIC核,其中内嵌微处理器CPU完成定标过程和增益校正参数的更新过程,校正ASIC核完成实时校正,该芯片用于完成对红外图像和激光图像进行非均匀性校正;
(6)图像旋转ASIC芯片:将二维旋转变换分解为三次一维平移运算,同时结合立方卷积插值(即双三次插值)算法,实现对红外图像和激光图像的旋转操作。
(7)多级滤波ASIC芯片:根据对于弱小目标、背景和噪声频谱的分析,构建带通滤波器来抑制背景和噪声,增强目标,其中,针对红外图像和激光图像中多种大小目标并存的情况,基于多级滤波算法,利用同一滤波模块的级联实现滤波器带宽的调整以提取不同大小的目标,可处理红外和激光图像。
(8)连通域标记ASIC芯片:按照八邻域规则,对输入的多值分割图像中具有相同灰度值的连通像素赋予一致且唯一的标记;输出标记后的图像,标号按照连通域在图像中由左到右,由上到下出现的先后顺序,以自然数进行赋值。
下面详细描述各处理芯片的操作流程。
(1)如图4所示,主DSP0处理器:①上电复位,从外部FLASH0中加载处理程序;②配置DSP0内部寄存器和外部接口控制寄存器、打开外部中断;③进入主处理流程,获取飞行器飞行参数确定成像距离,获取红外图像数据及激光图像特征信息,执行检测、跟踪、识别程序;④在主流程中,实时响应各种中断,执行中断处理程序;⑤输出检测、跟踪和识别结果。
(2)如图5所示,从DSP1处理器:①上电复位后,从外部FLASH1中加载处理程序;②配置DSP1内部寄存器和外部接口控制寄存器、打开外部中断;③进入主处理流程,根据外部中断接收激光距离像和强度像,接收主DSP0传来的目标位置信息,在中等距离成像情况下对激光距离像进行波门设置,提取目标的距离信息并反馈给主DSP0;在近距离成像情况下结合激光距离像和强度像提取目标的长宽比、矩形度等特征信息,反馈给主DSP0;④在主流程中,实时响应各种中断,执行中断处理程序。
(3)主FPGA0处理器:①上电加载程序后,接收从FPGA1传输的激光和红外图像数据并把红外图像传输给主DSP0,把激光图像传输给从DSP1;②接收从DSP1处理器传输处理后的激光图像目标特征信息并传输给主DSP0处理器;③接收主DSP0和从DSP1的控制信号,通过连通区域标记模块对红外图像和激光图像进行连通区域标记并把标记结果传输给主DSP0和从DSP1;④接收主DSP0传输的处理结果并将处理结果以数字信号和模拟信号传输到输出接口。
(4)从FPGA1处理器:①上电加载程序后,接收激光和红外图像;②接收外部飞行器飞行参数,通过图像非均匀性校正模块、图像旋转模块、图像多级滤波模块及流程控制模块对红外图像和激光图像进行预处理;③将预处理后的红外和激光图像传输给主FPGA0处理器。
(5)如图6所示,非均匀性校正SoC芯片:①上电复位时,校正SoC执行片上ROM中的BOOTLOADER程序,配置芯片通信接口控制寄存器,并且从外部FLASH中读取处理程序;②控制器通过异步串口完成非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置;③完成自适应定标或者实时校正,使得图像的校正适应场景变化引起的无效元的变化。
(6)如图7所示,图像旋转ASIC芯片:①上电时芯片复位;②上电复位后,各寄存器恢复到默认状态,启动ASIC旋转一幅图像;③向片上FIFO中依次写入待旋转图像的旋转角度、行数、列数以及像素值;④从FPGA1检测旋转完成标志引脚是否有效,若有效,说明图像旋转ASIC芯片处理一幅图像结束,并已将结果存入图像旋转ASIC存储DPRAM1中,从FPGA1可以读取DPRAM1中的旋转结果。
(7)如图8所示,多级滤波ASIC芯片:①上电初始化后,等待从FPGA1内部的异步通讯模块写入编程参数,包括输入图像的长度和宽度,并配置输出数据存储的外部SRAM的地址段;②配置完成后,进入多级滤波工作状态;③接收图像数据,并对其进行多级滤波处理,根据设定的地址依次将多级滤波后的图像数据发送到外部DPRAM2;④从FPGA1检测多级滤波完成标志引脚是否有效,若有效,说明ASIC处理一幅图像结束,从FPGA1可以读取DPRAM2中的处理结果。
(8)如图9所示,连通区域标记ASIC芯片:①芯片上电后复位;②主FPGA0配置ASIC内部寄存器,配置待标记图像的行列参数及控制参数;③向寄存器写入相应的启动命令来启动ASIC标记一幅图像;④向ASIC片内输入FIFO写入待标记图像的像素值,假设待标记的图像为M行N列,那么需要向输入FIFO写入M×N个数据。⑤当标记完成后,获取标记后连通区域的个数并从ASIC片内输出FIFO中读取图像标记结果和连通区域特征值。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种激光红外融合检测识别系统,其特征在于,包括非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记ASIC芯片、主DSP处理器、从DSP处理器、主FPGA处理器和从FPGA处理器,其中,
所述主DSP处理器用于完成预处理后的红外图像目标检测与特征识别,以及结合从DSP处理器传递过来的预处理后激光图像中的目标特征信息,完成目标融合检测识别;
所述从DSP处理器用于接收激光图像信息并通过对距离像进行波门设置,结合激光强度像信息提取激光图像中的目标特征信息,传递给所述主DSP处理器;
所述从FPGA处理器用于控制除连通域标记ASIC以外的其它芯片的工作,从而完成激光图像和红外图像的预处理工作;
所述主FPGA处理器用于接收从FPGA处理器传递过来的预处理后激光和红外图像,以及连通域标记ASIC芯片传递过来的标记后的激光和红外图像,对主DSP处理器和从DSP处理器执行目标检测与特征识别的流程控制,完成控制连通区域标记ASIC、主DSP处理器和从DSP处理器的信息传递;所述非均匀性校正SoC芯片用于执行对红外图像和激光图像非均匀性校正;
所述图像旋转ASIC芯片用于将二维旋转变换分解为三次一维平移运算,同时结合立方卷积插值算法,实现对红外图像和激光图像的旋转操作;
所述多级滤波ASIC芯片用于根据对于弱小目标、背景和噪声频谱的分析,构建带通滤波器来抑制背景和噪声,其中,针对红外图像和激光图像中多种大小目标并存的情况,基于多级滤波算法,利用同一滤波模块的级联实现滤波器带宽的调整以提取不同大小的目标;
所述连通域标记ASIC芯片用于按照八邻域规则,对输入的多值分割激光和红外图像中具有相同灰度值的连通像素赋予一致且唯一的标记,输出标记后的图像。
2.根据权利要求1所述的一种激光红外融合检测识别系统,其特征在于,所述主FPGA处理器包括第一图像接收模块、图像连通区域标记控制模块、第一图像输出模块、目标检测与特征识别控制模块、EMIFA地址译码模块;其中,
所述第一图像接收模块用于接收从FPGA预处理后的激光和红外图像;
所述图像连通区域标记控制模块用于执行对所述图像连通区域标记ASIC芯片的复位与启动,以控制所述图像连通区域标记ASIC芯片的工作流程;
所述第一图像输出模块用于将融合处理后的结果分别以模拟信号和数字信号的形式输出到输出接口;
所述目标检测与特征识别控制模块用于根据接收到的飞行器参数信息选择相应的图像融合检测识别处理算法,并控制主DSP处理器和从DSP处理器执行相应的算法程序;
所述EMIFA地址译码模块用于协助主DSP和从DSP完成地址分配,以进行数据读写和参数配置。
3.根据权利要求2所述的激光红外融合检测识别系统,其特征在于,在远距离成像条件下,所述目标检测与特征识别控制模块用于启动主DSP处理器的单模红外点目标检测识别程序,以针对点目标进行检测识别;
在中距离成像条件下,所述目标检测与特征识别控制模块用于启动主DSP处理器的单模红外斑状目标检测识别程序及从DSP处理器的激光测距程序,从DSP处理器对激光距离像进行波门设置,提取激光距离像中目标的距离信息并将目标的距离信息传输给主DSP处理器,主DSP处理器接收红外图像,对红外斑状目标进行处理,结合激光图像的目标距离信息,检测识别目标;
在近距离成像条件下,所述目标检测与特征识别控制模块用于启动主DSP处理器和从DSP处理器的激光红外双模融合程序;其中,从DSP处理器对激光距离像和强度像进行特征提取,将提取的特征传输给主DSP处理器;主DSP处理器利用连通域标记结果,对红外图像进行特征提取和目标识别,结合接收到的从DSP处理器传来的激光图像目标特征信息,对目标进行融合检测识别。
4.根据权利要求1或2或3所述的一种激光红外融合检测识别系统,其特征在于,所述从FPGA处理器包括第二图像接收模块、第二图像输出模块、图像校正控制模块、图像旋转控制模块和图像多级滤波控制模块;其中,
所述第二图像接收模块用于接收外部传入的激光和红外图像;
所述第二图像输出模块将预处理后的激光和红外图像发送给主FPGA处理器;
所述图像校正控制模块用于通过异步串口完成非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置,同时通过控制状态机,生成非均匀性校正SoC芯片所需的控制信号,从而控制非均匀性校正SoC芯片进入相应的处理过程;
所述图像旋转控制模块用于执行对所述旋转ASIC芯片的复位与启动,以控制所述图像旋转ASIC芯片的工作流程;
所述图像多级滤波控制模块用于执行对所述图像多级滤波ASIC的复位与启动,以控制所述图像多级滤波ASIC的工作流程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510961542.XA CN105631799B (zh) | 2015-12-18 | 2015-12-18 | 一种动平台激光红外融合检测识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510961542.XA CN105631799B (zh) | 2015-12-18 | 2015-12-18 | 一种动平台激光红外融合检测识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105631799A CN105631799A (zh) | 2016-06-01 |
CN105631799B true CN105631799B (zh) | 2017-04-12 |
Family
ID=56046688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510961542.XA Active CN105631799B (zh) | 2015-12-18 | 2015-12-18 | 一种动平台激光红外融合检测识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105631799B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106874949B (zh) * | 2017-02-10 | 2019-10-11 | 华中科技大学 | 基于红外图像的运动成像平台运动目标检测方法及系统 |
CN108062759B (zh) * | 2018-01-25 | 2020-05-19 | 华中科技大学 | 一种用于标记二值图像的多像素并行标记方法和系统 |
CN109784229B (zh) * | 2018-12-29 | 2020-10-30 | 华中科技大学 | 一种地面建筑物数据融合的复合识别方法 |
CN111445495B (zh) * | 2020-04-15 | 2022-09-13 | 青海民族大学 | 一种光照不均图像边缘检测方法 |
CN111709881A (zh) * | 2020-06-21 | 2020-09-25 | 北京理明智能科技有限公司 | 一种类人眼动态分辨率多模融合成像方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100309310A1 (en) * | 2007-04-19 | 2010-12-09 | Albright Dale | Aircraft monitoring and identification system |
CN102998001B (zh) * | 2012-12-18 | 2015-08-19 | 四川九洲电器集团有限责任公司 | 一种目标检测系统 |
CN103427366B (zh) * | 2013-08-09 | 2016-05-11 | 江西理工大学 | 用于控制识别输电线路的直升机机载系统的实时空间位置动态度量方法 |
CN103679172B (zh) * | 2013-10-10 | 2017-02-08 | 南京理工大学 | 一种通过转动红外探测器检测地面远距离运动目标的方法 |
-
2015
- 2015-12-18 CN CN201510961542.XA patent/CN105631799B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105631799A (zh) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015043363A1 (zh) | 飞行器地面运动目标红外图像识别装置 | |
CN105631799B (zh) | 一种动平台激光红外融合检测识别系统 | |
CN110196053B (zh) | 一种基于fpga的实时田间机器人视觉导航方法与系统 | |
TWI685798B (zh) | 目標檢測系統、自動駕駛車輛以及其目標檢測方法 | |
US20170294027A1 (en) | Remote determination of quantity stored in containers in geographical region | |
US12067728B2 (en) | Heterogeneous image registration method and system | |
CN103679134B (zh) | 一种对海目标红外成像识别装置 | |
WO2018115917A1 (en) | Electronic device, system and method for augmenting image data of a passive optical sensor | |
CN102221937A (zh) | 实时视频图像坐标识别系统及其方法 | |
CN113269689B (zh) | 一种基于法向量和高斯权重约束的深度图像补全方法及系统 | |
CN113378756B (zh) | 一种三维人体语义分割方法、终端设备及存储介质 | |
US20230367319A1 (en) | Intelligent obstacle avoidance method and apparatus based on binocular vision, and non-transitory computer-readable storage medium | |
KR102525570B1 (ko) | 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 | |
CN112989872A (zh) | 一种目标检测方法以及相关装置 | |
CN201853209U (zh) | 实时视频图像坐标识别系统 | |
Li et al. | A new automatic real-time crop row recognition based on SoC-FPGA | |
EP3035242B1 (en) | Method and electronic device for object tracking in a light-field capture | |
CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
Gu et al. | Radar-enhanced image fusion-based object detection for autonomous driving | |
CN114170596A (zh) | 姿态识别方法、装置、电子设备、工程机械和存储介质 | |
CN113721631A (zh) | 传感器数据处理方法、系统及可读存储介质 | |
Ahlberg et al. | GIMME2-An embedded system for stereo vision and processing of megapixel images with FPGA-acceleration | |
CN113269745A (zh) | 一种基于OpenCv的航拍汽车计数法 | |
CN112286230A (zh) | 无人机视觉图像算法、避障步骤及其信息融合处理系统 | |
CN117148315B (zh) | 一种无人驾驶汽车运行检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |