CN105469370A - 一种气动光学效应校正识别一体化实时处理的系统和方法 - Google Patents
一种气动光学效应校正识别一体化实时处理的系统和方法 Download PDFInfo
- Publication number
- CN105469370A CN105469370A CN201511002876.0A CN201511002876A CN105469370A CN 105469370 A CN105469370 A CN 105469370A CN 201511002876 A CN201511002876 A CN 201511002876A CN 105469370 A CN105469370 A CN 105469370A
- Authority
- CN
- China
- Prior art keywords
- asic
- fpga module
- correction
- soc
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012937 correction Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 230000003287 optical effect Effects 0.000 title abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 48
- 230000000694 effects Effects 0.000 claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000005855 radiation Effects 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000191 radiation effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- ROXBGBWUWZTYLZ-UHFFFAOYSA-N [6-[[10-formyl-5,14-dihydroxy-13-methyl-17-(5-oxo-2h-furan-3-yl)-2,3,4,6,7,8,9,11,12,15,16,17-dodecahydro-1h-cyclopenta[a]phenanthren-3-yl]oxy]-4-methoxy-2-methyloxan-3-yl] 4-[2-(4-azido-3-iodophenyl)ethylamino]-4-oxobutanoate Chemical compound O1C(C)C(OC(=O)CCC(=O)NCCC=2C=C(I)C(N=[N+]=[N-])=CC=2)C(OC)CC1OC(CC1(O)CCC2C3(O)CC4)CCC1(C=O)C2CCC3(C)C4C1=CC(=O)OC1 ROXBGBWUWZTYLZ-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种气动光学效应校正识别一体化实时处理系统，统包括FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC，通过上述系统完成气动光学效应退化图像的全图热辐射校正、去噪、传输效应校正及目标检测过程。相应的，本发明提出了一种与之对应的方法。本发明能够有效解决气动光学效应问题以及飞行器高速飞行条件下要求处理器在完成探测处理时间间隔短的问题，通过采用自主研发的专用ASIC，使得整个系统的实时性大大提升；对各任务进行合理分配并采用多核并行的方式，大大缩短了图像的处理时间；同时，本发明中的FPGA模块将各单元连接成闭环系统，进一步提高了系统的稳定性。
Description
技术领域
本发明属于航天技术与图像处理相结合的交叉科学技术领域，具体涉及一种气动光学效应校正识别一体化实时处理系统和方法。
背景技术
二十世界末以来，高超声速飞行器逐渐成为航空航天领域的重要发展方向。无论是在高科技产业，还是在经济领域都具有极高的战略意义，主要体现在洲际飞行器以及空天飞机等飞行器的大力发展。但是由于飞行器的高速性带来的严酷的成像环境使得成像传感器成像品质劣化，信噪比、信杂比大幅降低，探测距离大幅下降；此外飞行器的高速运动导致处理器在完成探测处理时间间隔更短，对有限的处理能力提出了更加严峻的挑战。所以超高声速飞行器的发展还面临着这样一系列的气动光学效应问题以及对应的校正算法计算相当复杂的难题。
气动光学效应主要包括气动光学传输效应和气动热辐射效应。气动光学传输效应通常是指带有光学成像探测系统的高速飞行器在大气层内飞行时，光学头罩与来流之间形成复杂的流场，对光学成像探测系统造成除热辐射外的光学波前传输畸变或传输干扰，引起被观测对象图像的偏移、抖动、模糊；而气动热辐射效应指的是在高温高压气体的影响下，原本光学特性均匀的窗口外形将产生畸变，并且在内部形成了折射率梯度分布，当平面波入射到畸变窗口时，出射后的等光程波面偏离了理想波面，波面发生畸变，从而导致成像模糊。
目前已经具备相应的气动光学传输效应校正算法以及气动热辐射效应校正算法，但还没有同时具备这两种校正算法，带有识别功能并且具有体积小、重量轻、功耗低、处理速度快以及结构明确等特点的实时处理系统。
发明内容
针对现有技术的以上缺陷或不足，本发明提出了一种气动光学效应校正识别一体化实时处理系统及方法，有效解决了飞行器高速飞行条件下要求处理器在完成探测处理时间间隔短的问题。本发明同时具备硬件系统的结构设计和算法软件系统的流程设计，主要针对气动光学效应退化图像的去噪、气动热辐射校正、气动光学传输效应校正以及目标检测与识别的实时处理展开，并采取任务分配和多核并行的处理方式，使得整个系统的实时性大大提升。
为实现上述目的，本发明提出了一种气动光学效应校正识别一体化实时处理系统，其特征在于，所述系统包括FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC：
所述FPGA模块，与所述多核主处理器DSP相连，用于接收并缓存气动光学效应退化图像数据及接收处理后的图像数据以及对应的图像信息；
所述多核主处理器DSP，与FPGA模块相连，用于读取FPGA模块端退化图像信息及接收退化图像数据，并通过调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对退化图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测、识别，并将处理后的图像数据以及对应的图像信息发送给FPGA模块；
所述多个协处理器ASIC，用于对按其功能划分，分别用于对图像的预处理、算法的加速处理以及目标检测与识别；
所述红外图像非均匀性校正片上系统SoC，用于对退化的红外图像数据进行非均匀性校正。
作为进一步优选的，所述多核主处理器DSP包括Core0～Core7：
所述Core7，与FPGA模块相连，一方面用于读取FPGA模块图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；另一方面用于接收FPGA模块写入相应图像缓冲区的退化图像数据并通知Core0进行后续的图像数据处理；还用于接收处理后的图像数据及图像信息并将其发送给FPGA模块；
所述Core0，一方面用于对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测。
作为进一步优选的，所述Core0可通过OpenMP来引导Core0～Core6对退化图像数据进行并行处理。
作为进一步优选的，所述多个协处理器ASIC具体包括FFT运算ASIC、旋转ASIC、多级滤波ASIC及标记ASIC。
作为进一步优选的，所述FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC均可配有扩展存储器，所述FPGA模块、多核主处理器DSP以及红外图像非均匀性校正片上系统SoC还可配置有掉电不易失FLASH器件。
按照本发明的另一方面，提出了一种气动光学效应校正识别一体化实时处理方法，其特征在于，所述方法包括：
(1)利用FPGA模块接收并缓存气动光学效应退化图像数据；
(2)多核主处理器DSP读取FPGA模块端退化图像信息，并接收退化图像数据；
(3)多核主处理器DSP调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测；
(4)多核主处理器DSP将处理后的图像数据以及图像信息发送给FPGA模块。
作为进一步优选的，所述步骤(3)具体包括：
(3.1)所述多核主处理器DSP的Core7，读取FPGA模块退化图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；
(3.2)所述Core7接收FPGA模块写入图像缓冲区的退化图像数据并通知Core0进行后续的图像数据处理；
(3.3)所述Core0对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测；
(3.4)所述Core7将处理后图像数据及图像信息发送给FPGA模块。
作为进一步优选的，所述Core0可通过OpenMP来引导Core0～Core6对图像数据进行并行处理。
作为进一步优选的，所述多个协处理器ASIC具体包括FFT运算ASIC、旋转ASIC、多级滤波ASIC及标记ASIC。
作为进一步优选的，所述目标检测具体包括：
首先，多核主处理器DSP通过FPGA模块将处理后的图像数据传送到多级滤波ASIC进行多级滤波操作，然后将滤波后的结果传送到标记ASIC对图像进行标记，最终将标记结果送回DSP进行特征提取以及目标形心跟踪处理。
总体而言，按照本发明点的以上技术方案与现有技术相比，主要具备以下的技术优点：
1、本发明系统包括红外图像的非均匀性校正、旋转、图像去噪、气动热辐射效应校正、气动光学传输效应校正以及目标识别等过程，其中图像非均匀性校正、旋转以及目标识别过程中的多级滤波和标记均采用自主研发设计的专用ASIC来处理，显著提升了整个系统的实时性；
2、此外，本发明系统及方法中多核主处理器DSP主导退化图像数据处理过程的执行，且对任务进行合理分配并采用多核并行的方式执行，大大缩短了退化图像的处理时间；同时，本发明中的FPGA模块充当系统互连的角色，将各个单元合理的连接到一块形成整个系统的闭环，进一步提高了系统的稳定性。
3、按照本发明提出的气动光学效应校正识别一体化实时处理系统和方法，能有效的解决气动光学效应问题以及飞行器高速飞行条件下要求处理器在完成探测处理时间间隔短的问题，且未存在过多的计算复杂度，便于操控，因而具有一定的可实施性及实用推广价值。
附图说明
图1为气动校正识别一体化处理系统的硬件系统结构框图；
图2为专用FFT运算ASIC(FFT8092V1.0)的整体框图；
图3为标记ASIC的系统框图；
图4为多级滤波ASIC的系统框图；
图5为校正SoC的系统框图；
图6为旋转ASIC的互连框图；
图7为气动光学效应校正软件框图；
图8为热辐射效应校正算法流程及任务分配图；
图9为图像去噪算法流程及任务分配图；
图10(a)为气动光学传输效应校正算法的外迭代流程图；
图10(b)为气动光学传输效应校正算法的点扩展函数(PSF)估计流程图；
图10(c)为气动光学传输效应校正算法的目标图像估计流程图；
图10(d)为气动光学传输效应校正算法任务分配图；
图11为DSP多核调度图；
图12(a)为DSPCore7处理流程图；
图12(b)为DSPCore0～Core6处理流程图；
图13为目标识别流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
硬件系统：
(1)硬件系统的核心器件为一颗TI公司生产的TMS320C6678多核主处理器DSP，一颗XILINX公司生产的Kintex7FPGA模块；ASIC均采用的是自主研发的芯片，包括一颗专用FFT(FastFourierTransform)运算的ASIC(FFT8192V1.0)、一颗红外图像非均匀性校正片上系统SoC、一颗旋转ASIC、一颗多级滤波AISC以及一颗标记ASIC。每颗器件根据需求均配有扩展存储器，此外FPGA模块、DSP以及SoC还配置有掉电不易失的FLASH器件，便于程序的固化。
(2)在本发明中DSP作为主处理器，控制算法流程；ASIC作为协处理器，校正SoC和旋转ASIC用在图像预处理方面，多级滤波ASIC和标记ASIC用在目标检测和识别方面，专用FFT运算ASIC则用来计算消耗较大的FFT运算；FPGA主要用来做接口设计。DSP与FPGA之间采用一组4×SRIO(SerialRapidI/O)进行数据传输；DSP与FFT运算ASIC之间采用并行输入输出总线进行数据传输并通过I2C总线或同步串口的方式对其工作方式进行设置。
(3)图像数据通过LVDS(LowVoltageDifferentialSignaling)信号接口进入FPGA模块，FPGA模块先对对数据进行缓存，由于红外相机的成像因素，需要通过调用校正SoC对红外图像进行非均匀性校正；然后DSP通过SRIO将数据读入到DSP的存储器中然后对数据进行处理。当算法涉及到FFT或IFFT运算部分时，DSP会将该数据送入到ASIC进行计算，然后再将数据读回DSP进行后续处理。由于飞行器在飞行过程中会有旋转的过程，此时DSP会通过FPGA调用旋转ASIC对图像进行校正。完成一帧处理后DSP调用多级滤波ASIC和标记ASIC进行目标识别，并将校正后的图像以及目标位置信息通知FPGA，FPGA收到消息后在将数据传送出去，至此完成整个气动光学效应校正以及目标识别算法。
软件系统：
(1)软件系统包括气动热辐射效应校正、图像去噪、气动光学传输效应校正，目标检测与识别等过程。根据气动光学效应退化机理，整个校正过程的框架为：首先进行气动热辐射校正，然后进行去噪处理，之后在做气动光学传输效应校正，经以上处理完成对图像的恢复，最后在进行目标检测与识别。
(2)针对气动光学效应的复杂性，通过对算法有效性的研究，对以上三种处理过程分别提出了适合并有效的校正算法分别为：基于梯度拟合的气动热辐射校正算法、利用目标频域特性的频域滤波方法和Hu矩约束下的最大似然估计算法。由于以上算法中涉及到大量的FFT/IFFT运算，并且这部分运算消耗较大，所以在本发明中使用了自主研发的专用FFT运算ASIC来对算法进行加速，并且将相对成熟的非均匀性校正、旋转、标记、多级滤波等算法做成ASIC来使用，进而提升处理的实时性。
基于ASIC+FPGA+DSP结构的气动校正识别一体化实时处理系统的硬件框图如图1所示，软件流程如图7所示。
具体实现过程为：
(1)气动光学效应退化图像数据通过LVDS信号接口传输至FPGA，FPGA对数据进行缓存。
(2)DSPCore7通过SRIO与FPGA进行通信，通过NREAD事务读取FPGA端退化图像信息(分辨率、图像格式)创建相应大小的图像缓冲区，然后将缓冲区的信息通过NWRITE_R事务发送给FPGA。
(3)DSPCore7通过Doorbell事务通知FPGA地址信息已发送完成表示FPGA可以向该缓冲区写入退化图像数据，然后FPGA根据地址映射表将退化图像数据通过NWRITE_R事务写入相应的缓冲区，完成后通过Doorbell事务通知DSPCore7当前退化图像数据完整。
(4)DSPCore7通知Core0退化图像数据已就绪可以进行后续的处理；
(5)Core0在接收到第一帧退化图像数据后，先通过调用校正SoC对图像进行非均匀性校正，如图5所示为校正SoC的系统框图。然后对图像进行全图热辐射校正、去噪以及传输效应校正，然后对全图进行预检测，并提取出分辨率为64×64大小的感兴趣区域，之后在对该区域进行校正，将校正后的子图还原到原图中检测目标位置，此时可以确定目标的精确位置。
具体而言，全图热辐射校正方法采用的是基于梯度拟合的气动热辐射校正算法，该方法是通过对气动光学效应退化图像进行灰度偏移场拟合，然后用该退化图像减去估计出的灰度偏移场，从而得到气动热辐射校正图像，其流程图如图8所示。全图去噪采用的是利用目标频域特性的频域滤波方法，以点源目标为例进行具体说明，根据点源目标以及噪声的频谱分布特性构建不同半径的高斯环状滤波器，然后对含有噪声的图像进行傅里叶变换(这部分计算在FFT运算AISC中实现)，然后将其与滤波器作点乘然后进行傅里叶逆变换操作得到去噪后的图像，如图9所示。传输效应校正方法采用的是Hu矩约束下的最大似然估计算法，该算法的特性就是通过对点扩展函数(PSF)和图像进行反复的迭代来进行图像的复原，整个算法流程以及其在硬件系统上实现的分布如图10所示。
(6)在进行连续多帧处理时，由于帧频较快，下一帧和上一帧目标所在的位置偏差很小，所以在对下一帧处理时首先进行全图热辐射校正，然后直接以上一帧目标所在的位置为中心提取出分辨率为64×64大小的感兴趣区，然后直接对该区域进行去噪与校正处理，最终再进行目标检测，所有算法在DSP中执行的具体过程如图12所示。
目标检测的具体过程为：DSP通过FPGA将处理后的图像数据传送到多级滤波ASIC进行多级滤波操作，然后将滤波后的结果传送到标记ASIC对图像进行标记，最终将标记结果送回DSP进行特征提取以及目标形心跟踪等处理，整个过程由DSP作为主导，其处理流程如图13所示。图3和图4分别展示了标记ASIC与多级滤波ASIC的结构框图。
(7)Core0在执行过程中，需要使用FFT/IFFT运算时，将退化图像数据通过FPGA传送到FFT运算ASIC，其系统结构如图2所示，并对该ASIC进行配置，ASIC处理完成后再将数据送回至DSP，Core0继续执行；在需要将图像旋转时，通过调用旋转ASIC进行旋转操作，图6显示了旋转ASCI的典型连接方式；在遇到大量复杂循环操作时，Core0通过调用OpenMP来引导Core0～Core6对这部分循环进行并行处理，多核调度过程如图11所示，处理完成后将图像信息(分辨率，图像格式，存储地址)发送给Core7。
(8)Core7通过SRIO将图像数据以及图像信息发送给FPGA，FPGA收到数据后最终通过LVDS信号接口将数据传输到下一级处理系统，完成整个气动光学效应校正识别过程。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种气动光学效应校正识别一体化实时处理系统，其特征在于，所述系统包括FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC：
所述FPGA模块，与所述多核主处理器DSP相连，用于接收并缓存气动光学效应退化图像数据及接收处理后的图像数据以及对应的图像信息；
所述多核主处理器DSP，与FPGA模块相连，用于读取FPGA模块端退化图像信息及接收退化图像数据，并通过调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对退化图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测，并将处理后的图像数据以及对应的图像信息发送给FPGA模块；
所述多个协处理器ASIC，用于对退化图像数据进行全图热辐射校正、去噪、传输效应校正以及目标检测；
所述红外图像非均匀性校正片上系统SoC，用于对退化图像数据进行非均匀性校正。
2.如权利要求1所述的系统，其特征在于，所述多核主处理器DSP包括Core0～Core7：
所述Core7，与FPGA模块相连，一方面用于读取FPGA模块图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；另一方面用于接收FPGA模块写入相应图像缓冲区的退化图像数据并通知Core0进行后续的图像数据处理；还用于接收处理后的图像数据及图像信息并将其发送给FPGA模块；
所述Core0，一方面用于对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测。
3.如权利要求1所述的系统，其特征在于，所述Core0可通过OpenMP来引导Core0～Core6对退化图像数据进行并行处理。
4.如权利要求1-3任一项所述的系统，其特征在于，所述多个协处理器ASIC具体包括FFT运算ASIC、旋转ASIC、多级滤波ASIC及标记ASIC。
5.如权利要求1所述的系统，其特征在于，所述FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC均可配有扩展存储器，所述FPGA模块、多核主处理器DSP以及红外图像非均匀性校正片上系统SoC还可配置有掉电不易失FLASH器件。
6.一种气动光学效应校正识别一体化实时处理方法，其特征在于，所述方法包括：
(1)利用FPGA模块接收并缓存气动光学效应退化图像数据；
(2)多核主处理器DSP读取FPGA模块端退化图像信息，并接收退化图像数据；
(3)多核主处理器DSP调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测；
(4)多核主处理器DSP将处理后的图像数据以及图像信息发送给FPGA模块。
7.如权利要求6所述的方法，其特征在于，所述步骤(3)具体包括：
(3.1)所述多核主处理器DSP的Core7，读取FPGA模块退化图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；
(3.2)所述Core7接收FPGA模块写入图像缓冲区的退化图像数据并通知Core0进行后续的图像数据处理；
(3.3)所述Core0对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测；
(3.4)所述Core7将处理后图像数据及图像信息发送给FPGA模块。
8.如权利要求7所述的方法，其特征在于，所述Core0可通过OpenMP来引导Core0～Core6对图像数据进行并行处理。
9.如权利要求6-8任一项所述的方法，其特征在于，所述多个协处理器ASIC具体包括FFT运算ASIC、旋转ASIC、多级滤波ASIC及标记ASIC。
10.如权利要求6-8任一项所述的方法，其特征在于，所述目标检测具体包括：
首先，多核主处理器DSP通过FPGA模块将处理后的图像数据传送到多级滤波ASIC进行多级滤波操作，然后将滤波后的结果传送到标记ASIC对图像进行标记，最终将标记结果送回DSP进行特征提取以及目标形心跟踪处理。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511002876.0A CN105469370B (zh) | 2015-12-28 | 2015-12-28 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
| PCT/CN2016/079133 WO2017113540A1 (zh) | 2015-12-28 | 2016-04-13 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
| US15/576,847 US10297013B2 (en) | 2015-12-28 | 2016-04-13 | Aerodynamic optical effect correction and identification integrated real-time processing system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511002876.0A CN105469370B (zh) | 2015-12-28 | 2015-12-28 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105469370A true CN105469370A (zh) | 2016-04-06 |
| CN105469370B CN105469370B (zh) | 2018-05-11 |
Family
ID=55607031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511002876.0A Active CN105469370B (zh) | 2015-12-28 | 2015-12-28 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10297013B2 (zh) |
| CN (1) | CN105469370B (zh) |
| WO (1) | WO2017113540A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113540A1 (zh) * | 2015-12-28 | 2017-07-06 | 华中科技大学 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
| CN108288030A (zh) * | 2017-12-29 | 2018-07-17 | 华中科技大学 | 一种机载红外小目标检测识别实时处理系统和方法 |
| CN108827583A (zh) * | 2016-10-08 | 2018-11-16 | 哈尔滨理工大学 | 一种立式气动光学效应模拟装置 |
| CN111078210A (zh) * | 2019-12-11 | 2020-04-28 | 中国科学院光电技术研究所 | 一种用于自适应光学操控系统的QT和Matlab多线程混合编程软件架构 |
| CN113793284A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10521888B2 (en) * | 2015-12-23 | 2019-12-31 | Huazhong University Of Science And Technology | Aerothermal radiation effect frequency domain correction method |
| CN109587380B (zh) * | 2018-12-06 | 2020-04-28 | 天津津航技术物理研究所 | 小型化高温工作多接口制冷型红外成像器 |
| EP3764235B1 (en) * | 2019-07-12 | 2022-10-26 | Ratier-Figeac SAS | Field programmable gate array (fpga) having dissimilar cores |
| EP3872634A1 (en) * | 2020-02-27 | 2021-09-01 | Mitsubishi Electric R&D Centre Europe B.V. | Multicore system on chip architecture |
| CN112256627A (zh) * | 2020-10-21 | 2021-01-22 | 四川望望科技有限公司 | 一种光电跟踪系统高清高帧频实时图像处理平台及方法 |
| CN113096041B (zh) * | 2021-04-08 | 2023-03-24 | 杭州海康消防科技有限公司 | 图像校正方法及装置 |
| CN113536461B (zh) * | 2021-07-15 | 2023-11-03 | 北京航空航天大学 | 用于高超声速强激波流场气动热预测的湍流模型修正方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120330633A1 (en) * | 2011-06-21 | 2012-12-27 | Lockheed Martin Corporation | Scintillation generator for simulation of aero-optical and atmospheric turbulence |
| CN103544470A (zh) * | 2013-08-05 | 2014-01-29 | 华中科技大学 | 一种动平台对空目标双色红外异构并行自动目标识别器 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140105515A1 (en) * | 2012-04-04 | 2014-04-17 | The Regents Of The University Of California | Stabilizing and Deblurring Atmospheric Turbulence |
| US9811884B2 (en) * | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| CN103544471B (zh) * | 2013-08-05 | 2017-05-17 | 华中科技大学 | 一种动平台对地固定目标异构并行自动目标识别器 |
| CN103679134B (zh) * | 2013-09-09 | 2016-07-13 | 华中科技大学 | 一种对海目标红外成像识别装置 |
| US10389940B2 (en) * | 2015-07-02 | 2019-08-20 | Mission Support and Test Services, LLC | Passive method to measure strength of turbulence |
| CN105469370B (zh) * | 2015-12-28 | 2018-05-11 | 华中科技大学 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
-
2015
- 2015-12-28 CN CN201511002876.0A patent/CN105469370B/zh active Active
-
2016
- 2016-04-13 WO PCT/CN2016/079133 patent/WO2017113540A1/zh active Application Filing
- 2016-04-13 US US15/576,847 patent/US10297013B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120330633A1 (en) * | 2011-06-21 | 2012-12-27 | Lockheed Martin Corporation | Scintillation generator for simulation of aero-optical and atmospheric turbulence |
| CN103544470A (zh) * | 2013-08-05 | 2014-01-29 | 华中科技大学 | 一种动平台对空目标双色红外异构并行自动目标识别器 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113540A1 (zh) * | 2015-12-28 | 2017-07-06 | 华中科技大学 | 一种气动光学效应校正识别一体化实时处理的系统和方法 |
| CN108827583A (zh) * | 2016-10-08 | 2018-11-16 | 哈尔滨理工大学 | 一种立式气动光学效应模拟装置 |
| CN108827583B (zh) * | 2016-10-08 | 2019-12-20 | 哈尔滨理工大学 | 一种立式气动光学效应模拟装置 |
| CN108288030A (zh) * | 2017-12-29 | 2018-07-17 | 华中科技大学 | 一种机载红外小目标检测识别实时处理系统和方法 |
| CN108288030B (zh) * | 2017-12-29 | 2021-05-18 | 华中科技大学 | 一种机载红外小目标检测识别实时处理系统和方法 |
| CN111078210A (zh) * | 2019-12-11 | 2020-04-28 | 中国科学院光电技术研究所 | 一种用于自适应光学操控系统的QT和Matlab多线程混合编程软件架构 |
| CN113793284A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10297013B2 (en) | 2019-05-21 |
| CN105469370B (zh) | 2018-05-11 |
| WO2017113540A1 (zh) | 2017-07-06 |
| US20180293709A1 (en) | 2018-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105469370A (zh) | 一种气动光学效应校正识别一体化实时处理的系统和方法 | |
| CN110852254B (zh) | 人脸关键点跟踪方法、介质、装置和计算设备 | |
| WO2018120446A1 (zh) | 一种面向实时目标识别的异构处理机并行协调处理方法 | |
| US20180075605A1 (en) | Method and system for detecting multiple moving objects from real-time aerial images | |
| US20160267111A1 (en) | Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays | |
| WO2015043363A1 (zh) | 飞行器地面运动目标红外图像识别装置 | |
| CN103345382A (zh) | 一种cpu+gpu群核超算系统及sift特征匹配并行计算方法 | |
| CN108198149B (zh) | 一种图像去模糊方法 | |
| Su et al. | Artificial intelligence design on embedded board with edge computing for vehicle applications | |
| CN113506305B (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| US20240089425A1 (en) | Methods and apparatus for image frame freeze detection | |
| CN105354582B (zh) | 图像角点提取方法和装置以及图像角点提取摄像装置 | |
| CN107146245A (zh) | 图像匹配方法和装置 | |
| CN108875733B (zh) | 一种红外小目标快速提取系统 | |
| CN110580462A (zh) | 一种基于非局部网络的自然场景文本检测方法和系统 | |
| CN109117945B (zh) | 处理器及其处理方法、芯片、芯片封装结构及电子装置 | |
| CN116016816A (zh) | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统 | |
| CN114373078A (zh) | 目标检测方法、装置、终端设备及存储介质 | |
| CN205388775U (zh) | 一种采用并行数据处理的图形处理系统 | |
| Jin et al. | Distribution-aware FAST feature point extraction and matching based on FPGA | |
| Wassner et al. | Hardware-software codesign of a tightly-coupled coprocessor for video content analysis | |
| Schmid et al. | Real-timerange image preprocessing on FPGAs | |
| US20230409883A1 (en) | Methods and Apparatuses for Bottleneck Stages in Neural-Network Processing | |
| WO2023056833A1 (zh) | 背景图生成、图像融合方法、装置、电子设备及可读介质 | |
| Li et al. | Combining motion compensation with spatiotemporal constraint for video deblurring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |