CN103198445B - 基于红外目标检测与跟踪图像处理装置的图像处理方法 - Google Patents

基于红外目标检测与跟踪图像处理装置的图像处理方法 Download PDF

Info

Publication number
CN103198445B
CN103198445B CN201310054566.8A CN201310054566A CN103198445B CN 103198445 B CN103198445 B CN 103198445B CN 201310054566 A CN201310054566 A CN 201310054566A CN 103198445 B CN103198445 B CN 103198445B
Authority
CN
China
Prior art keywords
processing module
dsp
algorithm
image
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310054566.8A
Other languages
English (en)
Other versions
CN103198445A (zh
Inventor
顾国华
王厚
杨陈晨
陈海欣
钱惟贤
陈钱
徐富元
任侃
隋修宝
何伟基
路东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201310054566.8A priority Critical patent/CN103198445B/zh
Publication of CN103198445A publication Critical patent/CN103198445A/zh
Application granted granted Critical
Publication of CN103198445B publication Critical patent/CN103198445B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种高速红外目标检测与跟踪图像处理装置及其处理方法,装置包括FPGA处理模块、DSP处理模块、ARM处理模块;FPGA处理模块通过RocketIO接口与DSP处理模块包括的两个DSP处理子模块的RapidIO接口连接,FPGA处理模块与DSP处理模块包括的两个DSP处理子模块的McBSPs接口相连,FPGA处理模块通过SDRAMs芯片与ARM处理模块连接,通过SRAMs芯片与热像仪连接,还连接有SRAMs芯片和Flash芯片,FPGA处理模块连接ARM处理模块的UARTs接口,FPGA处理模块通过I2C接口与陀螺仪和加速计连接,DSP处理模块包括的两个DSP处理子模块都连接有DDR2芯片和Flash芯片;本发明占用内部存储少,传输速率高,并且能够满足实时性要求。

Description

基于红外目标检测与跟踪图像处理装置的图像处理方法
技术领域
本发明属于红外目标检测与跟踪技术领域,特别是一种高速红外目标检测与跟踪图像处理装置及其处理方法。
背景技术
红外地面运动目标的检测与跟踪技术在人脸识别、人工智能、自动控制、军事等领域有广泛的应用,是近年来研究的热点和难点。红外地面运动目标的可用信息少,信噪比低,处理算法复杂,这就要求红外视频图像处理系统能同时处理大量的数据,又拥有很高的数据传输处理速度,并且系统的体积、功耗和稳定性也都有严格的要求。完整的红外图像处理系统要包括图像采集模块,实时显示控制模块,和图像数据的分析处理模块。
目前,对于DSP+FPGA图像处理系统装置的研究已经有了一定的成果,中国专利申请201210258161.1提出使用DSP+FPGA图像处理系统装置,就能实现图像数据的采集、处理和显示为一体的系统。现在的研究方向是如何扩充系统硬件资源和优化软件算法,达到能以更快的速度、更精确的运算算法,来处理更多的图像数据,并保证系统的实时性。而现有的高速DSP+FPGA系统结构中,DSP处理模块多以EDMA方式从FPGA处理模块的高速缓存FIFO中读取数据,需要FPGA处理模块在内部配置一块大小适当的存储空间。FPGA处理模块作为一个存储器,通过DSP处理模块的外部存储器接口,即EMIF接口,与DSP处理模块相连,这样不仅消耗了FPGA与DSP的内部存储,对于处理大量红外视频图像的复杂算法时在存储容量和传输速率上存在局限性,不能满足实时性的要求。
发明内容
本发明的目的在于提供一种占用内部存储少,传输速率高,并且能够满足实时性要求的高速红外目标检测与跟踪图像处理装置及其处理方法。
实现本发明目的的技术解决方案为:
一种高速红外目标检测与跟踪图像处理装置,包括FPGA处理模块、DSP处理模块、ARM处理模块;其中FPGA处理模块通过RocketIO接口与DSP处理模块包括的两个DSP处理子模块的RapidIO接口连接,同时FPGA处理模块与DSP处理模块包括的两个DSP处理子模块的McBSPs接口相连,FPGA处理模块通过SDRAMs芯片与ARM处理模块连接,通过SRAMs芯片与热像仪连接,同时还连接有SRAMs芯片和Flash芯片,FPGA处理模块连接ARM处理模块的UARTs接口,FPGA处理模块通过I2C接口与陀螺仪和加速计连接,DSP处理模块包括的两个DSP处理子模块都连接有DDR2芯片和Flash芯片。
一种利用权利要求1所述的高速红外目标检测与跟踪图像处理装置的红外图像处理方法,包括以下步骤:
步骤一:ARM处理模块先在远程或本地控制模式下设置图像预处理方式和运算算法初始化参数,发给FPGA处理模块系统开始工作信号,FPGA处理模块控制图像处理系统复位;
步骤二:FPGA处理模块接收来自ARM处理模块设置的图像预处理方式信号和运算算法初始化参数信号,同时接收热像仪传来的原始图像数据信号,根据选择的图像预处理方式对原始图像数据执行图像预处理操作;
步骤三:DSP处理模块接收来自FPGA处理模块的图像预处理操作完成信号,FPGA处理模块将执行图像预处理后的图像数据信号和运算算法初始化参数信号发送给DSP处理模块,DSP处理模块包括两个DSP处理子模块,分别执行目标检测算法和航迹跟踪算法操作;
步骤四:ARM处理模块接收来自FPGA处理模块的图像预处理操作完成信号和角速度、加速度、位移量等图像预处理结果数据信号并显示;
步骤五:DSP处理模块将目标检测算法和航迹跟踪算法操作完成信号发给FPGA处理模块,再将目标检测算法和航迹跟踪算法处理后的图像数据信号发给FPGA处理模块,FPGA处理模块将目标检测算法和航迹跟踪算法操作完成信号和目标检测算法和航迹跟踪算法处理后的图像数据信号发给ARM处理模块并显示。
本发明与现有技术相比,其显著优点:
(1)本发明当FPGA处理模块想要向DSP处理模块中写数据时,无需CPU产生中断,或使用EDMA功能,具有高性能、低引脚数的优点,减少FPGA与DSP的内部存储的占用,在嵌入式系统中占有明显优势。
(2)本发明在方法上优化算法提高系统处理图像的精度和效率,同时保证系统的实时性和稳定性。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明装置的硬件结构示意图。
图2是本发明方法的时序逻辑框图。
具体实施方式
一种高速红外目标检测与跟踪图像处理装置,包括FPGA处理模块、DSP处理模块、ARM处理模块;其中FPGA处理模块通过RocketIO接口与DSP处理模块包括的两个DSP处理子模块的RapidIO接口连接,同时FPGA处理模块与DSP处理模块包括的两个DSP处理子模块的McBSPs接口相连,FPGA处理模块通过SDRAMs芯片与ARM处理模块连接,通过SRAMs芯片与热像仪连接,同时还连接有SRAMs芯片和Flash芯片,FPGA处理模块连接ARM处理模块的UARTs接口,FPGA处理模块通过I2C接口与陀螺仪和加速计连接,DSP处理模块包括的两个DSP处理子模块都连接有DDR2芯片和Flash芯片。
所述的每个DSP处理子模块包括DSP的BOOT模块、DSP时钟模块、DDR2存储模块、RapidIO接口模块、JTAG选择模块、McBSPs缓冲接口模块、Flash及I2C存储模块、千兆网卡模块以及电源模块,RapidIO接口模块连接SMAs接口外接,再通过外接光纤连接FPGA处理模块的SMAs接口来连接其RocketIO接口。
一种利用权利要求1所述的高速红外目标检测与跟踪图像处理装置的红外图像处理方法,包括以下步骤:
步骤一:ARM处理模块先在远程或本地控制模式下设置图像预处理方式和运算算法初始化参数,发给FPGA处理模块系统开始工作信号,FPGA处理模块控制图像处理系统复位;
步骤二:FPGA处理模块接收来自ARM处理模块设置的图像预处理方式信号和运算算法初始化参数信号,同时接收热像仪传来的原始图像数据信号,根据选择的图像预处理方式对原始图像数据执行图像预处理操作;
步骤三:DSP处理模块接收来自FPGA处理模块的图像预处理操作完成信号,FPGA处理模块将执行图像预处理后的图像数据信号和运算算法初始化参数信号发送给DSP处理模块,DSP处理模块包括两个DSP处理子模块,分别执行目标检测算法和航迹跟踪算法操作;
步骤四:ARM处理模块接收来自FPGA处理模块的图像预处理操作完成信号和角速度、加速度、位移量等图像预处理结果数据信号并显示;
步骤五:DSP处理模块将目标检测算法和航迹跟踪算法操作完成信号发给FPGA处理模块,再将目标检测算法和航迹跟踪算法处理后的图像数据信号发给FPGA处理模块,FPGA处理模块将目标检测算法和航迹跟踪算法操作完成信号和目标检测算法和航迹跟踪算法处理后的图像数据信号发给ARM处理模块并显示。
所述的步骤二中,FPGA处理模块接收来自ARM处理模块一个UART接口传来的设置的图像预处理方式信号和运算算法初始化参数信号,同时接收热像仪通过SRAMs芯片以帧为单位乒乓存储的方式传来的原始图像数据信号;热像仪提供差分图像数据线,以高速低功耗LVDS信号进行传输,通过通道链路芯片组转换为慢速TTL信号输出,每帧数据中包括灰度图像信号,行同步、场同步信号和像素时钟信号;当FPGA处理模块读取一帧图像后,根据选择的图像预处理方式对原始图像数据执行图像预处理操作;图像预处理逻辑为,首先对图像数据进行盲元补偿、非均匀性校正等操作,再采用最大中值滤波的方法等进行背景抑制和噪声消除;然后FPGA处理模块执行相位相关配准算法,对相邻两帧图像进行二维FFT运算得到互功率谱,逆变换得到两帧图像的位移量,完成图像匹配算法。
所述的步骤三中,DSP处理模块的两个DSP处理子模块分别有两个McBSP接口与FPGA处理模块互联,进行控制信号的通信;FPGA处理模块在执行图像预处理操作完成后,通过DSP处理模块的一个McBSP接口发给DSP处理模块预处理完成、要开始执行算法运算的控制信号,DSP处理模块再通过另一个McBSP接口接收从FPGA处理模块传来的算法初始化参数信号,进行算法的初始化;该方法在执行目标检测算法的DSP处理模块中,执行背景更新算法;其采用的背景更新算法为一种自适应混合高斯模型的背景更新算法,同时,FPGA处理模块通过RocketIO接口将图像数据从DSP处理模块的RapidIO接口RX通道传给DSP处理模块,并且将预处理得到的位移量数据也通过DSP处理模块的一个McBSP接口传给DSP处理模块,DSP处理模块就得到图像数据的位移量数据执行全景拼接算法;
FPGA处理模块的I2C接口连接陀螺仪和加速计,得到高速红外目标检测与跟踪图像处理装置的角速度和加速度数据,数据通过DSP处理模块的一个McBSP接口传输给DSP处理模块,用于航迹跟踪算法中;该装置航迹跟踪采用交互式多模型算法,将目标的角度泰勒展开并离散化,建立起纯角度跟踪的统计模型。
所述的步骤五中,当DSP处理模块执行目标检测算法和航迹跟踪算法操作完成后,将算法操作完成信号通过一个McBSP接口传回给FPGA处理模块,DSP处理模块发出该信号后,从RapidIO接口TX通道发送算法处理后的图像数据给FPGA处理模块;FPGA处理模块接收到DSP处理模块的McBSP通道发来的算法处理完成信号后,通过RocketIO接口接收DSP处理模块算法处理完成的图像数据,并且通过ARM处理模块的SDRAMs芯片将结果数据传给ARM处理模块,ARM处理模块显示处理图像结果。
本发明提出了一种DSP+FPGA高速红外目标检测与跟踪图像处理装置及方法,该装置具有图像采集、图像滤波、图像配准、目标检测和航迹跟踪等功能,并且可以将图像处理结果进行显示。该装置旨在实现独立红外视频处理,可以对图像处理过程执行本地控制或远程控制,高速传输图像数据,提高图像处理数据量和处理速度。
在本发明提出的DSP+FPGA高速红外目标检测与跟踪图像处理系统装置及方法中,该装置需使用具有RocketIO接口的FPGA,例如可以采用Xilinx公司Virtex-5系列的XC5VFX70T型号,该型号FPGA内置大量IP硬核系统级模块,满足具备高级串行连接功能的高性能嵌入式系统的要求,DSPs需要使用具有RapidIO接口的DSP,例如可以运用TI公司的TMS320C6455DSP芯片或TMS320C6678DSP芯片作为核心处理器,ARM处理模块的主芯片一般选用32bitCMOS微处理器即可,例如可以使用Samsung公司型号S3C2440L的32bit CMOS微处理器。
本发明装置中使用DSP的Serial RapidIO接口和FPGA的RocketIO接口进行高速图像数据交换,装置硬件结构如附图1所示。装置中使用DSP的SerialRapidIO接口进行图像数据交换,RapidIO作为高带宽外设接口,通过DMA总线的存储和寻址以硬件方式来完成数据交换过程,当FPGA处理模块想要向DSP处理模块中写数据时,无需CPU产生中断,或使用EDMA功能,具有高性能、低引脚数的优点,传输速率高达3.125GHz,在嵌入式系统中占有明显优势。装置中使用FPGA的RocketIO接口进行图像数据交换,RocketIO GTP是XilinxVirtex-5系列提供的用于高速串行互联的SERDES硬核,线速率范围为100Mb/s到3.75Gb/s左右。而EDMA作为一种高效的数据传输方式,最高数据吞吐量可达1200Mb/s左右,因此本发明装置在硬件传输速率上有明显优势。
本发明的高速红外目标检测与跟踪图像处理系统装置在执行目标检测算法的DSP处理模块中,可以执行背景更新算法。其可以采用的背景更新算法优化方法为一种自适应混合高斯模型的背景更新算法,其初始化参数有学习因子a,混合模型中高斯分布的最大个数N,马氏距离参数Tσ,高斯分布初始化方差V0
该算法的执行过程为,首先DSP对接收到的每帧数据图像的每个像素建立多个高斯分布表征的混合高斯模型,计算每个高斯分布对应当前图像的权重、学习因子、均值、方差和迭代因子,得到每个高斯分布的归属度用x(t)表示图像中某个位置在时间为t的像素灰度值,令cτ=c/T=N/2T,M表示M个单高斯分布,分别为高斯分布的均值和方差,ωa表示第n个分布的权重,则每个高斯分布的均值和方差为
u ^ a ( t + 1 ) = u ^ a ( t ) + ( 1 + t ) - 1 O a ( t ) ( x ( t + 1 ) ) ω ^ a ( t ) Δ u ^ a ( t ) - - - ( 1 )
其中 Δ u ^ a ( t ) = x ( t + 1 ) - u ^ a ( t ) ,
σ ^ a ( t + 1 ) = σ ^ a ( t ) + ( 1 + t ) - 1 O a ( t ) ( x ( t + 1 ) ) ω ^ a ( t ) Δ σ ^ a ( t ) - - - ( 2 )
其中由此可得递归更新等式
ω ^ a ( t + 1 ) = ω ^ a ( t ) + ( 1 + t ) - 1 ( O a ( t ) ( x ( t + 1 ) ) 1 - Mc τ - ω ^ a ( t ) ) - ( 1 + t ) - 1 c τ 1 - Mc τ - - - ( 3 )
再根据每个高斯分布的权值删除与实际背景模型无关的高斯分布,最后归一化权重得到结果数据。若图像数据不符合混合模型中的任何高斯分布,则需要建立新的高斯分布。该算法方法与常用混合高斯模型的背景更新算法相比,无论在初始化时还是背景改变后都具有很快的收敛速率,并且可以获得较高的估计模型的平均概率,适用于本发明装置。
实施例1:
本发明的高速红外目标检测与跟踪图像处理装置的样例测试一为:
本样例图像处理装置中,DSP芯片采用TMS320C6455,DSP处理模块的外设包括2片64Mx16bit的DDR芯片,1片4Mx8bit的Flash芯片,FPGA处理模块的外设包括1片16Mbit的Flash芯片,还有6片256Kx36bit的SRAM芯片,用于存储图像数据,并为后续图像处理提供数据。该装置中使用的ARM处理模块的外设有2片16Mx16bit的SDRAM芯片,用在以乒乓存储的方式从FPGA处理模块接收图像数据处理结果,并有2个RS232串口接口和FPGA处理模块进行控制通信。ARM处理模块有一个LCD触摸屏,在Linux系统下生成人机界面,具有选择执行目标检测或航迹跟踪的圆钮选择控件,选择本地控制或通过网口连接网线远程控制的控件,算法参数设置的文本框,和可以显示系统处理结果的图像显示框。
此样例测试步骤为:
(1)系统上电,热像仪开启;
(2)开启ARM处理模块人机界面,进行系统工作设置。假设控制模式选择“本地控制”,参数设置的预处理滤波方式设为“最大中值滤波”,在“最大中值滤波”方式下不用设置阈值,算法选择“目标检测”,背景更新算法初始化参数中,学习因子a设为“0.1”,混合模型中高斯分布的最大个数N设为“3”,马氏距离参数Tσ设为“2.5”,高斯分布初始化方差V0设为“10”;
(3)在ARM处理模块人机界面上点击“开始”命令按钮,系统初始化并开始工作;
(4)通过ARM处理模块人机界面上的系统运行流程监控框可以知道系统执行数据处理的详细过程;
(5)当数据处理完成后,经过处理后的图像在ARM处理模块人机界面上显示;
(6)如果想要继续处理图像,可以点击ARM处理模块人机界面上的“继续”命令按钮。
执行上述样例测试步骤,该方法时序逻辑如附图2高速红外目标检测与跟踪图像处理系统装置及方法的方法时序逻辑框图所示,ARM处理模块首先在本地控制模式下,在其人机界面上发出控制系统开始工作的控制命令,通过UART0接口传给FPGA处理模块,然后FPGA处理模块控制整个系统复位,如附图2高速红外目标检测与跟踪图像处理系统装置及方法的方法时序逻辑框图的A部分所示。
接着ARM处理模块将人机界面输入的预处理方式和运算算法初始化参数传给FPGA处理模块,同时FPGA处理模块接收热像仪传来的图像数据,如附图2高速红外目标检测与跟踪图像处理系统装置及方法的方法时序逻辑框图的B部分所示。热像仪提供16对差分图像数据线,以高速低功耗LVDS信号进行传输,通过通道链路芯片组转换为慢速TTL信号输出,每帧数据中包括16bit灰度图像信号,行同步、场同步信号和像素时钟信号。FPGA处理模块将热像仪传来的图像数据以帧为单位交替存入两片SRAM芯片中。当FPGA处理模块读取一帧图像后,根据选择的图像预处理方式对原始图像数据执行预处理操作。图像预处理逻辑为,首先对图像数据进行盲元补偿、非均匀性校正等操作,再采用最大中值滤波的方法进行背景抑制和噪声消除,以削弱图像的噪声和抖动强烈的背景,提高信噪比。然后FPGA处理模块执行相位相关配准算法,对相邻两帧图像进行二维FFT运算得到互功率谱,逆变换得到两帧图像的位移量,完成图像匹配算法。FPGA处理模块采用125MHz的时钟进行算法运算,执行配准算法经乒乓操作后约为5ms,其他操作产生的延迟少于2行4个像素时钟,即516个像素时钟的延迟,约为4.128us。此方法较基于灰度的图像匹配算法在该装置中有更快的运算速度。
如附图2高速红外目标检测与跟踪图像处理系统装置及方法的方法时序逻辑框图的C部分所示,高速红外目标检测与跟踪图像处理系统装置中使用DSP处理模块的两个McBSP接口与FPGA处理模块互联,完成控制信号的通信。FPGA处理模块执行预处理操作完成后,通过DSP处理模块的McBSP0接口发给DSP处理模块预处理完成、要开始执行算法运算的控制信号,DSP处理模块再通过McBSP1接口接收从FPGA处理模块处传来的算法初始化参数,进行算法的初始化。同时,FPGA处理模块通过RocketIO接口将图像数据Image从DSP处理模块的RapidIO接口RX通道传给DSP处理模块,并且将预处理得到的位移量数据也通过DSP处理模块的McBSP1接口传给DSP处理模块,DSP处理模块就可以得到图像数据的全景拼接位移量。这样的传输操作过程将图像传输部分和实时通信部分进行分离,提高了系统数据传输处理的效率。
FPGA处理模块的I2C接口连接陀螺仪和加速计,可以得到目标的角速度和加速度数据,数据通过DSP处理模块的McBSP1接口传输给DSP处理模块,用于航迹跟踪算法中。该系统航迹跟踪采用交互式多模型算法,将目标的角度泰勒展开并离散化,建立起纯角度跟踪的统计模型。
DSP处理模块的目标检测DSP处理子模块执行上述的自适应混合高斯模型的背景更新算法。当DSP处理模块完成算法后,将运算完成信号通过McBSP0接口传回给FPGA处理模块,DSP处理模块发出该信号后,从RapidIO接口TX通道发送图像数据给FPGA处理模块,如附图2高速红外目标检测与跟踪图像处理系统装置及方法的方法时序逻辑框图的D部分所示。FPGA处理模块接收到DSP处理模块的McBSP0接口发来的数据算法处理完成信号后,通过RocketIO接口接收DSP处理模块处理完成的图像数据,并且通过ARM处理模块的SDRAMs芯片将结果数据传给ARM处理模块。
当ARM处理模块通过UART1接口,收到FPGA处理模块发出的算法处理完成信号后,开始接收FPGA处理模块传来的角速度、加速度、位移量等数据信号,并在LCD屏上显示数据结果,同时FPGA处理模块通过两个SDRAM芯片存储路径以乒乓方式,将处理后的图像数据传给ARM处理模块来显示处理后的图像,ARM处理模块人机界面显示处理图像结果显示本高速红外目标检测与跟踪图像处理系统装置及方法可以快速准确捕获图像目标。
实施例2:
本发明的高速红外目标检测与跟踪图像处理装置的样例测试二为:
本样例图像处理装置中,DSP芯片采用TMS320C6678,DSP处理模块的外设包括6片64Mx16bit的DDR芯片,1片1M的EEPROM芯片,DSP处理模块的目标检测DSP处理子模块执行基于卡尔曼滤波的背景更新算法。FPGA芯片采用XC5VFX70T,FPGA处理模块的预处理滤波方式采用小波滤波方式。
此样例测试步骤为:
(1)系统上电,热像仪开启;
(2)开启ARM处理模块人机界面,进行系统工作设置。假设控制模式选择“本地控制”,参数设置的预处理滤波方式设为“小波滤波”,在“小波滤波”方式下设置阈值为0.85,算法选择“目标检测”,背景更新算法初始化参数不用进行设置;
(3)在ARM处理模块人机界面上点击“继续”命令按钮,系统初始化并继续工作;
(4)通过ARM处理模块人机界面上的系统运行流程监控框可以知道系统执行数据处理的详细过程;
(5)当数据处理完成后,经过处理后的图像在ARM处理模块人机界面上显示;
(6)如果想要继续处理图像,可以点击ARM处理模块人机界面上的“继续”命令按钮。
执行上述测试步骤,该方法时序逻辑和样例测试一类似,ARM处理模块人机界面显示处理图像结果显示本高速红外目标检测与跟踪图像处理系统装置及方法可以快速准确捕获图像目标,与样例测试一比较,样例测试二在目标检测捕获目标中具有更快的图像处理的速度,但目标捕获的准确性和边缘性比样例测试一的差。

Claims (5)

1.一种基于红外目标检测与跟踪图像处理装置的图像处理方法,其特征在于:装置包括FPGA处理模块、DSP处理模块、ARM处理模块;其中FPGA处理模块通过RocketIO接口与DSP处理模块包括的两个DSP处理子模块的RapidIO接口连接,同时FPGA处理模块与DSP处理模块包括的两个DSP处理子模块的McBSPs接口相连,FPGA处理模块通过SDRAMs芯片与ARM处理模块连接,FPGA处理模块通过SRAMs芯片与热像仪连接,同时还连接有SRAMs芯片和Flash芯片,FPGA处理模块连接ARM处理模块的UARTs接口,FPGA处理模块通过I2C接口与陀螺仪和加速计连接,DSP处理模块包括的两个DSP处理子模块都连接有DDR2芯片和Flash芯片;
其处理方法包括以下步骤:
步骤一:ARM处理模块先在远程或本地控制模式下设置图像预处理方式和运算算法初始化参数,发给FPGA处理模块系统开始工作信号,FPGA处理模块控制图像处理系统复位;
步骤二:FPGA处理模块接收来自ARM处理模块设置的图像预处理方式信号和运算算法初始化参数信号,同时接收热像仪传来的原始图像数据信号,根据选择的图像预处理方式对原始图像数据执行图像预处理操作;
步骤三:DSP处理模块接收来自FPGA处理模块的图像预处理操作完成信号,FPGA处理模块将执行图像预处理后的图像数据信号和运算算法初始化参数信号发送给DSP处理模块,DSP处理模块包括两个DSP处理子模块,分别执行目标检测算法和航迹跟踪算法操作;
步骤四:ARM处理模块接收来自FPGA处理模块的图像预处理操作完成信号和角速度、加速度、位移量图像预处理结果数据信号并显示;
步骤五:DSP处理模块将目标检测算法和航迹跟踪算法操作完成信号发给FPGA处理模块,再将目标检测算法和航迹跟踪算法处理后的图像数据信号发给FPGA处理模块,FPGA处理模块将目标检测算法和航迹跟踪算法操作完成信号和目标检测算法和航迹跟踪算法处理后的图像数据信号发给ARM处理模块并显示。
2.根据权利要求1所述的基于红外目标检测与跟踪图像处理装置的图像处理方法,其特征在于:所述的每个DSP处理子模块包括DSP的BOOT模块、DSP时钟模块、DDR2存储模块、RapidIO接口模块、JTAG选择模块、McBSPs缓冲接口模块、Flash及I2C存储模块、千兆网卡模块以及电源模块,RapidIO接口模块连接SMAs接口外接,再通过外接光纤连接FPGA处理模块的SMAs接口来连接其RocketIO接口。
3.根据权利要求1所述的基于红外目标检测与跟踪图像处理装置的图像处理方法,其特征在于,所述的步骤二中,FPGA处理模块接收来自ARM处理模块一个UART接口传来的设置的图像预处理方式信号和运算算法初始化参数信号,同时接收热像仪通过SRAMs芯片以帧为单位乒乓存储的方式传来的原始图像数据信号;热像仪提供差分图像数据线,以高速低功耗LVDS信号进行传输,通过通道链路芯片组转换为慢速TTL信号输出,每帧数据中包括灰度图像信号,行同步、场同步信号和像素时钟信号;当FPGA处理模块读取一帧图像后,根据选择的图像预处理方式对原始图像数据执行图像预处理操作;图像预处理逻辑为,首先对图像数据进行盲元补偿、非均匀性校正操作,再采用最大中值滤波的方法进行背景抑制和噪声消除;然后FPGA处理模块执行相位相关配准算法,对相邻两帧图像进行二维FFT运算得到互功率谱,逆变换得到两帧图像的位移量,完成图像匹配算法。
4.根据权利要求1所述的基于红外目标检测与跟踪图像处理装置的图像处理方法,其特征在于,所述的步骤三中,DSP处理模块的两个DSP处理子模块分别有两个McBSP接口与FPGA处理模块互联,进行控制信号的通信;FPGA处理模块在执行图像预处理操作完成后,通过DSP处理模块的一个McBSP接口发给DSP处理模块预处理完成、要开始执行算法运算的控制信号,DSP处理模块再通过另一个McBSP接口接收从FPGA处理模块传来的算法初始化参数信号,进行算法的初始化;该方法在执行目标检测算法的DSP处理模块中,执行背景更新算法;其采用的背景更新算法为一种自适应混合高斯模型的背景更新算法,同时,FPGA处理模块通过RocketIO接口将图像数据从DSP处理模块的RapidIO接口RX通道传给DSP处理模块,并且将预处理得到的位移量数据也通过DSP处理模块的一个McBSP接口传给DSP处理模块,DSP处理模块就得到图像数据的位移量数据执行全景拼接算法;FPGA处理模块的I2C接口连接陀螺仪和加速计,得到高速红外目标检测与跟踪图像处理装置的角速度和加速度数据,数据通过DSP处理模块的一个McBSP接口传输给DSP处理模块,用于航迹跟踪算法中;该装置航迹跟踪采用交互式多模型算法,将目标的角度泰勒展开并离散化,建立起纯角度跟踪的统计模型。
5.根据权利要求1所述的基于红外目标检测与跟踪图像处理装置的图像处理方法,其特征在于,所述的步骤五中,当DSP处理模块执行目标检测算法和航迹跟踪算法操作完成后,将算法操作完成信号通过一个McBSP接口传回给FPGA处理模块,DSP处理模块发出该信号后,从RapidIO接口TX通道发送算法处理后的图像数据给FPGA处理模块;FPGA处理模块接收到DSP处理模块的McBSP通道发来的算法处理完成信号后,通过RocketIO接口接收DSP处理模块算法处理完成的图像数据,并且通过ARM处理模块的SDRAMs芯片将结果数据传给ARM处理模块,ARM处理模块显示处理图像结果。
CN201310054566.8A 2013-02-21 2013-02-21 基于红外目标检测与跟踪图像处理装置的图像处理方法 Expired - Fee Related CN103198445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310054566.8A CN103198445B (zh) 2013-02-21 2013-02-21 基于红外目标检测与跟踪图像处理装置的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310054566.8A CN103198445B (zh) 2013-02-21 2013-02-21 基于红外目标检测与跟踪图像处理装置的图像处理方法

Publications (2)

Publication Number Publication Date
CN103198445A CN103198445A (zh) 2013-07-10
CN103198445B true CN103198445B (zh) 2015-09-30

Family

ID=48720958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310054566.8A Expired - Fee Related CN103198445B (zh) 2013-02-21 2013-02-21 基于红外目标检测与跟踪图像处理装置的图像处理方法

Country Status (1)

Country Link
CN (1) CN103198445B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544471B (zh) * 2013-08-05 2017-05-17 华中科技大学 一种动平台对地固定目标异构并行自动目标识别器
CN103414854B (zh) * 2013-08-13 2017-04-19 三星半导体(中国)研究开发有限公司 具有图像处理功能的片上系统及其运行方法
CN104615153A (zh) * 2015-02-09 2015-05-13 哈尔滨工业大学 一种基于tmx320f28335浮点dsp的二轴光电跟踪系统
CN104835111A (zh) * 2015-04-07 2015-08-12 无锡艾立德智能科技有限公司 一种基于fpga的单sram实现乒乓算法的方法及实时红外图像处理方法
CN104966121B (zh) * 2015-07-27 2017-08-29 徐伟芳 一种红外线计数方法以及红外计数器
CN105205831A (zh) * 2015-08-03 2015-12-30 深圳市哈工大交通电子技术有限公司 基于OmapL138芯片的混合高斯快速实现方法
CN105005249A (zh) * 2015-08-24 2015-10-28 铜陵学院 一种全自动四轮双核高速灭火机器人伺服控制器
CN105847650A (zh) * 2016-05-20 2016-08-10 北京科旭威尔科技股份有限公司 一种具有目标锁定跟踪功能的智能控制系统
CN107123129A (zh) * 2017-04-28 2017-09-01 中国工程物理研究院应用电子学研究所 一种图像处理装置及方法
CN108562805A (zh) * 2018-01-03 2018-09-21 威创集团股份有限公司 一种交互式通断电测试装置、系统及方法
EP3847548A4 (en) * 2018-09-10 2022-06-01 AVEVA Software, LLC EDGE HMI MODULE SERVER SYSTEM AND PROCEDURES
CN109815925A (zh) * 2019-01-30 2019-05-28 合肥特尔卡机器人科技股份有限公司 一种智能红外道路图像识别系统
CN110084822A (zh) * 2019-05-05 2019-08-02 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的目标探测实时处理系统及方法
CN110708513B (zh) * 2019-10-18 2021-06-01 中国科学院长春光学精密机械与物理研究所 一种8k视频多核异构处理装置
CN112581509B (zh) * 2020-12-25 2023-08-15 北京环境特性研究所 一种基于sopc的无人机载地面目标实时跟踪系统及跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564597A (zh) * 2011-12-31 2012-07-11 南京理工大学 红外模拟探测器及其设计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177507A1 (en) * 2006-10-10 2008-07-24 Mian Zahid F Sensor data processing using dsp and fpga

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564597A (zh) * 2011-12-31 2012-07-11 南京理工大学 红外模拟探测器及其设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于ARM+FPGA+多DSP的嵌入式实时图像处理系统;任晓波等;《电子技术应用》;20110806;第37卷(第8期);摘要,第142页右栏第3段-146页右栏第1段,图1 *
采用多经纬仪的红外多目标实时跟踪系统设计;穆治亚等;《光电技术》;20121228;第32卷(第4期);摘要,第218页右栏第1段-第221页右栏第1段,图3 *

Also Published As

Publication number Publication date
CN103198445A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
CN103198445B (zh) 基于红外目标检测与跟踪图像处理装置的图像处理方法
WO2020253657A1 (zh) 视频片段定位方法、装置、计算机设备及存储介质
CN105631798B (zh) 低功耗便携式实时图像目标检测与跟踪系统及方法
CN110348288B (zh) 一种基于77GHz毫米波雷达信号的手势识别方法
CN103868513B (zh) 一种分布式pos用数据处理计算机系统
CN103986869A (zh) 一种高速tdiccd遥感相机图像采集与显示装置
CN102156588B (zh) 一种嵌入式红外实时信号处理系统
CN101667169A (zh) 一种数字信号的多处理器并行处理系统
CN103869292A (zh) 基于嵌入式gpu的通用雷达成像处理系统
CN104866447A (zh) 一种应用于飞行场景仿真的图像注入模块
CN104835163A (zh) 一种针对运动目标检测的嵌入式实时高速双目视觉系统
CN107750366A (zh) 用于梯度直方图的硬件加速器
CN205486304U (zh) 低功耗便携式实时图像目标检测与跟踪装置
US11057118B2 (en) Indoor localization with beacon technology based on signal strength distribution and deep learning techniques
CN111290124A (zh) 基于5g云渲染的vr眼镜
US20210173707A1 (en) Systems and methods for low-power, real-time object detection
CN103544471B (zh) 一种动平台对地固定目标异构并行自动目标识别器
CN103297702B (zh) 用于航空机载头盔定位系统的图像处理装置及其方法
CN109254406A (zh) 一种多功能增强现实眼镜
CN102184521B (zh) 高性能图像处理系统及图像数据处理方法
CN204595937U (zh) 一种针对运动目标检测的嵌入式实时高速双目视觉系统
Pan et al. A hardware/software co-design approach for real-time binocular stereo vision based on ZYNQ (short paper)
Hu et al. A real-time UAV crowd counting system based on edge computing
Yang et al. Target recognition system of dynamic scene based on artificial intelligence vision
US20220084294A1 (en) Enhanced artificial reality systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150930

Termination date: 20180221