CN104463774A - 一种基于dm642的三路图像融合处理器设计方法 - Google Patents

一种基于dm642的三路图像融合处理器设计方法 Download PDF

Info

Publication number
CN104463774A
CN104463774A CN201310452970.0A CN201310452970A CN104463774A CN 104463774 A CN104463774 A CN 104463774A CN 201310452970 A CN201310452970 A CN 201310452970A CN 104463774 A CN104463774 A CN 104463774A
Authority
CN
China
Prior art keywords
image
module
dsp
fpga
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310452970.0A
Other languages
English (en)
Other versions
CN104463774B (zh
Inventor
宋亚军
杨舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN201310452970.0A priority Critical patent/CN104463774B/zh
Publication of CN104463774A publication Critical patent/CN104463774A/zh
Application granted granted Critical
Publication of CN104463774B publication Critical patent/CN104463774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于光电图像处理技术领域，具体涉及一种基于DM642的三路图像融合处理器设计方法。通过采用DSP+FPGA处理方案，设计实现了中波红外、长波红外和可见光三路图像四种模式的融合处理。利用FPGA芯片较强的并行处理能力和外部输入信息，实现了三路图像缩放和像素级配准的并行处理，解决了可见光相机连续变焦，中波和长波热像仪双视场切换带来的图像分辨力不一致的问题，拓展了图像融合处理器的应用范围。利用时分复用DSP数据总线技术，解决了多路数据读取带来的数据总线宽度不够和数据输入输出冲突的问题。通过FPGA控制电路设计和FIFO模块的采用，克服了DM642DSP三个视频口作为输入接口后没有视频输出口的问题，进一步发挥了DM642DSP芯片的能力。

Description

一种基于DM642的三路图像融合处理器设计方法
技术领域
本发明属于光电图像处理技术领域，具体涉及一种基于DM642的三路图像融合处理器设计方法。
背景技术
图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理，最终形成一幅新的图像。其目的是通过对多幅图像信息的提取与综合，从而获得对同一场景/目标的更为准确、更为全面、更为可靠的图象描述。
根据融合处理所处的不同阶段，图像融合可分为三个层次：像素级、特征级和决策级融合。像素级图像融合指的是直接对各幅图像的像素点进行信息综合的过程。特征级图像融合是对图像进行特征抽取后，将边沿、形状、轮廓等信息进行综合处理的过程。而在进行决策级图像融合前，每种传感器已经独立地完成了决策或分类任务，融合工作实质上是做出全局的最优决策。
目前，大部分图像融合处理器都是针对像素级融合，基本都只具有双路图像融合功能，而且相关融合处理器很少考虑探测器视场切换或连续变焦等带来的问题，实际应用受到了不同程度的限制。
图像融合处理器的硬件实现方式主要有以下三种方案：
①单DSP或多DSP并行处理方案。该方案通过单个或多个高性能的信号处理器件来实现相应的预处理与融合算法。该方案设计简单，易于实现。但在实现复杂算法时存在比较多的困难，特别是在多DSP处理中，如何合理的分配各DSP的处理任务，更好地实现处理的并行性，对算法的最终实现起关键作用。
②DSP+FPGA处理方案。本方案通过FPGA来完成预处理部分和相应的逻辑控制，而DSP主要来完成核心算法部分。该方式有较好的灵活性，充分发挥了FPGA和DSP各自的优势。但该方案需要解决的问题是如何协调DSP和FPGA之间的通信和数据传输，保证整个处理可以快速有效地进行。
③大规模FPGA处理方案。该方式通过FPGA器件内部所带的丰富的逻辑资源、加法器和乘法器等资源来实现预处理与融合算法。该方案易于实现并行处理，提高系统的处理速度。本方案的难点在于如何合理的利用FPGA内部资源实现相应的算法。
因此，亟需研制一种可实现中波红外、长波红外和可见光三路图像像素级融合处理的图像融合处理器，针对性地解决探测器视场切换或连续变焦等带来的问题，从而更好地实际应用。
发明内容
本发明要解决的技术问题是提供一种具有红外中波/长波、红外中波/可见、红外长波/可见和红外中波/长波/可见四种模式的图像融合处理器，从而有效解决可见光相机连续变焦，中波和长波热像仪双视场切换带来的图像缩放和配准等问题。
为了实现这一目的，本发明采取的技术方案是：
一种基于DM642的三路图像融合处理器设计方法，采用DSP（数字信号处理器）+FPGA（现场可编程门阵列）的处理方案，主要包括2个CL（相机链接）接收器、1个A/D（模拟/数字）视频转换器、1个FPGA模块、1个DSP模块、1个FIFO（先入先出）模块，1个通信模块、1个D/A（数字/模拟）视频转换器、2个外部SDRAM（同步动态随机存储器）、1个电源模块，具体包括以下步骤：
1）在三路融合模式下，分别用2个CL接收器和1个A/D视频转换器接收外部中波与长波热像仪和可见光相机发送过来的视频信号。对于两路融合模式，只需要接收对应的两路视频信号即可，以中波和可见光两路融合为例，只需要用一个CL接收器和1个A/D视频转换器接收对应的中波热像仪和可见光相机视频信号。下面以三路融合模式作具体说明；
2）电源模块为融合处理器各电路模块提供符合要求的电压；
3）2个CL接收器分别将中波和长波热像仪发送过来的中波和长波红外图像信号由差分方式转换为TTL方式；
4）1个A/D视频转换器将变焦可见光相机发送过来的模拟图像信号转换为数字图像；
5）通信模块通过RS232接口完成融合模式外部控制指令以及中波和长波热像仪视场角、可见光相机焦距等信息的接收；
6）FPGA模块完成三路输入图像的接收及预处理；预处理部分根据通信模块发送过来的中波和长波热像仪视场角信息和可见光相机的焦距信息，对输入的各路图像通过缩放处理保证三路图像的大小和分辨力相同，通过像素级配准保证三路图像中目标的空间位置相同；
7）DSP模块对输入的三路图像进行采集，利用视频捕捉口内置256k-Byte缓存和DSP片外32M-Byte大容量SDRAM，实现三路输入图像数据同步，并将同步后的三路图像数据暂存在SDRAM中；
8）在存储当前帧三路图像的同时，通过时分复用DSP数据总线，DSP处理器从片外SDRAM读取存储好的上一帧图像并进行融合处理，具体融合模式由通信模块通过接收外部指令来确定；处理后的融合图像存储在片外SDRAM中；
9）当一帧图像融合处理完毕后，DSP通过中断方式通知FPGA模块进行融合数据读取，FPGA将DSP从SDRAM中输出的融合图像数据写入到FIFO模块中；
10）根据D/A转换器输入数据格式和时序要求，FPGA从FIFO模块读取融合图像数据输出给D/A转换器数据接口；
11）D/A转换器将输入融合图像数据转换为模拟视频信号，并通过CVBS（复合电视广播信号）接口输出，通过带有CVBS输入接口的监视器可实时显示融合图像。
进一步的，如上所述的一种基于DM642的三路图像融合处理器设计方法，其特征在于：步骤6）中，FPGA模块采用Xilinx公司的Spartan3系列FPGA完成三路输入图像的接收及预处理。
进一步的，如上所述的一种基于DM642的三路图像融合处理器设计方法，步骤7）中，DSP模块采用TI公司的DM642DSP的3个视频口作为视频捕捉口对输入的三路图像进行采集。
本发明技术方案与传统的技术方案对比，具有如下有益技术效果：
①通过采用DSP+FPGA处理方案，设计实现了中波红外、长波红外和可见光三路图像四种模式的融合处理。
②利用FPGA芯片较强的并行处理能力和外部输入信息，实现了三路图像缩放和像素级配准的并行处理，解决了可见光相机连续变焦，中波和长波热像仪双视场切换带来的图像分辨力不一致的问题，拓展了图像融合处理器的应用范围。
③利用时分复用DSP数据总线技术，解决了多路数据读取带来的数据总线宽度不够和数据输入输出冲突的问题。
④通过FPGA控制电路设计和FIFO模块的采用，克服了DM642DSP三个视频口作为输入接口后没有视频输出口的问题，进一步发挥了DM642DSP芯片的能力。
⑤通过改变相应的输入输出接口，本融合处理器还可以应用到其他光电成像传感器的双路或三路融合处理。
附图说明
图1是本发明技术方案中三路图像融合处理器结构示意图。
具体实施方式
由于本处理器既需要完成大量的预处理运算，同时还需要完成多个模式的复杂融合算法的处理以及通信处理。同时考虑上述三种方案的优缺点，最终本方案选择了DSP+FPGA处理方案。实际设计的图像融合处理器结构示意图如图1所示。
一种基于DM642的三路图像融合处理器设计方法，采用DSP（数字信号处理器）+FPGA（现场可编程门阵列）的处理方案，主要包括2个CL（相机链接）接收器、1个A/D（模拟/数字）视频转换器、1个FPGA模块、1个DSP模块、1个FIFO（先入先出）模块，1个通信模块、1个D/A（数字/模拟）视频转换器、2个外部SDRAM（同步动态随机存储器）、1个电源模块，具体包括以下步骤：
1）在三路融合模式下，分别用2个CL接收器和1个A/D视频转换器接收外部中波与长波热像仪和可见光相机发送过来的视频信号。对于两路融合模式，只需要接收对应的两路视频信号即可，以中波和可见光两路融合为例，只需要用一个CL接收器和1个A/D视频转换器接收对应的中波热像仪和可见光相机视频信号。下面以三路融合模式作具体说明；
2）电源模块为融合处理器各电路模块提供符合要求的电压；
3）2个CL接收器分别将中波和长波热像仪发送过来的中波和长波红外图像信号由差分方式转换为TTL方式；
4）1个A/D视频转换器将变焦可见光相机发送过来的模拟图像信号转换为数字图像；
5）通信模块通过RS232接口完成融合模式外部控制指令以及中波和长波热像仪视场角、可见光相机焦距等信息的接收；
6）FPGA模块采用Xilinx公司的Spartan3系列FPGA完成三路输入图像的接收及预处理。预处理部分根据通信模块发送过来的中波和长波热像仪视场角信息和可见光相机的焦距信息，对输入的各路图像通过缩放处理保证三路图像的大小和分辨力相同，通过像素级配准保证三路图像中目标的空间位置相同；
7）DSP模块采用TI公司的DM642DSP的3个视频口作为视频捕捉口对输入的三路图像进行采集。利用视频捕捉口内置256k-Byte缓存和DSP片外32M-Byte大容量SDRAM，实现三路输入图像数据同步，并将同步后的三路图像数据暂存在SDRAM中；
8）在存储当前帧三路图像的同时，通过时分复用DSP数据总线，DSP处理器从片外SDRAM读取存储好的上一帧图像并进行融合处理，具体融合模式由通信模块通过接收外部指令来确定；处理后的融合图像存储在片外SDRAM中；
9）当一帧图像融合处理完毕后，DSP通过中断方式通知FPGA模块进行融合数据读取，FPGA将DSP从SDRAM中输出的融合图像数据写入到FIFO模块中；
10）根据D/A转换器输入数据格式和时序要求，FPGA从FIFO模块读取融合图像数据输出给D/A转换器数据接口；
11）D/A转换器将输入融合图像数据转换为模拟视频信号，并通过CVBS（复合电视广播信号）接口输出，通过带有CVBS输入接口的监视器可实时显示融合图像。

Claims (3)

1.一种基于DM642的三路图像融合处理器设计方法，其特征在于：
采用DSP（数字信号处理器）+FPGA（现场可编程门阵列）的处理方案，主要包括2个CL（相机链接）接收器、1个A/D（模拟/数字）视频转换器、1个FPGA模块、1个DSP模块、1个FIFO（先入先出）模块，1个通信模块、1个D/A（数字/模拟）视频转换器、2个外部SDRAM（同步动态随机存储器）、1个电源模块，具体包括以下步骤：
1）在三路融合模式下，分别用2个CL接收器和1个A/D视频转换器接收外部中波与长波热像仪和可见光相机发送过来的视频信号。对于两路融合模式，只需要接收对应的两路视频信号即可，以中波和可见光两路融合为例，只需要用一个CL接收器和1个A/D视频转换器接收对应的中波热像仪和可见光相机视频信号。下面以三路融合模式作具体说明；
2）电源模块为融合处理器各电路模块提供符合要求的电压；
3）2个CL接收器分别将中波和长波热像仪发送过来的中波和长波红外图像信号由差分方式转换为TTL方式；
4）1个A/D视频转换器将变焦可见光相机发送过来的模拟图像信号转换为数字图像；
5）通信模块通过RS232接口完成融合模式外部控制指令以及中波和长波热像仪视场角、可见光相机焦距等信息的接收；
6）FPGA模块完成三路输入图像的接收及预处理；预处理部分根据通信模块发送过来的中波和长波热像仪视场角信息和可见光相机的焦距信息，对输入的各路图像通过缩放处理保证三路图像的大小和分辨力相同，通过像素级配准保证三路图像中目标的空间位置相同；
7）DSP模块对输入的三路图像进行采集，利用视频捕捉口内置256k-Byte缓存和DSP片外32M-Byte大容量SDRAM，实现三路输入图像数据同步，并将同步后的三路图像数据暂存在SDRAM中；
8）在存储当前帧三路图像的同时，通过时分复用DSP数据总线，DSP处理器从片外SDRAM读取存储好的上一帧图像并进行融合处理，具体融合模式由通信模块通过接收外部指令来确定；处理后的融合图像存储在片外SDRAM中；
9）当一帧图像融合处理完毕后，DSP通过中断方式通知FPGA模块进行融合数据读取，FPGA将DSP从SDRAM中输出的融合图像数据写入到FIFO模块中；
10）根据D/A转换器输入数据格式和时序要求，FPGA从FIFO模块读取融合图像数据输出给D/A转换器数据接口；
11）D/A转换器将输入融合图像数据转换为模拟视频信号，并通过CVBS（复合电视广播信号）接口输出，通过带有CVBS输入接口的监视器可实时显示融合图像。
2.如权利要求1所述的一种基于DM642的三路图像融合处理器设计方法，其特征在于：步骤6）中，FPGA模块采用Xilinx公司的Spartan3系列FPGA完成三路输入图像的接收及预处理。
3.如权利要求1所述的一种基于DM642的三路图像融合处理器设计方法，其特征在于：步骤7）中，DSP模块采用TI公司的DM642DSP的3个视频口作为视频捕捉口对输入的三路图像进行采集。
CN201310452970.0A 2013-09-25 2013-09-25 一种基于dm642的三路图像融合处理器设计方法 Active CN104463774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310452970.0A CN104463774B (zh) 2013-09-25 2013-09-25 一种基于dm642的三路图像融合处理器设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310452970.0A CN104463774B (zh) 2013-09-25 2013-09-25 一种基于dm642的三路图像融合处理器设计方法

Publications (2)

Publication Number Publication Date
CN104463774A true CN104463774A (zh) 2015-03-25
CN104463774B CN104463774B (zh) 2017-09-29

Family

ID=52909762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310452970.0A Active CN104463774B (zh) 2013-09-25 2013-09-25 一种基于dm642的三路图像融合处理器设计方法

Country Status (1)

Country Link
CN (1) CN104463774B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270968A (zh) * 2017-12-30 2018-07-10 广东金泽润技术有限公司 一种红外与可见光图像融合探测系统及方法
CN110012197A (zh) * 2019-03-19 2019-07-12 昆明物理研究所 一种基于调焦位置补偿的空域图像配准融合方法
CN113141452A (zh) * 2021-04-19 2021-07-20 中国科学院长春光学精密机械与物理研究所 一种多模式多谱段一体化航天遥感成像单元

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177507A1 (en) * 2006-10-10 2008-07-24 Mian Zahid F Sensor data processing using dsp and fpga
CN102567979A (zh) * 2012-01-20 2012-07-11 南京航空航天大学 车载红外夜视系统及其多源图像融合方法
CN103177433A (zh) * 2013-04-09 2013-06-26 南京理工大学 红外与微光图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177507A1 (en) * 2006-10-10 2008-07-24 Mian Zahid F Sensor data processing using dsp and fpga
CN102567979A (zh) * 2012-01-20 2012-07-11 南京航空航天大学 车载红外夜视系统及其多源图像融合方法
CN103177433A (zh) * 2013-04-09 2013-06-26 南京理工大学 红外与微光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王强等: "使用DSP／BIOS开发DM 642图像融合系统驱动程序", 《激光与红外》 *
邢素霞: "基于DSP与FPGA的红外与可见光实时图像融合系统硬件设计", 《北京工商大学学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270968A (zh) * 2017-12-30 2018-07-10 广东金泽润技术有限公司 一种红外与可见光图像融合探测系统及方法
CN110012197A (zh) * 2019-03-19 2019-07-12 昆明物理研究所 一种基于调焦位置补偿的空域图像配准融合方法
CN113141452A (zh) * 2021-04-19 2021-07-20 中国科学院长春光学精密机械与物理研究所 一种多模式多谱段一体化航天遥感成像单元

Also Published As

Publication number Publication date
CN104463774B (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107249101A (zh) 一种高分辨率图像采集与处理装置
CN104836965B (zh) 一种基于fpga的视频同步切换系统及方法
CN110708513B (zh) 一种8k视频多核异构处理装置
CN103813107A (zh) 一种基于fpga多路高清视频叠加方法
US20170332022A1 (en) Imaging method, imaging device, and electronic device
CN102801912A (zh) 一种红外图像处理芯片及处理方法
CN105578042A (zh) 一种图像数据的传输方法及终端
CN104427218A (zh) 超高清ccd图像多通道采集与实时传输系统及方法
EP3242479A1 (en) Image sensor, imaging device, mobile terminal and imaging method
CN101505434A (zh) 具有全局同步功能的高分辨率智能网络摄像机阵列系统
CN201937742U (zh) 一种高速图像采集系统
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN102025979A (zh) 一种基于双dsp的红外视频实时增强显示装置
CN108616724A (zh) 一种基于fpga和arm结构的无线图像采集传输平台
CN110620885B (zh) 一种红外微光图像融合系统、方法及电子设备
CN105187753A (zh) 一种录制全景视频的系统
CN104463774A (zh) 一种基于dm642的三路图像融合处理器设计方法
CN102118289B (zh) Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法
CN203851239U (zh) 一种双摄像头视频图像跟踪装置
CN108540689B (zh) 图像信号处理器、应用处理器及移动装置
CN110636219B (zh) 一种视频数据流的传输方法及装置
JP2013539611A (ja) 単一のパイプラインの立体画像の取得
CN104836959A (zh) 基于fpga的面阵cmos图像传感器多模式自动切换采集系统
CN105430297A (zh) 多视频格式向iidc协议视频格式转换的自动控制系统
CN109068023B (zh) 超大面阵图像传感器的读出电路同步控制系统及控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant