CN105491272A - 基于fpga和arm双处理器的可见光与红外图像融合装置 - Google Patents

基于fpga和arm双处理器的可见光与红外图像融合装置 Download PDF

Info

Publication number
CN105491272A
CN105491272A CN201510873212.5A CN201510873212A CN105491272A CN 105491272 A CN105491272 A CN 105491272A CN 201510873212 A CN201510873212 A CN 201510873212A CN 105491272 A CN105491272 A CN 105491272A
Authority
CN
China
Prior art keywords
module
fpga
infrared
infrared image
core processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510873212.5A
Other languages
English (en)
Other versions
CN105491272B (zh
Inventor
刘磊
崔民杰
孔祥宇
姜民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201510873212.5A priority Critical patent/CN105491272B/zh
Publication of CN105491272A publication Critical patent/CN105491272A/zh
Application granted granted Critical
Publication of CN105491272B publication Critical patent/CN105491272B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Abstract

本发明提出一种基于FPGA和ARM双处理器的可见光与红外图像融合装置，包括CCD摄像头、稳压电源和电路板；其中，CCD摄像头用于探测可见光图像；电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和核心处理板；红外焦平面模块用以探测红外图像；TEC热电制冷器模块用以控制红外焦平面的工作温度；电源接口混合板为其他部件提供工作电压；核心处理板用以融合可见光图像和红外图像。本发明具有操作控制简便、灵活的优点，提高了适应性和稳定性。

Description

基于FPGA和ARM双处理器的可见光与红外图像融合装置
技术领域
本发明属于多光谱融合成像技术领域，具体涉及一种基于FPGA和ARM双处理器的可见光与红外图像融合装置。
背景技术
可见光与红外图像融合技术由于充分利用了红外与可见光两种成像技术的优势和互补性，有效的提高了目标探测的空间范围和探测概率,己经成为各国在军事、民用领域的研究重点，在融合系统方面的研究工作取得了突破性进展。美国在该领域的研究处于领先地位，在欧洲,红外与可见光图像融合系统的研究紧随美国其后。国内目前也己有不少研究机构与高校从事这一领域的研究与探索，但是融合技术也起步较晚，在系统实时性、小型化、低功耗和融合效果等方面还远远落后于欧美国家。
现有的可见/红外融合成像处理系统大多是基于ARM，或者FPGA，或者DSP单处理器进行处理，但是这几种单芯片解决方案都有各自的不足。ARM适合做后端处理器，具有一定的数据处理能力，但是对于可见/红外成像处理系统的时序驱动比较困难，经常要借助额外的处理器。FPGA非常适用于融合成像系统的驱动前端，但其在图像数据处理能力上还有待提高。对于简单的图像处理算法，往往要用大量的代码来实现；对于复杂的图像处理算法，则很难用FPGA实现。DSP具有高速的数字信号处理能力，对于融合成像系统，DSP适合做后端来发挥其性能。
发明内容
本发明的目的在于提出一种基于FPGA和ARM双处理器的可见光与红外图像融合装置，在前端发挥FPGA的优势，对装置中的各模块灵活驱动时序，进行成像；在后端发挥ARM的优势进行图像处理，提高数据处理能力，最后两者进行通信，协调完成整个成像工作，具有操作控制简便、灵活的优点，提高了适应性和稳定性。
为了解决上述技术问题，本发明提供一种基于FPGA和ARM双处理器的可见光与红外图像融合装置，包括CCD摄像头、稳压电源和电路板；其中，CCD摄像头用于探测可见光图像；电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和核心处理板；红外焦平面模块用以探测红外图像；TEC热电制冷器模块用以控制红外焦平面的工作温度；电源接口混合板为其他部件提供工作电压；核心处理板用以融合可见光图像和红外图像。
较佳地，所述红外焦平面模块、TEC热电制冷器模块、电源接口混合板以及核心处理板以层叠结构相连，红外焦平面模块与TEC热电制冷器模块通过排针连接，TEC热电制冷器模块、电源接口混合板以及核心处理板之间通过samtec接插件连接。
较佳地，所述电源接口混合板包括外部电源输入口、第二视频接口、第一解码芯片、第二解码芯片以及若干电源模块；其中，为红外焦平面模块提供电压的电源模块采用LDO电源；第一解码芯片用于把红外图像的模拟信号转换成数字信号，并传给核心处理板中的FPGA；第二解码芯片把可见光图像模拟信号转换成数字信号，并传给核心处理板中的FPGA。
较佳地，所述核心处理板包括FPGA、内嵌于FPGA中的ARM、两片DDR3SDRAM模块、编码模块，第一视频口；FPGA用于时序驱动控制，并对可见光图像和红外图像进行融合；ARM用于将图像数据存储在DDR3SDRAM中，当两路数字信号输入到FPGA中时，ARM先把其中一路数字信号存储在DDR3SDRAM中进行数据预处理；FPGA读取预处理后的数字信号，与另一路数字信号进行融合处理，将融合后的图像信号制成PAL制格式传给编码模块；编码模块将PAL制格式的图像信号转换成模拟信号送显示器。
本发明与现有技术相比，其显著优点在于，(1)结合了FPGA在前端的灵活驱动能力和ARM在后端的优良的数据处理能力，ARM内嵌在FPGA中的，FPGA和ARM在一个芯片上，与单FPGA+单ARM的电路相比，能减少很多外围电路，减少电路板的尺寸，缩小系统体积；(2)采用四个电路板以接插件形式连接的层叠结构，与在一个电路板中设计的结构相比，具有结构紧凑、小型化的优点。
附图说明
图1是本发明基于FPGA和ARM双处理器的可见光与红外图像融合装置的整体结构示意图。
图2是本发明中第一层板结构示意图。
图3是本发明中第二层板结构示意图。
图4是本发明中第三层板结构示意图。
图5是本发明中第四层板结构示意图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于FPGA和ARM双处理器的可见光与红外图像融合装置的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
结合图1，本发明包括CCD摄像头26、显示器25、稳压电源27和电路板，其中电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和核心处理板。红外焦平面模块为本装置的第一层板，用以探测红外图像信号；TEC热电制冷器模块为第二层板，紧贴红外焦平面层，用以控制红外焦平面的工作温度，使红外焦平面在恒定工作温度下进行工作；电源接口混合板为第三层板，为其他三个模块提供相应的工作电压，同时接收CCD摄像头26探测到的可见光图像信号；核心处理板为第四层板，用以处理红外焦平面模块探测到的红外信号和CCD摄像头26接收到的可见光信号，把两者进行融合，最终通过核心处理板上的第一视频接口24将图像实时显示在显示器25上。所述红外焦平面模块、TEC热电制冷器模块、电源接口混合板以及核心处理板以层叠结构相连，红外焦平面模块和TEC热电制冷器模块通过排针2连接，其他各板之间通过samtec接插件连接，实现结构和电气连接。
结合图2，红外焦平面模块包括红外焦平面1和排针2，红外焦平面1位于电路板中部，排针2分布在电路板两侧。排针2用于与TEC热电制冷器模块进行电气连接。本实施例中红外焦平面1使用的是GWIR0203X1AD型非制冷红外焦平面。
结合图3，TEC热电制冷器模块包括排针2、第一接插件4和TEC芯片3。它与第一层通过排针2进行连接，与第三层通过第一接插件4进行连接。TEC芯片3使用ADN8830芯片，主要用于电压补偿和振荡。
结合图4，电源接口混合板为整个装置的第三层。电源接口混合板包括外部12V电源输入口18，第二视频接口10，第一解码芯片AD924012，第二解码芯片TVP515013，第一电源模块5提供2.5V电压，第二电源模块20提供1.5V电压，第三电源模块6提供3.3V电压，第四电源模块19提供1.1V，第五电源模块9提供5.6V电压，第六电源模块15提供3.1V电压，第七电源模块16提供2.5V电压，第八电源模块8提供5V电压，第九电源模块11提供3.3V电压，第十电源模块17提供1.8V电压，第十一电源模块7提供两路6V和5V电压。
第一、第二、第三、第四、第十一电源模块选用开关电源，可直接从12V电源电压得到相应电压值。其中第一、第二、第三、第四通过第二接插件14与第四层进行连接，把电源供给FPGA20。
第五、第六、第七、第八、第九电源模块通过第一接插件4与第二层进行连接，再通过排针2把电压供给红外焦平面1且选用LDO电源，能显著降低红外焦平面1的噪声，提高成像质量。第五电源模块9选用LT1762芯片，第六电源模块15选用LT1762芯片，第七电源模块16选用LT1762芯片，第八电源模块8选用LT1129芯片，第九电源模块11选用LT1962芯片。这几个电源模块使用的是LDO电源，且他们输出电压值都小于5V，所以输入电压值不能太高，即不能使用12V电源27电压直接进行供电，所以必须要进行电压转换。
第十电源模块选用LDO电源类型的LT1762芯片，直接供给到第二解码芯片TVP515013。
第十一电源模块7用于进行12V到6V和5V的电压抓换工作，再把获得的6V和5V的电压供给其他几个LDO电源，选用的芯片是LT3509，LT3509是一种双通道、降压式开关稳压器。该芯片双路输出700mA并各带内部电源开关，具有3.6V至36V的宽电压输入、过压保护等特性。转换后5V电压输入给第八电源模块8、第五电源模块9、第六电源模块15，转换后6V电压输入给第九电源模块11、第七电源模块16、第十电源模块17。
第一解码芯片AD924012把接收到的红外焦平面模拟信号转换成数字信号，通过第二接插件14传给核心处理板中的FPGA20。第二解码芯片TVP515013把从第二视频口10接收到的可见光模拟信号转换成数字信号，通过第二接插件14传给核心处理板中的FPGA20。
结合图5，核心处理板为整个结构的第四层，包括FPGA20以及内嵌于FPGA中的ARM，两片DDR3SDRAM模块21，JTAG接插件模块22，编码AD7123模块23，第一视频口24，第二接插件14。FPGA端负责对融合系统各个模块的时序驱动进行控制，同时对两路数字信号简单融合处理。ARM负责把数据存储在DDR3SDRAM21中，当两路数字信号输入到FPGA模块时，ARM先把一路输入的数字信号存储在DDR3SDRAM21中，并进行数据预处理。FPGA端读取预处理的数字信号，再与另一路输入的数字信号进行融合处理，并制成PAL制格式的数字信号传给编码模块AD712323。JTAG模块可以把软件中编译好的文件下载到FPGA中，实现硬件调试。编码模块AD712323把接收到的数字信号转换成模拟信号，并通过第一视频口24连接到显示器25上进行显示。通过第二接插件14与第三层进行连接，交换数据。

Claims (4)

1.一种基于FPGA和ARM双处理器的可见光与红外图像融合装置，其特征在于，包括CCD摄像头(26)、稳压电源(27)和电路板；其中，
CCD摄像头(26)用于探测可见光图像；
电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和核心处理板；红外焦平面模块用以探测红外图像；TEC热电制冷器模块用以控制红外焦平面的工作温度；电源接口混合板为其他部件提供工作电压；核心处理板用以融合可见光图像和红外图像。
2.如权利要求1所述基于FPGA和ARM双处理器的可见光与红外图像融合装置，其特征在于，所述红外焦平面模块、TEC热电制冷器模块、电源接口混合板以及核心处理板以层叠结构相连，红外焦平面模块与TEC热电制冷器模块通过排针连接，TEC热电制冷器模块、电源接口混合板以及核心处理板之间通过samtec接插件连接。
3.如权利要求1所述基于FPGA和ARM双处理器的可见光与红外图像融合装置，其特征在于，所述电源接口混合板包括外部电源输入口(18)、第二视频接口(10)、第一解码芯片(12)、第二解码芯片(13)以及若干电源模块；其中，
为红外焦平面模块提供电压的电源模块采用LDO电源；
第一解码芯片(12)用于把红外图像的模拟信号转换成数字信号，并传给核心处理板中的FPGA(20)；
第二解码芯片(13)把可见光图像模拟信号转换成数字信号，并传给核心处理板中的FPGA(20)。
4.如权利要求1所述基于FPGA和ARM双处理器的可见光与红外图像融合装置，其特征在于，所述核心处理板包括FPGA(20)、内嵌于FPGA中的ARM、两片DDR3SDRAM模块(21)、编码模块(23)，第一视频口(24)；FPGA用于时序驱动控制，并对可见光图像和红外图像进行融合；ARM用于将图像数据存储在DDR3SDRAM(21)中，当两路数字信号输入到FPGA中时，ARM先把其中一路数字信号存储在DDR3SDRAM(21)中进行数据预处理；FPGA读取预处理后的数字信号，与另一路数字信号进行融合处理，将融合后的图像信号制成PAL制格式传给编码模块(23)；编码模块(23)将PAL制格式的图像信号转换成模拟信号送显示器(25)。
CN201510873212.5A 2015-12-02 2015-12-02 基于fpga和arm双处理器的可见光与红外图像融合装置 Expired - Fee Related CN105491272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510873212.5A CN105491272B (zh) 2015-12-02 2015-12-02 基于fpga和arm双处理器的可见光与红外图像融合装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510873212.5A CN105491272B (zh) 2015-12-02 2015-12-02 基于fpga和arm双处理器的可见光与红外图像融合装置

Publications (2)

Publication Number Publication Date
CN105491272A true CN105491272A (zh) 2016-04-13
CN105491272B CN105491272B (zh) 2018-07-31

Family

ID=55677959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510873212.5A Expired - Fee Related CN105491272B (zh) 2015-12-02 2015-12-02 基于fpga和arm双处理器的可见光与红外图像融合装置

Country Status (1)

Country Link
CN (1) CN105491272B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454274A (zh) * 2016-11-29 2017-02-22 上海航天测控通信研究所 一种适应特殊环境的监视摄像机系统
CN108270968A (zh) * 2017-12-30 2018-07-10 广东金泽润技术有限公司 一种红外与可见光图像融合探测系统及方法
CN110262589A (zh) * 2019-05-23 2019-09-20 南京牧镭激光科技有限公司 一种tec温控驱动电路及其控制策略
CN112212983A (zh) * 2020-09-29 2021-01-12 中国科学院长春光学精密机械与物理研究所 一种小型化且模块化的红外探测器电子学系统
CN114205494A (zh) * 2021-11-25 2022-03-18 苏州万店掌网络科技有限公司 一种支持时钟显示的微型摄像机模块
CN116761050A (zh) * 2023-08-14 2023-09-15 合肥航谱时代科技有限公司 一种基于可见光和红外融合的图像采集系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201479255U (zh) * 2009-08-05 2010-05-19 河海大学 红外光学超分辨率成像仪
US20120067956A1 (en) * 2010-09-16 2012-03-22 Datalogic Scanning, Inc. System and method for reading optical codes on reflective surfaces while minimizing flicker perception of pulsed illumination
CN202956192U (zh) * 2012-03-16 2013-05-29 东莞华仪仪表科技有限公司 智能型红外热像仪的装置和系统
CN103278246A (zh) * 2013-05-03 2013-09-04 广州飒特红外股份有限公司 一种基于安卓系统的红外热像仪

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201479255U (zh) * 2009-08-05 2010-05-19 河海大学 红外光学超分辨率成像仪
US20120067956A1 (en) * 2010-09-16 2012-03-22 Datalogic Scanning, Inc. System and method for reading optical codes on reflective surfaces while minimizing flicker perception of pulsed illumination
CN202956192U (zh) * 2012-03-16 2013-05-29 东莞华仪仪表科技有限公司 智能型红外热像仪的装置和系统
CN103278246A (zh) * 2013-05-03 2013-09-04 广州飒特红外股份有限公司 一种基于安卓系统的红外热像仪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡测: ""基于FPGA的便携式红外与可见光图像融合系统研究"", 《万方学位论文库》 *
赵一中，刘文波: ""基于ARM和FPGA的红外热像仪系统设计与研究"", 《电子测量技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454274A (zh) * 2016-11-29 2017-02-22 上海航天测控通信研究所 一种适应特殊环境的监视摄像机系统
CN106454274B (zh) * 2016-11-29 2019-07-19 上海航天测控通信研究所 一种适应特殊环境的监视摄像机系统
CN108270968A (zh) * 2017-12-30 2018-07-10 广东金泽润技术有限公司 一种红外与可见光图像融合探测系统及方法
CN110262589A (zh) * 2019-05-23 2019-09-20 南京牧镭激光科技有限公司 一种tec温控驱动电路及其控制策略
CN110262589B (zh) * 2019-05-23 2020-11-10 南京牧镭激光科技有限公司 一种tec温控驱动电路及其控制策略
CN112212983A (zh) * 2020-09-29 2021-01-12 中国科学院长春光学精密机械与物理研究所 一种小型化且模块化的红外探测器电子学系统
CN114205494A (zh) * 2021-11-25 2022-03-18 苏州万店掌网络科技有限公司 一种支持时钟显示的微型摄像机模块
CN116761050A (zh) * 2023-08-14 2023-09-15 合肥航谱时代科技有限公司 一种基于可见光和红外融合的图像采集系统
CN116761050B (zh) * 2023-08-14 2023-11-03 合肥航谱时代科技有限公司 一种基于可见光和红外融合的图像采集系统

Also Published As

Publication number Publication date
CN105491272B (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN105491272A (zh) 基于fpga和arm双处理器的可见光与红外图像融合装置
CN104054327B (zh) 具有集成周围光检测的图像传感器
US7936394B2 (en) Mobile devices having an image sensor for charging a battery
US20130222636A1 (en) Mobile terminal with multiple cameras and method for image processing using the same
CN204705413U (zh) 一种小型化的红外成像装置
US8760540B2 (en) Imaging device and control method of the same
CN102006420A (zh) 可使用外接同步的多种数据输出格式摄像机的设计方法
CN104580858A (zh) 一种无人机用多源成像载荷
CN212303018U (zh) 图像信号处理器件、终端
US20180241975A1 (en) Image sensor device with macropixel processing and related devices and methods
CN107529024A (zh) 多功能图像视频切换板
CN204481952U (zh) 一种基于高清视频切换和摄像跟踪的会议系统
CN206023934U (zh) 一种移动终端的全景拍摄系统
CN101175193B (zh) 图像信号产生单元、数码相机以及图像信号产生方法
CN203313298U (zh) 信号切换装置
CN203025508U (zh) 一种远程实验室控制器
CN101087358A (zh) 影像处理系统及方法
CN113763906A (zh) 图像信号处理器件、终端
US10708862B2 (en) Control apparatus for controlling plural process executing apparatuses
CN113489867A (zh) 拍摄方法、装置及电子设备
CN102333193A (zh) 一种终端设备
CN202035090U (zh) 一种Display Port信号选择器
CN206533447U (zh) 拍摄装置及手机
US8743217B2 (en) Wireless image transmission device
CN219164666U (zh) 一种无人机图像处理板结构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180731

Termination date: 20201202