CN109951617A - 一种基于fpga的双光谱高速相机 - Google Patents

一种基于fpga的双光谱高速相机 Download PDF

Info

Publication number
CN109951617A
CN109951617A CN201711394710.7A CN201711394710A CN109951617A CN 109951617 A CN109951617 A CN 109951617A CN 201711394710 A CN201711394710 A CN 201711394710A CN 109951617 A CN109951617 A CN 109951617A
Authority
CN
China
Prior art keywords
high speed
sensor
image
infrared
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711394710.7A
Other languages
English (en)
Inventor
鲁远甫
焦国华
董玉明
张宁权
陈良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711394710.7A priority Critical patent/CN109951617A/zh
Publication of CN109951617A publication Critical patent/CN109951617A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种基于fpga的双光谱高速相机，本包括：红外传感器、可见光传感器、由I2C接口实现的串行通信主从机接口、图像处理装置和图像实时显示装置。利用I2C接口工作时序来写cmos传感器内部的寄存器，并控制cmos传感器的曝光、自动白平衡开启关闭、帧率和/或分辨率。基于红外的高感光特性cmos传感器提高成像速度实现高帧率高速；利用cmos传感器采用全局曝光模式，实现对高速物体移动的拍摄不会有畸变的影响。

Description

一种基于fpga的双光谱高速相机
技术领域
本发明涉及高速相机技术领域，具体涉及一种基于fpga的双光谱高速相机。
背景技术
电子技术的发展，在上世纪90年代出现了多光谱相机。这种以面阵互补金属氧化物半导体(互补金属氧化物半导体，CMOS)或者以高速电耦合器件(C CD)作为图像传感器，以大容量集成电路存储芯片作为存储价值的多光谱相机可以将图像信息数字化，避免了胶片的繁琐处理过程，可以实现测试中的实时显示的瞬间信息，拍摄完再将图像信息传到pc，在进行数据分析，这样可以减少实验的循环时间，充分展示了数字化的优越性。国内自主研发光谱相机多以CCD感光器件的居多，最多可达到100fps，一般不具备相机自身存储能力，常用于工业领域的生产线检测，国内相机速度相对较低，无法在分辨率和拍摄速度两方面同时满足高端应用场合需求，水平有待提高。
论文《高清高速CMOS相机系统设计》所提出设计的高清高速相机系统是基于美国ALEXIMA公司所研发的一款高性能CMOS图像传感器AM41V4，在此基础上，使用Xilinx公司的Virtex-6型FPGA作为系统的控制核心，DDR3动态存储器作为成像暂存器，配合DVI显示接口进行图像抽帧显示，采用Camera Link接口作为系统相机接口来进行图像数据传输。该论文所提方案主要基于fpga上实现高分辨率的图像数据采集，并没有实现高速红外的采集以及后期红外和可见光的图像处理部分。
论文《红外热成像系统实现及其图像增强技术研究》针对图像的非均匀性、盲元及图像模糊问题,设计红外热成像系统的实现方案,并实现了其中的图像细节增强算法。但是该方案并未实施高速高帧率的方案。
此外，现有的红外相机主要来源于传统的dsp或者arm开发平台，无法实现高速的图像实时处理，基于fpga上的高速相机也是最近发展起来的，但也都是基于可见光部分的高速高分辨率，并没有相关的基于fpga上的红外高速相机。
发明内容
一种基于fpga的双光谱高速相机，包括：
红外传感器，实现红外光的光电转换；
可见光传感器，实现可见光的光电转换；
I2C接口，所述红外传感器和所述可见光传感器通过I2C接口与图像处理装置实现串行通信；
图像处理装置，所述图像处理装置基于fpga实现，并接收所述红外传感器和所述可见光传感器的视频输出，实现红外光谱和可见光谱的实时显示和融合；
图像实时显示装置，对所述图像处理装置的处理结果进行dvi或者hdmi或者VGA的实时显示。
优选地，所述红外传感器和所述可见光传感器是cmos图像传感器，并采用全局曝光的快门模式。
优选地，利用I2C接口工作时序来写cmos传感器内部的寄存器，并控制cmos传感器的曝光、自动白平衡开启关闭、帧率和/或分辨率。
优选地，所述图像处理装置包括实时图像处理装置、arm处理器和色彩空间转换模块；
优选地，所述实时图像处理装置实现红外光谱和可见光谱的视频融合和直方图操作，输出高速图像信息；
优选地，所述arm处理器进行所述高速图像信息的存储，通过32位AXI转RGB模块将所述高速图像信息输出至色彩空间转换模块；
优选地，所述色彩空间转换模块完成色彩空间的转换并进行图像数据格式的转换。
优选地，所述视频融合采用伪彩色融合、加权平均融合、灰度值选大以及拉普拉斯金字塔融合方法。
优选地，所述直方图操作实现直方图的均衡化，规定化和直方图的拉伸，基于fpga的均值滤波的线性滤波或者非线性滤波方法进行图像去噪。
优选地，所述arm处理器与所述实时图像处理装置或色彩空间转换模块通过VDMA视频直接读写装置和AXI高速互联接口连接。
优选地，所述arm处理器选用cortex-a9双核处理器。
本发明采用fpga+arm(cortex-a9双核处理器)的开发平台实现高速并行处理红外传感器和所述可见光传感器的图像数据；实现红外和可见光的同时采集并实时的图像融合等图像处理。基于高感光特性cmos传感器提高成像速度实现高帧率高速；其中cmos传感器采用全局曝光模式，对高速物体移动的拍摄不会有畸变的影响；可见光和近红外850nm的双光谱同时实时接收视频信息，达到120帧以上的1080p高清显示。
附图说明
图1是根据本发明所提供的高速相机结构示意图；
图2是i2c通信协议；
图3是i2c读写时序。
具体实施方式
下面结合附图对本发明所提供的基于fpga和arm软硬结合实现双光谱图像融合的实时采集处理显示系统做出进一步详尽的阐释。
如图1所述,本发明的一种基于fpga的双光谱高速相机，包括：红外传感器、可见光传感器、由I2C接口实现的串行通信主从机接口、图像处理装置和图像实时显示装置。
其中红外传感器实现红外光谱的光电转换；可见光传感器实现可见光谱的光电转换。所述红外传感器和所述可见光传感器是cmos图像传感器，并采用全局曝光的快门模式。所述红外传感器和可见光传感器通过8位或者12位的原始视频数据输出接口将原始视频数据输出至图像处理装置的接收端。8位或者12位的原始视频数据输出接口可以是dvp或者差分视频输入。
I2C接口，所述红外传感器和所述可见光传感器通过I2C接口与图像处理装置实现串行通信；利用I2C接口工作时序来写cmos传感器内部的寄存器，并控制cmos传感器的曝光、自动白平衡开启关闭、帧率和/或分辨率。
图像处理装置，所述图像处理装置基于fpga实现，并接收所述红外传感器和所述可见光传感器的视频输出，实现红外光谱和可见光谱的实时显示和融合；所述图像处理装置包括接收端、实时图像处理装置、arm处理器、VDMA视频直接读写装置、AXI高速互联接口、32位AXI转RGB模块和色彩空间转换模块；
接收端是高速数据接口，其将原始视频数据传输至实时图像处理装置，所述实时图像处理装置实现红外光谱和可见光谱的视频融合和直方图操作，输出高速图像信息；其中所述视频融合采用伪彩色融合、加权平均融合、灰度值选大以及拉普拉斯金字塔融合方法。所述直方图操作实现直方图的均衡化，规定化和直方图的拉伸，基于fpga的均值滤波的线性滤波和非线性滤波实现图像去噪。
所述实时图像处理装置输出的高速图像信息依次经过VDMA视频直接读写装置和AXI高速互联接口至所述arm处理器，所述arm处理器进行所述高速图像信息的存储。所述arm处理器输出的高速图像信息依次经过AXI高速互联接口、VDMA视频直接读写装置和32位AXI转RGB模块至色彩空间转换模块；所述色彩空间转换模块完成RGB转DVI，实现色彩空间的转换并进行图像数据格式的转换。其中AXI高速互联接口实现高速视频信号突发传输从而实现视频信号的实时读写。所述arm处理器选用cortex-a9双核处理器。
最后采集的图像数据进行图像数据格式的转换以进行dvi或者hdmi或者VGA的实时显示。
cmos图像传感器的内部寄存器配置为2条双向串行线，一条数据线SDA，一条时钟线SCL。SDA传输数据是大端传输，每次传输8bit，即一字节。
I2C接口支持多主控(multimastering)，任何时间点只能有一个主控。总线上每个设备都有自己的一个addr，共7个bit，地址全0.系统中可能有多个同种芯片，为此addr分为固定部分和可编程部份，细节视芯片而定。
如图2所示的数据传输：SCL为高电平时，SDA线若保持稳定，那么SDA上是在传输数据bit；若SDA发生跳变，则用来表示一个会话的开始或结束。数据改变：SCL为低电平时，SDA线才能改变传输的bit开始信号：SCL为高电平时，SDA由高电平向低电平跳变，开始传送数据。结束信号：SCL为高电平时，SDA由低电平向高电平跳变，结束传送数据。Master每发送完8bit数据后等待Slave的ACK。即在第9个clock，若从IC发ACK，SDA会被拉低。若没有ACK，SDA会被置高，这会引起Master发生RESTART或STOP流程如图3所示，通过以上的i2c工作时序来写cmos传感器内部的寄存器，以实现诸如曝光控制和自动白平衡开启关闭以及分辨率等细节的调节。
本发明采用fpga+arm(cortex-a9双核处理器)的开发平台实现高速并行处理红外传感器和所述可见光传感器的图像数据；实现红外和可见光的同时采集并实时的图像融合等图像处理。基于高感光特性cmos传感器提高成像速度实现高帧率高速；其中cmos传感器采用全局曝光模式，对高速物体移动的拍摄不会有畸变的影响；可见光和近红外850nm的双光谱同时实时接收视频信息，达到120帧以上的1080p高清显示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于fpga的双光谱高速相机，其特征在于包括：
红外传感器，实现红外光的光电转换；
可见光传感器，实现可见光的光电转换；
I2C接口，所述红外传感器和所述可见光传感器通过I2C接口与图像处理装置实现串行通信；
图像处理装置，所述图像处理装置基于fpga实现，并接收所述红外传感器和所述可见光传感器的视频输出，实现红外光谱和可见光谱的实时显示和融合；
图像实时显示装置，对所述图像处理装置的处理结果进行实时显示。
2.如权利要求1所述的高速相机，其特征在于：
所述红外传感器和所述可见光传感器是cmos图像传感器，并采用全局曝光的快门模式。
3.如权利要求1所述的高速相机，其特征在于：
利用I2C接口工作时序来写cmos传感器内部的寄存器，并控制cmos传感器的曝光、自动白平衡开启关闭、帧率和/或分辨率。
4.如权利要求1至3任一项所述的高速相机，其特征在于：
所述图像处理装置包括实时图像处理装置、arm处理器和色彩空间转换模块；
所述实时图像处理装置实现红外光谱和可见光谱的图像融合，输出高速图像信息；
所述arm处理器进行所述高速图像信息的存储，通过32位AXI转RGB模块将所述高速图像信息输出至色彩空间转换模块；
所述色彩空间转换模块完成色彩空间的转换并进行图像数据格式的转换。
5.如权利要求4所述的高速相机，其特征在于：
所述视频融合采用伪彩色融合、加权平均融合、灰度值选大以及拉普拉斯金字塔融合方法。
6.如权利要求4所述的高速相机，其特征在于：
所述直方图操作实现直方图的均衡化和直方图的拉伸，基于fpga的均值滤波的线性滤波或者非线性滤波方法进行图像去噪。
7.如权利要求4所述的高速相机，其特征在于：
所述arm处理器与所述实时图像处理装置或色彩空间转换模块通过VDMA视频直接读写装置和AXI高速互联接口连接。
8.如权利要求4所述的高速相机，其特征在于：所述arm处理器选用cortex-a9双核处理器。
CN201711394710.7A 2017-12-21 2017-12-21 一种基于fpga的双光谱高速相机 Pending CN109951617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711394710.7A CN109951617A (zh) 2017-12-21 2017-12-21 一种基于fpga的双光谱高速相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711394710.7A CN109951617A (zh) 2017-12-21 2017-12-21 一种基于fpga的双光谱高速相机

Publications (1)

Publication Number Publication Date
CN109951617A true CN109951617A (zh) 2019-06-28

Family

ID=67005440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711394710.7A Pending CN109951617A (zh) 2017-12-21 2017-12-21 一种基于fpga的双光谱高速相机

Country Status (1)

Country Link
CN (1) CN109951617A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563559A (zh) * 2020-05-18 2020-08-21 国网浙江省电力有限公司检修分公司 一种成像方法、装置、设备及存储介质
CN114422671A (zh) * 2021-12-30 2022-04-29 中电海康集团有限公司 一种基于fpga的双光谱相机
CN114615425A (zh) * 2020-12-21 2022-06-10 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN115086548A (zh) * 2022-04-13 2022-09-20 中国人民解放军火箭军工程大学 一种双光谱虚拟摄像头合成方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100270469A1 (en) * 2009-04-23 2010-10-28 Fluke Corporation Lens position sensor for infrared cameras
CN202956192U (zh) * 2012-03-16 2013-05-29 东莞华仪仪表科技有限公司 智能型红外热像仪的装置和系统
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN104820657A (zh) * 2015-05-14 2015-08-05 西安电子科技大学 一种基于嵌入式异构多核处理器上的核间通信方法及并行编程模型
CN105959583A (zh) * 2016-04-28 2016-09-21 努比亚技术有限公司 一种移动终端及其曝光方法
CN106204541A (zh) * 2016-06-29 2016-12-07 南京雅信科技集团有限公司 基于可见光与红外光结合的轨道异物侵限探测方法
CN106791308A (zh) * 2016-12-22 2017-05-31 中国空气动力研究与发展中心超高速空气动力研究所 一种支持多种通信协议的多功能高清数字相机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100270469A1 (en) * 2009-04-23 2010-10-28 Fluke Corporation Lens position sensor for infrared cameras
CN202956192U (zh) * 2012-03-16 2013-05-29 东莞华仪仪表科技有限公司 智能型红外热像仪的装置和系统
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN104820657A (zh) * 2015-05-14 2015-08-05 西安电子科技大学 一种基于嵌入式异构多核处理器上的核间通信方法及并行编程模型
CN105959583A (zh) * 2016-04-28 2016-09-21 努比亚技术有限公司 一种移动终端及其曝光方法
CN106204541A (zh) * 2016-06-29 2016-12-07 南京雅信科技集团有限公司 基于可见光与红外光结合的轨道异物侵限探测方法
CN106791308A (zh) * 2016-12-22 2017-05-31 中国空气动力研究与发展中心超高速空气动力研究所 一种支持多种通信协议的多功能高清数字相机

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563559A (zh) * 2020-05-18 2020-08-21 国网浙江省电力有限公司检修分公司 一种成像方法、装置、设备及存储介质
CN111563559B (zh) * 2020-05-18 2024-03-29 国网浙江省电力有限公司检修分公司 一种成像方法、装置、设备及存储介质
CN114615425A (zh) * 2020-12-21 2022-06-10 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN114615425B (zh) * 2020-12-21 2024-04-16 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制方法
CN114422671A (zh) * 2021-12-30 2022-04-29 中电海康集团有限公司 一种基于fpga的双光谱相机
CN115086548A (zh) * 2022-04-13 2022-09-20 中国人民解放军火箭军工程大学 一种双光谱虚拟摄像头合成方法及装置

Similar Documents

Publication Publication Date Title
CN109951617A (zh) 一种基于fpga的双光谱高速相机
US8923652B2 (en) Methods and apparatus for registering and warping image stacks
CN103595924B (zh) 一种基于Cameralink的图像融合系统及其方法
EP3148177A1 (en) Image generation method based on dual camera module and dual camera module
CN108765358A (zh) 可见光和红外光的双光融合方法以及插件式热像仪系统
CN101674400A (zh) 一种摄像系统及其方法
CN102025979A (zh) 一种基于双dsp的红外视频实时增强显示装置
CN106454023B (zh) Usb3.0cmos线阵工业相机
CN208956216U (zh) 基于低照度摄像头同步采集长距传输的大型车环视系统
CN208424534U (zh) 成像仪的机芯组件及成像仪
KR20100007628A (ko) 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치
US8953070B2 (en) Apparatus, methods and systems for randomly accessing pixel data from streaming image sensor data
CN104853077B (zh) 一种广播级高速高清摄像机
CN101325712A (zh) 一种基于arm的便携式图像实时采集和显示终端
CN105187701A (zh) 分光计电子显示系统
CN204615936U (zh) 一种广播级高速高清摄像机
CN103607545A (zh) 一种高清视频采集装置及其工作方法
US10885615B2 (en) Multi-level lookup tables for control point processing and histogram collection
CN109688314B (zh) 低延时少缓存且数据输出方式可控的摄像头系统及方法
CN113630586A (zh) 一种单光源全彩摄像机
CN206100248U (zh) 一种遥感成像拍摄装置
CN206164677U (zh) Usb3.0cmos线阵工业相机
CN101902608A (zh) 一种非标准数字视频自适应转换及显示装置
JP2012209798A (ja) 画像処理システム及び撮像装置
CN204863072U (zh) 一种医用内窥镜的视频采集处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628

RJ01 Rejection of invention patent application after publication