CN111586310B - 一种实时高动态成像方法及成像系统 - Google Patents
一种实时高动态成像方法及成像系统 Download PDFInfo
- Publication number
- CN111586310B CN111586310B CN202010363457.4A CN202010363457A CN111586310B CN 111586310 B CN111586310 B CN 111586310B CN 202010363457 A CN202010363457 A CN 202010363457A CN 111586310 B CN111586310 B CN 111586310B
- Authority
- CN
- China
- Prior art keywords
- image
- gain
- low
- dynamic range
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提出一种实时高动态成像方法及成像系统,解决现有动态范围扩展方法无法满足对实时性要求较高、延时较小的应用场合,以及存在计算结果有较大误差、高动态图像模糊的问题。该方法包括:步骤一、图像探测器输出高、低增益图像数据;步骤二、对高、低增益图像数据进行格雷码‑二进制码转换;步骤三、获得高、低增益图像的权值;步骤四、进行高动态范围图像的融合;步骤五、高动态范围图像映射;步骤六、将映射后高动态范围图像数据存储于缓存单元;步骤七、读取缓存单元数据并将映射后高动态范围图像数据打包、编码;步骤八、将打包编码后的图像数据送至输出单元输出。
Description
技术领域
本发明属于实时图像处理领域,具体涉及一种实时高动态成像方法及成像系统,特别是涉及一种基于单次曝光高、低增益图像融合的高动态图像成像系统及成像方法。
背景技术
真实场景的动态范围是指场景中最亮处与最暗处的照度比值,常用对数表示,单位为dB。自然界的照度范围覆盖非常广,最大动态范围高达160dB,而人眼可感知的动态范围可达100dB。
图像的动态范围是表征成像系统成像质量的一个重要参数,目前大多数数字成像系统仍为8比特量化显示,其输出的图像只能记录有限范围的灰阶和颜色等级,动态范围只有两个数量级,远小于常见自然场景的动态范围以及人眼可感知的动态范围,成像系统的动态范围的不足严重影响了其应用范围。鉴于此,需要对数字成像系统的动态范围进行扩展,从而获得高动态范围的图像。扩展数字成像系统的动态范围,即高动态范围(HDR)成像技术,一般通过采用硬件和/或软件的方法,使数字成像系统的输出图像涵盖尽可能大的拍摄场景照度范围,并准确地再现真实场景的细节信息。
现有动态范围扩展方法主要包括硬件扩展方法和软件扩展方法。其中硬件扩展方法主要采用高动态范围的图像探测器(CCD/CMOS SENSOR)进行成像系统的设计,受限于工艺水平和设计复杂度,基于硬件的动态范围扩展方法短期内无法获得较大的突破。软件扩展方法主要包括基于成像系统响应函数的辐照度重建和多次曝光图像融合的方法,这两种方法都需要采集多幅不同曝光度的低动态范围图像,因而无法满足对实时性要求较高、延时较小的应用场合,且在拍摄过程中相机抖动或拍摄物体微小移动都会造成计算结果的较大误差或造成融合后的高动态图像模糊,这些不足限制了基于软件方法的动态范围扩展方法在航空、航天以及工业中的应用。
发明内容
本发明的目的在于解决现有动态范围扩展方法无法满足对实时性要求较高、延时较小的应用场合,以及存在计算结果有较大误差、高动态图像模糊的问题,提出一种实时高动态成像方法及成像系统,该方法和系统在现有具备高、低增益双通道同时输出的图像探测器的基础上,结合其输出的高、低增益两个输出通道的图像数据,将高、低增益图像按照计算的权重比例进行加权融合,得到高动态范围图像。
为实现上述目的,本发明的技术方案是:
一种实时高动态成像方法,包括以下步骤:
步骤一、图像探测器单次曝光进行图像采集,并输出高、低增益图像数据,所述图像探测器为具备高、低增益双通道同时输出的图像探测器;
步骤二、对图像探测器输出的高、低增益图像数据进行格雷码-二进制码转换,得到高、低增益二进制码图像数据;
步骤三、对高、低增益二进制码图像数据进行分析计算,获得高、低增益图像的权值;
3.1)实时计算高、低增益二进制码图像的亮度均值;
其中,uLG为低增益图像的亮度均值;uHG为高增益图像的亮度均值,Data_LG_B表示低增益二进制码图像;Data_HG_B表示高增益二进制码图像;(x,y)表示像素点在图像中的位置坐标;
3.2)根据曝光适度的评价方法,计算高增益图像的权值wHG和低增益图像的权值wLG;
其中,Imax为图像的最大亮度值;
步骤四、按照高、低增益图像的权值进行高动态范围图像的融合;
Dataout(x,y)=wLG×Data_LG_B(x,y)+wHG×Data_HG_B(x,y))
为防止输出图像数据出现溢出的情况,对输出值进行限制:
步骤五、对融合后的高动态范围图像数据进行高动态范围图像映射;
步骤六、将映射后高动态范围图像数据存储于缓存单元;
步骤七、读取缓存单元的数据并将映射后的高动态范围图像数据打包、编码;
步骤八、将打包编码后的图像数据送至输出单元输出,并在显示存储单元解码后进行显示和/或存储。
进一步地,步骤五中,采用GIMP的方法进行高动态范围图像映射,将11bit位深图像映射至8bit位深。
同时,本发明还提供了一种实时高动态成像系统,包括图像探测器、图像探测器驱动电路、FPGA、缓存单元、输出单元和显示存储单元;所述图像探测器进行光电转换,将拍摄场景的反射光信号转换为数字视频信号输出;所述图像探测器驱动电路与图像探测器连接,用于提供工作电压给图像探测器;所述FPGA与图像探测器连接,用于产生图像探测器的工作时序、对图像探测器输出的图像数据进行采集和处理;FPGA对图像探测器输出的图像数据进行采集和处理时执行权利要求1或权利要求2中的步骤二至步骤八;所述缓存单元与FPGA连接,用于缓存FPGA采集的低动态范围图像;所述输出单元与FPGA连接,用于将高动态范围图像通过硬件接口输出;所述显示存储单元与输出单元连接,用于将高动态范围图像进行显示和/或存储。
进一步地,所述图像探测器为CIS2521图像探测器,实现2560×2160,100帧/秒的图像采集。
进一步地,所述输出单元为Camera-link或USB3.0接口电路。
进一步地,所述缓存单元为DDR3或DDR4缓存芯片。
进一步地,所述显示存储单元为包含图像采集、解码、显示和存储功能的计算机主机和显示器。
与现有技术相比,本发明技术方案具有以下优点:
1.本发明实时高动态成像方法及成像系统中,图像探测器同时输出高、低增益两幅低动态范围图像,不需要多次曝光拍摄,成像系统延迟较小,实时性较高。
2.本发明实时高动态成像方法及成像系统中,由于高、低增益两幅低动态范围图像由单次曝光同时获得,两幅图像之间不存在相对运动,不会造成融合后图像模糊。
3.本发明实时高动态成像方法及成像系统中,实时计算高、低增益两幅图像的亮度均值,并根据曝光适度评价方法确定其权值,而非采用固定的权值进行高动态范围图像的融合,可使得融合后图像的动态范围最大化。
4.本发明实时高动态成像方法及成像系统中,图像探测器的高、低增益在模拟信号端放大,对噪声的放大较小,不会对融合后的图像信噪比产生很大影响。
5.在航空航天领域,由于成像与拍摄目标存在快速的相对运动需采用较短的曝光时间,而本发明方法和系统即使拍摄时采用较短的曝光时间,亦可得到较高动态范围的图像,并凸显拍摄场景的细节信息。
附图说明
图1是本发明实时高动态成像系统的结构框图;
图2是本发明实时高动态成像方法的流程图;
图3是图像探测器CIS2521的输出结构框图;
图4是图像探测器CIS2521输出1x增益原始图像;
图5是图像探测器CIS2521输出10x增益原始图像;
图6是采用本发明方法获得的高动态范围图像。
具体实施方式
以下结合附图和具体实施例对本发明的内容作进一步详细描述。
如图1所示,本发明提供了一种实时高动态成像系统,包括图像探测器、图像探测器驱动电路、FPGA、缓存单元、输出单元和显示存储单元。其中,图像探测器为具备高、低增益双通道同时输出的图像探测器,用于实现光电转换,将拍摄场景的反射光信号转换为数字视频信号输出。图像探测器驱动电路与图像探测器连接,用于提供工作电压给图像探测器。FPGA与图像探测器连接,用于产生图像探测器的工作时序、对图像探测器输出的图像数据进行采集、处理等。缓存单元与FPGA连接,用于缓存FPGA采集的低动态范围图像。输出单元与FPGA连接,用于将高动态范围图像通过硬件接口输出。显示存储单元与输出单元连接,用于将高动态范围图像进行显示和/或存储。
在本发明实施例中,图像探测器具体可采用CIS2521图像探测器,实现2560×2160,高达100帧/秒的图像采集。图像探测器驱动电路具体可包括二次电源转换电路、CIS2521偏置电压电路、退耦滤波电路等。缓存单元具体可为DDR3或DDR4缓存芯片。输出单元具体可为Camera-link或USB3.0接口电路。显示存储单元具体为包含图像采集、解码、显示和存储功能的计算机主机和显示器。
如图2所示,本发明还提供了一种实时高动态成像方法,其包括以下步骤:
步骤一、图像探测器单次曝光进行图像采集,并输出高、低增益图像数据;
图3所示为图像探测器CIS2521的输出结构框图,单次曝光进行光电转换后的电荷信号分别被送至高、低两个模拟增益放大器,其中低增益值可设置为1x或2x,高增益值可设置为10x或30x,之后再送至ADC进行模数转换,最终以两路11比特格雷码的数字信号输出,分别以Data_LG[10:0]和Data_HG[10:0]表示;
步骤二、FPGA采集图像探测器CIS2521输出的高、低增益图像数据并进行格雷码-二进制码转换,得到高、低增益二进制码图像数据;
格雷码是一种错误最小化的编码方式,但无法对图像的格雷码直接进行处理,需要进行格雷码-二进制码的转换,格雷码-二进制码的转换按照下式进行:
Data_LG_B[10]=Data_LG[10]
Data_HG_B[10]=Data_HG[10]
Data_LG_B[i-1]=Data_LG[i-1]xorData_LG_B[i]
Data_HG_B[i-1]=Data_HG[i-1]xorData_HG_B[i],i=1,2,…,10
其中Data_LG_B[10:0]表示低增益图像11bit二进制数据,Data_HG_B[10:0]表示高增益图像11bit二进制数据;xor表示按位异或运算;
步骤三、FPGA分别对高、低增益二进制码图像数据进行分析计算,确定高、低增益图像的权值;
3.1)实时计算高、低增益二进制码图像的亮度均值,高、低增益图像亮度均值uLG和uHG按照下式进行计算:
其中,uLG为低增益图像的亮度均值;uGG为高增益图像的亮度均值,Data_LG_B表示低增益二进制码图像;Data_HG_B表示高增益二进制码图像;(x,y)表示像素点在图像中的位置坐标;
3.2)根据曝光适度的评价方法,计算高增益图像的权值wHG和低增益图像的权值和wLG;
曝光适度评价方法的核心思想是:为保证较为理想的人眼视觉感受,图像的亮度均值取值应在0.5Imax(Imax为图像的最大亮度值)附近;以11bit图像为例,0.5Imax=1024,根据曝光适度的评价方法,高增益图像的权值wHG和低增益图像的权值wLG计算方法如下:
上式表明,|uLG-0.5Imax|或|uHG-0.5Imax|越大,图像的亮度均值距离0.5Imax越远,其权重取值越小;反之其权重取值越大;
步骤四、FPGA按照高、低增益图像的权值进行高动态范围图像的融合;
Dataout(x,y)=wLG×Data_LG_B(x,y)+wHG×Data_HG_B(x,y)
Dataout(x,y)表示融合后的高动态范围图像数据;
为防止输出图像数据出现溢出的情况,需要对输出值进行限制:
步骤五、高动态范围图像映射;
由于融合后的高动态范围图像数据仍为11bit,为了减小缓存数据量,并适应后续的图像编码、传输以及显示,采用GIMP的方法将11bit位深图像映射至8bit位深;采用GIMP的方法进行高动态范围图像映射,在高低位深映射时,尽可能保留图像的动态范围和细节信息;
步骤六、FPGA将映射后的图像数据存储于缓存单元;
步骤七、FPGA读取缓存单元数据并按照相关协议将映射后高动态范围图像数据打包、编码等;
步骤八、FPGA将打包编码后的图像数据送至输出单元输出,并在显示存储单元解码后进行显示和/或存储;
效果对比验证:
图4所示为CIS2521输出1x增益原始图像,由于航拍曝光时间较短,图像整体偏暗,暗部细节损失较多;图5所示为CIS2521输出10x增益原始图像,该图像在凸显暗部细节的同时,使得图像亮部区域细节丢失;图6是采用本发明算法获得的融合后的高动态范围图像,可以看出,拍摄场景的暗部区域和亮部区域的目标细节信息都得到了较好的体现。
Claims (7)
1.一种实时高动态成像方法,其特征在于,包括以下步骤:
步骤一、图像探测器单次曝光进行图像采集,并输出高、低增益图像数据,所述图像探测器为具备高、低增益双通道同时输出的图像探测器;
步骤二、对图像探测器输出的高、低增益图像数据进行格雷码-二进制码转换,得到高、低增益二进制码图像数据;
步骤三、对高、低增益二进制码图像数据进行分析计算,获得高、低增益图像的权值;
3.1)实时计算高、低增益二进制码图像的亮度均值;
其中,uLG为低增益图像的亮度均值;uHG为高增益图像的亮度均值,Data_LG_B表示低增益二进制码图像;Data_HG_B表示高增益二进制码图像;(x,y)表示像素点在图像中的位置坐标;
3.2)根据曝光适度的评价方法,计算高增益图像的权值wHG和低增益图像的权值wLG;
其中,Imax为图像的最大亮度值;
步骤四、按照高、低增益图像的权值进行高动态范围图像的融合;
Dataout(x,y)=wLG×Data_LG_B(x,y)+wHG×Data_HG_B(x,y))
为防止输出图像数据出现溢出的情况,对输出值进行限制:
步骤五、对融合后的高动态范围图像数据进行高动态范围图像映射;
步骤六、将映射后高动态范围图像数据存储于缓存单元;
步骤七、读取缓存单元的数据并将映射后的高动态范围图像数据打包、编码;
步骤八、将打包编码后的图像数据送至输出单元输出,并在显示存储单元解码后进行显示和/或存储。
2.根据权利要求1所述的实时高动态成像方法,其特征在于:步骤五中,采用GIMP的方法进行高动态范围图像映射,将11bit位深图像映射至8bit位深。
3.一种实时高动态成像系统,其特征在于:包括图像探测器、图像探测器驱动电路、FPGA、缓存单元、输出单元和显示存储单元;
所述图像探测器进行光电转换,将拍摄场景的反射光信号转换为数字视频信号输出;
所述图像探测器驱动电路与图像探测器连接,用于提供工作电压给图像探测器;
所述FPGA与图像探测器连接,用于产生图像探测器的工作时序、对图像探测器输出的图像数据进行采集和处理;FPGA对图像探测器输出的图像数据进行采集和处理时执行权利要求1或权利要求2中的步骤二至步骤八;
所述缓存单元与FPGA连接,用于缓存FPGA采集的低动态范围图像;
所述输出单元与FPGA连接,用于将高动态范围图像通过硬件接口输出;
所述显示存储单元与输出单元连接,用于将高动态范围图像进行显示和/或存储。
4.根据权利要求3所述的实时高动态成像系统,其特征在于:所述图像探测器为CIS2521图像探测器,实现2560×2160,100帧/秒的图像采集。
5.根据权利要求3或4所述的实时高动态成像系统,其特征在于:所述输出单元为Camera-link或USB3.0接口电路。
6.根据权利要求5所述的实时高动态成像系统,其特征在于:所述缓存单元为DDR3或DDR4缓存芯片。
7.根据权利要求6所述的实时高动态成像系统,其特征在于:所述显示存储单元为包含图像采集、解码、显示和存储功能的计算机主机和显示器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010363457.4A CN111586310B (zh) | 2020-04-30 | 2020-04-30 | 一种实时高动态成像方法及成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010363457.4A CN111586310B (zh) | 2020-04-30 | 2020-04-30 | 一种实时高动态成像方法及成像系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111586310A CN111586310A (zh) | 2020-08-25 |
CN111586310B true CN111586310B (zh) | 2021-04-20 |
Family
ID=72113301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010363457.4A Active CN111586310B (zh) | 2020-04-30 | 2020-04-30 | 一种实时高动态成像方法及成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111586310B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315923B (zh) * | 2021-04-26 | 2022-08-12 | 上海卫星工程研究所 | 一种多增益高动态星载微光相机通道融合方法 |
CN114363541B (zh) * | 2021-11-15 | 2024-02-02 | 中国科学院西安光学精密机械研究所 | 一种用于立方体卫星的小型化cmos成像系统及方法 |
CN115953338B (zh) * | 2022-12-07 | 2024-04-16 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种提高工业相机动态范围的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101365070A (zh) * | 2007-08-06 | 2009-02-11 | 株式会社尼康 | 摄像装置 |
CN103647900A (zh) * | 2013-11-15 | 2014-03-19 | 天津天地伟业数码科技有限公司 | 基于增益调整的双通道ccd图像传感器图像拼接方法 |
CN106127718A (zh) * | 2016-06-17 | 2016-11-16 | 中国人民解放军国防科学技术大学 | 一种基于小波变换的多曝光图像融合方法 |
CN106454159A (zh) * | 2016-10-21 | 2017-02-22 | 北方电子研究院安徽有限公司 | 一种高动态emccd图像传感器 |
CN110087003A (zh) * | 2019-04-30 | 2019-08-02 | 深圳市华星光电技术有限公司 | 多曝光图像融合方法 |
KR102045538B1 (ko) * | 2018-05-31 | 2019-11-15 | 한양대학교 산학협력단 | 패치 기반 다중 노출 영상 융합 방법 및 장치 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100568926C (zh) * | 2006-04-30 | 2009-12-09 | 华为技术有限公司 | 自动曝光控制参数的获得方法及控制方法和成像装置 |
CN105227858B (zh) * | 2015-10-30 | 2019-03-05 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
-
2020
- 2020-04-30 CN CN202010363457.4A patent/CN111586310B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101365070A (zh) * | 2007-08-06 | 2009-02-11 | 株式会社尼康 | 摄像装置 |
CN103647900A (zh) * | 2013-11-15 | 2014-03-19 | 天津天地伟业数码科技有限公司 | 基于增益调整的双通道ccd图像传感器图像拼接方法 |
CN106127718A (zh) * | 2016-06-17 | 2016-11-16 | 中国人民解放军国防科学技术大学 | 一种基于小波变换的多曝光图像融合方法 |
CN106454159A (zh) * | 2016-10-21 | 2017-02-22 | 北方电子研究院安徽有限公司 | 一种高动态emccd图像传感器 |
KR102045538B1 (ko) * | 2018-05-31 | 2019-11-15 | 한양대학교 산학협력단 | 패치 기반 다중 노출 영상 융합 방법 및 장치 |
CN110087003A (zh) * | 2019-04-30 | 2019-08-02 | 深圳市华星光电技术有限公司 | 多曝光图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111586310A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111586310B (zh) | 一种实时高动态成像方法及成像系统 | |
CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
US8711255B2 (en) | Visual processing apparatus and visual processing method | |
CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
KR101604068B1 (ko) | 고대비 영상 생성 장치 및 방법 | |
US20100177203A1 (en) | Apparatus and method for local contrast enhanced tone mapping | |
CN111986084B (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
CN111885312B (zh) | Hdr图像的成像方法、系统、电子设备及存储介质 | |
CN102724400A (zh) | 图像处理设备及其控制方法 | |
JP2007082181A (ja) | 撮像装置及び画像処理方法 | |
CN111565261B (zh) | 图像处理方法、装置及电子设备 | |
CN113766143B (zh) | 光检测芯片、图像处理装置及其运作方法 | |
JP2007028088A (ja) | 撮像装置及び画像処理方法 | |
CN109816603A (zh) | 单光子计数成像的图像传感器图像还原方法 | |
CN114979500A (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
JP2011100204A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 | |
US11640654B2 (en) | Image processing method and apparatus | |
CN115334294B (zh) | 一种本地自适应力度的视频降噪方法 | |
Lapray et al. | Smart camera design for realtime high dynamic range imaging | |
CN114331893A (zh) | 一种获取图像噪声的方法、介质和电子设备 | |
WO2021093980A1 (en) | Device and method for pre-processing image data for a computer vision application | |
Abebe | High Dynamic Range Imaging | |
CN114697483B (zh) | 基于压缩感知白平衡算法的屏下摄像装置及方法 | |
Punchihewa et al. | From a review of HDR sensing and tone compression to a novel imaging approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |