CN107864317B - 一种基于衰减掩膜的瞬态成像动态范围扩展方法 - Google Patents

一种基于衰减掩膜的瞬态成像动态范围扩展方法 Download PDF

Info

Publication number
CN107864317B
CN107864317B CN201711085653.4A CN201711085653A CN107864317B CN 107864317 B CN107864317 B CN 107864317B CN 201711085653 A CN201711085653 A CN 201711085653A CN 107864317 B CN107864317 B CN 107864317B
Authority
CN
China
Prior art keywords
image
attenuation
mask
transient
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711085653.4A
Other languages
English (en)
Other versions
CN107864317A (zh
Inventor
严明
杨少华
李刚
刘璐
郭明安
李斌康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Institute of Nuclear Technology
Original Assignee
Northwest Institute of Nuclear Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Institute of Nuclear Technology filed Critical Northwest Institute of Nuclear Technology
Priority to CN201711085653.4A priority Critical patent/CN107864317B/zh
Publication of CN107864317A publication Critical patent/CN107864317A/zh
Application granted granted Critical
Publication of CN107864317B publication Critical patent/CN107864317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出一种基于衰减掩膜的瞬态成像动态范围扩展方法，适用于瞬态过程图像诊断，系统结构简明，实现成本低。该方法所采用的成像系统是由像增强器、衰减掩膜以及图像传感器依次耦合形成的；所述衰减掩膜是根据像增强器的余辉发光光谱特征和图像传感器像素尺寸特征设计并加工的掩膜孔阵列；该方法包括以下步骤：利用像增强器的高时间分辨快门功能，将瞬态现象的某一时刻场景定格；利用衰减掩膜的位置选择性光衰减作用，获取到衰减系数不同的的多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像；通过子图像插值计算获得高分辨率的高动态范围瞬态图像。

Description

一种基于衰减掩膜的瞬态成像动态范围扩展方法
技术领域
本发明涉及一种瞬态成像动态范围扩展方法，具体涉及一种能够应用于瞬态过程时间分辨图像诊断的瞬态成像动态范围扩展方法。
背景技术
基于图像传感器和像增强器的高速相机在瞬态物理过程研究领域中应用广泛。目前常用的图像传感器主要有两种：CCD图像传感器和CMOS图像传感器。在瞬态物理过程研究中，由于对时间分辨要求极高，高速相机一般采用像增强器构成ICCD或ICMOS相机，其中像增强器通常具有102～105的光增益，可以补偿光学耦合过程中的能量损失，起到光增益的作用，同时像增强器的开门时间相对于CCD或CMOS传感器的电子快门或高速机械快门装置要快2～3个数量级以上，因此，可以将像增强器作为光快门选通器件，对高速瞬态过程进行高时间分辨成像。在爆轰效应、高速碰撞和等离子体实验等瞬态物理研究领域中，所要诊断测试的目标往往具有非常高的动态范围，在利用高速相机进行成像时曝光时间过长，较亮的区域会出现饱和，曝光时间过短，较暗的区域则不能够分辨，在这种应用条件下需要对瞬态成像系统的动态范围进行扩展。
目前，成像系统动态范围扩展的方法有很多种，其中双帧曝光甚至多帧曝光图像融合技术是一种发展较早、应用比较广泛的动态扩展方法。它的原理是对同一场景进行两次或者多次曝光拍摄，分别获取不同曝光条件下的图像信息，然后通过图像融合实现动态扩展。但是这种方法只对静态场景或相对静态场景有效，亦即在多次曝光拍摄时，目标场景不变或变化极小；对于瞬态过程来说，难以在极短的时间内进行多次曝光成像，在进行多次拍摄的过程中目标状态已经发生了变化，因此进行图像融合已经没有了意义。另外一种实现方法是采用多台相机，通过预设不同的光圈值或曝光时间，采用分光镜使多台相机能够获取同一时刻的目标图像，从而能够进行图像融合。但是这种方法的缺点是系统过于复杂，价格昂贵，而且光学对准带来的多幅图像之间的误差也会对最终的图像融合结果带来影响。
发明内容
本发明提出一种基于衰减掩膜的瞬态成像动态范围扩展方法，适用于瞬态过程图像诊断，系统结构简明，实现成本低。
本发明的技术解决方案为：
该基于衰减掩膜的瞬态成像动态范围扩展方法，所采用的成像系统是由像增强器、衰减掩膜以及图像传感器依次耦合形成的；所述衰减掩膜是根据像增强器的余辉发光光谱特征和图像传感器像素尺寸特征设计并加工的掩膜孔阵列，使得像增强器余辉图像在经过掩膜孔阵列后，强度衰减系数在空间分布上有明显差别；该方法包括以下步骤：
首先，利用像增强器的高时间分辨快门功能，将瞬态现象的某一时刻场景定格；
然后，利用衰减掩膜的位置选择性光衰减作用，对像增强器余辉图像进行不同空间位置的选择性衰减，获取到衰减系数不同的的多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像；
最后，通过子图像插值计算获得高分辨率的高动态范围瞬态图像。
基于以上方案，本发明的具体实现步骤如下：
1】选取图像传感器和像增强器，设计衰减掩膜并进行光学耦合；
2】对耦合后的成像系统，在不同光照强度下进行灰度值标定，获取不同光强下不同衰减系数像素对应的图像灰度值；
3】通过标定数据(即上述不同光强下不同衰减系数像素对应的图像灰度值)，计算得到不同衰减系数像素的光照强度线性度曲线；
4】使用覆盖衰减掩膜的图像传感器进行图像记录；
5】对获取的图像，根据不同衰减系数像素位置分离出对应的子图像；
6】根据标定得到的线性曲线(即前述不同衰减系数像素的光照强度线性度曲线)，利用子图像进行插值计算得到高分辨率高动态范围图像。
进一步的，图像传感器为灰度图像传感器。
进一步的，掩膜孔阵列其中开孔部分透过率100％，掩膜部分透光率不大于10％以获得10倍以上的动态范围扩展。
进一步的，掩膜孔阵列其中开孔大小要求开孔映射到图像传感器焦面为像素尺寸整数倍，孔间距为孔径两倍以上的整数倍。
进一步的，掩膜孔阵列的空间分布要求在图像传感器的像素阵列上紧密交错分布，以提高子图像插值计算后高分辨率高动态范围图像的质量。
上述插值计算优选非饱和加权插值算法。例如：以相邻的九个像素为计算窗口，对于本像素及周围八个像素的灰度值，若像素灰度没有超过饱和非线性阈值，则根据像素所对应的线性响应曲线(即前述光照强度线性度曲线)，对其灰度值进行加权，计算出新的灰度值，然后将九个像素的加权灰度值进行求和并取平均；若某个像素灰度值超过饱和非线性阈值，则丢弃该像素值，以未超过饱和非线性阈值的像素为计算依据；计算窗口按照Z字形进行滑动计算每一个像素，获得高分辨率高动态范围图像。
本发明的有益效果：
1.本发明利用衰减掩膜的空间位置选择性光衰减作用，通过孔阵列掩膜，能够获取目标场景同一时刻、不同强度衰减系数的多幅目标子图像，通过子图像插值计算进行动态范围扩展，该方法可适用于瞬态过程成像。
2.本发明在应用过程中，高动态范围图像的获取和计算过程与像增强器的开门时间和增益倍数无关，方法应用范围很广。
3.本发明仅需要一台ICCD或ICMOS相机，通过加装衰减掩膜即可实现，系统结构简明，实现成本低。
附图及说明
图1是像增强器、衰减掩膜与图像传感器耦合结构示意图。
图2是衰减掩膜结构示意图。
图3是子图像的插值计算方法。
具体实施方式
本发明提出的一种基于衰减掩膜的瞬态成像动态范围扩展方法，具体实现步骤如下：
步骤1：根据像增强器的余辉发光光谱特征和图像传感器像素尺寸特征，设计并加工掩膜孔阵列，使得像增强器余辉图像在经过掩膜孔阵列后，强度衰减系数在空间分布上有较大差别；如图2所示；
步骤2：CCD或CMOS图像传感器与像增强器及掩膜孔阵列进行耦合，组成ICCD或ICMOS相机，耦合结构如图1所示；图中，1为像增强器，2为衰减掩膜，3为耦合器，4为图像传感器；
步骤3：对耦合后的成像系统，设置像增强器的开门时间和增益电压，在不同光照强度下进行图像获取，根据像素的空间位置，获取不同衰减系数对应的子图像；
步骤4：根据获取到的不同衰减系数子图像的灰度值，标定不同位置像素从本底到饱和的线性响应曲线和衰减系数；
步骤5：在瞬态现象发生过程中触发像增强器开关，使像增强器进行曝光，图像传感器对经过衰减掩膜后的像增强器余辉图像进行获取；
步骤6：将获取到的图像，根据掩膜阵列的空间分布，分离出不同衰减系数对应的子图像。
步骤7：基于获取到的子图像和标定获得的线性响应曲线和衰减系数，插值计算高分辨率高动态范围图像。
多幅子图像的插值计算有很多常规的算法，由于不同子图像的衰减系数不同，最简单的是非饱和加权插值。如图3所示，该算法以相邻的九个像素为计算窗口，首先根据本像素及周围八个像素的灰度值，若像素灰度没有超过饱和非线性阈值，则根据像素所对应的线性响应曲线和衰减系数，对其灰度值进行加权，计算出新的灰度值；然后将九个像素的加权灰度值进行求和并取平均；若某个像素灰度值超过饱和非线性阈值，则丢弃该像素值，以未超过饱和非线性阈值的像素为计算依据；计算窗口按照Z字形进行滑动计算每一个像素，获得高分辨率高动态范围图像。
本发明利用衰减掩膜的位置选择性光衰减作用，采用孔阵列掩膜的方法对像增强器余辉图像进行不同空间位置的选择性衰减，基于像增强器的高时间分辨快门功能，将瞬态现象的某一时刻场景定格，并利用其余辉的发光光谱特征，通过获取到衰减系数不同的(经过选择性衰减后的)多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像，通过子图像插值计算的方法获得高分辨率的高动态范围瞬态图像，该方法可有效提升瞬态成像系统的整机动态范围，使得系统的光响应线性动态范围极大提升。

Claims (7)

1.一种基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所采用的成像系统是由像增强器、衰减掩膜以及图像传感器依次耦合形成的；所述衰减掩膜是根据像增强器的余辉发光光谱特征和图像传感器像素尺寸特征设计并加工的掩膜孔阵列，使得像增强器余辉图像在经过掩膜孔阵列后，强度衰减系数在空间分布上有明显差别；
该方法包括：
利用像增强器的高时间分辨快门功能，将瞬态现象的某一时刻场景定格；
利用衰减掩膜的位置选择性光衰减作用，对像增强器余辉图像进行不同空间位置的选择性衰减，获取到场景同一时刻、不同强度衰减系数的多幅目标子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像；
通过子图像插值计算进行动态范围扩展，获得高分辨率的高动态范围瞬态图像；
该方法具体实现步骤如下：
1】选取图像传感器和像增强器，设计衰减掩膜并进行光学耦合；
2】对耦合后的成像系统，在不同光照强度下进行灰度值标定，获取不同光强下不同衰减系数像素对应的图像灰度值；
3】通过不同光强下不同衰减系数像素对应的图像灰度值，计算得到不同衰减系数像素的光照强度线性度曲线；
4】对目标场景，通过耦合后的成像系统进行图像记录；
5】对获取的图像，根据不同衰减系数像素位置分离出对应的子图像；
6】根据标定得到的所述不同衰减系数像素的光照强度线性度曲线，利用子图像进行插值计算得到高分辨率高动态范围图像。
2.根据权利要求1所述的基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所述图像传感器为灰度图像传感器。
3.根据权利要求1所述的基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所述掩膜孔阵列其中开孔部分透过率100％，掩膜部分透光率不大于10％以获得10倍以上的动态范围扩展。
4.根据权利要求1或3所述的基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所述掩膜孔阵列其中开孔大小要求开孔映射到图像传感器焦面为像素尺寸整数倍，孔间距为孔径两倍以上的整数倍。
5.根据权利要求4所述的基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所述掩膜孔阵列的空间分布要求在图像传感器的像素阵列上紧密交错分布，以提高子图像插值计算后高分辨率高动态范围图像的质量。
6.根据权利要求1所述的基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所述插值计算采用非饱和加权插值算法。
7.根据权利要求6所述的基于衰减掩膜的瞬态成像动态范围扩展方法，其特征在于：所述非饱和加权插值算法为：以相邻的九个像素为计算窗口，对于本像素及周围八个像素的灰度值，若像素灰度没有超过饱和非线性阈值，则根据像素所对应的光照强度线性度曲线，对其灰度值进行加权，计算出新的灰度值，然后将九个像素的加权灰度值进行求和并取平均；若某个像素灰度值超过饱和非线性阈值，则丢弃该像素值，以未超过饱和非线性阈值的像素为计算依据；计算窗口按照Z字形进行滑动计算每一个像素，获得高分辨率高动态范围图像。
CN201711085653.4A 2017-11-07 2017-11-07 一种基于衰减掩膜的瞬态成像动态范围扩展方法 Active CN107864317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711085653.4A CN107864317B (zh) 2017-11-07 2017-11-07 一种基于衰减掩膜的瞬态成像动态范围扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711085653.4A CN107864317B (zh) 2017-11-07 2017-11-07 一种基于衰减掩膜的瞬态成像动态范围扩展方法

Publications (2)

Publication Number Publication Date
CN107864317A CN107864317A (zh) 2018-03-30
CN107864317B true CN107864317B (zh) 2020-03-13

Family

ID=61701201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711085653.4A Active CN107864317B (zh) 2017-11-07 2017-11-07 一种基于衰减掩膜的瞬态成像动态范围扩展方法

Country Status (1)

Country Link
CN (1) CN107864317B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489924A (zh) * 2021-07-14 2021-10-08 长春长光奥闰光电科技有限公司 成像方法
CN114626205B (zh) * 2022-02-18 2024-04-26 西北核技术研究所 面阵光电图像传感器辐射瞬态响应的模拟方法及模拟装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317999A (zh) * 2009-02-11 2012-01-11 汤姆逊许可证公司 基于led/lcd的高动态范围显示器的信号生成
CN103069454A (zh) * 2010-07-05 2013-04-24 苹果公司 高动态范围图像的捕捉和渲染
CN107155073A (zh) * 2017-05-04 2017-09-12 西北核技术研究所 基于图像传感器多帧曝光的瞬态成像动态范围扩展方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578005B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317999A (zh) * 2009-02-11 2012-01-11 汤姆逊许可证公司 基于led/lcd的高动态范围显示器的信号生成
CN103069454A (zh) * 2010-07-05 2013-04-24 苹果公司 高动态范围图像的捕捉和渲染
CN107155073A (zh) * 2017-05-04 2017-09-12 西北核技术研究所 基于图像传感器多帧曝光的瞬态成像动态范围扩展方法

Also Published As

Publication number Publication date
CN107864317A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
Wei et al. A physics-based noise formation model for extreme low-light raw denoising
CN101917551B (zh) 一种多次曝光的高动态范围图像获取方法
US8873882B2 (en) Blooming filter for multiple exposure high dynamic range image sensors
US7444075B2 (en) Imaging device, camera, and imaging method
US9413992B2 (en) High dynamic range image sensor with full resolution recovery
CN110692236B (zh) 生成高动态范围图像的方法、系统及记录介质
JP5699482B2 (ja) 画像処理装置、画像処理方法及び撮像装置
US9282256B1 (en) System and method for HDR imaging
CN101635782B (zh) 一种基于动态时间延迟积分的图像获取方法及器件
CN107864317B (zh) 一种基于衰减掩膜的瞬态成像动态范围扩展方法
CN105547490B (zh) 一种数字tdi红外探测器的实时盲元检测方法
CN112118388A (zh) 图像处理方法、装置、计算机设备和存储介质
CN107734231B (zh) 一种基于滤光的成像系统动态范围扩展方法
JP2017118296A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP2567539B1 (de) Bildsensor und verfahren zum aufnehmen eines bildes
CN115641270A (zh) 一种适用于scmos双增益成像系统的高动态范围扩展方法
US8958649B2 (en) Video generation with temporally-offset sampling
CN107786818B (zh) 一种基于多色滤光的瞬态成像动态范围扩展方法
Görmer et al. Multi-exposure image acquisition for automotive high dynamic range imaging
Bao et al. Temporal-Mapping Photography for Event Cameras
CN113962915B (zh) 非均匀照明条件下的自适应非线性超动态图像合成方法
Meuel et al. Physical High Dynamic Range Imaging with Conventional Sensors
Matsuoka et al. Multiple exposure integration with image denoising
WO2023143708A1 (en) Hdr reconstruction from bracketed exposures and events
Çevik Real-time FPGA firmware for VGA resolution infrared camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant