CN107734231A - 一种基于滤光的成像系统动态范围扩展方法 - Google Patents

一种基于滤光的成像系统动态范围扩展方法 Download PDF

Info

Publication number
CN107734231A
CN107734231A CN201711084301.7A CN201711084301A CN107734231A CN 107734231 A CN107734231 A CN 107734231A CN 201711084301 A CN201711084301 A CN 201711084301A CN 107734231 A CN107734231 A CN 107734231A
Authority
CN
China
Prior art keywords
image
subgraph
optical filtering
pixel
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711084301.7A
Other languages
English (en)
Other versions
CN107734231B (zh
Inventor
严明
杨少华
魏福利
李刚
刘璐
郭明安
李斌康
夏惊涛
罗剑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Institute of Nuclear Technology
Original Assignee
Northwest Institute of Nuclear Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Institute of Nuclear Technology filed Critical Northwest Institute of Nuclear Technology
Priority to CN201711084301.7A priority Critical patent/CN107734231B/zh
Publication of CN107734231A publication Critical patent/CN107734231A/zh
Application granted granted Critical
Publication of CN107734231B publication Critical patent/CN107734231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于滤光的成像系统动态范围扩展方法，尤其适用于超快高强度发光过程的大动态图像获取，系统结构简明，实现成本低。该方法采用的成像系统中图像传感器为彩色图像传感器，或者采用覆盖有多色镀膜或多色透镜的灰度图像传感器；该方法包括以下步骤：利用窄带滤波片的光谱选择功能，将成像场景的宽谱可见光图像选择过滤成近似单色光图像；通过多色滤光获取到衰减系数不同的多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像；通过子图像插值计算获得高分辨率的高动态范围图像。

Description

一种基于滤光的成像系统动态范围扩展方法
技术领域
本发明涉及一种成像系统动态范围扩展方法，具体涉及一种能够广泛应用于可见光成像系统的动态范围扩展方法。
背景技术
现代可见光成像系统通常采用图像传感器作为光敏器件，目前常用的图像传感器主要有两种：CCD图像传感器和CMOS图像传感器。由于半导体图像传感器的物理结构限制，CCD或CMOS图像传感器的光敏区势阱深度有限，通常只能积累几万个感应电荷，尤其是CMOS图像传感器，像元光敏面较小，集成度较高的情况下，其光敏区电荷势阱更小。在目标场景可见光强度范围大，要求成像系统动态范围较大时，成像系统必须采用特殊的动态范围扩展技术，以满足图像质量和对比度要求。
目前，成像系统动态范围扩展的方法有很多种，其中双帧曝光甚至多帧曝光图像融合技术是一种发展较早、应用比较广泛的动态扩展方法。它的原理是对同一场景进行两次或者多次曝光拍摄，分别获取不同曝光条件下的图像信息，然后通过图像融合实现动态扩展。但是这种方法只对静态场景或相对静态场景有效，亦即在多次曝光拍摄时，目标场景不变或变化极小；对于快速过程来说，难以在极短的时间内进行多次曝光成像，在进行多次拍摄的过程中目标状态已经发生了变化，因此进行图像融合已经没有了意义。另外一种实现方法是采用多台相机，通过预设不同的光圈值或曝光时间，采用分光镜使多台相机能够获取同一时刻的目标图像，从而能够进行图像融合。但是这种方法的缺点是系统过于复杂，价格昂贵，而且光学对准带来的多幅图像之间的误差也会对最终的图像融合结果带来影响。
发明内容
本发明提出一种基于滤光的成像系统动态范围扩展方法，尤其适用于超快高强度发光过程的大动态图像获取，系统结构简明，实现成本低。
本发明的技术解决方案为：
该基于滤光的成像系统动态范围扩展方法，成像系统中图像传感器为彩色图像传感器，或者采用覆盖有多色镀膜或多色透镜的灰度图像传感器；该方法包括以下步骤：
利用窄带滤波片的光谱选择功能，将成像场景的宽谱可见光图像选择过滤成近似单色光图像；
通过多色滤光获取到衰减系数不同的多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像；
通过子图像插值计算获得高分辨率的高动态范围图像。
基于以上方案，本发明的具体实现步骤如下：
1】选取图像传感器和窄带滤光片，并进行光学耦合；
2】对耦合后得到的成像系统，在不同光照强度下进行灰度值标定，获取不同光强下不同颜色滤光像素对应的图像灰度值；
3】通过标定数据(即上述不同颜色滤光像素对应的图像灰度值)，计算得到不同颜色滤光像素的光照强度线性度曲线；
4】针对具体拍摄场景，控制图像传感器进行曝光，使用图像传感器进行场景图像记录；
5】对获取的场景图像，根据不同颜色滤光像素位置分离出多色滤光对应的子图像；
6】根据标定得到的线性曲线(即前述光照强度线性度曲线)，利用子图像进行插值计算得到高分辨率高动态范围图像。
进一步的，子图像的分离要求每个颜色滤光的所有像素构成该颜色滤光子图像，不同子图像的相应像素所对应的相面空间位置相近。
进一步的，多色滤光的空间分布要求在图像传感器的像素阵列上紧密交错分布，以提高子图像插值计算后高分辨率高动态范围图像的质量。
上述插值计算优选非饱和加权插值算法。例如：以相邻的九个像素为计算窗口，对于本像素及周围八个像素的灰度值，若像素灰度没有超过饱和非线性阈值，则根据像素所对应的线性响应曲线(即前述标定得到的光照强度线性度曲线)，对其灰度值进行加权，计算出新的灰度值，然后将九个像素的加权灰度值进行求和并取平均；若某个像素灰度值超过饱和非线性阈值，则丢弃该像素值，以未超过饱和非线性阈值的像素为计算依据；计算窗口按照Z字形进行滑动计算每一个像素，获得高分辨率高动态范围图像。
当然，窄带滤光片选择时，要求其透光光谱在彩色图像传感器微透镜或多色镀膜或透镜的不同颜色滤光透过率有明显差异。
本发明的有益效果：
1.本发明利用窄带滤光片的光谱选择特征，利用多色滤光对近似单色光的不同透过率特性，能够获取目标场景同一时刻、不同强度衰减系数的多幅目标子图像(不同滤光衰减后的图像)，通过子图像插值计算进行动态范围扩展，该方法适用于一般成像系统，尤其适用于超快高强度发光过程的大动态图像获取。
2.本发明在应用过程中高动态范围图像的获取和计算过程与成像对象无关，方法应用范围很广。
3.本发明仅需要一台CCD或CMOS相机，通过设置采用彩色传感器或多色滤光镀膜或多色透镜即可实现，系统结构简明，实现成本低。
附图及说明
图1是滤光片与图像传感器耦合结构。
图2是颜色透镜透过率曲线及窄带滤波片光谱选择示意图。
图3是一种彩色图像传感器颜色透镜分布示意图。
图4是多色子图像的插值计算示意图。
具体实施方式
本发明提出的一种基于滤光的成像系统动态范围扩展方法，具体实现步骤如下：
步骤1：根据目标场景的发光光谱特性、彩色图像传感器或者多色滤光镀膜或透镜的光谱响应特性曲线，选择合适的窄带滤波片进行光谱选择，使得近似单色光图像在不同颜色滤光后，强度衰减系数有较大差别；如图2、图3所示；
步骤2：CCD或CMOS图像传感器与窄带滤波片进行耦合，可能的耦合结构如图1所示；图中，1为成像镜头，2为图像传感器，3为颜色微透镜，4为窄带滤波片；
步骤3：对耦合后的成像系统，在不同光照强度下进行图像获取，根据不同颜色滤光对应像素的位置，获取不同颜色滤光对应的子图像；
步骤4：根据获取到的不同颜色滤光子图像的灰度值，标定不同颜色滤光像素从本底到饱和的线性响应曲线；
步骤5：对具体目标场景进行成像，图像传感器对经过滤光后的近似单色光图像进行获取；
步骤6：将获取到的多色滤光图像，根据多色滤光像素对应分布，分离出多色滤光对应的子图像。
步骤7：基于获取到的多色滤光子图像和标定获得的多色滤光的线性响应曲线，插值计算高分辨率高动态范围图像；
多幅子图像的插值计算算法有很多种，由于不同子图像的线性响应曲线不同，最简单的是非饱和加权插值，如图4所示，该算法首先根据本像素及周围八个或四个像素的灰度值，若像素灰度没有超过饱和非线性阈值，则根据像素所对应的线性响应曲线，对其灰度值进行加权，计算出新的灰度值；然后将相应的九个或五个像素的加权灰度值进行求和并取平均；若某个像素灰度值超过饱和非线性阈值，则丢弃该像素值，以未超过饱和非线性阈值的像素为计算依据。
本发明利用窄带滤波片的光谱选择功能，将成像场景的宽谱可见光图像选择过滤成近似单色光图像，再通过多色滤光获取到衰减系数不同的的多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像，通过子图像插值计算的方法获得高分辨率的高动态范围图像，该方法可有效提升成像系统的整机动态范围，使得系统的光响应线性动态范围极大提升。

Claims (6)

1.一种基于滤光的成像系统动态范围扩展方法，其特征在于：成像系统中图像传感器为彩色图像传感器，或者采用覆盖有多色镀膜或多色透镜的灰度图像传感器；该方法包括以下步骤：
利用窄带滤波片的光谱选择功能，将成像场景的宽谱可见光图像选择过滤成近似单色光图像；
通过多色滤光获取到衰减系数不同的多幅子图像，其中衰减系数较小的子图像能够获取亮度较低的场景图像，衰减系数较大的子图像能够获取亮度较高的场景图像；
通过子图像插值计算获得高分辨率的高动态范围图像。
2.根据权利要求1所述的基于滤光的成像系统动态范围扩展方法，其特征在于，具体实现步骤如下：
1】选取图像传感器和窄带滤光片，并进行光学耦合；
2】对耦合后得到的成像系统，在不同光照强度下进行灰度值标定，获取不同光强下不同颜色滤光像素对应的图像灰度值；
3】通过所述不同颜色滤光像素对应的图像灰度值，计算得到不同颜色滤光像素的光照强度线性度曲线；
4】针对具体拍摄场景，控制图像传感器进行曝光，使用图像传感器进行场景图像记录；
5】对获取的场景图像，根据不同颜色滤光像素位置分离出多色滤光对应的子图像；
6】根据标定得到的所述光照强度线性度曲线，利用子图像进行插值计算得到高分辨率高动态范围图像。
3.根据权利要求2所述的基于滤光的成像系统动态范围扩展方法，其特征在于：子图像的分离要求每个颜色滤光的所有像素构成该颜色滤光子图像，不同子图像的相应像素所对应的相面空间位置相近。
4.根据权利要求2所述的基于滤光的成像系统动态范围扩展方法，其特征在于：多色滤光的空间分布要求在图像传感器的像素阵列上紧密交错分布，以提高子图像插值计算后高分辨率高动态范围图像的质量。
5.根据权利要求2所述的基于滤光的成像系统动态范围扩展方法，其特征在于：步骤6】中所述插值计算采用非饱和加权插值算法。
6.根据权利要求5所述的基于滤光的成像系统动态范围扩展方法，其特征在于：所述非饱和加权插值算法为：以相邻的九个像素为计算窗口，对于本像素及周围八个像素的灰度值，若像素灰度没有超过饱和非线性阈值，则根据像素所对应的光照强度线性度曲线，对其灰度值进行加权，计算出新的灰度值，然后将九个像素的加权灰度值进行求和并取平均；若某个像素灰度值超过饱和非线性阈值，则丢弃该像素值，以未超过饱和非线性阈值的像素为计算依据；计算窗口按照Z字形进行滑动计算每一个像素，获得高分辨率高动态范围图像。
CN201711084301.7A 2017-11-07 2017-11-07 一种基于滤光的成像系统动态范围扩展方法 Active CN107734231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711084301.7A CN107734231B (zh) 2017-11-07 2017-11-07 一种基于滤光的成像系统动态范围扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711084301.7A CN107734231B (zh) 2017-11-07 2017-11-07 一种基于滤光的成像系统动态范围扩展方法

Publications (2)

Publication Number Publication Date
CN107734231A true CN107734231A (zh) 2018-02-23
CN107734231B CN107734231B (zh) 2019-12-27

Family

ID=61222711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711084301.7A Active CN107734231B (zh) 2017-11-07 2017-11-07 一种基于滤光的成像系统动态范围扩展方法

Country Status (1)

Country Link
CN (1) CN107734231B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777768A (zh) * 2018-05-31 2018-11-09 中国科学院西安光学精密机械研究所 一种基于标定的快速自动曝光调节方法
CN110248072A (zh) * 2019-07-02 2019-09-17 苏州全视智能光电有限公司 一种提高光电成像设备动态范围的光学滤片装置
CN113596293A (zh) * 2021-07-08 2021-11-02 维沃移动通信（杭州）有限公司 摄像模组和电子设备
CN113596292A (zh) * 2021-07-08 2021-11-02 维沃移动通信（杭州）有限公司 图像传感器、摄像模组和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105578005A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105611198A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN107155073A (zh) * 2017-05-04 2017-09-12 西北核技术研究所 基于图像传感器多帧曝光的瞬态成像动态范围扩展方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105578005A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105611198A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN107155073A (zh) * 2017-05-04 2017-09-12 西北核技术研究所 基于图像传感器多帧曝光的瞬态成像动态范围扩展方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777768A (zh) * 2018-05-31 2018-11-09 中国科学院西安光学精密机械研究所 一种基于标定的快速自动曝光调节方法
CN110248072A (zh) * 2019-07-02 2019-09-17 苏州全视智能光电有限公司 一种提高光电成像设备动态范围的光学滤片装置
CN113596293A (zh) * 2021-07-08 2021-11-02 维沃移动通信（杭州）有限公司 摄像模组和电子设备
CN113596292A (zh) * 2021-07-08 2021-11-02 维沃移动通信（杭州）有限公司 图像传感器、摄像模组和电子设备
CN113596292B (zh) * 2021-07-08 2023-12-26 维沃移动通信（杭州）有限公司 图像传感器、摄像模组和电子设备

Also Published As

Publication number Publication date
CN107734231B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN102547116B (zh) 焦点检测设备及其控制方法
US8542288B2 (en) Camera system and imaging method using multiple lens and aperture units
US6924841B2 (en) System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
CN107018395B (zh) 图像处理装置、图像处理方法和摄像装置
CN105046668B (zh) 产生高动态范围图像的方法
CN105245772B (zh) 摄像元件、摄像元件的控制方法和摄像设备
CN108055452A (zh) 图像处理方法、装置及设备
CN107734231A (zh) 一种基于滤光的成像系统动态范围扩展方法
CN105659159A (zh) 相机系统、相机机身及通信方法
KR101941801B1 (ko) Led 디스플레이에 이용되는 영상 처리 방법 및 장치
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
CN103685875A (zh) 成像装置
CN108712608A (zh) 终端设备拍摄方法和装置
JP2013026672A (ja) 固体撮像装置及びカメラモジュール
TW201545556A (zh) 在產生數位影像中曝光像素群組
US8508618B2 (en) Image pickup apparatus and restoration gain data generation method
CN105187738A (zh) 摄像元件、摄像装置
CN106101549A (zh) 昼夜自动切换方法、装置及系统
CN104041006A (zh) 图像生成方法、图像生成设备、程序以及存储介质
JP6606231B2 (ja) 色画像を生成するカメラおよび方法
CN111669483B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US7652698B2 (en) Shading correction circuit of electronic camera
CN102668571A (zh) 具有像素替代的稀疏色彩像素阵列
US20160029000A1 (en) Image Recording System with a Rapidly Vibrating Global Shutter CMOS Sensor
CN109937382A (zh) 成像装置和成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant