CN109672828B - 基于光路白平衡的低照度提升装置及低照度提升方法 - Google Patents

基于光路白平衡的低照度提升装置及低照度提升方法 Download PDF

Info

Publication number
CN109672828B
CN109672828B CN201910007713.3A CN201910007713A CN109672828B CN 109672828 B CN109672828 B CN 109672828B CN 201910007713 A CN201910007713 A CN 201910007713A CN 109672828 B CN109672828 B CN 109672828B
Authority
CN
China
Prior art keywords
light
transmittance
wavelength range
white balance
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910007713.3A
Other languages
English (en)
Other versions
CN109672828A (zh
Inventor
范铁道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infineon Information Co ltd
Original Assignee
Shenzhen Infinova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Ltd filed Critical Shenzhen Infinova Ltd
Priority to CN201910007713.3A priority Critical patent/CN109672828B/zh
Publication of CN109672828A publication Critical patent/CN109672828A/zh
Application granted granted Critical
Publication of CN109672828B publication Critical patent/CN109672828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及图像处理技术领域,提供一种基于光路白平衡的低照度提升装置及低照度提升方法。一种基于光路白平衡的低照度提升装置,包括红外光模块、滤光片、饱和度处理模块和色调处理模块;所述红外光模块用于采用波长为860nm~940nm的红外光进行主动补光;所述滤光片在波长范围860nm~940nm下透过率超过60%,在蓝光的波长范围内透过率超过80%,在绿光的波长范围内透过率低于50%,在红光的波长范围内透过率低于70%;所述饱和度处理模块和色调处理模块用于处理图像的饱和度以获得清晰低噪的彩色图像。本发明还提供一种基于光路白平衡的低照度提升方法。

Description

基于光路白平衡的低照度提升装置及低照度提升方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于光路白平衡的低照度提升装置及低照度提升方法。
背景技术
在低照度光线较暗的环境下,摄像机要得到较好的清晰度、对比度及色彩的图像,需采用具有超低照度技术的图像传感器。传统CMOS图像传感器,电路在像素阵列上面,且两者在同一个晶圆。它的成像过程是光线先通过最上方的电路,然后再进入感光层进行成像,由于光线先经过电路层,部分光线会反射回去,导致进光量减少。BIS背照式CMOS图像传感器把电路放在像素阵列下面,且两者在同一个晶圆上,但仍有部分是在像素层上的。这样光线就先经过像素层在经过电路,进光量就大大提升了。堆栈CMOS传感器把处理电路和像素阵列分别刻在不同的晶圆上,经过一定的工艺把两个晶圆合在一块,像素阵列在上,处理电路在下。这样进光量会更大,使得在暗的环境中拍摄到亮度更高的照片。
除了提升图像传感器的工艺之外,镜头工艺的提升也是一个方向。在低照度环境下,总是希望更多的光线通过镜头进入图像传感器表面,镜头光圈的大小,决定了通光量的大小,大光圈镜头(F1.0F1.2等)更适合于低照度场景,和小光圈(F16F22等)比起来,可以进入更多的光线,配备大光圈镜头的摄像机在低照度环境下可以获得更优的彩色图像质量。
为了提升摄像机低照度下的彩色图像质量,一般摄像机都会通过改进以上工艺达到目的。但无论是采用超低照度技术的图像传感器还是采用大光圈的镜头,均依赖于环境可见光线,实用性欠佳。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供一种基于光路白平衡的低照度提升装置及低照度提升方法。
为解决上述技术问题,发明采用如下所述的技术方案。一种基于光路白平衡的低照度提升装置,包括红外光模块、滤光片、饱和度处理模块和色调处理模块;
所述红外光模块用于采用波长为860nm~940nm的红外光进行主动补光;
所述滤光片在波长范围860nm~940nm下透过率超过60%,在蓝光的波长范围内透过率超过80%,在绿光的波长范围内透过率低于50%,在红光的波长范围内透过率低于70%;
所述饱和度处理模块和色调处理模块用于处理图像的饱和度以获得清晰低噪的彩色图像。
优选地,所述滤光片在波长范围860nm~940nm下透过率超过70%。
优选地,所述滤光片在蓝光的波长范围内透过率超过90%。
优选地,所述滤光片在绿光的波长范围内透过率低于40%。
优选地,所述滤光片在红光的波长范围内透过率低于60%。
一种基于光路白平衡的低照度提升方法,包括采用波长为860nm~940nm的红外光进行主动补光;
增强所述红外光的透过率使其达到60%以上,增强蓝光的波长范围内的透过率使其达到80%以上,抑制在绿光的波长范围内透过率使其低于50%,抑制在红光的波长范围内透过率使其低于70%;及
处理图像的饱和度以获得清晰低噪的彩色图像。
优选地,增强所述红外光的透过率使其达到70%以上。
优选地,增强蓝光的波长范围内的透过率使其达到90%以上,抑制在绿光的波长范围内透过率使其低于40%,抑制在红光的波长范围内透过率使其低于60%。
优选地,所述处理图像的饱和度为采用查找表和插值的方式进行动态处理。
优选地,所述动态处理采用帧处理或采用点处理。
本发明的有益效果在于:
对摄像机成像场景进行主动式红外补光,从而增加环境的亮度信息;为了满足在可见光和红外光同时在单一图像传感器下感光获得正常的图像信息,需要克服多光谱下色彩难于矫正的问题,因此通过确定滤光片的透过率特性,使得在正常色温下的多光谱成像可以正确还原图像色彩信息;并结合饱和度处理模块及色调处理模块,从而能获得清晰低噪的彩色图像。
附图说明
图1是基于光路白平衡的低照度提升装置的结构示意图。
图2是CMOS图像传感器的感光特性曲线。
图3是普通滤光片的光谱透过曲线。
图4是基于增大红外光范围的透过率后的滤光片的修正曲线。
图5是基于白平衡的方法为了满足R=G=B后的滤光片的修正曲线。
具体实施方式
为使本领域的普通技术人员更加清楚地理解发明的目的、技术方案和优点,以下结合附图和实施例对发明做进一步的阐述。
实施例一
如图1所示,本发明提供一种基于光路白平衡的低照度提升装置,包括:红外光模块1、滤光片2、饱和度处理模块3和色调处理模块4;
所述红外光模块1用于采用波长为860nm~940nm的红外光进行主动补光;
所述滤光片2在波长范围860nm~940nm下透过率超过60%,在蓝光的波长范围内透过率超过80%,在绿光的波长范围内透过率低于50%,在红光的波长范围内透过率低于70%;
所述饱和度处理模块3和色调处理模块4用于处理图像的饱和度以获得清晰低噪的彩色图像。
本发明所提供的基于光路白平衡的低照度提升装置利用红外光模块1对摄像机成像场景进行主动式红外补光,从而增加环境的亮度信息;为了满足在可见光和红外光同时在单一图像传感器下感光获得正常的图像信息,需要克服多光谱下色彩难于矫正的问题,因此通过确定滤光片2的透过率特性,使得在正常色温下的多光谱成像可以正确还原图像色彩信息;并结合饱和度处理模块3及色调处理模块4,从而能获得清晰低噪的彩色图像。在这里需要说明的是,所提供的基于光路白平衡的低照度提升装置是基于现有摄像机本身进行使用的,如滤光片2、饱和度处理模块3及色调处理模块4,其中所述饱和度处理模块3、色调处理模块4是属于ISP系统5中的;而红外光模块1则是新增的模块,并且基于新增了红外光模块1从而需要定制滤光片2。
由于是主动补光设备,对透过率要求不需要太严格,滤光片2在波长范围860nm~940nm下透过率超过60%即可满足需求。而如果为了效果更好,优选地,所述滤光片2在波长范围860nm~940nm下透过率超过70%,进一步的是,在波长范围860nm~940nm下透过率超过80%。
为了更好的满足色调不变,优选地,所述滤光片2在蓝光的波长范围内透过率超过90%,也即在波长范围400-450nm下透过率超过90%。优选地,所述滤光片2在绿光的波长范围内透过率低于40%,也即在波长范围492-577nm下透过率低于40%。优选地,所述滤光片2在红光的波长范围内透过率低于60%,也即在波长范围622-760nm下透过率低于60%。为了使滤光片2达到上述的要求,通过改变采用光学干涉原理的镀膜工艺即可。
实施例二
如图2所示,一种基于光路白平衡的低照度提升方法,包括采用波长为860nm~940nm的红外光进行主动补光;
增强所述红外光的透过率使其达到60%以上,增强蓝光的波长范围内的透过率使其达到80%以上,抑制在绿光的波长范围内透过率使其低于50%,抑制在红光的波长范围内透过率使其低于70%;及
处理图像的饱和度以获得清晰低噪的彩色图像。
可以理解,该基于光路白平衡的低照度提升方法可以使用实施例一中所提供的基于光路白平衡的低照度提升装置实现。
优选地,增强所述红外光的透过率使其达到70%以上,也即使得在波长范围860nm~940nm下透过率超过70%。更好的是,增强所述滤光片在波长范围860nm~940nm下的透过率使其达到80%以上。
优选地,增强蓝光的波长范围内的透过率使其达到90%以上,也即使得在波长范围400-450nm下透过率超过90%;抑制在绿光的波长范围内透过率使其低于40%,也即使得在波长范围492-577nm下透过率低于40%;抑制在红光的波长范围内透过率使其低于60%,也即使得在波长范围622-760nm下透过率低于60%。
优选地,所述处理图像的饱和度为采用查找表和插值的方式进行动态处理。
优选地,所述动态处理采用帧处理或采用点处理。对于要求不高的场合,采用帧处理,对于要求高的场合,采用点处理。
下面进行进一步的详细说明
为了达到提升低照度下彩色图像效果,该装置需要解决四个主要问题,第一个是选择合适的红外光进行主动式补光,第二个是增强红外光(860nm~940nm)通过率,第三个是基于光学白平衡的色彩还原。第四个ISP系统中饱和度增强。
1、要对成像场景进行主动式红外补光,图2为CMOS图像传感器的感光特性曲线,色彩矫正矩阵公式如下,
Figure BDA0001936100470000051
rgb为环境可见光的感光值,c1、c2、c3为红外补光的感光值,根据亮度公式,I=(R+G+B)/3,图像的亮度会增加(c1+c2+c3),根据摄像机ISP色彩矫正公式,可以看到当c1=c2=c3时,对图像色调的影响最小,所以要求补光频谱范围内R、G、B三原色像素点感光响应一样,这样就可以尽可能保证摄像机采集的图像的色调不会改变。根据CMOS图像传感器的感光特性,在近红外部分中,波长为860nm~940nm的范围内,图像传感器的R、G、B感光像素的响应程度相同。所以本文中采用波长为860nm~940nm的红外光进行补光。
2、需要增强红外光的通过率,一般的滤光片的光谱透过曲线如图3所示。
根据普通监控摄像机的滤光片的透过特性,光谱的红外部分是全截至的,透过率几乎为零。为了满足c1=c2=c3的条件,主动补光的波长范围为860nm~940nm,所以滤光片也要在相应的范围尽可能的增大透过率,滤光片的修正曲线如图4所示。
3、在判断为白点的区域内,白平衡还原公式如下,
Figure BDA0001936100470000061
色调的计算公式为,
Figure BDA0001936100470000062
Figure BDA0001936100470000063
为了满足色调不变,要求Rgain*c1=c2=Bgain*c3,这样白平衡还原和红外透光就矛盾了,为了克服这种矛盾,本文的系统在光路还原白平衡的方法,根据CMOS图像传感器的感光特性曲线,在基本色温(5500K)下,为了满足R=G=B,滤光片的透过特性修改为图5中所示。
可以看到,曲线中增大了蓝光波段的透过率,抑制了绿光波段和红光波段的透过率,这样在光路就满足了R=G=B,完成了白平衡矫正,这样就保证了后期处理不会影响到摄像机的色调。
4、主要是ISP系统中的色彩处理,主要为色彩饱和度处理。饱和度计算公式如下
Figure BDA0001936100470000071
可知,在红外补光的情况下,图像的饱和度下降,所以在ISP系统中,增大图像的饱和度,可以满足低照度下彩色图像的色彩还原度。在实际应用中,在标准色温(5500K)下,在等比增益下,对24色卡进行饱和度矫正,采用查找表和插值的方式进行动态处理,色彩可以满足实际使用要求。对于要求不高的场合,采用帧处理,对于要求高的场合,采用点处理。

Claims (10)

1.一种基于光路白平衡的低照度提升装置,其特征在于:包括红外光模块、滤光片、饱和度处理模块和色调处理模块;
所述红外光模块用于采用波长为860nm~940nm的红外光进行主动补光;
所述滤光片在波长范围860nm~940nm下透过率超过60%,在蓝光的波长范围内透过率超过80%,在绿光的波长范围内透过率低于50%,在红光的波长范围内透过率低于70%;
所述饱和度处理模块和色调处理模块用于处理图像的饱和度以获得清晰低噪的彩色图像。
2.如权利要求1所述的基于光路白平衡的低照度提升装置,其特征在于:所述滤光片在波长范围860nm~940nm下透过率超过70%。
3.如权利要求1所述的基于光路白平衡的低照度提升装置,其特征在于:所述滤光片在蓝光的波长范围内透过率超过90%。
4.如权利要求1所述的基于光路白平衡的低照度提升装置,其特征在于:所述滤光片在绿光的波长范围内透过率低于40%。
5.如权利要求1中所述的基于光路白平衡的低照度提升装置,其特征在于:所述滤光片在红光的波长范围内透过率低于60%。
6.一种基于光路白平衡的低照度提升方法,其特征在于:包括采用波长为860nm~940nm的红外光进行主动补光;
增强所述红外光的透过率使其达到60%以上,增强蓝光的波长范围内的透过率使其达到80%以上,抑制在绿光的波长范围内透过率使其低于50%,抑制在红光的波长范围内透过率使其低于70%;及
处理图像的饱和度以获得清晰低噪的彩色图像。
7.如权利要求6所述的基于光路白平衡的低照度提升方法,其特征在于:增强所述红外光的透过率使其达到70%以上。
8.如权利要求6所述的基于光路白平衡的低照度提升方法,其特征在于:增强蓝光的波长范围内的透过率使其达到90%以上,抑制在绿光的波长范围内透过率使其低于40%,抑制在红光的波长范围内透过率使其低于60%。
9.如权利要求6所述的基于光路白平衡的低照度提升方法,其特征在于:所述处理图像的饱和度为采用查找表和插值的方式进行动态处理。
10.如权利要求9所述的基于光路白平衡的低照度提升方法,其特征在于:所述动态处理采用帧处理或采用点处理。
CN201910007713.3A 2019-01-04 2019-01-04 基于光路白平衡的低照度提升装置及低照度提升方法 Active CN109672828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910007713.3A CN109672828B (zh) 2019-01-04 2019-01-04 基于光路白平衡的低照度提升装置及低照度提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910007713.3A CN109672828B (zh) 2019-01-04 2019-01-04 基于光路白平衡的低照度提升装置及低照度提升方法

Publications (2)

Publication Number Publication Date
CN109672828A CN109672828A (zh) 2019-04-23
CN109672828B true CN109672828B (zh) 2021-09-07

Family

ID=66149267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910007713.3A Active CN109672828B (zh) 2019-01-04 2019-01-04 基于光路白平衡的低照度提升装置及低照度提升方法

Country Status (1)

Country Link
CN (1) CN109672828B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614894B (zh) * 2020-04-28 2022-04-01 深圳英飞拓智能技术有限公司 一种图像采集方法、装置及终端设备
CN114173028A (zh) * 2020-09-10 2022-03-11 华为技术有限公司 图像采集系统、方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610355A (zh) * 2009-05-05 2009-12-23 张日和 日夜两用摄像装置及其滤光片、光学系统
CN103971351A (zh) * 2013-02-04 2014-08-06 三星泰科威株式会社 使用多光谱滤光器阵列传感器的图像融合方法和设备
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN104660896A (zh) * 2015-02-06 2015-05-27 福建福特科光电股份有限公司 免IR-Cut切换器的日夜两用型镜头的摄像方法及装置
CN104980667A (zh) * 2014-04-13 2015-10-14 比亚迪股份有限公司 图像传感器、监控系统和图像传感器的设计方法
CN105868753A (zh) * 2016-04-05 2016-08-17 浙江宇视科技有限公司 蓝色车牌颜色的识别方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100863497B1 (ko) * 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
JP2013121176A (ja) * 2011-12-09 2013-06-17 Samsung Yokohama Research Institute Co Ltd 撮像装置
KR101638681B1 (ko) * 2014-07-15 2016-07-12 주식회사 듀얼어퍼처인터네셔널 색재현성이 개선된 듀얼 애퍼처 카메라 및 그 동작 방법
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
JP2017098863A (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN106680923B (zh) * 2016-10-28 2018-11-16 西北工业大学 一种基于微纳光栅的多光谱红外滤光片阵列
CN108776383A (zh) * 2018-05-29 2018-11-09 中国科学院光电研究院 高通量彩色微光夜视仪

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610355A (zh) * 2009-05-05 2009-12-23 张日和 日夜两用摄像装置及其滤光片、光学系统
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN103971351A (zh) * 2013-02-04 2014-08-06 三星泰科威株式会社 使用多光谱滤光器阵列传感器的图像融合方法和设备
CN104980667A (zh) * 2014-04-13 2015-10-14 比亚迪股份有限公司 图像传感器、监控系统和图像传感器的设计方法
CN104660896A (zh) * 2015-02-06 2015-05-27 福建福特科光电股份有限公司 免IR-Cut切换器的日夜两用型镜头的摄像方法及装置
CN105868753A (zh) * 2016-04-05 2016-08-17 浙江宇视科技有限公司 蓝色车牌颜色的识别方法及装置

Also Published As

Publication number Publication date
CN109672828A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
US10893248B2 (en) Imaging sensor and imaging device
CN103327342B (zh) 具有透明滤波器像素的成像系统
US6995791B2 (en) Automatic white balance for digital imaging
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
CN204498282U (zh) 具有可见光感光像素和红外光感光像素的成像系统
TWI737979B (zh) 圖像去馬賽克裝置及方法
US7683948B2 (en) System and method for bad pixel replacement in image processing
US8401288B2 (en) Method, apparatus, and system for improved color statistic pruning for automatic color balance
US20220159162A1 (en) Imaging compensation device, imaging compensation method, and application
US20150054980A1 (en) Awb using face detection
US20060221226A1 (en) System and method for roll-off correction in image processing
CN113556526B (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
CN109672828B (zh) 基于光路白平衡的低照度提升装置及低照度提升方法
CN105306913B (zh) 图像获取装置及其图像补偿方法
CN106550227A (zh) 一种图像饱和度调整方法及装置
US20080068472A1 (en) Digital camera and method
US9179110B2 (en) Imaging systems with modified clear image pixels
US20230342895A1 (en) Image processing method and related device thereof
CN112788321B (zh) 图像颜色恢复方法和装置、摄像装置、存储介质
US20110205390A1 (en) Signal processing device and imaging device
US7512266B2 (en) Method and device for luminance correction
US20070046787A1 (en) Chrominance filter for white balance statistics
CN112422940A (zh) 一种自适应颜色校正方法
Chen et al. Brief analysis of image signal processing for smart phone
Huang et al. Image pipeline algorithms for standard mobile imaging architecture sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231222

Address after: 518000 Yingfei Haocheng Science Park, Guansheng 5th Road, Luhu Community, Guanhu Street, Longhua District, Shenzhen, Guangdong 1515

Patentee after: Shenzhen Infineon Information Co.,Ltd.

Address before: 3 / F, building H-3, East Industrial Zone, Huaqiaocheng, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN INFINOVA Ltd.

TR01 Transfer of patent right