CN112019778A - 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法 - Google Patents

一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法 Download PDF

Info

Publication number
CN112019778A
CN112019778A CN201910469113.9A CN201910469113A CN112019778A CN 112019778 A CN112019778 A CN 112019778A CN 201910469113 A CN201910469113 A CN 201910469113A CN 112019778 A CN112019778 A CN 112019778A
Authority
CN
China
Prior art keywords
image
color
bayer
resolution
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910469113.9A
Other languages
English (en)
Inventor
张闻文
杨扬
何伟基
陈钱
顾国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910469113.9A priority Critical patent/CN112019778A/zh
Publication of CN112019778A publication Critical patent/CN112019778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法，从稀疏阵列中提取低分辨率的Bayer颜色矩阵，插值得到RGB彩色矩阵，之后放大到原分辨率，从放大后的图像中获取图像彩色信息；从阵列中提取高分辨率的亮度图像获取亮度信息，两者组合成待处理的彩色图像；之后采用灰度世界算法进行偏色校正，采用全局自适应的方法调节图像亮度，使图像符合人眼视觉系统的感知，使用上一帧图像计算的参数应用在当前帧的图像上，从而实现实时的夜间真彩色成像。本发明充分利用夜天光中丰富的近红外信息，可以在低照度条件下提高成像的亮度，既减少了入射光子的损失提高了光能利用率又保证彩色图像的颜色不失真，提高彩色微光成像质量和目标识别率。

Description

一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法
技术领域
本发明属于夜视技术领域，特别是一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法。
背景技术
微光成像在一定程度上延伸人眼的视觉范围，弥补了人眼视觉功能的不足。微光图像传感器能够在星光、月光、大气辉光等微弱光照射的环境条件下，以被动成像的方式对目标和区域进行探测、侦察、摄影以及监控，从而具有隐蔽性的特征。而色彩是图像的重要描绘子之一，使得场景分割、图像识别等任务更加容易，Cavanillas等人的研究表明：色彩能提高场景理解能力、缩短反应时间、帮助人们更准确和快速地识别目标。因此，色彩被引入夜视成像技术并相继发展了伪彩色和假彩色技术路线的彩色夜视技术。
近年来，随着夜视成像器件灵敏度的提高和微光学加工技术的发展，真彩色夜视成像逐渐成为研究热点。真彩色图像与人类的视觉认知一致，有助于使用者利用大脑中存储的色彩经验来识别物体。2006年，Ball航空公司提出将彩色摄像机使用的经典Bayer彩色滤光阵列(Color FilterArray,CFA)进行改装，通过低于4％稀疏分布的微型彩色滤光片和色彩渲染、空间滤波等图像处理方法开发了彩色EMCCD摄像机(Heim G B,Burkepile J,Frame W W.Low-light-level EMCCD color camera[J].Proceedings ofSPIE-TheInternational Society for Optical Engineering,2006:62090F-62090F-11.)。但是这种方法使用成本较高的EMCCD，不利于推广普及；也没有利用夜间光中丰富的近红外信息，这样处理使得成像对传感器的灵敏度要求较高。2018年，白玉等人又有基于EMCCD的真彩色成像方法与验证。他们使用的是R+NIR(红+近红外)、G+NIR(绿+近红外)、和B+NIR(蓝+近红外)滤光片加装在滤光轮上，实验时针对特定场景旋转滤光轮一周，EMCCD相机分别获得R、G、B通道的模拟视频图像，再由数字摄像机(DV)显示并存储，再使用MATLAB软件对R、G、B三通道的图像数据进行融合得到真彩色图像(白玉等：EMCCD真彩色成像方法与验证[J].红外技术,2017(4).)。这种方式缺陷是试验装置加上滤光轮后变得大而繁琐；并且获取R、G、B三通道模拟图像后还需要PC端处理三通道图像，并不能做到实时显示，而且成像结果有一定的偏色；此方法适合在实验室内使用，同样不利于普及推广。
发明内容
本发明的目的在于提供一种基于Bayer稀疏阵列CMOS的成像方法，解决传统彩色成像在夜天光条件下图像信噪比低、光能量少时无法成像等问题，以及因近红外引起的偏色问题和因拍摄的图像亮度低而无法分辨目标的问题。
实现本发明目的的技术解决方案为：一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法，步骤如下：
步骤一，从Bayer稀疏阵列中插值得到高分辨率的亮度图像矩阵，并按阵列格式提取出低分辨率的Bayer图像矩阵，利用Bayer图像插值得到低分辨率的彩色图像；
步骤二，将步骤一中插值得到的彩色图像放大到原分辨率；
步骤三，从放大后的彩色图像中提取亮度图像；
步骤四，根据Bayer稀疏阵列插值得到的亮度图像与步骤三中提取到的亮度图像的比值对步骤二中放大后的彩色图像的RGB三通道进行增强，得到新的彩色图像；
步骤五，使用灰度世界算法对步骤四得到的彩色图像进行偏色校正；
步骤六，在进行偏色校正的同时采用全局自适应的方法调节图像亮度，得到夜间真彩色图像。
本发明与现有的技术相比，其显著优点为：(1)充分利用夜天光中丰富的近红外信息，可以在低照度条件下提高成像的亮度。(2)利用稀疏采样技术，仅部分像素用于彩色感应，既减少了入射光子的损失提高了光能利用率又保证彩色图像的颜色不失真，提高彩色微光成像质量和目标识别率。(3)阵列应用在CMOS传感器上，可以降低成像成本。(4)基于Bayer稀疏阵列的成像方法，成像方便、快速，可以得到真彩夜视图像。(5)采用灰度世界算法和全局自适应的方法处理图像，解决引入红外引起的偏色问题，并且提高了低照度条件下的成像质量，使图像符合人眼视觉系统感知。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是基于Bayer稀疏阵列的真彩色夜视成像方法的流程图。
图2是Bayer稀疏阵列示意图。
图3是根据Bayer稀疏阵列格式得到亮度矩阵和色彩矩阵。
图4是将得到的低分辨率色彩矩阵进行放大的示意图。
图5是从放大的高分辨率色彩矩阵中获取亮度矩阵的示意图。
具体实施方式
本发明基于Bayer稀疏阵列CMOS的真彩色夜视成像方法的实现流程如图1所示，利用Bayer稀疏阵列的CMOS在夜间成真彩色图像；针对于传统彩色成像系统中R(红)、G(绿)、B(蓝)彩色滤光膜对近红外截止导致的夜天光条件下图像信噪比低、光能量少时无法成像等情况，设计一种近红外波段全透的R、G、B滤光膜，利用夜天光中的能量占比高的近红外信息，提高夜视系统性能；为充分利用夜天光中这些丰富的近红外信息，本发明对传统的Bayer阵列进行改进，使用稀疏阵列的方式增加进光量，上述改进Bayer稀疏阵列如图2Bayer稀疏阵列示意图所示。从R’(R+NIR1)、G’(G+NIR2)、B’(B+NIR3)三个通道的数据中提取图像的颜色信息，由不加颜色滤光片的W(VIS+NIR)通道的数据代替图像的亮度信息，合成夜视图像。R+NIR1、G+NIR2、B+NIR3三个滤光阵列在近红外部分尽量重合，这可以降低后续计算成像方法的实现难度。实际成像时，由于引入的近红外光信息，成像结果会有一定的偏色，需要进行偏色校正，本发明使用灰度世界算法进行偏色校正，并使用全局自适应得方法对低照度图像进行亮度调节。具体实施步骤如下：
步骤一，从Bayer稀疏阵列中插值得到高分辨率的亮度图像矩阵，并按阵列格式提取出低分辨率的Bayer图像矩阵，利用Bayer图像插值得到低分辨率的彩色图像(此处高低分辨率只是相对而言，因为是稀疏阵列，所以从CMOS中获取的bayer彩色图像尺寸小为低分辨率，获取的亮度图像尺寸大为高分辨率或原分辨率)。其中Bayer稀疏阵列中的滤光膜不截止近红外波长的光。
如图3所示，根据Bayer稀疏阵列格式得到亮度矩阵和色彩矩阵，为得到图像的高分辨率亮度矩阵W_HR，彩色滤波片在亮度图像中的空洞由周围亮度像素计算得到，计算方式是取最邻近8个像素的平均值。根据Bayer稀疏阵列的格式，从中提取出低分辨率的Bayer形式的颜色矩阵，并使用3x3的插值孔径从Bayer形式的颜色矩阵中插值得到低分辨率彩色矩阵RGB_LR。
步骤二，将步骤一中插值得到的彩色图像放大到原分辨率，从放大后的图像中获取图像彩色信息。如图4所示，将步骤1得到的低分辨率彩色图像放大到原分辨率，得到高分辨率的彩色矩阵RGB_LF_HR，方便与亮度图像融合。放大算法采用双线性插值的方法，方便在FPGA内实现。
步骤三，从放大后的彩色图像中提取亮度图像获取亮度信息。如图5所示，从放大后的高分辨率彩色图像中提取出亮度矩阵L_LF_HR。从RGB_LF_HR彩色图像中提取亮度矩阵的方法有多种，这里考虑到人对绿色波长的光敏感，而且在夜间绿色草木反射光比重高，红光及近红外信息丰富，蓝光响应少，所以从放大后的高分辨率彩色图像中提取出亮度矩阵L_LF_HR，即：
L_LF_HR(i,j)＝0.2126*R(i,j)+0.7152*G(i,j)+0.0722*B(i,j) 1)
L_LF_HR(i,j)是彩色图像中像素的亮度。
步骤四，根据Bayer稀疏阵列插值得到的亮度图像与步骤三中提取到的亮度图像的比值对步骤二中放大后的彩色图像的RGB三通道进行增强，得到新的彩色图像，具体是将得到的彩色图像根据亮度矩阵L_LF_HR和亮度图像的亮度矩阵W_HR进一步进行色彩增强，计算W_HR对L_LF_HR的比值，对RGB_LF_HR图像的RGB三通道进行增强，即：
Figure BDA0002080296630000041
得到的R'，G'，B'即是融合图像的三通道信息。
步骤五，使用灰度世界算法对步骤四得到的彩色图像进行偏色校正。实际成像由于叠加了近红外波段的光信息，使得图像有些偏红，需要采用灰度世界算法进行偏色校正。灰度世界算法以灰度世界假设为基础，该假设认为：对于一幅有着大量色彩变化的彩色图像，图像中的R(红)、G(绿)、B(蓝)三通道的像素平均值趋于一个相等的灰度值，这个灰度值定义为
Figure BDA0002080296630000042
从物理意义上讲，灰色世界法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为“灰色”。颜色平衡算法将这一假设强制应用于待处理图像，可以从图像中消除环境光的影响，获得原始场景图像。校正具体步骤如下：
(1)采用取平均值的方法得到
Figure BDA0002080296630000043
Figure BDA0002080296630000044
(2)计算R、G、B三通道的增益系数：
Figure BDA0002080296630000045
(3)根据Von-Kries对角模型，对于图像中每个像素C，调整其分量R、G、B分量：
Figure BDA0002080296630000051
这种方法简单快速，可以直接在FPGA中实现，实现方式是使用上一帧彩色图像像素计算出RGB三通道的增益系数，然后当前帧图像的像素乘以计算出的增益系数得到偏色校正后的彩色图像。
步骤六，在进行偏色校正的同时采用全局自适应的方法调节图像亮度，调节低照度图像的亮度，使图像符合人眼视觉系统的感知，得到夜间真彩色图像。根据Weber-Fechner定律，人类视觉系统的感知近似对数函数。为了全局压缩场景的动态范围，将使用以下函数计算出调节后的亮度图像Lg：
Figure BDA0002080296630000052
Lg(i,j)是全局自适应输出结果(范围是0-1，对于8位像素需要乘以256)；Lw(i,j)是输入图像的亮度值；Lwmax(i,j)表示输入图像亮度值中的最大值；
Figure BDA0002080296630000053
表示输入亮度对数的平均值，如下式所示:
Figure BDA0002080296630000054
其中N表示像素的总数，而δ一般是个很小的值(0＜δ＜1都可以适用)，其作用主要是为了避免对纯黑色像素进行对数计算时数值溢出，这个问题在图像处理时非常常见。本发明为了直接在硬件FPGA中实现该算法，在此基础上简化了取平均值的方式，即直接取亮度的平均值
Figure BDA0002080296630000055
处理效果和取对数平均值相差不大，直接取平均亮度平均值的方法更为简单方便，而且更容易向FPGA移植。
上述公式计算出了全局自适应后的亮度图像输出结果，低照度的亮度部分比高照度的部分要能得到更大程度的提升，所以对于低照度图，上述公式能起到很好的增强作用。要得到彩色图像的全局自适应结果还需要计算出每个像素RGB三通道的增益系数，计算公式如下：
Figure BDA0002080296630000061
同样，这里仍然使用上一帧图像像素计算出Lwmax(i,j)和
Figure BDA0002080296630000062
使用当前帧图像的Lw(i,j)计算出每个像素的增益系数。将彩色图像每个像素RGB的三通道乘以该增益系数就可以得到经全局自适应的方法调节后的真彩色图像，从而实现了实时的夜间真彩色成像。

Claims (7)

1.一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法，其特征在于步骤如下：
步骤一，从Bayer稀疏阵列中插值得到高分辨率的亮度图像矩阵，并按阵列格式提取出低分辨率的Bayer图像矩阵，利用Bayer图像插值得到低分辨率的彩色图像；
步骤二，将步骤一中插值得到的彩色图像放大到原分辨率；
步骤三，从放大后的彩色图像中提取亮度图像；
步骤四，根据Bayer稀疏阵列插值得到的亮度图像与步骤三中提取到的亮度图像的比值对步骤二中放大后的彩色图像的RGB三通道进行增强，得到新的彩色图像；
步骤五，使用灰度世界算法对步骤四得到的彩色图像进行偏色校正；
步骤六，在进行偏色校正的同时采用全局自适应的方法调节图像亮度，得到夜间真彩色图像。
2.根据权利要求1所述的方法，其特征在于步骤一中：根据Bayer稀疏阵列格式得到高分辨率的亮度图像矩阵和低分辨率的Bayer图像矩阵，为得到图像的高分辨率亮度矩阵W_HR，彩色滤波片在亮度图像中的空洞由周围亮度像素计算得到，计算方式是取最邻近8个像素的平均值；根据Bayer稀疏阵列的格式，从中提取出低分辨率的Bayer形式的颜色矩阵，并使用3x3的插值孔径从Bayer形式的颜色矩阵中插值得到低分辨率彩色矩阵RGB_LR。
3.根据权利要求1所述的方法，其特征在于步骤二中：将得到的低分辨率色彩矩阵放大到原分辨率，得到高分辨率的彩色矩阵RGB_LF_HR，方便与亮度图像融合。
4.根据权利要求1所述的方法，其特征在于步骤三中：从放大后的高分辨率彩色图像中提取出亮度矩阵L_LF_HR，即：
L_LF_HR(i,j)＝0.2126*R(i,j)+0.7152*G(i,j)+0.0722*B(i,j) 1)
L_LF_HR(i,j)是彩色图像中像素的亮度。
5.根据权利要求1所述的方法，其特征在于步骤四中：将得到的彩色图像根据亮度矩阵L_LF_HR和亮度图像的亮度矩阵W_HR进一步进行色彩增强，计算W_HR对L_LF_HR的比值，对RGB_LF_HR图像的RGB三通道进行增强，即：
Figure FDA0002080296620000021
得到的R'，G'，B'即是融合图像的三通道信息。
6.根据权利要求1所述的方法，其特征在于步骤五中：采用灰度世界算法进行偏色校正，具体步骤如下：
(1)采用取平均值的方法得到
Figure FDA0002080296620000022
Figure FDA0002080296620000023
(2)计算R、G、B三通道的增益系数：
Figure FDA0002080296620000024
(3)根据增益系数调整图像的R、G、B分量：
Figure FDA0002080296620000025
这里使用上一帧彩色图像像素计算出RGB三通道的增益系数，然后当前帧图像的像素乘以计算出的增益系数得到偏色校正后的彩色图像。
7.根据权利要求1所述的方法，其特征在于步骤六中：采用全局自适应的方法全局压缩场景的动态范围，调节低照度图像的亮度，具体步骤如下：
(1)计算出调节后的亮度图像Lg:
Figure FDA0002080296620000026
Lg(i,j)是全局自适应输出结果；Lw(i,j)是输入图像的亮度值；Lwmax(i,j)表示输入图像亮度值中的最大值；
Figure FDA0002080296620000027
表示输入亮度对数的平均值，如下式所示:
Figure FDA0002080296620000028
其中N表示像素的总数，直接取亮度的平均值
Figure FDA0002080296620000029
(2)要得到彩色图像的全局自适应结果还需要计算出每个像素RGB三通道的增益系数，计算公式如下：
Figure FDA0002080296620000031
同样，这里使用上一帧图像像素计算出Lwmax(i,j)和
Figure FDA0002080296620000032
再使用当前帧图像的Lw(i,j)计算出每个像素的增益系数，将彩色图像每个像素RGB的三通道乘以该增益系数就得到经全局自适应的方法调节后的真彩色图像。
CN201910469113.9A 2019-05-31 2019-05-31 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法 Pending CN112019778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910469113.9A CN112019778A (zh) 2019-05-31 2019-05-31 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910469113.9A CN112019778A (zh) 2019-05-31 2019-05-31 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法

Publications (1)

Publication Number Publication Date
CN112019778A true CN112019778A (zh) 2020-12-01

Family

ID=73502136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910469113.9A Pending CN112019778A (zh) 2019-05-31 2019-05-31 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法

Country Status (1)

Country Link
CN (1) CN112019778A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150731A (zh) * 2006-09-22 2008-03-26 罗罡 用于数字成像的彩色滤波阵列及其成像方法
CN104796577A (zh) * 2015-03-20 2015-07-22 南京理工大学 基于emccd和单色ccd的彩色夜视成像装置及方法
CN106375741A (zh) * 2016-10-11 2017-02-01 中国人民解放军陆军军官学院 一种基于像增强器过滤的夜视真彩色图像获取方法
CN106375742A (zh) * 2016-10-11 2017-02-01 中国人民解放军陆军军官学院 一种夜视真彩色图像获取装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150731A (zh) * 2006-09-22 2008-03-26 罗罡 用于数字成像的彩色滤波阵列及其成像方法
CN104796577A (zh) * 2015-03-20 2015-07-22 南京理工大学 基于emccd和单色ccd的彩色夜视成像装置及方法
CN106375741A (zh) * 2016-10-11 2017-02-01 中国人民解放军陆军军官学院 一种基于像增强器过滤的夜视真彩色图像获取方法
CN106375742A (zh) * 2016-10-11 2017-02-01 中国人民解放军陆军军官学院 一种夜视真彩色图像获取装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AHN H, KEUM B, KIM D, ET AL.: "Adaptive local tone mapping based on retinex for high dynamic range images", 《2013 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE)》 *

Similar Documents

Publication Publication Date Title
US20200260001A1 (en) Global Tone Mapping
CN103327342B (zh) 具有透明滤波器像素的成像系统
US8169500B2 (en) Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN106897981A (zh) 一种基于引导滤波的低照度图像增强方法
CN113556526B (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
CN113676628B (zh) 成像装置和图像处理方法
CN102340673A (zh) 一种针对交通场景的摄像机白平衡方法
JP2003304549A (ja) カメラ及び画像信号処理システム
CN109639994B (zh) 嵌入式车载相机曝光时间动态调整方法
US20230342895A1 (en) Image processing method and related device thereof
CN114785995A (zh) 一种基于fpga的自动白平衡实现方法
US11200647B2 (en) Image processing
CN110572585B (zh) 图像处理方法、装置、存储介质及电子设备
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN112019778A (zh) 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法
CN115550575A (zh) 图像处理方法及其相关设备
Brown Color processing for digital cameras
CN112422940A (zh) 一种自适应颜色校正方法
CN112788321A (zh) 图像颜色恢复方法和装置、摄像装置、存储介质
CN107317972B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107734246B (zh) 一种图像处理方法、装置及相关电路
TWI536765B (zh) 具有透明濾波器像素之成像系統
Heim et al. Low-light-level EMCCD color camera
Neumann et al. Fast underwater color correction using integral images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201201

RJ01 Rejection of invention patent application after publication