CN113556526A - 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 - Google Patents
一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 Download PDFInfo
- Publication number
- CN113556526A CN113556526A CN202110810755.8A CN202110810755A CN113556526A CN 113556526 A CN113556526 A CN 113556526A CN 202110810755 A CN202110810755 A CN 202110810755A CN 113556526 A CN113556526 A CN 113556526A
- Authority
- CN
- China
- Prior art keywords
- color
- night vision
- image
- channel
- vision device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Abstract
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,属于微光夜视成像和图像处理技术领域。采用基于灰度世界假设的四通道自动白平衡算法估计光源色,根据各通道像素最大值对各通道图像进行亮度拉伸,考虑到彩色夜视噪声分布,恢复光源色温引起的图像色偏;将R、G、B、W各颜色分量拓展到非线性空间,通过设计损失函数和回归方法,利用标准光源下的色卡参考值和白平衡校正图像中的色卡样本值训练求解CCM参数使损失函数最小化,得到色彩校正后的图像。本发明能够提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度,扩充适用范围,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
Description
技术领域
本发明涉及一种彩色夜视设备色彩增强方法,尤其涉及一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,属于微光夜视成像和图像处理技术领域。
背景技术
近年来,基上片上RGBW彩色滤光阵列(Color Filter Array,CFA)的固态彩色成像技术逐渐向低照度方向扩展。这一类成像设备以高性能CCD/CMOS作为核心成像部件,具有结构紧凑的优势,从增大进光量的角度拓展成像设备的最低工作照度,相比基于传统拜尔阵列的彩色设备亮度和信噪比明显提升,更加适用于低于1lx照度的应用场景,在智能手机、军用彩色夜视仪摄像机传感器系统、夜间导航等低照度彩色成像产品中具有广泛的应用。
在RGBW CFA彩色夜视设备中,亮度W通道对应的像素装有全通滤光片,保持黑白探测器的可见光+近红外光谱响应,RGB通道像素在保留原有RGB通道光谱的基础上,拓展近红外的光谱响应,增加目标场景辐射的接收,有效提升低照度成像的图像亮度。然而彩色夜视设备直接输出的源图像色彩不符合人眼观察习惯,有几方面原因:(a)场景光源色温差异导致成像设备各通道光谱能量分布不平衡,各色彩分量响应强度不同,引起源图像色彩的整体偏移;(b)成像设备光谱响应曲线偏离CIE 1931XYZ标准观察者光谱三刺激值曲线,导致源图像色彩与标准色彩存在差异;(c)成像设备近红外光谱响应部分(780-1100nm)对可见光部分(380-780nm)的颜色分量进行干扰,引入非线性的色彩偏移模型,反映到最终成像的色彩饱和度下降,图像看起来黯淡,与正常照度下人眼观察的色彩存在较大差异;(d)设备源色彩和标准色彩无法保证在同一光源和同一照度下获取,不同颜色空间的色彩分量不满足线性变换关系,令相机中常用的线性颜色校正矩阵(Color Correction Matrix,CCM)算法不再适用。
由于上述原因,传统彩色夜视设备的色彩增强方法不再适用于新型RGBW滤光阵列的彩色夜视设备,需要针对图像信号处理(Image Signal Processing,ISP)模块的色彩增强算法特殊设计,以提高输出图像的色彩质量,最终符合人眼的观察习惯。具体而言,ISP模块的色彩增强分为两阶段:(a)自动白平衡。指为消除光源色温的影响、恢复色彩的整体偏移、提高色彩的显现度而对彩色成像系统进行先验地色彩增强,旨在提高色彩的显现度;(b)颜色校正。指针对成像色彩与标准色彩存在差异、近红外波段信息(780-1100nm)使色彩饱和度下降等问题进行进一步的色彩增强,旨在提高色彩的饱和度和自然度。考虑到RGBW彩色夜视系统引入亮度W通道,应在色彩增强方法设计中充分利用四通道色彩分量;同时考虑到彩色夜视系统在低照度下工作时滤光片和CMOS灵敏度的限制,需将夜视图像噪声分布纳入考虑,实现具有鲁棒性的亮度增强。基于新型RGBW滤光阵列的彩色夜视设备的色彩增强方法成为近年来国际上的重要研究方向之一。
发明内容
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法要解决的技术问题为:针对基于RGBW滤光阵列的彩色夜视设备成像过程和色彩模型,通过四通道自动白平衡算法恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高色彩显现度,通过非线性颜色校正矩阵(CCM)实现颜色校正,提高色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
本发明的目的是通过下述技术方案实现的:
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,针对基于RGBW滤光阵列的彩色夜视设备成像过程和色彩模型,采用基于灰度世界假设的四通道自动白平衡算法估计光源色,并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸,考虑到彩色夜视噪声分布,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强;将R、G、B、W各颜色分量拓展到特定的非线性空间,通过设计损失函数和回归方法,利用标准光源下的色卡参考值和白平衡校正图像中的色卡样本值训练求解CCM参数使损失函数最小化,得到色彩校正后的图像。本发明能够提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,包括如下步骤:
步骤1:根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0,采用基于灰度世界假设的四通道自动白平衡算法估计光源色,并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸,得到白平衡校正后的图像R1、G1、B1、W1,考虑到彩色夜视噪声分布,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
其中(i,j)代表图像中的像素位置,用坐标形式表示,其中,i=0,1,…,M-1;j=0,1,…,N-1,一副数字图像由M×N个像素点组成,M、N分别为图像的高度、宽度。
步骤1-3:根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0,计算各通道中的像素最大值Rmax、Gmax、Bmax、Wmax,并得到亮度拉升系数ρ。
对于x bit图像,考虑到彩色夜视设备实际应用中场景图像常常存在噪声和过曝区域,在计算各通道源图像中的像素最大值Rmax、Gmax、Bmax、Wmax时,去掉最大灰度级2x–1,计算各通道图像的直方统计TRy、TGy、TBy、TWy(y=0,1,2,…,2x–2),即各通道中灰度级为y的像素数,从大到小遍历2x–2~0灰度级,直到找到像素数量超过N的某个灰度级的像素集。
R通道源图像R0中的像素最大值Rmax表示为,
G通道源图像G0中的像素最大值Gmax表示为,
B通道源图像B0中的像素最大值Bmax表示为,
W通道源图像W0中的像素最大值Wmax表示为,
得到亮度拉升系数ρ,
步骤1-4:根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0,步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ,对各通道图像进行白平衡恢复和亮度拉伸,得到白平衡校正的各通道图像R1、G1、B1、W1,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
步骤2:根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1,取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k=1,2,…,n,n代表色卡非灰度色块的数量),将各颜色分量拓展到非线性空间。已知标准光源下色卡参考值R'k、G'k、B'k(k=1,2,…,n,n代表色卡非灰度色块的数量),通过设计损失函数和回归方法,训练求解CCM参数使损失函数最小化,得到色彩校正后的图像R2、G2、B2,并合成彩色图像,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
步骤2-1:根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1,取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k=1,2,…,n,n代表色卡非灰度色块的数量),引入R1k、G1k、B1k、W1k的非线性项以及它们的组合项,将各颜色分量拓展到非线性空间,合成一组n个输入样本颜色矢量Pk(k=1,2,3,…,n,n代表色卡非灰度色块的数量)。定义非线性项数量为q,将Pk合并成q×n的输入样本颜色矩阵P。
将各颜色分量拓展到不同非线性空间时,根据白平衡校正的各通道图像R1、G1、B1、W1的色卡样本值R1k、G1k、B1k、W1k,输入样本颜色矢量Pk的形式如表1,
表1输入样本颜色矢量Pk的形式
步骤2-2:根据已知标准光源下色卡参考值R'k、G'k、B'k(k=1,2,…,n,n代表色卡非灰度色块的数量),合成一组n个标准样本颜色矢量Qk(k=1,2,3,…,n),将Qk合并成3×n的标准样本颜色矩阵Q。
根据已知标准光源下色卡参考值R'k、G'k、B'k和不同非线性空间,标准样本颜色矢量Qk的形式如表2,
表2标准样本颜色矢量Qk的形式
步骤2-3:将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q,通过设计损失函数和回归方法,训练求解CCM参数使损失函数最小化,得到颜色校正矩阵MCCM。
将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q,MCCM表示P到Q的转换关系,
Q=MCCMP (9)
根据回归方法求最佳色彩校正矩阵MCCM,即求解如式(10)所示的优化问题
其中k代表色卡非灰度色块的序号,||·||表示向量的二范数。
在不同回归方法下,MCCM的表达形式如表3,
表3颜色校正矩阵MCCM的形式
表3中,部分最小二乘回归法通过引入偏置常数λ获得更好的算法鲁棒性。
步骤2-4:根据步骤2-3得到的颜色校正矩阵MCCM,对步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1进行色彩校正,得到色彩校正后的图像R2、G2、B2,并合成彩色图像,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
步骤2-4所述对R1、G1、B1、W1进行色彩校正的实现方法如下:
根据步骤2-1中表1的形式,将步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1的每一个像素点处的像素值R1(i,j)、G1(i,j)、B1(i,j)、W1(i,j)拓展到不同非线性空间,(i,j)代表图像中的像素位置,用坐标形式表示,其中,i=0,1,…,M-1;j=0,1,…,N-1,数字图像由M×N个像素点组成,M和N为图像的高度和宽度。经拓展,彩色图像维度由M×N×4变为M×N×q。
将步骤2-3求得的色彩校正矩阵MCCM作用于拓展后的彩色图像的每一个像素点,即将色彩校正矩阵MCCM乘以拓展后的彩色图像的每一个像素点的像素值,得到M×N×3图像,即得到色彩校正后的图像R2、G2、B2,并合成彩色图像。在不同非线性空间和回归方法的组合下,色彩校正矩阵MCCM具有多种形式,挑选实际效果最好的MCCM完成色彩校正,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法应用领域,包括智能手机、军用彩色夜视仪摄像机传感器系统、具有低照度彩色成像特性的消费产品、交通管制、夜间导航等低照度彩色成像领域,在所述应用领域恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
有益效果:
1、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,通过基于灰度世界假设的四通道自动白平衡算法估计光源色,恢复光源色温引起的图像色偏,能够提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量。
2、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,通过根据源图像中各通道像素最大值对各通道图像进行亮度拉伸,考虑到彩色夜视噪声分布,能够实现具有鲁棒性的亮度增强,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
3、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,通过将R、G、B、W各颜色分量拓展到非线性空间,通过设计损失函数和回归方法求解CCM完成色彩校正,更加适用于近红外光谱响应引入的非线性色彩偏移模型,能够提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量。
4、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,通过在色彩增强方法中充分考虑四通道色彩分量,能够克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量。
附图说明
图1为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法流程图。
图2为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法所适用的不同RGBW滤光阵列的空间排布示意图。
图3为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的图像采集系统结构示意图。
其中:1-光学物镜、2-RGBW滤光转轮、3-低照度CMOS黑白探测器、4-微型直流电机、5-基于FPGA和ARM的同步控制电路、6-PC机处理显示模块。
图4为X-Rite SG色卡在不同标准光源下的色彩表现示意图。
其中:1-X-Rite SG色卡在D50光源下的色彩表现、2-X-Rite SG色卡在D65光源下的色彩表现、3-X-Rite SG色卡在A光源下的色彩表现。
图5为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法中标准光源下色卡参考值的获取过程示意图。
图6为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在D65光源,5×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图7为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在D65光源,1×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图8为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在D65光源,5×10-3lx环境照度下针对两组场景的处理效果示意图。
图9为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在A光源,5×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图10为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在A光源,1×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图11为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在A光源,5×10-3lx环境照度下针对两组实际场景的处理效果示意图。
具体实施方式
为了更好的说明本发明的目的和优点,下面结合附图和实施例对发明内容做进一步说明。
实施例:
如图2所示,本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法所适用的不同RGBW滤光阵列的空间排布示意图。滤光阵列各像素的最小空域排布周期为4×4,R、G、B、W每个像素只对一种特定波长范围的光响应。
为了验证方法的可行性,采用一种基于RGBW滤光转轮的单光路时分彩色成像方案,目标场景的入射光经过物镜和滤光转轮后聚焦在低照度CMOS相机的光敏面上,转化为场景的数字图像输出,在同步信号触发下,微型直流电机通过机械转动来控制滤光转轮改变滤光状态(RGBW),低照度CMOS相机同步采集对应RGBW滤光状态下的场景图像。系统主要由系统物镜、四通道滤光转轮、Thorlabs FD1D高对比度RGB滤光片、Photonis NOCTURN XL低照度CMOS黑白相机(像素数1280×1024,像素尺寸9.7μm,动态范围60dB,帧率100Hz)、基于FPGA和ARM的同步控制电路、微型直流电机、CameraLink数字视频采集卡以及图像处理PC机构成,其中滤光转轮加装RGB滤光片的三通道用来获取RGB彩色图像,不加装滤光片的通道用来获取W全通图像。如图3所示,为本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的图像采集系统结构示意图。
本实施例的已知条件如下:
(1)图像采集过程在标准光源D65、A下完成,使用接近自然光光谱成分的标准光源来观察实验场景的颜色,实际使用时光源安装在标准光源箱内。D65光源色温为6500K,是典型的日光光源;A光源色温为2856K,是典型的白炽灯光源,相比普通荧光灯光源色温偏黄、光谱连续且含有较多的近红外信息。
(2)图像采集场景包含丰富的纹理、颜色和材料。夜视场景1由毛绒布偶、色卡、纸质盒子、硬质花色杯垫构成;夜视场景2由书架、魔方、铁盒、彩色沙发布构成。
(3)图像采集过程在5×10-2lx、1×10-2lx、5×10-3lx三组环境照度下完成,利用微光照度计控制照度。
(4)图像采集过程中使用X-Rite标准色卡,在不同光源和光照条件下色卡有不同的颜色表现,如图4所示,为X-Rite SG色卡在不同标准光源下的色彩表现示意图。
(5)X-Rite标准色卡81个非灰度色块在D50光源下的标准XYZ值由X-Rite公司官网给出。根据Bradford变换可以将D50光源下X-Rite标准色卡的XYZ值转换到D65、A光源下,再将XYZ颜色空间线性转换到RGB颜色空间即可得到D65、A光源下标准色卡的参考RGB三刺激值。如图5所示,为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法中标准光源下色卡参考值的获取过程示意图。
如图1所示,本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,包括如下步骤:
步骤1:根据R、G、B、W各通道单色图像R0、G0、B0、W0,采用基于灰度世界假设的四通道自动白平衡算法估计光源色,根据源图像中各通道像素最大值对各通道图像进行亮度拉伸,得到白平衡校正后的图像R1、G1、B1、W1,考虑到彩色夜视噪声分布,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
其中(i,j)代表图像中的像素位置,用坐标形式表示,其中,i=0,1,…,M-1;j=0,1,…,N-1,一副数字图像由M×N个像素点组成,M和N为图像的高度和宽度。
如图6(1a)(2a)、图7(1a)(2a)、图8(1a)(2a)、图9(1a)(2a)、图10(1a)(2a)、图11(1a)(2a)所示,分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的彩色夜视设备输出源图像,得到R、G、B通道单色图像R0、G0、B0。如图6(1b)(2b)、图7(1b)(2b)、图8(1b)(2b)、图9(1b)(2b)、图10(1b)(2b)、图11(1b)(2b)所示,分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的W通道单色图像W0。
步骤1-3:根据彩色夜视设备R、G、B、W各通道单色图像R0、G0、B0、W0,计算各通道中的像素最大值Rmax、Gmax、Bmax、Wmax,并得到亮度拉升系数ρ。
对于8bit图像,在计算各通道源图像中的像素最大值Rmax、Gmax、Bmax、Wmax时,去掉最大灰度级255,计算各通道图像的直方统计TRy、TGy、TBy、TWy(y=0,1,2,…,254),即各通道中灰度级为y的像素数,从大到小遍历254~0灰度级,直到找到像素数量超过N的某个灰度级的像素集。本实施例中,N取为,
N=P*0.1% (3)
其中P为图像总像素数。
R通道源图像R0中的像素最大值Rmax表示为,
G通道源图像G0中的像素最大值Gmax表示为,
B通道源图像B0中的像素最大值Bmax表示为,
W通道源图像W0中的像素最大值Wmax表示为,
得到亮度拉升系数ρ,
步骤1-4:根据彩色夜视设备R、G、B、W各通道单色图像R0、G0、B0、W0,步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ,对各通道图像进行白平衡恢复和亮度拉伸,得到白平衡校正的各通道图像R1、G1、B1、W1,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
如图6(1c)(2c)、图7(1c)(2c)、图8(1c)(2c)、图9(1c)(2c)、图10(1c)(2c)、图11(1c)(2c)所示,分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的自动白平衡校正图像,得到白平衡校正的各通道图像R1、G1、B1、W1。在极低照度下,为避免步骤2色彩校正中噪声的放大,可在白平衡完成后加入噪声抑制处理,如图6(1d)(2d)、图7(1d)(2d)、图8(1d)(2d)、图9(1d)(2d)、图10(1d)(2d)、图11(1d)(2d)所示,分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的去噪图像。可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
步骤2:根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1,取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k=1,2,…,n,n代表色卡非灰度色块的数量),将各颜色分量拓展到非线性空间。根据已知条件(5)得到D65、A光源下色卡参考值R'k、G'k、B'k(k=1,2,…,n,n代表色卡非灰度色块的数量),通过设计损失函数和回归方法,训练求解CCM参数使损失函数最小化,得到色彩校正后的图像R2、G2、B2,并合成彩色图像,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
步骤2-1:根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1,取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k=1,2,…,n,n代表色卡非灰度色块的数量),引入R1k、G1k、B1k、W1k的非线性项以及它们的组合项,将各颜色分量拓展到非线性空间,合成一组n个输入样本颜色矢量Pk(k=1,2,3,…,n,n代表色卡非灰度色块的数量)。定义非线性项数量为q,将Pk合并成q×n的输入样本颜色矩阵P。
在将各颜色分量拓展到不同非线性空间时,根据白平衡校正的各通道图像R1、G1、B1、W1的色卡样本值R1k、G1k、B1k、W1k,输入样本颜色矢量Pk的形式如表1,
表1输入样本颜色矢量Pk的形式
步骤2-2:根据D65、A光源下色卡参考值R'k、G'k、B'k(k=1,2,…,n,n代表色卡非灰度色块的数量),合成一组n个标准样本颜色矢量Qk(k=1,2,3,…,n),将Qk合并成3×n的标准样本颜色矩阵Q。
根据D65、A光源下色卡参考值R'k、G'k、B'k和不同非线性空间,标准样本颜色矢量Qk的形式如表2,
表2标准样本颜色矢量Qk的形式
步骤2-3:将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q,通过设计损失函数和回归方法,训练求解CCM参数使损失函数最小化,得到颜色校正矩阵MCCM。
将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q,MCCM表示P到Q的转换关系,
Q=MCCMP (10)
根据回归方法求最佳色彩校正矩阵MCCM,即求解如式(11)所示的优化问题
其中k代表色卡非灰度色块的序号,||·||表示向量的二范数。
在不同回归方法下,MCCM的表达形式如表3,
表3颜色校正矩阵MCCM的形式
表3中,部分最小二乘回归法通过引入偏置常数λ获得更好的算法鲁棒性。实际计算中λ在[10-5,102]范围内以相等的对数点距取值,在每个λ下将色卡颜色样本分为z组,计算出z个CCM下的最小均方误差(MSE)和,选择最小MSE和对应的λ作为最优偏置常数。
步骤2-4:根据步骤2-3得到的颜色校正矩阵MCCM,对步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1进行色彩校正,得到色彩校正后的图像R2、G2、B2,并合成彩色图像,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
步骤2-4所述对R1、G1、B1、W1进行色彩校正的实现方法如下:
根据步骤2-1中表1的形式,将步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1的每一个像素点处的像素值R1(i,j)、G1(i,j)、B1(i,j)、W1(i,j)拓展到不同非线性空间,(i,j)代表图像中的像素位置,用坐标形式表示,其中,i=0,1,…,M-1;j=0,1,…,N-1,数字图像由M×N个像素点组成,M和N为图像的高度和宽度。经拓展,彩色图像维度由M×N×4变为M×N×q。
将步骤2-3求得的色彩校正矩阵MCCM作用于拓展后的彩色图像的每一个像素点,即将色彩校正矩阵MCCM乘以拓展后的彩色图像的每一个像素点的像素值,得到M×N×3图像,即得到色彩校正后的图像R2、G2、B2,并合成彩色图像。在不同非线性空间和回归方法的组合下,色彩校正矩阵MCCM具有多种形式,挑选实际效果最好的MCCM完成色彩校正,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
如图6(1e)(1f)(2e)(2f)、图7(1e)(1f)(2e)(2f)、图8(1e)(1f)(2e)(2f)、图9(1e)(1f)(2e)(2f)、图10(1e)(1f)(2e)(2f)、图11(1e)(1f)(2e)(2f)所示,分别为本实施例的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的色彩校正图像。可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
本实施例公开的一种基于RGBW滤光转轮的单光路时分彩色成像方案通过获得R、G、B、W各通道单色图像并完成色彩增强,能够继承本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的优点。如图6、图7、图8、图9、图10、图11所示,分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的处理效果示意图。根据色彩增强各步骤的效果,可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够提高彩色夜视设备输出色彩的显现度、饱和度和自然度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,其特征在于:包括如下步骤,
步骤1:根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0,采用基于灰度世界假设的四通道自动白平衡算法估计光源色,并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸,得到白平衡校正后的图像R1、G1、B1、W1,考虑到彩色夜视噪声分布,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度;
步骤2:根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1,取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k=1,2,…,n,n代表色卡非灰度色块的数量),将各颜色分量拓展到非线性空间;已知标准光源下色卡参考值R'k、G'k、B'k(k=1,2,…,n,n代表色卡非灰度色块的数量),通过设计损失函数和回归方法,训练求解CCM参数使损失函数最小化,得到色彩校正后的图像R2、G2、B2,并合成彩色图像,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
2.如权利要求1所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,其特征在于:步骤一实现方法为,
其中(i,j)代表图像中的像素位置,用坐标形式表示,其中,i=0,1,…,M-1;j=0,1,…,N-1,一副数字图像由M×N个像素点组成,M、N分别为图像的高度、宽度;
步骤1-3:根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0,计算各通道中的像素最大值Rmax、Gmax、Bmax、Wmax,并得到亮度拉升系数ρ;
对于x bit图像,考虑到彩色夜视设备实际应用中场景图像常常存在噪声和过曝区域,在计算各通道源图像中的像素最大值Rmax、Gmax、Bmax、Wmax时,去掉最大灰度级2x–1,计算各通道图像的直方统计TRy、TGy、TBy、TWy(y=0,1,2,…,2x–2),即各通道中灰度级为y的像素数,从大到小遍历2x–2~0灰度级,直到找到像素数量超过N的某个灰度级的像素集;
R通道源图像R0中的像素最大值Rmax表示为,
G通道源图像G0中的像素最大值Gmax表示为,
B通道源图像B0中的像素最大值Bmax表示为,
W通道源图像W0中的像素最大值Wmax表示为,
得到亮度拉升系数ρ,
步骤1-4:根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0,步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ,对各通道图像进行白平衡恢复和亮度拉伸,得到白平衡校正的各通道图像R1、G1、B1、W1,恢复光源色温引起的图像色偏,实现具有鲁棒性的亮度增强,提高RGBW彩色夜视设备输出色彩的显现度,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度;
3.如权利要求2所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,其特征在于:步骤2实现方法为,
步骤2-1:根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1,取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k=1,2,…,n,n代表色卡非灰度色块的数量),引入R1k、G1k、B1k、W1k的非线性项以及它们的组合项,将各颜色分量拓展到非线性空间,合成一组n个输入样本颜色矢量Pk(k=1,2,3,…,n,n代表色卡非灰度色块的数量);定义非线性项数量为q,将Pk合并成q×n的输入样本颜色矩阵P;
步骤2-2:根据已知标准光源下色卡参考值R'k、G'k、B'k(k=1,2,…,n,n代表色卡非灰度色块的数量),合成一组n个标准样本颜色矢量Qk(k=1,2,3,…,n),将Qk合并成3×n的标准样本颜色矩阵Q;
步骤2-3:将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q,通过设计损失函数和回归方法,训练求解CCM参数使损失函数最小化,得到颜色校正矩阵MCCM;
步骤2-4:根据步骤2-3得到的颜色校正矩阵MCCM,对步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1进行色彩校正,得到色彩校正后的图像R2、G2、B2,并合成彩色图像,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
7.如权利要求6所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法,其特征在于:步骤2-4所述对R1、G1、B1、W1进行色彩校正的实现方法如下,
根据步骤2-1中表1的形式,将步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1的每一个像素点处的像素值R1(i,j)、G1(i,j)、B1(i,j)、W1(i,j)拓展到不同非线性空间,(i,j)代表图像中的像素位置,用坐标形式表示,其中,i=0,1,…,M-1;j=0,1,…,N-1,数字图像由M×N个像素点组成,M和N为图像的高度和宽度;经拓展,彩色图像维度由M×N×4变为M×N×q;
将步骤2-3求得的色彩校正矩阵MCCM作用于拓展后的彩色图像的每一个像素点,即将色彩校正矩阵MCCM乘以拓展后的彩色图像的每一个像素点的像素值,得到M×N×3图像,即得到色彩校正后的图像R2、G2、B2,并合成彩色图像;在不同非线性空间和回归方法的组合下,色彩校正矩阵MCCM具有多种形式,挑选实际效果最好的MCCM完成色彩校正,提高RGBW彩色夜视设备输出色彩的饱和度和自然度,克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷,提升低照度环境下彩色夜视设备的色彩质量,提高人眼观察舒适度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110810755.8A CN113556526B (zh) | 2021-07-18 | 2021-07-18 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110810755.8A CN113556526B (zh) | 2021-07-18 | 2021-07-18 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113556526A true CN113556526A (zh) | 2021-10-26 |
CN113556526B CN113556526B (zh) | 2022-11-15 |
Family
ID=78103320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110810755.8A Active CN113556526B (zh) | 2021-07-18 | 2021-07-18 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113556526B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757854A (zh) * | 2022-06-15 | 2022-07-15 | 深圳市安星数字系统有限公司 | 基于多光谱分析的夜视图像质量提升方法、装置、设备 |
CN115460391A (zh) * | 2022-09-13 | 2022-12-09 | 浙江大华技术股份有限公司 | 图像的模拟方法、装置、存储介质及电子装置 |
CN117237258A (zh) * | 2023-11-14 | 2023-12-15 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
CN117745563A (zh) * | 2024-02-21 | 2024-03-22 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014088975A1 (en) * | 2012-12-03 | 2014-06-12 | Entertainment Experience Llc | Method for producing a color image and imaging device employing same |
WO2017022513A1 (ja) * | 2015-07-31 | 2017-02-09 | ソニー株式会社 | 映像信号処理装置および映像信号処理方法、ならびに表示装置 |
CN108846871A (zh) * | 2018-06-25 | 2018-11-20 | 深圳市华星光电技术有限公司 | 一种图像处理方法及装置 |
CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
WO2020220858A1 (zh) * | 2019-04-29 | 2020-11-05 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112348747A (zh) * | 2019-08-08 | 2021-02-09 | 苏州科达科技股份有限公司 | 图像增强方法、装置及存储介质 |
WO2021050055A1 (en) * | 2019-09-11 | 2021-03-18 | Google Llc | Image colorization using machine learning |
WO2021114184A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 神经网络模型的训练方法、图像处理方法及其装置 |
-
2021
- 2021-07-18 CN CN202110810755.8A patent/CN113556526B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014088975A1 (en) * | 2012-12-03 | 2014-06-12 | Entertainment Experience Llc | Method for producing a color image and imaging device employing same |
WO2017022513A1 (ja) * | 2015-07-31 | 2017-02-09 | ソニー株式会社 | 映像信号処理装置および映像信号処理方法、ならびに表示装置 |
CN108846871A (zh) * | 2018-06-25 | 2018-11-20 | 深圳市华星光电技术有限公司 | 一种图像处理方法及装置 |
CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
WO2020220858A1 (zh) * | 2019-04-29 | 2020-11-05 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112348747A (zh) * | 2019-08-08 | 2021-02-09 | 苏州科达科技股份有限公司 | 图像增强方法、装置及存储介质 |
WO2021050055A1 (en) * | 2019-09-11 | 2021-03-18 | Google Llc | Image colorization using machine learning |
WO2021114184A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 神经网络模型的训练方法、图像处理方法及其装置 |
Non-Patent Citations (1)
Title |
---|
朱进: "低照度夜视成像的自然感彩色化及增强方法", 《光子学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757854A (zh) * | 2022-06-15 | 2022-07-15 | 深圳市安星数字系统有限公司 | 基于多光谱分析的夜视图像质量提升方法、装置、设备 |
CN114757854B (zh) * | 2022-06-15 | 2022-09-02 | 深圳市安星数字系统有限公司 | 基于多光谱分析的夜视图像质量提升方法、装置、设备 |
CN115460391A (zh) * | 2022-09-13 | 2022-12-09 | 浙江大华技术股份有限公司 | 图像的模拟方法、装置、存储介质及电子装置 |
CN115460391B (zh) * | 2022-09-13 | 2024-04-16 | 浙江大华技术股份有限公司 | 图像的模拟方法、装置、存储介质及电子装置 |
CN117237258A (zh) * | 2023-11-14 | 2023-12-15 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
CN117237258B (zh) * | 2023-11-14 | 2024-02-09 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
CN117745563A (zh) * | 2024-02-21 | 2024-03-22 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
CN117745563B (zh) * | 2024-02-21 | 2024-05-14 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113556526B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113556526B (zh) | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 | |
US11849224B2 (en) | Global tone mapping | |
CN110378859B (zh) | 一种新的高动态范围图像生成方法 | |
TWI737979B (zh) | 圖像去馬賽克裝置及方法 | |
CN103327342B (zh) | 具有透明滤波器像素的成像系统 | |
US8666153B2 (en) | Image input apparatus | |
US8411176B2 (en) | Image input device | |
US8860798B2 (en) | Image-capturing device and image processing method | |
CN104796577B (zh) | 基于emccd和单色ccd的彩色夜视成像装置及方法 | |
CN101983510B (zh) | 自适应局部白平衡调节的系统与方法 | |
US20120287286A1 (en) | Image processing device, image processing method, and program | |
CN103595982A (zh) | 基于灰度和彩色两颗传感器的彩色图像采集装置 | |
US8243164B2 (en) | Method, apparatus, and system for selecting pixels for automatic white balance processing | |
KR20080096333A (ko) | 영상 생성 방법 및 장치 | |
CN102340673A (zh) | 一种针对交通场景的摄像机白平衡方法 | |
WO2019104047A1 (en) | Global tone mapping | |
CN106550227A (zh) | 一种图像饱和度调整方法及装置 | |
CN109672828B (zh) | 基于光路白平衡的低照度提升装置及低照度提升方法 | |
JP2007288573A (ja) | クロマサプレス処理装置 | |
JP2012010141A (ja) | 画像処理装置 | |
CN107079108A (zh) | 具有直方图扩展的机动车辆相机装置 | |
WO2022032666A1 (zh) | 处理图像的方法和相关装置 | |
CN112422940A (zh) | 一种自适应颜色校正方法 | |
CN112019778A (zh) | 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法 | |
US20070046787A1 (en) | Chrominance filter for white balance statistics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |