CN113556526B - 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 - Google Patents

一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 Download PDF

Info

Publication number
CN113556526B
CN113556526B CN202110810755.8A CN202110810755A CN113556526B CN 113556526 B CN113556526 B CN 113556526B CN 202110810755 A CN202110810755 A CN 202110810755A CN 113556526 B CN113556526 B CN 113556526B
Authority
CN
China
Prior art keywords
color
image
channel
night vision
vision device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110810755.8A
Other languages
English (en)
Other versions
CN113556526A (zh
Inventor
金伟其
王海琳
韩正昊
李力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110810755.8A priority Critical patent/CN113556526B/zh
Publication of CN113556526A publication Critical patent/CN113556526A/zh
Application granted granted Critical
Publication of CN113556526B publication Critical patent/CN113556526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，属于微光夜视成像和图像处理技术领域。采用基于灰度世界假设的四通道自动白平衡算法估计光源色，根据各通道像素最大值对各通道图像进行亮度拉伸，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏；将R、G、B、W各颜色分量拓展到非线性空间，通过设计损失函数和回归方法，利用标准光源下的色卡参考值和白平衡校正图像中的色卡样本值训练求解CCM参数使损失函数最小化，得到色彩校正后的图像。本发明能够提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度，扩充适用范围，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

Description

一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法
技术领域
本发明涉及一种彩色夜视设备色彩增强方法，尤其涉及一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，属于微光夜视成像和图像处理技术领域。
背景技术
近年来，基上片上RGBW彩色滤光阵列(Color Filter Array,CFA)的固态彩色成像技术逐渐向低照度方向扩展。这一类成像设备以高性能CCD/CMOS作为核心成像部件，具有结构紧凑的优势，从增大进光量的角度拓展成像设备的最低工作照度，相比基于传统拜尔阵列的彩色设备亮度和信噪比明显提升，更加适用于低于1lx照度的应用场景，在智能手机、军用彩色夜视仪摄像机传感器系统、夜间导航等低照度彩色成像产品中具有广泛的应用。
在RGBW CFA彩色夜视设备中，亮度W通道对应的像素装有全通滤光片，保持黑白探测器的可见光+近红外光谱响应，RGB通道像素在保留原有RGB通道光谱的基础上，拓展近红外的光谱响应，增加目标场景辐射的接收，有效提升低照度成像的图像亮度。然而彩色夜视设备直接输出的源图像色彩不符合人眼观察习惯，有几方面原因：(a)场景光源色温差异导致成像设备各通道光谱能量分布不平衡，各色彩分量响应强度不同，引起源图像色彩的整体偏移；(b)成像设备光谱响应曲线偏离CIE 1931XYZ标准观察者光谱三刺激值曲线，导致源图像色彩与标准色彩存在差异；(c)成像设备近红外光谱响应部分(780-1100nm)对可见光部分(380-780nm)的颜色分量进行干扰，引入非线性的色彩偏移模型，反映到最终成像的色彩饱和度下降，图像看起来黯淡，与正常照度下人眼观察的色彩存在较大差异；(d)设备源色彩和标准色彩无法保证在同一光源和同一照度下获取，不同颜色空间的色彩分量不满足线性变换关系，令相机中常用的线性颜色校正矩阵(Color Correction Matrix,CCM)算法不再适用。
由于上述原因，传统彩色夜视设备的色彩增强方法不再适用于新型RGBW滤光阵列的彩色夜视设备，需要针对图像信号处理(Image Signal Processing,ISP)模块的色彩增强算法特殊设计，以提高输出图像的色彩质量，最终符合人眼的观察习惯。具体而言，ISP模块的色彩增强分为两阶段：(a)自动白平衡。指为消除光源色温的影响、恢复色彩的整体偏移、提高色彩的显现度而对彩色成像系统进行先验地色彩增强，旨在提高色彩的显现度；(b)颜色校正。指针对成像色彩与标准色彩存在差异、近红外波段信息(780-1100nm)使色彩饱和度下降等问题进行进一步的色彩增强，旨在提高色彩的饱和度和自然度。考虑到RGBW彩色夜视系统引入亮度W通道，应在色彩增强方法设计中充分利用四通道色彩分量；同时考虑到彩色夜视系统在低照度下工作时滤光片和CMOS灵敏度的限制，需将夜视图像噪声分布纳入考虑，实现具有鲁棒性的亮度增强。基于新型RGBW滤光阵列的彩色夜视设备的色彩增强方法成为近年来国际上的重要研究方向之一。
发明内容
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法要解决的技术问题为：针对基于RGBW滤光阵列的彩色夜视设备成像过程和色彩模型，通过四通道自动白平衡算法恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高色彩显现度，通过非线性颜色校正矩阵(CCM)实现颜色校正，提高色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
本发明的目的是通过下述技术方案实现的：
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，针对基于RGBW滤光阵列的彩色夜视设备成像过程和色彩模型，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强；将R、G、B、W各颜色分量拓展到特定的非线性空间，通过设计损失函数和回归方法，利用标准光源下的色卡参考值和白平衡校正图像中的色卡样本值训练求解CCM参数使损失函数最小化，得到色彩校正后的图像。本发明能够提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，包括如下步骤：
步骤1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，得到白平衡校正后的图像R1、G1、B1、W1，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤1-1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，得到各通道的平均灰度值
Figure BDA0003167946480000021
Figure BDA0003167946480000022
其中(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，一副数字图像由M×N个像素点组成，M、N分别为图像的高度、宽度。
步骤1-2：根据步骤1-1得到的彩色夜视设备R、G、B、W各通道的平均灰度值
Figure BDA0003167946480000031
Figure BDA0003167946480000032
得到各通道的白平衡系数α、β、γ、ζ。
Figure BDA0003167946480000033
其中
Figure BDA0003167946480000034
为最大的R、G、B、W各通道的平均灰度值。
步骤1-3：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，计算各通道中的像素最大值Rmax、Gmax、Bmax、Wmax，并得到亮度拉升系数ρ。
对于x bit图像，考虑到彩色夜视设备实际应用中场景图像常常存在噪声和过曝区域，在计算各通道源图像中的像素最大值Rmax、Gmax、Bmax、Wmax时，去掉最大灰度级2x–1，计算各通道图像的直方统计TRy、TGy、TBy、TWy(y＝0,1,2,…,2x–2)，即各通道中灰度级为y的像素数，从大到小遍历2x–2～0灰度级，直到找到像素数量超过N的某个灰度级的像素集。
R通道源图像R0中的像素最大值Rmax表示为，
Figure BDA0003167946480000035
G通道源图像G0中的像素最大值Gmax表示为，
Figure BDA0003167946480000036
B通道源图像B0中的像素最大值Bmax表示为，
Figure BDA0003167946480000037
W通道源图像W0中的像素最大值Wmax表示为，
Figure BDA0003167946480000038
得到亮度拉升系数ρ，
Figure BDA0003167946480000039
步骤1-4：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ，对各通道图像进行白平衡恢复和亮度拉伸，得到白平衡校正的各通道图像R1、G1、B1、W1，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
Figure BDA0003167946480000041
步骤2：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，将各颜色分量拓展到非线性空间。已知标准光源下色卡参考值R'k、G'k、B'k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到色彩校正后的图像R2、G2、B2，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤2-1：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，引入R1k、G1k、B1k、W1k的非线性项以及它们的组合项，将各颜色分量拓展到非线性空间，合成一组n个输入样本颜色矢量Pk(k＝1,2,3,…,n，n代表色卡非灰度色块的数量)。定义非线性项数量为q，将Pk合并成q×n的输入样本颜色矩阵P。
将各颜色分量拓展到不同非线性空间时，根据白平衡校正的各通道图像R1、G1、B1、W1的色卡样本值R1k、G1k、B1k、W1k，输入样本颜色矢量Pk的形式如表1，
表1输入样本颜色矢量Pk的形式
Figure BDA0003167946480000042
步骤2-2：根据已知标准光源下色卡参考值R'k、G'k、B'k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，合成一组n个标准样本颜色矢量Qk(k＝1,2,3,…,n)，将Qk合并成3×n的标准样本颜色矩阵Q。
根据已知标准光源下色卡参考值R'k、G'k、B'k和不同非线性空间，标准样本颜色矢量Qk的形式如表2，
表2标准样本颜色矢量Qk的形式
Figure BDA0003167946480000051
步骤2-3：将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到颜色校正矩阵MCCM。
将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，MCCM表示P到Q的转换关系，
Q＝MCCMP (9)
根据回归方法求最佳色彩校正矩阵MCCM，即求解如式(10)所示的优化问题
Figure BDA0003167946480000052
其中k代表色卡非灰度色块的序号，||·||表示向量的二范数。
在不同回归方法下，MCCM的表达形式如表3，
表3颜色校正矩阵MCCM的形式
Figure BDA0003167946480000053
表3中，部分最小二乘回归法通过引入偏置常数λ获得更好的算法鲁棒性。
步骤2-4：根据步骤2-3得到的颜色校正矩阵MCCM，对步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1进行色彩校正，得到色彩校正后的图像R2、G2、B2，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤2-4所述对R1、G1、B1、W1进行色彩校正的实现方法如下：
根据步骤2-1中表1的形式，将步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1的每一个像素点处的像素值R1(i,j)、G1(i,j)、B1(i,j)、W1(i,j)拓展到不同非线性空间，(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，数字图像由M×N个像素点组成，M和N为图像的高度和宽度。经拓展，彩色图像维度由M×N×4变为M×N×q。
将步骤2-3求得的色彩校正矩阵MCCM作用于拓展后的彩色图像的每一个像素点，即将色彩校正矩阵MCCM乘以拓展后的彩色图像的每一个像素点的像素值，得到M×N×3图像，即得到色彩校正后的图像R2、G2、B2，并合成彩色图像。在不同非线性空间和回归方法的组合下，色彩校正矩阵MCCM具有多种形式，挑选实际效果最好的MCCM完成色彩校正，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法应用领域，包括智能手机、军用彩色夜视仪摄像机传感器系统、具有低照度彩色成像特性的消费产品、交通管制、夜间导航等低照度彩色成像领域，在所述应用领域恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度、饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不再适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
有益效果：
1、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，通过基于灰度世界假设的四通道自动白平衡算法估计光源色，恢复光源色温引起的图像色偏，能够提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量。
2、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，通过根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，考虑到彩色夜视噪声分布，能够实现具有鲁棒性的亮度增强，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
3、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，通过将R、G、B、W各颜色分量拓展到非线性空间，通过设计损失函数和回归方法求解CCM完成色彩校正，更加适用于近红外光谱响应引入的非线性色彩偏移模型，能够提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量。
4、本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，通过在色彩增强方法中充分考虑四通道色彩分量，能够克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量。
附图说明
图1为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法流程图。
图2为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法所适用的不同RGBW滤光阵列的空间排布示意图。
图3为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的图像采集系统结构示意图。
其中：1-光学物镜、2-RGBW滤光转轮、3-低照度CMOS黑白探测器、4-微型直流电机、5-基于FPGA和ARM的同步控制电路、6-PC机处理显示模块。
图4为X-Rite SG色卡在不同标准光源下的色彩表现示意图。
其中：1-X-Rite SG色卡在D50光源下的色彩表现、2-X-Rite SG色卡在D65光源下的色彩表现、3-X-Rite SG色卡在A光源下的色彩表现。
图5为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法中标准光源下色卡参考值的获取过程示意图。
图6为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在D65光源，5×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图7为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在D65光源，1×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图8为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在D65光源，5×10-3lx环境照度下针对两组场景的处理效果示意图。
图9为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在A光源，5×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图10为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在A光源，1×10-2lx环境照度下针对两组实际场景的处理效果示意图。
图11为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在A光源，5×10-3lx环境照度下针对两组实际场景的处理效果示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实施例对发明内容做进一步说明。
实施例：
如图2所示，本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法所适用的不同RGBW滤光阵列的空间排布示意图。滤光阵列各像素的最小空域排布周期为4×4，R、G、B、W每个像素只对一种特定波长范围的光响应。
为了验证方法的可行性，采用一种基于RGBW滤光转轮的单光路时分彩色成像方案，目标场景的入射光经过物镜和滤光转轮后聚焦在低照度CMOS相机的光敏面上，转化为场景的数字图像输出，在同步信号触发下，微型直流电机通过机械转动来控制滤光转轮改变滤光状态(RGBW)，低照度CMOS相机同步采集对应RGBW滤光状态下的场景图像。系统主要由系统物镜、四通道滤光转轮、Thorlabs FD1D高对比度RGB滤光片、Photonis NOCTURN XL低照度CMOS黑白相机(像素数1280×1024，像素尺寸9.7μm，动态范围60dB，帧率100Hz)、基于FPGA和ARM的同步控制电路、微型直流电机、CameraLink数字视频采集卡以及图像处理PC机构成，其中滤光转轮加装RGB滤光片的三通道用来获取RGB彩色图像，不加装滤光片的通道用来获取W全通图像。如图3所示，为本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的图像采集系统结构示意图。
本实施例的已知条件如下：
(1)图像采集过程在标准光源D65、A下完成，使用接近自然光光谱成分的标准光源来观察实验场景的颜色，实际使用时光源安装在标准光源箱内。D65光源色温为6500K，是典型的日光光源；A光源色温为2856K，是典型的白炽灯光源，相比普通荧光灯光源色温偏黄、光谱连续且含有较多的近红外信息。
(2)图像采集场景包含丰富的纹理、颜色和材料。夜视场景1由毛绒布偶、色卡、纸质盒子、硬质花色杯垫构成；夜视场景2由书架、魔方、铁盒、彩色沙发布构成。
(3)图像采集过程在5×10-2lx、1×10-2lx、5×10-3lx三组环境照度下完成，利用微光照度计控制照度。
(4)图像采集过程中使用X-Rite标准色卡，在不同光源和光照条件下色卡有不同的颜色表现，如图4所示，为X-Rite SG色卡在不同标准光源下的色彩表现示意图。
(5)X-Rite标准色卡81个非灰度色块在D50光源下的标准XYZ值由X-Rite公司官网给出。根据Bradford变换可以将D50光源下X-Rite标准色卡的XYZ值转换到D65、A光源下，再将XYZ颜色空间线性转换到RGB颜色空间即可得到D65、A光源下标准色卡的参考RGB三刺激值。如图5所示，为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法中标准光源下色卡参考值的获取过程示意图。
如图1所示，本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，包括如下步骤：
步骤1：根据R、G、B、W各通道单色图像R0、G0、B0、W0，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，得到白平衡校正后的图像R1、G1、B1、W1，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤1-1：根据彩色夜视设备R、G、B、W各通道单色图像R0、G0、B0、W0，得到各通道的平均灰度值
Figure BDA0003167946480000091
Figure BDA0003167946480000092
其中(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，一副数字图像由M×N个像素点组成，M和N为图像的高度和宽度。
如图6(1a)(2a)、图7(1a)(2a)、图8(1a)(2a)、图9(1a)(2a)、图10(1a)(2a)、图11(1a)(2a)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的彩色夜视设备输出源图像，得到R、G、B通道单色图像R0、G0、B0。如图6(1b)(2b)、图7(1b)(2b)、图8(1b)(2b)、图9(1b)(2b)、图10(1b)(2b)、图11(1b)(2b)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的W通道单色图像W0。
步骤1-2：根据步骤1-1得到的彩色夜视设备R、G、B、W各通道的平均灰度值
Figure BDA0003167946480000093
Figure BDA0003167946480000094
得到各通道的白平衡系数α、β、γ、ζ。
Figure BDA0003167946480000095
其中
Figure BDA0003167946480000096
为最大的R、G、B、W各通道的平均灰度值。
步骤1-3：根据彩色夜视设备R、G、B、W各通道单色图像R0、G0、B0、W0，计算各通道中的像素最大值Rmax、Gmax、Bmax、Wmax，并得到亮度拉升系数ρ。
对于8bit图像，在计算各通道源图像中的像素最大值Rmax、Gmax、Bmax、Wmax时，去掉最大灰度级255，计算各通道图像的直方统计TRy、TGy、TBy、TWy(y＝0,1,2,…,254)，即各通道中灰度级为y的像素数，从大到小遍历254～0灰度级，直到找到像素数量超过N的某个灰度级的像素集。本实施例中，N取为，
N＝P*0.1％ (3)
其中P为图像总像素数。
R通道源图像R0中的像素最大值Rmax表示为，
Figure BDA0003167946480000101
G通道源图像G0中的像素最大值Gmax表示为，
Figure BDA0003167946480000102
B通道源图像B0中的像素最大值Bmax表示为，
Figure BDA0003167946480000103
W通道源图像W0中的像素最大值Wmax表示为，
Figure BDA0003167946480000104
得到亮度拉升系数ρ，
Figure BDA0003167946480000105
步骤1-4：根据彩色夜视设备R、G、B、W各通道单色图像R0、G0、B0、W0，步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ，对各通道图像进行白平衡恢复和亮度拉伸，得到白平衡校正的各通道图像R1、G1、B1、W1，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
Figure BDA0003167946480000106
如图6(1c)(2c)、图7(1c)(2c)、图8(1c)(2c)、图9(1c)(2c)、图10(1c)(2c)、图11(1c)(2c)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的自动白平衡校正图像，得到白平衡校正的各通道图像R1、G1、B1、W1。在极低照度下，为避免步骤2色彩校正中噪声的放大，可在白平衡完成后加入噪声抑制处理，如图6(1d)(2d)、图7(1d)(2d)、图8(1d)(2d)、图9(1d)(2d)、图10(1d)(2d)、图11(1d)(2d)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的去噪图像。可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤2：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，将各颜色分量拓展到非线性空间。根据已知条件(5)得到D65、A光源下色卡参考值R'k、G'k、B'k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到色彩校正后的图像R2、G2、B2，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤2-1：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，引入R1k、G1k、B1k、W1k的非线性项以及它们的组合项，将各颜色分量拓展到非线性空间，合成一组n个输入样本颜色矢量Pk(k＝1,2,3,…,n，n代表色卡非灰度色块的数量)。定义非线性项数量为q，将Pk合并成q×n的输入样本颜色矩阵P。
在将各颜色分量拓展到不同非线性空间时，根据白平衡校正的各通道图像R1、G1、B1、W1的色卡样本值R1k、G1k、B1k、W1k，输入样本颜色矢量Pk的形式如表1，
表1输入样本颜色矢量Pk的形式
Figure BDA0003167946480000111
步骤2-2：根据D65、A光源下色卡参考值R'k、G'k、B'k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，合成一组n个标准样本颜色矢量Qk(k＝1,2,3,…,n)，将Qk合并成3×n的标准样本颜色矩阵Q。
根据D65、A光源下色卡参考值R'k、G'k、B'k和不同非线性空间，标准样本颜色矢量Qk的形式如表2，
表2标准样本颜色矢量Qk的形式
Figure BDA0003167946480000121
步骤2-3：将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到颜色校正矩阵MCCM。
将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，MCCM表示P到Q的转换关系，
Q＝MCCMP (10)
根据回归方法求最佳色彩校正矩阵MCCM，即求解如式(11)所示的优化问题
Figure BDA0003167946480000122
其中k代表色卡非灰度色块的序号，||·||表示向量的二范数。
在不同回归方法下，MCCM的表达形式如表3，
表3颜色校正矩阵MCCM的形式
Figure BDA0003167946480000123
表3中，部分最小二乘回归法通过引入偏置常数λ获得更好的算法鲁棒性。实际计算中λ在[10-5,102]范围内以相等的对数点距取值，在每个λ下将色卡颜色样本分为z组，计算出z个CCM下的最小均方误差(MSE)和，选择最小MSE和对应的λ作为最优偏置常数。
步骤2-4：根据步骤2-3得到的颜色校正矩阵MCCM，对步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1进行色彩校正，得到色彩校正后的图像R2、G2、B2，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
步骤2-4所述对R1、G1、B1、W1进行色彩校正的实现方法如下：
根据步骤2-1中表1的形式，将步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1的每一个像素点处的像素值R1(i,j)、G1(i,j)、B1(i,j)、W1(i,j)拓展到不同非线性空间，(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，数字图像由M×N个像素点组成，M和N为图像的高度和宽度。经拓展，彩色图像维度由M×N×4变为M×N×q。
将步骤2-3求得的色彩校正矩阵MCCM作用于拓展后的彩色图像的每一个像素点，即将色彩校正矩阵MCCM乘以拓展后的彩色图像的每一个像素点的像素值，得到M×N×3图像，即得到色彩校正后的图像R2、G2、B2，并合成彩色图像。在不同非线性空间和回归方法的组合下，色彩校正矩阵MCCM具有多种形式，挑选实际效果最好的MCCM完成色彩校正，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
如图6(1e)(1f)(2e)(2f)、图7(1e)(1f)(2e)(2f)、图8(1e)(1f)(2e)(2f)、图9(1e)(1f)(2e)(2f)、图10(1e)(1f)(2e)(2f)、图11(1e)(1f)(2e)(2f)所示，分别为本实施例的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的色彩校正图像。可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
本实施例公开的一种基于RGBW滤光转轮的单光路时分彩色成像方案通过获得R、G、B、W各通道单色图像并完成色彩增强，能够继承本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的优点。如图6、图7、图8、图9、图10、图11所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10-2lx、1×10-2lx、5×10-3lx下针对两组实际场景的处理效果示意图。根据色彩增强各步骤的效果，可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够提高彩色夜视设备输出色彩的显现度、饱和度和自然度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，其特征在于：包括如下步骤，
步骤1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，并根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，得到白平衡校正后的图像R1、G1、B1、W1；
步骤2：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，将各颜色分量拓展到非线性空间；已知标准光源下色卡参考值R′k、G′k、B′k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到色彩校正后的图像R2、G2、B2，并合成彩色图像；
步骤1实现方法为，
步骤1-1：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，得到各通道的平均灰度值
Figure FDA0003681554580000011
Figure FDA0003681554580000012
其中(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，一副数字图像由M×N个像素点组成，M、N分别为图像的高度、宽度；
步骤1-2：根据步骤1-1得到的彩色夜视设备R、G、B、W各通道的平均灰度值
Figure FDA0003681554580000013
Figure FDA0003681554580000014
得到各通道的白平衡系数α、β、γ、ζ；
Figure FDA0003681554580000015
其中
Figure FDA0003681554580000016
为最大的R、G、B、W各通道的平均灰度值；
步骤1-3：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，计算各通道中的像素最大值Rmax、Gmax、Bmax、Wmax，并得到亮度拉升系数ρ；
对于xbit图像，在计算各通道源图像中的像素最大值Rmax、Gmax、Bmax、Wmax时，去掉最大灰度级2x–1，计算各通道图像的直方统计TRy、TGy、TBy、TWy(y＝0,1,2,…,2x–2)，即各通道中灰度级为y的像素数，从大到小遍历2x–2～0灰度级，直到找到像素数量超过N的某个灰度级的像素集；
R通道源图像R0中的像素最大值Rmax表示为，
Figure FDA0003681554580000021
G通道源图像G0中的像素最大值Gmax表示为，
Figure FDA0003681554580000022
B通道源图像B0中的像素最大值Bmax表示为，
Figure FDA0003681554580000023
W通道源图像W0中的像素最大值Wmax表示为，
Figure FDA0003681554580000024
得到亮度拉升系数ρ，
Figure FDA0003681554580000025
步骤1-4：根据彩色夜视设备R、G、B、W各通道源图像R0、G0、B0、W0，步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ，对各通道图像进行白平衡恢复和亮度拉伸，得到白平衡校正的各通道图像R1、G1、B1、W1；
Figure FDA0003681554580000026
步骤2实现方法为，
步骤2-1：根据步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1，取R1、G1、B1、W1中的色卡样本值R1k、G1k、B1k、W1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，引入R1k、G1k、B1k、W1k的非线性项以及它们的组合项，将各颜色分量拓展到非线性空间，合成一组n个输入样本颜色矢量Pk(k＝1,2,3,…,n，n代表色卡非灰度色块的数量)；定义非线性项数量为q，将Pk合并成q×n的输入样本颜色矩阵P；
步骤2-2：根据已知标准光源下色卡参考值R′k、G′k、B′k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，合成一组n个标准样本颜色矢量Qk(k＝1,2,3,…,n)，将Qk合并成3×n的标准样本颜色矩阵Q；
步骤2-3：将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到颜色校正矩阵MCCM；
步骤2-4：根据步骤2-3得到的颜色校正矩阵MCCM，对步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1进行色彩校正，得到色彩校正后的图像R2、G2、B2，并合成彩色图像。
2.如权利要求1所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，其特征在于：步骤2-3实现方法为，
将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，MCCM表示P到Q的转换关系，
Q＝MCCMP (9)
根据回归方法求最佳色彩校正矩阵MCCM，即求解如式(10)所示的优化问题
Figure FDA0003681554580000031
其中k代表色卡非灰度色块的序号，||·||表示向量的二范数。
3.如权利要求2所述的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，其特征在于：步骤2-4所述对R1、G1、B1、W1进行色彩校正的实现方法如下，
根据步骤2-1中表1的形式，将步骤1得到的白平衡校正的各通道图像R1、G1、B1、W1的每一个像素点处的像素值R1(i,j)、G1(i,j)、B1(i,j)、W1(i,j)拓展到不同非线性空间，(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，数字图像由M×N个像素点组成，M和N为图像的高度和宽度；经拓展，彩色图像维度由M×N×4变为M×N×q；
将步骤2-3求得的色彩校正矩阵MCCM作用于拓展后的彩色图像的每一个像素点，即将色彩校正矩阵MCCM乘以拓展后的彩色图像的每一个像素点的像素值，得到M×N×3图像，即得到色彩校正后的图像R2、G2、B2，并合成彩色图像；在不同非线性空间和回归方法的组合下，色彩校正矩阵MCCM具有多种形式，挑选实际效果最好的MCCM完成色彩校正。
CN202110810755.8A 2021-07-18 2021-07-18 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 Active CN113556526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110810755.8A CN113556526B (zh) 2021-07-18 2021-07-18 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110810755.8A CN113556526B (zh) 2021-07-18 2021-07-18 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法

Publications (2)

Publication Number Publication Date
CN113556526A CN113556526A (zh) 2021-10-26
CN113556526B true CN113556526B (zh) 2022-11-15

Family

ID=78103320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110810755.8A Active CN113556526B (zh) 2021-07-18 2021-07-18 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法

Country Status (1)

Country Link
CN (1) CN113556526B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757854B (zh) * 2022-06-15 2022-09-02 深圳市安星数字系统有限公司 基于多光谱分析的夜视图像质量提升方法、装置、设备
CN115460391B (zh) * 2022-09-13 2024-04-16 浙江大华技术股份有限公司 图像的模拟方法、装置、存储介质及电子装置
CN117237258B (zh) * 2023-11-14 2024-02-09 山东捷瑞数字科技股份有限公司 基于三维引擎的夜视图像处理方法、系统、设备、介质
CN117745563B (zh) * 2024-02-21 2024-05-14 深圳市格瑞邦科技有限公司 一种双摄像头结合的平板电脑增强显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088975A1 (en) * 2012-12-03 2014-06-12 Entertainment Experience Llc Method for producing a color image and imaging device employing same
CN108846871A (zh) * 2018-06-25 2018-11-20 深圳市华星光电技术有限公司 一种图像处理方法及装置
CN112348747A (zh) * 2019-08-08 2021-02-09 苏州科达科技股份有限公司 图像增强方法、装置及存储介质
WO2021050055A1 (en) * 2019-09-11 2021-03-18 Google Llc Image colorization using machine learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022513A1 (ja) * 2015-07-31 2017-02-09 ソニー株式会社 映像信号処理装置および映像信号処理方法、ならびに表示装置
CN111062876B (zh) * 2018-10-17 2023-08-08 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN110110778B (zh) * 2019-04-29 2023-04-25 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2021114184A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 神经网络模型的训练方法、图像处理方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088975A1 (en) * 2012-12-03 2014-06-12 Entertainment Experience Llc Method for producing a color image and imaging device employing same
CN108846871A (zh) * 2018-06-25 2018-11-20 深圳市华星光电技术有限公司 一种图像处理方法及装置
CN112348747A (zh) * 2019-08-08 2021-02-09 苏州科达科技股份有限公司 图像增强方法、装置及存储介质
WO2021050055A1 (en) * 2019-09-11 2021-03-18 Google Llc Image colorization using machine learning

Also Published As

Publication number Publication date
CN113556526A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN113556526B (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
US20240137658A1 (en) Global tone mapping
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN103327342B (zh) 具有透明滤波器像素的成像系统
US20110243430A1 (en) Image input apparatus
TWI737979B (zh) 圖像去馬賽克裝置及方法
US8411176B2 (en) Image input device
US20130033585A1 (en) Systems and methods for color compensation in multi-view video
US8860798B2 (en) Image-capturing device and image processing method
WO2015079795A1 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
CN103595982A (zh) 基于灰度和彩色两颗传感器的彩色图像采集装置
CN107038680A (zh) 自适应光照的美颜方法及系统
JP2014165891A (ja) 撮像装置及び画像信号処理装置
CN102340673A (zh) 一种针对交通场景的摄像机白平衡方法
CN104796577B (zh) 基于emccd和单色ccd的彩色夜视成像装置及方法
WO2019104047A1 (en) Global tone mapping
WO2019015553A1 (zh) 图像色彩校正方法、装置、存储介质和计算机设备
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
CN106550227A (zh) 一种图像饱和度调整方法及装置
CN109672828B (zh) 基于光路白平衡的低照度提升装置及低照度提升方法
JP2007288573A (ja) クロマサプレス処理装置
CN107079108A (zh) 具有直方图扩展的机动车辆相机装置
JP2012010141A (ja) 画像処理装置
Brown Color processing for digital cameras
CN112422940A (zh) 一种自适应颜色校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant