CN112104847B - 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法 - Google Patents

一种基于残差和高频替换的sony-rgbw阵列彩色重构方法 Download PDF

Info

Publication number
CN112104847B
CN112104847B CN202010992525.3A CN202010992525A CN112104847B CN 112104847 B CN112104847 B CN 112104847B CN 202010992525 A CN202010992525 A CN 202010992525A CN 112104847 B CN112104847 B CN 112104847B
Authority
CN
China
Prior art keywords
pixel
color
image
channel
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010992525.3A
Other languages
English (en)
Other versions
CN112104847A (zh
Inventor
金伟其
王海琳
韩正昊
李力
裘溯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010992525.3A priority Critical patent/CN112104847B/zh
Publication of CN112104847A publication Critical patent/CN112104847A/zh
Application granted granted Critical
Publication of CN112104847B publication Critical patent/CN112104847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

本发明公开的一种基于残差和高频替换的SONY‑RGBW阵列彩色重构方法，属于光电探测器像素重构和彩色成像技术领域。针对SONY‑RGBW滤光阵列各通道空间离散排列的特点，利用亮度W通道信息细节保留能力强、信噪比高的优势，重构出亮度W图像，将其作为引导图像重构出RGB彩色图像，通过引导滤波，结合两个正交方向上的基于迭代残差插值的彩色重构结果，使各通道像素的采样率逐渐提升，通过高频替换增强RGB彩色图像，并利用场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正。本发明能够提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。

Description

一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法
技术领域
本发明涉及一种SONY-RGBW阵列彩色重构方法，尤其涉及一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，属于光电探测器像素重构和彩色成像技术领域。
背景技术
随着硅基探测器灵敏度的提高，虽然基于传统拜尔滤光阵列的CCD/CMOS彩色成像向低照度应用方向得到了拓展，但在低于1lx场景的色彩还原性和信噪比仍难以满足应用要求。为此，人们研究提出了多种基于新型RGBW彩色滤光片阵列的探测成像技术及彩色重构方法，这类技术在法国PHOTONIS NOCTURN U3、美国Iphone 6s以及日本SONY公司CMOS探测器等具有低照度彩色成像特性的产品中获得成功的应用。
典型RGBW滤光片阵列+探测器的光谱响应中，亮度W通道对应的像素加装全通滤光片，保持黑白探测器的可见光+近红外光谱响应，RGB通道像素在保留原有RGB通道光谱的基础上，拓展近红外的光谱响应，从而可有效增加目标场景辐射的接收，提高在低照度条件下的成像质量。但同时近红外辐射的加入也造成彩色图像的色彩失真，需要相应的彩色重构校正处理。另一方面，与RGGB拜尔滤光片阵列类似，SONY-RGBW滤光阵列的RGBW通道也是空间离散排列，需要进行各通道图像的插值重构。不同的插值重构方法所造成的残留马赛克图像和彩色重构的色彩混叠也不尽相同，直接影响白天及低照度下彩色成像质量。
由于在滤光片上亮度W通道对应的像素占比最高，且滤光片光谱透过波段广，理论上图像细节保留能力更强，特别是低照度条件下的图像信噪比最高。然而，目前RGBW阵列颜色重构方法大多只是将彩色图像和亮度通道W图像分别处理，并结合拜尔阵列特点设计重构算法，未充分利用亮度W通道的优势。另一方面，基于色差的方法在彩色重构方面也有劣势，研究表明，残差用于衡量重构后像素值与初始滤光阵列像素值之间的能量差异，相比于色差更具平滑性，因此更适合应用于彩色重构过程。新型RGBW滤光阵列的彩色重构方法成为近年来国际研究的重要方向之一。
发明内容
本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法要解决的技术问题为：针对SONY-RGBW滤光阵列各通道空间离散排列的特点，通过引导滤波和高频替换挖掘亮度信息和彩色信息的相关性，实现基于迭代残差插值的彩色重构，结合两个正交方向上的彩色重构结果，使各通道的像素采样率逐渐提升，并通过颜色校正解决实际成像中近红外辐射导致各通道颜色饱和度下降的问题，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
本发明的目的是通过下述技术方案实现的：
本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，针对SONY-RGBW滤光阵列各通道空间离散排列的特点，利用亮度W通道信息细节保留能力强、信噪比高的优势，首先重构出亮度W图像，再将其作为引导图像重构出RGB彩色图像，通过引导滤波，并结合两个正交方向上的基于迭代残差插值的彩色重构结果，使各通道像素的采样率逐渐提升，接着通过高频替换增强RGB彩色图像，并利用场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正。本发明能够提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，包括如下步骤：
步骤1：根据初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像X0(＝R0,G0,B0),将G0与R0、B0分别处理，首先利用W0和G0重构出亮度图像W1，再利用W1和R0、B0重构出完整的亮度图像W2，通过双向引导滤波挖掘亮度信息和彩色信息的相关性，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，使亮度W通道像素采样率逐步提升，得到细节保留能力强、信噪比高的完整亮度图像W2，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤1-1：根据初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像G0，重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，进而得到亮度图像W1。通过双向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中双向引导滤波器输入为亮度图像W0和彩色图像G0，W0作为引导图像引导G0的彩色重构，同时G0作为引导图像引导W0的彩色重构，输出为彩色重构的近似估计W1和G01。采用双向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，G0(i,j)的初始近似估计
Figure BDA0002686978680000021
和W0(i,j)的初始近似估计
Figure BDA0002686978680000022
表示为，
Figure BDA0002686978680000023
其中(i,j)为ω(p,q)内待估计的像素位置，a1(p,q),b1(p,q)和a2(p,q),b2(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤1-1所述双向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在亮度W通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。根据插值区域内双向引导滤波得到的W、G像素的初始近似估计以及初始SONY-RGBW滤光阵列W、G像素值之间的能量差异，计算得到W、G像素的残差。
根据每一待重构的像素位置(i,j)处亮度图像W0(i,j)和彩色图像G0(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000031
和
Figure BDA0002686978680000032
该轮彩色重构的残差dW(i,j)和dG(i,j)表示为，
Figure BDA0002686978680000033
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
视插值方向，在亮度W通道和G通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上亮度W通道和G通道整体残差的采样率提升一倍，得到插值区域L内亮度W通道和G通道的整体残差估计
Figure BDA0002686978680000034
和
Figure BDA0002686978680000035
Figure BDA0002686978680000036
和
Figure BDA0002686978680000037
加上双向引导滤波得到的亮度W通道和G通道的整体初始近似估计
Figure BDA0002686978680000038
和
Figure BDA0002686978680000039
能够得到该轮迭代的亮度W通道和G通道的最终彩色重构估计结果W1和G01，表示为，
Figure BDA00026869786800000310
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成双向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内双向引导滤波器的初始输入为初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像G0加上待重构的每一像素位置对邻域W和G像素线性平均的像素分布，使该插值方向上W0和G0像素采样率提升一倍；第2轮彩色重构后，将上一轮彩色重构得到的亮度W通道和G通道的最终彩色重构估计结果作为本轮彩色重构双向引导滤波器的输入图像，形成双向引导滤波输入的迭代反馈机制。经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计W1，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤1-2：根据步骤1-1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0，重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，进而得到亮度图像W2。通过双向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中双向引导滤波器输入为亮度图像W1和彩色图像R0、B0，W1作为引导图像引导R0、B0的彩色重构，同时R0、B0作为引导图像引导W1的彩色重构，输出为彩色重构的近似估计W2和R01、B01。采用双向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，得到细节保留能力强、信噪比高的完整亮度图像W2，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R0(i,j)的初始近似估计
Figure BDA0002686978680000041
B0(i,j)的初始近似估计
Figure BDA0002686978680000042
W1,R(i,j)的初始近似估计
Figure BDA0002686978680000043
和W1,B(i,j)的初始近似估计
Figure BDA0002686978680000044
表示为，
Figure BDA0002686978680000045
其中(i,j)为ω(p,q)内待估计的像素位置，a3(p,q),b3(p,q)、a4(p,q),b4(p,q)、a5(p,q),b5(p,q)和a6(p,q),b6(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤1-2所述双向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在亮度W通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。根据插值区域内双向引导滤波得到的W、R、B像素的近似估计以及初始SONY-RGBW滤光阵列W、R、B像素值之间的能量差异，计算得到W、R、B像素的残差。
根据每一待重构的像素位置(i,j)处亮度图像W1(i,j)、彩色图像R0(i,j)和彩色图像B0(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000046
和
Figure BDA0002686978680000047
该轮彩色重构的残差dW,R(i,j)、dW,B(i,j)、dR(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000048
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
视插值方向，在亮度W通道和R、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上亮度W通道和R、B通道整体残差的采样率提升一倍，最终得到插值区域L内亮度W通道和R、B通道的整体残差估计
Figure BDA0002686978680000049
和
Figure BDA00026869786800000410
Figure BDA00026869786800000411
和
Figure BDA00026869786800000412
加上双向引导滤波得到的亮度W通道和R、B通道的整体初始近似估计
Figure BDA00026869786800000413
和
Figure BDA00026869786800000414
能够得到该轮迭代的亮度W通道和R、B通道的最终彩色重构估计结果W2和R01、B01，表示为：
Figure BDA0002686978680000051
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成双向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内双向引导滤波器的初始输入为步骤1-1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0加上待重构的每一像素位置对邻域W和R、B像素线性平均的像素分布，使该插值方向上W1和R0、B0像素采样率提升一倍；第2轮彩色重构后，将上一轮彩色重构得到的亮度W通道和R、B通道的最终彩色重构估计结果作为本轮彩色重构双向引导滤波器的输入图像，形成双向引导滤波输入的迭代反馈机制。经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计W2，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2：根据步骤1重构出的完整亮度图像W2和初始SONY-RGBW滤光阵列空间离散排列的彩色图像X0(＝R0,G0,B0),将W2作为引导图像，并将R0、B0和G0分别处理，首先利用W2和R0、B0重构出彩色图像R1、B1，然后利用W2和R1、G0、B1重构出彩色图像R2、G1、B2，最终利用W2和R2、G1、B2重构出完整的彩色图像R3、G2、B3，通过单向引导滤波挖掘亮度信息和彩色信息的相关性，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，使R、G、B通道像素采样率逐步提升，得到细节保留能力强、信噪比高的完整彩色图像R3、G2、B3，并合成一幅完整RGB彩色图像，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-1：根据步骤1重构出的完整亮度图像W2和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0，重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，进而得到彩色图像R1、B1。通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器输入为完整亮度图像W2和彩色图像R0、B0，W2作为引导图像引导R0、B0的彩色重构，输出为彩色重构的近似估计R1、B1。采用单向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R0(i,j)的初始近似估计
Figure BDA0002686978680000061
和B0(i,j)的初始近似估计
Figure BDA0002686978680000062
表示为，
Figure BDA0002686978680000063
其中(i,j)为ω(p,q)内待估计的像素位置，a7(p,q),b7(p,q)和a8(p,q),b8(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤2-1所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。根据插值区域内单向引导滤波得到的R、B像素的初始近似估计以及初始SONY-RGBW滤光阵列R、B像素值之间的能量差异，计算得到R、B像素的残差。
根据每一待重构的像素位置(i,j)处亮度图像W2(i,j)、彩色图像R0(i,j)和彩色图像B0(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000064
和
Figure BDA0002686978680000065
该轮彩色重构的残差dR(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000066
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
视插值方向，在R、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、B通道整体残差的采样率提升一倍，得到插值区域L内R、B通道的整体残差估计
Figure BDA0002686978680000067
和
Figure BDA0002686978680000068
Figure BDA0002686978680000069
和
Figure BDA00026869786800000610
加上单向引导滤波得到的R、B通道的整体初始近似估计
Figure BDA00026869786800000611
和
Figure BDA00026869786800000612
能够得到该轮迭代的R、B通道的最终彩色重构估计结果R1和B1，表示为，
Figure BDA00026869786800000613
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1以及初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0加上待重构的每一像素位置对邻域R、B像素线性平均的像素分布，使该插值方向上R0、B0像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制。经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计R1、B1，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-2：根据步骤1重构出的完整亮度图像W2、初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0以及步骤2-1重构出的彩色图像R1、B1，重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，进而得到彩色图像R2、G1、B2。通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器输入为完整亮度图像W2和彩色图像R1、G0、B1，W2作为引导图像引导R1、G0、B1的彩色重构，输出为彩色重构的近似估计R2、G1、B2。采用单向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R1(i,j)的初始近似估计
Figure BDA0002686978680000071
G0(i,j)的初始近似估计
Figure BDA0002686978680000072
和B1(i,j)的初始近似估计
Figure BDA0002686978680000073
表示为，
Figure BDA0002686978680000074
其中(i,j)为ω(p,q)内待估计的像素位置，a9(p,q),b9(p,q)、a10(p,q),b10(p,q)和a11(p,q),b11(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内近似估计相对于已有像素的能量求得。
步骤2-2所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、G、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。根据插值区域内单向引导滤波得到的R、G、B像素的初始近似估计以及初始SONY-RGBW滤光阵列G像素值、步骤2-1重构出的R、B像素值之间的能量差异，计算得到R、G、B像素的残差。
根据每一待重构的像素位置(i,j)处彩色图像R1(i,j)、G0(i,j)和B1(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000075
和
Figure BDA0002686978680000076
该轮彩色重构的残差dR(i,j)、dG(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000077
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
视插值方向，在R、G、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、G、B通道整体残差的采样率提升一倍，最终得到插值区域L内R、G、B通道的整体残差估计
Figure BDA0002686978680000081
和
Figure BDA0002686978680000082
Figure BDA0002686978680000083
和
Figure BDA0002686978680000084
加上单向引导滤波得到的R、G、B通道的整体初始近似估计
Figure BDA0002686978680000085
和
Figure BDA0002686978680000086
能够得到该轮迭代的R、G、B通道的最终彩色重构估计结果R2、G1和B2，表示为，
Figure BDA0002686978680000087
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0加上待重构的每一像素位置对邻域G像素线性平均的像素分布、步骤2-1重构出的彩色图像R1、B1加上待重构的每一像素位置对邻域R、B像素线性平均的像素分布，使该插值方向上R1、G0、B1像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、G、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制。经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计R2、G1、B2，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-3：根据步骤1重构出的完整亮度图像W2和步骤2-2重构出的彩色图像R2、G1、B2，重构出初始SONY-RGBW滤光阵列W像素位置的R、G、B通道图像，进而得到彩色图像R3、G2、B3。通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器输入为完整亮度图像W2和彩色图像R2、G1、B2，W2作为引导图像引导R2、G1、B2的彩色重构，输出为彩色重构的近似估计R3、G2、B3。采用单向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，得到细节保留能力强、信噪比高的完整彩色图像R3、G2、B3，并合成一幅完整RGB彩色图像，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R2(i,j)的初始近似估计
Figure BDA0002686978680000088
G1(i,j)的初始近似估计
Figure BDA0002686978680000089
和B2(i,j)的初始近似估计
Figure BDA00026869786800000810
表示为，
Figure BDA00026869786800000811
其中(i,j)为ω(p,q)内待估计的像素位置，a12(p,q),b12(p,q)、a13(p,q),b13(p,q)和a14(p,q),b14(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤2-3所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、G、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。根据插值区域内单向引导滤波得到的R、G、B像素的近似估计和步骤2-2重构出的R、G、B像素值之间的能量差异，计算得到R、G、B像素的残差。
根据每一待重构的像素位置(i,j)处彩色图像R2(i,j)、G1(i,j)和B2(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000091
和
Figure BDA0002686978680000092
该轮彩色重构的残差dR(i,j)、dG(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000093
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
视插值方向，在R、G、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、G、B通道整体残差的采样率提升一倍，最终得到插值区域L内R、G、B通道的整体残差估计
Figure BDA0002686978680000094
和
Figure BDA0002686978680000095
Figure BDA0002686978680000096
和
Figure BDA0002686978680000097
加上单向引导滤波得到的R、G、B通道的整体初始近似估计
Figure BDA0002686978680000098
和
Figure BDA0002686978680000099
能够得到该轮迭代的R、G、B通道的最终彩色重构估计结果R3、G2和B3，表示为，
Figure BDA00026869786800000910
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1和步骤2-2重构出的彩色图像R2、G1、B2加上待重构的每一像素位置对邻域R、G、B像素线性平均的像素分布，使该插值方向上R2、G1、B2像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、G、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制。经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计R3、G2、B3，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤3：根据步骤1重构出的完整亮度图像W2和将步骤2重构出的完整彩色图像R3、G2、B3，用W2的高频成分替换R3、G2、B3的高频成分，通过该高频替换方法进一步挖掘亮度信息和彩色信息的相关性，增强彩色图像R3、G2、B3的水平、垂直、对角区域高频信息，得到增强后的彩色图像R4、G3、B4，合成一幅完整RGB彩色图像，提高固体探测器的高频信息保留能力，减少彩色成像中的锯齿效应，增强白天及低照度环境下光电成像系统的探测性能。
步骤4：根据步骤3增强后的彩色图像R4、G3、B4和参考彩色图像Rg、Gg、Bg，利用场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正，得到校正后的彩色图像R5、G4、B5，合成一幅完整RGB彩色图像，解决实际成像中近红外辐射导致各通道颜色饱和度下降的问题，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
通过一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，挖掘亮度信息和彩色信息的相关性，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
作为优选，所述各通道像素采样率逐渐提升的进一步实现方法为：根据SONY-RGBW滤光阵列各通道空间离散排列的特点，首先重构出亮度W图像，再将其作为引导图像重构出RGB彩色图像，经过基于迭代残差插值的彩色重构，步骤1-1中亮度W通道的像素采样率从50％提升至75％，步骤1-2中亮度W通道的像素采样率从75％提升至100％，重构出细节保留能力强、信噪比高的完整亮度图像。将步骤1重构出的亮度图像作为引导图像对R、G、B通道进行重构，经过基于迭代残差插值的彩色重构，步骤2-1中R通道的像素采样率从12.5％提升至25％，步骤2-2中R、G、B通道的像素采样率从25％提升至50％，步骤2-3中R、G、B通道的像素采样率从50％提升至100％。与直接将采样率提升至100％相比，各通道像素采样率逐渐提升能够提高待重构像素的估计准确度以及插值区域内残差的预测精度，进而提升固体探测器的重构质量，增强白天及低照度环境下光电成像系统的探测性能。
作为优选，所述两个正交的插值方向的选择方法为：根据待重构像素和已有像素的空间相对位置选择合适的插值方向，由于步骤1-1重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，且G像素和亮度W像素在水平和垂直方向的位置相邻，因此选择水平和垂直方向作为插值方向；由于步骤1-2重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，且R、B像素和亮度W像素在对角线45°和135°方向的位置相邻，因此选择对角线45°和135°方向作为插值方向；由于步骤2-1重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，且R像素和B像素在水平和垂直方向的位置间隔相邻，因此选择水平和垂直方向作为插值方向；由于步骤2-2重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，且G像素和R、B像素在对角线45°和135°方向的位置相邻，因此选择对角线45°和135°方向作为插值方向；由于步骤2-3重构出初始SONY-RGBW滤光阵列亮度W像素位置的R、G、B通道图像，且亮度W像素和R、G、B像素在水平和垂直方向的位置相邻，因此选择水平和垂直方向作为插值方向。通过在上述两个正交的插值方向实现基于迭代残差插值的彩色重构，最终将两个方向上的插值结果加权平均，实现固体探测器对边缘细节的重构保留，克服残留马赛克图像和彩色重构的色彩混叠。
作为进一步优选，所述插值区域的选择方法为：根据待重构像素的空间位置和上述两个正交的插值方向选择合适的插值区域，由于步骤1-1重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，且插值方向为水平和垂直方向，选择初始SONY-RGBW滤光阵列G像素所在的水平和垂直区域作为插值区域；由于步骤1-2重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，且插值方向为对角线45°和135°方向，选择初始SONY-RGBW滤光阵列R、B像素所在的对角线45°和135°区域作为插值区域；由于步骤2-1重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，且插值方向为水平和垂直方向，选择初始SONY-RGBW滤光阵列R、B像素所在的水平和垂直区域作为插值区域；由于步骤2-2重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，且插值方向为对角线45°和135°区域，选择初始SONY-RGBW滤光阵列R、G、B像素所在的对角线45°和135°区域作为插值区域；由于步骤2-3重构出初始SONY-RGBW滤光阵列亮度W像素位置的R、G、B通道图像，且插值方向为水平和垂直方向，选择初始SONY-RGBW滤光阵列R、G、B像素所在的水平和垂直区域作为插值区域。通过在上述两个正交的插值方向和对应的插值区域实现基于迭代残差插值的彩色重构，最终将两个方向上的插值结果加权平均，实现固体探测器对边缘细节的重构保留，克服残留马赛克图像和彩色重构的色彩混叠。
作为优选，所述引导滤波输入的迭代反馈机制中逐像素评价因子的计算方法为：在每一轮彩色重构中，首先在待重构的每一像素位置(i,j)分别计算平均绝对误差MAD(i,j,k)，即该轮彩色重构最终估计结果X(i,j,k)与上一轮彩色重构最终估计结果X(i,j,k-1)的差值绝对值，则MAD(i,j,k)表示为，
MAD(i,j,k)＝|X(i,j,k)-X(i,j,k-1)| (16)
引入梯度约束
Figure BDA0002686978680000111
和拉普拉斯约束Δ考察MAD(i,j,k)的平滑程度，将待重构的每一像素位置(i,j)的逐像素评价因子C(i,j,k)表示为，
Figure BDA0002686978680000112
按照上述计算方法，计算出待重构的每一像素位置的逐像素评价因子，并控制迭代插值结果更新，更新条件为：在每一轮彩色重构中，若待重构每一像素位置的逐像素评价因子小于上一轮彩色重构的逐像素评价因子，则该像素位置彩色重构的最终结果用本轮彩色重构结果更新。只有当所述条件符合时，才允许该像素位置彩色重构的最终结果更新，提高彩色重构算法的局部适应性，进而提高固体探测器的重构精确度和边缘细节保持能力。
作为进一步优选，所述引导滤波输入的迭代反馈机制中，迭代轮数的选择方法为：根据实际使用需求，为达到硬件平台计算成本和固体探测器彩色重构性能的平衡，选择步骤1-1和步骤1-2的迭代轮数为5，以重构出细节保留能力强、信噪比高的完整亮度图像。后续在重构彩色图像时适当降低迭代次数，选择步骤2-1、步骤2-2和步骤2-3的迭代轮数为3，提高固体探测器的重构精确度和边缘细节保持能力。
作为优选，所述结合两个正交方向上的彩色重构结果的实现方法为：利用所述逐像素评价因子，将待重构的每一像素迭代终止时的逐像素评价因子倒数记作该方向的权重，最终在该像素位置将两个正交方向上的彩色重构结果加权平均。即在待重构的每一像素位置(i,j)，将两个正交方向上彩色重构结果Xh(i,j),X＝R,G,B,W和Xv(i,j)(或Xd45(i,j)和Xd135(i,j))加权平均得到最终彩色重构结果，
Figure BDA0002686978680000121
或
Figure BDA0002686978680000122
其中wh(i,j)＝1/(Ch(i,j)+ε)，wv(i,j)＝1/(Cv(i,j)+ε)，wd45(i,j)＝1/(Cd45(i,j)+ε)，wd135(i,j)＝1/(Cd135(i,j)+ε)，ε取值为1×10-10，Ch(i,j)、Cv(i,j)、Cd45(i,j)、Cd135(i,j)为迭代终止时的逐像素评价因子。按照上述实现方法得到最终彩色重构结果，实现固体探测器对于边缘细节的重构保留，克服残留马赛克图像和彩色重构的色彩混叠。
作为优选，所述引导滤波窗口尺寸的选择方法为：采用动态变化的窗口尺寸，根据彩色重构过程中待重构像素和已有像素的空间相对位置、不同的插值方向和各通道像素采样率的逐步提升而变化，即：由于步骤1-1中G像素和亮度W像素在水平和垂直方向的位置相邻，选择引导滤波窗口尺寸为5×5；由于步骤1-2中R、B像素和亮度W像素在对角线45°和135°方向的位置相邻，但与步骤1-1相比对角线方向插值过程涉及的像素空域范围更广，因此选择引导滤波窗口尺寸为11×11；由于步骤2-1中R像素和B像素在水平和垂直方向的位置间隔相邻，但与步骤1-1相比待重构像素和已有像素的空间相对位置排列更为稀疏，选择引导滤波窗口尺寸为9×9；由于步骤2-2和步骤2-3中各通道的像素采样率逐渐提升，可适当降低引导滤波窗口尺寸，选择引导滤波窗口尺寸为5×5。通过上述动态变化的引导滤波窗口尺寸，实现局部窗口内对重构像素值的准确线性估计，提高固体探测器的重构精确度和边缘细节保持能力。
作为优选，所述高频替换的进一步实现方法为：根据步骤1重构出的完整亮度图像W2和将步骤2重构出的完整彩色图像R3、G2、B3，对四幅图像进行二维离散小波变换，在R3、G2、B3、W2四幅图像的行列方向分别使用l0＝[1 2 1]/4，h0＝[1 -2 1]/4两个滤波器，使各图像分解成近似估计、水平高频成分、垂直高频成分、对角线高频成分四部分，并用W2的高频成分替换R3、G2、B3的高频成分，进一步挖掘亮度信息和彩色信息的相关性。后续对分解后的各成分使用二维离散小波逆变换，使用l1＝[-1 2 6 2 -1]/8和h1＝[1 2 -6 2 1]/8两个滤波器，得到增强后的彩色图像R4、G3、B4，合成一幅完整RGB彩色图像，完成对彩色图像水平、垂直、对角区域高频信息的增强，提高固体探测器的高频信息保留能力，减少彩色成像中的锯齿效应，增强白天及低照度环境下光电成像系统的探测性能。
作为优选，所述颜色校正的进一步实现方法为：根据步骤3增强后的彩色图像R4、G3、B4和参考彩色图像Rg、Gg、Bg，利用场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正，通过最小二乘回归方程拟合饱和度下降的颜色到参考颜色之间的映射关系，得到颜色校正矩阵，后续通过彩色图像R4、G3、B4与颜色校正矩阵相乘，得到颜色校正后的彩色图像R5、G4、B5，并合成一幅完整RGB彩色图像，解决实际成像中近红外辐射导致各通道颜色饱和度下降的问题，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法应用领域，包括军用彩色夜视摄像机传感器系统、具有低照度彩色成像特性的消费产品、军用夜视仪、交通管制、夜间导航领域，在所述应用领域提升固体探测器的彩色重构精确度和边缘细节保持能力，减少彩色成像中的颜色混叠和锯齿效应，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
有益效果：
1、与结合拜尔阵列特点设计、未充分利用亮度信息优势的传统RGBW滤光阵列彩色重构方法相比，本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，通过引导滤波和高频替换挖掘亮度信息和彩色信息的相关性，利用亮度W通道信息细节保留能力强、信噪比高等优势，将亮度图像作为引导图像重构RGB彩色图像，并通过完成对彩色图像水平、垂直、对角区域高频信息的增强，提高固体探测器的高频信息保留能力，减少彩色成像中的锯齿效应，增强白天及低照度环境下光电成像系统的探测性能。
2、本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，通过基于迭代残差插值的彩色重构，并结合两个正交方向上的彩色重构结果，能够提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
3、本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，根据SONY-RGBW滤光阵列各通道空间离散排列的特点，使各通道像素采样率逐渐提升，与直接将采样率提升至100％相比，各通道像素采样率逐渐提升能够提高待重构像素的估计准确度以及插值区域内残差的预测精度，进而提升固体探测器的重构质量，增强白天及低照度环境下光电成像系统的探测性能。
4、本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，通过场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正，解决实际成像中近红外辐射导致各通道颜色饱和度下降的问题，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
附图说明
图1为本发明的SONY-RGBW探测器滤光阵列示意图。
图2为本发明的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法的图像采集系统结构。
图3为本发明的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法的示意图。
图4为本发明的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法中基于双向引导滤波的迭代残差插值示意图(以步骤1-1重构W像素在水平方向的插值过程为例)。
图5为本发明的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法中基于单向引导滤波的迭代残差插值示意图(以步骤2-1重构R像素在水平方向的插值过程为例)。
其中：1-光学镜头、2-滤光片、3-微型直流电机、4-探测器、5-同步通信模块、6-PC机处理显示模块。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例：
如图1所示，为SONY-RGBW探测器滤光阵列示意图，滤光阵列各像素的最小空域排布周期为4×4，其中亮度W像素占50％，G像素占25％，R和B像素各占12.5％，各像素在空域内占比稀疏且分布不均，每个像素只对一种特定波长范围的光响应，在每一待重构像素位置需利用邻域像素和通道间相关性恢复出其他颜色，实现滤光阵列各通道完整图像的重构。
为了验证方法的可行性，选择加装滤光转轮的图像采集系统，获得各通道图像并进行预处理，针对SONY-RGBW滤光阵列的空域特点在各像素掩膜位置对图像进行采样，得到稀疏的各通道图像表示R0、G0、B0和W0，对预处理图像实现本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法。如图2所示，图像采集系统系统结构包括光学镜头、滤光片、微型直流电机、探测器、同步通信模块和PC机处理显示模块。其中，光学镜头选择Edmund TECHSPEC 50mm定焦物镜；滤光片选择Thorlabs FD1D高对比度RGB滤光片以及全通W滤光片，固定在滤光转轮上，并使用FAULHABER 2250S024 BX4 CSD微型直流电机控制滤光转轮旋转角度；探测器选择Photonis NOCTURN XL低照度CMOS探测器，分辨率为1280×1024，像素尺寸为9.7μm，动态范围为60dB，帧率为100Hz；同步通信模块使用基于FPGA信号处理板和ARM处理器的控制电路。场景中放置XRITE Color Checker Digital SG 140色卡来验证后续颜色校正。计算机PC端接收图像采集系统输出的数字信号，针对SONY-RGBW滤光阵列的空域特点在各像素掩膜位置对图像进行采样，得到稀疏的各通道图像表示，并对预处理图像实现本发明的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，实现固体探测器的彩色重构。
本实施例的已知条件如下：
亮度W像素采样率从50％逐渐提升至75％、100％，R和B像素采样率从12.5％逐渐提升至25％、50％、100％，G像素采样率从25％逐渐提升至50％、100％；
引导滤波窗口尺寸为5×5、11×11或9×9；
每一步分别在水平和垂直方向，或分别在对角线45°和135°方向实现基于迭代残差插值的彩色重构；
插值区域为R、G、B像素所在的水平和垂直区域，或R、G、B像素所在的对角线45°和135°方向区域；
彩色重构迭代轮数为5或3；
高频替换时使用l0＝[1 2 1]/4、h0＝[1-2 1]/4、l1＝[-1 2 6 2-1]/8和h1＝[12-6 2 1]/8四个滤波器；
颜色校正时使用颜色校正矩阵的多项式回归模型。
如图3所示，为本实施例公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法示意图，包括如下步骤：
步骤1：根据初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像X0(＝R0,G0,B0),将G0与R0、B0分别处理，首先利用W0和G0重构出亮度图像W1，再利用W1和R0、B0重构出完整的亮度图像W2，通过双向引导滤波挖掘亮度信息和彩色信息的相关性，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为5，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，使亮度W通道像素采样率从50％逐步提升至75％、100％，得到细节保留能力强、信噪比高的完整亮度图像W2，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤1-1：根据初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像G0，重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，使亮度W通道像素采样率从50％提升至75％，得到亮度图像W1。通过双向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中双向引导滤波器窗口尺寸为5×5，输入为亮度图像W0和彩色图像G0，W0作为引导图像引导G0的彩色重构，同时G0作为引导图像引导W0的彩色重构，输出为彩色重构的近似估计W1和G01。采用双向引导滤波输入的迭代反馈机制，并在水平和垂直方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为5，利用逐像素的评价因子将水平和垂直方向上的彩色重构结果加权平均，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤1-1的基于双向引导滤波的迭代残差插值示意图如图4所示。
在窗口尺寸为5×5，以(p,q)为中心的的引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，G0(i,j)的初始近似估计
Figure BDA0002686978680000161
和W0(i,j)的初始近似估计
Figure BDA0002686978680000162
表示为，
Figure BDA0002686978680000163
其中(i,j)为ω(p,q)内待估计的像素位置，a1(p,q),b1(p,q)和a2(p,q),b2(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤1-1所述双向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在亮度W通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。插值区域L为初始SONY-RGBW滤光阵列G像素所在的水平和垂直区域，根据插值区域L内双向引导滤波得到的W、G像素的初始近似估计以及初始SONY-RGBW滤光阵列W、G像素值之间的能量差异，计算得到W、G像素的残差。
根据每一待重构的像素位置(i,j)处亮度图像W0(i,j)和彩色图像G0(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000164
和
Figure BDA0002686978680000165
该轮彩色重构的残差dW(i,j)和dG(i,j)表示为，
Figure BDA0002686978680000166
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
接着，分别按照水平和垂直插值方向，在亮度W通道和G通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上亮度W通道和G通道整体残差的采样率提升一倍，得到插值区域L内亮度W通道和G通道的整体残差估计
Figure BDA0002686978680000167
和
Figure BDA0002686978680000168
此后，
Figure BDA0002686978680000169
和
Figure BDA00026869786800001610
加上双向引导滤波得到的亮度W通道和G通道的整体初始近似估计
Figure BDA00026869786800001611
和
Figure BDA00026869786800001612
能够得到该轮迭代的亮度W通道和G通道的最终彩色重构估计结果W1和G01，表示为，
Figure BDA00026869786800001613
按照上述单轮彩色重构估计方法，重复进行5轮彩色重构，形成双向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内双向引导滤波器的初始输入为初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像G0加上待重构的每一像素位置对邻域W和G像素线性平均的像素分布，使该插值方向上W0和G0像素采样率提升一倍；第2轮彩色重构后，将上一轮彩色重构得到的亮度W通道和G通道的最终彩色重构估计结果作为本轮彩色重构双向引导滤波器的输入图像，形成双向引导滤波输入的迭代反馈机制。
经过5轮彩色重构后，在待重构的每一像素位置(i,j)，将水平和垂直方向上彩色重构结果W1h(i,j)和W1v(i,j)加权平均得到彩色重构结果W1，
Figure BDA0002686978680000171
其中wh(i,j),wv(i,j)与迭代终止时的逐像素评价因子有关。按照上述方法最终得到彩色重构的近似估计W1，使亮度W通道像素采样率从50％提升至75％，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤1-2：根据步骤1-1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0，重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，使亮度W通道采样率从75％提升至100％，得到亮度图像W2。通过双向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中双向引导滤波器窗口尺寸为11×11，输入为亮度图像W1和彩色图像R0、B0，W1作为引导图像引导R0、B0的彩色重构，同时R0、B0作为引导图像引导W1的彩色重构，输出为彩色重构的近似估计W2和R01、B01。采用双向引导滤波输入的迭代反馈机制，并在对角线45°和135°方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为5，利用逐像素的评价因子将对角线45°和135°方向上的彩色重构结果加权平均，得到细节保留能力强、信噪比高的完整亮度图像W2，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在窗口尺寸为11×11，以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R0(i,j)的初始近似估计
Figure BDA0002686978680000172
B0(i,j)的初始近似估计
Figure BDA0002686978680000173
W1,R(i,j)的初始近似估计
Figure BDA0002686978680000174
和W1,B(i,j)的初始近似估计
Figure BDA0002686978680000175
表示为，
Figure BDA0002686978680000176
其中(i,j)为ω(p,q)内待估计的像素位置，a3(p,q),b3(p,q)、a4(p,q),b4(p,q)、a5(p,q),b5(p,q)和a6(p,q),b6(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤1-2所述双向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在亮度W通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。插值区域L为初始SONY-RGBW滤光阵列R、B像素所在的对角线45°和135°区域，根据插值区域L内双向引导滤波得到的W、R、B像素的近似估计以及初始SONY-RGBW滤光阵列W、R、B像素值之间的能量差异，计算得到W、R、B像素的残差。
根据每一待重构的像素位置(i,j)处亮度图像W1(i,j)、彩色图像R0(i,j)和彩色图像B0(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000181
和
Figure BDA0002686978680000182
该轮彩色重构的残差dW,R(i,j)、dW,B(i,j)、dR(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000183
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
接着，分别按照对角线45°和135°插值方向，在亮度W通道和R、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上亮度W通道和R、B通道整体残差的采样率提升一倍，最终得到插值区域L内亮度W通道和R、B通道的整体残差估计
Figure BDA0002686978680000184
Figure BDA0002686978680000185
和
Figure BDA0002686978680000186
此后，
Figure BDA0002686978680000187
和
Figure BDA0002686978680000188
加上双向引导滤波得到的亮度W通道和R、B通道的整体初始近似估计
Figure BDA0002686978680000189
和
Figure BDA00026869786800001810
能够得到该轮迭代的亮度W通道和R、B通道的最终彩色重构估计结果W2和R01、B01，表示为：
Figure BDA00026869786800001811
按照上述单轮彩色重构估计方法，重复进行5轮彩色重构，形成双向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内双向引导滤波器的初始输入为步骤1-1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0加上待重构的每一像素位置对邻域W和R、B像素线性平均的像素分布，使该插值方向上W1和R0、B0像素采样率提升一倍；第2轮彩色重构后，将上一轮彩色重构得到的亮度W通道和R、B通道的最终彩色重构估计结果作为本轮彩色重构双向引导滤波器的输入图像，形成双向引导滤波输入的迭代反馈机制。
经过5轮彩色重构后，在待重构的每一像素位置(i,j)，将对角线45°和135°方向上彩色重构结果W2d45(i,j)和W2d135(i,j)加权平均得到彩色重构结果W2，
Figure BDA0002686978680000191
其中wd45(i,j)，wd135(i,j)和迭代终止时的逐像素评价因子有关。按照上述方法最终得到彩色重构的近似估计W2，使亮度W通道像素采样率从75％提升至100％，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2：根据步骤1重构出的完整亮度图像W2和初始SONY-RGBW滤光阵列空间离散排列的彩色图像X0(＝R0,G0,B0),将W2作为引导图像，并将R0、B0和G0分别处理，首先利用W2和R0、B0重构出彩色图像R1、B1，然后利用W2和R1、G0、B1重构出彩色图像R2、G1、B2，最终利用W2和R2、G1、B2重构出完整的彩色图像R3、G2、B3，通过单向引导滤波挖掘亮度信息和彩色信息的相关性，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为3，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，使R、B通道像素采样率从12.5％提升至25％、50％、100％，G通道像素采样率从25％提升至50％、100％，得到细节保留能力强、信噪比高的完整彩色图像R3、G2、B3，并合成一幅完整RGB彩色图像，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-1：根据步骤1重构出的完整亮度图像W2和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0，重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，使R、B通道像素采样率从12.5％提升至25％，得到彩色图像R1、B1。通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器窗口尺寸为9×9，输入为完整亮度图像W2和彩色图像R0、B0，W2作为引导图像引导R0、B0的彩色重构，输出为彩色重构的近似估计R1、B1。采用单向引导滤波输入的迭代反馈机制，并在水平和垂直方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为3，利用逐像素的评价因子将水平和垂直方向上的彩色重构结果加权平均，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-1的基于单向引导滤波的迭代残差插值示意图如图5所示。
在窗口尺寸为9×9，以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R0(i,j)的初始近似估计
Figure BDA0002686978680000192
和B0(i,j)的初始近似估计
Figure BDA0002686978680000193
表示为，
Figure BDA0002686978680000194
其中(i,j)为ω(p,q)内待估计的像素位置，a7(p,q),b7(p,q)和a8(p,q),b8(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤2-1所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。插值区域L为初始SONY-RGBW滤光阵列R、B像素所在的水平和垂直区域，根据插值区域L内单向引导滤波得到的R、B像素的初始近似估计以及初始SONY-RGBW滤光阵列R、B像素值之间的能量差异，计算得到R、B像素的残差。
根据每一待重构的像素位置(i,j)处亮度图像W2(i,j)、彩色图像R0(i,j)和彩色图像B0(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000201
和
Figure BDA0002686978680000202
该轮彩色重构的残差dR(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000203
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
接着，分别按照水平和垂直插值方向，在R、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、B通道整体残差的采样率提升一倍，得到插值区域L内R、B通道的整体残差估计
Figure BDA0002686978680000204
和
Figure BDA0002686978680000205
此后，
Figure BDA0002686978680000206
和
Figure BDA0002686978680000207
加上单向引导滤波得到的R、B通道的整体初始近似估计
Figure BDA0002686978680000208
和
Figure BDA0002686978680000209
能够得到该轮迭代的R、B通道的最终彩色重构估计结果R1和B1，表示为，
Figure BDA00026869786800002010
按照上述单轮彩色重构估计方法，重复进行3轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1以及初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0加上待重构的每一像素位置对邻域R、B像素线性平均的像素分布，使该插值方向上R0、B0像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制。
经过3轮彩色重构后，在待重构的每一像素位置(i,j)，将水平和垂直方向上彩色重构结果R1,h(i,j)和R1,v(i,j)加权平均得到彩色重构结果R1，将水平和垂直方向上彩色重构结果B1,h(i,j)和B1,v(i,j)加权平均得到彩色重构结果B1，
Figure BDA0002686978680000211
其中wR,h(i,j)，wR,v(i,j)，wB,h(i,j),wB,v(i,j)和迭代终止时的逐像素评价因子有关。按照上述方法最终得到彩色重构的近似估计R1、B1，使R、B通道像素采样率从12.5％提升至25％，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-2：根据步骤1重构出的完整亮度图像W2、初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0以及步骤2-1重构出的彩色图像R1、B1，重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，使R、G、B通道像素采样率从25％提升至50％，得到彩色图像R2、G1、B2。通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器窗口尺寸为5×5，输入为完整亮度图像W2和彩色图像R1、G0、B1，W2作为引导图像引导R1、G0、B1的彩色重构，输出为彩色重构的近似估计R2、G1、B2。采用单向引导滤波输入的迭代反馈机制，并在对角线45°和135°方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为3，利用逐像素的评价因子将对角线45°和135°方向上的彩色重构结果加权平均，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在窗口尺寸为5×5，以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R1(i,j)的初始近似估计
Figure BDA0002686978680000212
G0(i,j)的初始近似估计
Figure BDA0002686978680000213
和B1(i,j)的初始近似估计
Figure BDA0002686978680000214
表示为，
Figure BDA0002686978680000215
其中(i,j)为ω(p,q)内待估计的像素位置，a9(p,q),b9(p,q)、a10(p,q),b10(p,q)和a11(p,q),b11(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤2-2所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、G、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。插值区域L为初始SONY-RGBW滤光阵列R、G、B像素所在的对角线45°和135°区域，根据插值区域L内单向引导滤波得到的R、G、B像素的初始近似估计以及初始SONY-RGBW滤光阵列G像素值、步骤2-1重构出的R、B像素值之间的能量差异，计算得到R、G、B像素的残差。
根据每一待重构的像素位置(i,j)处彩色图像R1(i,j)、G0(i,j)和B1(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000221
和
Figure BDA0002686978680000222
该轮彩色重构的残差dR(i,j)、dG(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000223
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
接着，分别按照对角线45°和135°插值方向，在R、G、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、G、B通道整体残差的采样率提升一倍，最终得到插值区域L内R、G、B通道的整体残差估计
Figure BDA0002686978680000224
和
Figure BDA0002686978680000225
此后，
Figure BDA0002686978680000226
和
Figure BDA0002686978680000227
加上单向引导滤波得到的R、G、B通道的整体初始近似估计
Figure BDA0002686978680000228
和
Figure BDA0002686978680000229
能够得到该轮迭代的R、G、B通道的最终彩色重构估计结果R2、G1和B2，表示为，
Figure BDA00026869786800002210
按照上述单轮彩色重构估计方法，重复进行3轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0加上待重构的每一像素位置对邻域G像素线性平均的像素分布、步骤2-1重构出的彩色图像R1、B1加上待重构的每一像素位置对邻域R、B像素线性平均的像素分布，使该插值方向上R1、G0、B1像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、G、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制。
经过3轮彩色重构后，在待重构的每一像素位置(i,j)，将对角线45°和135°方向上彩色重构结果R2,d45(i,j)和R2,d45(i,j)加权平均得到彩色重构结果R2(i,j)，将对角线45°和135°方向上彩色重构结果G1,d45(i,j)和G1,d135(i,j)加权平均得到彩色重构结果G1(i,j)，将对角线45°和135°方向上彩色重构结果B2,d45(i,j)和B2,d45(i,j)加权平均得到彩色重构结果B2(i,j),
Figure BDA00026869786800002211
其中wR,d45(i,j)，wR,d135(i,j)，wG,d45(i,j),wG,d45(i,j),wB,d45(i,j),wB,d45(i,j)和迭代终止时的逐像素评价因子有关。按照上述方法最终得到彩色重构的近似估计R2、G1、B2，使R、G、B通道像素采样率从25％提升至50％，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤2-3：根据步骤1重构出的完整亮度图像W2和步骤2-2重构出的彩色图像R2、G1、B2，重构出初始SONY-RGBW滤光阵列W像素位置的R、G、B通道图像，使R、G、B通道像素采样率从50％提升至100％，得到彩色图像R3、G2、B3。通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器窗口尺寸为5×5，输入为完整亮度图像W2和彩色图像R2、G1、B2，W2作为引导图像引导R2、G1、B2的彩色重构，输出为彩色重构的近似估计R3、G2、B3。采用单向引导滤波输入的迭代反馈机制，并在水平和垂直方向上分别实现基于迭代残差插值的彩色重构，彩色重构迭代轮数为3，利用逐像素的评价因子将水平和垂直方向上的彩色重构结果加权平均，得到细节保留能力强、信噪比高的完整彩色图像R3、G2、B3，并合成一幅完整RGB彩色图像，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
在窗口尺寸为5×5，以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R2(i,j)的初始近似估计
Figure BDA0002686978680000231
G1(i,j)的初始近似估计
Figure BDA0002686978680000232
和B2(i,j)的初始近似估计
Figure BDA0002686978680000233
表示为，
Figure BDA0002686978680000234
其中(i,j)为ω(p,q)内待估计的像素位置，a12(p,q),b12(p,q)、a13(p,q),b13(p,q)和a14(p,q),b14(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
步骤2-3所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、G、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性。插值区域L为初始SONY-RGBW滤光阵列R、G、B像素所在的水平和垂直区域，根据插值区域L内单向引导滤波得到的R、G、B像素的近似估计和步骤2-2重构出的R、G、B像素值之间的能量差异，计算得到R、G、B像素的残差。
根据每一待重构的像素位置(i,j)处彩色图像R2(i,j)、G1(i,j)和B2(i,j)，以及插值区域L内的初始近似估计
Figure BDA0002686978680000235
和
Figure BDA0002686978680000236
该轮彩色重构的残差dR(i,j)、dG(i,j)和dB(i,j)表示为，
Figure BDA0002686978680000241
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0。
接着，分别按照水平和垂直插值方向，在R、G、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、G、B通道整体残差的采样率提升一倍，最终得到插值区域L内R、G、B通道的整体残差估计
Figure BDA0002686978680000242
和
Figure BDA0002686978680000243
此后，
Figure BDA0002686978680000244
和
Figure BDA0002686978680000245
加上单向引导滤波得到的R、G、B通道的整体初始近似估计
Figure BDA0002686978680000246
和
Figure BDA0002686978680000247
能够得到该轮迭代的R、G、B通道的最终彩色重构估计结果R3、G2和B3，表示为，
Figure BDA0002686978680000248
按照上述单轮彩色重构估计方法，重复进行3轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1和步骤2-2重构出的彩色图像R2、G1、B2加上待重构的每一像素位置对邻域R、G、B像素线性平均的像素分布，使该插值方向上R2、G1、B2像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、G、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制。
经过3轮彩色重构后，在待重构的每一像素位置(i,j)，将水平和垂直方向上彩色重构结果R3,h(i,j)和R3,v(i,j)加权平均得到彩色重构结果R3(i,j)，将水平和垂直方向上彩色重构结果G2,h(i,j)和G2,v(i,j)加权平均得到彩色重构结果G2(i,j),将水平和垂直方向上彩色重构结果B3,h(i,j)和B3,v(i,j)加权平均得到彩色重构结果B3(i,j)，
Figure BDA0002686978680000249
其中wR,h(i,j)，wR,v(i,j)，wG,h(i,j),wG,v(i,j),wB,h(i,j),wB,v(i,j)和迭代终止时的逐像素评价因子有关。按照上述方法最终得到彩色重构的近似估计R3、G2、B3，使R、G、B通道像素采样率从50％提升至100％，提高固体探测器的重构精确度和边缘细节保持能力，减少彩色成像中常见的颜色混叠和锯齿效应。
步骤3：根据步骤1重构出的完整亮度图像W2和将步骤2重构出的完整彩色图像R3、G2、B3，对四幅图像进行二维离散小波变换，在R3、G2、B3、W2四幅图像的行列方向分别使用l0＝[1 2 1]/4，h0＝[1 -2 1]/4两个滤波器，使各图像分解成近似估计、水平高频成分、垂直高频成分、对角线高频成分四部分，并用W2的高频成分替换R3、G2、B3的高频成分，进一步挖掘亮度信息和彩色信息的相关性。后续对分解后的各成分使用二维离散小波逆变换增强彩色图像R3、G2、B3的水平、垂直、对角区域高频信息，使用l1＝[-1 2 6 2 -1]/8和h1＝[1 2 -62 1]/8两个滤波器，得到增强后的彩色图像R4、G3、B4，合成一幅完整RGB彩色图像，提高固体探测器的高频信息保留能力，减少彩色成像中的锯齿效应，增强白天及低照度环境下光电成像系统的探测性能。
步骤4：根据步骤3增强后的彩色图像R4、G3、B4和参考彩色图像Rg、Gg、Bg，利用场景中的色卡和颜色校正矩阵的多项式回归模型进行颜色校正，通过最小二乘回归方程拟合饱和度下降的颜色到参考颜色之间的映射关系，得到颜色校正矩阵，后续通过彩色图像R4、G3、B4与颜色校正矩阵相乘，得到校正后的彩色图像R5、G4、B5，合成一幅完整RGB彩色图像，解决实际成像中近红外辐射导致各通道颜色饱和度下降的问题，提高探测器重构结果的颜色准确性，增强白天及低照度环境下光电成像系统的探测性能。
本实施例公开的基于滤光转轮图像采集系统的SONY-RGBW阵列彩色重构方法，通过获得各通道图像并进行预处理并实现彩色重构，即能够继承本发明公开的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法的优点，提高固体探测器的重构精确度和边缘细节保持能力、减少彩色成像中常见的颜色混叠和锯齿效应、提高探测器重构结果的颜色准确性、增强白天及低照度环境下光电成像系统的探测性能。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：包括如下步骤，
步骤1：根据初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像X0,将G0与R0、B0分别处理，首先利用W0和G0重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像,进而得到亮度图像W1，再利用W1和R0、B0重构出完整的亮度图像W2，通过双向引导滤波挖掘亮度信息和彩色信息的相关性，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，使亮度W通道像素采样率逐步提升，得到细节保留能力强、信噪比高的完整亮度图像W2；
步骤2：根据步骤1重构出的完整亮度图像W2和初始SONY-RGBW滤光阵列空间离散排列的彩色图像X0,将W2作为引导图像，并将R0、B0和G0分别处理，首先利用W2和R0、B0重构出彩色图像R1、B1，然后利用W2和R1、G0、B1重构出彩色图像R2、G1、B2，最终利用W2和R2、G1、B2重构出完整的彩色图像R3、G2、B3，通过单向引导滤波挖掘亮度信息和彩色信息的相关性，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，使R、G、B通道像素采样率逐步提升，得到细节保留能力强、信噪比高的完整彩色图像R3、G2、B3，并合成一幅完整RGB彩色图像；
步骤3：根据步骤1重构出的完整亮度图像W2和将步骤2重构出的完整彩色图像R3、G2、B3，用W2的高频成分替换R3、G2、B3的高频成分，通过该高频替换方法进一步挖掘亮度信息和彩色信息的相关性，增强彩色图像R3、G2、B3的水平、垂直、对角区域高频信息，得到增强后的彩色图像R4、G3、B4，合成一幅完整RGB彩色图像；
步骤4：根据步骤3增强后的彩色图像R4、G3、B4和参考彩色图像Rg、Gg、Bg，利用场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正，得到校正后的彩色图像R5、G4、B5，合成一幅完整RGB彩色图像，解决实际成像中近红外辐射导致各通道颜色饱和度下降的问题。
2.如权利要求1所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：步骤1实现方法为，
步骤1-1：根据初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像G0，重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，进而得到亮度图像W1；通过双向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中双向引导滤波器输入为亮度图像W0和彩色图像G0，W0作为引导图像引导G0的彩色重构，同时G0作为引导图像引导W0的彩色重构，输出为彩色重构的近似估计W1和G01；采用双向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均；
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，G0(i,j)的初始近似估计
Figure RE-FDA0003104617980000021
和W0(i,j)的初始近似估计
Figure RE-FDA0003104617980000022
表示为，
Figure RE-FDA0003104617980000023
其中(i,j)为ω(p,q)内待估计的像素位置G0(i,j)代表初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0在(i,j)处的像素值；W0(i,j)代表初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0在(i,j)处的像素值；a1(p,q),b1(p,q)和a2(p,q),b2(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得；
步骤1-2：根据步骤1-1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0，重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，进而得到亮度图像W2；通过双向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中双向引导滤波器输入为亮度图像W1和彩色图像R0、B0，W1作为引导图像引导R0、B0的彩色重构，同时R0、B0作为引导图像引导W1的彩色重构，输出为彩色重构的近似估计W2和R01、B01；采用双向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，得到细节保留能力强、信噪比高的完整亮度图像W2；
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R0(i,j)的初始近似估计
Figure RE-FDA0003104617980000024
B0(i,j)的初始近似估计
Figure RE-FDA0003104617980000025
W1,R(i,j)的初始近似估计
Figure RE-FDA0003104617980000026
和W1,B(i,j)的初始近似估计
Figure RE-FDA0003104617980000027
表示为，
Figure RE-FDA0003104617980000028
其中(i,j)为ω(p,q)内待估计的像素位置；R0(i,j)代表初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0在(i,j)处的像素值；B0(i,j)代表初始SONY-RGBW滤光阵列空间离散排列的彩色图像B0在(i,j)处的像素值；W1,R为初始SONY-RGBW滤光阵列R像素位置的亮度W通道图像，W1,R(i,j)代表W1,R在(i,j)处的像素值；W1,B为初始SONY-RGBW滤光阵列B像素位置的亮度W通道图像，W1,B(i,j)代表W1,B在(i,j)处的像素值；W1为经过步骤1-1重构得到的亮度W通道图像，W1(i,j)代表W1在(i,j)处的像素值；a3(p,q),b3(p,q)、a4(p,q),b4(p,q)、a5(p,q),b5(p,q)和a6(p,q),b6(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
3.如权利要求2所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：步骤2实现方法为，
步骤2-1：根据步骤1重构出的完整亮度图像W2和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0，重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，进而得到彩色图像R1、B1；通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器输入为完整亮度图像W2和彩色图像R0、B0，W2作为引导图像引导R0、B0的彩色重构，输出为彩色重构的近似估计R1、B1；采用单向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均；
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R0(i,j)的初始近似估计
Figure RE-FDA0003104617980000031
和B0(i,j)的初始近似估计
Figure RE-FDA0003104617980000032
表示为，
Figure RE-FDA0003104617980000033
其中(i,j)为ω(p,q)内待估计的像素位置；W2为步骤1重构出的完整亮度图像,W2(i,j)代表W2在(i,j)处的像素值；a7(p,q),b7(p,q)和a8(p,q),b8(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得；
步骤2-2：根据步骤1重构出的完整亮度图像W2、初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0以及步骤2-1重构出的彩色图像R1、B1，重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，进而得到彩色图像R2、G1、B2；通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器输入为完整亮度图像W2和彩色图像R1、G0、B1，W2作为引导图像引导R1、G0、B1的彩色重构，输出为彩色重构的近似估计R2、G1、B2；采用单向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均；
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R1(i,j)的初始近似估计
Figure RE-FDA0003104617980000034
G0(i,j)的初始近似估计
Figure RE-FDA0003104617980000035
和B1(i,j)的初始近似估计
Figure RE-FDA0003104617980000036
表示为，
Figure RE-FDA0003104617980000037
其中(i,j)为ω(p,q)内待估计的像素位置；R1为经过步骤2-1重构得到的R通道图像，R1(i,j)代表R1在(i,j)处的像素值；B1为经过步骤2-1重构得到的B通道图像，B1(i,j)代表B1在(i,j)处的像素值；W2为步骤1重构出的完整亮度图像,W2(i,j)代表W2在(i,j)处的像素值；a9(p,q),b9(p,q)、a10(p,q),b10(p,q)和a11(p,q),b11(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，通过减小引导滤波窗口内近似估计相对于已有像素的能量求得；
步骤2-3：根据步骤1重构出的完整亮度图像W2和步骤2-2重构出的彩色图像R2、G1、B2，重构出初始SONY-RGBW滤光阵列W像素位置的R、G、B通道图像，进而得到彩色图像R3、G2、B3；通过单向引导滤波的迭代残差插值挖掘亮度信息和彩色信息的相关性，其中单向引导滤波器输入为完整亮度图像W2和彩色图像R2、G1、B2，W2作为引导图像引导R2、G1、B2的彩色重构，输出为彩色重构的近似估计R3、G2、B3；采用单向引导滤波输入的迭代反馈机制，并在两个正交方向上分别实现基于迭代残差插值的彩色重构，利用逐像素的评价因子将两个正交方向上的彩色重构结果加权平均，得到细节保留能力强、信噪比高的完整彩色图像R3、G2、B3，并合成一幅完整RGB彩色图像；
在以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处，R2(i,j)的初始近似估计
Figure RE-FDA0003104617980000041
G1(i,j)的初始近似估计
Figure RE-FDA0003104617980000042
和B2(i,j)的初始近似估计
Figure RE-FDA0003104617980000043
表示为，
Figure RE-FDA0003104617980000044
其中(i,j)为ω(p,q)内待估计的像素位置；R2为经过步骤2-2重构得到的R通道图像，R2(i,j)代表R2在(i,j)处的像素值；G1为经过步骤2-2重构得到的G通道图像，G1(i,j)代表G1在(i,j)处的像素值；B2为经过步骤2-2重构得到的B通道图像，B2(i,j)代表B2在(i,j)处的像素值；a12(p,q),b12(p,q)、a13(p,q),b13(p,q)和a14(p,q),b14(p,q)为引导滤波窗口内的线性系数，在属于不同窗口的重叠区域，线性系数为各窗口加权平均值，可通过减小引导滤波窗口内初始近似估计相对于已有像素的能量求得。
4.如权利要求3所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：步骤1-1所述双向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在亮度W通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性；根据插值区域内双向引导滤波得到的W、G像素的初始近似估计以及初始SONY-RGBW滤光阵列W、G像素值之间的能量差异，计算得到W、G像素的残差；
根据每一待重构的像素位置(i,j)处亮度图像W0(i,j)和彩色图像G0(i,j)，以及插值区域L内的初始近似估计
Figure RE-FDA0003104617980000051
和
Figure RE-FDA0003104617980000052
该轮彩色重构的残差dW(i,j)和dG(i,j)表示为，
Figure RE-FDA0003104617980000053
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0；
Figure RE-FDA0003104617980000054
代表运算只有在插值区域L内的图像像素位置(i,j)才生效,(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，一副数字图像由M×N个像素点组成，M和N为图像的高度和宽度；
视插值方向，在亮度W通道和G通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上亮度W通道和G通道整体残差的采样率提升一倍，得到插值区域L内亮度W通道和G通道的整体残差估计
Figure RE-FDA0003104617980000055
和
Figure RE-FDA0003104617980000056
Figure RE-FDA0003104617980000057
和
Figure RE-FDA0003104617980000058
加上双向引导滤波得到的亮度W通道和G通道的整体初始近似估计
Figure RE-FDA0003104617980000059
和
Figure RE-FDA00031046179800000510
能够得到该轮迭代的亮度W通道和G通道的最终彩色重构估计结果W1和G01，表示为，
Figure RE-FDA00031046179800000511
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成双向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内双向引导滤波器的初始输入为初始SONY-RGBW滤光阵列空间离散排列的亮度图像W0和彩色图像G0加上待重构的每一像素位置对邻域W和G像素线性平均的像素分布，使该插值方向上W0和G0像素采样率提升一倍；第2轮彩色重构后，将上一轮彩色重构得到的亮度W通道和G通道的最终彩色重构估计结果作为本轮彩色重构双向引导滤波器的输入图像，形成双向引导滤波输入的迭代反馈机制；经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计W1；
步骤1-2所述双向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在亮度W通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性；根据插值区域内双向引导滤波得到的W、R、B像素的近似估计以及初始SONY-RGBW滤光阵列W、R、B像素值之间的能量差异，计算得到W、R、B像素的残差；
根据每一待重构的像素位置(i,j)处亮度图像W1(i,j)、彩色图像R0(i,j)和彩色图像B0(i,j)，以及插值区域L内的初始近似估计
Figure RE-FDA00031046179800000512
和
Figure RE-FDA00031046179800000513
该轮彩色重构的残差dW,R(i,j)、dW,B(i,j)、dR(i,j)和dB(i,j)表示为，
Figure RE-FDA0003104617980000061
其中M(i,j)代表初始滤光阵列各像素的掩膜,代表初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0在(i,j)处的像素值；B0(i,j)代表初始SONY-RGBW滤光阵列空间离散排列的彩色图像B0在(i,j)处的像素值；
Figure RE-FDA0003104617980000062
为以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处W1,R(i,j)的初始近似估计；
Figure RE-FDA0003104617980000063
为以(p,q)为中心的局部引导滤波窗口ω(p,q)内，在每一待重构的像素位置(i,j)处W1,B(i,j)的初始近似估计；在各像素采样的位置为1，其余位置为0；
视插值方向，在亮度W通道和R、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上亮度W通道和R、B通道整体残差的采样率提升一倍，最终得到插值区域L内亮度W通道和R、B通道的整体残差估计
Figure RE-FDA0003104617980000064
和
Figure RE-FDA0003104617980000065
Figure RE-FDA0003104617980000066
和
Figure RE-FDA0003104617980000067
加上双向引导滤波得到的亮度W通道和R、B通道的整体初始近似估计
Figure RE-FDA0003104617980000068
和
Figure RE-FDA0003104617980000069
能够得到该轮迭代的亮度W通道和R、B通道的最终彩色重构估计结果W2和R01、B01，表示为：
Figure RE-FDA00031046179800000610
其中，W2,R代表初始SONY-RGBW滤光阵列R像素位置的亮度W通道图像的最终彩色重构估计结果；W2,B代表初始SONY-RGBW滤光阵列B像素位置的亮度W通道图像的最终彩色重构估计结果；按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成双向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内双向引导滤波器的初始输入为步骤1-1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0加上待重构的每一像素位置对邻域W和R、B像素线性平均的像素分布，使该插值方向上W1和R0、B0像素采样率提升一倍；第2轮彩色重构后，将上一轮彩色重构得到的亮度W通道和R、B通道的最终彩色重构估计结果作为本轮彩色重构双向引导滤波器的输入图像，形成双向引导滤波输入的迭代反馈机制；经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计W2；
步骤2-1所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性；根据插值区域内单向引导滤波得到的R、B像素的初始近似估计以及初始SONY-RGBW滤光阵列R、B像素值之间的能量差异，计算得到R、B像素的残差；
根据每一待重构的像素位置(i,j)处亮度图像W2(i,j)、彩色图像R0(i,j)和彩色图像B0(i,j)，以及插值区域L内的初始近似估计
Figure RE-FDA0003104617980000071
和
Figure RE-FDA0003104617980000072
该轮彩色重构的残差dR(i,j)和dB(i,j)表示为，
Figure RE-FDA0003104617980000073
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0；
视插值方向，在R、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、B通道整体残差的采样率提升一倍，得到插值区域L内R、B通道的整体残差估计
Figure RE-FDA0003104617980000074
和
Figure RE-FDA0003104617980000075
Figure RE-FDA0003104617980000076
和
Figure RE-FDA0003104617980000077
加上单向引导滤波得到的R、B通道的整体初始近似估计
Figure RE-FDA0003104617980000078
和
Figure RE-FDA0003104617980000079
能够得到该轮迭代的R、B通道的最终彩色重构估计结果R1和B1，表示为，
Figure RE-FDA00031046179800000710
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1以及初始SONY-RGBW滤光阵列空间离散排列的彩色图像R0、B0加上待重构的每一像素位置对邻域R、B像素线性平均的像素分布，使该插值方向上R0、B0像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制；经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计R1、B1；
步骤2-2所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、G、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性；根据插值区域内单向引导滤波得到的R、G、B像素的初始近似估计以及初始SONY-RGBW滤光阵列G像素值、步骤2-1重构出的R、B像素值之间的能量差异，计算得到R、G、B像素的残差；
根据每一待重构的像素位置(i,j)处彩色图像R1(i,j)、G0(i,j)和B1(i,j)，以及插值区域L内的初始近似估计
Figure RE-FDA00031046179800000711
和
Figure RE-FDA00031046179800000712
该轮彩色重构的残差dR(i,j)、dG(i,j)和dB(i,j)表示为，
Figure RE-FDA0003104617980000081
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0；
视插值方向，在R、G、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、G、B通道整体残差的采样率提升一倍，最终得到插值区域L内R、G、B通道的整体残差估计
Figure RE-FDA0003104617980000082
和
Figure RE-FDA0003104617980000083
Figure RE-FDA0003104617980000084
和
Figure RE-FDA0003104617980000085
加上单向引导滤波得到的R、G、B通道的整体初始近似估计
Figure RE-FDA0003104617980000086
和
Figure RE-FDA0003104617980000087
能够得到该轮迭代的R、G、B通道的最终彩色重构估计结果R2、G1和B2，表示为，
Figure RE-FDA0003104617980000088
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1和初始SONY-RGBW滤光阵列空间离散排列的彩色图像G0加上待重构的每一像素位置对邻域G像素线性平均的像素分布、步骤2-1重构出的彩色图像R1、B1加上待重构的每一像素位置对邻域R、B像素线性平均的像素分布，使该插值方向上R1、G0、B1像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、G、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制；经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计R2、G1、B2；
步骤2-3所述单向引导滤波输入的迭代反馈机制的实现方法如下：
单轮彩色重构估计方法为：在R、G、B通道待重构的每一像素位置分别计算逐像素的评价因子，控制迭代残差插值的结果更新，提升彩色重构算法的局部适应性；根据插值区域内单向引导滤波得到的R、G、B像素的近似估计和步骤2-2重构出的R、G、B像素值之间的能量差异，计算得到R、G、B像素的残差；
根据每一待重构的像素位置(i,j)处彩色图像R2(i,j)、G1(i,j)和B2(i,j)，以及插值区域L内的初始近似估计
Figure RE-FDA0003104617980000089
和
Figure RE-FDA00031046179800000810
该轮彩色重构的残差dR(i,j)、dG(i,j)和dB(i,j)表示为，
Figure RE-FDA00031046179800000811
其中M(i,j)代表初始滤光阵列各像素的掩膜，在各像素采样的位置为1，其余位置为0；
视插值方向，在R、G、B通道待重构的每一像素位置对该方向上的邻域残差进行线性平均，使该方向上R、G、B通道整体残差的采样率提升一倍，最终得到插值区域L内R、G、B通道的整体残差估计
Figure RE-FDA0003104617980000091
和
Figure RE-FDA0003104617980000092
Figure RE-FDA0003104617980000093
和
Figure RE-FDA0003104617980000094
加上单向引导滤波得到的R、G、B通道的整体初始近似估计
Figure RE-FDA0003104617980000095
和
Figure RE-FDA0003104617980000096
能够得到该轮迭代的R、G、B通道的最终彩色重构估计结果R3、G2和B3，表示为，
Figure RE-FDA0003104617980000097
按照上述单轮彩色重构估计方法，重复进行多轮彩色重构，形成单向引导滤波输入的迭代反馈机制：在第1轮彩色重构中，插值区域内单向引导滤波器的初始输入为步骤1重构出的亮度图像W1和步骤2-2重构出的彩色图像R2、G1、B2加上待重构的每一像素位置对邻域R、G、B像素线性平均的像素分布，使该插值方向上R2、G1、B2像素采样率提升一倍；第2轮彩色重构后，将步骤1重构出的亮度图像W1和上一轮彩色重构得到的R、G、B通道的最终彩色重构估计结果作为本轮彩色重构单向引导滤波器的输入图像，形成单向引导滤波输入的迭代反馈机制；经过多轮彩色重构后，利用逐像素的评价因子将两个正交方向上的插值结果加权平均，最终得到彩色重构的近似估计R3、G2、B3。
5.如权利要求4所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：
所述各通道像素采样率逐渐提升的进一步实现方法为：根据SONY-RGBW滤光阵列各通道空间离散排列的特点，首先重构出亮度W图像，再将其作为引导图像重构出RGB彩色图像，经过基于迭代残差插值的彩色重构，步骤1-1中亮度W通道的像素采样率从50％提升至75％，步骤1-2中亮度W通道的像素采样率从75％提升至100％，重构出细节保留能力强、信噪比高的完整亮度图像；将步骤1重构出的亮度图像作为引导图像对R、G、B通道进行重构，经过基于迭代残差插值的彩色重构，步骤2-1中R通道的像素采样率从12.5％提升至25％，步骤2-2中R、G、B通道的像素采样率从25％提升至50％，步骤2-3中R、G、B通道的像素采样率从50％提升至100％；
所述两个正交的插值方向的选择方法为：根据待重构像素和已有像素的空间相对位置选择合适的插值方向，由于步骤1-1重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，且G像素和亮度W像素在水平和垂直方向的位置相邻，因此选择水平和垂直方向作为插值方向；由于步骤1-2重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，且R、B像素和亮度W像素在对角线45°和135°方向的位置相邻，因此选择对角线45°和135°方向作为插值方向；由于步骤2-1重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，且R像素和B像素在水平和垂直方向的位置间隔相邻，因此选择水平和垂直方向作为插值方向；由于步骤2-2重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，且G像素和R、B像素在对角线45°和135°方向的位置相邻，因此选择对角线45°和135°方向作为插值方向；由于步骤2-3重构出初始SONY-RGBW滤光阵列亮度W像素位置的R、G、B通道图像，且亮度W像素和R、G、B像素在水平和垂直方向的位置相邻，因此选择水平和垂直方向作为插值方向；通过在上述两个正交的插值方向实现基于迭代残差插值的彩色重构，最终将两个方向上的插值结果加权平均，实现固体探测器对边缘细节的重构保留，克服残留马赛克图像和彩色重构的色彩混叠。
6.如权利要求5所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：所述插值区域的选择方法为，根据待重构像素的空间位置和上述两个正交的插值方向选择合适的插值区域，由于步骤1-1重构出初始SONY-RGBW滤光阵列G像素位置的亮度W通道图像，且插值方向为水平和垂直方向，选择初始SONY-RGBW滤光阵列G像素所在的水平和垂直区域作为插值区域；由于步骤1-2重构出初始SONY-RGBW滤光阵列R、B像素位置的亮度W通道图像，且插值方向为对角线45°和135°方向，选择初始SONY-RGBW滤光阵列R、B像素所在的对角线45°和135°区域作为插值区域；由于步骤2-1重构出初始SONY-RGBW滤光阵列R像素位置的B通道图像和初始滤光阵列B像素位置的R通道图像，且插值方向为水平和垂直方向，选择初始SONY-RGBW滤光阵列R、B像素所在的水平和垂直区域作为插值区域；由于步骤2-2重构出初始SONY-RGBW滤光阵列G像素位置的R、B通道图像和步骤2-1重构出的R、B像素位置的G通道图像，且插值方向为对角线45°和135°区域，选择初始SONY-RGBW滤光阵列R、G、B像素所在的对角线45°和135°区域作为插值区域；由于步骤2-3重构出初始SONY-RGBW滤光阵列亮度W像素位置的R、G、B通道图像，且插值方向为水平和垂直方向，选择初始SONY-RGBW滤光阵列R、G、B像素所在的水平和垂直区域作为插值区域；通过在上述两个正交的插值方向和对应的插值区域实现基于迭代残差插值的彩色重构，最终将两个方向上的插值结果加权平均，实现固体探测器对边缘细节的重构保留，克服残留马赛克图像和彩色重构的色彩混叠。
7.如权利要求6所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：
所述引导滤波输入的迭代反馈机制中逐像素评价因子的计算方法为：在每一轮彩色重构中，首先在待重构的每一像素位置(i,j)分别计算平均绝对误差MAD(i,j,k)，即该轮彩色重构最终估计结果X(i,j,k)与上一轮彩色重构最终估计结果X(i,j,k-1)的差值绝对值，则MAD(i,j,k)表示为，
MAD(i,j,k)＝|X(i,j,k)-X(i,j,k-1)| (16)
引入梯度约束
Figure RE-FDA0003104617980000111
和拉普拉斯约束Δ考察MAD(i,j,k)的平滑程度，将待重构的每一像素位置(i,j)的逐像素评价因子C(i,j,k)表示为，
Figure RE-FDA0003104617980000112
按照上述计算方法，计算出待重构的每一像素位置的逐像素评价因子，并控制迭代插值结果更新，更新条件为：在每一轮彩色重构中，若待重构每一像素位置的逐像素评价因子小于上一轮彩色重构的逐像素评价因子，则该像素位置彩色重构的最终结果用本轮彩色重构结果更新；只有当所述条件符合时，才允许该像素位置彩色重构的最终结果更新；
所述结合两个正交方向上的彩色重构结果的实现方法为：利用所述逐像素评价因子，将待重构的每一像素迭代终止时的逐像素评价因子倒数记作该方向的权重，最终在该像素位置将两个正交方向上的彩色重构结果加权平均；即在待重构的每一像素位置(i,j)，将两个正交方向上彩色重构结果Xh(i,j)和Xv(i,j)或Xd45(i,j)和Xd135(i,j)加权平均得到最终彩色重构结果，其中X表示为R,G,B,W中的任意一个；
Figure RE-FDA0003104617980000113
或
Figure RE-FDA0003104617980000114
其中wh(i,j)＝1/(Ch(i,j)+ε)，wv(i,j)＝1/(Cv(i,j)+ε)，wd45(i,j)＝1/(Cd45(i,j)+ε)，wd135(i,j)＝1/(Cd135(i,j)+ε)，ε取值为1×10-10，Ch(i,j)、Cv(i,j)、Cd45(i,j)、Cd135(i,j)为迭代终止时的逐像素评价因子；按照上述实现方法得到最终彩色重构结果，实现固体探测器对于边缘细节的重构保留，克服残留马赛克图像和彩色重构的色彩混叠；
所述引导滤波窗口尺寸的选择方法为：采用动态变化的窗口尺寸，根据彩色重构过程中待重构像素和已有像素的空间相对位置、不同的插值方向和各通道像素采样率的逐步提升而变化，即：由于步骤1-1中G像素和亮度W像素在水平和垂直方向的位置相邻，选择引导滤波窗口尺寸为5×5；由于步骤1-2中R、B像素和亮度W像素在对角线45°和135°方向的位置相邻，但与步骤1-1相比对角线方向插值过程涉及的像素空域范围更广，因此选择引导滤波窗口尺寸为11×11；由于步骤2-1中R像素和B像素在水平和垂直方向的位置间隔相邻，但与步骤1-1相比待重构像素和已有像素的空间相对位置排列更为稀疏，选择引导滤波窗口尺寸为9×9；由于步骤2-2和步骤2-3中各通道的像素采样率逐渐提升，可适当降低引导滤波窗口尺寸，选择引导滤波窗口尺寸为5×5；通过上述动态变化的引导滤波窗口尺寸，实现局部窗口内对重构像素值的准确线性估计；
所述高频替换的进一步实现方法为：根据步骤1重构出的完整亮度图像W2和将步骤2重构出的完整彩色图像R3、G2、B3，对四幅图像进行二维离散小波变换，在R3、G2、B3、W2四幅图像的行列方向分别使用l0＝[1 2 1]/4，h0＝[1 -2 1]/4两个滤波器，使各图像分解成近似估计、水平高频成分、垂直高频成分、对角线高频成分四部分，并用W2的高频成分替换R3、G2、B3的高频成分，进一步挖掘亮度信息和彩色信息的相关性；后续对分解后的各成分使用二维离散小波逆变换，使用l1＝[-1 2 6 2 -1]/8和h1＝[1 2 -6 2 1]/8两个滤波器，得到增强后的彩色图像R4、G3、B4，合成一幅完整RGB彩色图像，完成对彩色图像水平、垂直、对角区域高频信息的增强；
所述颜色校正的进一步实现方法为：根据步骤3增强后的彩色图像R4、G3、B4和参考彩色图像Rg、Gg、Bg，利用场景中的色卡和颜色校正矩阵的非线性回归模型进行颜色校正，通过最小二乘回归方程拟合饱和度下降的颜色到参考颜色之间的映射关系，得到颜色校正矩阵，后续通过彩色图像R4、G3、B4与颜色校正矩阵相乘，得到颜色校正后的彩色图像R5、G4、B5，并合成一幅完整RGB彩色图像。
8.如权利要求7所述的一种基于残差和高频替换的SONY-RGBW阵列彩色重构方法，其特征在于：所述引导滤波输入的迭代反馈机制中，迭代轮数的选择方法为：根据实际使用需求，为达到硬件平台计算成本和固体探测器彩色重构性能的平衡，选择步骤1-1和步骤1-2的迭代轮数为5，以重构出细节保留能力强、信噪比高的完整亮度图像；后续在重构彩色图像时适当降低迭代次数，选择步骤2-1、步骤2-2和步骤2-3的迭代轮数为3。
CN202010992525.3A 2020-09-17 2020-09-17 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法 Active CN112104847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010992525.3A CN112104847B (zh) 2020-09-17 2020-09-17 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010992525.3A CN112104847B (zh) 2020-09-17 2020-09-17 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法

Publications (2)

Publication Number Publication Date
CN112104847A CN112104847A (zh) 2020-12-18
CN112104847B true CN112104847B (zh) 2021-07-23

Family

ID=73760133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010992525.3A Active CN112104847B (zh) 2020-09-17 2020-09-17 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法

Country Status (1)

Country Link
CN (1) CN112104847B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US20220284229A1 (en) * 2021-03-04 2022-09-08 Black Sesame International Holding Limited Rgb-nir dual camera face anti-spoofing method
CN114331916B (zh) * 2022-03-07 2022-07-22 荣耀终端有限公司 图像处理方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104485064A (zh) * 2014-12-31 2015-04-01 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
CN104539919A (zh) * 2014-12-31 2015-04-22 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN105430357A (zh) * 2015-11-26 2016-03-23 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN105788463A (zh) * 2016-05-24 2016-07-20 深圳市华星光电技术有限公司 显示面板及wrgb像素结构
CN110211070A (zh) * 2019-06-05 2019-09-06 电子科技大学 一种基于局部极值的低照度彩色图像增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219896B1 (en) * 2014-06-12 2015-12-22 Himax Imaging Limited Method of color processing using a color and white filter array

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104485064A (zh) * 2014-12-31 2015-04-01 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
CN104539919A (zh) * 2014-12-31 2015-04-22 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN105430357A (zh) * 2015-11-26 2016-03-23 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN105788463A (zh) * 2016-05-24 2016-07-20 深圳市华星光电技术有限公司 显示面板及wrgb像素结构
CN110211070A (zh) * 2019-06-05 2019-09-06 电子科技大学 一种基于局部极值的低照度彩色图像增强方法

Also Published As

Publication number Publication date
CN112104847A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112104847B (zh) 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法
US7760965B2 (en) Extended range image processing for electro-optical systems
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
US20150254813A1 (en) Methods and systems for suppressing atmospheric turbulence in images
CN106897981A (zh) 一种基于引导滤波的低照度图像增强方法
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
CN109447922B (zh) 一种改进的ihs变换遥感影像融合方法及系统
CN113962884B (zh) Hdr视频获取方法、装置、电子设备以及存储介质
CN112419181B (zh) 一种宽动态红外图像细节增强方法
CN110035239B (zh) 一种基于灰度—梯度优化的多积分时间红外图像融合方法
WO2017057047A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN107727231B (zh) 一种对光谱成像仪条带噪声进行修正的方法
CN110599418B (zh) 一种变换域融合的全局色调映射方法
US11962922B2 (en) Systems and methods for dark current compensation in single photon avalanche diode imagery
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
Bi et al. Haze removal for a single remote sensing image using low-rank and sparse prior
US20230300483A1 (en) Systems and methods for obtaining color imagery using single photon avalanche diodes
CN109791689A (zh) 图像信号处理器偏置补偿噪声降低系统和方法
Pan et al. Deep panchromatic image guided residual interpolation for multispectral image demosaicking
CN111932478A (zh) 一种非制冷红外焦平面的自适应非均匀校正方法
Huebner Software-based turbulence mitigation of short exposure image data with motion detection and background segmentation
Kim et al. Color interpolation algorithm for the Sony-RGBW color filter array
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
Huebner Compensating image degradation due to atmospheric turbulence in anisoplanatic conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant