CN109302593A - 一种面向单传感器相机成像系统的去马赛克算法 - Google Patents

一种面向单传感器相机成像系统的去马赛克算法 Download PDF

Info

Publication number
CN109302593A
CN109302593A CN201811303724.8A CN201811303724A CN109302593A CN 109302593 A CN109302593 A CN 109302593A CN 201811303724 A CN201811303724 A CN 201811303724A CN 109302593 A CN109302593 A CN 109302593A
Authority
CN
China
Prior art keywords
interpolation
green
gradient
blue
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811303724.8A
Other languages
English (en)
Inventor
陈向东
张洁
王�琦
臧婧汲
李华康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nupt Institute Of Big Data Research At Yancheng Co Ltd
Original Assignee
Nupt Institute Of Big Data Research At Yancheng Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nupt Institute Of Big Data Research At Yancheng Co Ltd filed Critical Nupt Institute Of Big Data Research At Yancheng Co Ltd
Priority to CN201811303724.8A priority Critical patent/CN109302593A/zh
Publication of CN109302593A publication Critical patent/CN109302593A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及面向单传感器相机成像系统的去马赛克算法,属于图像处理技术领域。其步骤包括输入CFA原始图像;运用五系数FIR滤波器对CFA原始图像绿色平面进行插值;采用梯度逆加权滤波法对插值后的绿色平面细化处理;利用绿色通道引导,对红色和蓝色通道分别进行方向加权插值;运用细化方法对插值后的红色和蓝色通道进行修正;输出重构后的整个全彩图像。本发明提供的CFA图像去马赛克方法在定方向加权插值算法的基础上添加了抗失真方向滤波器,因此插值精度高,特别是对不规则边缘的重建和微小细节的保存效果良好,对纹理细节保存能力更优越,重建图像颜色更加自然,能有效抑制假彩色现象。

Description

一种面向单传感器相机成像系统的去马赛克算法
技术领域:
本发明属于图像处理技术领域,是一种运用彩色滤波阵列(Color Filter Array,CFA), 基于定向加权插值的图像去马赛克方法。本发明是对存在马赛克效应的CFA图像进行红、绿、 蓝三个通道的插值和细化,从而重新构建出质量更高的全彩图像。
背景技术:
彩色数字图像通常用红、蓝、绿三基色来表示颜色值,为了减少成本,相机镜头会被覆 盖上一个色彩滤镜矩阵。在彩色数字图像中每个像素点只有红、绿、蓝三种基色中的一种, 另外两个颜色值是通过其邻近像素来插值,这个技术被称做“去马赛克”(Demosaicking)。
在过去的几十年内,很多种以拜尔(Bayer)模板为基础的去马赛克的算法已经被提出。例 如,S.C.Pei和I.K.Tam在“Effective Color Interpolation CCD Color FilterArrays Using Signal Correlation”(IEEE Trans.Circuits and Systems for VideoTechnology.vol.13, no.6,pp.503-513,June.2003)中提出了一种利用关联性的CCD图像的颜色插值算法, Pekkucuksen和Altunbasak在“Multiscale Gradients-Based ColorFilter Array Interpolation”(IEEE Trans.Image Process.vol.22,no.1,pp.157-165,July.2012)中 提出了一种非迭代的使用多尺度颜色梯度的去马赛克方法,Jiaji Wu等人在“Bayer Demosaicking With Polynomial Interpolation”(IEEE Trans.ImageProcess.vol.25,no.11, pp.5369-5382,Aug.2016)中说明了一种基于多项式的去马赛克插值法等等。而在这些众多的 算法中,有许多都是使用了定向加权插值(DirectionalWeighted Interpolation,DWI)的方 式。J.S.J.Li和S.Randhawa在“Color Filter ArrayDemosaicking Using High-order Interpolation Techniques with a Weighted MedianFilter for Sharp Color Edge Preservation”(IEEE Trans.Image Process.vol.18,no.9,pp.1946-1957,June.2009) 中提出的二阶方向加权插值(Second-orderDirectional Weighted Interpolation,SDWI), 高阶方向加权插值(High-orderDirectional Weighted Interpolation,HDWI),三次样条插 值(Cubic SplineInterpolation,CSI),N.X.Lian等人在文章“Adaptive Filtering for Color FilterArray Demosaicking”(IEEE Trans.Image Process.vol.16,no.10,pp.2515-2525,Oct.2007)中提出的自适应性滤波去马赛克法(Adaptive Filter for Demosaicking,AFD), D.paliy等人在“Spatially Adaptive Color Filter Array Interpolation forNoiseless and Noisy Data”(International Journal of Imaging Systems andTechnology,vol.17, no.3,pp.105-122,Oct.2007)中提出的局部多项式近似和置信区间交叉算法(Local Polynomial Approximation and Intersection of ConfidenceIntervals,LPA-ICI)以及 L.Zhang等人在“Color Demosaicking by Local DirectionalInterpolation and Non-local Adaptive Thresholding”(Journal of ElectronicImaging 20(2),023016(1April 2011)) 中介绍的局部定向插值和非局部自适应性阈值算法(Local Directional Interpolation and Nonlocal Adaptive Thresholding,LAD-NAT)。在这些算法中,都利用了4个对于中心缺失 的颜色成分的定向估计值,它基于在去马赛克过程中的一种常见假设——在一个图像的一个 对象内,通道间存在着很高的相关性。然而这种假设只有在一定范围内才有效,超出这个范 围后便不成立。因此,这些方法的表现都受限于其估计算法的精确度。并且,它们对图片细 小边缘和细节的保留能力,以及纹理还原能力都有一定局限性,无法精确地还原出自然图片 原本的色彩。本专利发明在传统四方向插值估算中添加了抗失真插值滤波器,能够明显减小 插值误差,准确估计插值结果,因此本去马赛克算法能够明显提升成像质量。
发明内容:
为了得到更高质量的去马赛克后的图片,在本专利中,对已存在的定向加权插值方法进 行了一定的改良。传统插值算法得到的图片边缘保真度不高,存在虚假颜色的问题。本专利 所提出的改进的去马赛克方法主要有三个步骤。首先,对绿色平面进行插值,利用五系数有 限脉冲响应滤波器(Five-tap Finite Impulse Response Filter)来消除混叠问题,提高精确 度。其次,由于梯度逆加权滤波法(Gradient Inverse WeightedFiltering,GIWF)稳定的去 噪性能和良好的保边保真能力,用它对绿色平面插值结果进行修正可以使其更加精准。第三 步是通过绿色通道的引导,分别对红色和蓝色通道进行方向加权插值,并且之后运用相似的 细化方法来修正。本发明具有较好的边缘保真度,能有效抑制边缘和纹理部分的虚假色,减 少插值缺陷,并且增加的复杂度可以忽略不计。
本发明采用如下技术方案:
本发明所述的面向单传感器相机成像系统的去马赛克算法,步骤如下:
(7)输入一个待去马赛克的CFA原始图像;
(8)运用五系数FIR滤波器对CFA原始图像绿色平面进行插值;
(9)采用梯度逆加权滤波法对插值后的绿色平面细化处理;
(10)利用绿色通道引导,对红色和蓝色通道分别进行方向加权插值;
(11)运用步骤(3)的细化方法对插值后的红色和蓝色通道进行修正;
(12)输出重构后的整个全彩图像。
本发明所述的面向单传感器相机成像系统的去马赛克算法,所述步骤2)中采用如下步 骤进行五系数FIR滤波器对绿色颜色分量计算插值:
1)、采用基于5×5的窗口来估计中心丢失的绿色成分五系数FIR滤波器采用如 下公式计算估计中心缺失的绿色成分的固定系数,
h5=[-5 15 44 15 -5]/64. (1)
2)利用蓝色和绿色平面间的光谱相关性以及抗失真FIR滤波器,我们可以预估计出在四个方向(北,西,东,南)上的分量其计算方法为:
其中i,j表示像素点的位置,即该像素处于第i行第j列。代表着经优 化过的绿色像素值,它可以通过利用五系数FIR滤波器得出,以北方向为例,计算方法为:
其中,dX(i)是被用来计算X(X=N,W,E,S)方向上的的定向颜色差;
3)、为合理估计没个方向的权重,采用如下式的梯度计算方法为Bi,j沿着4个边缘方向 的方向梯度被用来作为权重因数:
其中,ε是一个用来避免梯度为零的很小的正因子;
4)、得到上述步骤3)中方向梯度后,需计算出在不同方向X上分配给定向估计值的权 重比例ωx,计算公式为:
5)、将上述步骤2)中预估计的值和步骤4)中的权重因子结合,通过如下公式得出标准化后 最终的插值结果,计算公式为:
6)、通过对所有红色和蓝色的位置进行以上步骤,即可重新构建出绿色平面。
本发明所述的面向单传感器相机成像系统的去马赛克算法,上述步骤(3)中采用梯度逆 加权滤波法对绿色平面进行细化处理,包含如下步骤:
1)、采用一种基于3×3的滑动窗口,并用梯度逆加权滤波法来提高插值表现;采用如下公式 将与其四个最近的邻近像素(Gi-1,j,Gi+1,j,Gi,j-1,Gi,j+1)的一阶梯度表 示:
其中,ε2为一个为阻止梯度为0的很小的正因子;
2)、将一阶梯度取倒数来作为加权因子,通过如下公式从四个方向上细化
3)、通过如下公式运用梯度逆加权滤波法来改善预插值从而得到公式为:
5.根据权利要求1所述的面向单传感器相机成像系统的去马赛克算法,其特征在于,上 述步骤(4)所述的对缺失的红色和蓝色部分进行插值,包含如下步骤:
1)、以丢失的蓝色值处于红色取样位,此时中心位置为Ri-1,j-1,沿着Ri-1,j-1的四个对角线方向(西北:NW,东北:NE,西南:SW,东南:SE),通过如下公式计算出蓝色和绿色 的色差λBG,计算公式为:
其中分别是对应于位置Bi-2,j-2,Bi-2,j, Bi,j-2和Bi,j的重构出的绿色像素值;
将沿绿色像素点四个对角线方向(西北:NW,东北:NE,西南:SW,东南:SE)的梯度作为加权因子应用于插值过程中,公式为:
其中,ε为一个为阻止梯度为0的较小的正因子。 (表示位于Bi,j位 置所重构出的绿色成分)分别为对应位置Ri-3,j-3,Ri-3,j+1,Ri-1,j-1,Ri+1,j-3, Ri+1,j+1,Ri-2,j,Bi-2,j-2,Bi-2,j,Bi,j-2和Bi,j
(3)通过如下公式计算出的各方向上的梯度加权因子:
Px=(px)-1 (12)
其中,X为(西北:NW,东北:NE,西南:SW,东南:SE)方向
(4)将绿色插值结果与色差λBG结合,通过如下公式进行初步插补出丢失的蓝色像素值;
其中,为蓝色像素点位置在各个方向X(X=NW,NE,SW,SE)上利用公式(10)计算出来 的颜色差值。
本发明所述的面向单传感器相机成像系统的去马赛克算法,所述的原始像素位置中的红 色像素位置与蓝色像素位置相互对称,利用步骤4)在蓝色采样点中获取缺失的红色像素值, 在红色采样点中获取缺失的蓝色像素值。
有益效果
本发明提供的CFA图像去马赛克方法在定方向加权插值算法的基础上添加了抗失真方向 滤波器,因此插值精度高,特别是对不规则边缘的重建和微小细节的保存效果良好,对纹理 细节保存能力更优越,重建图像颜色更加自然,能有效抑制假彩色现象。
附图说明:
图1为本发明的流程图;
图2为本发明的的5×5的拜耳CFA样本的窗口示意图;
图3中(a)为本发明的二系数均值滤波器的频率响应示意图;
图3中(b)为本发明的五系数有限脉冲响应滤波器的频率响应示意图;
图4中(a)为本发明的定向的光谱水平性的估测示意图;
图4中(b)为本发明的定向的光谱垂直性的估测示意图;
图5中(a)本发明在CFA中在红色采样部分缺少蓝色部分的截取局部示意图;
图5中(b)本发明在CFA中在蓝色采样部分缺少红色部分的截取局部示意图;
图5中(c)本发明在CFA中为在绿色采样部分缺少红色部分的截取局部示意图;
图5中(d)本发明在CFA中为在绿色采样部分缺少蓝色部分的截取局部示意图;
图6为本发明的在实验中评估的从McM截取的子图像(500×500的TIFF格式);
图7中(a)为本发明从McM图像库截取局部的第5张原图;
图7中(b)为本发明由DWI去马赛克得到的图片;
图7中(c)为本发明由SDWI去马赛克得到的图片;
图7中(d)为本发明由HDWI去马赛克得到的图片;
图7中(e)为本发明由CSI去马赛克得到的图片;
图7中(f)为本发明由AFD去马赛克得到的图片;
图7中(g)为本发明由LPA-ICI去马赛克得到的图片;
图7中(h)为本发明由LAD-NAT去马赛克得到的图片;
图7中(i)为本发明由本发明方法IDWI去马赛克得到的图片;
图8中(a)为本发明从McM图像库截取局部的第13张原图;
图8中(b)为本发明由DWI去马赛克得到的图片;
图8中(c)为本发明由SDWI去马赛克得到的图片;
图8中(d)为本发明由HDWI去马赛克得到的图片;
图8中(e)为本发明由CSI去马赛克得到的图片;
图8中(f)为本发明由AFD去马赛克得到的图片;
图8中(g)为本发明由LPA-ICI去马赛克得到的图片;
图8中(h)为本发明由LAD-NAT去马赛克得到的图片;
图8中(i)为本发明由本发明方法IDWI去马赛克得到的图片;
图9中(a)为从McM图像库截取局部的第17张原图;
图9中(b)本发明由DWI去马赛克得到的图片;
图9中(c)本发明由SDWI去马赛克得到的图片;
图9中(d)本发明由HDWI去马赛克得到的图片;
图9中(e)为本发明由CSI去马赛克得到的图片;
图9中(f)本发明由AFD去马赛克得到的图片;
图9中(g)本发明由LPA-ICI去马赛克得到的图片;
图9中(h)本发明由LAD-NAT去马赛克得到的图片;
图9中(i)本发明由IDWI去马赛克得到的图片。
具体实施方式:
下面结合附图对本发明实现的步骤做进一步详细的描述:
本发明所述的面向单传感器相机成像系统的去马赛克算法,步骤如下:
(1)输入一个待去马赛克的CFA原始图像;
(2)运用五系数FIR滤波器对CFA原始图像绿色平面进行插值;
(3)采用梯度逆加权滤波法对插值后的绿色平面细化处理;
(4)利用绿色通道引导,对红色和蓝色通道分别进行方向加权插值;
运用细化方法对插值后的红色和蓝色通道进行修正;
首先对绿色平面进行插值:
如图2的5×5的拜耳CFA样本窗口所示,通过对Bi,j(处于第i行,第j列的蓝色成分)的北,东,西,南四个方向进行估计,可以得到Bi,j位置处所缺失的绿色中心成分的估计值利用五系数FIR滤波器来估计中心缺失的绿色成分的固定系数,计算方法为:
h5=[-5 15 44 15 -5]/64. (1)
五系数FIR滤波器被认为是理想的抗失真滤波器,它的频率响应形状为矩形,如图3(b) 所示。和二系数FIR滤波器相比(如图3(a)),它能避免严重的失真,从而提高精确度。
利用蓝色和绿色平面间的光谱相关性以及抗失真FIR滤波器,我们可以预估计出在四 个方向(北,西,东,南)上的分量其计算方法为:
其中i,j表示像素点的位置,即该像素处于第i行第j列。代表着经优 化过的绿色像素值,它可以通过利用五系数FIR滤波器得出,以北方向为例,计算方法为:
其中,dX(i)是被用来计算X(X=N,W,E,S)方向上的(可由图4(a,b)可得)定向的颜色差 值,此处用来计算北方向上的图4(a)显示了水平方向(东,西)上的差值,图4(b)显示 了水平方向(南,北)方向上的相邻颜色通道颜色差值。
为了获得更加精确的绿色中心成分我们把Bi,j的四个边缘方向上的方向梯度作为权 重因数,给每一次估计设定一个合理的权重;其四个方向梯度计算方法分别为:
其中,Gi,j代表着在第i行,第j列的绿色成分,Ri,j代表着在第i行,第j列的红色成分,Bi,j代表着在第i行,第j列的蓝色成分,ε是一个用来避免梯度为零的较小的正因子。 在得到上述步骤中方向梯度后,需计算出在不同方向X上分配给定向估计值的权重比例ωX,计算公式为:
5)、将上述步骤2)中预估计的值和步骤4)中的权重因子结合,通过如下公式得出归一化后 最终的插值结果,计算公式为:
6)、通过对所有红色和蓝色的位置进行以上步骤,即可重新构建出绿色平面。
2.绿色平面的细化
我们提出一种具有低复杂度的GIWF(梯度逆加权滤波器)来细化插值的丢失像素。GIWF 方法是通过从相同颜色平面内的相邻像素中获得梯度信息从而来细化预插入像素。它具有优 秀的保边保真能力。
在CFA模板中,Bi,j附近的4位像素(位于北,南,东,西)与中心绿色像素估计值有 着高相关性。因此,我们可以用这四位像素对绿色插值进行调整。首先,将与其四个最 近的相邻像素(Gi-1,j,Gi+1,j,Gi,j-1,Gi,j+1)的一阶梯梯度用公式表达出来,即:
其中,Gi,j代表着在第i行,第j列的绿色成分,代表着在Bi,j位置的绿色成分的估 计值,ε2为一个用来避免梯度为零的较小的正因子。
其次,将一阶梯度取倒数作为GIWF的加权因子,用于从四个方向上细化这可以通 过以下公式实现:
从公式(8)中可以看出随着的减小,加权因子会随之增大;随着的增大,加权 因子会随之减小,因此,根据四个最相邻像素的权重,我们可以细化
最后,通过应用GIWF来细化从而得到公式为:
其中,Gi,j代表着在第i行,第j列的绿色成分,代表着在Bi,j位置的绿色成分的估 计值,代表着加权因子。
3.插补丢失的红蓝部分:
根据丢失红蓝部分的位置,可分为两种情况:第一种情况为插补出位于红色(蓝色)位置 所丢失的蓝色(红色)像素值,第二种为插补出位于绿色位置所丢失的红色和蓝色像素值。
(1)针对第一种情况,由于绿色平面已经被还原出来且处于可利用阶段,如图5(a)所示, 我们可取Ri-1,j-1(处于第i-1行,第j-1列的红色样本)为中心位置,并且沿着Ri-1,j-1的四个对 角线方向计算出蓝色和绿色的色差λBG,计算公式为:
其中分别是对应位置Bi-2,j-2,Bi-2,j,Bi,j-2和Bi,j的重构出 的绿色像素值,Bi,j代表着在第i行,第j列的蓝色成分。
得到色差λBG后,我们要将绿色像素点四个对角线方向上的梯度作为加权因子,应用于
插值过程。在西北,西南,东北,东南四个方向上的梯度计算公式分别为:
其中,ε为一个为阻止梯度为0的较小的正因子。 (表示位于Bi,j位置所重构出的绿色成分)分别为对应位置Ri-3,j-3,Ri-3,j+1,Ri-1,j-1,Ri+1,j-3,Ri+1,j+1,Ri-2,j,Bi-2,j-2,Bi-2,j,Bi,j-2和Bi,j。Ri,j代表着在第i行,第j列的 红色成分,Bi,j代表着在第i行,第j列的蓝色成分。
(5)通过如下公式计算出的各方向上的梯度加权因子:
PX=(ρX)-1 (12)
其中,X为(西北:NW,东北:NE,西南:SW,东南:SE)方向
将绿色插值结果与色差λBG结合,我们可以初步插补出丢失的蓝色像素值,计算公式为:
其中表示位于Bi,j位置所重构出的绿色像素值。PNW,PNE,PSW,PSE分别表示西北,东北,西南,西北方向上的加权因子。
(2)针对第二种情况,如图5(c)和5(d)所示,在插补出位于蓝色(红色)位置所丢失的 红色(蓝色)像素值后,我们可用与上述相同的插值和细化步骤去估算在东南西北四个方向上 的绿色像素值。在插补出位于红色(蓝色)位置所丢失的蓝色(红色)像素值后,GIWF细化方法 也可以用于插补丢失的蓝色(红色)像素值。在完成了所有对丢失颜色成分的插值和还原后, 最终可以重建出整个全彩图像
如图6-9所示:从McMaster(McM)图像库获得经过剪辑过的子图象,然后用18组列举在 图6中图像来评估我们的去马赛克算法的表现。这些图片具有较低的光谱相关性并且相似于 那些能够被颜色传感器捕捉到的图片。
为了评估不同方法在去马赛克方面的表现,通过分析三幅局部截取的图像,来判断各个 方法对于细节保留的能力,如图7-9。附图7-9包含现有的去马赛克技术效果图和本发明去 马赛克技术效果图。其中图(a)为从McM图像库带到的原始马赛克图;图(b)是由DWI方法去 马赛克后得到的图片;图(c)是由SDWI方法去马赛克得到的图片;图(d)是由HDWI方法去马 赛克得到的图片;图(e)是由方法CSI去马赛克得到的图片;图(f)是由AFD方法去马赛克得 到的图片;图(g)是由LPA-ICI方法去马赛克得到的图片;图(h)是由LAD-NAT方法去马赛克 得到的图片;图(i)是由本发明方法IDWI去马赛克得到的图片。
用从图6中T恤衫上截取的局部信息来判断常规的细节保存能力。(见图7)对于一些图像 中的窄边和不规则线条,IDWI有着非常不错的视觉影响。比如说,通过IDWI解码的图片中, 边缘部分会显得更加平滑,就像在图像7(i)中显示的那样。相比之下,其他方法在图片的边 缘或者其他复杂的区域都会产生盐状噪声,像图像7(b)到7(h)。从McM图像库中获取的图
同样用来比较去马赛克算法的细节保留能力。我们用随意涂画的阳光部分来进行视觉比较。 (图8(a))。图8(i)显示,IDWI重建的图像中很好的保留的细小的边缘和细节,几乎与原图 像相似。相较之下,用其他方法得到的图像中,在边缘部分会有不连贯的颜色块,可见图8(b) 到8(h)。此外,相较于我们所提出的方法,用传统的去马赛克算法所重建出的图像会有更加 严重的盐状噪声。
在图像9中可以看到,当我们拿从McM图像库中获取的花和叶的图片来比较不同方法的 结构保存能力时,我们发现改进的定向加权插值法(Improved DirectionalWeighted Interpolation,IDWI)比其他方法保留了更多的细节信息。相比之下,其他方法会在叶子和 花出产生许多可见颜色块,见图像9(b)到9(h)。
对所有的对照测试图像而言,DWI的重建图像质量明显不如IDWI。由于添加了抗失真插 值滤波器,IDWI展示出更加柔和的边缘和更强大的纹理还原能力。上述对于该方法的评价表 明IDWI较于其他去马赛克方法能够更好的保存和还原细节。尤其在减少插值伪影时,IDWI 相较其他方法更具优势。综上所述,本发明IDWI的去马赛克效果优于传统的去马赛克算法。
本发明中所述的“北、西、东、南”的含义指的是阅读者正对附图时,相对于待处理像 素单元的中心位置,其上方位置为北,左边位置为西,右边位置为东,下面位置为南。
本发明中所述的“西北、东北、西南、东南”的含义指的是阅读者正对附图时,相对于 待处理像素单元的中心位置,其左上方位置为西北,右上方位置为东北,左下方位置为西南, 左下方位置为东南。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵 盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种面向单传感器相机成像系统的去马赛克算法,其特征在于:步骤如下:
(1)输入一个待去马赛克的CFA原始图像;
(2)运用五系数FIR滤波器对CFA原始图像绿色平面进行插值;
(3)采用梯度逆加权滤波法对插值后的绿色平面细化处理;
(4)利用绿色通道引导,对红色和蓝色通道分别进行方向加权插值;
(5)运用步骤(3)的细化方法对插值后的红色和蓝色通道进行修正;
(6)输出重构后的整个全彩图像。
2.根据权利要求1所述的面向单传感器相机成像系统的去马赛克算法,其特征在于:所述步骤2)中采用如下步骤进行五系数FIR滤波器对绿色颜色分量计算插值:
1)、采用基于5×5的窗口来估计中心丢失的绿色成分五系数FIR滤波器采用如下公式计算估计中心缺失的绿色成分的固定系数,
h5=[-5 15 44 15 -5]/64. (1)
2)利用蓝色和绿色平面间的光谱相关性以及抗失真FIR滤波器,我们可以预估计出在四个方向(北,西,东,南)上的分量其计算方法为:
其中i,j表示像素点的位置,即该像素处于第i行第j列。代表着经优化过的绿色像素值,它可以通过利用五系数FIR滤波器得出,以北方向为例,计算方法为:
其中,dx(i)是被用来计算X(X=N,W,E,S)方向上的的定向颜色差;
3)、为合理估计没个方向的权重,采用如下式的梯度计算方法为Bi,j沿着4个边缘方向的方向梯度被用来作为权重因数:
其中,ε是一个用来避免梯度为零的很小的正因子;
4)、得到上述步骤3)中方向梯度后,需计算出在不同方向X上分配给定向估计值的权重比例ωX,计算公式为:
5)、将上述步骤2)中预估计的值和步骤4)中的权重因子结合,通过如下公式得出标准化后最终的插值结果,计算公式为:
6)、通过对所有红色和蓝色的位置进行以上步骤,即可重新构建出绿色平面。
3.根据权利要求1所述的面向单传感器相机成像系统的去马赛克算法,其特征在于,上述步骤(3)中采用梯度逆加权滤波法对绿色平面进行细化处理,包含如下步骤:
1)、采用一种基于3×3的滑动窗口,并用梯度逆加权滤波法来提高插值表现;采用如下公式将与其四个最近的邻近像素(Gi-1,j,Gi+1,j,Gi,j-1,Gi,j+1)的一阶梯度表示:
其中,ε2为一个为阻止梯度为0的很小的正因子;
2)、将一阶梯度取倒数来作为加权因子,通过如下公式从四个方向上细化
3)、通过如下公式运用梯度逆加权滤波法来改善预插值从而得到公式为:
4.根据权利要求1所述的面向单传感器相机成像系统的去马赛克算法,其特征在于,上述步骤(4)所述的对缺失的红色和蓝色部分进行插值,包含如下步骤:
1)、以丢失的蓝色值处于红色取样位,此时中心位置为Ri-1,j-1,沿着Ri-1,j-1的四个对角线方向(西北:NW,东北:NE,西南:SW,东南:SE),通过如下公式计算出蓝色和绿色的色差λBG,计算公式为:
其中分别是对应于位置Bi-2,j-2,Bi-2,j,Bi,j-2和Bi,j的重构出的绿色像素值;
将沿绿色像素点四个对角线方向(西北:NW,东北:NE,西南:SW,东南:SE)的梯度作为加权因子应用于插值过程中,公式为:
其中,ε为一个为阻止梯度为0的较小的正因子。 (表示位于Bi,j位置所重构出的绿色成分)分别为对应位置Ri-3,j-3,Ri-3,j+1,Ri-1,j-1,Ri+1,j-3,Ri+1,j+1,Ri-2,j,Bi-2,j-2,Bi-2,j,Bi,j-2和Bi,j
(1)通过如下公式计算出的各方向上的梯度加权因子:
Px=(ρx)-1 (12)
其中,X为(西北:NW,东北:NE,西南:SW,东南:SE)方向
(2)将绿色插值结果与色差λBG结合,通过如下公式进行初步插补出丢失的蓝色像素值;
其中,为蓝色像素点位置在各个方向X(X=NW,NE,SW,SE)上利用公式(10)计算出来的颜色差值。
5.根据权利要求1所述的面向单传感器相机成像系统的去马赛克算法,其特征在于:所述的原始像素位置中的红色像素位置与蓝色像素位置相互对称,利用步骤4)在蓝色采样点中获取缺失的红色像素值,在红色采样点中获取缺失的蓝色像素值。
CN201811303724.8A 2018-11-02 2018-11-02 一种面向单传感器相机成像系统的去马赛克算法 Pending CN109302593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811303724.8A CN109302593A (zh) 2018-11-02 2018-11-02 一种面向单传感器相机成像系统的去马赛克算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811303724.8A CN109302593A (zh) 2018-11-02 2018-11-02 一种面向单传感器相机成像系统的去马赛克算法

Publications (1)

Publication Number Publication Date
CN109302593A true CN109302593A (zh) 2019-02-01

Family

ID=65145550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811303724.8A Pending CN109302593A (zh) 2018-11-02 2018-11-02 一种面向单传感器相机成像系统的去马赛克算法

Country Status (1)

Country Link
CN (1) CN109302593A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579279A (zh) * 2019-09-19 2019-12-17 西安理工大学 单传感器的九谱段多光谱成像系统的设计方法
CN111161204A (zh) * 2019-12-31 2020-05-15 展讯通信(上海)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111784575A (zh) * 2020-06-05 2020-10-16 上海赛昉科技有限公司 一种基于标定的监控摄像机去马赛克的方法
CN112004003A (zh) * 2020-08-07 2020-11-27 深圳市汇顶科技股份有限公司 图像处理方法、芯片、电子设备和存储介质
CN114004769A (zh) * 2021-12-30 2022-02-01 江苏游隼微电子有限公司 一种基于离散权重的Bayer去噪颜色插值方法
CN116883250A (zh) * 2023-09-07 2023-10-13 江苏游隼微电子有限公司 一种基于阈值划分和色域转换的去马赛克方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917629A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
CN102129666A (zh) * 2010-12-31 2011-07-20 华亚微电子(上海)有限公司 图像缩放方法及装置
CN103327218A (zh) * 2012-03-01 2013-09-25 苹果公司 图像处理系统和方法
CN104159091A (zh) * 2014-07-30 2014-11-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于边缘检测的颜色插值方法
CN108171668A (zh) * 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917629A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
CN102129666A (zh) * 2010-12-31 2011-07-20 华亚微电子(上海)有限公司 图像缩放方法及装置
CN103327218A (zh) * 2012-03-01 2013-09-25 苹果公司 图像处理系统和方法
CN104159091A (zh) * 2014-07-30 2014-11-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于边缘检测的颜色插值方法
CN108171668A (zh) * 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579279A (zh) * 2019-09-19 2019-12-17 西安理工大学 单传感器的九谱段多光谱成像系统的设计方法
CN110579279B (zh) * 2019-09-19 2021-08-06 西安理工大学 单传感器的九谱段多光谱成像系统的设计方法
CN111161204A (zh) * 2019-12-31 2020-05-15 展讯通信(上海)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111161204B (zh) * 2019-12-31 2022-08-30 展讯通信(上海)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111784575A (zh) * 2020-06-05 2020-10-16 上海赛昉科技有限公司 一种基于标定的监控摄像机去马赛克的方法
CN111784575B (zh) * 2020-06-05 2023-09-19 上海赛昉科技有限公司 一种基于标定的监控摄像机去马赛克的方法
CN112004003A (zh) * 2020-08-07 2020-11-27 深圳市汇顶科技股份有限公司 图像处理方法、芯片、电子设备和存储介质
CN114004769A (zh) * 2021-12-30 2022-02-01 江苏游隼微电子有限公司 一种基于离散权重的Bayer去噪颜色插值方法
CN116883250A (zh) * 2023-09-07 2023-10-13 江苏游隼微电子有限公司 一种基于阈值划分和色域转换的去马赛克方法
CN116883250B (zh) * 2023-09-07 2023-12-08 江苏游隼微电子有限公司 一种基于阈值划分和色域转换的去马赛克方法

Similar Documents

Publication Publication Date Title
CN109302593A (zh) 一种面向单传感器相机成像系统的去马赛克算法
Zhang et al. Color demosaicking via directional linear minimum mean square-error estimation
Pekkucuksen et al. Multiscale gradients-based color filter array interpolation
US7577315B2 (en) Method and apparatus for processing image data of a color filter array
CN107967668B (zh) 一种图像处理方法及装置
CN111539893A (zh) 一种基于导向滤波的Bayer图像联合去马赛克去噪方法
CN110730336B (zh) 一种去马赛克方法及装置
Jaiswal et al. Exploitation of inter-color correlation for color image demosaicking
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN114445290A (zh) 一种面向硬件的联合去噪去马赛克方法
Wang et al. Image demosaicking for Bayer-patterned CFA images using improved linear interpolation
KR101660447B1 (ko) 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법
Wu et al. Color demosaicking with sparse representations
Sung et al. Color filter array demosaicking by using subband synthesis scheme
US20060203292A1 (en) Color signal interpolation system and method
CN111988592B (zh) 影像色彩还原与增强电路
Song et al. Edge pattern based demosaicking algorithm of color filter array
Shi et al. Region-adaptive demosaicking with weighted values of multidirectional information
KR102050352B1 (ko) 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법
KR101780726B1 (ko) 앤티-에일리어싱 fir 필터에 기반한 디모자이킹 방법
CN107659844B (zh) 一种基于小波变换的视频图像高分辨率重构方法
Jiang et al. Improved directional weighted interpolation method combination with anti-aliasing FIR filter
Yun et al. Color interpolation by expanding a gradient method
Zhou et al. An Effective Image Demosaicking Algorithm with Correlations among RGB Channels
Chen et al. A Low-Complexity Interpolation Method for Single-Sensor Camera Imaging with White-RGB Color Filter Array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190201