CN104159091B - 一种基于边缘检测的颜色插值方法 - Google Patents
一种基于边缘检测的颜色插值方法 Download PDFInfo
- Publication number
- CN104159091B CN104159091B CN201410369731.3A CN201410369731A CN104159091B CN 104159091 B CN104159091 B CN 104159091B CN 201410369731 A CN201410369731 A CN 201410369731A CN 104159091 B CN104159091 B CN 104159091B
- Authority
- CN
- China
- Prior art keywords
- pixel
- interpolation
- component
- red
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种基于边缘检测的颜色插值方法,根据边缘检测的结果对采样图像进行绿色像素插值、蓝色像素插值和红色像素插值,然后根据色差定律进行色差预测估计和梯度加权,从而将Bayer格式图像恢复成全彩色图像,结合了边缘导向的方向性插值和四个方向上的梯度加权对插值像素进行修正,有效减少了因非边缘插值而导致的颜色失真,提高了采集图像的质量,更加精确;采用局部窗口图像遍历法对图像进行遍历,并在局部窗口中主要运用加减乘除进行简单运算,避免了复杂的运算过程,提高了算法的实时性。本发明可广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域,尤其是一种基于边缘检测的颜色插值方法。
背景技术
以数码相机(Digital Still Camera)为代表的数字成像技术逐渐取代传统的模拟成像技术,成为学术界及产业界的研究热点。数码相机正逐渐取代传统的相机成为产业界主流的消费类成像产品,而数字成像系统则更广泛地应用于智能交通、医学影像、智能监控等领域。
大部分数码相机和消费电子产品均使用CMOS或CCD摄像头进行图像采集,为了降低成本,通常采用单CMOS或CCD传感器并在其前面加上颜色滤波阵列(CFA)采集图像,而Bayer格式的颜色滤波阵列是所有CFA中应用最广泛的。
颜色插值算法是将数码相机采集到Bayer格式图像恢复出全彩色图像的核心算法。虽然相关算法已经提出了很多年并在国内外得到了广泛的研究,但在追求高性能、高速度的今天,人们对算法的性能和复杂度有了更高的要求。目前已提出的颜色插值算法对平滑的区域插值效果较好,但在边缘的地方会出现不同程度的失真,如存在Zipper效应、彩色摩尔纹和虚假色等,降低了采集图像的质量,精确度较低。此外,目前的颜色插值算法大多运算过程复杂,实时性较差。
发明内容
为了解决上述技术问题,本发明的目的是:提供一种精确度高、实时性较好的,基于边缘检测的颜色插值方法。
本发明解决其技术问题所采用的技术方案是:一种基于边缘检测的颜色插值方法,包括:
A、输入Bayer格式的采样图像;
B、对采样图像进行边缘检测,从而得到采样图像的边缘;
C、在采样图像中,采用局部窗口图像遍历法对已知红色像素或蓝色像素的采样点沿边缘方向进行绿色像素插值,从而得到完整的绿色分量;
D、在采样图像中,采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行蓝色像素插值和对已知蓝色像素的采样点沿边缘方向进行红色像素插值,得到第一蓝色分量和第一红色分量;
E、在采样图像中,采用局部窗口图像遍历法对已知绿色像素的采样点进行蓝色像素插值和红色像素插值,从而得到第二蓝色分量和第二红色分量,然后根据第一蓝色分量和第二蓝色分量的组合、第一红色分量和第二红色分量的组合得到完整的蓝色分量和红色分量;
F、根据色差定律和完整的绿色分量、蓝色分量、红色分量,对插值得到的红、绿、蓝像素点进行四个方向上的色差预测估计和梯度加权,从而得到新的插值像素点并根据新的插值像素点生成全彩色图像,所述四个方向为上、下、左、右这四个方向或为左上、右上、左下、右下这四个方向。
进一步,所述步骤B,其包括:
B1、以待求像素点为中心选取5×5的像素窗口;
B2、在5×5的像素窗口内采用边缘检测算子进行边缘检测,从而确定待求像素点的边缘方向。
进一步,所述步骤B2,其具体为:
根据待求像素中心采样点所属的类型和所求的缺失像素分量,计算边缘检测算子,然后根据边缘检测算子确定待求像素点的边缘方向:
a.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为绿色像素分量,则边缘检测算子的计算公式为:
Hg(i,j)=|G(i,j-1)-G(i,j+1)|+|2R(i,j)-R(i,j-2)-R(i,j+2)|,
Vg(i,j)=|G(i-1,j)-G(i+1,j)|+|2R(i,j)-R(i-2,j)-R(i+2,j)|,
其中,Hg(i,j)和Vg(i,j)分别为水平方向和垂直方向的边缘检测算子,G(i,j)为采样点中已知的像素,此时,若Hg(i,j)<Vg(i,j),则判定中心采样点R(i,j)处于水平边缘;若Hg(i,j)>Vg(i,j),则判定中心采样点处于垂直边缘,若Hg(i,j)=Vg(i,j),则判定中心采样点不处于边缘位置;
b.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为蓝色像素分量,则边缘检测算子的计算公式为:
Hb(i,j)=|B(i-1,j-1)-B(i+1,j+1)|+|2g(i,j)-g(i-1,j-1)-g(i+1,j+1)|,
Vb(i,j)=|B(i-1,j+1)-B(i+1,j-1)|+|2g(i,j)-g(i-1,j+1)-R(i+1,j-1)|,
其中,Hg(i,j)和Vg(i,j)分别为左上右下对角线方向和左下右上对角线方向的边缘检测算子,B(i,j)为采样点已知的像素,g(i,j)为插值得到的像素,此时,若Hb(i,j)<Vb(i,j),则判定中心采样点处于左上右下对角线方向的边缘;若Hb(i,j)>Vb(i,j),则判定中心采样点处于左下右上对角线的边缘,若Hb(i,j)=Vb(i,j),则判定中心采样点不处于边缘位置。
进一步,所述步骤C中采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行绿色像素插值这一步骤,其包括:
C11、对已知红色像素的采样点沿边缘方向计算待求像素点缺失的绿色像素:
若待求像素点的边缘方向为水平边缘方向,则缺失的绿色像素g(i,j)的计算公式为:
若待求像素点的边缘方向为垂直边缘方向,则缺失的绿色像素g(i,j)的计算公式为:
若待求像素点不处于边缘位置,则缺失的绿色像素g(i,j)的计算公式为:
C12、将5×5的像素窗口按从左到右,由上到下的顺序遍历整幅采样图像,从而求得完整的绿色分量。
进一步,所述步骤D采用局部窗口图像遍历法已知红色像素的采样点沿边缘方向进行蓝色像素插值这一步骤,其包括:
C21、对已知蓝色像素的采样点沿边缘方向计算待求像素点缺失的蓝色像素:
若待求像素点的边缘方向为左上右下的对角线方向,则缺失的蓝色像素b(i,j)的计算公式为:
若待求像素点的边缘方向为左下右上的对角线方向,则缺失的蓝色像素b(i,j)的计算公式为:
若待求像素点不处于边缘位置,则缺失的蓝色像素b(i,j)的计算公式为:
C22、将5×5的像素窗口按从左到右,由上到下的顺序遍历整幅采样图像,从而求得第一蓝色分量。
进一步,所述步骤E,其包括:
E1、以待求像素点为中心选取5×5的像素窗口,在5×5的窗口内计算待求像素点缺失的红色分量和蓝色分量:
若待求像素点位于“R-G”格式排列的行内,则待求像素点缺失的红色分量r(i,j)和缺失的蓝色分量b(i,j)的计算公式为:
若待求像素点位于“G-B”格式排列的行内,则待求像素点缺失的红色分量r(i,j)和缺失的蓝色分量b(i,j)的计算公式为:
E2、将5×5的像素窗口从左到右,由上到下遍历整幅采样图像,从而求得绿色像素点上缺失的第一蓝色分量和第一红色分量;
E3、将第一蓝色分量与第二蓝色分量、第一红色分量和第二红色分量进行组合,从而得到完整的蓝色分量和红色分量。
进一步,所述步骤F,其包括:
F1、根据插值得到的红、绿、蓝像素点计算待插值像素点在四个方向上最近邻像素的色差;
F2、根据四个方向上的最近邻像素的色差和待插值像素点已知颜色通道计算待插值的颜色通道在这四个方向上的预估值;
F3、对四个方向上的预估值进行加权,从而获得新的插值像素点并根据新的插值像素点生成全彩色图像。
进一步,所述步骤F1,其具体为:
若待插值像素点为绿像素点,则以插值得到的红、蓝像素为最近邻像素,并计算待插值像素点在四个方向上的最近邻像素的色差;若待插值像素点为红色像素点,则以插值得到的绿像素为最近邻像素,并计算待插值像素点在四个方向上的最近邻像素的色差;若待插值像素点为蓝色像素点,则以插值得到的绿像素为最近邻像素,并计算插值像素点在四个方向上的最近邻像素的色差。
进一步,所述步骤F2,其具体为:
若四个方向为上、下、左、右方向,且待插值像素点为绿像素点且红色采样点R(i,j)已知,则根据色差定律,待插值像素点在这四个方向上的绿像素预估值分别为:
GN(i,j)=R(i,j)+(G(i-1,j)-r(i-1,j)),
GS(i,j)=R(i,j)+(G(i+1,j)-r(i+1,j)),
GW(i,j)=R(i,j)+(G(i,j-1)-r(i,j-1)),
GE(i,j)=R(i,j)+(G(i,j+1)-r(i,j+1)),
其中,GN(i,j)为待插值像素点在上方向的绿像素预估值,GS(i,j)为待插值像素点在下方向的绿像素预估值,GW(i,j)为待插值像素点在左方向的绿像素预估值,GE(i,j)为待插值像素点在右方向的绿像素预估值。
进一步,所述步骤F3,其包括:
F31、根据梯度计算公式计算待插值像素点在四个方向上的梯度大小,所述梯度计算公式为:
其中,βN为待插值像素点在上方向上的梯度大小,βS为待插值像素点在下方向上的梯度大小,βW为待插值像素点在左方向上的梯度大小,βE为待插值像素点在右方向上的梯度大小;
F32、根据待插值像素点在四个方向上的梯度大小计算待插值像素点在四个方向上的预估值加权系数,所述待插值像素点在四个方向上的预估值加权系数的计算公式为:
其中,αN为待插值像素点在上方向上的预估值加权系数,αS为待插值像素点在下方向上的预估值加权系数,αW为待插值像素点在左方向上的预估值加权系数,αE为待插值像素点在右方向上的预估值加权系数;
F33、根据待插值像素点在四个方向上的绿像素预估值和预估值加权系数计算新的绿像素插值点,所述新的绿像素插值点像素g′(i,j)的计算公式为:
本发明的有益效果是:根据边缘检测的结果对采样图像进行绿色像素插值、蓝色像素插值和红色像素插值,然后根据色差定律进行色差预测估计和梯度加权,从而将Bayer格式图像恢复成全彩色图像,结合了边缘导向的方向性插值和四个方向上的梯度加权对插值像素进行修正,有效减少了因非边缘插值而导致的颜色失真,提高了采集图像的质量,更加精确;采用局部窗口图像遍历法对图像进行遍历,并在局部窗口中主要运用加减乘除进行简单运算,避免了复杂的运算过程,提高了算法的实时性。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明一种基于边缘检测的颜色插值方法的步骤流程图;
图2为本发明步骤B的流程图;
图3为本发明采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行绿色像素插值的流程图;
图4为本发明采用局部窗口图像遍历法已知红色像素的采样点沿边缘方向进行蓝色像素插值的流程图;
图5为本发明步骤E的流程图;
图6为本发明步骤F的流程图;
图7为本发明按照“RG-GB”排列的Bayer格式采样图像;
图8为本发明以红色像素R为中心像素的5×5窗口示意图;
图9为本发明以蓝色像素B为中心像素的5×5窗口示意图;
图10为本发明按照“R-G”格式排列的以绿色像素G为中心的5×5窗口示意图;
图11为本发明按照“G-B”格式排列的以绿色像素G为中心的5×5窗口示意图。
具体实施方式
参照图1,一种基于边缘检测的颜色插值方法,包括:
A、输入Bayer格式的采样图像;
B、对采样图像进行边缘检测,从而得到采样图像的边缘;
C、在采样图像中,采用局部窗口图像遍历法对已知红色像素或蓝色像素的采样点沿边缘方向进行绿色像素插值,从而得到完整的绿色分量;
D、在采样图像中,采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行蓝色像素插值和对已知蓝色像素的采样点沿边缘方向进行红色像素插值,得到第一蓝色分量和第一红色分量;
E、在采样图像中,采用局部窗口图像遍历法对已知绿色像素的采样点进行蓝色像素插值和红色像素插值,从而得到第二蓝色分量和第二红色分量,然后根据第一蓝色分量和第二蓝色分量的组合、第一红色分量和第二红色分量的组合得到完整的蓝色分量和红色分量;
F、根据色差定律和完整的绿色分量、蓝色分量、红色分量,对插值得到的红、绿、蓝像素点进行四个方向上的色差预测估计和梯度加权,从而得到新的插值像素点并根据新的插值像素点生成全彩色图像,所述四个方向为上、下、左、右这四个方向或为左上、右上、左下、右下这四个方向。
参照图2,进一步作为优选的实施方式,所述步骤B,其包括:
B1、以待求像素点为中心选取5×5的像素窗口;
B2、在5×5的像素窗口内采用边缘检测算子进行边缘检测,从而确定待求像素点的边缘方向。
进一步作为优选的实施方式,所述步骤B2,其具体为:
根据待求像素中心采样点所属的类型和所求的缺失像素分量,计算边缘检测算子,然后根据边缘检测算子确定待求像素点的边缘方向:
a.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为绿色像素分量,则边缘检测算子的计算公式为:
Hg(i,j)=|G(i,j-1)-G(i,j+1)|+|2R(i,j)-R(i,j-2)-R(i,j+2)|,
Vg(i,j)=|G(i-1,j)-G(i+1,j)|+|2R(i,j)-R(i-2,j)-R(i+2,j)|,
其中,Hg(i,j)和Vg(i,j)分别为水平方向和垂直方向的边缘检测算子,G(i,j)为采样点中已知的像素,此时,若Hg(i,j)<Vg(i,j),则判定中心采样点R(i,j)处于水平边缘;若Hg(i,j)>Vg(i,j),则判定中心采样点处于垂直边缘,若Hg(i,j)=Vg(i,j),则判定中心采样点不处于边缘位置;
b.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为蓝色像素分量,则边缘检测算子的计算公式为:
Hb(i,j)=|B(i-1,j-1)-B(i+1,j+1)|+|2g(i,j)-g(i-1,j-1)-g(i+1,j+1)|,
Vb(i,j)=|B(i-1,j+1)-B(i+1,j-1)|+|2g(i,j)-g(i-1,j+1)-R(i+1,j-1)|,
其中,Hg(i,j)和Vg(i,j)分别为左上右下对角线方向和左下右上对角线方向的边缘检测算子,B(i,j)为采样点已知的像素,g(i,j)为插值得到的像素,此时,若Hb(i,j)<Vb(i,j),则判定中心采样点处于左上右下对角线方向的边缘;若Hb(i,j)>Vb(i,j),则判定中心采样点处于左下右上对角线的边缘,若Hb(i,j)=Vb(i,j),则判定中心采样点不处于边缘位置。
其中,中心采样点为蓝色像素点B(i,j)已知且所求的缺失像素分量为绿色像素分量的边缘检测算子,与中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为绿色像素分量的边缘检测算子相似。
中心采样点为蓝色像素点B(i,j)已知且所求的缺失像素分量为红色像素分量的边缘检测算子,与中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为蓝色像素分量的边缘检测算子相似。
参照图3,进一步作为优选的实施方式,所述步骤C中采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行绿色像素插值这一步骤,其包括:
C11、对已知红色像素的采样点沿边缘方向计算待求像素点缺失的绿色像素:
若待求像素点的边缘方向为水平边缘方向,则缺失的绿色像素g(i,j)的计算公式为:
若待求像素点的边缘方向为垂直边缘方向,则缺失的绿色像素g(i,j)的计算公式为:
若待求像素点不处于边缘位置,则缺失的绿色像素g(i,j)的计算公式为:
C12、将5×5的像素窗口按从左到右,由上到下的顺序遍历整幅采样图像,从而求得完整的绿色分量。
其中,采用局部窗口图像遍历法对已知蓝色像素的采样点沿边缘方向进行绿色像素插值的过程,与采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行绿色像素插值的过程相似。
参照图4,进一步作为优选的实施方式,所述步骤D采用局部窗口图像遍历法已知红色像素的采样点沿边缘方向进行蓝色像素插值这一步骤,其包括:
C21、对已知蓝色像素的采样点沿边缘方向计算待求像素点缺失的蓝色像素:
若待求像素点的边缘方向为左上右下的对角线方向,则缺失的蓝色像素b(i,j)的计算公式为:
若待求像素点的边缘方向为左下右上的对角线方向,则缺失的蓝色像素b(i,j)的计算公式为:
若待求像素点不处于边缘位置,则缺失的蓝色像素b(i,j)的计算公式为:
C22、将5×5的像素窗口按从左到右,由上到下的顺序遍历整幅采样图像,从而求得第一蓝色分量。
参照图5,进一步作为优选的实施方式,所述步骤E,其包括:
E1、以待求像素点为中心选取5×5的像素窗口,在5×5的窗口内计算待求像素点缺失的红色分量和蓝色分量:
若待求像素点位于“R-G”格式排列的行内,则待求像素点缺失的红色分量r(i,j)和缺失的蓝色分量b(i,j)的计算公式为:
若待求像素点位于“G-B”格式排列的行内,则待求像素点缺失的红色分量r(i,j)和缺失的蓝色分量b(i,j)的计算公式为:
E2、将5×5的像素窗口从左到右,由上到下遍历整幅采样图像,从而求得绿色像素点上缺失的第一蓝色分量和第一红色分量;
E3、将第一蓝色分量与第二蓝色分量、第一红色分量和第二红色分量进行组合,从而得到完整的蓝色分量和红色分量。
参照图6,进一步作为优选的实施方式,所述步骤F,其包括:
F1、根据插值得到的红、绿、蓝像素点计算待插值像素点在四个方向上最近邻像素的色差;
F2、根据四个方向上的最近邻像素的色差和待插值像素点已知颜色通道计算待插值的颜色通道在这四个方向上的预估值;
F3、对四个方向上的预估值进行加权,从而获得新的插值像素点并根据新的插值像素点生成全彩色图像。
进一步作为优选的实施方式,所述步骤F1,其具体为:
若待插值像素点为绿像素点,则以插值得到的红、蓝像素为最近邻像素,并计算待插值像素点在四个方向上的最近邻像素的色差;若待插值像素点为红色像素点,则以插值得到的绿像素为最近邻像素,并计算待插值像素点在四个方向上的最近邻像素的色差;若待插值像素点为蓝色像素点,则以插值得到的绿像素为最近邻像素,并计算插值像素点在四个方向上的最近邻像素的色差。
进一步作为优选的实施方式,所述步骤F2,其具体为:
若四个方向为上、下、左、右方向,且待插值像素点为绿像素点且红色采样点R(i,j)已知,则根据色差定律,待插值像素点在这四个方向上的绿像素预估值分别为:
GN(i,j)=R(i,j)+(G(i-1,j)-r(i-1,j)),
GS(i,j)=R(i,j)+(G(i+1,j)-r(i+1,j)),
GW(i,j)=R(i,j)+(G(i,j-1)-r(i,j-1)),
GE(i,j)=R(i,j)+(G(i,j+1)-r(i,j+1)),
其中,GN(i,j)为待插值像素点在上方向的绿像素预估值,GS(i,j)为待插值像素点在下方向的绿像素预估值,GW(i,j)为待插值像素点在左方向的绿像素预估值,GE(i,j)为待插值像素点在右方向的绿像素预估值。
其中,待插值像素点为绿像素点且蓝色采样点B(i,j)已知时,待插值像素点在这四个方向上的绿像素预估值的计算过程,与待插值像素点为绿像素点且红色采样点R(i,j)已知的计算过程相似。而待插值像素点为红色像素点的红像素预估值的计算过程以及待插值像素点为蓝色像素点的蓝像素预估值的计算过程,则与像素预估值的计算过程相似。
进一步作为优选的实施方式,所述步骤F3,其包括:
F31、根据梯度计算公式计算待插值像素点在四个方向上的梯度大小,所述梯度计算公式为:
其中,βN为待插值像素点在上方向上的梯度大小,βS为待插值像素点在下方向上的梯度大小,βW为待插值像素点在左方向上的梯度大小,βE为待插值像素点在右方向上的梯度大小;
F32、根据待插值像素点在四个方向上的梯度大小计算待插值像素点在四个方向上的预估值加权系数,所述待插值像素点在四个方向上的预估值加权系数的计算公式为:
其中,αN为待插值像素点在上方向上的预估值加权系数,αS为待插值像素点在下方向上的预估值加权系数,αW为待插值像素点在左方向上的预估值加权系数,αE为待插值像素点在右方向上的预估值加权系数;
F33、根据待插值像素点在四个方向上的绿像素预估值和预估值加权系数计算新的绿像素插值点,所述新的绿像素插值点像素g′(i,j)的计算公式为:
其中,为了避免除数接近零从而导预估值加权系数趋于无限大,本发明将梯度大小加上1作为除数。
下面结合说明书附图和具体实施例对本发明作进一步详细说明。
实施例一
输入一幅按照“RG-GB”排列的Bayer格式采样的图像,如图7所示。
其对已知红色像素R或蓝色像素B的采样点求绿色像素的过程为:
(一)以待求像素点为中心选取5×5的像素窗口,在5×5窗口内检测图像边缘。
如图8所示,以中心采样点R(3,3)的5×5窗口为例,其插值绿色分量的边缘检测算子为:
Hg(3,3)=|G(3,2)-G(3,4)|+|2R(3,3)-R(3,1)-R(3,5)|,
Vg(3,3)=|G(2,3)-G(4,3)|+|2R(3,3)-R(1,3)-R(5,3)|
当Hg(3,3)<Vg(3,3)时,则判定中心点R(3,3)处于水平边缘;当Hg(3,3)>Vg(3,3)时,则判定中心点R(3,3)处于垂直边缘;当Hg(3,3)=Vg(3,3)时,则判定中心点R(3,3)不处于边缘位置。
如图9所示,以中心采样点B(4,4)的5×5窗口为例,其插值绿色分量的边缘检测算子为:
Hg(4,4)=|G(4,3)-G(4,5)|+|2B(4,4)-B(4,2)-B(4,6)|,
Vg(4,4)=|G(3,4)-G(5,4)|+|2B(4,4)-B(2,4)-B(6,4)|
当Hg(4,4)<Vg(4,4)时,则判定中心点B(4,4)处于水平边缘;当Hg(3,3)>Vg(3,3)时,则判定中心点B(4,4)处于垂直边缘;Hg(3,3)=Vg(3,3)时,则判定中心点B(4,4)不处于边缘位置。
(二)沿边缘方向计算待求像素点缺失的绿色分量G。
如图8所示,以中心采样点R(3,3)的5×5窗口为例,插值绿色像素,当边缘方向为水平方向时,则有:
当边缘方向为垂直方向时,则有:
当中心采样点不处于边缘位置时,则有:
其中,g(3,3)即为R(3,3)该点插值的绿色像素。
如图9所示,以中心采样点B(4,4)的5×5窗口为例,插值绿色像素,当边缘方向为水平方向时,则有:
当边缘方向为垂直方向时,则有:
当中心像素点不处于边缘位置时,则有:
其中,g(3,3)即为B(4,4)该点插值的绿色像素。
(三)将5×5的窗口从左到右,由上到下遍历整幅Bayer格式采样图像,从而求得完整的绿色分量。
实施例二
对已知红色像素R的采样点求蓝色像素B和对已知蓝色像素B的采样点求红色像素R的具体过程为:
(一)以待求像素点为中心选取5×5的像素窗口,在5×5窗口内检测图像边缘。
如图8所示,以中心采样点R(3,3)的5×5窗口为例,其插值蓝色分量的边缘检测算子为:
Hb(3,3)=|B(2,2)-B(4,4)|+|2g(3,3)-g(2,2)-g(4,4)|,
Vb(3,3)=|B(2,4)-B(4,2)|+|2g(4,4)-g(2,4)-g(4,2)|
其中,B(2,4)为采样点已知的像素,g(3,3)为插值得到的像素。
当Hb(3,3)<Vb(3,3)时,则判定中心点R(3,3)处于左上右下对角线方向的边缘;当Hb(3,3)>Vb(3,3)时,则判定中心点R(3,3)处于左下右上对角线的边缘;当Hb(3,3)=Vb(3,3)时,则判定中心点R(3,3)不处于边缘。
如图9所示,中心采样点B(4,4)的5×5窗口为例,插值红色分量的边缘检测算子为:
Hr(4,4)=|R(3,3)-R(5,5)|+|2g(4,4)-g(3,3)-g(5,5)|
Vr(4,4)=|R(3,5)-R(5,3)|+|2g(4,4)-g(3,5)-g(5,3)|
其中R(3,3)为采样点已知的像素,g(3,3)为插值得到的像素。
当Hr(4,4)<Vr(4,4)时,则判定中心点B(4,4)处于左上右下对角线方向的边缘;当Hr(4,4)>Vr(4,4)时,则判定中心点B(4,4)处于左下右上对角线的边缘。当Hr(4,4)=Vr(4,4)时,则判定中心点B(4,4)不处于边缘。
(二)沿边缘方向计算待求像素点缺失的蓝色分量B或红色分量R。
如图8所示,以中心采样点R(3,3)的5×5窗口为例,插值蓝色像素。当边缘方向为左上右下的对角线方向时,则有:
当边缘方向为左下右上的对角线方向时,则有:
当中心像素点不处于边缘位置时,则有:
其中,b(3,3)即为该点插值的蓝色像素。
如图9所示,中心采样点B(4,4)的5×5窗口为例,插值蓝色像素。当边缘方向为左上右下的对角线方向时,则有:
当边缘方向为左下右上的对角线方向时,则有:
当中心像素点不处于边缘位置时,则有:
其中,r(4,4)即为该点插值的红色像素。
(三)将5×5的窗口从左到右,由上到下遍历整幅Bayer图像,从而求得红色像素R点上缺失的蓝色分量B和蓝色像素B点上缺失的红色像素R。
实施例三
对已知绿色像素G的采样点求红色像素R和蓝色像素B的具体过程为:
(一)以待求像素点为中心选取5×5的像素窗口,在5×5的窗口内计算待求像素点缺失的红色分量R或蓝色分量B。
如图10所示,以中心采样点G(3,4)的5×5窗口为例,插值红色和蓝色像素,则有:
如图11所示,以中心采样点G(4,3)的5×5窗口为例,插值红色和蓝色像素,则有:
其中,r(3,4)、b(3,4)、r(4,3)和b(4,3)即为插值的红蓝像素。
(二)将5×5的窗口从左到右,由上到下遍历整幅Bayer图像,从而求得绿色像素点上缺失的红色分量R和蓝色分量B。
实施例四
获取完整的红、绿、蓝分量后,本发明还将进行如下处理:
(1)在7×7或5×5的局部窗口中,根据色差定律利用插值获得的红、蓝像素修正中心像素点四个方向上最近邻的绿色像素,作为该方向待插值绿色像素的预估值。利用插值获得的绿色像素修正中心像素点四个方向上最近邻的红、蓝像素,作为该方向待插值红、蓝像素的预估值。
(2)对局部窗口的中心像素在四个方向的预估值进行加权,插值出缺失的像素。
(3)继而将7×7或5×5的窗口由左到右,由上到下遍历整幅图像。
完成了所有通道的最终插值后,本发明可输出插值得到的一幅全彩色图像。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于边缘检测的颜色插值方法,其特征在于:包括:
A、输入Bayer格式的采样图像;
B、对采样图像进行边缘检测,从而得到采样图像的边缘;
C、在采样图像中,采用局部窗口图像遍历法对已知红色像素或蓝色像素的采样点沿边缘方向进行绿色像素插值,从而得到完整的绿色分量;
D、在采样图像中,采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行蓝色像素插值和对已知蓝色像素的采样点沿边缘方向进行红色像素插值,得到第一蓝色分量和第一红色分量;
E、在采样图像中,采用局部窗口图像遍历法对已知绿色像素的采样点进行蓝色像素插值和红色像素插值,从而得到第二蓝色分量和第二红色分量,然后根据第一蓝色分量和第二蓝色分量的组合、第一红色分量和第二红色分量的组合得到完整的蓝色分量和红色分量;
F、根据色差定律和完整的绿色分量、蓝色分量、红色分量,对插值得到的红、绿、蓝像素点进行四个方向上的色差预测估计和梯度加权,从而得到新的插值像素点并根据新的插值像素点生成全彩色图像,所述四个方向为上、下、左、右这四个方向或为左上、右上、左下、右下这四个方向。
2.根据权利要求1所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤B,其包括:
B1、以待求像素点为中心选取5×5的像素窗口;
B2、在5×5的像素窗口内采用边缘检测算子进行边缘检测,从而确定待求像素点的边缘方向。
3.根据权利要求2所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤B2,其具体为:
根据待求像素中心采样点所属的类型和所求的缺失像素分量,计算边缘检测算子,然后根据边缘检测算子确定待求像素点的边缘方向:
a.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为绿色像素分量,则边缘检测算子的计算公式为:
Hg(i,j)=|G(i,j-1)-G(i,j+1)|+|2R(i,j)-R(i,j-2)-R(i,j+2)|,
Vg(i,j)=|G(i-1,j)-G(i+1,j)|+|2R(i,j)-R(i-2,j)-R(i+2,j)|,
其中,Hg(i,j)和Vg(i,j)分别为水平方向和垂直方向的边缘检测算子,G(i,j)为采样点中已知的像素,此时,若Hg(i,j)<Vg(i,j),则判定中心采样点R(i,j)处于水平边缘;若Hg(i,j)>Vg(i,j),则判定中心采样点处于垂直边缘,若Hg(i,j)=Vg(i,j),则判定中心采样点不处于边缘位置;
b.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为蓝色像素分量,则边缘检测算子的计算公式为:
Hb(i,j)=|B(i-1,j-1)-B(i+1,j+1)|+|2g(i,j)-g(i-1,j-1)-g(i+1,j+1)|,
Vb(i,j)=|B(i-1,j+1)-B(i+1,j-1)|+|2g(i,j)-g(i-1,j+1)-R(i+1,j-1)|,
其中,Hg(i,j)和Vg(i,j)分别为左上右下对角线方向和左下右上对角线方向的边缘检测算子,B(i,j)为采样点已知的像素,g(i,j)为插值得到的像素,此时,若Hb(i,j)<Vb(i,j),则判定中心采样点处于左上右下对角线方向的边缘;若Hb(i,j)>Vb(i,j),则判定中心采样点处于左下右上对角线的边缘,若Hb(i,j)=Vb(i,j),则判定中心采样点不处于边缘位置。
4.根据权利要求3所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤C中采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行绿色像素插值这一步骤,其包括:
C11、对已知红色像素的采样点沿边缘方向计算待求像素点缺失的绿色像素:
若待求像素点的边缘方向为水平边缘方向,则缺失的绿色像素g(i,j)的计算公式为:
若待求像素点的边缘方向为垂直边缘方向,则缺失的绿色像素g(i,j)的计算公式为:
若待求像素点不处于边缘位置,则缺失的绿色像素g(i,j)的计算公式为:
C12、将5×5的像素窗口按从左到右,由上到下的顺序遍历整幅采样图像,从而求得完整的绿色分量。
5.根据权利要求4所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤D采用局部窗口图像遍历法已知红色像素的采样点沿边缘方向进行蓝色像素插值这一步骤,其包括:
C21、对已知蓝色像素的采样点沿边缘方向计算待求像素点缺失的蓝色像素:
若待求像素点的边缘方向为左上右下的对角线方向,则缺失的蓝色像素b(i,j)的计算公式为:
若待求像素点的边缘方向为左下右上的对角线方向,则缺失的蓝色像素b(i,j)的计算公式为:
若待求像素点不处于边缘位置,则缺失的蓝色像素b(i,j)的计算公式为:
C22、将5×5的像素窗口按从左到右,由上到下的顺序遍历整幅采样图像,从而求得第一蓝色分量。
6.根据权利要求5所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤E,其包括:
E1、以待求像素点为中心选取5×5的像素窗口,在5×5的窗口内计算待求像素点缺失的红色分量和蓝色分量:
若待求像素点位于“R-G”格式排列的行内,则待求像素点缺失的红色分量r(i,j)和缺失的蓝色分量b(i,j)的计算公式为:
若待求像素点位于“G-B”格式排列的行内,则待求像素点缺失的红色分量r(i,j)和缺失的蓝色分量b(i,j)的计算公式为:
E2、将5×5的像素窗口从左到右,由上到下遍历整幅采样图像,从而求得绿色像素点上缺失的第一蓝色分量和第一红色分量;
E3、将第一蓝色分量与第二蓝色分量、第一红色分量和第二红色分量进行组合,从而得到完整的蓝色分量和红色分量。
7.根据权利要求6所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤F,其包括:
F1、根据插值得到的红、绿、蓝像素点计算待插值像素点在四个方向上最近邻像素的色差;
F2、根据四个方向上的最近邻像素的色差和待插值像素点已知颜色通道计算待插值的颜色通道在这四个方向上的预估值;
F3、对四个方向上的预估值进行加权,从而获得新的插值像素点并根据新的插值像素点生成全彩色图像。
8.根据权利要求7所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤F1,其具体为:
若待插值像素点为绿像素点,则以插值得到的红、蓝像素为最近邻像素,并计算待插值像素点在四个方向上的最近邻像素的色差;若待插值像素点为红色像素点,则以插值得到的绿像素为最近邻像素,并计算待插值像素点在四个方向上的最近邻像素的色差;若待插值像素点为蓝色像素点,则以插值得到的绿像素为最近邻像素,并计算插值像素点在四个方向上的最近邻像素的色差。
9.根据权利要求8所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤F2,其具体为:
若四个方向为上、下、左、右方向,且待插值像素点为绿像素点且红色采样点R(i,j)已知,则根据色差定律,待插值像素点在这四个方向上的绿像素预估值分别为:
GN(i,j)=R(i,j)+(G(i-1,j)-r(i-1,j)),
GS(i,j)=R(i,j)+(G(i+1,j)-r(i+1,j)),
GW(i,j)=R(i,j)+(G(i,j-1)-r(i,j-1)),
GE(i,j)=R(i,j)+(G(i,j+1)-r(i,j+1)),
其中,GN(i,j)为待插值像素点在上方向的绿像素预估值,GS(i,j)为待插值像素点在下方向的绿像素预估值,GW(i,j)为待插值像素点在左方向的绿像素预估值,GE(i,j)为待插值像素点在右方向的绿像素预估值。
10.根据权利要求9所述的一种基于边缘检测的颜色插值方法,其特征在于:所述步骤F3,其包括:
F31、根据梯度计算公式计算待插值像素点在四个方向上的梯度大小,所述梯度计算公式为:
其中,βN为待插值像素点在上方向上的梯度大小,βS为待插值像素点在下方向上的梯度大小,βW为待插值像素点在左方向上的梯度大小,βE为待插值像素点在右方向上的梯度大小;
F32、根据待插值像素点在四个方向上的梯度大小计算待插值像素点在四个方向上的预估值加权系数,所述待插值像素点在四个方向上的预估值加权系数的计算公式为:
其中,αN为待插值像素点在上方向上的预估值加权系数,αS为待插值像素点在下方向上的预估值加权系数,αW为待插值像素点在左方向上的预估值加权系数,αE为待插值像素点在右方向上的预估值加权系数;
F33、根据待插值像素点在四个方向上的绿像素预估值和预估值加权系数计算新的绿像素插值点,所述新的绿像素插值点像素g'(i,j)的计算公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410369731.3A CN104159091B (zh) | 2014-07-30 | 2014-07-30 | 一种基于边缘检测的颜色插值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410369731.3A CN104159091B (zh) | 2014-07-30 | 2014-07-30 | 一种基于边缘检测的颜色插值方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104159091A CN104159091A (zh) | 2014-11-19 |
CN104159091B true CN104159091B (zh) | 2016-08-24 |
Family
ID=51884484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410369731.3A Active CN104159091B (zh) | 2014-07-30 | 2014-07-30 | 一种基于边缘检测的颜色插值方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104159091B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104506784B (zh) * | 2014-12-04 | 2017-07-28 | 中国科学院西安光学精密机械研究所 | 基于方向插值修正的贝尔格式图像坏行消除方法 |
CN105577981A (zh) * | 2015-12-22 | 2016-05-11 | 深圳大学 | 一种边缘自适应的色彩还原方法及系统 |
CN105611256B (zh) * | 2015-12-28 | 2017-08-01 | 南京航空航天大学 | 一种基于梯度的Bayer格式插值方法及基于FPGA的显示装置 |
CN106373132B (zh) * | 2016-08-30 | 2018-10-23 | 广西师范大学 | 基于抑制性中间神经元的边缘检测方法 |
CN107578392B (zh) * | 2017-09-25 | 2021-11-05 | 华北电力大学 | 一种基于残余插值的卷积神经网络去马赛克方法 |
CN108024100A (zh) * | 2017-12-15 | 2018-05-11 | 上海交通大学 | 基于改进边缘导向的Bayer格式图像插值方法 |
US10572974B2 (en) * | 2018-04-11 | 2020-02-25 | Omnivision Technologies, Inc. | Image demosaicer and method |
CN108615227B (zh) * | 2018-05-08 | 2021-02-26 | 浙江大华技术股份有限公司 | 一种图像摩尔纹的抑制方法及设备 |
CN108919175A (zh) * | 2018-06-01 | 2018-11-30 | 成都宝通天宇电子科技有限公司 | 相关干涉仪测向样本内插算法 |
CN109302593A (zh) * | 2018-11-02 | 2019-02-01 | 南京邮电大学盐城大数据研究院有限公司 | 一种面向单传感器相机成像系统的去马赛克算法 |
CN111340693B (zh) * | 2019-08-29 | 2023-12-01 | 杭州海康慧影科技有限公司 | 一种Bayer图像的插值方法、装置及电子设备 |
CN111539892A (zh) * | 2020-04-27 | 2020-08-14 | 展讯通信(上海)有限公司 | Bayer图像的处理方法、系统、电子设备和存储介质 |
CN113259635B (zh) * | 2021-06-15 | 2021-10-01 | 珠海亿智电子科技有限公司 | 去马赛克方法、装置、设备及存储介质 |
CN116503259B (zh) * | 2023-06-27 | 2023-11-21 | 浙江芯劢微电子股份有限公司 | 一种马赛克插值方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1913576A (zh) * | 2005-08-10 | 2007-02-14 | 展讯通信(上海)有限公司 | 一种彩色滤镜阵列插值方法 |
CN101360247A (zh) * | 2008-09-18 | 2009-02-04 | 北京中星微电子有限公司 | 一种图像插值的方法 |
CN101399996A (zh) * | 2007-09-27 | 2009-04-01 | 比亚迪股份有限公司 | 一种彩色滤镜阵列插值方法 |
CN102262777A (zh) * | 2011-08-08 | 2011-11-30 | 格科微电子(上海)有限公司 | 一种图像边缘增强的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100782812B1 (ko) * | 2005-06-15 | 2007-12-06 | 삼성전자주식회사 | 에지 적응적 컬러 보간 방법 및 장치 |
-
2014
- 2014-07-30 CN CN201410369731.3A patent/CN104159091B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1913576A (zh) * | 2005-08-10 | 2007-02-14 | 展讯通信(上海)有限公司 | 一种彩色滤镜阵列插值方法 |
CN101399996A (zh) * | 2007-09-27 | 2009-04-01 | 比亚迪股份有限公司 | 一种彩色滤镜阵列插值方法 |
CN101360247A (zh) * | 2008-09-18 | 2009-02-04 | 北京中星微电子有限公司 | 一种图像插值的方法 |
CN102262777A (zh) * | 2011-08-08 | 2011-11-30 | 格科微电子(上海)有限公司 | 一种图像边缘增强的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104159091A (zh) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104159091B (zh) | 一种基于边缘检测的颜色插值方法 | |
CN101917629B (zh) | 一种基于绿色分量和色差空间的Bayer格式颜色插值方法 | |
CN102665030B (zh) | 一种基于改进双线性的Bayer格式颜色插值方法 | |
CN104537625A (zh) | 一种基于方向标志位的Bayer彩色图像插值方法 | |
TWI516132B (zh) | An image processing apparatus, an image processing method, and a program | |
US11632525B2 (en) | Image processing method and filter array including wideband filter elements and narrowband filter elements | |
CN106780356A (zh) | 基于卷积神经网络和先验信息的图像去雾方法 | |
CN106657946B (zh) | 图像紫边消除系统和方法 | |
CN109520690A (zh) | 一种基于视频的旋转机械转子模态振型全局测量装置及方法 | |
CN105993169A (zh) | 用于图像去马赛克的系统及方法 | |
CN104794907B (zh) | 使用车道分割合并方法的车流量检测方法 | |
CN104539919B (zh) | 图像传感器的去马赛克方法及装置 | |
JP2000341707A (ja) | 方向性平滑化演算を用いた画像のモザイク解除方法 | |
CN102170572A (zh) | 一种新型边缘自适应cfa彩色图像插值方法 | |
GB2345217A (en) | Colour video image sensor | |
CN106303483A (zh) | 一种图像处理方法及装置 | |
JPH0214748B2 (zh) | ||
CN105931210A (zh) | 一种高分辨率图像重建方法 | |
CN105430357B (zh) | 图像传感器的去马赛克方法及装置 | |
CN106713877A (zh) | 一种拜耳格式图像的插值方法和装置 | |
CN103270757B (zh) | 图像传感装置和控制其操作的方法 | |
CN106920216A (zh) | 一种消除图像噪声的方法及装置 | |
CN105979233B (zh) | 去马赛克方法、图像处理器及图像传感器 | |
CN108024100A (zh) | 基于改进边缘导向的Bayer格式图像插值方法 | |
CN116503259B (zh) | 一种马赛克插值方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |