CN109658358B - 一种基于多导向滤波的快速bayer彩色重建方法 - Google Patents

一种基于多导向滤波的快速bayer彩色重建方法 Download PDF

Info

Publication number
CN109658358B
CN109658358B CN201811585612.6A CN201811585612A CN109658358B CN 109658358 B CN109658358 B CN 109658358B CN 201811585612 A CN201811585612 A CN 201811585612A CN 109658358 B CN109658358 B CN 109658358B
Authority
CN
China
Prior art keywords
image
bayer
filter
green
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811585612.6A
Other languages
English (en)
Other versions
CN109658358A (zh
Inventor
徐爱功
吴佳奇
车莉娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN201811585612.6A priority Critical patent/CN109658358B/zh
Publication of CN109658358A publication Critical patent/CN109658358A/zh
Application granted granted Critical
Publication of CN109658358B publication Critical patent/CN109658358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于多导向滤波的快速bayer彩色重建方法,涉及CFA图像处理技术领域。本发明步骤如下:步骤1:获取bayer图像,对该图像进行导向组初始化;对图像中每个绿色像素缺失位置进行导向组设置,将每个像素位置的8个导向划分为4组导向,每组包括3个导向,导向组可表示为:{ui,li,di,ri}(q,v),i=‑1,0,1;步骤2:计算色差影像;步骤3:计算基于色差的梯度影像;步骤4:计算导向权值矩阵;步骤5:计算导向估计矩阵;步骤6:绿色波段重建;步骤7:基于色差的线性滤波红、蓝波段重建,红、绿、蓝波段全部重建后得到彩色图像。本方法可以广泛应用于bayer影像彩色重建场景,有效快速实现高质量的彩色重建影像。

Description

一种基于多导向滤波的快速bayer彩色重建方法
技术领域
本发明涉及CFA图像处理技术领域,尤其涉及一种基于多导向滤波的快速bayer彩色重建方法。
背景技术
随着遥感对地观测技术的不断发展,视频卫星作为一种全新的对地观测手段,能够获取一定区域范围内的高动态信息,已经逐渐成为研究和使用的新热点。出于研制成本、数据传输压力和工艺难度等因素,视频卫星的相机成像系统一般只采用一个CMOS传感器,并在传感器前端安置一块彩色滤光阵列——bayer模板,通过bayer模板生成的影像称为bayer影像。Bayer影像在每一个像素位置只获取一种颜色的灰度值,其他两种颜色被过滤掉,如图1所示。因此bayer影像可以减少三分之二的数据量,有效节省星上存储资源,减轻星地传输压力;同时极大的减轻了卫星重量和体积,研制成本和制作工艺难度得到显著改善。但bayer影像的成像特性使得影像的每个像素损失2种颜色的彩色信息,必须对其进行插值重建处理,恢复成彩色影像后才能进行后续的处理和应用。
传统的彩色重建方法主要是针对工业相机,高质量的重建往往需要复杂地、多次迭代运算获取准确的插值导向和灰度估计值,执行效率较低。此外,视频卫星的Bayer影像一般尺寸较大、帧数较多,计算耗时的问题更为严重。而一般快速的方法很难准确估计邻域灰度相关性,重建质量往往不佳。因此bayer影像彩色重建的质量和效率的矛盾问题是制约视频卫星后续应用的主要因素之一。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于多导向滤波的快速bayer彩色重建方法,本方法可以广泛应用于bayer影像彩色重建场景,有效实现快速、高质量的彩色重建影像。
为解决上述技术问题,本发明所采取的技术方案是:
一种基于多导向滤波的快速bayer彩色重建方法,包括以下步骤:
步骤1:获取bayer图像后,对该图像进行导向组初始化;在图像中每个绿色像素缺失的位置进行导向组设置,将上、下、左、右、左上、右上、左下及右下8个导向划分为上、下、左、右4组导向,每组包括3个导向,导向组可表示为:{ui,li,di,ri}(q,v),其中,q、v分别代表像素位置的行、列,i=-1,0,1,ui代表上方向导向组,li代表左方向导向组,di代表下方向导向组,ri代表右方向导向组;
步骤2:计算色差影像;水平和垂直影像的滤波hf和vf设为:
hf=[-1/4 1/2 1/2 1/2 -1/4]
vf=(hf)′
其中,(*)′表示矩阵的转置操作符,水平影像imgh和垂直影像imgv表示为:
imgh=filter(bayer1,hf)
imgv=filter(bayer1,vf)
上式中,filter(*)表示影像卷积滤波操作符,利用快速傅立叶变换FFT算法将空间域中所有像素位置循环遍历计算转换到频率域的单次计算,bayer1表示原始bayer影像;
水平色差影像dh通过下式得到:
dh(g)=bayerG-imgh(m,b)
dh(m,b)=imgh(g)-bayerC
dh=dh(g)+dh(m,b)
其中,dh(g)表示dh中绿色位置的像素值;dh(m,b)表示dh中红色或蓝色位置的像素值;bayerG表示原始bayer影像的绿色波段;imgh(m,b)表示在imgh中bayer绿色位置上通过插值得到的红或蓝像素,bayerC表示原始bayer影像的红色或蓝色波段,其中C=R或B;C=R为原始bayer影像的红色波段,C=B为原始bayer影像的蓝色波段;imgh(g)表示在bayer图像中红或蓝位置上通过插值得到的绿色像素;
垂直色差影像dv通过下式得到:
dv(g)=bayerG-imgv(m,b)
dv(m,b)=imgv(g)-bayerC
dv=dv(g)+dv(m,b)
其中,dv(g)表示dv中绿色位置的像素值;dv(m,b)表示dv中红色或蓝色位置的像素值;bayerG表示原始bayer影像的绿色波段;imgv(m,b)表示在imgv中bayer影像绿位置上通过插值得到的红或蓝像素,bayerC表示原始bayer影像的红色或蓝色波段,其中C=R或B;C=R为原始bayer影像的红色波段,C=B为原始bayer影像的蓝色波段;imgv(g)表示在imgv中bayer影像红或蓝位置上通过插值得到的绿色像素;
步骤3:计算基于色差的梯度影像;根据步骤2得到的水平和垂直的色差影像,求出水平色差梯度影像gdh、垂直色差梯度影像gdv;公式如下:
gdh=abs(filter(dh,[10-1]))
gdv=abs(filter(dv,[10-1]′))
上式中,abs(*)表示绝对值操作符;
步骤4:计算导向权值矩阵;对4组导向进行相似性评价,通过单方向的组合导向丰富多方向的相关性描述,并引入高斯滤波进行局部加权处理;分别求出上方向组合导向{ui}q,v,i=-1,0,1对应的权值矩阵upi、左方向组合导向{li}q,v,i=-1,0,1对应的权值矩阵lefti、下方向组合导向{di}q,v,i=-1,0,1对应的权值矩阵downi、右方向组合导向{ri}q,v,i=-1,0,1对应的权值矩阵righti
步骤5:计算导向估计矩阵;利用色差影像求出4组导向对应的估计矩阵,对相关局部区域进行统计处理,分别求出上方向估计矩阵upMati、左方向估计矩阵leftMati、下方向估计矩阵downMati、右方向估计矩阵rightMati
步骤6:绿色波段重建;
绿色色差影像imgGd通过下式获得:
Figure BDA0001919010070000031
通过绿色色差影像imgGd求得绿色波段imgG,公式如下:
imgG=imgGd+bayer1
步骤7:基于色差的线性滤波红波段和蓝波段重建;红、绿、蓝波段全部重建后得到bayer彩色图像;
结合步骤6中重建后的绿波段,在色差波段中利用对角和双线性滤波进行插值重建;其中,对角滤波dfilter为:
Figure BDA0001919010070000032
双线性滤波bfilter为:
Figure BDA0001919010070000041
则红色波段imgR通过下式计算求得:
imgR=imgG-filter(filter(imgG-bayerR,dfilter),bfilter)
蓝色波段imgB的重建通过下式计算求得:
imgB=imgG-filter(filter(imgG-bayerB,dfilter),bfilter)。
所述步骤4包括如下子步骤:
步骤4.1:上方向组合导向{ui}q,v,i=-1,0,1对应的权值矩阵upi表示为:
upi=filter(gdv,upfilteri)
其中,upfilteri为upi系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000042
Figure BDA0001919010070000043
Figure BDA0001919010070000044
gaufilterj是标准差为2的3*3高斯滤波的第j列,j=1,2,3;
所述高斯滤波为:
Figure BDA0001919010070000045
步骤4.2:左方向组合导向{li}q,v,i=-1,0,1对应的权值矩阵lefti表示为:
lefti=filter(gdh,leftfilteri)
其中,leftfilteri为lefti系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000046
Figure BDA0001919010070000051
Figure BDA0001919010070000052
gaufilterj′表示高斯滤波gaufilter的第j行;
步骤4.3:下方向组合导向{di}q,v,i=-1,0,1对应的权值矩阵downi表示为:
downi=filter(gdv,downfilteri)
其中,downfilteri为downi系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000053
Figure BDA0001919010070000054
Figure BDA0001919010070000055
gaufilterj表示高斯滤波gaufilter的第j列;
步骤4.4:右方向组合导向{ri}q,v,i=-1,0,1对应的权值矩阵righti表示为:
righti=filter(gdh,rightfilteri)
其中,rightfilteri为righti系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000056
gaufilter′j表示高斯滤波gaufilter的第j行。
所述步骤5包括如下子步骤:
步骤5.1:上方向估计矩阵upMati的计算公式为:
upMati=filter(dv,upimgfilteri)
其中,upimgfilteri为上方向估计矩阵滤波,i=-1,0,1,尺寸为5*3,表达式分别为:
upimgfilter-1=[f/1005*2]
upimgfilter0=[05*1 4*f/5 05*1]
upimgfilter1=[05*2 f/10]
f=[1/3 1/3 1/3 0 0]′
其中(*)′表示矩阵转置;
步骤5.2:左方向估计矩阵leftMati的计算公式为:
leftMati=filter(dh,leftimgfilteri)
其中,leftimgfilteri为左方向估计矩阵滤波,i=-1,0,1,尺寸为3*5,表达式分别为:
Figure BDA0001919010070000061
Figure BDA0001919010070000062
Figure BDA0001919010070000063
f=[1/3 1/3 1/3 0 0]′
步骤5.3:下方向估计矩阵downMati的计算公式为:
downMati=filter(dv,downimgfilteri)
其中,downimgfilteri为下方向估计矩阵滤波,i=-1,0,1,尺寸为5*3,表达式分别为:
downimgfilter-1=[05*2 f/10]
downimgfilter0=[05*1 4*f/5 05*1]
downimgfilter1=[f/10 05*2]
f=[1/3 1/3 1/3 0 0]′
步骤5.4:右方向估计矩阵rightMati的计算公式为:
rightMati=filter(dh,rightimgfilteri)
其中,rightimgfilteri为右方向估计矩阵滤波,i=-1,0,1,尺寸为3*5,表达式分别为:
Figure BDA0001919010070000071
Figure BDA0001919010070000072
Figure BDA0001919010070000073
f=[1/3 1/3 1/3 0 0]′。
采用上述技术方案所产生的有益效果在于:本发明提供的一种基于多导向滤波的快速bayer彩色重建方法,该方法具有以下优点:
1、针对绿波段利用多导向相关性描述与估计的思路,可有效实现高质量的彩色重建影像。
2、在绿色高质量重建的基础上,通过色差域的简单线性插值可获得较高质量的蓝、红波段重建,并且计算耗时极少。
3、在计算过程中,通过设计了响应的滤波器进行整体的卷积滤波处理,无需循循环遍历整幅图像,计算效率显著提升。
基于以上优点,本发明可以广泛应用于视频卫星bayer彩色重建的辐射预处理中,为后续应用及处理提供基础;也可用于其他bayer影像彩色重建场景。
附图说明
图1为本发明提供的bayer模板示意图,其中,a为原始bayer影像;b为只含有红色像素点的bayer影像;c为只含有绿色像素点的bayer影像;d为只含有蓝色像素点的bayer影像;
图2为本发明实施例提供的算法流程图;
图3为本发明实施例提供的bayer图像插值重建模板图;
图4为本发明实施例提供的导向组初始化示意图;
图5为本发明实施例提供的bayer图像与bayer彩色图像对比图,其中,a为bayer影像的截取图,b为影像截取图的彩色重建图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
针对大尺寸bayer影像的彩色重建所面对的效果与效率难以兼顾的问题,提出一种基于多导向滤波的快速bayer彩色重建技术方法。为了确保插值重建的质量,在绿色波段重建时,对每个绿色缺失位置进行多导向组设置,通过多导向的联合计算,以便更准确估计待插值像素与邻域的相关性。首先利用Hamilton-Adam(H-A)算法和相邻波段获得水平、垂直方向的色差梯度影像。然后根据色差梯度影像的局部区域进行多导向梯度相关性估计,得到相应的导向权值,并根据局部色差影像得到相应的导向估计值,进而通过线性加权和完成绿色插值。在绿色波段重建后,进一步利用新色差影像的对角、水平和垂直滤波完成红、蓝波段的重建。为了提升运算效率,梯度相关性和导向估计计算时设计了一组滤波器,并通过卷积滤波的方式实现快速解算。本发明可广泛应用于视频卫星的bayer彩色重建辐射预处理中,为后续应用及处理提供基础。也可应用于其他bayer影像彩色重建的场景。
如图2所示,本实施例的方法如下所述。
步骤1:获取bayer图像,对该图像进行导向组初始化;如图3所示;对图像中每个绿色像素缺失的位置进行导向组设置,将上、下、左、右、左上、右上、左下及右下8个导向设置为上、下、左、右4组导向,每组包括3个导向,导向组可表示为:{ui,li,di,ri}(q,v),其中,q、v分别代表像素位置的行、列,i=-1,0,1,ui代表上方向导向组,li代表左方向导向组,di代表下方向导向组,ri代表右方向导向组;
步骤2:计算色差影像;水平和垂直影像的滤波hf、vf设为:
hf=[-1/4 1/2 1/2 1/2 -1/4]
vf=(hf)′
其中,(*)′表示矩阵的转置操作符,水平影像imgh和垂直影像imgv表示为:
imgh=filter(bayer1,hf)
imgv=filter(bayer1,vf)
上式中,filter(*)表示影像卷积滤波操作符,利用快速傅立叶变换FFT算法将空间域中所有像素位置循环遍历计算转换到频率域的单次计算,bayer1表示原始bayer影像;
水平色差影像dh通过下式得到:
dh(g)=bayerG-imgh(m,b)
dh(m,b)=imgh(g)-bayerC
dh=dh(g)+dh(m,b)
其中,dh(g)表示dh中绿色位置的像素值;dh(m,b)表示dh中红色或蓝色位置的像素值;bayerG表示原始bayer影像的绿色波段;imgh(m,b)表示在imgh中bayer绿色位置上通过插值得到的红或蓝像素,bayerC表示原始bayer影像的红色或蓝色波段,其中C=R或B;C=R为原始bayer影像的红色波段,C=B为原始bayer影像的蓝色波段;imgh(g)表示在bayer图像中红或蓝位置上通过插值得到的绿色像素;
垂直色差影像dv通过下式得到:
dv(g)=bayerG-imgv(m,b)
dv(m,b)=imgv(g)-bayerC
dv=dv(g)+dv(m,b)
其中,dv(g)表示dv中绿色位置的像素值;dv(m,b)表示dv中红色或蓝色位置的像素值;bayerG表示原始bayer影像的绿色波段;imgv(m,b)表示在imgv中bayer影像绿位置上通过插值得到的红或蓝像素,bayerC表示原始bayer影像的红色或蓝色波段,其中C=R或B;C=R为原始bayer影像的红色波段,C=B为原始bayer影像的蓝色波段;imgv(g)表示在imgv中bayer影像红或蓝位置上通过插值得到的绿色像素;
步骤3:计算基于色差的梯度影像;根据步骤2得到的水平和垂直的色差影像,求出水平色差梯度影像gdh、垂直色差梯度影像gdv;公式如下:
gdh=abs(filter(dh,[10-1]))
gdv=abs(filter(dv,[10-1]′))
上式中,abs(*)表示绝对值操作符;
步骤4:计算导向权值矩阵;对4组导向进行相似性评价,通过单方向的组合导向丰富多方向的相关性描述,并引入高斯滤波进行局部加权处理;分别求出上方向组合导向{ui}q,v,i=-1,0,1对应的权值矩阵upi、左方向组合导向{li}q,v,i=-1,0,1对应的权值矩阵lefti、下方向组合导向{di}q,v,i=-1,0,1对应的权值矩阵downi、右方向组合导向{ri}q,v,i=-1,0,1对应的权值矩阵righti
步骤4.1:上方向组合导向{ui}q,v,i=-1,0,1对应的权值矩阵upi表示为:
upi=filter(gdv,upfilteri)
其中,upfilteri为upi系数滤波,i=-1,0,1,如图4所示,分别表示为:
Figure BDA0001919010070000101
Figure BDA0001919010070000102
Figure BDA0001919010070000103
gaufilterj是标准差为2的3*3高斯滤波的第j列,j=1,2,3;
高斯滤波为:
Figure BDA0001919010070000104
步骤4.2:左方向组合导向{li}q,v,i=-1,0,1对应的权值矩阵lefti表示为:
lefti=filter(gdh,leftfilteri)
其中,leftfilteri为lefti系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000105
Figure BDA0001919010070000106
Figure BDA0001919010070000107
gaufilter′j表示高斯滤波gaufilter的第j行;相当于将矩阵gaufilter做转置处理;
步骤4.3:下方向组合导向{di}q,v,i=-1,0,1对应的权值矩阵downi表示为:
downi=filter(gdv,downfilteri)
其中,downfilteri为downi系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000108
Figure BDA0001919010070000109
Figure BDA0001919010070000111
gaufilterj表示高斯滤波gaufilter的第j列;
步骤4.4:右方向组合导向{ri}q,v,i=-1,0,1对应的权值矩阵righti表示为:
righti=filter(gdh,rightfilteri)
其中,rightfilteri为righti系数滤波,i=-1,0,1,分别表示为:
Figure BDA0001919010070000112
gaufilter′j表示高斯滤波gaufilter的第j行;
步骤5:计算导向估计矩阵;利用色差影像求出4组导向对应的估计矩阵,对相关局部区域进行统计处理,分别求出上方向估计矩阵upMati、左方向估计矩阵leftMati、下方向估计矩阵downMati、右方向估计矩阵rightMati
步骤5.1:上方向估计矩阵upMati的计算公式为:
upMati=filter(dv,upimgfilteri)
其中,upimgfilteri为上方向估计矩阵滤波,i=-1,0,1,尺寸为5*3,表达式分别为:
upimgfilter-1=[f/10 05*2]
upimgfilter0=[05*1 4*f/5 05*1]
upimgfilter1=[05*2 f/10]
f=[1/3 1/3 1/3 0 0]′
其中(*)′表示矩阵转置;
步骤5.2:左方向估计矩阵leftMati的计算公式为:
leftMati=filter(dh,leftimgfilteri)
其中,leftimgfilteri为左方向估计矩阵滤波,i=-1,0,1,尺寸为3*5,表达式分别为:
Figure BDA0001919010070000121
Figure BDA0001919010070000122
Figure BDA0001919010070000123
f=[1/3 1/3 1/3 0 0]′
步骤5.3:下方向估计矩阵downMati的计算公式为:
downMati=filter(dv,downimgfilteri)
其中,downimgfilteri为下方向估计矩阵滤波,i=-1,0,1,尺寸为5*3,表达式分别为:downimgfilter-1=[05*2 f/10]
downimgfilter0=[05*1 4*f/5 05*1]
downimgfilter1=[f/10 05*2]
f=[1/3 1/3 1/3 0 0]′
步骤5.4:右方向估计矩阵rightMati的计算公式为:
rightMati=filter(dh,rightimgfilteri)
其中,rightimgfilteri为右方向估计矩阵滤波,i=-1,0,1,尺寸为3*5,表达式分别为:
Figure BDA0001919010070000124
Figure BDA0001919010070000125
Figure BDA0001919010070000126
f=[1/3 1/3 1/3 0 0]′
步骤6:绿色波段重建;
绿色色差影像imgGd通过下式获得:
Figure BDA0001919010070000131
通过绿色色差影像imgGd求得绿色波段imgG,公式如下:
imgG=imgGd+bayer1
步骤7:基于色差的线性滤波红波段和蓝波段重建;红、绿、蓝波段全部重建后得到bayer彩色图像;
结合步骤6中重建后的绿波段,在色差波段中利用对角和双线性滤波进行插值重建;其中,对角滤波dfilter为:
Figure BDA0001919010070000132
双线性滤波bfilter为:
Figure BDA0001919010070000133
则红色波段imgR通过下式计算求得:
imgR=imgG-filter(filter(imgG-bayerR,dfilter),bfilter)
蓝色波段imgB的重建通过下式计算求得:
imgB=imgG-filter(filter(imgG-bayerB,dfilter),bfilter)
红色波段、绿色波段、蓝色波段全部重建后得到bayer彩色图像;
本实施例中采用如图5所示,其中图a为bayer影像的截取图,图b为通过本方法进行重建后的彩色图,由此对比可直观表示出本方法的有效性。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于多导向滤波的快速bayer彩色重建方法,其特征在于:包括以下步骤:
步骤1:获取bayer图像后,对该图像进行导向组初始化;在图像中每个绿色像素缺失的位置进行导向组设置,将上、下、左、右、左上、右上、左下及右下8个导向划分为上、下、左、右4组导向,每组包括3个导向,导向组可表示为:{ui,li,di,ri}(q,v),其中,q、v分别代表像素位置的行、列,i=-1,0,1,ui代表上方向导向组,li代表左方向导向组,di代表下方向导向组,ri代表右方向导向组;
步骤2:计算色差影像;水平和垂直影像的滤波hf、vf设为:
hf=[-1/41/21/21/2-1/4]
vf=(hf)′
其中,(*)′表示矩阵的转置操作符,水平影像imgh和垂直影像imgv表示为:
imgh=filter(bayer1,hf)
imgv=filter(bayer1,vf)
上式中,filter(*)表示影像卷积滤波操作符,利用快速傅立叶变换FFT算法将空间域中所有像素位置循环遍历计算转换到频率域的单次计算,bayer1表示原始bayer影像;
水平色差影像dh通过下式得到:
dh(g)=bayerG-imgh(m,b)
dh(m,b)=imgh(g)-bayerC
dh=dh(g)+dh(m,b)
其中,dh(g)表示dh中绿色位置的像素值;dh(m,b)表示dh中红色或蓝色位置的像素值;bayerG表示原始bayer影像的绿色波段;imgh(m,b)表示在imgh中bayer绿色位置上通过插值得到的红或蓝像素,bayerC表示原始bayer影像的红色或蓝色波段,其中C=R或B;C=R为原始bayer影像的红色波段,C=B为原始bayer影像的蓝色波段;imgh(g)表示在bayer图像中红或蓝位置上通过插值得到的绿色像素;
垂直色差影像dv通过下式得到:
dv(g)=bayerG-imgv(m,b)
dv(m,b)=imgv(g)-bayerC
dv=dv(g)+dv(m,b)
其中,dv(g)表示dv中绿色位置的像素值;dv(m,b)表示dv中红色或蓝色位置的像素值;bayerG表示原始bayer影像的绿色波段;imgv(m,b)表示在imgv中bayer影像绿位置上通过插值得到的红或蓝像素,bayerC表示原始bayer影像的红色或蓝色波段,其中C=R或B;C=R为原始bayer影像的红色波段,C=B为原始bayer影像的蓝色波段;imgv(g)表示在imgv中bayer影像红或蓝位置上通过插值得到的绿色像素;
步骤3:计算基于色差的梯度影像;根据步骤2得到的水平和垂直的色差影像,求出水平色差梯度影像gdh、垂直色差梯度影像gdv;公式如下:
gdh=abs(filter(dh,[10-1]))
gdv=abs(filter(dv,[10-1]′))
上式中,abs(*)表示绝对值操作符;
步骤4:计算导向权值矩阵;对4组导向进行相似性评价,通过单方向的组合导向丰富多方向的相关性描述,并引入高斯滤波进行局部加权处理;分别求出上方向组合导向{ui}q,v,i=-1,0,1对应的权值矩阵upi、左方向组合导向{li}q,v,i=-1,0,1对应的权值矩阵lefti、下方向组合导向{di}q,v,i=-1,0,1对应的权值矩阵downi、右方向组合导向{ri}q,v,i=-1,0,1对应的权值矩阵righti
步骤4.1:上方向组合导向{ui}q,v,i=-1,0,1对应的权值矩阵upi表示为:
upi=filter(gdv,upfilteri)
其中,upfilteri为upi系数滤波,i=-1,0,1,分别表示为:
Figure FDA0004059382170000021
Figure FDA0004059382170000022
Figure FDA0004059382170000023
gaufilterj是标准差为2的3*3高斯滤波的第j列,j=1,2,3;
高斯滤波为:
Figure FDA0004059382170000031
步骤4.2:左方向组合导向{li}q,v,i=-1,0,1对应的权值矩阵lefti表示为:
lefti=filter(gdh,leftfilteri)
其中,leftfilteri为lefti系数滤波,i=-1,0,1,分别表示为:
Figure FDA0004059382170000032
Figure FDA0004059382170000033
Figure FDA0004059382170000034
gaufilter′j表示高斯滤波gaufilter的第j行;
步骤4.3:下方向组合导向{di}q,v,i=-1,0,1对应的权值矩阵downi表示为:
downi=filter(gdv,downfilteri)
其中,downfilteri为downi系数滤波,i=-1,0,1,分别表示为:
Figure FDA0004059382170000035
Figure FDA0004059382170000036
Figure FDA0004059382170000037
gaufilterj表示高斯滤波gaufilter的第j列;
步骤4.4:右方向组合导向{ri}q,v,i=-1,0,1对应的权值矩阵righti表示为:
righti=filter(gdh,rightfilteri)
其中,rightfilteri为righti系数滤波,i=-1,0,1,分别表示为:
Figure FDA0004059382170000041
gaufilterj′表示高斯滤波gaufilter的第j行;
步骤5:计算导向估计矩阵;利用色差影像求出4组导向对应的估计矩阵,对相关局部区域进行统计处理,分别求出上方向估计矩阵upMati、左方向估计矩阵leftMati、下方向估计矩阵downMati、右方向估计矩阵rightMati
步骤6:绿色波段重建;
绿色色差影像imgGd通过下式获得:
Figure FDA0004059382170000042
通过绿色色差影像imgGd求得绿色波段imgG,公式如下:
imgG=imgGd+bayer1
步骤7:基于色差的线性滤波红波段和蓝波段重建;红、绿、蓝波段全部重建后得到bayer彩色图像;
结合步骤6中重建后的绿波段,在色差波段中利用对角和双线性滤波进行插值重建;其中,对角滤波dfilter为:
Figure FDA0004059382170000043
双线性滤波bfilter为:
Figure FDA0004059382170000044
则红色波段imgR通过下式计算求得:
imgR=imgG-filter(filter(imgG-bayerR,dfilter),bfilter)
蓝色波段imgB的重建通过下式计算求得:
imgB=imgG-filter(filter(imgG-bayerB,dfilter),bfilter)。
2.根据权利要求1所述的一种基于多导向滤波的快速bayer彩色重建方法,其特征在于:所述步骤5包括如下子步骤:
步骤5.1:上方向估计矩阵upMati的计算公式为:
upMati=filter(dv,upimgfilteri)
其中,upimgfilteri为上方向估计矩阵滤波,i=-1,0,1,尺寸为5*3,表达式分别为:
upimgfilter-1=[f/10 05*2]
upimgfilter0=[05*1 4*f/5 05*1]
upimgfilter1=[05*2 f/10]
f=[1/3 1/3 1/3 0 0]′
其中(*)′表示矩阵转置;
步骤5.2:左方向估计矩阵leftMati的计算公式为:
leftMati=filter(dh,leftimgfilteri)
其中,leftimgfilteri为左方向估计矩阵滤波,i=-1,0,1,尺寸为3*5,表达式分别为:
Figure FDA0004059382170000051
Figure FDA0004059382170000052
Figure FDA0004059382170000053
f=[1/3 1/3 1/3 0 0]′
步骤5.3:下方向估计矩阵downMati的计算公式为:
downMati=filter(dv,downimgfilteri)
其中,downimgfilteri为下方向估计矩阵滤波,i=-1,0,1,尺寸为5*3,表达式分别为:
downimgfilter-1=[05*2 f/10]
downimgfilter0=[05*1 4*f/5 05*1]
downimgfilter1=[f/10 05*2]
f=[1/3 1/3 1/3 0 0]′
步骤5.4:右方向估计矩阵rightMati的计算公式为:
rightMati=filter(dh,rightimgfilteri)
其中,rightimgfilteri为右方向估计矩阵滤波,i=-1,0,1,尺寸为3*5,表达式分别为:
Figure FDA0004059382170000061
Figure FDA0004059382170000062
Figure FDA0004059382170000063
f=[1/3 1/3 1/3 0 0]′。
CN201811585612.6A 2018-12-25 2018-12-25 一种基于多导向滤波的快速bayer彩色重建方法 Active CN109658358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585612.6A CN109658358B (zh) 2018-12-25 2018-12-25 一种基于多导向滤波的快速bayer彩色重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585612.6A CN109658358B (zh) 2018-12-25 2018-12-25 一种基于多导向滤波的快速bayer彩色重建方法

Publications (2)

Publication Number Publication Date
CN109658358A CN109658358A (zh) 2019-04-19
CN109658358B true CN109658358B (zh) 2023-05-12

Family

ID=66116603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585612.6A Active CN109658358B (zh) 2018-12-25 2018-12-25 一种基于多导向滤波的快速bayer彩色重建方法

Country Status (1)

Country Link
CN (1) CN109658358B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862717B (zh) * 2021-02-10 2022-09-20 山东英信计算机技术有限公司 一种图像的去噪模糊化方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327220A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院(有限公司) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN108734668A (zh) * 2017-04-21 2018-11-02 展讯通信(上海)有限公司 图像色彩恢复方法、装置、计算机可读存储介质及终端

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
JP5153842B2 (ja) * 2003-06-05 2013-02-27 オリンパス株式会社 画像処理装置、画像処理プログラム
FI116246B (fi) * 2003-06-30 2005-10-14 Nokia Corp Menetelmä ja järjestelmä digitaalisessa kuvannuksessa valotuksen säätämiseksi ja vastaava laite
US8098964B2 (en) * 2006-02-06 2012-01-17 Microsoft Corp. Raw image processing
WO2008086037A2 (en) * 2007-01-10 2008-07-17 Flextronics International Usa Inc. Color filter array interpolation
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
CN101917629B (zh) * 2010-08-10 2012-03-07 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
CN102663719B (zh) * 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
CN102665030B (zh) * 2012-05-14 2014-11-12 浙江大学 一种基于改进双线性的Bayer格式颜色插值方法
DE102013000301A1 (de) * 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
CN103347190B (zh) * 2013-07-25 2015-01-21 华北电力大学 一种边相关的联合彩色去马赛克和放大方法
US10210599B2 (en) * 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement
US9464938B2 (en) * 2014-02-06 2016-10-11 The Boeing Company Systems and methods for measuring polarization of light in images
CN104537625A (zh) * 2015-01-05 2015-04-22 中国科学院光电技术研究所 一种基于方向标志位的Bayer彩色图像插值方法
CN105141838B (zh) * 2015-08-19 2018-08-07 上海兆芯集成电路有限公司 去马赛克方法以及使用该方法的装置
EP3249604B1 (en) * 2016-05-23 2019-06-26 Sony Mobile Communications Inc Methods, devices and computer program products for demosaicing an image captured by an image sensor comprising a color filter array
CN106162133B (zh) * 2016-06-30 2018-11-09 北京大学 基于自适应导向滤波的颜色插值方法
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
CN107093196B (zh) * 2017-04-10 2020-03-10 武汉大学 视频卫星面阵相机在轨相对辐射定标方法
CN107036629B (zh) * 2017-04-20 2020-07-24 武汉大学 视频卫星在轨相对辐射定标方法及系统
CN107240081A (zh) * 2017-06-20 2017-10-10 长光卫星技术有限公司 夜景影像去噪与增强处理方法
CN107358635B (zh) * 2017-07-19 2020-11-03 辽宁工程技术大学 一种基于模糊相似性的彩色形态学图像处理方法
CN107578392B (zh) * 2017-09-25 2021-11-05 华北电力大学 一种基于残余插值的卷积神经网络去马赛克方法
CN108024100A (zh) * 2017-12-15 2018-05-11 上海交通大学 基于改进边缘导向的Bayer格式图像插值方法
CN108171668A (zh) * 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法
CN108681985B (zh) * 2018-03-07 2022-05-13 珠海欧比特宇航科技股份有限公司 视频卫星影像的条带拼接方法
CN108769641B (zh) * 2018-06-04 2020-12-08 珠海欧比特宇航科技股份有限公司 一种视频卫星影像的Bayer彩色重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327220A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院(有限公司) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN108734668A (zh) * 2017-04-21 2018-11-02 展讯通信(上海)有限公司 图像色彩恢复方法、装置、计算机可读存储介质及终端

Also Published As

Publication number Publication date
CN109658358A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN110223242B (zh) 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN101556690B (zh) 基于词典学习和稀疏表示的超分辨率算法
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
CN102006484A (zh) 图像处理装置、图像处理方法以及程序
CN109447930B (zh) 小波域光场全聚焦图像生成算法
Guo et al. Joint denoising and demosaicking with green channel prior for real-world burst images
CN103268596A (zh) 一种降低图像噪声和使颜色接近标准的方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN107292316B (zh) 一种基于稀疏表示的提升图像清晰度的方法
CN111882485B (zh) 分级特征反馈融合的深度图像超分辨率重建方法
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN107833182A (zh) 基于特征提取的红外图像超分辨率重建方法
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
Wang et al. Coarse-to-fine disentangling demoiréing framework for recaptured screen images
CN109658358B (zh) 一种基于多导向滤波的快速bayer彩色重建方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
CN116823662A (zh) 一种融合原生特征的图像去噪去模糊方法
KR20140028516A (ko) 학습방식의 부화소기반 영상축소방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant