CN111445403A - 一种适用于星上图像预处理的图像插值方法 - Google Patents

一种适用于星上图像预处理的图像插值方法 Download PDF

Info

Publication number
CN111445403A
CN111445403A CN202010208817.3A CN202010208817A CN111445403A CN 111445403 A CN111445403 A CN 111445403A CN 202010208817 A CN202010208817 A CN 202010208817A CN 111445403 A CN111445403 A CN 111445403A
Authority
CN
China
Prior art keywords
component
red
color difference
green
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010208817.3A
Other languages
English (en)
Inventor
赵亮
刘明
林宏宇
李馨
关晨辉
潘铮
侯作勋
南诺
周海岸
高原
冯星泰
彭呈祥
关震
石晋瑞
袁远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Space Research Mechanical and Electricity filed Critical Beijing Institute of Space Research Mechanical and Electricity
Priority to CN202010208817.3A priority Critical patent/CN111445403A/zh
Publication of CN111445403A publication Critical patent/CN111445403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

本发明公开了一种适用于星上图像预处理的图像插值方法，该方法包括：步骤一，从输入贝尔图像中计算出红色分量和蓝色分量的梯度；并通过梯度大小比较，进而插值重构出全部的绿色分量。步骤二，利用恢复出的绿色分量，与原贝尔图像做差得贝尔格式的红色色差图像和蓝色色差图像。步骤三，再依据梯度比较和色彩相关性，可插值恢复出全像素的的红绿色差图和蓝绿色差图。步骤四，红绿色差及蓝绿色差与步骤一中的绿色分量求和，即可恢复出全部的红色分量和蓝色分量。恢复出完整的彩色图像。本发明在具有较低算法复杂度的同时，能够获得高质量的插值复原图像。

Description

一种适用于星上图像预处理的图像插值方法
技术领域
本发明属于星上图像处理技术领域，尤其涉及一种适用于星上图像预处理的图像插值方法。
背景技术
早期的遥感图像数据的处理，均由卫星将简单处理后的原始数据直接传回地面站，再由地面站的大规模并行处理系统进行处理。随着计算机技术的不断进步，计算机的运算速度不断提高，体积不断减小，使得在卫星上搭载高计算性能的数据处理系统，在星上完成对数据的初期加工成为可能。星上图像预处理可更好的保留图像的原始信息，便于后续处理研究。
遥感图像插值是星上图像预处理的第一步，在进行遥感图像插值时，主要有以下难点：第一，实时产生的数据量较大，对算法复杂度有较高要求，可能会占用过多的硬件资源。第二，星上图像信息丰富，拍摄环境复杂，图像相邻像素存在较大的对比，插值恢复出的图像极可能有模糊和杂点失真。
现有的方法无法同时解决上述问题，适应性不强。在插值恢复高质量图像时，往往占用过多星上逻辑资源；而简易的插值算法恢复出的图像又不能满足使用和分析要求。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种适用于星上图像预处理的图像插值方法，在具有较低算法复杂度的同时，能够获得高质量的插值复原图像。
本发明目的通过以下技术方案予以实现：一种适用于星上图像预处理的图像插值方法，所述方法包括如下步骤：步骤1：从原始输入贝尔图像中，在包含红色分量的像素点处，通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出红色分量处的绿色分量；在包含蓝色分量的像素点处，通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出蓝色分量处的绿色分量；步骤2：将步骤1中的红色分量与红色分量处的绿色分量作差得到贝尔格式的红绿色差图像；将步骤1中的蓝色分量与蓝色分量处的绿色分量作差得到贝尔格式的蓝绿色差图像；步骤3：根据步骤2中的贝尔格式的红绿色差图像，结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度，重建全像素红绿色差图像；根据步骤2中的贝尔格式的蓝绿色差图像，结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度，重建全像素蓝绿色差图像；步骤4：将步骤3中的全像素红绿色差图像与步骤1中的红色分量处的绿色分量相加得到全像素红色分量R；将步骤3中的全像素红绿色差图像与步骤1中的蓝色分量处的绿色分量相加得到全像素蓝色分量B。
上述适用于星上图像预处理的图像插值方法中，在步骤1中，从原始输入贝尔图像中，在包含红色分量的像素点处，通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出红色分量处的绿色分量包括如下步骤：
在包含红色分量R(i,j)的像素点处，以5×5为像素重建模板，计算红色分量的像素点处的水平方向的梯度△HR和垂直方向梯度△VR，当△HR＞△VR时，则红色分量的像素点处的垂直方向作为红色分量的像素点的梯度方向，选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)来计算红色分量R(i,j)的所缺失的绿色分量G(i,j)；当△HR＜△VR时，则红色分量的像素点处的水平方向作为红色分量R(i,j)的梯度方向，选择G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)、R(i,j)来计算红色分量的像素点所缺失的绿色分量G(i,j)；当△HR＝△VR时，则选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)、G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)来计算红色分量的像素点所缺失的绿色分量G(i,j)。
上述适用于星上图像预处理的图像插值方法中，在步骤1中，在包含蓝色分量的像素点处，通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出蓝色分量处的绿色分量包括如下步骤：
在包含蓝色分量B(m,n)的像素点处，以5×5为像素重建模板，计算蓝色分量的像素点处的水平方向的梯度△HB和垂直方向梯度△VB，当△HB＞△VB时，则蓝色分量的像素点处的垂直方向作为蓝色分量的像素点的梯度方向，选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)；当△HB＜△VB时，则蓝色分量的像素点处的水平方向作为蓝色分量的像素点的梯度方向，选择G(m,n-1)、G(m,n+1)、B(m,n+2)、B(m,n-2)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)；当△HB＝△VB时，则选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)、G(m,n-1)、G(m,m+1)、B(m,n+2)、B(m,n-2)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)。
上述适用于星上图像预处理的图像插值方法中，在步骤2中，贝尔格式的红绿色差图像的公式为：Rg(i,j)＝R(i,j)-G(i,j)；其中，R(i,j)为红色分量，G(i,j)为红色分量处的绿色分量。
上述适用于星上图像预处理的图像插值方法中，在步骤2中，贝尔格式的蓝绿色差图像的公式为：Bg(m,n)＝B(m,n)-G(m,n)；其中，B(m,n)为蓝色分量，G(m,n)为蓝色分量处的绿色分量。
上述适用于星上图像预处理的图像插值方法中，在步骤3中，根据步骤2中的贝尔格式的红绿色差图像，结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度，重建全像素红绿色差图像包括如下步骤：
步骤3.1：在包含贝尔格式的蓝绿色差图像但缺失贝尔格式的红绿色差图像的像素点Rg(i,j)处，以3×3为色差像素重建模板，像素点Rg(i,j)周围有四个红绿色差点，分别为Rg(i-1,j-1)，Rg(i-1,j+1)，Rg(i+1,j-1)，Rg(i+1,j+1)，依据色彩相关性计算像素点Rg(i,j)的红绿色差Rg；
步骤3.2：在3×3为色差像素重建模板中只包含绿色分量G的像素点处，周围相邻的有四个红绿色差点，分别位于上，下，左，右；计算红绿色差水平方向的梯度△Hrg和红绿色差垂直方向的梯度△Vrg，当△Hrg＜△Vrg时，则红绿色差水平方向的梯度作为只包含绿色分量G的像素点的梯度方向，选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg；当△Hrg≥△Vrg时，则红绿色差垂直方向的梯度作为只包含绿色分量G的像素点的梯度方向，选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg。
上述适用于星上图像预处理的图像插值方法中，在步骤3中，根据步骤2中的贝尔格式的蓝绿色差图像，结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度，重建全像素蓝绿色差图像包括如下步骤：
步骤3.3：在包含贝尔格式的红绿色差图像但缺失贝尔格式的蓝绿色差图像的像素点Bg(m,n)处，以3×3为色差像素重建模板，像素点Bg(m,n)周围有四个蓝绿色差点，分别为Bg(m-1,n-1)，Bg(m-1,n+1)，Bg(m+1,n-1)，Bg(m+1,n+1)，依据色彩相关性计算像素点Bg(m,n)的蓝绿色差Bg；
步骤3.4：在3×3为色差像素重建模板中只包含绿色分量G的像素点处，周围相邻的有四个蓝绿色差点，分别位于上，下，左，右；计算蓝绿色差水平方向的梯度△Hbg和蓝绿色差垂直方向的梯度△Vbg，当△Hbg＜△Vbg时，则蓝绿色差水平方向作为只包含绿色分量G的像素点的梯度方向，选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg；当△Hbg≥△Vbg时，则蓝绿色差垂直方向作为只包含绿色分量G的像素点的梯度方向，选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg。
上述适用于星上图像预处理的图像插值方法中，红色分量的像素点处的水平方向的梯度△HR的公式为：ΔHR＝|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|；
红色分量的像素点处的垂直方向梯度△VR的公式为：ΔVR＝|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|。
上述适用于星上图像预处理的图像插值方法中，蓝色分量的像素点处的水平方向的梯度△HB的公式为：ΔHB＝|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|；
蓝色分量的像素点处的垂直方向梯度△VB的公式为：ΔVB＝|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|。
上述适用于星上图像预处理的图像插值方法中，红绿色差水平方向的梯度△Hrg的公式为：
△Hrg＝│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│；
红绿色差垂直方向的梯度△Vrg的公式为：
△Vrg＝│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│。
本发明与现有技术相比具有如下有益效果：
(1)本发明通过梯度比较，判断出图像边缘方向，再依据色差原理重构出各像素点绿色分量，在此基础上再通过梯度比较和色差原理重构出色差图像，从而插值恢复出一幅完整RGB图像，恢复出的图像具有更高的图像质量，更好的目视效果，利于遥感图像解析解译，使用。
(2)本发明通过提出依据色差原理，重构绿色分量时使用5×5模板，重构红色和蓝色分量时使用3×3像素模板，共需13MN次加减运算和3.5MN次位移运算，对于紧张的星上资源占用较少，利于星上图像预处理的实现。同时也适用于地面图像插值恢复使用。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的适用于星上图像预处理的图像插值方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例提供的适用于星上图像预处理的图像插值方法的流程图。如图1所示，该适用于星上图像预处理的图像插值方法包括如下步骤：
步骤1.重建图像全部绿色分量G，具体方法是：在包含红色分量的像素点R(i,j)处，以5×5为像素重建模板，计算水平方向的梯度△H和垂直方向梯度△V，从水平和垂直方向考虑绿色分量和红色分量关系；1.1：当△HR＞△VR时，则垂直方向作为当前点的梯度方向，选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)来计算当前点所缺失的绿色分量G(i,j)；1.2：当△HR＜△VR时，则水平方向作为当前点的梯度方向，选择G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)、R(i,j)来计算当前点所缺失的绿色分量G(i,j)；1.3：当△HR＝△VR时，则选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)、G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)来计算当前点所缺失的绿色分量G(i,j)。在包含蓝色分量的像素点B(m,n)处，以5×5为像素重建模板，计算水平方向的梯度△H和垂直方向梯度△V，从水平和垂直方向考虑绿色分量和蓝色分量关系；1.4：当△HB＞△VB时，则垂直方向作为当前点的梯度方向，选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)来计算当前点所缺失的绿色分量G(m,n)；1.5：当△HB＜△VB时，则水平方向作为当前点的梯度方向，选择G(m,n-1)、G(m,n+1)、B(m,n+2)、B(m,n-2)、B(m,n)来计算当前点所缺失的绿色分量G(m,n)；1.6：当△HB＝△VB时，则选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)、G(m,n-1)、G(m,m+1)、B(m,n+2)、B(m,n-2)来计算当前点所缺失的绿色分量G(m,n)。其中，i为像素点R(i,j)的横坐标，j为像素点R(i,j)的纵坐标；m为像素点B(m,n)的横坐标，n为像素点B(m,n)的纵坐标。
步骤2.计算包含红色分量的像素点色差Rg和计算包含蓝色分量的像素点色差Bg，其方法为：在包含红色分量R的像素采样点，在步骤1的基础上，当前点包含有原始红色分量R(i,j)和已重建的绿色分量G(i,j)，计算差值Rg(i,j)，得到贝尔格式的红绿色差图像；在包含红色分量B的像素采样点，在步骤1的基础上，当前点包含有原始蓝色分量B(m,n)和已重建的绿色分量G(m,n)，计算差值Bg(m,n)，得到贝尔格式的蓝绿色差图像；
步骤3.重建全像素红绿色差图像Rg和蓝绿色差图像Bg，具体方法为：重建全像素色差图像Rg的具体方法：3.1在包含蓝绿色差Bg(i,j)但缺失红绿色差Rg(i,j)的像素点处，以3×3为色差像素重建模板，周围有四个红绿色差点，分别为Rg(i-1,j-1)，Rg(i-1,j+1)，Rg(i+1,j-1)，Rg(i+1,j+1)，依据色彩相关性计算当前点的红绿色差Rg；3.2在只包含绿色分量G的像素点处，在步骤3.1基础上，周围相邻的有四个红绿色差点，分别位于上，下，左，右；计算色差水平方向的梯度△Hrg和垂直方向的梯度△Vrg，从水平和垂直方向考虑红绿色差分量关系，(1)当△Hrg＜△Vrg时，则水平方向作为当前点的梯度方向，选择左右两个红绿色差计算当前点缺失的红绿色差值Rg；(2)当△Hrg≥△Vrg时，则垂直方向作为当前点的梯度方向，选择上下两个红绿色差计算当前点缺失的红绿色差值Rg。重建全像素色差图像Bg的具体方法：3.3在包含红绿色差Rg(m,n)但缺失蓝绿色差Bg(m,n)的像素点处，以3×3为色差像素重建模板，周围有四个蓝绿色差点，分别为Bg(m-1,n-1)，Bg(m-1,n+1)，Bg(m+1,n-1)，Bg(m+1,n+1)，依据色彩相关性计算当前点的蓝绿色差Bg；3.4在只包含绿色分量G的像素点处，在步骤3.3基础上，周围相邻的有四个蓝绿色差点，分别位于上，下，左，右；计算色差水平方向的梯度△Hbg和垂直方向的梯度△Vbg，从水平和垂直方向考虑红绿色差分量关系，(1)当△Hbg＜△Vbg时，则水平方向作为当前点的梯度方向，选择左右两个红绿色差计算当前点缺失的红绿色差值Bg；(2)当△Hbg≥△Vbg时，则垂直方向作为当前点的梯度方向，选择上下两个红绿色差计算当前点缺失的红绿色差值Bg
步骤4.重建全像素红色分量R和蓝色分量B；重建全像素红色分量R的具体方法是：将步骤3计算的图像当前像素点的红绿色差值Rg与当前像素点中的绿色分量G相加，即可重建出图像的全像素红色分量R。重建全像素蓝色分量B的具体方法是：将步骤3计算的图像当前像素点的蓝绿色差值Bg与当前像素点中的绿色分量G相加，即可重建出图像的全像素红色分量B。至此，插值重建恢复出了全像素的R、G、B颜色分量。
恢复绿色分量时，使用5×5像素空间模板，中心处为红色或蓝色分量，恢复中心处的绿色分量。
判断图像边缘部分的方向，方法是根据下述公式计算出水平和垂直方向的梯度，通过比较水平方向和垂直方向的梯度可知晓图像边缘的方向。
ΔHR＝|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|
ΔVR＝|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|
ΔHB＝|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|
ΔVB＝|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|
其中，△HR为像素点R处的水平梯度，△VR为像素点R处垂直梯度；
△HB为像素点B处的水平梯度，△VB为像素点B处垂直梯度。
绿色分量恢复，根据色彩相关性理论，同时根据步中梯度的比较，可沿图像相关边缘方向进行插值，从而计算出5×5像素空间模板中心处的绿色分量:
当△HR＜△VR时，
Figure BDA0002422104370000081
当△HR＞△VR时，
Figure BDA0002422104370000082
当△HR＝△VR时，
Figure BDA0002422104370000091
当△HB＜△VB时，
Figure BDA0002422104370000092
当△HB＞△VB时，
Figure BDA0002422104370000093
当△HB＝△VB时，
Figure BDA0002422104370000094
其中，△HR为水平梯度，△VR为垂直梯度；
R(i,j)为坐标(i,j)处的红色分量；
G(i,j)为R(i,j)恢复出的绿色分量；
△HB为水平梯度，△VB为垂直梯度；
B(m,n)为坐标(m,n)处的红色分量；
G(m,n)为B(m,n)恢复出的绿色分量。
红色分量R和蓝色分量B的恢复。首先需求得红色和绿色色差Rg和蓝色和绿色色差Bg。将恢复的全G分量图像与原始贝尔图像做差，得到贝尔格式的红绿色差图像和贝尔格式的蓝绿色差图像。
以3×3像素空间模板，中心处为红色或蓝色分量，根据色彩相关性原理，利用步骤(1)中得到的色差图像，可插值恢复出中心处的红绿色差或者蓝绿色差。
以3×3像素空间模板，中心处为绿色分量，利用得到的红绿色差和蓝绿色差，结合梯度计算，恢复出G位置上的红绿色差和蓝绿色差。
计算G上的红绿色差和蓝绿色差，方法是根据下述公式计算出水平和垂直方向的梯度，通过比较水平方向和垂直方向的梯度可知晓色差变化的方向，式中(i,j)为中心处坐标。
△Hrg＝│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│
△Vrg＝│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│
△Hbg＝│G(m-1,n+1)+G(m+1,n+1)-G(m-1,n-1)-G(m+1,n-1)│
△Vbg＝│G(m+1,n-1)+G(m+1,n+1)-G(m-1,n-1)-G(m-1,n+1)│
其中，△Hrg为红绿色差水平梯度，△Vrg为红绿色差垂直梯度；
△Hbg为蓝绿色差水平梯度，△Vbg为蓝绿色差垂直梯度。
根据色彩相关性理论，同时根据上述中梯度的比较，可沿图像相关边缘方向进行插值出G上的红绿色差和蓝绿色差，即可得到全部的红绿色差和蓝绿色差。
根据计算得到的绿色分量和上述步骤得到的红绿色差和蓝绿色差值，即可求和计算得出红色分量和蓝色分量，从而完成贝尔图像插值。
具体的，适用于星上图像预处理的图像插值方法流程图，步骤如下：
1.重建图像全部绿色分量G，从输入贝尔图像中，依据色差理论和色彩相关性理论，通过计算梯度，可插值恢复出红色分量和蓝色分量处的绿色分量；经过该步骤，能够得到图像的全部绿色分量，用于后续图像恢复。
(1)恢复绿色分量时，使用5×5像素空间模板，如表1所示，图中以最中心的R标注为(i,j)位置，模板其余像素点以R(i,j)为基准，根据位置，标注其余像素点的坐标。
Figure BDA0002422104370000101
表1 5×5插值恢复绿色分量模板
(2)梯度计算，根据下述公式计算出水平和垂直方向的梯度，根据梯度可知晓图像边缘的方向。
ΔHR＝|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|
ΔVR＝|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|
ΔHB＝|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|
ΔVB＝|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|
其中，△HR为像素点R处的水平梯度，△VR为像素点R处垂直梯度；
△HB为像素点B处的水平梯度，△VB为像素点B处垂直梯度。
(3)绿色分量恢复，根据色彩相关性理论，同时根据(2)中计算的梯度，对垂直和水平方向的梯度进行比较，可沿图像边缘方向进行插值，从而计算出当前像素点的绿色分量
红色像素点处绿色分量的插值重建：
当△HR＜△VR时，
Figure BDA0002422104370000111
当△HR＞△VR时，
Figure BDA0002422104370000112
当△HR＝△VR时，
Figure BDA0002422104370000113
蓝色像素点处绿色分量的插值重建：
当△HB＜△VB时，
Figure BDA0002422104370000114
当△HB＞△VB时，
Figure BDA0002422104370000115
当△HB＝△VB时，
Figure BDA0002422104370000116
其中，△HR为水平梯度，△VR为垂直梯度；
R(i,j)为坐标(i,j)处的红色分量；
G(i,j)为R(i,j)恢复出的绿色分量；
△HB为水平梯度，△VB为垂直梯度；
B(m,n)为坐标(m,n)处的红色分量；
G(m,n)为B(m,n)恢复出的绿色分量。
2.计算包含红色分量的像素点色差Rg和计算包含蓝色分量的像素点色差Bg，其方法为：在包含红色分量R的像素采样点，在步骤1的基础上，当前点包含有原始红色分量R(i,j)和已重建的绿色分量G(i,j)，计算差值Rg(i,j)，得到贝尔格式的红绿色差图像；在包含红色分量B的像素采样点，在步骤1的基础上，当前点包含有原始蓝色分量B(m,n)和已重建的绿色分量G(m,n)，计算差值Bg(m,n)，得到贝尔格式的蓝绿色差图像；如下表2、表3所示
Figure BDA0002422104370000121
表2中RgⅠ、RgⅡ、RgⅢ、RgⅣ为经邻近像素的红绿色差值
Figure BDA0002422104370000122
表3中BgⅠ、BgⅡ、BgⅢ、BgⅣ为经邻近像素的蓝绿色差值
3.恢复出全像素的的红绿色差图和蓝绿色差图。
(1)根据色差原理，利用步骤2中得到的色差图像，可插值恢复出表2中B处的红绿色差Rg和表3中R处的蓝绿色差Bg
(1.1)插值恢复B处的红色色差Rg：
Figure BDA0002422104370000123
Figure BDA0002422104370000124
式中RgⅠ、RgⅡ、RgⅢ、RgⅣ为蓝色像素点B邻近像素的红绿色差值，
Rg为当前B位置的红绿差。
(1.2)插值恢复R处的蓝绿色差Bg：
Figure BDA0002422104370000131
Figure BDA0002422104370000132
式中BgⅠ、BgⅡ、BgⅢ、BgⅣ为蓝色像素点R邻近像素的红绿色差值，
Bg为当前B位置的红绿差；
(2)经过上述步骤(1)后，只有绿色像素点处的红绿色差值和蓝绿色差值没有恢复。以3×3像素空间模板，周围相邻的有四个蓝绿色差点，分别位于上，下，左，右，结合梯度计算，恢复出G位置上的红绿色差和蓝绿色差。
Figure BDA0002422104370000133
表4中心像素为G时红绿色差分量模板
Figure BDA0002422104370000134
Figure BDA0002422104370000141
表5中心像素为G时蓝绿色差分量模板(2.1)重建只包含绿色分量处的红绿色差如表4所示：
首先计算红绿色差的梯度方向
△Hrg＝│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│
△Hrg＝│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│
其中，△Hrg为红绿色差水平梯度，△Vrg为红绿色差垂直梯度当△Hrg＜△Hrg时，
Figure BDA0002422104370000142
式中Rg2、Rg4为当前G像素相邻的水平红绿色差值。
当△Hrg≥△Hrg时，
Figure BDA0002422104370000143
式中Rg1、Rg3为当前G像素相邻的垂直红绿色差值。
(2.2)重建只包含绿色分量处的蓝绿色差，如表5所示：
首先计算蓝绿色差的梯度方向
△Hbg＝│G(m-1,n+1)+G(m+1,n+1)-G(m-1,n-1)-G(m+1,n-1)│
△Vbg＝│G(m+1,n-1)+G(m+1,n+1)-G(m-1,n-1)-G(m-1,n+1)│
其中，△Hbg为蓝绿色差水平梯度，△Vbg为蓝绿色差垂直梯度；当△Hbg＜△Hbg时，
Figure BDA0002422104370000144
式中Bg2、Bg4为当前G像素相邻的水平红绿色差值。
当△Hbg≥△Hbg时，
Figure BDA0002422104370000145
式中Bg1、Bg3为当前G像素相邻的垂直红绿色差值。
至此，恢复出了全像素的红绿色差值和全像素的蓝绿色差值。
4.各像素点的红绿色差及蓝绿色差与步骤1中的绿色分量求和，即可恢复出全部的红色分量和蓝色分量，插值恢复出完整的彩色图像。从而完成贝尔图像插值。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种适用于星上图像预处理的图像插值方法，其特征在于，所述方法包括如下步骤：
步骤1：从原始输入贝尔图像中，在包含红色分量的像素点处，通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出红色分量处的绿色分量；在包含蓝色分量的像素点处，通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出蓝色分量处的绿色分量；
步骤2：将步骤1中的红色分量与红色分量处的绿色分量作差得到贝尔格式的红绿色差图像；将步骤1中的蓝色分量与蓝色分量处的绿色分量作差得到贝尔格式的蓝绿色差图像；
步骤3：根据步骤2中的贝尔格式的红绿色差图像，结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度，重建全像素红绿色差图像；根据步骤2中的贝尔格式的蓝绿色差图像，结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度，重建全像素蓝绿色差图像；
步骤4：将步骤3中的全像素红绿色差图像与步骤1中的红色分量处的绿色分量相加得到全像素红色分量R；将步骤3中的全像素红绿色差图像与步骤1中的蓝色分量处的绿色分量相加得到全像素蓝色分量B。
2.根据权利要求1所述的适用于星上图像预处理的图像插值方法，其特征在于：在步骤1中，从原始输入贝尔图像中，在包含红色分量的像素点处，通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出红色分量处的绿色分量包括如下步骤：
在包含红色分量R(i,j)的像素点处，以5×5为像素重建模板，计算红色分量的像素点处的水平方向的梯度△HR和垂直方向梯度△VR，当△HR＞△VR时，则红色分量的像素点处的垂直方向作为红色分量的像素点的梯度方向，选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)来计算红色分量R(i,j)的所缺失的绿色分量G(i,j)；当△HR＜△VR时，则红色分量的像素点处的水平方向作为红色分量R(i,j)的梯度方向，选择G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)、R(i,j)来计算红色分量的像素点所缺失的绿色分量G(i,j)；当△HR＝△VR时，则选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)、G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)来计算红色分量的像素点所缺失的绿色分量G(i,j)。
3.根据权利要求2所述的适用于星上图像预处理的图像插值方法，其特征在于：在步骤1中，在包含蓝色分量的像素点处，通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度，插值恢复出蓝色分量处的绿色分量包括如下步骤：
在包含蓝色分量B(m,n)的像素点处，以5×5为像素重建模板，计算蓝色分量的像素点处的水平方向的梯度△HB和垂直方向梯度△VB，当△HB＞△VB时，则蓝色分量的像素点处的垂直方向作为蓝色分量的像素点的梯度方向，选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)；当△HB＜△VB时，则蓝色分量的像素点处的水平方向作为蓝色分量的像素点的梯度方向，选择G(m,n-1)、G(m,n+1)、B(m,n+2)、B(m,n-2)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)；当△HB＝△VB时，则选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)、G(m,n-1)、G(m,m+1)、B(m,n+2)、B(m,n-2)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)。
4.根据权利要求3所述的适用于星上图像预处理的图像插值方法，其特征在于：在步骤2中，贝尔格式的红绿色差图像的公式为：Rg(i,j)＝R(i,j)-G(i,j)；其中，R(i,j)为红色分量，G(i,j)为红色分量处的绿色分量。
5.根据权利要求3所述的适用于星上图像预处理的图像插值方法，其特征在于：在步骤2中，贝尔格式的蓝绿色差图像的公式为：Bg(m,n)＝B(m,n)-G(m,n)；其中，B(m,n)为蓝色分量，G(m,n)为蓝色分量处的绿色分量。
6.根据权利要求5所述的适用于星上图像预处理的图像插值方法，其特征在于：在步骤3中，根据步骤2中的贝尔格式的红绿色差图像，结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度，重建全像素红绿色差图像包括如下步骤：
步骤3.1：在包含贝尔格式的蓝绿色差图像但缺失贝尔格式的红绿色差图像的像素点Rg(i,j)处，以3×3为色差像素重建模板，像素点Rg(i,j)周围有四个红绿色差点，分别为Rg(i-1,j-1)，Rg(i-1,j+1)，Rg(i+1,j-1)，Rg(i+1,j+1)，依据色彩相关性计算像素点Rg(i,j)的红绿色差Rg；
步骤3.2：在3×3为色差像素重建模板中只包含绿色分量G的像素点处，周围相邻的有四个红绿色差点，分别位于上，下，左，右；计算红绿色差水平方向的梯度△Hrg和红绿色差垂直方向的梯度△Vrg，当△Hrg＜△Vrg时，则红绿色差水平方向的梯度作为只包含绿色分量G的像素点的梯度方向，选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg；当△Hrg≥△Vrg时，则红绿色差垂直方向的梯度作为只包含绿色分量G的像素点的梯度方向，选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg。
7.根据权利要求6所述的适用于星上图像预处理的图像插值方法，其特征在于：在步骤3中，根据步骤2中的贝尔格式的蓝绿色差图像，结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度，重建全像素蓝绿色差图像包括如下步骤：
步骤3.3：在包含贝尔格式的红绿色差图像但缺失贝尔格式的蓝绿色差图像的像素点Bg(m,n)处，以3×3为色差像素重建模板，像素点Bg(m,n)周围有四个蓝绿色差点，分别为Bg(m-1,n-1)，Bg(m-1,n+1)，Bg(m+1,n-1)，Bg(m+1,n+1)，依据色彩相关性计算像素点Bg(m,n)的蓝绿色差Bg；
步骤3.4：在3×3为色差像素重建模板中只包含绿色分量G的像素点处，周围相邻的有四个蓝绿色差点，分别位于上，下，左，右；计算蓝绿色差水平方向的梯度△Hbg和蓝绿色差垂直方向的梯度△Vbg，当△Hbg＜△Vbg时，则蓝绿色差水平方向作为只包含绿色分量G的像素点的梯度方向，选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg；当△Hbg≥△Vbg时，则蓝绿色差垂直方向作为只包含绿色分量G的像素点的梯度方向，选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg。
8.根据权利要求2所述的适用于星上图像预处理的图像插值方法，其特征在于：红色分量的像素点处的水平方向的梯度△HR的公式为：ΔHR＝|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|；
红色分量的像素点处的垂直方向梯度△VR的公式为：ΔVR＝|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|。
9.根据权利要求3所述的适用于星上图像预处理的图像插值方法，其特征在于：蓝色分量的像素点处的水平方向的梯度△HB的公式为：ΔHB＝|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|；
蓝色分量的像素点处的垂直方向梯度△VB的公式为：ΔVB＝|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|。
10.根据权利要求6所述的适用于星上图像预处理的图像插值方法，其特征在于：红绿色差水平方向的梯度△Hrg的公式为：
△Hrg＝│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│；
红绿色差垂直方向的梯度△Vrg的公式为：
△Vrg＝│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│。
CN202010208817.3A 2020-03-23 2020-03-23 一种适用于星上图像预处理的图像插值方法 Pending CN111445403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010208817.3A CN111445403A (zh) 2020-03-23 2020-03-23 一种适用于星上图像预处理的图像插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010208817.3A CN111445403A (zh) 2020-03-23 2020-03-23 一种适用于星上图像预处理的图像插值方法

Publications (1)

Publication Number Publication Date
CN111445403A true CN111445403A (zh) 2020-07-24

Family

ID=71629394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010208817.3A Pending CN111445403A (zh) 2020-03-23 2020-03-23 一种适用于星上图像预处理的图像插值方法

Country Status (1)

Country Link
CN (1) CN111445403A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115060734A (zh) * 2022-08-09 2022-09-16 吉林信息安全测评中心 一种用于工业视觉检测的多角度影像摄录装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130960A (en) * 1997-11-03 2000-10-10 Intel Corporation Block-matching algorithm for color interpolation
US20060078229A1 (en) * 2004-10-12 2006-04-13 Hsu-Lien Huang Interpolation method for generating pixel color
CN101917629A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
CN102665030A (zh) * 2012-05-14 2012-09-12 浙江大学 一种基于改进双线性的Bayer格式颜色插值方法
US20150042775A1 (en) * 2013-08-09 2015-02-12 Intuitive Surgical Operations, Inc. Efficient Image Demosaicing and Local Contrast Enhancement
CN104537625A (zh) * 2015-01-05 2015-04-22 中国科学院光电技术研究所 一种基于方向标志位的Bayer彩色图像插值方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130960A (en) * 1997-11-03 2000-10-10 Intel Corporation Block-matching algorithm for color interpolation
US20060078229A1 (en) * 2004-10-12 2006-04-13 Hsu-Lien Huang Interpolation method for generating pixel color
CN101917629A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
CN102665030A (zh) * 2012-05-14 2012-09-12 浙江大学 一种基于改进双线性的Bayer格式颜色插值方法
US20150042775A1 (en) * 2013-08-09 2015-02-12 Intuitive Surgical Operations, Inc. Efficient Image Demosaicing and Local Contrast Enhancement
CN104537625A (zh) * 2015-01-05 2015-04-22 中国科学院光电技术研究所 一种基于方向标志位的Bayer彩色图像插值方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵亮等: "基于色差空间的低复杂度Bayer图像插值算法" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115060734A (zh) * 2022-08-09 2022-09-16 吉林信息安全测评中心 一种用于工业视觉检测的多角度影像摄录装置

Similar Documents

Publication Publication Date Title
US8068700B2 (en) Image processing apparatus, image processing method, and electronic appliance
CN107578392B (zh) 一种基于残余插值的卷积神经网络去马赛克方法
CN101917629B (zh) 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
EP1014305B1 (en) Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US7705915B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
CN108304755A (zh) 用于图像处理的神经网络模型的训练方法和装置
CN102665030B (zh) 一种基于改进双线性的Bayer格式颜色插值方法
CN112804561A (zh) 视频插帧方法、装置、计算机设备及存储介质
Klein et al. Simulating low-cost cameras for augmented reality compositing
CN110430403B (zh) 一种图像处理方法和装置
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
CN111539893A (zh) 一种基于导向滤波的Bayer图像联合去马赛克去噪方法
CN111510691A (zh) 颜色插值方法及装置、设备、存储介质
CN111383200A (zh) 基于生成式对抗神经网络的cfa图像去马赛克方法
CN111539892A (zh) Bayer图像的处理方法、系统、电子设备和存储介质
CN112164004A (zh) 一种联合优化全局和局部颜色一致性的色彩校正方法
US20080062479A1 (en) Heterogeneity-projection hard-decision interpolation method for color reproduction
CN111445403A (zh) 一种适用于星上图像预处理的图像插值方法
CN113052765B (zh) 基于最优栅格密度模型的全景图像拼接方法
JP2008234130A (ja) 複数領域に対応した画質改善処理方法及び画質改善処理プログラム
Wu et al. Color demosaicking with sparse representations
Saito et al. Demosaicing approach based on extended color total-variation regularization
Pekkucuksen et al. Edge oriented directional color filter array interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination