CN108734668B - 图像色彩恢复方法、装置、计算机可读存储介质及终端 - Google Patents

图像色彩恢复方法、装置、计算机可读存储介质及终端 Download PDF

Info

Publication number
CN108734668B
CN108734668B CN201710269036.3A CN201710269036A CN108734668B CN 108734668 B CN108734668 B CN 108734668B CN 201710269036 A CN201710269036 A CN 201710269036A CN 108734668 B CN108734668 B CN 108734668B
Authority
CN
China
Prior art keywords
plane
green
horizontal
vertical
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710269036.3A
Other languages
English (en)
Other versions
CN108734668A (zh
Inventor
姬弘桢
朱洪波
彭晓峰
杨傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201710269036.3A priority Critical patent/CN108734668B/zh
Publication of CN108734668A publication Critical patent/CN108734668A/zh
Application granted granted Critical
Publication of CN108734668B publication Critical patent/CN108734668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

一种图像色彩恢复方法、装置、计算机可读存储介质及终端，图像色彩恢复方法包括：利用预设窗口遍历待恢复图像，在每一次滑动预设窗口后，对预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果；在每一次滑动预设窗口后，根据插值结果计算预设窗口内的中心像素在四个方向上的权重值以及最终色差；在每一次滑动预设窗口后，根据最终色差以及权重值计算中心像素的绿色分量值，直至利用预设窗口遍历完成待恢复图像，以得到待恢复图像中所有像素的绿色分量值；计算待恢复图像中所有像素的红色分量值和蓝色分量值，以完成待恢复图像的色彩恢复。本发明技术方案可以实现较优的图像颜色恢复的效果。

Description

图像色彩恢复方法、装置、计算机可读存储介质及终端
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像色彩恢复方法、装置、计算机可读存储介质及终端。
背景技术
为了从彩色滤波阵列(Color Filter Array,CFA)图像得到全彩色图像，需要根据某像素点邻域像素信息恢复出该像素的另外两种颜色分量，这个过程通常称为去马赛克(demosaicing)，也称之为颜色插值。去马赛克是CFA图像处理的最重要环节，也是CFA图像进一步处理的必要前提。其利用插值的方法将贝尔(Bayer)图像中每个像素只有一种基色的马赛克图像变换成每个像素都包含红、绿、蓝三色的全彩色图。
现有技术中，按照是否利用到相关性原则可以把这些方法分为两大类：一类是没有利用任何相关性的方法，例如最邻近插值，双线性插值等。在这些方法中未知的绿色分量值仅由其邻域中已知的绿色像素的强度进行估计，对红色和蓝色通道亦是如此。其中最典型，应用最多的就是双线性插值。这一类算法容易实现，在平滑区域也可以得到比较满意的结果，但在高频区域，尤其是边缘区域却失真明显。另一类是利用相关性的方法，这里提到的相关性指的是每个颜色通道内像素间空间关系的相关性和多通道间颜色的相关性。这一类自适应算法常常结合了对图像细节的分析判断以及颜色通道之间的相关性，插值效果要明显优于前一类，大部分的算法都属于这一类，如方向线性最小均方误差算法(Directional Linear Minimum Mean Square-Error,DLMMSE)，基于梯度阈值的分类算法(gradient based threshold free,GBTF)等。这类算法由于考虑到了各个方向上的梯度信息，有较好的抑制边缘失真的效果，改善了还原图像的质量。
但是，一幅自然图像通常由平坦区域、边缘、角点、纹理等基本要素构成，现有的没有利用任何相关性的方法往往只针对某种图像要素具有较好的插值效果。例如双线性插值对红色，绿色和蓝色分量的恢复重建基于3×3模板内的平均，容易造成边缘信息的丢失和模糊。此外，双线性插值恢复每种颜色分量的时候仅仅使用了各自独立的颜色通道来进行，没有考虑不同颜色通道之间的相关性。以GBTF为代表的插值方法考虑了像素周围的梯度并以此计算不同方向上的插值的权重，但在密集的栅格区域，以此方法计算的像素周边的梯度信息不能很好的反映中心像素的信息，会导致较为严重的摩尔纹。
发明内容
本发明解决的技术问题是如何实现较优的图像颜色恢复的效果。
为解决上述技术问题，本发明实施例提供一种图像色彩恢复方法，图像色彩恢复方法包括：
利用预设窗口遍历待恢复图像，在每一次滑动所述预设窗口后，对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果，所述插值结果包括水平红色平面、水平蓝色平面、竖直红色平面、竖直蓝色平面、初始水平绿色平面、初始竖直绿色平面以及根据所述水平红色平面、水平蓝色平面得到的最终水平绿色平面和根据竖直红色平面、竖直蓝色平面得到的最终竖直绿色平面；在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差；在每一次滑动所述预设窗口后，根据所述色差平面以及权重值计算所述中心像素的绿色分量值，直至利用所述预设窗口遍历完成所述待恢复图像，以得到所述待恢复图像中所有像素的绿色分量值；计算所述待恢复图像中所有像素的红色分量值和蓝色分量值，以完成所述待恢复图像的色彩恢复。
可选的，所述待恢复图像为贝尔图像，所述待恢复图像中像素的颜色分量包括红色、蓝色、和绿色，如果像素的绿色分量在水平方向上与其他像素的红色分量相邻，则将该像素的绿色分量记为第一绿色分量，如果像素的绿色分量在水平方向上与其他像素的蓝色分量相邻，则将该像素的绿色分量记为第二绿色分量；所述对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值包括：对所述预设窗口内的所有像素进行单通道插值，得到水平红色分量、水平蓝色分量、竖直红色分量、竖直蓝色分量、初始水平绿色分量和初始竖直绿色分量，所述初始水平绿色平面包括初始水平绿色分量与原始绿色分量，所述初始竖直绿色平面包括初始竖直绿色分量与原始绿色分量；分别以所述水平红色平面以及所述水平蓝色平面作为参考平面，对所述初始水平绿色平面进行高斯滤波，分别以所述竖直红色平面以及所述竖直蓝色平面作为参考平面，对所述初始竖直绿色平面进行高斯滤波，以得到高斯滤波结果，所述水平红色平面包括所述水平红色分量与原始红色分量，所述水平蓝色平面包括所述水平蓝色分量与原始蓝色分量，所述竖直红色平面包括所述竖直红色分量与原始红色分量，所述竖直蓝色平面包括所述竖直蓝色分量与原始蓝色分量；至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面和第一最终竖直绿色平面以及针对第二绿色分量的第二最终水平绿色平面和第二最终竖直绿色平面，所述最终水平绿色平面包括第一最终水平绿色平面和第二最终水平绿色平面，所述最终竖直绿色平面包括第一最终竖直绿色平面和第二最终竖直绿色平面。
可选的，采用以下公式进行高斯滤波：
Figure BDA0001276406280000031
Figure BDA0001276406280000032
其中，K为归一化常量，σ为所述参考平面上像素值的标准差，M×N为所述预设窗口的大小；xa为待滤波的所述初始水平绿色平面或初始竖直绿色平面，ri为所述预设窗口在所述参考平面上的中心像素的像素值，rj为所述预设窗口在所述参考平面上的其他像素的像素值，X为所述第一最终水平绿色平面、第二最终水平绿色平面、第一最终竖直绿色平面或第二最终竖直绿色平面。
可选的，所述高斯滤波结果包括中间水平绿色平面，所述中间水平绿色平面包括针对第一绿色分量的第一中间水平绿色平面和针对第二绿色分量的第二中间水平绿色平面；所述至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面以及针对第二绿色分量的第二最终水平绿色平面包括：计算所述原始绿色分量在第一绿色分量上的分量值与所述第一中间水平绿色平面的第一初始残差，以及所述原始绿色分量在第二绿色分量上的分量值与所述第二中间水平绿色平面的第二初始残差；根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面。
可选的，所述根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面包括：利用所述第一初始残差进行插值得到第一最终残差，利用所述第二初始残差进行插值得到第二最终残差；计算所述第一中间水平绿色平面与所述第一最终残差之和，以得到所述第一最终水平绿色平面，以及计算所述第二中间水平绿色平面与所述第二最终残差之和，以得到第二最终水平绿色平面。
可选的，所述高斯滤波结果包括中间竖直绿色平面，所述中间竖直绿色平面包括针对第一绿色分量的第一中间竖直绿色平面和针对第二绿色分量的第二中间竖直绿色平面；所述至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终竖直绿色平面以及针对第二绿色分量的第二最终竖直绿色平面包括：计算所述原始绿色分量在第一绿色分量上的分量值与所述第一中间竖直绿色平面的第三初始残差，以及所述原始绿色分量在第二绿色分量上的分量值与所述第二中间竖直绿色平面的第四初始残差；根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面。
可选的，所述根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面包括：利用所述第三初始残差进行插值得到第三最终初始残差，利用所述第四初始残差进行插值得到第四最终残差；计算所述第一中间竖直绿色平面与所述第三最终残差之和，以得到第一最终竖直绿色平面，以及计算所述第二中间竖直绿色平面与所述第四最终残差之和，以得到第二最终竖直绿色平面。
可选的，所述在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差包括：根据所述原始绿色分量、所述最终水平绿色平面与水平红色平面、水平蓝色平面的差值，得到水平色差平面；根据所述原始绿色分量、所述最终竖直绿色平面与竖直红色平面、竖直蓝色平面的差值，得到竖直色差平面；利用所述水平色差平面和所述竖直色差平面计算得到水平色差梯度和竖直色差梯度；利用所述水平色差梯度和竖直色差梯度计算所述中心像素在上下左右四个方向上的权重值；根据所述水平色差平面、所述竖直色差平面和所述中心像素在上下左右四个方向上的权重值，计算得到所述最终色差。
为解决上述技术问题，本发明实施例还公开了一种图像色彩恢复装置，图像色彩恢复装置包括：插值模块，适于利用预设窗口遍历待恢复图像，在每一次滑动所述预设窗口后，对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果，所述插值结果包括水平红色平面、水平蓝色平面、竖直红色平面、竖直蓝色平面、初始水平绿色平面、初始竖直绿色平面以及根据所述水平红色平面、水平蓝色平面得到的最终水平绿色平面和根据竖直红色平面、竖直蓝色平面得到的最终竖直绿色平面；权重计算模块，适于在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差；绿色分量计算模块，适于在每一次滑动所述预设窗口后，根据所述最终色差以及权重值计算所述中心像素的绿色分量值，直至利用所述预设窗口遍历完成所述待恢复图像，以得到所述待恢复图像中所有像素的绿色分量值；红色分量值和蓝色分量计算模块，适于计算所述待恢复图像中所有像素的红色分量值和蓝色分量值，以完成所述待恢复图像的色彩恢复。
为解决上述技术问题，本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述图像色彩恢复方法的步骤。
为解决上述技术问题，本发明实施例还公开了一种终端，所述终端包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像色彩恢复方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案在恢复待恢复图像的色彩时，由于绿色通道信息多，且对图像亮度的贡献最大，因此首先恢复待恢复图像中所有像素的绿色分量值，利用恢复出的绿色分量值恢复待恢复图像中所有像素的红色分量值和蓝色分量值；此外，在恢复绿色分量值时，最终水平绿色平面是根据所述水平红色平面、水平蓝色平面得到的，最终竖直绿色平面是根据竖直红色平面、竖直蓝色平面得到的，从而可以体现出图像像素的红色分量和蓝色分量的变化对绿色分量的影响，可以有效地减少去马赛克图像中假色(false color)，彩色摩尔纹以及拉链效应(zipped effect)等人为现象(artifact)，进而改善图像彩色恢复的效果。
进一步，在高斯滤波后，利用原始绿色分量与高斯滤波结果之差计算得到初始残差；利用该初始残差进行插值得到最终残差，根据最终残差与高斯滤波结果，可以使得颜色分量为红色分量和蓝色分量的像素获得更加准确的绿色分量值，从而使得待恢复图像获得更加准确的绿色通道的值，进一步改善图像色彩恢复的效果。
附图说明
图1是本发明实施例一种图像色彩恢复方法的流程图；
图2是本发明实施例一种贝尔图像的示意图；
图3是本发明实施例一种贝尔模式的示意图；
图4是图1所示步骤S101的具体步骤的流程图；
图5是图4所示步骤S1013的具体步骤的流程图；
图6是本发明实施例一种图像色彩恢复装置的结构示意图。
具体实施方式
如背景技术中所述，现有技术中没有利用相关性的方法往往只针对某种图像要素具有较好的插值效果。而以GBTF为代表的插值方法考虑了像素周围的梯度并以此计算不同方向上的插值的权重，但在密集的栅格区域，以此方法计算的像素周边的梯度信息不能很好的反映中心像素的信息，会导致较为严重的摩尔纹。
本申请发明人对现有技术进行了分析，由于贝尔CFA图像中绿色(Green,G)通道信息是红色(Red,R)或蓝色(Blue,B)通道信息的两倍，且G通道对图像亮度的贡献最大，因此可以先对G通道进行插值，然后再用恢复后的G通道来指引R通道和B通道的插值。对G通道的插值效果直接影响后续对R通道和B通道的插值效果。
为了进一步色彩恢复后的图像质量，本发明技术方案在恢复待恢复图像的色彩时，由于绿色通道信息多，且对图像亮度的贡献最大，因此首先恢复待恢复图像中所有像素的绿色分量值，利用恢复出的绿色分量值恢复待恢复图像中所有像素的红色分量值和蓝色分量值；此外，在恢复绿色分量值时，最终水平绿色平面是根据所述水平红色平面、水平蓝色平面得到的，最终竖直绿色平面是根据竖直红色平面、竖直蓝色平面得到的，从而可以体现出图像像素的红色分量和蓝色分量的变化对绿色分量的影响，可以有效地减少去马赛克图像中假色(false color)，彩色摩尔纹以及拉链效应(zipped effect)等人为现象(artifact)，进而改善图像彩色恢复的效果。
进一步地，本发明提出了一种基于改进的高斯滤波和残差导向插值的自适应绿色分量插值方法，从而可以有效恢复图像的不同纹理，还可以有效的减少现有插值技术产生的摩尔纹现象。此外，对于图像的栅格区域的色彩恢复也具有很好效果。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种图像色彩恢复方法的流程图。
所述图像色彩恢复方法可以包括以下步骤：
步骤S101：利用预设窗口遍历待恢复图像，在每一次滑动所述预设窗口后，对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果，所述插值结果包括水平红色平面、水平蓝色平面、竖直红色平面、竖直蓝色平面、初始水平绿色平面、初始竖直绿色平面以及根据所述水平红色平面、水平蓝色平面得到的最终水平绿色平面和根据竖直红色平面、竖直蓝色平面得到的最终竖直绿色平面；
步骤S102：在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差；
步骤S103：在每一次滑动所述预设窗口后，根据所述色差平面以及权重值计算所述中心像素的绿色分量值，直至利用所述预设窗口遍历完成所述待恢复图像，以得到所述待恢复图像中所有像素的绿色分量值；
步骤S104：计算所述待恢复图像中所有像素的红色分量值和蓝色分量值，以完成所述待恢复图像的色彩恢复。
本领域技术人员应当理解的是，所述待恢复图像中的每一像素仅具备一种颜色分量，也即红色分量、蓝色分量或绿色分量。
具体实施中，通过步骤S101至步骤S103，可以得到所述待恢复图像中所有像素的绿色分量值。则在利用预设窗口遍历待恢复图像时，每一次滑动所述预设窗口，计算得到的是预设窗口内的中心像素的绿色分量值。
需要说明的是，中心像素是指在预设窗口所占区域的中间位置的至少一个像素。进一步地，由于在步骤S101至步骤S103中恢复的是绿色分量值，因此本实施例中的中心像素可以是指原始分量值为红色分量和蓝色分量的像素。
可以理解的是，所述预设窗口的大小可以根据实际的应用环境进行适应性的配置，例如可以是9×9像素大小，本发明实施例对此不做限制。
具体实施中，在步骤S101中，在对每一像素进行插值时，可以得到水平和竖直方向的两个插值结果。具体而言，对颜色分量为红色分量的像素进行插值，插值后可以得到绿色分量；对颜色分量为蓝色分量的像素进行插值，插值后可以得到绿色分量；对颜色分量为绿色分量的像素进行插值，插值后可以得到红色分量或蓝色分量。
进一步地，红色平面可以包括插值后得到的红色分量与待恢复图像中的原始红色分量，红色平面可以包括水平和竖直两个方向；蓝色平面可以包括插值后得到的蓝色分量与待恢复图像中的原始蓝色分量，蓝色平面可以包括水平和竖直两个方向；初始绿色平面包括插值后得到的绿色分量与待恢复图像中的原始绿色分量，初始绿色平面可以包括水平和竖直两个方向。
更进一步地，可以根据所述水平红色平面、水平蓝色平面与初始水平绿色平面得到的最终水平绿色平面；根据竖直红色平面、竖直蓝色平面与初始竖直绿色平面得到的最终竖直绿色平面。
进而在步骤S102中，可以根据最终绿色平面与红色平面、蓝色平面的色差平面，计算得到中心像素在四个方向上的权重值，以及中心像素的最终色差。具体而言，中心像素的最终色差可以是该像素的绿色分量与该像素的原始颜色分量(也即红色分量或蓝色分量)的差值。
进而在步骤S103中，可以利用最终色差计算中心像素的绿色分量值。最后在步骤S104中，计算颜色分量为绿色分量的像素的红色分量值和蓝色分量值，以及颜色分量为红色分量的像素的蓝色分量值、颜色分量为蓝色分量的像素的红色分量值。至此，已确定待恢复图像中每一像素的绿色分量值、红色分量值和蓝色分量值，完成所述待恢复图像的色彩恢复。
本发明实施例在恢复待恢复图像的色彩时，由于绿色通道信息多，且对图像亮度的贡献最大，因此首先恢复待恢复图像中所有像素的绿色分量值，利用恢复出的绿色分量值恢复待恢复图像中所有像素的红色分量值和蓝色分量值；此外，在恢复绿色分量值时，最终水平绿色平面是根据所述水平红色平面、水平蓝色平面得到的，最终竖直绿色平面是根据竖直红色平面、竖直蓝色平面得到的，从而可以体现出图像像素的红色分量和蓝色分量的变化对绿色分量的影响，可以有效地减少去马赛克图像中假色(false color)，彩色摩尔纹以及拉链效应(zipped effect)等人为现象(artifact)，进而改善图像彩色恢复的效果。
优选地，所述待恢复图像可以为贝尔图像，所述待恢复图像中像素的颜色分量包括红色、蓝色、和绿色，如果像素的绿色分量在水平方向上与其他像素的红色分量相邻，则将该像素的绿色分量记为第一绿色分量，如果像素的绿色分量在水平方向上与其他像素的蓝色分量相邻，则将该像素的绿色分量记为第二绿色分量。
具体而言，如图2所示，待恢复图像为贝尔图像，在贝尔图像的各彩色分量中，绿色与红色和蓝色交替排列。其中，Gr表示第一绿色分量，Gr在水平方向上与红色分量R相邻；Gb表示第二绿色分量，Gb在水平方向上与蓝色分量B相邻。
进一步地，图3是本发明实施例一种贝尔模式的示意图，贝尔图像是图3所示贝尔模式的重复排列。本领域技术人员可以理解的是，贝尔图像还可以是其他贝尔模式的重复排列，例如RGrGbB、GbBRGr、BGbGrR等。
进一步地，如图4所示，步骤S101可以包括以下步骤：步骤S1011：对所述预设窗口内的所有像素进行单通道插值，得到水平红色分量、水平蓝色分量、竖直红色分量、竖直蓝色分量、初始水平绿色分量和初始竖直绿色分量，所述初始水平绿色平面包括初始水平绿色分量与原始绿色分量，所述初始竖直绿色平面包括初始竖直绿色分量与原始绿色分量；步骤S1012：分别以所述水平红色平面以及所述水平蓝色平面作为参考平面，对所述初始水平绿色平面进行高斯滤波，分别以所述竖直红色平面以及所述竖直蓝色平面作为参考平面，对所述初始竖直绿色平面进行高斯滤波，以得到高斯滤波结果，所述水平红色平面包括所述水平红色分量与原始红色分量，所述水平蓝色平面包括所述水平蓝色分量与原始蓝色分量，所述竖直红色平面包括所述竖直红色分量与原始红色分量，所述竖直蓝色平面包括所述竖直蓝色分量与原始蓝色分量；步骤S1013：至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面和第一最终竖直绿色平面以及针对第二绿色分量的第二最终水平绿色平面和第二最终竖直绿色平面，所述最终水平绿色平面包括第一最终水平绿色平面和第二最终水平绿色平面，所述最终竖直绿色平面包括第一最终竖直绿色平面和第二最终竖直绿色平面。
具体实施中，一并参照图2和图3，在进行单通道插值时，对第一绿色分量Gr在水平方向差值可以得到水平红色分量，在竖直方向上插值可以得到竖直蓝色分量；对第二绿色分量Gb在水平方向差值可以得到水平蓝色分量，在竖直方向上插值可以得到竖直红色分量；对红色分量R在水平方向差值可以得到针对第一绿色分量Gr的初始水平绿色分量，在竖直方向上插值可以得到针对第二绿色分量Gb的初始竖直绿色分量；对蓝色分量B在水平方向差值可以得到针对第二绿色分量Gb的初始水平绿色分量，在竖直方向上插值可以得到针对第一绿色分量Gr的初始竖直绿色分量。
进一步地，初始水平绿色平面Gh包括初始水平绿色分量与原始绿色分量Gr和Gb，所述初始竖直绿色平面Gv包括初始竖直绿色分量与原始绿色分量Gr和Gb。水平红色平面rh包括所述水平红色分量与原始红色分量R，所述水平蓝色平面bh包括所述水平蓝色分量与原始蓝色分量B，所述竖直红色平面rv包括所述竖直红色分量与原始红色分量R，所述竖直蓝色平面bv包括所述竖直蓝色分量与原始蓝色分量B。
具体实施中，对像素(i,j)进行水平插值可以采用以下公式：H(i,j)＝(H(i,j+1)+H(i,j-1))/2；对像素(i,j)进行竖直插值可以采用以下公式：V(i,j)＝(V(i+1,j)+V(i-1,j))/2；其中，H(i,j)为像素(i,j)水平插值结果，H(i,j+1)和H(i,j-1)为像素(i,j)水平相邻的两像素，i为竖直方向上的标号，表示行，j为水平方向上的标号，表示列；V(i,j)像素(i,j)竖直插值结果，H(i,j+1)和H(i,j-1)为像素(i,j)竖直相邻的两像素。
继续参照图2，以(4,4)像素为例，该像素的颜色分量为B。其水平插值结果为初始水平绿色分量Gh(4,4)，Gh(44)＝(G(4,5)+G(4,3))/2。其竖直插值结果为初始竖直绿色分量Gv(4,4)，Gv(4,4)＝(G(5,4)+G(3,4))/2。
以像素(3,4)为例，该像素的颜色分量为Gr。其水平插值结果为水平红色分量rh(3,4)，rh(3,4)＝(R(3,5)+R(3,3))/2；其竖直插值结果为竖直蓝色分量bv(3,4)，bv(3,4)＝(B(4,4)+B(2,4))/2；
同理，以像素(4,3)为例，其水平插值结果为水平蓝色分量bh(4,3)，bh(4,3)＝(B(4,4)+B(4,2))/2；其竖直插值结果为竖直红色分量rv(4,3)，rv(4,3)＝(R(5,3)+R(3,3))/2。以此类推，可以计算预设窗口内所有像素在水平和竖直方向的插值结果。
需要说明的是，在像素的插值结果无法计算的位置，该插值结果为0。
具体实施中，在步骤S1012中，对初始绿色平面(也即初始水平绿色平面Gh和初始竖直绿色平面Gv)进行高斯滤波。进一步地，最终水平绿色平面是根据所述水平红色平面、水平蓝色平面得到的，最终竖直绿色平面是根据竖直红色平面、竖直蓝色平面得到的，从而可以体现出图像像素的红色分量和蓝色分量的变化对绿色分量的影响，可以有效地减少去马赛克图像中假色，彩色摩尔纹以及拉链效应等人为现象，进而改善图像彩色恢复的效果。
进一步地，可以采用以下公式进行高斯滤波：
Figure BDA0001276406280000121
其中，K为归一化常量，σ为所述参考平面上像素值的标准差，M×N为所述预设窗口的大小；xa为待滤波的所述初始水平绿色平面或初始竖直绿色平面，ri为所述预设窗口在所述参考平面上的中心像素的像素值，rj为所述预设窗口在所述参考平面上的其他像素的像素值，X为所述第一最终水平绿色平面、第二最终水平绿色平面、第一最终竖直绿色平面或第二最终竖直绿色平面。
本实施例中，直接采用高斯滤波结果执行步骤S102至步骤S104，相对于现有技术，本实施例对于图像色彩的恢复也能够取得较优的效果，尤其是在红色分量和蓝色分量变化比较明显的图像区域。
具体实施中，分别以水平红色平面rh、水平蓝色平面bh为参考图像，对初始水平绿色平面Gh进行改进的高斯滤波，得到中间水平绿色平面tempGh，中间水平绿色平面tempGh包括针对第一绿色分量Gr的第一中间水平绿色平面tempGrh和针对第二绿色分量Gb的第二中间水平绿色平面tempGbh。
具体地，可以采用如下公式进行计算：
tempGrh＝Gfilter(Gh,rh)；tempGbh＝Gfilter(Gh,bh)；其中，Gfilter可以表示本实施例中的高斯滤波器。
相应地，分别以竖直红色平面rv、竖直蓝色平面bv为参考图像，对初始竖直绿色平面Gv进行改进的高斯滤波，得到中间竖直绿色平面tempGv，中间竖直绿色平面tempGv包括针对第一绿色分量Gr的第一中间竖直绿色平面tempGrv和针对第二绿色分量Gb的第二中间竖直绿色平面tempGbv。
具体地，可以采用如下公式进行计算：
tempGrv＝Gfilter(Gv,rv)；tempGbv＝Gfilter(Gv,bv)；其中，Gfilter可以表示本实施例中的高斯滤波器。
进一步地，如图5所示，步骤S1013可以包括以下步骤：步骤S10131：计算所述原始绿色分量在第一绿色分量上的分量值与所述第一中间水平绿色平面的第一初始残差，以及所述原始绿色分量在第二绿色分量上的分量值与所述第二中间水平绿色平面的第二初始残差；步骤S10132：根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面。
更进一步地，步骤S10132可以包括以下步骤：利用所述第一初始残差进行插值得到第一最终残差，利用所述第二初始残差进行插值得到第二最终残差；计算所述第一中间水平绿色平面与所述第一最终残差之和，以得到所述第一最终水平绿色平面，以及计算所述第二中间水平绿色平面与所述第二最终残差之和，以得到第二最终水平绿色平面。
具体实施中，可以利用原始绿色分量与中间水平绿色平面tempGh计算水平方向上的初始残差。初始残差仅在颜色分量为第一绿色分量Gr和第二绿色分量Gb的像素位置存在数值。计算公式如下：
第一初始残差reGrh＝G.Gr-tempGrh.Gr，其中，G.Gr表示原始绿色分量在第一绿色分量上的分量值，tempGrh.Gr表示第一中间水平绿色平面在第一绿色分量上的分量值；
第二初始残差reGbh＝G.Gb-tempGbh.Gb，其中，G.Gb原始绿色分量在第二绿色分量上的分量值，tempGbh.Gb表示第二中间水平绿色平面tempGbh在第二绿色分量上的分量值。
进一步地，用初始残差通过水平插值得到颜色分量为红色分量R和蓝色分量B的像素位置在水平方向上的最终残差，计算如下：
对第一初始残差reGrh进行水平插值的插值结果reGrh_f.R(i,j)＝(reGrh(i,j+1)+reGrh(i,j-1)/2；
对第二初始残差reGbh进行水平插值的插值结果reGbh_f.B(i,j)＝(reGbh(i,j+1)+reGbh(i,j-1))/2。则经过插值后，颜色分量为红色分量R和蓝色分量B的像素位置也存在残差。
进一步地，利用水平方向的最终残差可以计算最终水平绿色平面，也即颜色分量为红色分量R和蓝色分量B的像素位置的水平绿色分量值。其中，第一最终水平绿色平面包括颜色分量为红色分量R的像素位置的水平绿色分量值，第二最终水平绿色平面包括颜色分量为蓝色分量B的像素位置的水平绿色分量值。
颜色分量为红色分量R的像素位置在水平方向上的绿色分量值Gh.R＝tempGrh.R+reGrh_f.R，其中，tempGrh.R表示第一中间水平绿色平面在颜色分量为红色分量R的像素位置的第一绿色分量值。
颜色分量为蓝色分量B的像素位置在水平方向上的绿色分量值Gh.B＝tempGbh.B+reGbh_f.B，其中，tempGbh.B表示第二中间水平绿色平面在颜色分量为红色分量B的像素位置的第二绿色分量值。
进一步地，如图5所示，步骤S1013可以包括以下步骤：步骤S10133：计算所述原始绿色分量在第一绿色分量上的分量值与所述第一中间竖直绿色平面的第三初始残差，以及所述原始绿色分量在第二绿色分量上的分量值与所述第二中间竖直绿色平面的第四初始残差；步骤S10134：根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面。
进一步地，步骤S10134可以包括以下步骤：利用所述第三初始残差进行插值得到第三最终初始残差，利用所述第四初始残差进行插值得到第四最终残差；计算所述第一中间竖直绿色平面与所述第三最终残差之和，以得到第一最终竖直绿色平面，以及计算所述第二中间竖直绿色平面与所述第四最终残差之和，以得到第二最终竖直绿色平面。
具体而言，第三初始残差reGrv＝G.Gr-tempGbv.Gr，其中，tempGbv.Gr表示第一中间竖直绿色平面在第一绿色分量上的分量值。
第四初始残差reGbv＝G.Gb-tempGrv.Gb，其中，tempGrv.Gb表示第二中间竖直绿色平面tempGbh在第二绿色分量上的分量值。
对第三初始残差reGrv进行竖直插值的插值结果reGrv_f.B(i,j)＝(reGrv(i+1,j)+reGrv(i‐1,j))/2；。
对第四初始残差reGbv进行竖直插值的插值结果reGbv_f.R(i,j)＝(reGbv(i+1,j)+reGbv(i‐1,j))/2。
利用竖直方向的最终残差可以计算最终竖直绿色平面，也即颜色分量为红色分量R和蓝色分量B的像素位置的竖直绿色分量值。其中，第一最终竖直绿色平面包括颜色分量为红色分量R的像素位置的竖直绿色分量值，第二最终竖直绿色平面包括颜色分量为蓝色分量B的像素位置的竖直绿色分量值。
颜色分量为红色分量R的像素位置在竖直方向上的绿色分量值Gv.R＝tempGrv.R+reGrv_f.R；颜色分量为蓝色分量B的像素位置在竖直方向上的绿色分量值Gv.B＝tempGbv.B+reGbv_f.B。
优选地，步骤S102还可以包括以下步骤：
根据所述原始绿色分量、所述最终竖直绿色平面与竖直红色平面、竖直蓝色平面的差值，得到竖直色差平面；利用所述水平色差平面和所述竖直色差平面计算得到水平色差梯度和竖直色差梯度；利用所述水平色差梯度和竖直色差梯度计算所述中心像素在上下左右四个方向上的权重值；根据所述水平色差平面、所述竖直色差平面和所述中心像素在上下左右四个方向上的权重值，计算得到所述最终色差。
具体地，分别按水平和竖直方向，获取最终绿色平面与红色平面或蓝色平面的色差平面。
利用第一最终水平绿色平面Gh.R，第二最终水平绿色平面Gh.B和原始绿色平面可以构成最终绿色平面G平面，用水平红色平面rh，水平蓝色平面bh可以构成红色分量R和蓝色分量B按行交替的平面，则水平色差平面diffh可以用下式求得：diffh＝G+Gh.R+Gh.B-rh-bh；同理，可求得竖直色差平面diffv：diffv＝G+Gv.R+Gv.B-rv-bv。
按水平和竖直方向分别计算色差梯度。在水平方向，像素(i,j)的水平色差梯度Δh(i,j)＝|diffh(i,j-1)-diffh(i,j+1)|；。
类似地，该像素的竖直方向色差梯度Δv(i,j)＝|diffv(i+1,j)-diffv(i-1,j)|。
利色差梯度计算像素(i,j)在四个方向上的权重值：
Figure BDA0001276406280000161
Figure BDA0001276406280000162
Figure BDA0001276406280000163
Figure BDA0001276406280000164
然后用四个权重值ωN、ωS、ωW和ωE以及两个色差平面diffh和diffv来计算像素(i,j)的最终色差Δ(i,j)，计算公式如下：
Figure BDA0001276406280000165
其中，矩阵f＝[1 1 1]/3。
则最终中心像素(i,j)的绿色分量值green如下：green＝P(i,j)+Δ(i,j)。
在遍历整个待恢复图像后，可以得到所有像素的绿色分量值。之后可以使用GBTF中的方法进一步恢复该像素的红色分量值或蓝色分量值，以得到整个彩色图像。
例如，继续参照图2，以像素B(4，4)为例，像素B(4，4)的红色分量值R(4，4)为：R(4，4)＝G(4，4)-(Δ(3,3)+Δ(3,5)+Δ(5,3)+Δ(5,5))/4；同理可求颜色分量为红色的中心像素上的蓝色分量值。
更进一步地，对于颜色分量为原始绿色分量的像素上的红色分量值，可以采用如下公式计算：
R(i,j)＝G(i,j)-(G(i-1,j)-R(i-1,j))/4-(G(i+1,j)–R(i+1,j))/4-(G(i,j-1)–R(i,j-1))/4-(G(i,j+1)-R(i,j+1))/4；。同理，对于颜色分量为原始绿色分量的像素上的蓝色分量值，可以采用如下公式计算：
B(i,j)＝G(i,j)-(G(i-1,j)-B(i-1,j))/4-(G(i+1,j)–B(i+1,j))/4-(G(i,j-1)–B(i,j-1))/4-(G(i,j+1)-B(i,j+1))/4。
本领域技术人员可以理解的是，可以采用任意可实施的方式计算色差平面、权重值，本发明实施例对此不做限制。
图6是本发明实施例一种图像色彩恢复装置的结构示意图。
图6所示的图像色彩恢复装置60可以包括插值模块601、权重计算模块602、绿色分量计算模块603和红色分量值和蓝色分量计算模块604。
其中，插值模块601适于利用预设窗口遍历待恢复图像，在每一次滑动所述预设窗口后，对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果，所述插值结果包括水平红色平面、水平蓝色平面、竖直红色平面、竖直蓝色平面、初始水平绿色平面、初始竖直绿色平面以及根据所述水平红色平面、水平蓝色平面得到的最终水平绿色平面和根据竖直红色平面、竖直蓝色平面得到的最终竖直绿色平面。
权重计算模块602适于在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差。
绿色分量计算模块603适于在每一次滑动所述预设窗口后，根据所述最终色差以及权重值计算所述中心像素的绿色分量值，直至利用所述预设窗口遍历完成所述待恢复图像，以得到所述待恢复图像中所有像素的绿色分量值。
红色分量值和蓝色分量计算模块604，适于计算所述待恢复图像中所有像素的红色分量值和蓝色分量值，以完成所述待恢复图像的色彩恢复。
本发明实施例在恢复待恢复图像的色彩时，由于绿色通道信息多，且对图像亮度的贡献最大，因此首先恢复待恢复图像中所有像素的绿色分量值，利用恢复出的绿色分量值恢复待恢复图像中所有像素的红色分量值和蓝色分量值；此外，在恢复绿色分量值时，最终水平绿色平面是根据所述水平红色平面、水平蓝色平面得到的，最终竖直绿色平面是根据竖直红色平面、竖直蓝色平面得到的，从而可以体现出图像像素的红色分量和蓝色分量的变化对绿色分量的影响，可以有效地减少去马赛克图像中假色(false color)，彩色摩尔纹以及拉链效应(zipped effect)等人为现象(artifact)，进而改善图像彩色恢复的效果。
优选地，所述待恢复图像为贝尔图像，所述待恢复图像中像素的颜色分量包括红色、蓝色、和绿色，如果像素的绿色分量在水平方向上与其他像素的红色分量相邻，则将该像素的绿色分量记为第一绿色分量，如果像素的绿色分量在水平方向上与其他像素的蓝色分量相邻，则将该像素的绿色分量记为第二绿色分量。插值模块601可以包括单通道插值单元6011、滤波单元6012和最终平面计算单元6013。
其中，单通道插值单元6011适于对所述预设窗口内的所有像素进行单通道插值，得到水平红色分量、水平蓝色分量、竖直红色分量、竖直蓝色分量、初始水平绿色分量和初始竖直绿色分量，所述初始水平绿色平面包括初始水平绿色分量与原始绿色分量，所述初始竖直绿色平面包括初始竖直绿色分量与原始绿色分量；滤波单元6012适于分别以所述水平红色平面以及所述水平蓝色平面作为参考平面，对所述初始水平绿色平面进行高斯滤波，分别以所述竖直红色平面以及所述竖直蓝色平面作为参考平面，对所述初始竖直绿色平面进行高斯滤波，以得到高斯滤波结果，所述水平红色平面包括所述水平红色分量与原始红色分量，所述水平蓝色平面包括所述水平蓝色分量与原始蓝色分量，所述竖直红色平面包括所述竖直红色分量与原始红色分量，所述竖直蓝色平面包括所述竖直蓝色分量与原始蓝色分量；最终平面计算单元6013适于至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面和第一最终竖直绿色平面以及针对第二绿色分量的第二最终水平绿色平面和第二最终竖直绿色平面，所述最终水平绿色平面包括第一最终水平绿色平面和第二最终水平绿色平面，所述最终竖直绿色平面包括第一最终竖直绿色平面和第二最终竖直绿色平面。
优选地，滤波单元6012采用以下公式进行高斯滤波：
Figure BDA0001276406280000181
其中，K为归一化常量，σ为标准差，M×N为所述预设窗口的大小；xa为待滤波的所述初始水平绿色平面或初始竖直绿色平面，ri为所述预设窗口在所述参考平面上的中心像素的像素值，rj为所述预设窗口在所述参考平面上的其他像素的像素值，X为所述第一最终水平绿色平面、第二最终水平绿色平面、第一最终竖直绿色平面或第二最终竖直绿色平面。
进一步地，所述高斯滤波结果包括中间水平绿色平面，所述中间水平绿色平面包括针对第一绿色分量的第一中间水平绿色平面和针对第二绿色分量的第二中间水平绿色平面；最终平面计算单元6013可以包括第一初始残差计算子单元60131和最终水平平面计算子单元60132。
其中，第一初始残差计算子单元60131适于计算所述初始水平绿色平面在第一绿色分量上的分量值与所述第一中间水平绿色平面的第一初始残差，以及所述初始水平绿色平面在第二绿色分量上的分量值与所述第二中间水平绿色平面的第二初始残差；最终水平平面计算子单元60132，适于根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面。
进一步地，最终水平平面计算子单元60132可以包括第一最终残差计算子单元(图未示)和最终水平绿色平面计算子单元(图未示)。第一最终残差计算子单元适于利用所述第一初始残差进行插值得到第一最终残差，利用所述第二初始残差进行插值得到第二最终残差；最终水平绿色平面计算子单元适于计算所述第一中间水平绿色平面与所述第一最终残差之和，以得到所述第一最终水平绿色平面，以及计算所述第二中间水平绿色平面与所述第二最终残差之和，以得到第二最终水平绿色平面。
优选地，所述高斯滤波结果包括中间竖直绿色平面，所述中间竖直绿色平面包括针对第一绿色分量的第一中间竖直绿色平面和针对第二绿色分量的第二中间竖直绿色平面；最终平面计算单元6013还可以包括第二初始残差计算子单元60133和最终竖直平面计算子单元60134。
其中，第二初始残差计算子单元60133适于计算所述初始竖直绿色平面在第一绿色分量上的分量值与所述第一中间竖直绿色平面的第三初始残差，以及所述初始竖直绿色平面在第二绿色分量上的分量值与所述第二中间竖直绿色平面的第四初始残差；最终竖直平面计算子单元60134适于根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面。
进一步地，最终竖直平面计算子单元60134可以包括第二最终残差计算子单元(图未示)和最终竖直绿色平面计算子单元(图未示)，第二最终残差计算子单元适于利用所述第三初始残差进行插值得到第三最终初始残差，利用所述第四初始残差进行插值得到第四最终残差；最终竖直绿色平面计算子单元适于计算所述第一中间竖直绿色平面与所述第三最终残差之和，以得到第一最终竖直绿色平面，以及计算所述第二中间竖直绿色平面与所述第四最终残差之和，以得到第二最终竖直绿色平面。
优选地，权重计算模块602可以包括水平色差平面计算单元6021、竖直色差平面计算单元6022、梯度计算单元6023、权重计算单元6024和色差计算单元6025。
其中，水平色差平面计算单元6021适于根据所述原始绿色分量、所述最终水平绿色平面与水平红色平面、水平蓝色平面的差值，得到水平色差平面；竖直色差平面计算单元6022适于根据所述原始绿色分量、所述最终竖直绿色平面与竖直红色平面、竖直蓝色平面的差值，得到竖直色差平面；梯度计算单元6023适于利用所述水平色差平面和所述竖直色差平面计算得到水平色差梯度和竖直色差梯度；权重计算单元6024适于利用所述水平色差梯度和竖直色差梯度计算所述中心像素在上下左右四个方向上的权重值；色差计算单元6025适于根据所述水平色差平面、所述竖直色差平面和所述中心像素在上下左右四个方向上的权重值，计算得到所述最终色差。
关于所述图像色彩恢复装置60的工作原理、工作方式的更多内容，可以参照图1至图5中的相关描述，这里不再赘述。
本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行图1至图5中任一图中所示的图像色彩恢复方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。
本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时执行图1至图5中任一图中所示的图像色彩恢复方法的步骤。所述终端可以是计算机、智能手机、平板电脑等各种适当的设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种图像色彩恢复方法，其特征在于，包括：
利用预设窗口遍历待恢复图像，在每一次滑动所述预设窗口后，对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果，所述插值结果包括水平红色平面、水平蓝色平面、竖直红色平面、竖直蓝色平面、初始水平绿色平面、初始竖直绿色平面以及根据所述水平红色平面、水平蓝色平面得到的最终水平绿色平面和根据竖直红色平面、竖直蓝色平面得到的最终竖直绿色平面；所述待恢复图像为贝尔图像，所述待恢复图像中像素的颜色分量包括红色、蓝色、和绿色，如果像素的绿色分量在水平方向上与其他像素的红色分量相邻，则将该像素的绿色分量记为第一绿色分量，如果像素的绿色分量在水平方向上与其他像素的蓝色分量相邻，则将该像素的绿色分量记为第二绿色分量；所述对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值包括：对所述预设窗口内的所有像素进行单通道插值，得到水平红色分量、水平蓝色分量、竖直红色分量、竖直蓝色分量、初始水平绿色分量和初始竖直绿色分量，所述初始水平绿色平面包括初始水平绿色分量与原始绿色分量，所述初始竖直绿色平面包括初始竖直绿色分量与原始绿色分量；分别以所述水平红色平面以及所述水平蓝色平面作为参考平面，对所述初始水平绿色平面进行高斯滤波，分别以所述竖直红色平面以及所述竖直蓝色平面作为参考平面，对所述初始竖直绿色平面进行高斯滤波，以得到高斯滤波结果，所述水平红色平面包括所述水平红色分量与原始红色分量，所述水平蓝色平面包括所述水平蓝色分量与原始蓝色分量，所述竖直红色平面包括所述竖直红色分量与原始红色分量，所述竖直蓝色平面包括所述竖直蓝色分量与原始蓝色分量；至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面和第一最终竖直绿色平面以及针对第二绿色分量的第二最终水平绿色平面和第二最终竖直绿色平面，所述最终水平绿色平面包括第一最终水平绿色平面和第二最终水平绿色平面，所述最终竖直绿色平面包括第一最终竖直绿色平面和第二最终竖直绿色平面；
在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差；
在每一次滑动所述预设窗口后，根据所述最终色差以及权重值计算所述中心像素的绿色分量值，直至利用所述预设窗口遍历完成所述待恢复图像，以得到所述待恢复图像中所有像素的绿色分量值；
计算所述待恢复图像中所有像素的红色分量值和蓝色分量值，以完成所述待恢复图像的色彩恢复。
2.根据权利要求1所述的图像色彩恢复方法，其特征在于，采用以下公式进行高斯滤波：
Figure FDA0002587425960000021
其中，K为归一化常量，σ为所述参考平面上像素值的标准差，M×N为所述预设窗口的大小；xa为待滤波的所述初始水平绿色平面或初始竖直绿色平面，ri为所述预设窗口在所述参考平面上的中心像素的像素值，rj为所述预设窗口在所述参考平面上的其他像素的像素值，X为所述第一最终水平绿色平面、第二最终水平绿色平面、第一最终竖直绿色平面或第二最终竖直绿色平面。
3.根据权利要求1所述的图像色彩恢复方法，其特征在于，所述高斯滤波结果包括中间水平绿色平面，所述中间水平绿色平面包括针对第一绿色分量的第一中间水平绿色平面和针对第二绿色分量的第二中间水平绿色平面；所述至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面以及针对第二绿色分量的第二最终水平绿色平面包括：
计算所述原始绿色分量在第一绿色分量上的分量值与所述第一中间水平绿色平面的第一初始残差，以及所述原始绿色分量在第二绿色分量上的分量值与所述第二中间水平绿色平面的第二初始残差；
根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面。
4.根据权利要求3所述的图像色彩恢复方法，其特征在于，所述根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面包括：
利用所述第一初始残差进行插值得到第一最终残差，利用所述第二初始残差进行插值得到第二最终残差；
计算所述第一中间水平绿色平面与所述第一最终残差之和，以得到所述第一最终水平绿色平面，以及计算所述第二中间水平绿色平面与所述第二最终残差之和，以得到第二最终水平绿色平面。
5.根据权利要求1所述的图像色彩恢复方法，其特征在于，所述高斯滤波结果包括中间竖直绿色平面，所述中间竖直绿色平面包括针对第一绿色分量的第一中间竖直绿色平面和针对第二绿色分量的第二中间竖直绿色平面；所述至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终竖直绿色平面以及针对第二绿色分量的第二最终竖直绿色平面包括：
计算所述原始绿色分量在第一绿色分量上的分量值与所述第一中间竖直绿色平面的第三初始残差，以及所述原始绿色分量在第二绿色分量上的分量值与所述第二中间竖直绿色平面的第四初始残差；
根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面。
6.根据权利要求5所述的图像色彩恢复方法，其特征在于，所述根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面包括：
利用所述第三初始残差进行插值得到第三最终残差，利用所述第四初始残差进行插值得到第四最终残差；
计算所述第一中间竖直绿色平面与所述第三最终残差之和，以得到第一最终竖直绿色平面，以及计算所述第二中间竖直绿色平面与所述第四最终残差之和，以得到第二最终竖直绿色平面。
7.根据权利要求1至6任一项所述的图像色彩恢复方法，其特征在于，所述在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差包括：
根据所述原始绿色分量、所述最终水平绿色平面与水平红色平面、水平蓝色平面的差值，得到水平色差平面；
根据所述原始绿色分量、所述最终竖直绿色平面与竖直红色平面、竖直蓝色平面的差值，得到竖直色差平面；
利用所述水平色差平面和所述竖直色差平面计算得到水平色差梯度和竖直色差梯度；
利用所述水平色差梯度和竖直色差梯度计算所述中心像素在上下左右四个方向上的权重值；
根据所述水平色差平面、所述竖直色差平面和所述中心像素在上下左右四个方向上的权重值，计算得到所述最终色差。
8.一种图像色彩恢复装置，其特征在于，包括：
插值模块，适于利用预设窗口遍历待恢复图像，在每一次滑动所述预设窗口后，对所述预设窗口内的所有像素按照水平和竖直方向进行各个颜色分量的插值，以得到插值结果，所述插值结果包括水平红色平面、水平蓝色平面、竖直红色平面、竖直蓝色平面、初始水平绿色平面、初始竖直绿色平面以及根据所述水平红色平面、水平蓝色平面得到的最终水平绿色平面和根据竖直红色平面、竖直蓝色平面得到的最终竖直绿色平面；所述待恢复图像为贝尔图像，所述待恢复图像中像素的颜色分量包括红色、蓝色、和绿色，如果像素的绿色分量在水平方向上与其他像素的红色分量相邻，则将该像素的绿色分量记为第一绿色分量，如果像素的绿色分量在水平方向上与其他像素的蓝色分量相邻，则将该像素的绿色分量记为第二绿色分量；所述插值模块包括：单通道插值单元，适于对所述预设窗口内的所有像素进行单通道插值，得到水平红色分量、水平蓝色分量、竖直红色分量、竖直蓝色分量、初始水平绿色分量和初始竖直绿色分量，所述初始水平绿色平面包括初始水平绿色分量与原始绿色分量，所述初始竖直绿色平面包括初始竖直绿色分量与原始绿色分量；滤波单元，适于分别以所述水平红色平面以及所述水平蓝色平面作为参考平面，对所述初始水平绿色平面进行高斯滤波，分别以所述竖直红色平面以及所述竖直蓝色平面作为参考平面，对所述初始竖直绿色平面进行高斯滤波，以得到高斯滤波结果，所述水平红色平面包括所述水平红色分量与原始红色分量，所述水平蓝色平面包括所述水平蓝色分量与原始蓝色分量，所述竖直红色平面包括所述竖直红色分量与原始红色分量，所述竖直蓝色平面包括所述竖直蓝色分量与原始蓝色分量；最终平面计算单元，适于至少根据所述高斯滤波结果得到针对第一绿色分量的第一最终水平绿色平面和第一最终竖直绿色平面以及针对第二绿色分量的第二最终水平绿色平面和第二最终竖直绿色平面，所述最终水平绿色平面包括第一最终水平绿色平面和第二最终水平绿色平面，所述最终竖直绿色平面包括第一最终竖直绿色平面和第二最终竖直绿色平面；
权重计算模块，适于在每一次滑动所述预设窗口后，根据所述插值结果计算所述预设窗口内的中心像素在四个方向上的权重值以及最终色差；
绿色分量计算模块，适于在每一次滑动所述预设窗口后，根据所述最终色差以及权重值计算所述中心像素的绿色分量值，直至利用所述预设窗口遍历完成所述待恢复图像，以得到所述待恢复图像中所有像素的绿色分量值；
红色分量值和蓝色分量计算模块，适于计算所述待恢复图像中所有像素的红色分量值和蓝色分量值，以完成所述待恢复图像的色彩恢复。
9.根据权利要求8所述的图像色彩恢复装置，其特征在于，所述滤波单元采用以下公式进行高斯滤波：
Figure FDA0002587425960000051
其中，K为归一化常量，σ为标准差，M×N为所述预设窗口的大小；xa为待滤波的所述初始水平绿色平面或初始竖直绿色平面，ri为所述预设窗口在所述参考平面上的中心像素的像素值，rj为所述预设窗口在所述参考平面上的其他像素的像素值，X为所述第一最终水平绿色平面、第二最终水平绿色平面、第一最终竖直绿色平面或第二最终竖直绿色平面。
10.根据权利要求8所述的图像色彩恢复装置，其特征在于，所述高斯滤波结果包括中间水平绿色平面，所述中间水平绿色平面包括针对第一绿色分量的第一中间水平绿色平面和针对第二绿色分量的第二中间水平绿色平面；所述最终平面计算单元包括：
第一初始残差计算子单元，适于计算所述初始水平绿色平面在第一绿色分量上的分量值与所述第一中间水平绿色平面的第一初始残差，以及所述初始水平绿色平面在第二绿色分量上的分量值与所述第二中间水平绿色平面的第二初始残差；
最终水平平面计算子单元，适于根据所述第一中间水平绿色平面与所述第一初始残差得到所述第一最终水平绿色平面，以及根据所述第二中间水平绿色平面与所述第二初始残差得到所述第二最终水平绿色平面。
11.根据权利要求10所述的图像色彩恢复装置，其特征在于，所述最终水平平面计算子单元包括：
第一最终残差计算子单元，适于利用所述第一初始残差进行插值得到第一最终残差，利用所述第二初始残差进行插值得到第二最终残差；
最终水平绿色平面计算子单元，适于计算所述第一中间水平绿色平面与所述第一最终残差之和，以得到所述第一最终水平绿色平面，以及计算所述第二中间水平绿色平面与所述第二最终残差之和，以得到第二最终水平绿色平面。
12.根据权利要求8所述的图像色彩恢复装置，其特征在于，所述高斯滤波结果包括中间竖直绿色平面，所述中间竖直绿色平面包括针对第一绿色分量的第一中间竖直绿色平面和针对第二绿色分量的第二中间竖直绿色平面；所述最终平面计算单元包括：
第二初始残差计算子单元，适于计算所述初始竖直绿色平面在第一绿色分量上的分量值与所述第一中间竖直绿色平面的第三初始残差，以及所述初始竖直绿色平面在第二绿色分量上的分量值与所述第二中间竖直绿色平面的第四初始残差；
最终竖直平面计算子单元，适于根据所述第一中间竖直绿色平面与所述第三初始残差得到所述第一最终竖直绿色平面，以及根据所述第二中间竖直绿色平面与所述第四初始残差得到所述第二最终竖直绿色平面。
13.根据权利要求12所述的图像色彩恢复装置，其特征在于，所述最终竖直平面计算子单元包括：
第二最终残差计算子单元，适于利用所述第三初始残差进行插值得到第三最终残差，利用所述第四初始残差进行插值得到第四最终残差；
最终竖直绿色平面计算子单元，适于计算所述第一中间竖直绿色平面与所述第三最终残差之和，以得到第一最终竖直绿色平面，以及计算所述第二中间竖直绿色平面与所述第四最终残差之和，以得到第二最终竖直绿色平面。
14.根据权利要求8至13任一项所述的图像色彩恢复装置，其特征在于，所述权重计算模块包括：
水平色差平面计算单元，适于根据所述原始绿色分量、所述最终水平绿色平面与水平红色平面、水平蓝色平面的差值，得到水平色差平面；
竖直色差平面计算单元，适于根据所述原始绿色分量、所述最终竖直绿色平面与竖直红色平面、竖直蓝色平面的差值，得到竖直色差平面；
梯度计算单元，适于利用所述水平色差平面和所述竖直色差平面计算得到水平色差梯度和竖直色差梯度；
权重计算单元，适于利用所述水平色差梯度和竖直色差梯度计算所述中心像素在上下左右四个方向上的权重值；
色差计算单元，适于根据所述水平色差平面、所述竖直色差平面和所述中心像素在上下左右四个方向上的权重值，计算得到所述最终色差。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至7中任一项所述的图像色彩恢复方法的步骤。
16.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述的图像色彩恢复方法的步骤。
CN201710269036.3A 2017-04-21 2017-04-21 图像色彩恢复方法、装置、计算机可读存储介质及终端 Active CN108734668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710269036.3A CN108734668B (zh) 2017-04-21 2017-04-21 图像色彩恢复方法、装置、计算机可读存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710269036.3A CN108734668B (zh) 2017-04-21 2017-04-21 图像色彩恢复方法、装置、计算机可读存储介质及终端

Publications (2)

Publication Number Publication Date
CN108734668A CN108734668A (zh) 2018-11-02
CN108734668B true CN108734668B (zh) 2020-09-11

Family

ID=63934120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710269036.3A Active CN108734668B (zh) 2017-04-21 2017-04-21 图像色彩恢复方法、装置、计算机可读存储介质及终端

Country Status (1)

Country Link
CN (1) CN108734668B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658358B (zh) * 2018-12-25 2023-05-12 辽宁工程技术大学 一种基于多导向滤波的快速bayer彩色重建方法
CN109829852B (zh) * 2019-01-17 2023-04-25 浙江大华技术股份有限公司 颜色滤波阵列图像处理的方法、装置及存储介质
CN111340714B (zh) * 2019-08-29 2023-08-08 杭州海康慧影科技有限公司 一种摩尔纹处理方法、装置及电子设备
CN110852953B (zh) * 2019-11-15 2022-09-02 展讯通信（上海）有限公司 图像插值方法及装置、存储介质、图像信号处理器、终端
CN111510691B (zh) * 2020-04-17 2022-06-21 Oppo广东移动通信有限公司 颜色插值方法及装置、设备、存储介质
CN113744138A (zh) * 2020-05-29 2021-12-03 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
CN114155166A (zh) * 2021-12-06 2022-03-08 青岛海泰新光科技股份有限公司 一种基于fpga的图像颜色还原的插值方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356276B1 (en) * 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体
CN104732561A (zh) * 2013-12-18 2015-06-24 展讯通信（上海）有限公司 一种图像的插值方法及装置
CN105577981A (zh) * 2015-12-22 2016-05-11 深圳大学 一种边缘自适应的色彩还原方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356276B1 (en) * 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体
CN104732561A (zh) * 2013-12-18 2015-06-24 展讯通信（上海）有限公司 一种图像的插值方法及装置
CN105577981A (zh) * 2015-12-22 2016-05-11 深圳大学 一种边缘自适应的色彩还原方法及系统

Also Published As

Publication number Publication date
CN108734668A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN107578392B (zh) 一种基于残余插值的卷积神经网络去马赛克方法
CN102663719B (zh) 基于非局部均值的Bayer型CFA图像去马赛克方法
CN101388977B (zh) 图像处理设备和图像处理方法
CN102254301B (zh) 基于边缘方向插值的cfa图像去马赛克方法
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
CN103595981B (zh) 基于非局部低秩的色彩滤波阵列图像去马赛克方法
CN104732561B (zh) 一种图像的插值方法及装置
KR101637488B1 (ko) 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
CN102509294B (zh) 一种基于单幅图像的全局深度估计方法
CN103347190B (zh) 一种边相关的联合彩色去马赛克和放大方法
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN107784631B (zh) 图像去模糊方法及装置
CN102663703B (zh) 基于Treelet的Bayer型CFA图像去噪方法
CN108024100A (zh) 基于改进边缘导向的Bayer格式图像插值方法
CN113454687A (zh) 图像处理方法、装置和系统，计算机可读存储介质
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN101639932B (zh) 一种数字图像分辨率增强的方法及系统
CN108961167A (zh) 一种基于有限差分及梯度的Bayer-CFA插值方法
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
Saito et al. Demosaicing approach based on extended color total-variation regularization
CN105163098B (zh) 图像处理方法及装置
CN103559692B (zh) 处理图像的方法与装置
CN102930503B (zh) 基于cfa图像多方向边缘插值的方法
KR20090020918A (ko) 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant