CN110089103B - 一种去马赛克方法及装置 - Google Patents

一种去马赛克方法及装置 Download PDF

Info

Publication number
CN110089103B
CN110089103B CN201680091740.8A CN201680091740A CN110089103B CN 110089103 B CN110089103 B CN 110089103B CN 201680091740 A CN201680091740 A CN 201680091740A CN 110089103 B CN110089103 B CN 110089103B
Authority
CN
China
Prior art keywords
image
component
filter
ith
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680091740.8A
Other languages
English (en)
Other versions
CN110089103A (zh
Inventor
陈刚
罗巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110089103A publication Critical patent/CN110089103A/zh
Application granted granted Critical
Publication of CN110089103B publication Critical patent/CN110089103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种去马赛克的方法及装置，用以解决图像解像力和清晰度下降的问题。该方法应用于包括一颗彩色摄像头以及一颗黑白摄像头的电子设备，彩色摄像头和黑白摄像头并列设置于电子设备的机身，包括：获取彩色摄像头拍摄目标场景得到的待处理彩色图像，并提取待处理彩色图像的第一亮度分量；获取黑白摄像头在同一时刻采集目标场景得到的黑白图像，并提取黑白图像的第二亮度分量；通过预设算法对第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；基于第三亮度分量提取待处理彩色图像的色度分量；基于提取得到待处理彩色图像的色度分量以及第三亮度分量合成彩色输出图像。

Description

一种去马赛克方法及装置
技术领域
本申请涉及数字成像技术领域，尤其涉及一种去马赛克的方法及装置。
背景技术
目前无论是单反相机、卡片机或者手机，都是通过单色传感器成像获取彩色图像。单色传感器成像基于拜耳(Bayer)彩色滤波阵列(英文：Color Filter Array，简称：CFA)实现。Bayer CFA一般为一个像素位置只能捕捉到红绿蓝(RGB)通道信号中一个通道信号，若要再现全彩色图像(例如：RGB图像)，需要还原一个像素位置的其它两个未知通道信号。现有一般通过去马赛克(demosaicking)方法来还原一个像素位置的其它两个未知通道信号。
通常，去马赛克方法是通过单摄像头系统采集到一张单色图像，针对每个颜色通道信号在水平或者垂直方向进行插值得到其它两个颜色通道信号，构成彩色图像。由于仅仅通过插值得到的其它颜色通道信号不太准确，使得彩色图像在高频位置出现摩尔纹(aliasing)，在细腻的纹理区域存在模糊，导致图像解像力和清晰度下降。
发明内容
本申请实施例提供了一种去马赛克的方法及装置，用以解决现有技术中存在的图像解像力和清晰度下降的问题。
第一方面，本申请实施例提供了一种去马赛克方法，所述方法应用于包括一颗彩色摄像头以及一颗黑白摄像头的电子设备，所述彩色摄像头和所述黑白摄像头并列设置于所述电子设备的机身，包括：
获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，并提取所述待处理彩色图像的第一亮度分量；获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像，并提取所述黑白图像的第二亮度分量；通过预设算法(预设算法可以是光流算法、或者快匹配算法、或者特征点匹配算法等等)对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；基于所述第三亮度分量提取所述待处理彩色图像的色度分量；基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像。
通过本发明实施例提供的方法，利用黑白摄像头采集到的亮度信息来指导彩色摄像头进行去马赛克，进而能够从混叠的频谱中解析出彩色图像中的真实的亮度信号以及色度信号来还原真实的彩色图像，提高了解像力以及清晰度。
在一种可能的设计中，所述待处理彩色图像的色度分量包括第一色度分量以及第二色度分量，所述基于所述第三亮度分量提取所述待处理彩色图像的色度分量，可以通过如下方式实现：
使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
通过上述设计，通过两个滤波器提取待处理彩色图像中包括的两个色度分量(例如色调、饱和度)，使得提取到的色度分量更真实有效。
在一种可能的设计中，所述第一滤波器通过如下方式训练得到：
获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像；
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
将K个CFA图像输入初始化的第一滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
其中，每个第一图像可以是由高质量单反相机拍摄得到的。每个第一图像均为高清图像，其分辨率比较高。另外，第一图像可以是自然风光场景的图像。
通过上述方式使用亮度信号来训练提取第一色度信号，在使用通过上述方式训练得到的第一滤波器，基于图像的亮度信号提取第一色度分量时，更准确有效。
在一种可能的设计中，所述第i个第二图像满足如下公式所示的条件：
Figure GPA0000268019020000051
其中，fi L[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的亮度分量，fi c1m[n1，n2]表示所述第i个第二图像中坐标分别为[n1，n2]的像素点的第一色度分量，fi c2m[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的第二色度分量，fi R[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的R分量，fi G[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的G分量，fi B[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的B分量，fi CFA[n1，n2]表示所述第i个CFA图像中坐标为[n1，n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
在一种可能的设计中，所述第一滤波器满足如下公式所示的条件：
Figure GPA0000268019020000052
其中，h1[k1，k2]表示第一滤波器的滤波窗口内坐标为[k1，k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure GPA0000268019020000061
表示第i个CFA图像中坐标为[n1-k1，n2-k2]的像素点的像素值；
Figure GPA0000268019020000062
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000063
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure GPA0000268019020000064
表示使得误差函数取最小值时的h1的取值，
Figure GPA0000268019020000065
表示迭代更新后的第一滤波器。
通过上述实现方式训练第一滤波器时，使得输入的图像经过第一滤波器提取得到的第一色度分量与输入的图像本身真实的第一色度分量之间误差最小，从而使用训练得到的第一滤波器提取第一色度分量时，准确度高。
在一种可能的设计中，所述第二滤波器通过如下方式训练得到：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
通过上述方式使用亮度信号来训练提取第二色度信号，在使用通过上述方式训练得到的第二滤波器，基于图像的亮度信号提取第二色度分量时，更准确有效。
在一种可能的设计中，所述第二滤波器满足如下公式所示的条件：
Figure GPA0000268019020000071
其中，h2[l1，l2]表示第二滤波器的滤波窗口内坐标为[l1，l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure GPA0000268019020000072
表示第i个CFA图像；
Figure GPA0000268019020000073
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000074
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure GPA0000268019020000075
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure GPA0000268019020000076
表示迭代更新后的第二滤波器。
通过上述实现方式训练第二滤波器时，使得输入的图像经过第二滤波器提取得到的第二色度分量与输入的图像本身真实的第二色度分量之间误差最小，从而使用训练得到的第二滤波器提取第二色度分量时，准确度高。
在一种可能的设计中，基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，可以通过如下方式实现：
通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure GPA0000268019020000077
其中，C1[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量。
在一种可能的设计中，所述基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量，包括：
通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure GPA0000268019020000078
其中，C2[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1，n2]表示经过配准后的所述待处理彩色图像中坐标为[n1，n2]的像素点的第三亮度分量。
在一种可能的设计中，所述基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像，包括：
通过如下公式所示的条件生成所述待处理彩色图像对应的彩色图像：
Figure GPA0000268019020000081
其中，R表示所述彩色输出图像中红色分量，G表示所述彩色输出图像中的绿色分量，B表示所述彩色输出图像中的蓝色分量，fL表示提取到的所述待处理彩色图像中的所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
第二方面，本申请实施例提供了一种去马赛克装置，所述装置应用于包括一颗彩色摄像头以及一颗黑白摄像头的电子设备，所述彩色摄像头和所述黑白摄像头并列设置于所述电子设备的机身，包括：
获取模块，用于获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，以及获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像；
第一提取模块，用于提取所述获取模块获取到的所述待处理彩色图像的第一亮度分量以及提取所述黑白图像的第二亮度分量；
配准模块，用于通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；
第二提取模块，用于基于所述第三亮度分量提取所述待处理彩色图像的色度分量；
生成模块，基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像。
在一种可能的设计中，所述第二提取模块，具体用于：使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
在一种可能的设计中，所述装置还包括训练模块，所述训练模块，用于通过如下方式训练得到所述第一滤波器：
获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像；
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
将K个CFA图像输入初始化的第一滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
在一种可能的设计中，所述第i个第二图像满足如下公式所示的条件：
Figure GPA0000268019020000091
其中，fi L[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的亮度分量，fi c1m[n1，n2]表示所述第i个第二图像中坐标分别为[n1，n2]的像素点的第一色度分量，fi c2m[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的第二色度分量，fi R[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的R分量，fi G[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的G分量，fi B[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的B分量，fi CFA[n1，n2]表示所述第i个CFA图像中坐标为[n1，n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
在一种可能的设计中，所述第一滤波器满足如下公式所示的条件：
Figure GPA0000268019020000101
其中，h1[k1，k2]表示第一滤波器的滤波窗口内坐标为[k1，k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure GPA0000268019020000102
表示第i个CFA图像中坐标为[n1-k1，n2-k2]的像素点的像素值；
Figure GPA0000268019020000103
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000104
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure GPA0000268019020000105
表示使得误差函数取最小值时的h1的取值，
Figure GPA0000268019020000106
表示迭代更新后的第一滤波器。
在一种可能的设计中，所述训练模块，还用于通过如下方式训练得到所述第二滤波器：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
在一种可能的设计中，所述第二滤波器满足如下公式所示的条件：
Figure GPA0000268019020000111
其中，h2[l1，l2]表示第二滤波器的滤波窗口内坐标为[l1，l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure GPA0000268019020000112
表示第i个CFA图像；
Figure GPA0000268019020000113
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000114
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure GPA0000268019020000115
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure GPA0000268019020000116
表示迭代更新后的第二滤波器。
在一种可能的设计中，所述第二提取模块，在基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量时，具体用于通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure GPA0000268019020000117
其中，C1[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量。
在一种可能的设计中，所述第二提取模块，在基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量时，具体用于通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure GPA0000268019020000118
其中，C2[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1，n2]表示经过配准后的所述待处理彩色图像中坐标为[n1，n2]的像素点的第三亮度分量。
在一种可能的设计中，所述生成模块，具体用于通过如下公式所示的条件合成所述彩色输出图像：
Figure GPA0000268019020000121
其中，R表示所述彩色图像中红色分量，G表示所述彩色图像中的绿色分量，B表示所述彩色图像中的蓝色分量，fL表示所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
第三方面，本申请实施例提供了一种电子设备，包括：
一颗彩色摄像头、一颗黑白摄像头，存储器，屏幕以及处理器；
所述彩色摄像头，用于拍摄彩色的静态或动态图像；
所述黑白摄像头，用于拍摄黑白的静态或动态图像；
所述存储器，用于存储所述彩色摄像头采集的图像和所述黑白摄像头采集的图像；
所述处理器，用于获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，并提取所述待处理彩色图像的第一亮度分量；获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像，并提取所述黑白图像的第二亮度分量；通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；基于所述第三亮度分量提取所述待处理彩色图像的色度分量；基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像；
所述屏幕用于显示所述彩色输出图像。
在一种可能的设计中，所述待处理彩色图像的色度分量包括第一色度分量以及第二色度分量，所述处理器，在基于所述第三亮度分量提取所述待处理彩色图像的色度分量时，具体用于：
使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
在一种可能的设计中，所述处理器，还用于通过如下方式训练得到所述第一滤波器：
获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像；
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
将K个CFA图像输入初始化的第一滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
在一种可能的设计中，所述第i个第二图像满足如下公式所示的条件：
Figure GPA0000268019020000131
其中，fi L[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的亮度分量，fi c1m[n1，n2]表示所述第i个第二图像中坐标分别为[n1，n2]的像素点的第一色度分量，fi c2m[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的第二色度分量，fi R[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的R分量，fi G[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的G分量，fi B[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的B分量，fi CFA[n1，n2]表示所述第i个CFA图像中坐标为[n1，n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
在一种可能的设计中，所述第一滤波器满足如下公式所示的条件：
Figure GPA0000268019020000141
其中，h1[k1，k2]表示第一滤波器的滤波窗口内坐标为[k1，k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure GPA0000268019020000142
表示第i个CFA图像中坐标为[n1-k1，n2-k2]的像素点的像素值；
Figure GPA0000268019020000143
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000144
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure GPA0000268019020000145
表示使得误差函数取最小值时的h1的取值，
Figure GPA0000268019020000146
表示迭代更新后的第一滤波器。
在一种可能的设计中，所述处理器，还用于通过如下方式训练得到所述第二滤波器：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
在一种可能的设计中，所述第二滤波器满足如下公式所示的条件：
Figure GPA0000268019020000151
其中，h2[l1，l2]表示第二滤波器的滤波窗口内坐标为[l1，l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure GPA0000268019020000152
表示第i个CFA图像；
Figure GPA0000268019020000153
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000154
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure GPA0000268019020000155
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure GPA0000268019020000156
表示迭代更新后的第二滤波器。
在一种可能的设计中，所述处理器，在基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量时，具体用于：
通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure GPA0000268019020000157
其中，C1[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量。
在一种可能的设计中，所述处理器，在基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量时，具体用于：
通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure GPA0000268019020000158
其中，C2[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1，n2]表示经过配准后的所述待处理彩色图像中坐标为[n1，n2]的像素点的第三亮度分量。
在一种可能的设计中，所述处理器，在基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像时，具体用于：
通过如下公式所示的条件生成所述待处理彩色图像对应的彩色图像：
Figure GPA0000268019020000161
其中，R表示所述彩色图像中红色分量，G表示所述彩色图像中的绿色分量，B表示所述彩色图像中的蓝色分量，fL表示提取到的所述待处理彩色图像中的所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
附图说明
图1为本申请实施例提供的拜耳CFA示意图；
图2为本申请实施例提供的包括摩尔纹的图像示意图；
图3A为本申请实施例提供的电子设备示意图；
图3B为本申请实施例提供的终端设备示意图；
图3C为本申请实施例提供的一种包括双摄像头的终端设备示意图；
图3D为本申请实施例提供的另一种包括双摄像头的终端设备示意图；
图4为本申请实施例提供的去马赛克方法流程图；
图5A为本申请实施例提供的一种去马赛克装置示意图；
图5B为本申请实施例提供的一种去马赛克方法示意图；
图6为本申请实施例提供的第一滤波器以及第二滤波器训练方法示意图。
具体实施方式
下面将结合附图对本申请实施例作进一步地详细描述。
申请人在实现本申请的过程中发现，现有一般采用一颗彩色摄像头拍摄图像，并对该单色图像进行Demosaicing，由于彩色摄像头采用的是单色传感器成像，单色传感器采用拜耳(Bayer)彩色滤波阵列(CFA)，其提供50％绿色元素，25％红色元素以及25％的蓝色元素的滤波器模式，如图1所示的Bayer彩色滤波器阵列
一个像素位置只能捕捉到红绿蓝(RGB)通道信号中一个通道信号，弱项获取到其它两个颜色通道信号，需要针对每个颜色通道信号在水平或者垂直方向进行插值得到其它两个颜色通道信号，比如某个像素位置仅能捕捉到绿色通道信号，因此基于周围像素位置的通道信号为该像素位置插值得到蓝色通道信号以及红色通道信号。
由于单一的彩色摄像头拍摄图像中需要彩色滤波阵列分色来记录颜色信息，从而导致亮度信息有所缺失，进光量降低，从而导致合成的彩色图像在高频区域出现摩尔纹，如图2所示，并在弱纹理区域存在模糊，导致图像解像力以及清晰度降低。
高频区域是指在将图像变换到频域后，频率超过预设阈值的区域。一般在按照预设规则排列的图案中频率相对较高，比如日常生活中栏杆(或栅栏)的排列图案，如图2所示，还比如屋顶上瓦片的排列图案等等。
基于此，本申请实施例提供一种去马赛克的方法及装置，用以解决现有技术中存在的图像解像力和清晰度下降的问题。其中，方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。
以下，对本申请中的部分用语进行解释说明，以便与本领域技术人员理解。
彩色滤波阵列(英文：Color Filter Array，简称：CFA)，也可以称为拜耳(Bayer)格式图像，按照彩色滤波阵列排列的图像中包括多个绿色(G)、蓝色(B)以及红色(R)，绿色像素占50％，蓝色以及红色各占25％。
彩色摄像头，可以是利用传统RGB传感器，用于拍摄彩色动态或者静态图像。
黑白摄像头，可以是利用单色传感器，用于拍摄黑白动态或者静态图像，采集图像中的亮度信息。其中，彩色摄像头以及黑白摄像头的分辨率可以相同也可以不同，本申请实施例对此不作具体限定。
多个，是指两个或两个以上。
另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
本申请实施例的去马赛克方案可使用能够用于拍摄且包括彩色摄像头以及黑白摄像头的电子设备进行实施，该电子设备包括但不限于相机、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、平板电脑、个人数字助理、媒体播放器等等)、消费型电子设备、小型计算机、大型计算机，等等。如图3A所示，本发明实施例中涉及的电子设备中包括彩色摄像头101、黑白摄像头102以及处理器103。其中处理器103用于对图像进行处理，可以包括双摄像头去马赛克引擎103a(Dual Camera Demosaic Engine)以及影像处理器103b、图像编码器103c、预览器(Preview)等等。其中，双摄像头去马赛克引擎103a用于执行相关操作，以实现本申请实施例所提供的技术方案。影像处理器103b用于对双摄像头去马赛克引擎103a输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。图像编码器103c用于对影像处理器103b输出的图像信号进行编码。Preview用于对影像处理器输出的图像信号进行预览。电子设备还可以包括其他设备，在此不再一一列举。
下面以电子设备为智能移动终端为例对本申请实施例提供的方案进行具体描述。
参考图3B所示，为本申请实施例应用的终端的硬件结构示意图。如图3B所示，终端100包括彩色摄像头110a、黑白摄像头110b、处理器120以及存储器130。其中彩色摄像头110a以及黑白摄像头110b可以并列设置于所述电子设备的机身中，例如，图3C或者图3D所示。存储器130可用于存储软件程序以及数据，处理器120通过运行存储在存储器130的软件程序以及数据，从而执行终端100的各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像去马赛克功能、图像显示功能等)等；存储数据区可存储根据终端100的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器120是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器130内的软件程序和/或数据，执行终端100的各种功能和处理数据，从而对终端进行整体监控。处理器120可以包括一个或多个通用处理器，还可包括一个或多个数字信号处理器(英文：Digital Signal Processor，简称：DSP)，还可以包括影像处理器(英文：Image Signal Processor，简称：ISP)、图像编码器、预览器等等，用于执行相关操作，以实现本申请实施例所提供的技术方案。可选地，处理器120可以集成双摄像头去马赛克引擎(Dual Camera Demosaic Engine)。
终端100还可以包括输入设备140，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与终端100的用户设置以及功能控制有关的信号输入等。具体地，本申请实施例中，该输入设备140可以包括触控面板141。触控面板141，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板141上或在触控面板141的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板141可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器120，并能接收处理器120发来的命令并加以执行。例如，用户在触控面板141上用手指单击一张图像缩略图，触摸检测装置检测到此次单击带来的这个信号，然后将该信号传送给触摸控制器，触摸控制器再将这个信号转换成坐标发送给处理器120，处理器120根据该坐标和该信号的类型(单击或双击)确定对该图像所执行的操作(如图像放大、图像全屏显示)，然后，确定执行该操作所需要占用的内存空间，若需要占用的内存空间小于空闲内存，则将该放大后的图像全屏显示在显示设备包括的显示面板111上，从而实现图像显示。
触控面板141可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了触控面板141，输入设备140还可以包括其他输入设备142，其他输入设备142可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示设备160，包括的显示面板161，用于显示由用户输入的信息或提供给用户的信息以及终端设备100的各种菜单界面等，在本申请实施例中主要用于显示终端100中图像。可选的，显示面板可以采用液晶显示器(英文：Liquid Crystal Display，简称：LCD)或OLED(英文：Organic Light-Emitting Diode，简称：有机发光二极管)等形式来配置显示面板1611。在其他一些实施例中，触控面板141可覆盖显示面板161上，形成触摸显示屏。显示设备也可以称之为屏幕。
除以上之外，终端100还可以包括用于给其他模块供电的电源150。终端100还可以包括一个或多个传感器170，例如加速度传感器、光传感器等。终端100还可以包括无线射频(Radio Frequency，RF)电路180，用于与无线网络设备进行网络通信，还可以包括WiFi模块190，用于与其他设备进行WiFi通信。
本申请实施例提供的去马赛克方法可以实现在图3B所示的存储软件程序中，具体可以电子设备来执行，比如由终端设备100的处理器120来执行，该电子设备包括彩色摄像头以及黑白摄像头，所述彩色摄像头和所述黑白摄像头并列设置于所述电子设备的机身。具体的，如图4所示，为本申请实施例提供的去马赛克方法，该方法具体包括：
S210，获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，并提取所述待处理彩色图像的第一亮度分量。
其中，提取所述待处理彩色图像中的亮度分量可以通过现有方法实现，本申请实施例在此不作具体限定。待处理彩色图像是按照CFA排列的图像。
S220，获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像，并提取所述黑白图像的第二亮度分量。
S230，通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量。
其中，预设算法可以是光流算法、或者快匹配算法、或者特征点匹配算法等等，本发明对此不作具体限定。
S240，基于所述第三亮度分量提取所述待处理彩色图像的色度分量。
具体的，待处理彩色图像的色度分量可以包括第一色度分量以及第二色度分量，则在提取时，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
S250，基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像。
具体的，基于提取到的所述待处理彩色图像中的所述第一色度分量、第二色度分量以及所述第三亮度分量生成所述待处理彩色图像对应的彩色图像。
由于单一的彩色摄像头拍摄图像中需要彩色滤波阵列分色来记录颜色信息，从而导致亮度信息有所缺失，进光量降低，而黑白摄像头不需要分色记录颜色信息，从而背白摄像头的进光量远比彩色摄像头的进光量高，从而背白摄像头获取的亮度信息远比彩色摄像头获取的亮度更真实有效，因此，利用黑白摄像头采集到的亮度信息来指导彩色摄像头进行去马赛克，进而能够从混叠的频谱中解析出彩色图像中的真实的亮度信号以及色度信号来还原真实的彩色图像，提高了解像力以及清晰度。
在一种可能的实现方式中，在训练第一滤波器以及第二滤波器时，可以通过高质量单反相机采集到的图像来训练两个滤波器。由于单反相机中拍摄出来的图像相对较真实有效。第一滤波器以及第二滤波器可以通过如下方式训练得到：
A1，获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量。
其中，K个第一图像可以由高质量单反相机采集到的自然场景图像。
A2，生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像。
A3，基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数。
可选地，所述第i个第二图像满足如下公式所示的条件：
Figure GPA0000268019020000221
其中，fi L[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的亮度分量，fi c1m[n1，n2]表示所述第i个第二图像中坐标分别为[n1，n2]的像素点的第一色度分量，fi c2m[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的第二色度分量，fi R[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的R分量，fi G[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的G分量，fi B[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的B分量，fi CFA[n1，n2]表示所述第i个CFA图像中坐标为[n1，n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
其中，假设图像大小为256*256，则n1以及n2均为256。
A4，将K个CFA图像输入初始化的第一滤波器进行迭代处理；
A5，在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
A6，基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
其中，第一滤波器的滤波窗口大小为B，例如：B为5*5阵列，则滤波窗口内的参数值包括25个。
具体的，所述第一滤波器满足如下公式所示的条件：
Figure GPA0000268019020000231
其中，h1[k1，k2]表示第一滤波器的滤波窗口内坐标为[k1，k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure GPA0000268019020000232
表示第i个CFA图像中坐标为[n1-k1，n2-k2]的像素点的像素值；
Figure GPA0000268019020000233
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000234
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure GPA0000268019020000235
表示使得误差函数取最小值时的h1的取值，
Figure GPA0000268019020000236
表示迭代更新后的第一滤波器。
通过A1～A3步骤后，基于生成的第二图像训练第二滤波器，具体包括：
B1，将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
B2，在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
B3，基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
具体的，所述第二滤波器满足如下公式所示的条件：
Figure GPA0000268019020000241
其中，h2[l1，l2]表示第二滤波器的滤波窗口内坐标为[l1，l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure GPA0000268019020000242
表示第i个CFA图像；
Figure GPA0000268019020000243
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000244
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure GPA0000268019020000245
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure GPA0000268019020000246
表示迭代更新后的第二滤波器。
在步骤S240，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，可以通过如下方式实现：
通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure GPA0000268019020000247
其中，C1[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量。
通过上述方式，可以通过从待处理彩色图像中恢复没有混叠的第一色度分量。
在基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量，可以通过如下方式实现：
通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure GPA0000268019020000251
其中，C2[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1，n2]表示经过配准后的所述待处理彩色图像中坐标为[n1，n2]的像素点的第三亮度分量。
通过上述方式，可以通过从待处理彩色图像中恢复没有混叠的第二色度分量。
可选地，在基于提取到的所述待处理彩色图像中的所述第一色度分量、第二色度分量以及所述第三亮度分量生成所述待处理彩色图像对应的彩色图像，可以通过如下方式实现：
通过如下公式所示的条件生成所述待处理彩色图像对应的彩色图像：
Figure GPA0000268019020000252
其中，R表示所述彩色图像中红色分量，G表示所述彩色图像中的绿色分量，B表示所述彩色图像中的蓝色分量，fL表示提取到的所述待处理彩色图像中的所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
通过上述方式生成的RGB彩色图像，能够在最大程度上克服现有的通过单摄像头拍摄的图像来生成彩色图像中出现的混叠问题。
基于与方法实施例同样的发明构思，本发明实施例还提供了一种去马赛克装置，所述装置应用于包括彩色摄像头以及黑白摄像头的电子设备，如图5A以及图5B所示，其中，图5A为装置示意图，图5B为信号变化流程示意图，该装置包括：
获取模块310，用于用于获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，以及获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像。黑白图像可以简称为mono，其中黑白图像仅仅包括亮度分量。
第一提取模块320，用于提取Luma信号以及获取黑白图像中包括的亮度信号。具体的，提取所述获取模块310用于提取所述获取模块获取到的所述待处理彩色图像的第一亮度分量以及提取所述黑白图像的第二亮度分量。第一亮度分量可以称为Luma。
配准模块330，用于图像配准(Image Registration)，具体用于通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量。
通过黑白摄像头拍摄的黑白图像包括的亮度分量来指导获取亮度分量，由于黑白图像中包括的亮度信息高于彩色图像中的亮度信息，从而确定获取的第三亮度信息相比现有技术而言，更真实精确，因此可以认为第三亮度分量是该图像的真正的亮度分量(TrueLuma)。
第二提取模块340，用于基于所述第三亮度分量提取所述待处理彩色图像的色度分量。由于亮度分量更真实，从而基于真实的亮度分量来指导提取的色度分量，更真实精确，因此可以认为色度分量是该图像的真正的色度分量(True Chroma)。
具体的，所述第二提取模块使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
生成模块350，基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像。该彩色输出图像即为可呈现的真正的RGB图像(True RGB)。
在一种可能的设计中，所述装置还可以包括训练模块360，所述训练模块360，用于通过如下方式训练得到所述第一滤波器，参见图6所示为训练过程中信号变化流程示意图。
C1，获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
图像训练集包括的K个第一图像均为高分辨率图像(high resolution Image)，具体可以由高质量单反相机拍摄得到。
C2，针对每个图像均生成对应的bayer CFA以及获取每个图像中包括的RGB分量。
具体的，生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像。
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
C3，训练第一滤波器以及第二滤波器。
训练第一滤波器时，具体的可以通过如下方式实现：
将K个CFA图像输入初始化的第一滤波器进行迭代处理：在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
可选地，所述第i个第二图像满足如下公式所示的条件：
Figure GPA0000268019020000271
其中，fi L[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的亮度分量，fi c1m[n1，n2]表示所述第i个第二图像中坐标分别为[n1，n2]的像素点的第一色度分量，fi c2m[n1，n2]表示所述第i个第二图像中坐标为[n1，n2]的像素点的第二色度分量，fi R[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的R分量，fi G[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的G分量，fi B[n1，n2]表示所述第i个第一图像中坐标为[n1，n2]的像素点的B分量，fi CFA[n1，n2]表示所述第i个CFA图像中坐标为[n1，n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
其中，所述第一滤波器满足如下公式所示的条件：
Figure GPA0000268019020000281
其中，h1[k1，k2]表示第一滤波器的滤波窗口内坐标为[k1，k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure GPA0000268019020000282
表示第i个CFA图像中坐标为[n1-k1，n2-k2]的像素点的像素值；
Figure GPA0000268019020000283
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000284
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure GPA0000268019020000285
表示使得误差函数取最小值时的h1的取值，
Figure GPA0000268019020000286
表示迭代更新后的第一滤波器。
所述训练模块360，训练所述第二滤波器时，具体的可以通过如下方式实现：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
可选地，所述第二滤波器满足如下公式所示的条件：
Figure GPA0000268019020000291
其中，h2[l1，l2]表示第二滤波器的滤波窗口内坐标为[l1，l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure GPA0000268019020000292
表示第i个CFA图像；
Figure GPA0000268019020000293
表示第i个第二图像的第一色度分量；
Figure GPA0000268019020000294
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure GPA0000268019020000295
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure GPA0000268019020000298
表示迭代更新后的第二滤波器。
所述第二提取模块340，在基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量时，具体用于通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure GPA0000268019020000296
其中，C1[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量。
所述第二提取模块340，在基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量时，具体用于通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure GPA0000268019020000297
其中，C2[n1，n2]表示提取到的所述待处理彩色图像中坐标为[n1，n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1，n2]表示提取前所述待处理彩色图像中坐标为[n1，n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1，n2]表示经过配准后的所述待处理彩色图像中坐标为[n1，n2]的像素点的第三亮度分量。
所述生成模块350，具体用于通过如下公式所示的条件合成所述彩色输出图像：
Figure GPA0000268019020000301
其中，R表示所述彩色输出图像中红色分量，G表示所述彩色输出图像中的绿色分量，B表示所述彩色输出图像中的蓝色分量，fL表示提取到的所述待处理彩色图像中的所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，一种终端设备等)或处理器(例如图3B所示的处理器120)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (27)

1.一种去马赛克方法，其特征在于，所述方法应用于包括一颗彩色摄像头以及一颗黑白摄像头的电子设备，所述彩色摄像头和所述黑白摄像头并列设置于所述电子设备的机身，所述方法包括：
获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，并提取所述待处理彩色图像的第一亮度分量；
获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像，并提取所述黑白图像的第二亮度分量；
通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；
基于所述第三亮度分量提取所述待处理彩色图像的色度分量；
基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像；
其中，所述待处理彩色图像的色度分量包括第一色度分量以及第二色度分量，所述基于所述第三亮度分量提取所述待处理彩色图像的色度分量，包括：使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
2.如权利要求1所述的方法，其特征在于，所述第一滤波器通过如下方式训练得到：
获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像；
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
将K个CFA图像输入初始化的第一滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
3.如权利要求2所述的方法，其特征在于，所述第i个第二图像满足如下公式所示的条件：
Figure FDA0002445560500000011
其中，fi L[n1,n2]表示所述第i个第二图像中坐标为[n1,n2]的像素点的亮度分量，fi c1m[n1,n2]表示所述第i个第二图像中坐标分别为[n1,n2]的像素点的第一色度分量，fi c2m[n1,n2]表示所述第i个第二图像中坐标为[n1,n2]的像素点的第二色度分量，fi R[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的R分量，fi G[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的G分量，fi B[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的B分量，fi CFA[n1,n2]表示所述第i个CFA图像中坐标为[n1,n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
4.如权利要求2或3所述的方法，其特征在于，所述第一滤波器满足如下公式所示的条件：
Figure FDA0002445560500000022
其中，h1[k1,k2]表示第一滤波器的滤波窗口内坐标为[k1,k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure FDA0002445560500000024
表示第i个CFA图像中坐标为[n1-k1,n2-k2]的像素点的像素值；
Figure FDA0002445560500000025
表示第i个第二图像的第一色度分量；
Figure FDA0002445560500000026
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure FDA0002445560500000027
表示使得误差函数取最小值时的h1的取值，
Figure FDA0002445560500000028
表示迭代更新后的第一滤波器。
5.如权利要求2至3任一项所述的方法，其特征在于，所述第二滤波器通过如下方式训练得到：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
6.如权利要求5所述的方法，其特征在于，所述第二滤波器满足如下公式所示的条件：
Figure FDA0002445560500000029
其中，h2[l1,l2]表示第二滤波器的滤波窗口内坐标为[l1,l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure FDA00024455605000000210
表示第i个CFA图像；
Figure FDA00024455605000000211
表示第i个第二图像的第一色度分量；
Figure FDA00024455605000000212
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure FDA00024455605000000213
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure FDA00024455605000000214
表示迭代更新后的第二滤波器。
7.如权利要求1至3任一项所述的方法，其特征在于，基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，包括：
通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure FDA0002445560500000031
其中，C1[n1,n2]表示提取到的所述待处理彩色图像中坐标为[n1,n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1,n2]表示提取前所述待处理彩色图像中坐标为[n1,n2]的像素点的颜色分量。
8.如权利要求1至3任一项所述的方法，其特征在于，所述基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量，包括：
通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure FDA0002445560500000033
其中，C2[n1,n2]表示提取到的所述待处理彩色图像中坐标为[n1,n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1,n2]表示提取前所述待处理彩色图像中坐标为[n1,n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1,n2]表示经过配准后的所述待处理彩色图像中坐标为[n1,n2]的像素点的第三亮度分量。
9.如权利要求1至3任一项所述的方法，其特征在于，所述基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像，包括：
通过如下公式所示的条件合成所述彩色输出图像：
Figure FDA0002445560500000032
其中，R表示所述彩色输出图像中红色分量，G表示所述彩色输出图像中的绿色分量，B表示所述彩色输出图像中的蓝色分量，fL表示所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
10.一种去马赛克装置，其特征在于，所述装置应用于包括一颗彩色摄像头以及一颗黑白摄像头的电子设备，所述彩色摄像头和所述黑白摄像头并列设置于所述电子设备的机身，包括：
获取模块，用于获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，以及获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像；
第一提取模块，用于提取所述获取模块获取到的所述待处理彩色图像的第一亮度分量以及提取所述黑白图像的第二亮度分量；
配准模块，用于通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；
第二提取模块，用于基于所述第三亮度分量提取所述待处理彩色图像的色度分量；
生成模块，基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像；
其中，所述第二提取模块，具体用于：使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
11.如权利要求10所述的装置，其特征在于，还包括训练模块，所述训练模块，用于通过如下方式训练得到所述第一滤波器：
获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像；
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
将K个CFA图像输入初始化的第一滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
12.如权利要求11所述的装置，其特征在于，所述第i个第二图像满足如下公式所示的条件：
Figure FDA0002445560500000041
其中，fi L[n1,n2]表示所述第i个第二图像中坐标为[n1,n2]的像素点的亮度分量，fi c1m[n1,n2]表示所述第i个第二图像中坐标分别为[n1,n2]的像素点的第一色度分量，fi c2m[n1,n2]表示所述第i个第二图像中坐标为[n1,n2]的像素点的第二色度分量，fi R[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的R分量，fi G[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的G分量，fi B[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的B分量，fi CFA[n1,n2]表示所述第i个CFA图像中坐标为[n1,n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
13.如权利要求11或12所述的装置，其特征在于，所述第一滤波器满足如下公式所示的条件：
Figure FDA0002445560500000042
其中，h1[k1,k2]表示第一滤波器的滤波窗口内坐标为[k1,k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure FDA0002445560500000043
表示第i个CFA图像中坐标为[n1-k1,n2-k2]的像素点的像素值；
Figure FDA0002445560500000051
表示第i个第二图像的第一色度分量；
Figure FDA0002445560500000052
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure FDA0002445560500000053
表示使得误差函数取最小值时的h1的取值，
Figure FDA0002445560500000054
表示迭代更新后的第一滤波器。
14.如权利要求11至12任一项所述的装置，其特征在于，所述训练模块，还用于通过如下方式训练得到所述第二滤波器：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
15.如权利要求14所述的装置，其特征在于，所述第二滤波器满足如下公式所示的条件：
Figure FDA0002445560500000055
其中，h2[l1,l2]表示第二滤波器的滤波窗口内坐标为[l1,l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure FDA0002445560500000056
表示第i个CFA图像；
Figure FDA0002445560500000057
表示第i个第二图像的第一色度分量；
Figure FDA0002445560500000058
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure FDA0002445560500000059
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure FDA00024455605000000510
表示迭代更新后的第二滤波器。
16.如权利要求10至12任一项所述的装置，其特征在于，所述第二提取模块，在基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像的第一色度分量时，具体用于通过如下所示的公式提取所述待处理彩色图像的第一色度分量：
Figure FDA00024455605000000511
其中，C1[n1,n2]表示提取到的所述待处理彩色图像中坐标为[n1,n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1,n2]表示提取前所述待处理彩色图像中坐标为[n1,n2]的像素点的颜色分量。
17.如权利要求10至12任一项所述的装置，其特征在于，所述第二提取模块，在基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量时，具体用于通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure FDA0002445560500000061
其中，C2[n1,n2]表示提取到的所述待处理彩色图像中坐标为[n1,n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1,n2]表示提取前所述待处理彩色图像中坐标为[n1,n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1,n2]表示经过配准后的所述待处理彩色图像中坐标为[n1,n2]的像素点的第三亮度分量。
18.如权利要求10至12任一项所述的装置，其特征在于，所述生成模块，具体用于通过如下公式所示的条件合成所述彩色输出图像：
Figure FDA0002445560500000062
其中，R表示所述彩色输出图像中红色分量，G表示所述彩色输出图像中的绿色分量，B表示所述彩色输出图像中的蓝色分量，fL表示提取到的所述待处理彩色图像中的所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
19.一种电子设备，其特征在于，包括：
一颗彩色摄像头、一颗黑白摄像头，存储器，屏幕以及处理器；
所述彩色摄像头，用于拍摄彩色的静态或动态图像；
所述黑白摄像头，用于拍摄黑白的静态或动态图像；
所述存储器，用于存储所述彩色摄像头采集的图像和所述黑白摄像头采集的图像；
所述处理器，用于获取所述彩色摄像头拍摄目标场景得到的待处理彩色图像，并提取所述待处理彩色图像的第一亮度分量；获取所述黑白摄像头在同一时刻采集所述目标场景得到的黑白图像，并提取所述黑白图像的第二亮度分量；通过预设算法对所述第一亮度分量以及第二亮度分量进行配准生成第三亮度分量；基于所述第三亮度分量提取所述待处理彩色图像的色度分量；基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像；
所述屏幕用于显示所述彩色输出图像；
其中，所述待处理彩色图像的色度分量包括第一色度分量以及第二色度分量，所述处理器，在基于所述第三亮度分量提取所述待处理彩色图像的色度分量时，具体用于：使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量，并基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量。
20.如权利要求19所述的电子设备，其特征在于，
所述处理器，还用于通过如下方式训练得到所述第一滤波器：
获取图像训练集，所述图像训练集中包括K个第一图像；其中每个第一图像中的各个像素点均包括红色R分量、绿色G分量以及蓝色B分量；
生成第i个第一图像对应的按照彩色滤波阵列CFA排列的第i个CFA图像；
基于所述第i个CFA图像将第i个第一图像转换为像素点以一个亮度分量及第一色度分量、第二色度分量构成的第i个第二图像；i取遍不大于K的所有正整数；
将K个CFA图像输入初始化的第一滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第一滤波器的第i个第二图像包括的第一色度分量与经所述第i次迭代处理后得到的第一色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第一滤波器的滤波窗口内的参数值。
21.如权利要求20所述的电子设备，其特征在于，所述第i个第二图像满足如下公式所示的条件：
Figure FDA0002445560500000071
其中，fi L[n1,n2]表示所述第i个第二图像中坐标为[n1,n2]的像素点的亮度分量，fi c1m[n1,n2]表示所述第i个第二图像中坐标分别为[n1,n2]的像素点的第一色度分量，fi c2m[n1,n2]表示所述第i个第二图像中坐标为[n1,n2]的像素点的第二色度分量，fi R[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的R分量，fi G[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的G分量，fi B[n1,n2]表示所述第i个第一图像中坐标为[n1,n2]的像素点的B分量，fi CFA[n1,n2]表示所述第i个CFA图像中坐标为[n1,n2]的像素点的像素值，n1表示图像中水平像素点位置，n2表示图像中垂直像素点位置。
22.如权利要求20或21所述的电子设备，其特征在于，所述第一滤波器满足如下公式所示的条件：
Figure FDA0002445560500000072
其中，h1[k1,k2]表示第一滤波器的滤波窗口内坐标为[k1,k2]的参数；B表示第一滤波器的滤波窗口大小；
Figure FDA0002445560500000073
表示第i个CFA图像中坐标为[n1-k1,n2-k2]的像素点的像素值；
Figure FDA0002445560500000074
表示第i个第二图像的第一色度分量；
Figure FDA0002445560500000075
表示将第i个CFA图像输入第一滤波器得到的第一色度分量；Ai表示第i个CFA图像大小，TSEc1表示第一色度分量对应的误差函数，
Figure FDA0002445560500000076
表示使得误差函数取最小值时的h1的取值，
Figure FDA0002445560500000077
表示迭代更新后的第一滤波器。
23.如权利要求20至21任一项所述的电子设备，其特征在于，所述处理器，还用于通过如下方式训练得到所述第二滤波器：
将所述K个第一图像对应的CFA图像输入初始化的第二滤波器进行迭代处理；
在第i次迭代后，获取第i次迭代输入所述第二滤波器的第i个第二图像包括第二色度分量与经所述第i次迭代处理后得到的第二色度分量之间的误差值；
基于所述误差值，调整第i+1次迭代过程所述第二滤波器的滤波窗口内的参数值。
24.如权利要求23所述的电子设备，其特征在于，所述第二滤波器满足如下公式所示的条件：
Figure FDA0002445560500000081
其中，h2[l1,l2]表示第二滤波器的滤波窗口内坐标为[l1,l2]的参数；D表示第二滤波器的滤波窗口大小；
Figure FDA0002445560500000082
表示第i个CFA图像；
Figure FDA0002445560500000083
表示第i个第二图像的第一色度分量；
Figure FDA0002445560500000084
表示第i个第二图像的亮度分量；Ai表示第i个CFA图像大小，TSEc2表示第二色度分量对应的误差函数，
Figure FDA0002445560500000085
表示使得误差函数TSEc2取最小值时的h2的取值，
Figure FDA0002445560500000086
表示迭代更新后的第二滤波器。
25.如权利要求19至21任一项所述的电子设备，其特征在于，所述处理器，在基于所述第三亮度分量，使用预训练的第一滤波器提取所述待处理彩色图像中的第一色度分量时，具体用于：
通过如下所示的公式提取所述待处理彩色图像中的第一色度分量：
Figure FDA0002445560500000087
其中，C1[n1,n2]表示提取到的所述待处理彩色图像中坐标为[n1,n2]的像素点的第一色度分量，h1表示第一滤波器，fc CFA[n1,n2]表示提取前所述待处理彩色图像中坐标为[n1,n2]的像素点的颜色分量。
26.如权利要求19至21任一项所述的电子设备，其特征在于，所述处理器，在基于所述第三亮度分量以及提取的所述第一色度分量使用预训练的第二滤波器提取所述待处理彩色图像中的第二色度分量时，具体用于：
通过如下公式所示的条件提取所述待处理彩色图像中的第二色度分量：
Figure FDA0002445560500000088
其中，C2[n1,n2]表示提取到的所述待处理彩色图像中坐标为[n1,n2]的像素点的第二色度分量，h1表示第一滤波器，fc CFA[n1,n2]表示提取前所述待处理彩色图像中坐标为[n1,n2]的像素点的颜色分量，h2表示第二滤波器，fc L[n1,n2]表示经过配准后的所述待处理彩色图像中坐标为[n1,n2]的像素点的第三亮度分量。
27.如权利要求19至21任一项所述的电子设备，其特征在于，所述处理器，在基于提取得到所述待处理彩色图像的色度分量以及所述第三亮度分量合成彩色输出图像时，具体用于：
通过如下公式所示的条件生成所述待处理彩色图像对应的彩色图像：
Figure FDA0002445560500000091
其中，R表示所述彩色输出图像中红色分量，G表示所述彩色输出图像中的绿色分量，B表示所述彩色输出图像中的蓝色分量，fL表示提取到的所述待处理彩色图像中的所述第三亮度分量，C1表示提取到所述待处理彩色图像中的所述第一色度分量，C2表示提取到所述待处理彩色图像中的所述第二色度分量。
CN201680091740.8A 2016-12-28 2016-12-28 一种去马赛克方法及装置 Active CN110089103B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/112730 WO2018119787A1 (zh) 2016-12-28 2016-12-28 一种去马赛克方法及装置

Publications (2)

Publication Number Publication Date
CN110089103A CN110089103A (zh) 2019-08-02
CN110089103B true CN110089103B (zh) 2020-08-07

Family

ID=62710851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091740.8A Active CN110089103B (zh) 2016-12-28 2016-12-28 一种去马赛克方法及装置

Country Status (4)

Country Link
US (1) US11017501B2 (zh)
EP (1) EP3550818B1 (zh)
CN (1) CN110089103B (zh)
WO (1) WO2018119787A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298812B (zh) * 2019-06-25 2021-08-27 浙江大华技术股份有限公司 一种图像融合处理的方法及装置
CN110769151B (zh) * 2019-09-27 2021-10-15 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347190A (zh) * 2013-07-25 2013-10-09 华北电力大学 一种边相关的联合彩色去马赛克和放大方法
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
CN103841388A (zh) * 2014-03-04 2014-06-04 华为技术有限公司 一种去马赛克的方法及装置
CN105141838A (zh) * 2015-08-19 2015-12-09 上海兆芯集成电路有限公司 去马赛克方法以及使用该方法的装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
US7006686B2 (en) * 2001-07-18 2006-02-28 Hewlett-Packard Development Company, L.P. Image mosaic data reconstruction
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN104320575B (zh) 2014-09-30 2019-01-15 百度在线网络技术（北京）有限公司 一种用于便携式终端的图像处理方法及图像处理装置
CN105049718A (zh) 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN105578063B (zh) 2015-07-14 2018-04-10 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347190A (zh) * 2013-07-25 2013-10-09 华北电力大学 一种边相关的联合彩色去马赛克和放大方法
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
CN103841388A (zh) * 2014-03-04 2014-06-04 华为技术有限公司 一种去马赛克的方法及装置
CN105141838A (zh) * 2015-08-19 2015-12-09 上海兆芯集成电路有限公司 去马赛克方法以及使用该方法的装置

Also Published As

Publication number Publication date
EP3550818A1 (en) 2019-10-09
US20190333186A1 (en) 2019-10-31
WO2018119787A1 (zh) 2018-07-05
EP3550818A4 (en) 2019-12-18
US11017501B2 (en) 2021-05-25
EP3550818B1 (en) 2021-11-24
CN110089103A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
JP7357998B2 (ja) 画像処理方法、スマート機器及びコンピュータプログラム
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
US10853927B2 (en) Image fusion architecture
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR102512889B1 (ko) 이미지 융합 프로세싱 모듈
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP2010045770A (ja) 画像処理装置及び画像処理方法
EP3644599A1 (en) Video processing method and apparatus, electronic device, and storage medium
CN107909569B (zh) 一种花屏检测方法、花屏检测装置及电子设备
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
CN102170527A (zh) 图像处理装置
CN104796600B (zh) 图像合成装置和图像合成方法
CN113014803A (zh) 滤镜添加方法、装置及电子设备
CN104853172B (zh) 一种信息处理方法以及一种电子设备
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
CN107018407B (zh) 信息处理装置、评价用图、评价系统、以及性能评价方法
CN110089103B (zh) 一种去马赛克方法及装置
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
CN111885371A (zh) 图像遮挡检测方法、装置、电子设备和计算机可读介质
CN115546043B (zh) 视频处理方法及其相关设备
CN111080683A (zh) 图像处理方法、装置、存储介质及电子设备
US11798146B2 (en) Image fusion architecture
CN111491095B (zh) 图像虚化方法、装置和电子设备
CN111147693A (zh) 一种全尺寸拍照图像的降噪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant