CN111161204B - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质，方法包括：获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像；根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量；根据该运动偏移量，确定第一单通道图像中的亚像素与缺失像素之间的运动偏移量，然后根据该亚像素与缺失像素之间的运动偏移量，以及第二单通道图像中各个像素的像素值，确定第一单通道图像中的缺失像素的像素值，并添加到第一单通道图像中。本申请可以有效的展现第一原始图像的纹理细节，以及使第一原始图像更加清晰。

Description

图像处理方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。

背景技术

随着科技的发展以及人们生活水平的提高，电子设备的拍照功能已经成为最受用户关注的标准配置之一，越来越多的用户开始希望利用电子设备拍摄出精美的照片。

目前，大部分电子设备上采用的摄像模组都是基于bayer模式(又叫拜尔模式)的传感器制造，其采集到的原始图像经过去马赛克(demosaic)处理后，得到实际图像。

但由于上述去马赛克处理都是基于单帧的原始图像，在进行去马赛克处理后会导致得到的实际图像存在一定程度的模糊和细节缺失，影响图像质量。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质，可以解决目前经过去马赛克处理后的图像会存在一定程度的模糊和细节缺失的技术问题。

第一方面，本申请实施例提供一种图像处理方法，该方法包括：

获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像；

根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定所述各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量；

根据所述第一单通道图像中的各个图像块的运动偏移量，确定所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，所述缺失像素位于所述第一单通道图像中任意两个相邻像素之间以及任意一个2×2像素块的中心；

根据所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，以及所述第二单通道图像中各个像素的像素值，确定所述第一单通道图像中的缺失像素的像素值；

将所述第一单通道图像中的缺失像素的像素值添加到所述第一单通道图像中，得到所述第一原始图像对应的目标图像。

第二方面，本申请实施例提供一种图像处理装置，该装置包括：

获取模块，用于获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像；

第一确定模块，用于根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定所述各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量；

第二确定模块，用于根据所述第一单通道图像中的各个图像块的运动偏移量，确定所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，所述缺失像素位于所述第一单通道图像中任意两个相邻像素之间以及任意一个2×2像素块的中心；

第三确定模块，用于根据所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，以及所述第二单通道图像中各个像素的像素值，确定所述第一单通道图像中的缺失像素的像素值；

处理模块，用于将所述第一单通道图像中的缺失像素的像素值添加到所述第一单通道图像中，得到所述第一原始图像对应的目标图像。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面提供的图像处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面提供的图像处理方法。

本申请实施例所提供的图像处理方法、装置、电子设备及可读存储介质，方法包括：获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像；根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量；根据该运动偏移量，确定第一单通道图像中的亚像素与缺失像素之间的运动偏移量，然后根据该亚像素与缺失像素之间的运动偏移量，以及第二单通道图像中各个像素的像素值，确定第一单通道图像中的缺失像素的像素值；将该缺失像素的像素值添加到第一单通道图像中，得到第一原始图像对应的目标图像。在本申请实施例中，采用至少一帧第二原始图像，来确定出第一原始图像中缺失像素的像素值，然后将缺失像素添加至第一原始图像中，可以有效的展现第一原始图像的纹理细节，以及使第一原始图像更加清晰，因此能够有效提升图像质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的一种图像处理方法的流程示意图；

图2为本申请实施例中缺失像素的分布位置示意图；

图3为本申请实施例中亚像素对齐后的分布示意图；

图4为本申请实施例中提供的一种图像处理装置的模块示意图；

图5为本申请实施例中提供的一种电子设备的硬件结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例所提供的图像处理方法，可以适用于基于拜尔模式的各种配置有摄像头的电子设备，如摄像机、手机等，本申请实施例中不做限制。

参照图1，图1为本申请实施例提供的一种图像处理方法的流程示意图，上述图像处理方法包括：

S101、获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像。

为了更好的理解本申请实施例，下面以RGGB拜尔模式的图像进行举例说明。

其中，获取一帧原始图像作为第一原始图像，然后将该第一原始图像按照R(红)、G(绿)、G(绿)、B(蓝)四个颜色通道分解为四个单通道图像。以及，获取至少一帧原始图像作为第二原始图像，然后将每帧第二原始图像同样也分别按照R、G、G、B四个颜色通道分解为四个单通道图像。

其中，单通道图像可以理解为只保留R、G、G、B四个颜色中的其中一个颜色的图像。

S102、根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量。

其中，运动偏移量可以用于表示第一单通道图像中的各个图像块，相对于第二单通道图像中的相似图像块在x方向和y方向的偏移量。

本申请实施例中，假设第一原始图像分解后对应四个单通道图像分别为R1、G11、G12、B1；任一帧第二原始图像分解后对应四个单通道图像分别为R2、G21、G22、B2；则分别确定单通道图像R1中的各个图像块相对于单通道图像R2中相似图像块的运动偏移量、单通道图像G11中的各个图像块相对于单通道图像G21中相似图像块的运动偏移量、单通道图像G12中的各个图像块相对于单通道图像G22中相似图像块的运动偏移量、单通道图像B1中的各个图像块相对于单通道图像B 2中相似图像块的运动偏移量。

S103、根据第一单通道图像中的各个图像块的运动偏移量，确定第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量。

本申请实施例中，在确定出各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量之后，即可根据第一单通道图像中的各个图像块的运动偏移量，确定出第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量。

其中，参见图2，图2为本申请实施例中缺失像素的分布位置示意图。在图2中，“●”表示单通道图像R1中的像素点，“×”表示单通道图像R1中的缺失像素。

即上述缺失像素位于第一单通道图像中任意两个相邻像素之间以及任意一个2×2像素块的中心。

其中，数码摄像机的成像面的分辨率以像素数量来衡量，在摄像机拍摄时，将物理世界中连续的图像进行了离散化处理，到成像面上每一个像素点只代表其附近的颜色。即任意两个像素之间有几个至十几个微米不等的距离，在宏观上可以看作是连在一起的，但是在微观上，它们之间还有无限的更小的东西存在。即在两个相邻物理像素之间还有像素，该像素一般称为“亚像素”。

S104、根据第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，以及第二单通道图像中各个像素的像素值，确定第一单通道图像中的缺失像素的像素值。

本申请实施例中，在确定出第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量之后，即可利用该运动偏移量来计算出第二单通道图像中的各个像素相对于对缺失像素的权重；然后基于该权重与第二单通道图像中各个像素的像素值，即可计算出上述缺失像素的像素值。

S105、将第一单通道图像中的缺失像素的像素值添加到第一单通道图像中，得到第一原始图像对应的目标图像。

本申请实施例中，在计算出每个颜色通道对应的第一单通道图像中的缺失像素之后，即可将计算出的缺失像素添加到各个第一单通道图像中，得到第一原始图像对应的目标图像。

可选的，当第一原始图像为RGGB图像时，在将计算出的缺失像素添加到各个单通道图像中后，可以将处理后的RGGB图像合成为RGB图像进行输出。

其中，仍假设第一原始图像分解后对应四个单通道图像分别为R1、G11、G12、B1，则可以根据处理后的单通道图像G11与G12中各个像素的像素值，来合成一个单通道图像G。例如，在一种可行的实施方式中，可以将单通道图像G11与G12中相同位置的像素相加后求取平均值，然后将该平均值作为单通道图像G中相应位置的像素的像素值。

可以理解的是，本申请实施例中，还可以采用其它任意图像融合方式，来根据处理后的单通道图像G11与G12中各个像素的像素值，合成一个单通道图像G。

即在本申请实施例中，采用至少一帧第二原始图像，来确定出第一原始图像中缺失像素的像素值，然后将缺失像素添加至第一原始图像中，可以有效的展现第一原始图像的纹理细节，以及使第一原始图像更加清晰，因此能够有效提升图像质量。

基于上述实施例中所描述的内容，在本申请一种可行的实施方式中，步骤S102中根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量，具体包括：

针对每个颜色通道对应的第一单通道图像进行以下处理：

a、将当前颜色通道对应的第一单通道图像划分为至少两个图像块。

b、遍历当前颜色通道对应的第一单通道图像中的各个图像块，在当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块。

可选的，可以采用双目立体匹配SAD算法，计算第一图像块的像素值与第二单通道图像中的各个图像块的像素值的SAD值；将第二单通道图像中计算出的最小SAD值对应的图像块确定为第一目标图像块。其中，SAD值表示两个图像块中所有像素点的像素值之差的绝对值的和。

c、根据第一图像块的位置与第一目标图像块的位置，确定第一图像块的运动偏移量。

具体的，以单通道图像R1为例，可以将单通道图像R1划分为4×4个图像块，然后对于单通道图像R1中的每一个图像块，在单通道图像R2中寻找与其相似度最高的目标图像块，然后将各图像块与其对应的目标图像块在x方向和y方向的偏移量作为各图像块的运动偏移量。

可选的，可以基于当前颜色通道对应的第一单通道图像中的各个图像块，建立高斯金字塔分解模型，然后从该高斯金字塔分解模型的顶层开始遍历当前颜色通道对应的第一单通道图像中的各个图像块，在当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块。

具体的，当前颜色通道对应的第一单通道图像中的各个图像块构成上述高斯金字塔分解模型的各层图像，且任意一层图像块的大小是下一层图像块的四分之一。

本申请实施例中，从上述高斯金字塔分解模型的顶层开始，在当前颜色通道对应的第二单通道图像中查找出与顶层的图像块相似度最大的目标图像块，然后将顶层图像块与该目标图像块在x方向和y方向的偏移向量(u，v)作为顶层的图像块对应的运动偏移量。进一步的，以偏移向量(2u，2v)为基础，在当前颜色通道对应的第二单通道图像中查找出与第二层的图像块相似度最大的目标图像块，然后将第二层的图像块与该目标图像块在x方向和y方向的偏移量作为第二层的图像块对应的运动偏移量；……；以此类推，直至计算出最底层的图像块对应的运动偏移量。

基于上述实施例中所描述的内容，在本申请一种可行的实施方式中，上述步骤S103中根据第一单通道图像中的各个图像块的运动偏移量，确定第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，具体包括：

根据第一单通道图像中的各个图像块的运动偏移量，在第一单通道图像中确定第二图像块，第二图像块与所述第二图像块在所述第二单通道图像中对应的第二目标图像块的相似度，均大于第一单通道图像中的剩余图像块与剩余图像块在第二单通道图像中对应的目标图像块的相似度。基于第二图像块，在第一单通道图像中选取n个图像块，n≥2；基于n个图像块与n个图像块对应的目标图像块之间的运动偏移量，进行二次曲面拟合，得到第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量。

示例性的，在计算出第一单通道图像中各个图像块对应的运动偏移量之后，确定出第一单通道图像中各个图像块对应的最小SAD值，将该SAD值对应的图像块确定为第二图像块，然后以该第二图像块为中心，选取周围3×3范围内的图像块，然后对选取到的3×3个图像块进行二次曲面拟合。其中，拟合时可以采用如下曲面函数：

z＝a*x*x+b*y*y+c*x*y+d*x+e*y+f

进行二次曲面拟合，将选取的3×3个图像块在x方向和y方向对应的偏移量分别作为x、y的值输入上述曲面函数，得出a、b、c、d、e、f的值，然后计算在z取最小值时x、y的值，并将计算出的x、y的值作为第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量。

基于上述实施例中所描述的内容，在本申请一种可行的实施方式中，上述步骤S104中根据第一单通道图像中的各个图像块的运动偏移量，确定第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，具体包括：

基于第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，利用各向异性径向函数计算第二单通道图像中的各个像素相对于对缺失像素的权重；基于该权重与第二单通道图像中各个像素的像素值，计算缺失像素的像素值。

为了更好的理解本申请实施例，参照图3，图3为本申请实施例中亚像素对齐后的分布示意图。

在图3中，以单通道图像R1为例，在计算出单通道图像R1中的亚像素与单通道图像R1中的缺失像素之间的运动偏移量之后，即可按照该运动偏移量，确定出单通道图像R2中的像素相对于单通道图像R1中的缺失像素的位置。如图3所示，“●”表示单通道图像R1中的像素点，“△”表示单通道图像R2中的像素点，“×”表示单通道图像R1中的缺失像素。

在图3中，可以先基于编号为1、2、3、4的“△”像素，相对于编号为5的“×”像素的位置，来分别计算编号为1、2、3、4的“△”像素相对于编号为5的“×”像素的权重，然后基于各个权重，以及编号为1、2、3、4的“△”像素的像素值，计算出编号为5的“×”像素的像素值。

例如，可以采用以下公式计算编号为5的“×”像素的像素值W：

其中，k1、k2、k3、k4分别表示编号为1、2、3、4的“△”像素的像素值，w1、w2、w3、w4分别表示编号为1、2、3、4的“△”像素的相对于编号为5的“×”像素的权重。

可选的，可以采用如下各向异性径向函数来分别计算上述各个权重：

g(x,y)＝exp(-(X·r·K·r′·X′)^{^2})

其中，X＝[lx,ly]，

α，β为预设的自适应计算参数；r′为r的转置，X′为X的转置。

其中，以单通道图像R1为例，lx,ly表示单通道图像R1中的亚像素与单通道图像R1中的缺失像素在横轴与纵轴上的距离值。

在实际应用中，theta用于指示上述缺失像素对应的各向异性的主方向。上述缺失像素对应的各向异性的主方向是根据上述缺失像素对应的横轴方向的梯度值和纵轴方向的梯度值获得的。

一种可能的实现方式中，上述缺失像素对应的横轴方向的梯度值和纵轴方向的梯度值可通过索贝尔sobel算子获得。具体地，上述缺失像素对应的横轴方向的梯度值和纵轴方向的梯度值满足以下公式：

E_X＝∑I_X

E_Y＝∑I_Y

其中，I_x表示预设邻域内的所有像素点在横轴方向的梯度值；I_Y表示预设邻域内的所有像素点在纵轴方向的梯度值。

基于上述实施例中的描述，本申请还提供一种图像处理装置40，参照图4，图4为本申请实施例提供的一种图像处理装置的模块示意图，该图像处理装置40包括：

获取模块401，用于获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像。

第一确定模块402，用于根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量。

第二确定模块403，用于根据第一单通道图像中的各个图像块的运动偏移量，确定第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，缺失像素位于第一单通道图像中任意两个相邻像素之间以及任意一个2×2像素块的中心。

第三确定模块404，用于根据第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，以及第二单通道图像中各个像素的像素值，确定第一单通道图像中的缺失像素的像素值。

处理模块405，用于将第一单通道图像中的缺失像素的像素值添加到第一单通道图像中，得到第一原始图像对应的目标图像。

在一种可行的实施方式中，第一确定模块402，具体用于：

针对每个颜色通道对应的第一单通道图像进行以下处理：

将当前颜色通道对应的第一单通道图像划分为至少两个图像块；

遍历当前颜色通道对应的第一单通道图像中的各个图像块，在当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块；

根据第一图像块的位置与第一目标图像块的位置，确定第一图像块的运动偏移量。

在一种可行的实施方式中，基于当前颜色通道对应的第一单通道图像中的各个图像块，建立高斯金字塔分解模型；

从高斯金字塔分解模型的顶层开始遍历所述当前颜色通道对应的第一单通道图像中的各个图像块，在当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块。

在一种可行的实施方式中，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块，包括：

计算第一图像块的像素值与第二单通道图像中的各个图像块的像素值的SAD值；将第二单通道图像中计算出的最小SAD值对应的图像块确定为第一目标图像块。

在一种可行的实施方式中，第二确定模块403，具体包括：

查找模块，用于根据第一单通道图像中的各个图像块的运动偏移量，在第一单通道图像中确定第二图像块，该第二图像块与第二图像块在所述第二单通道图像中对应的第二目标图像块的相似度，均大于第一单通道图像中的剩余图像块与剩余图像块在第二单通道图像中对应的目标图像块的相似度。

选取模块，用于基于第二图像块，在第一单通道图像中选取n个图像块，n≥2。

拟合模块，用于基于n个图像块与n个图像块对应的目标图像块之间的运动偏移量，进行二次曲面拟合，得到第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量。

在一种可行的实施方式中，第三确定模块404，具体包括：

第一计算模块，用于基于第一单通道图像中的亚像素与第一单通道图像中的缺失像素之间的运动偏移量，利用各向异性径向函数计算所述第二单通道图像中的各个像素相对于对缺失像素的权重。

第二计算模块，用于基于上述权重与第二单通道图像中各个像素的像素值，计算缺失像素的像素值。

本实施例提供的图像处理装置40，可用于实现上述图像处理方法对应的各实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例提供的图像处理装置40，采用至少一帧第二原始图像，来确定出第一原始图像中缺失像素的像素值，然后将缺失像素添加至第一原始图像中，可以有效的展现第一原始图像的纹理细节，以及使第一原始图像更加清晰，因此能够有效提升图像质量。

基于上述实施例中的描述，本申请还提供一种电子设备，包括：至少一个处理器和存储器；该存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，以实现如上实施例中所描述的图像处理方法。

为了更好的理解本申请实施例，参照图5，图5为本申请实施例提供的一种电子设备的硬件结构示意图。如图5所示，本实施例中的电子设备50包括：处理器501以及存储器502；其中：

存储器502，用于存储计算机执行指令；

处理器501，用于执行存储器存储的计算机执行指令，以实现上述实施例中图像处理方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。

当存储器502独立设置时，该电子设备50还包括总线503，用于连接所述存储器502和处理器501。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所描述的图像处理方法。

本实施例提供的电子设备以及可读存储介质，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像；

根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定所述各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量；

根据所述第一单通道图像中的各个图像块的运动偏移量，确定所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，所述缺失像素位于所述第一单通道图像中任意两个相邻像素之间以及任意一个2×2像素块的中心；

根据所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，以及所述第二单通道图像中各个像素的像素值，确定所述第一单通道图像中的缺失像素的像素值；

将所述第一单通道图像中的缺失像素的像素值添加到所述第一单通道图像中，得到所述第一原始图像对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定所述各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量，包括：

针对每个颜色通道对应的第一单通道图像进行以下处理：

将当前颜色通道对应的第一单通道图像划分为至少两个图像块；

遍历当前颜色通道对应的第一单通道图像中的各个图像块，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块；

根据所述第一图像块的位置与所述第一目标图像块的位置，确定所述第一图像块的运动偏移量。

3.根据权利要求2所述的方法，其特征在于，所述遍历当前颜色通道对应的第一单通道图像中的各个图像块，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块，包括：

基于所述当前颜色通道对应的第一单通道图像中的各个图像块，建立高斯金字塔分解模型；

从所述高斯金字塔分解模型的顶层开始遍历所述当前颜色通道对应的第一单通道图像中的各个图像块，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块。

4.根据权利要求3所述的方法，其特征在于，所述在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块，包括：

计算所述第一图像块的像素值与所述第二单通道图像中的各个图像块的像素值的绝对差总和SAD值；

将所述第二单通道图像中计算出的最小SAD值对应的图像块确定为所述第一目标图像块。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一单通道图像中的各个图像块的运动偏移量，确定所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，包括：

根据所述第一单通道图像中的各个图像块的运动偏移量，在所述第一单通道图像中确定第二图像块，所述第二图像块与所述第二图像块在所述第二单通道图像中对应的第二目标图像块的相似度，均大于所述第一单通道图像中的剩余图像块与所述剩余图像块在所述第二单通道图像中对应的目标图像块的相似度；

基于所述第二图像块，在所述第一单通道图像中选取n个图像块，n≥2；

基于所述n个图像块与所述n个图像块对应的目标图像块之间的运动偏移量，进行二次曲面拟合，得到所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，以及所述第二单通道图像中各个像素的像素值，确定所述第一单通道图像中的缺失像素的像素值，包括：

基于所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，利用各向异性径向函数计算所述第二单通道图像中的各个像素相对于对所述缺失像素的权重；

基于所述权重与所述第二单通道图像中各个像素的像素值，计算所述缺失像素的像素值。

7.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一原始图像中各个颜色通道对应的第一单通道图像，以及至少一帧第二原始图像中各个颜色通道对应的第二单通道图像；

第一确定模块，用于根据同一颜色通道对应的第一单通道图像和第二单通道图像，确定所述各个颜色通道对应的第一单通道图像中的各个图像块的运动偏移量；

第二确定模块，用于根据所述第一单通道图像中的各个图像块的运动偏移量，确定所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，所述缺失像素位于所述第一单通道图像中任意两个相邻像素之间以及任意一个2×2像素块的中心；

第三确定模块，用于根据所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，以及所述第二单通道图像中各个像素的像素值，确定所述第一单通道图像中的缺失像素的像素值；

处理模块，用于将所述第一单通道图像中的缺失像素的像素值添加到所述第一单通道图像中，得到所述第一原始图像对应的目标图像。

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块，具体用于：

针对每个颜色通道对应的第一单通道图像进行以下处理：

将当前颜色通道对应的第一单通道图像划分为至少两个图像块；

遍历当前颜色通道对应的第一单通道图像中的各个图像块，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块；

根据所述第一图像块的位置与所述第一目标图像块的位置，确定所述第一图像块的运动偏移量。

9.根据权利要求8所述的装置，其特征在于，所述遍历当前颜色通道对应的第一单通道图像中的各个图像块，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块，包括：

基于所述当前颜色通道对应的第一单通道图像中的各个图像块，建立高斯金字塔分解模型；

从所述高斯金字塔分解模型的顶层开始遍历所述当前颜色通道对应的第一单通道图像中的各个图像块，在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块。

10.根据权利要求9所述的装置，其特征在于，所述在所述当前颜色通道对应的第二单通道图像中查找出与当前遍历到的第一图像块相似度最大的第一目标图像块，包括：

计算所述第一图像块的像素值与所述第二单通道图像中的各个图像块的像素值的SAD值；

将所述第二单通道图像中计算出的最小SAD值对应的图像块确定为所述第一目标图像块。

11.根据权利要求10所述的装置，其特征在于，所述第二确定模块，具体包括：

查找模块，用于根据所述第一单通道图像中的各个图像块的运动偏移量，在所述第一单通道图像中确定第二图像块，所述第二图像块与所述第二图像块在所述第二单通道图像中对应的第二目标图像块的相似度，均大于所述第一单通道图像中的剩余图像块与所述剩余图像块在所述第二单通道图像中对应的目标图像块的相似度；

选取模块，用于基于所述第二图像块，在所述第一单通道图像中选取n个图像块，n≥2；

拟合模块，用于基于所述n个图像块与所述n个图像块对应的目标图像块之间的运动偏移量，进行二次曲面拟合，得到所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量。

12.根据权利要求7至11任一项所述的装置，其特征在于，所述第三确定模块，具体包括：

第一计算模块，用于基于所述第一单通道图像中的亚像素与所述第一单通道图像中的缺失像素之间的运动偏移量，利用各向异性径向函数计算所述第二单通道图像中的各个像素相对于对所述缺失像素的权重；

第二计算模块，用于基于所述权重与所述第二单通道图像中各个像素的像素值，计算所述缺失像素的像素值。

13.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的图像处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的图像处理方法。

Images