CN111711766B - 图像处理方法及装置、终端和计算机可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法。包括：获取第一图像，第一图像包括多个像素单元，像素单元包括彩色像素和全色像素；根据第一图像中像素单元中彩色像素的像素值确定第一像素值，并根据第一像素值生成第二图像；根据像素单元中彩色像素和全色像素的像素值确定第二像素值，并根据第二像素值生成第三图像；及基于中值滤波算法，融合第二图像和第三图像以生成第四图像。本申请还公开一种图像处理装置、非易失性计算机可读存储介质和计算机设备。通过融合仅由彩色像素形成的第二图像和同时包含彩色像素和全色像素的第三图像，使得融合后的第四图像在暗光下获取的光量和信噪比均提升，提高了成像效果。

Description

图像处理方法及装置、终端和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。

背景技术

相机一般使用拜尔阵列，拜耳阵列模拟人眼对色彩的敏感程度，采用1红2绿1蓝的排列方式将灰度信息转换成彩色信息，然而，拜尔阵列的每个像素仅能允许一种颜色的光线进入，获取的光量较少，导致暗光下的成像效果较差。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。

本申请实施方式的图像处理方法包括获取第一图像，所述第一图像包括多个像素单元，所述像素单元包括彩色像素和全色像素；根据所述第一图像中所述像素单元中所述彩色像素的像素值确定第一像素值，并根据所述第一像素值生成第二图像；根据所述像素单元中所述彩色像素和所述全色像素的像素值确定第二像素值，并根据所述第二像素值生成第三图像；及基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像。

本申请实施方式的图像处理装置包括第一生成模块、第二生成模块和融合模块。所述第一生成模块用于根据第一图像中每个像素单元中彩色像素的像素值确定第一像素值，并根据所述第一像素值生成第二图像；所述第二生成模块用于根据每个所述像素单元中彩色像素值和全色像素的像素值确定第二像素值，并根据所述第二像素值生成第三图像，所述全色像素包括白色像素；所述融合模块用于基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像。

本申请实施方式的终端包括壳体、相机和处理器，所述相机和处理器设置在所述壳体内，所述相机用于拍摄图像，所述处理器用于执行图像处理方法。所述图像处理方法包括：获取第一图像，所述第一图像包括多个像素单元，所述像素单元包括彩色像素和全色像素；根据所述第一图像中所述像素单元中所述彩色像素的像素值确定第一像素值，并根据所述第一像素值生成第二图像；根据所述像素单元中所述彩色像素和所述全色像素的像素值确定第二像素值，并根据所述第二像素值生成第三图像；及基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像。

本申本申请实施方式的请实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法。所述图像处理方法包括：获取第一图像，所述第一图像包括多个像素单元，所述像素单元包括彩色像素和全色像素；根据所述第一图像中所述像素单元中所述彩色像素的像素值确定第一像素值，并根据所述第一像素值生成第二图像；根据所述像素单元中所述彩色像素和所述全色像素的像素值确定第二像素值，并根据所述第二像素值生成第三图像；及基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像。

本申请实施方式的图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质通过融合仅由彩色像素合成的第二图像和由彩色像素和全色像素合成的第三图像，由于相较于光谱响应较窄的彩色像素而言，全色像素具有更宽的光谱响应，全色像素能够获取的光信号较多，使得第二图像和第三图像融合得到的第四图像在暗光下的成像效果较好，且基于中值滤波后得到的第四图像的信噪比也得到了提升，进一步提高了成像效果。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的模块示意图。

图3是本申请某些实施方式的终端的结构示意图。

图4a是本申请某些实施方式的像素阵列的平面示意图。

图4b是本申请某些实施方式的像素阵列的最小重复单元的平面示意图。

图5a是本申请某些实施方式的像素阵列的平面示意图。

图5b是本申请某些实施方式的像素阵列的最小重复单元的平面示意图。

图6是本申请某些实施方式的第一图像的部分像素的平面示意图。

图7是本申请某些实施方式的第二图像的部分像素的平面示意图。

图8是本申请某些实施方式的第三图像的部分像素的平面示意图。

图9是本申请某些实施方式的图像处理方法的流程示意图。

图10是本申请某些实施方式的图像处理方法的流程示意图。

图11是本申请某些实施方式的第五图像的部分像素的平面示意图。

图12是本申请某些实施方式的图像处理方法的流程示意图。

图13是本申请某些实施方式的第四图像的部分像素的平面示意图。

图14是本申请某些实施方式的滤波像素框的填充示意图。

图15是本申请某些实施方式的筛选后的滤波像素框的平面示意图。

图16是本申请某些实施方式的图像处理方法的流程示意图。

图17是本申请某些实施方式的图像处理方法的流程示意图。

图18是本申请某些实施方式的可读存储介质与处理器的连接示意图。

图19是本申请某些实施方式的图像处理电路的模块示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参阅图1，本申请实施方式的图像处理方法包括以下步骤：

011：获取第一图像，第一图像包括多个像素单元，像素单元包括彩色像素和全色像素；

012：根据第一图像中像素单元中彩色像素的像素值确定第一像素值，并根据第一像素值生成第二图像；

013：根据像素单元中彩色像素和全色像素的像素值确定第二像素值，并根据第二像素值生成第三图像；及

014：基于中值滤波算法，融合第二图像和第三图像以生成第四图像。

请结合图2，本申请实施方式的图像处理装置10包括获取模块11、第一生成模块12、第二生成模块13和融合模块14。获取模块11、第一生成模块12、第二生成模块13和融合模块14分别用于执行步骤011、步骤012、步骤013和步骤014。即，获取模块11用于获取第一图像，第一图像包括多个像素单元，像素单元包括彩色像素和全色像素；第一生成模块12用于根据第一图像中像素单元中彩色像素的像素值确定第一像素值，并根据第一像素值生成第二图像；第二生成模块13用于根据像素单元中彩色像素和全色像素的像素值确定第二像素值，并根据第二像素值生成第三图像；融合模块14用于基于中值滤波算法，融合第二图像和第三图像以生成第四图像。

请结合图3，本申请实施方式的终端100包括壳体10、相机20和处理器30。相机20和处理器30设置在壳体10内，相机20用于拍摄图像，处理器30用于执行步骤011、步骤012、步骤013和步骤014。即，处理器30用于获取第一图像，第一图像包括多个像素单元，像素单元包括彩色像素和全色像素；根据第一图像中像素单元中彩色像素的像素值确定第一像素值，并根据第一像素值生成第二图像；根据像素单元中彩色像素和全色像素的像素值确定第二像素值，并根据第二像素值生成第三图像；及基于中值滤波算法，融合第二图像和第三图像以生成第四图像。

终端100包括手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等，可以理解，终端100还可以是其他任意图像处理功能的装置。下面以终端100为手机进行说明，但终端100不限于手机。壳体10还可用于安装终端100的供电装置、通信装置等功能模块，以使壳体10为功能模块提供防尘、防摔、防水等保护。

相机20可以是前置相机、后置相机、侧置相机、屏下相机等，在此不做限制。相机20包括镜头及图像传感器，相机20在拍摄图像时，光线穿过镜头并到达图像传感器，图像传感器用于将照射到图像传感器上的光信号转化为电信号。

在本申请图4a及图4b所示的实施例中，图像传感器包括像素阵列(如图4a所示部分像素阵列示意图)，像素阵列可以由多个最小重复单元(如图4b所示)排列而成，每个最小重复单元包括全色像素及彩色像素。其中，彩色像素具有比全色像素更窄的光谱响应。例如，彩色像素的响应光谱为全色像素的响应光谱中的部分，又例如，彩色像素的响应光谱为某种颜色的可见光所在的光谱，全色像素的响应光谱为整个可见光所在的光谱。

每个最小重复单元可以具有多个不同颜色的彩色像素，每个最小重复单元中的彩色像素包括颜色a、颜色b和/或颜色c，如图4b所示的例子中，最小重复单元中的彩色像素包括颜色a、颜色b和颜色c，例如颜色a为红色，颜色b为绿色，颜色c为蓝色，或者例如颜色a为品红色，颜色b为青色，颜色c为黄色等，在此不做限制。多个不同颜色的彩色像素的光谱可以不交叉或者有部分交叉。在其他实施方式中，最小重复单元中的彩色像素包括颜色a、颜色b或颜色c；或者，最小重复单元中的彩色像素包括颜色a和颜色b；或者，最小重复单元中的彩色像素包括颜色b和颜色c；或者，最小重复单元中的彩色像素包括颜色a和颜色c；例如颜色a可为红色，颜色b可为绿色，颜色c可为蓝色。

图4a及图4b中的颜色w可以指全色像素的颜色，例如为白色。全色像素的数量可以大于任意一种颜色的彩色像素的数量，由于全色像素具有比彩色像素更宽的光谱响应，故全色像素能够接收的光信号更多，在暗光环境下也能获取到较多的光信号，有利于提升暗光环境的拍摄效果，且设置较多的全色像素能够更真实地反应被拍摄场景的亮度。全色像素的数量与彩色像素的数量之间的比例可以是1：1(如图4a和图4b)、1：2或1：3(如图5a和5b)等数值，在此不做限制。

另外，图像传感器上像素阵列的排布方式并不限于图4a及图4b所示的图案，还可以是任意由全色像素与彩色像素排列成的图案，如图5a所示的部分像素阵列的示意图，及如图5b所示的最小重复单元的示意图。

具体地，终端100的相机20拍摄并得到原始图像，处理器30获取原始图像，该图像可作为第一图像，原始图像可以是图像传感器采集的raw图，原始图像中包括所有像素(彩色像素和全色像素)的像素值。

根据图像传感器的像素阵列的排布，如图6所示的第一图像P1的部分像素示意图，第一图像P1包含多个像素单元Z1，每个像素单元Z1对应一个最小重复单元，像素单元Z1中每个像素对应的颜色和最小重复单元(如图4b)中对应的像素的颜色相同，也即是说，像素单元Z1也包括全色像素和彩色像素，彩色像素包括红色像素、绿色像素和/或蓝色像素，全色像素包括白色像素。如图6，像素单元Z1包括R1像素、G1像素、B1像素和W像素，其中，R1、G1、B1为彩色像素(如R1为红色像素、G1为绿色像素、B1为蓝色像素)，W为全色像素(如W为白色像素)。像素单元Z1可分为四个像素子单元a1，每个像素子单元a1也可均包含彩色像素和全色像素，彩色像素同样可以包括红色像素、绿色像素和/或蓝色像素，全色像素可包括白色像素。处理器30将第一图像P1中每个像素子单元a1中相对的两个相同颜色的彩色像素合成为一个像素，得到第二图像P2，如图7所示，将像素子单元a1中相对的两个R1像素合成为一个R2像素，将像素子单元a1中相对的两个G1像素合成为一个G2像素，将像素子单元a1中相对的两个B1像素合成为一个B2像素，从而根据第一图像P1的一个像素单元Z1确定第二图像P2的一个像素单元Z2。然后依次对第一图像P1中所有像素单元Z1进行合成，从而确定第二图像P2的所有像素单元Z2，以生成第二图像P2。

其中，R2像素、G2像素和B2像素的像素值即为第一像素值，第一像素值可根据像素子单元a1中相对的两个相同颜色的彩色像素的像素值的和或平均值确定，即，R2像素的像素值可以是两个R1像素的和或平均值，G2像素的像素值可以是对应的两个G1像素的和或平均值，B2像素的像素值可以是两个B1像素的和或平均值。如此，图像传感器能够计算得到第二图像P2的每个像素的第一像素值以生成第二图像P2。

处理器30再将第一图像P1中每个像素子单元a1中彩色像素和全色图像合成为一个像素，得到第三图像P3，如图8所示，将两个R1像素和两个W像素合成为一个R3像素，将两个G1像素和两个W像素合成为一个G3像素，将两个B1像素和两个W像素合成为一个B3像素，从而根据第一图像P1的一个像素单元Z1确定第三图像P3的一个像素单元Z3。

其中，R3像素、G3像素和B3像素的像素值即为第二像素值，第二像素值可根据每个像素子单元a1中的彩色像素和全色像素的像素值确定。

第二像素值的确定方式具体可以是：在第一像素值根据每个像素子单元a1中的彩色像素的像素值的和确定时，确定每个像素子单元a1中的彩色像素的像素值的和的第一平均值、及全色像素的像素值的和的第二平均值，并根据第一平均值和第二平均值的和确定第二像素值；或根据每个像素子单元a1中的所有彩色像素的像素值和全色像素的像素值的和确定第二像素值。即，R3像素的像素值可以是两个R1像素的像素平均值与两个W像素的像素平均值的和，G3像素的像素值可以是两个G1像素的像素平均值与两个W像素的像素平均值的和，B3像素的像素值可以是两个B1像素的像素平均值与两个W像素的像素平均值的和；或者，R3像素的像素值可以是两个R1像素加两个W像素共四个像素的像素值的和，G3像素的像素值可以是两个G1像素加两个W像素共四个像素的像素值的和，B3像素的像素值可以是两个B1像素加两个W像素共四个像素的像素值的和。

第二像素值的确定方式具体还可以是：在第一像素值根据每个像素子单元a1中的彩色像素的像素值的平均值确定时，确定每个像素子单元a1中的彩色像素的像素值的和的第一平均值、及全色像素的像素值的和的第二平均值，并根据第一平均值和第二平均值的和确定第二像素值；或根据每个像素子单元a1中的所有彩色像素的像素值和全色像素的像素值的平均值确定第二像素值。即，R3像素的像素值可以是两个R1像素的像素平均值与两个W像素的像素平均值的和，G3像素的像素值可以是两个G1像素的像素平均值与两个W像素的像素平均值的和，B3像素的像素值可以是两个B1像素的像素平均值与两个W像素的像素平均值的和；或者，R3像素的像素值可以是两个R1像素加两个W像素共四个像素的像素值的像素平均值，G3像素的像素值可以是两个G1像素加两个W像素共四个像素的像素值的像素平均值，B3像素的像素值可以是两个B1像素加两个W像素共四个像素的像素值的像素平均值。

如此，第二像素值的确定方式和第一像素值的确定方式关联，方便后续对第二图像和第三图像的融合计算。

每个像素子单元a1的彩色像素和全色像素能够合成第三图像P3中的一个像素，且合成后的第三图像P3中的每个像素的第三像素值根据对应的像素子单元a1的彩色像素和全色像素的像素值即可计算得到，处理器30根据每个像素子单元a1对应的第三像素值即可生成第三图像P3。

然后处理器30基于中值滤波算法，融合第二图像P2和第三图像P3以生成第四图像。融合时，可以先对第二图像P2和第三图像P3进行中值滤波，再融合进行中值滤波后的第二图像P2和第三图像P3；或者，先将第二图像P2和第三图像P3合成为一个新的图像，再对该图像进行中值滤波以生成第四图像。中值滤波的灵活性较强，且经过中值滤波的图像的信噪比得到明显提升。

本申请实施方式的图像处理方法、图像处理装置10和终端100通过融合仅由彩色像素合成的第二图像P2和由彩色像素和全色像素合成的第三图像P3，由于相较于光谱响应较窄的彩色像素而言，全色像素具有更宽的光谱响应，全色像素能够获取的光信号较多，使得第二图像P2和第三图像P3融合得到的第四图像在暗光下的成像效果较好，且基于中值滤波后得到的第四图像的信噪比也得到了提升，进一步提高了成像效果。

请参阅图9，在某些实施方式中，在步骤014之前，图像处理方法还包括以下步骤：

015：对第二图像和第三图像进行双边平滑滤波；

步骤014包括：

0141：基于中值滤波算法，融合进行双边平滑滤波后的第二图像和第三图像以生成第四图像。

请再次参阅图2，在某些实施方式中，图像处理装置10还包括滤波模块15。滤波模块15用于执行步骤015，融合模块14还用于执行步骤0141。即，滤波模块15用于对第二图像和第三图像进行双边平滑滤波。融合模块14还用于基于中值滤波算法，融合进行双边平滑滤波后的第二图像和第三图像以生成第四图像。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤015和步骤0141。即，处理器30用于对第二图像和第三图像进行双边平滑滤波、及基于中值滤波算法，融合进行双边平滑滤波后的第二图像和第三图像以生成第四图像。

具体的，处理器30可以在融合第二图像和第三图像之前，可对第二图像和第三图像进行双边平滑滤波；双边平滑滤波可根据如下公式进行：

其中，∩表示一个局部窗口，可以是3乘3的，q表示坐标位置，Iq表示滤波前窗口内的像素值，f表示3乘3窗口每个坐标点的权重，是固定的，越靠近中心权重越大。g表示其他位置的像素与中心像素差异的权重，差异越大，权重越小。不同颜色的像素的双边滤波基本类似，依据上述公式对第二图像和第三图像的进行双边滤波，如此，经过双边滤波后的第二图像和第三图像具有更高的信噪比，平坦区变得更平坦，边缘区变得更加锐利，从而提高融合双边平滑滤波后的第二图像和第三图像后得到的第四图像的信噪比。

请参阅图10，在某些实施方式中，步骤014还包括以下步骤：

0142：根据第二图像和第三图像确定第五图像；

0143：对第五图像进行中值滤波以生成第四图像。

请再次参阅图2，在某些实施方式中，融合模块14还用于执行步骤0142和步骤0143。即，融合模块14还用于根据第二图像和第三图像确定第五图像、及对第五图像进行中值滤波以生成第四图像。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤0142和步骤0143。即，处理器30还用于根据第二图像和第三图像确定第五图像、及对第五图像进行中值滤波以生成第四图像。

具体的，处理器30能够将第二图像和第三图像合成为第五图像，例如，通过对图7的第二图像P2和图8的第三图像P3中每个位置对应的像素进行融合得到第五图像P5中对应位置的像素，融合方式可以是将第二图像P2和第三图像P3中每个位置对应的像素值的比值作为第五图像P5中对应位置的像素的像素值，如第二图像P2、第三图像P3和第五图像P5均以左上角的为坐标原点O(0,0)建立相同的坐标系(如图11所示，X轴的正方向为从坐标原点O(0,0)沿水平方向朝像素所在的方向延伸的方向，Y轴的正方向为从坐标原点O(0,0)沿垂直方向朝像素所在的方向延伸的方向)，每个像素的长度为1，则坐标相同的像素即为相对应的像素，如第二图像P2、第三图像P3和第五图像P5中坐标相同的的像素相对应，从而分别得到第五图像P5中每个位置的像素的像素值(如R5＝R2/R3,G5＝G2/G3,B5＝B2/B3)，第五图像以确定第五图像P5，然后对第五图像P5进行中值滤波即可生成第四图像。第四图像融合了第二图像和第三图像，并经过了中值滤波，不仅在暗光下的成像效果较好，且基于中值滤波后得到的第四图像的信噪比也得到了提升，进一步提高了成像效果。

请参阅图11和图12，在某些实施方式中，步骤0142包括以下步骤：

01421：以滤波像素框S1框选第五图像P5中的目标像素D，目标像素D为滤波像素框S1的中心像素；

01422：筛选滤波像素框S1中与目标像素D的位置对应、且与目标像素D的像素值的差值小于预定差值的滤波像素F，预定差值根据目标像素的像素值确定；

01423：根据滤波像素F的像素值确定第三像素值，以作为目标像素D的像素值；及

01424：根据第三像素值生成第四图像。

请再次参阅图2，在某些实施方式中，融合模块14还用于执行步骤01421、步骤01422、步骤01423和步骤01424。即，融合模块14用于以滤波像素框框选第五图像中的目标像素，目标像素为滤波像素框的中心像素；筛选滤波像素框中与目标像素的位置对应、且与目标像素的像素值的差值小于预定差值的滤波像素，预定差值根据目标像素的像素值确定；根据滤波像素的像素值确定第三像素值，以作为目标像素的像素值；及根据第三像素值生成第四图像。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤01421、步骤01422、步骤01423和步骤01424。即，处理器30用于以滤波像素框框选第五图像中的目标像素，目标像素为滤波像素框的中心像素；筛选滤波像素框中与目标像素的位置对应、且与目标像素的像素值的差值小于预定差值的滤波像素，预定差值根据目标像素的像素值确定；根据滤波像素的像素值确定第三像素值，以作为目标像素的像素值；及根据第三像素值生成第四图像。

具体的，如图11所示的第五图像P5的部分像素示意图和图13所示的第四图像P4的部分像素示意图，在对第五图像P5进行中值滤波时，首先以预定的滤波像素框S框选第五图像P5中的目标像素D，目标像素D为滤波像素框S的中心像素，即，目标像素D位于滤波像素框S的中心，初始时，目标像素D为第五图像P5中坐标为(1,1)位置的像素，然后在对该位置完成中值滤波以输出第四图像P4中位于坐标(1,1)位置的像素的第三像素值后，滤波像素框的中心像素移动到下一个目标像素D(即，坐标(1,2)位置的像素)，以完成第四图像P4中坐标为(1,2)的像素的第三像素值的确定，可以理解，为方便计算，第四图像P4的坐标系可与第五图像P5的坐标系相同。从而依次完成第四图像P4中所有像素的第三像素值的确定。

滤波像素框S可以是5*5的像素框，还可以是9*9等更大规格的像素框，随着像素框中的像素数量的增多，每个滤波像素框S进行中值滤波以输出第四图像P4中与目标像素D对应的像素的第三像素值时的滤波效果更好。滤波像素框S可以是正方形，还可以是其他合适的形状如长方形，甚至是多个大小不同的矩形组合而成的图形等，在此不做限制。可以理解，上述5*5、9*9是以像素为单位的，即，5*5表示该滤波像素框的大小为5像素*5像素，9*9表示该滤波像素框的大小为9像素*9像素。

如图11所示，目标像素D位于坐标为(1,1)、(1,2)、(2,1)等位置时，滤波像素框S只能框选第五图像P5的一部分，即，滤波像素框S和第五图像P5存在重合部分和不重合部分，此时需要将该不重合部分填充完整以完成中值滤波，例如，可通过重合部分填充非重合部分，具体可以以滤波像素框S的水平中心轴线L1和垂直中心轴线L2作为对称轴，利用与非重合部分对称的重合部分进行补齐，以图14为例，首先将与非重合部分F1对应的重合部分C1沿水平中心轴线L1对称复制到非重合部分S1中，然后再沿垂直中心轴线L2将与非重合部分F2对应的部分对称复制到非重合部分S2中，从而将滤波像素框S填充完整。其中，对称复制指的是将每个像素复制到沿对应的中心轴线对称的位置上。当然，在其他实施方式中，还可通过重合部分的平均像素值生成填充像素，从而将填充像素填充满整个滤波像素框S。

然后，对滤波像素框S中的像素进行筛选，将滤波像素框S中与目标像素D位置对应，且与目标像素的像素值的差值小于预定差值的像素确定为滤波像素M。

预定差值根据目标像素D的像素值确定，如目标像素D的像素值为n，则预定差值可以是的1/4n、1/3n、

等，可根据具体地滤波需求确定。

例如，滤波像素框S中与目标像素D位置对应的像素指的是，滤波像素框S中与目标像素D在对应的像素单元的位置相同的像素，如像素单元的排列为拜耳阵列，则目标像素D位于的左上角时，与目标像素D的位置对应的像素也位于对应的像素单元的左上角，从而选出与目标像素D的颜色相同且像素值的差值小于预定差值的滤波像素M，提高中值滤波的准确性，可以理解，由于滤波像素M与目标像素D位置对应，因此上述对波像素框S中的非重合部分的填充过程中，可仅填充滤波像素M即可，从而减少计算量。例如，如图15所示，目标像素D为如图14所示的坐标(1,1)的像素时，则可确定滤波像素框S中与目标像素D对应的滤波像素M为R5像素。

在确定滤波像素M后，处理器30根据滤波像素M即可确定第四图像P4中与目标像素D对应的像素的第三像素值，例如处理器30按滤波像素M的像素值进行排序以确定中间像素值，然后根据该中间像素值即可计算得到对应的第三像素值，从而完成中值滤波，准确地输出第三像素值，该第三像素值即为第四图中P4中与目标像素D对应的位置的像素的像素值。

通过上述过程，处理器30通过滤波像素框S依次对第五图像P5中的每个像素进行中值滤波以输出对应的第三像素值，从而根据第三像素值生成第四图像P4，经过中值滤波后得到的第四图像的信噪比较高。

请参阅图16，在某些实施方式中，步骤01423包括以下步骤：

01425：按滤波像素的像素值进行排序以确定中间像素值；

01426：确定第三图像中与目标像素位置对应的像素的第四像素值；及

01427：根据中间像素值和第四像素值确定第三像素值。

请再次参阅图2，在某些实施方式中，融合模块14还用于执行步骤01425、步骤01426和步骤01427。即，融合模块14还用于按滤波像素的像素值进行排序以确定中间像素值；确定第三图像中与目标像素位置对应的像素的第四像素值；及根据中间像素值和第四像素值确定第三像素值。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤01425、步骤01426和步骤01427。即，处理器30还用于按滤波像素的像素值进行排序以确定中间像素值；确定第三图像中与目标像素位置对应的像素的第四像素值；及根据中间像素值和第四像素值确定第三像素值。

具体地，在确定中间像素值时，处理器30先按照滤波像素的像素值进行排序，当筛选后滤波像素的个数为奇数时，将排序后的多个滤波像素中位于中间位置的滤波像素作为中间像素值，当滤波像素的个数为偶数时，将排序后的多个滤波像素中位于中间位置附近的两个滤波像素的平均值作为中间像素值，然后确定第三图像中与目标像素位置对应的像素的第四像素值。处理器30根据该中间像素值和第四像素值即可计算得到第三像素值，例如，第三像素值为中间像素值和第四像素值的乘积。从而快速确定第三像素值。

请参阅图17，在某些实施方式中，步骤014还包括：

0144：对第二图像和第三图像进行中值滤波；及

0145：根据中值滤波后的第二图像和第三图像生成第四图像。

请再次参阅图2，在某些实施方式中，融合模块14还用于执行步骤0144和步骤0145。即，融合模块14还用于对第二图像和第三图像进行中值滤波；根据中值滤波后的第二图像和第三图像生成第四图像。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤0144和步骤0145。即，处理器30还用于对第二图像和第三图像进行中值滤波；根据中值滤波后的第二图像和第三图像生成第四图像。

具体地，中值滤波的过程也可以提前进行，即，处理器30先对第二图像和第三图像进行中值滤波，再进行第二图像和第三图像的融合。在分别对第二图像和第三图像进行中值滤波时，依旧以预定的滤波像素框进行框选，根据填充并筛选后得到的滤波像素，即可计算得到中值滤波后的第二图像和第三图像中每个像素的像素值，从而完成对第二图像和第三图像的中值滤波。具体的中值滤波过程与上述对第五图像的中值滤波过程类似，在此不再赘述。如此，中值滤波的灵活性较强，且经过中值滤波的图像的信噪比得到明显提升。

请参阅图18，本申请实施例还提供了一种非易失性计算机可读存储介质200。一个或多个包含计算机可执行指令201的非易失性计算机可读存储介质200中，当计算机可执行指令201被一个或多个处理器300执行时，使得处理器300执行以下步骤：

011：获取第一图像，第一图像包括多个像素单元，像素单元包括彩色像素和全色像素；

012：根据第一图像中像素单元中彩色像素的像素值确定第一像素值，并根据第一像素值生成第二图像；

013：根据像素单元中彩色像素和全色像素的像素值确定第二像素值，并根据第二像素值生成第三图像；及

014：基于中值滤波算法，融合第二图像和第三图像以生成第四图像。

进一步地，当计算机可执行指令201被一个或多个处理器300执行时，处理器300还可以执行以下步骤：

0142：根据第二图像和第三图像确定第五图像；

0143：对第五图像进行中值滤波以生成第四图像。

请参阅图19，本申请实施例处理器30可以是图像处理电路80，图像处理电路80可利用硬件和/或软件组件实现，包括定义ISP(ImageSignalProcessing，图像信号处理)管线的各种处理单元。图19为一个实施例中图像处理电路800的示意图。如图19所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图19所示，图像处理电路80包括ISP处理器81和控制逻辑器82。相机83捕捉的图像数据首先由ISP处理器81处理，ISP处理器81对图像数据进行分析以捕捉可用于确定相机83的一个或多个控制参数的图像统计信息。相机83可包括一个或多个透镜832和图像传感器834。图像传感器834可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器834可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器81处理的一组原始图像数据。传感器84(如陀螺仪)可基于传感器84接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器81。传感器84接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器834也可将原始图像数据发送给传感器84，传感器84可基于传感器84接口类型把原始图像数据提供给ISP处理器81，或者传感器84将原始图像数据存储到图像存储器85中。

ISP处理器81按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器81可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器81还可从图像存储器85接收图像数据。例如，传感器84接口将原始图像数据发送给图像存储器85，图像存储器85中的原始图像数据再提供给ISP处理器81以供处理。图像存储器85可为存储器53、存储器53的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器834接口或来自传感器84接口或来自图像存储器85的原始图像数据时，ISP处理器81可进行一个或多个图像处理操作，如中值滤波、双边平滑滤波等。处理后的图像数据可发送给图像存储器85，以便在被显示之前进行另外的处理。ISP处理器81从图像存储器85接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器81处理后的图像数据可输出给显示器87(显示器87可包括显示屏55)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器81的输出还可发送给图像存储器85，且显示器87可从图像存储器85读取图像数据。在一个实施例中，图像存储器85可被配置为实现一个或多个帧缓冲器。此外，ISP处理器81的输出可发送给编码器/解码器86，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器87设备上之前解压缩。编码器/解码器86可由CPU或GPU或协处理器实现。

ISP处理器81确定的统计数据可发送给控制逻辑器82单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜832阴影校正等图像传感器834统计信息。控制逻辑器82可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定相机83的控制参数及ISP处理器81的控制参数。例如，相机83的控制参数可包括传感器84控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜832控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜832阴影校正参数。

以下为运用图像处理电路80(具体为ISP处理器81)实现图像处理方法的步骤：

011：获取第一图像，第一图像包括多个像素单元，像素单元包括彩色像素和全色像素；

012：根据第一图像中像素单元中彩色像素的像素值确定第一像素值，并根据第一像素值生成第二图像；

013：根据像素单元中彩色像素和全色像素的像素值确定第二像素值，并根据第二像素值生成第三图像；及

014：基于中值滤波算法，融合第二图像和第三图像以生成第四图像。

进一步地，运用图像处理电路80(具体为ISP处理器81)还可以执行以下步骤：

0142：根据第二图像和第三图像确定第五图像；

0143：对第五图像进行中值滤波以生成第四图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取第一图像，所述第一图像包括多个像素单元，所述像素单元包括多种颜色的彩色像素和全色像素，所述像素单元包括多个像素子单元，所述像素子单元包括同一颜色的所述彩色像素和所述全色像素；

根据所述第一图像中所述像素子单元中所述彩色像素的像素值确定第一像素值，并根据所述第一像素值生成第二图像；

根据所述像素子单元中所述彩色像素和所述全色像素的像素值确定第二像素值，并根据所述第二像素值生成第三图像；及

基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一图像中所述像素子单元中所述彩色像素的像素值确定第一像素值，包括：

根据每个所述像素子单元中的所述彩色像素的像素值的和或平均值确定所述第一像素值。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述像素子单元中所述彩色像素和所述全色像素的像素值确定第二像素值，包括：

在所述第一像素值根据每个所述像素子单元中的所述彩色像素的像素值的和确定时，

确定每个所述像素子单元中的所述彩色像素的像素值的和的第一平均值、及所述全色像素的像素值的和的第二平均值，并根据所述第一平均值和第二平均值的和确定所述第二像素值；或

根据每个所述像素子单元中的所有所述彩色像素的像素值和所述全色像素的像素值的和确定所述第二像素值。

4.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述像素子单元中彩色像素值和全色像素的像素值确定第二像素值，包括：

在所述第一像素值根据每个所述像素子单元中的所述彩色像素的像素值的平均值确定时，

确定每个所述像素子单元中的所述彩色像素的像素值的和的第一平均值、与所述全色像素的像素值的和的第二平均值，并根据所述第一平均值和第二平均值的和确定所述第二像素值；或

根据每个所述像素子单元中的所有所述彩色像素的像素值和所述全色像素的像素值的平均值确定所述第二像素值。

5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，所述彩色像素包括红色像素、绿色像素和/或蓝色像素，所述全色像素包括白色像素。

6.根据权利要求1所述的图像处理方法，其特征在于，在所述基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像之前，还包括：

对所述第二图像和所述第三图像进行双边平滑滤波；

所述基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像，包括：

基于中值滤波算法，融合进行双边平滑滤波后的所述第二图像和所述第三图像以生成所述第四图像。

7.根据权利要求1所述的图像处理方法，其特征在于，所述基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像，包括：

根据所述第二图像和所述第三图像确定第五图像；

对所述第五图像进行中值滤波以生成所述第四图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述对所述第五图像进行中值滤波以生成所述第四图像，包括：

以滤波像素框框选所述第五图像中的目标像素，所述目标像素为所述滤波像素框的中心像素；

筛选所述滤波像素框中与所述目标像素的位置对应、且与所述目标像素的像素值的差值小于预定差值的滤波像素，所述预定差值根据所述目标像素的像素值确定；

根据所述滤波像素的像素值确定第三像素值，以作为所述目标像素的像素值；及

根据所述第三像素值生成所述第四图像。

9.根据权利要求8所述的图像处理方法，其特征在于，所述根据所述滤波像素的像素值确定第三像素值，包括：

按所述滤波像素的像素值进行排序以确定中间像素值；

确定所述第三图像中与所述目标像素位置对应的像素的第四像素值；及

根据所述中间像素值和所述第四像素值确定所述第三像素值。

10.根据权利要求1所述的图像处理方法，其特征在于，所述基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像，包括：

对所述第二图像和所述第三图像进行中值滤波；及

根据中值滤波后的所述第二图像和所述第三图像生成所述第四图像。

11.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，用于获取第一图像，所述第一图像包括多个像素单元，所述像素单元包括多种颜色的彩色像素和全色像素，所述像素单元包括多个像素子单元，所述像素子单元包括同一颜色的所述彩色像素和所述全色像素；

第一生成模块，用于根据所述第一图像中所述像素子单元中所述彩色像素的像素值确定第一像素值，并根据所述第一像素值生成第二图像；

第二生成模块，用于根据所述像素子单元中所述彩色像素和所述全色像素的像素值确定第二像素值，并根据所述第二像素值生成第三图像；及

融合模块，用于基于中值滤波算法，融合所述第二图像和所述第三图像以生成第四图像。

12.一种终端，其特征在于，所述终端包括壳体、相机和处理器，所述相机和处理器设置在所述壳体内，所述相机用于拍摄图像，所述处理器用于执行权利要求1至10任一项所述的图像处理方法。

13.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至10中任一项所述的图像处理方法。

Images