CN111711755B - 图像处理方法及装置、终端和计算机可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法。包括：处理原始图像以获取不同曝光时间的图像数据；基于高动态范围合成算法，合成不同曝光时间的图像数据以生成高动态范围图像；根据高动态范围图像获取第一融合图像和第二融合图像，第一融合图像根据彩色像素获得，第二融合图像根据彩色像素和全色像素获得；及融合第一融合图像和第二融合图像以生成最终图像。本申请还公开一种图像处理装置、终端和非易失性计算机可读存储介质。通过合成不同曝光时间的图像数据、并融合仅由彩色像素形成的第一融合图像和同时包含彩色像素和全色像素的第二融合图像，使得融合后的最终图像在暗光下获取的光量和信噪比均提升，成像效果较好。

Description

图像处理方法及装置、终端和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。

背景技术

相机一般使用拜尔阵列，拜尔阵列的每个像素仅能允许一种颜色的光线进入，在暗光下的进光量较少，而为了提高暗光下的成像亮度，目前一般会采用提高感光度的方式，然而，这会导致最终得到的图像噪点较多，成像质量较差。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。

本申请实施方式的图像处理方法用于处理由图像传感器采集的原始图像，所述图像传感器包括全色像素及彩色像素；所述图像处理方法包括处理所述原始图像以获取不同曝光时间的图像数据；基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述彩色像素获得，所述第二融合图像根据所述彩色像素和所述全色像素获得；及融合所述第一融合图像和所述第二融合图像以生成最终图像。

本申请实施方式的图像处理装置包括处理模块、合成模块、获取模块和融合模块。所述处理模块用于处理所述原始图像以获取不同曝光时间的图像数据；所述合成模块用于基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；所述获取模块用于根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述彩色像素获得，所述第二融合图像根据所述彩色像素和所述全色像素获得；所述融合模块用于融合所述第一融合图像和所述第二融合图像以生成最终图像。

本申请实施方式的终端包括图像传感器和处理器，所述图像传感器包括全色像素及彩色像素，所述图像传感器用于采集原始图像；所述处理器用于：处理所述原始图像以获取不同曝光时间的图像数据；基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述彩色像素获得，所述第二融合图像根据所述彩色像素和所述全色像素获得；及融合所述第一融合图像和所述第二融合图像以生成最终图像。

本申本申请实施方式的请实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法。所述图像处理方法包括：处理所述原始图像以获取不同曝光时间的图像数据；基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述彩色像素获得，所述第二融合图像根据所述彩色像素和所述全色像素获得；及融合所述第一融合图像和所述第二融合图像以生成最终图像。

本申请实施方式的图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质通过合成不同曝光时间的图像数据生成高动态范围图像，以提高暗光下的光量和成像效果，然后融合仅由彩色像素形成的第一融合图像和同时包含彩色像素和全色像素的第二融合图像，使得融合后的最终图像在暗光下获取的光量和信噪比均提升，成像效果较好。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的模块示意图。

图3是本申请某些实施方式的终端的结构示意图。

图4a是本申请某些实施方式的图像传感器的部分像素阵列的平面示意图。

图4b是本申请某些实施方式的像素阵列的最小重复单元的平面示意图。

图5a是本申请某些实施方式的图像传感器的部分像素阵列的平面示意图。

图5b是本申请某些实施方式的像素阵列的最小重复单元的平面示意图。

图6是本申请某些实施方式的高动态范围图像的部分像素的平面示意图。

图7是本申请某些实施方式的图像处理方法的流程示意图。

图8是本申请某些实施方式的图像传感器输出的图像数据的示意图。

图9是本申请某些实施方式的图像处理方法的流程示意图。

图10是本申请某些实施方式的图像传感器输出的图像数据的示意图。

图11是本申请某些实施方式的图像处理方法的流程示意图。

图12是本申请某些实施方式的第一融合图像的部分像素的平面示意图。

图13是本申请某些实施方式的第二融合图像的部分像素的平面示意图。

图14是本申请某些实施方式的第三融合图像的部分像素的平面示意图。

图15是本申请某些实施方式的最终图像的部分像素的平面示意图。

图16是本申请某些实施方式的滤波像素框的填充示意图。

图17是本申请某些实施方式的筛选后的滤波像素框的平面示意图。

图18是本申请某些实施方式的可读存储介质与处理器的连接示意图。

图19是本申请某些实施方式的图像处理电路的模块示意图。

图20是本申请某些实施方式的图像处理方法的管道流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参阅图1，本申请实施方式的图像处理方法包括以下步骤：

011：处理原始图像以获取不同曝光时间的图像数据；

012：基于高动态范围合成算法，合成不同曝光时间的图像数据以生成高动态范围图像(High-Dynamic Range，HDR)；

013：根据高动态范围图像获取第一融合图像和第二融合图像，第一融合图像根据彩色像素获得，第二融合图像根据彩色像素和全色像素获得；及

014：融合第一融合图像和第二融合图像以生成最终图像。

请结合图2，本申请实施方式的图像处理装置10包括处理模块11、合成模块12、获取模块13和融合模块14。处理模块11、合成模块12、获取模块13和融合模块14分别用于执行步骤011、步骤012、步骤013和步骤014。即，处理模块11用于处理原始图像以获取不同曝光时间的图像数据；合成模块12用于基于高动态范围合成算法，合成不同曝光时间的图像数据以生成高动态范围图像；获取模块13用于根据高动态范围图像获取第一融合图像和第二融合图像，第一融合图像根据彩色像素获得，第二融合图像根据彩色像素和全色像素获得；融合模块14用于融合第一融合图像和第二融合图像以生成最终图像。

请结合图3，本申请实施方式的终端100包括壳体10、相机20和处理器30。相机20和处理器30设置在壳体10内，相机20用于拍摄图像，相机20包括图像传感器21，图像传感器21用于采集原始图像。处理器30用于执行步骤011、步骤012、步骤013和步骤014。即，处理器30用于处理原始图像以获取不同曝光时间的图像数据；基于高动态范围合成算法，合成不同曝光时间的图像数据以生成高动态范围图像；根据高动态范围图像获取第一融合图像和第二融合图像，第一融合图像根据彩色像素获得，第二融合图像根据彩色像素和全色像素获得；及融合第一融合图像和第二融合图像以生成最终图像。

终端100包括手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等，可以理解，终端100还可以是其他任意图像处理功能的装置。下面以终端100为手机进行说明，但终端100不限于手机。壳体10还可用于安装终端100的供电装置、通信装置等功能模块，以使壳体10为功能模块提供防尘、防摔、防水等保护。

相机20可以是前置相机、后置相机、侧置相机、屏下相机等，在此不做限制。相机20包括镜头及图像传感器21，相机20在拍摄图像时，光线穿过镜头并到达图像传感器21，图像传感器21用于将照射到图像传感器21上的光信号转化为电信号，以生成原始图像。

在本申请图4a及图4b所示的实施例中，图像传感器21包括像素阵列(如图4a所示部分像素阵列示意图)，像素阵列可以由多个最小重复单元(如图4b所示)排列而成，每个最小重复单元包括全色像素及彩色像素。其中，彩色像素具有比全色像素更窄的光谱响应。例如，彩色像素的响应光谱为全色像素的响应光谱中的部分，又例如，彩色像素的响应光谱为某种颜色的可见光所在的光谱，全色像素的响应光谱为整个可见光所在的光谱。

每个最小重复单元可以具有多个不同颜色的彩色像素，每个最小重复单元中的彩色像素包括颜色a、颜色b和/或颜色c，如图4b所示的例子中，最小重复单元中的彩色像素包括颜色a、颜色b和颜色c，例如颜色a为红色，颜色b为绿色，颜色c为蓝色，或者例如颜色a为品红色，颜色b为青色，颜色c为黄色等，在此不做限制。多个不同颜色的彩色像素的光谱可以不交叉或者有部分交叉。在其他实施方式中，最小重复单元中的彩色像素包括颜色a、颜色b或颜色c；或者，最小重复单元中的彩色像素包括颜色a和颜色b；或者，最小重复单元中的彩色像素包括颜色b和颜色c；或者，最小重复单元中的彩色像素包括颜色a和颜色c；例如颜色a可为红色，颜色b可为绿色，颜色c可为蓝色。

图4a及图4b中的颜色w可以指全色像素的颜色，例如为白色。全色像素的数量可以大于任意一种颜色的彩色像素的数量，由于全色像素具有比彩色像素更宽的光谱响应，故全色像素能够接收的光信号更多，在暗光环境下也能获取到较多的光信号，有利于提升暗光环境的拍摄效果，且设置较多的全色像素能够更真实地反应被拍摄场景的亮度。全色像素的数量与彩色像素的数量之间的比例可以是1：1(如图4a和图4b)、1：2或1：3(如图5a和5b)等数值，在此不做限制。

另外，图像传感器21上像素阵列的排布方式并不限于图4a及图4b所示的图案，还可以是任意由全色像素与彩色像素排列成的图案，如图5a所示的部分像素阵列的示意图，及如图5b所示的最小重复单元的示意图。

具体地，终端100的相机20拍摄并得到原始图像，处理器30获取原始图像，原始图像可以是图像传感器21采集的raw图，原始图像中包括所有像素(彩色像素和全色像素)的像素值。

图像传感器21能够进行分时曝光以分别获取不同曝光时间的原始图像；例如图像传感器21能够分别进行曝光时间依次减少长曝光、中曝光和短曝光，以分别得到的长曝光原始图像、中曝光原始图像和短曝光原始图像，处理器30处理长曝光原始图像、中曝光原始图像和短曝光原始图像以分别得到长曝光图像数据、中曝光图像数据和短曝光图像数据(即，图像数据包括长曝光图像数据、中曝光图像数据和短曝光图像数据)，然后处理器30基于高动态范围合成算法将同一个像素对应的长曝光图像数据、中曝光图像数据和短曝光图像数据进行合成(如去平均值、加权平均值等)，以得到高动态范围的图像数据，从而生成高动态范围图像；

或者，图像传感器21能够分别进行曝光时间依次减少长曝光和中曝光，以分别得到的长曝光原始图像和中曝光原始图像，处理器30处理长曝光原始图像和中曝光原始图像以分别得到长曝光图像数据和中曝光图像数据(即，图像数据包括长曝光图像数据和中曝光图像数据)，然后处理器30基于高动态范围合成算法将同一个像素对应的长曝光图像数据和中曝光图像数据进行合成(如去平均值、加权平均值等)，以得到高动态范围的图像数据，从而生成高动态范围图像；

或者，图像传感器21能够分别进行曝光时间依次减少长曝光和短曝光，以分别得到的长曝光原始图像和短曝光原始图像，处理器30处理长曝光原始图像和短曝光原始图像以分别得到长曝光图像数据和短曝光图像数据(即，图像数据包括长曝光图像数据和短曝光图像数据)，然后处理器30基于高动态范围合成算法将同一个像素对应的长曝光图像数据和短曝光图像数据进行合成(如去平均值、加权平均值等)，以得到高动态范围的图像数据，从而生成高动态范围图像。也即是说，图像数据包括长曝光图像数据、中曝光图像数据和/或短曝光图像数据，在此不做限制。

在其他实施方式中，图像传感器21可同时包含长曝光像素、中曝光像素和短曝光像素，从而同时进行曝光即可得到长曝光图像数据、中曝光图像数据和短曝光图像数据，然后基于高动态范围合成算法将对应的长曝光图像数据、中曝光图像数据和短曝光图像数据合成为高动态范围图像。如此，处理器30通过合成不同曝光时间的图像数据生成高动态范围图像，从而提高了暗光下的光量和成像效果，且得到的高动态范围图像的动态范围较广。

图像传感器21包括多个最小重复单元，每个最小重复单元又包括多个像素单元，如图4a和图4b所示，每个最小重复单元包括4个像素单元(每个像素单元包括彩色像素和全色像素共4个)。与最小重复单元和像素单元对应的，如图6所示的高动态范围图像P1的部分像素示意图，高动态范围图像P1包含多个像素组Z1(对应最小重复单元)，像素组Z1包括多个像素子组a1(对应像素单元)；像素组Z1中每个像素对应的颜色和最小重复单元(如图4b)中对应的像素的颜色相同，也即是说，像素组Z1和像素子组a1也均包括全色像素和彩色像素，彩色像素包括红色像素、绿色像素和/或蓝色像素，全色像素包括白色像素。

如图6，像素组Z1包括R1像素、G1像素、B1像素和W像素，其中，R1、G1、B1为彩色像素(如R1为红色像素、G1为绿色像素、B1为蓝色像素)，W为全色像素(如W为白色像素)。像素组Z1可分为4个像素子组a1，每个像素子组a1也可均包含彩色像素和全色像素，彩色像素同样可以包括红色像素、绿色像素和/或蓝色像素，全色像素可包括白色像素。

处理器30根据高动态范围图像P1中的彩色像素的像素值能够生成第一融合图像，根据高动态范围图像P1中的彩色像素的像素值和全色像素的像素值能够生成第二融合图像，然后融合第一融合图像和第二融合图像，即可得到最终图像。由于最终图像融合了仅由彩色像素形成的第一融合图像和同时包含彩色像素和全色像素的第二融合图像，在暗光下获取的光量和信噪比均提升，成像效果较好。

本申请实施方式的图像处理方法、图像处理装置10和终端100通过合成不同曝光时间的图像数据生成高动态范围图像，以提高暗光下的光量和成像效果，然后融合仅由彩色像素形成的第一融合图像P2和同时包含彩色像素和全色像素的第二融合图像P3，使得融合后的最终图像在暗光下获取的光量和信噪比均提升，成像效果较好。

请参阅图7，在某些实施方式中，步骤011包括：

0111：根据图像传感器21的像素阵列的排布，读取每个彩色像素和全色像素的全色像素值以获取图像数据。

请再次参阅图2，在某些实施方式中，处理模块11还用于执行步骤0111。即，处理模块11还用于根据相机20的像素阵列的排布，读取每个彩色像素和全色像素的全色像素值以获取图像数据。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤0111。即，处理器30用于根据相机20的像素阵列的排布，读取每个彩色像素和全色像素的全色像素值以获取图像数据。

具体的，图像传感器21的像素值的读取可通过全尺寸(fullsize)读取模式进行读取，在全尺寸读取模式下，处理器30逐行挨个读取像素的像素值。例如，如图4a所示的像素阵列，按全尺寸读取模式进行读取时，首先读取到第一行第一列的彩色像素a的像素值，然后读取到第一行第二列的全色像素w的像素值，依次读取，在读取完第一行后再读取第二行，从而获取到图像传感器21中每个彩色像素和全色像素的像素值，以得到原始图像的图像数据。输出的图像数据如图8所示，按像素阵列依次读取每个像素的像素值，图像数据和像素阵列的像素一一对应(如第一行第一列的图像数据对应第一行第一列的像素)。可以理解，不同曝光时间的原始图像的图像数据的读取过程基本类似，并不因曝光时间的不同而导致读取方式存在差异。

请参阅图9，在某些实施方式中，步骤011还包括以下步骤：

0112：读取像素单元中的彩色像素以获取彩色像素值；

0113：读取像素单元中的全色像素值以获取全色像素值；及

0114：根据彩色像素值和全色像素值以获取图像数据。

请再次参阅图2，在某些实施方式中，处理模块11还用于执行步骤0112、步骤0113和步骤0114。即，处理模块11还用于读取像素单元中的彩色像素以获取彩色像素值；读取像素单元中的全色像素值以获取全色像素值；及根据彩色像素值和全色像素值以获取图像数据。

请再次参阅图3，在某些实施方式中，处理器30还用于执行步骤0112、步骤0113和步骤0114。即，处理器30还用于读取像素单元中的彩色像素以获取彩色像素值；读取像素单元中的全色像素值以获取全色像素值；及根据彩色像素值和全色像素值以获取图像数据。

具体的，处理器30在读取图像传感器31采集的原始图像的图像数据时，还可以通过Binning模式进行读取。Binning模式下，处理器30可将相邻像素进行处理以作为一个像素读出。如图4a所示，本实施方式中，在以Binning模式进行读取时，将每个像素单元中的彩色像素合成为一个彩色像素进行读出，例如将图4a中的两个a像素的像素值相加或平均以输出一个彩色像素值a1；然后将图4a中的两个w像素的像素值相加或平均以输出一个全色像素值w1；从而使得每个像素单元可读出一个彩色像素值和一个全色像素值。输出的图像数据如图10所示，按照像素单元的排列顺序，隔行分别输出彩色像素值和全色像素值，如图10所示的第一行均输出为彩色像素值，第二行均输出为全色像素值，第一行第一列的彩色像素值和第二行第一列的全色像素值为像素阵列左上角第一个像素单元输出的，第一行第二列的彩色像素值和第二行第二列的全色像素值为第一个像素单元右边的第二个像素单元输出的，依次类推，在第一行像素单元读取完成后，读取第二行像素单元，从而完成所有像素单元的彩色像素值和全色像素值的读取，最终得到原始图像的图像数据。

请再次参阅图3，在某些实施方式中，处理器30还用于对第一融合图像和第二融合图像进行双边平滑滤波、及融合进行双边平滑滤波后的第一融合图像和第二融合图像以生成最终图像。

具体的，处理器30可以在融合第一融合图像和第二融合图像之前，可对第一融合图像图像和第二融合图像进行双边平滑滤波；双边平滑滤波可根据如下公式进行：

其中，∩表示一个局部窗口，可以是3乘3的，q表示坐标位置，Iq表示滤波前窗口内的像素值，f表示3乘3窗口每个坐标点的权重，是固定的，越靠近中心权重越大。g表示其他位置的像素与中心像素差异的权重，差异越大，权重越小。不同颜色的像素的双边滤波基本类似，依据上述公式对第一融合图像和第二融合图像的进行双边滤波，如此，经过双边滤波后的第二图像和第三图像具有更高的信噪比，平坦区变得更平坦，边缘区变得更加锐利，从而提高融合双边平滑滤波后的第二图像和第三图像后得到的最终图像的信噪比。

请参阅图11，在某些实施方式中，步骤013包括：

0131：根据像素单元的彩色像素的像素值获取第一像素值，并根据第一像素值生成第一融合图像；

0132：根据像素单元的彩色像素的像素值和全色像素的像素值获取第二像素值，并根据第二像素值生成第二融合图像。

步骤014包括：

0141：基于中值滤波算法，融合第一融合图像和第二融合图像以生成最终图像。

在某些实施方式中，获取模块13还用于执行步骤0131和步骤0132。融合模块14还用于执行步骤0141。即，获取模块13还用于根据像素单元的彩色像素的像素值获取第一像素值，并根据第一像素值生成第一融合图像；根据像素单元的彩色像素的像素值和全色像素的像素值获取第二像素值，并根据第二像素值生成第二融合图像；融合模块14还用于基于中值滤波算法，融合第一融合图像和第二融合图像以生成最终图像。

具体的，处理器30根据像素单元的彩色像素的像素值获取第一像素值，并根据第一像素值生成第一融合图像P1；例如，处理器30将图6所示的与像素单元对应的高动态范围图像P1中，每个像素子组a1中相对的两个相同颜色的彩色像素合成为一个像素，得到第一融合图像P2。如图12所示，处理器30将像素子组a1中相对的两个R1像素合成为一个R2像素，将像素子组a1中相对的两个G1像素合成为一个G2像素，将像素子组a1中相对的两个B1像素合成为一个B2像素，从而根据高动态范围图像P1的一个像素组Z1确定第一融合图像P2的一个像素组Z2。然后依次对高动态范围图像P1中所有像素组Z1进行合成，从而确定第一融合图像P2的所有像素组Z2，以生成第一融合图像P2。

其中，R2像素、G2像素和B2像素的像素值即为第一像素值，第一像素值可根据像素子组a1中相对的两个相同颜色的彩色像素的像素值的和或平均值确定，即，R2像素的像素值可以是两个R1像素的和或平均值，G2像素的像素值可以是对应的两个G1像素的和或平均值，B2像素的像素值可以是两个B1像素的和或平均值。如此，图像传感器21能够计算得到第一融合图像P2的每个像素的第一像素值以生成第一融合图像P2。

处理器30再根据像素单元的彩色像素的像素值和全色像素的像素值获取第二像素值，并根据第二像素值生成第二融合图像P3；例如，处理器30将与像素单元对应的高动态范围图像P1中，每个像素子组a1中彩色像素和全色图像合成为一个像素，得到第二融合图像P3。如图13所示，处理器30将两个R1像素和两个W像素合成为一个R3像素，将两个G1像素和两个W像素合成为一个G3像素，将两个B1像素和两个W像素合成为一个B3像素，从而根据高动态范围图像P1的一个像素组Z1确定第二融合图像P3的一个像素组Z3。

其中，R3像素、G3像素和B3像素的像素值即为第二像素值，第二像素值可根据每个像素子组a1中的彩色像素和全色像素的像素值确定。

第二像素值的确定方式具体可以是：在第一像素值根据每个像素子组a1中的彩色像素的像素值的和确定时，确定每个像素子组a1中的彩色像素的像素值的和的第一平均值、及全色像素的像素值的和的第二平均值，并根据第一平均值和第二平均值的和确定第二像素值；或根据每个像素子组a1中的所有彩色像素的像素值和全色像素的像素值的和确定第二像素值。即，R3像素的像素值可以是两个R1像素的像素平均值与两个W像素的像素平均值的和，G3像素的像素值可以是两个G1像素的像素平均值与两个W像素的像素平均值的和，B3像素的像素值可以是两个B1像素的像素平均值与两个W像素的像素平均值的和；或者，R3像素的像素值可以是两个R1像素加两个W像素共四个像素的像素值的和，G3像素的像素值可以是两个G1像素加两个W像素共四个像素的像素值的和，B3像素的像素值可以是两个B1像素加两个W像素共四个像素的像素值的和。

第二像素值的确定方式具体还可以是：在第一像素值根据每个像素子组a1中的彩色像素的像素值的平均值确定时，确定每个像素子组a1中的彩色像素的像素值的和的第一平均值、及全色像素的像素值的和的第二平均值，并根据第一平均值和第二平均值的和确定第二像素值；或根据每个像素子组a1中的所有彩色像素的像素值和全色像素的像素值的平均值确定第二像素值。即，R3像素的像素值可以是两个R1像素的像素平均值与两个W像素的像素平均值的和，G3像素的像素值可以是两个G1像素的像素平均值与两个W像素的像素平均值的和，B3像素的像素值可以是两个B1像素的像素平均值与两个W像素的像素平均值的和；或者，R3像素的像素值可以是两个R1像素加两个W像素共四个像素的像素值的像素平均值，G3像素的像素值可以是两个G1像素加两个W像素共四个像素的像素值的像素平均值，B3像素的像素值可以是两个B1像素加两个W像素共四个像素的像素值的像素平均值。

如此，第二像素值的确定方式和第一像素值的确定方式关联，方便后续对第一融合图像P1和第二融合图像P2的融合计算。

每个像素子组a1的彩色像素和全色像素能够合成第二融合图像P3中的一个像素，且合成后的第二融合图像P3中的每个像素的第二像素值根据对应的像素子组a1的彩色像素和全色像素的像素值即可计算得到，处理器30根据每个像素子组a1对应的第二像素值即可生成第二融合图像P3。

然后处理器30基于中值滤波算法，融合第一融合图像P2和第二融合图像P3以生成最终图像。融合时，可以先对第一融合图像P2和第二融合图像P3进行中值滤波，再融合进行中值滤波后的第一融合图像P2和第二融合图像P3；或者，先将第一融合图像P2和第二融合图像P3合成为一个新的图像，再对该图像进行中值滤波以生成最终图像。如此，中值滤波的灵活性较强，且经过中值滤波的图像的信噪比得到明显提升。

请参阅图3、图12至图14，处理器30用于先将第一融合图像P2和第二融合图像P3合成为第三融合图像P4，以滤波像素框框选第三融合图像中的目标像素，目标像素为滤波像素框的中心像素；筛选滤波像素框中与目标像素的位置对应、且与目标像素的像素值的差值小于预定差值的滤波像素，预定差值根据目标像素的像素值确定；根据滤波像素的像素值确定第三像素值，以作为目标像素的像素值；及根据第三像素值生成最终图像。

具体的，处理器30可通过对图12的第一融合图像P2和图13的第二融合图像P3中每个位置对应的像素进行融合得到第三融合图像P4中对应位置的像素，融合方式可以是将第一融合图像P2和第二融合图像P3中每个位置对应的像素值的比值作为第三融合图像P4中对应位置的像素的像素值，如第一融合图像P2、第二融合图像P3和第三融合图像P4均以左上角的为坐标原点O(0,0)建立相同的坐标系(如图14所示，X轴的正方向为从坐标原点O(0,0)沿水平方向朝像素所在的方向延伸的方向，Y轴的正方向为从坐标原点O(0,0)沿垂直方向朝像素所在的方向延伸的方向)，每个像素的长度为1，则坐标相同的像素即为相对应的像素，如第一融合图像P2、第二融合图像P3和第三融合图像P4中坐标相同的的像素相对应，从而分别得到第三融合图像P4中每个位置的像素的像素值(如R4＝R2/R3,G4＝G2/G3,B4＝B2/B3)，以确定第三融合图像P4。

如图14所示的第三融合图像P4的部分像素示意图和图15所示的最终图像P5的部分像素示意图，在对第三融合图像P4进行中值滤波时，首先以预定的滤波像素框S框选第三融合图像P4中的目标像素D，目标像素D为滤波像素框S的中心像素，即，目标像素D位于滤波像素框S的中心，初始时，目标像素D为第三融合图像P4中坐标为(1,1)位置的像素，然后在对该位置完成中值滤波以输出最终图像P5中位于坐标(1,1)位置的像素的第三像素值后，滤波像素框的中心像素移动到下一个目标像素D(即，坐标(1,2)位置的像素)，以完成最终图像P5中坐标为(1,2)的像素的第三像素值的确定，可以理解，为方便计算，最终图像P5的坐标系可与第三融合图像P4的坐标系相同。从而依次完成最终图像P5中所有像素的第三像素值的确定。

滤波像素框S可以是5*5的像素框，还可以是9*9等更大规格的像素框，随着像素框中的像素数量的增多，每个滤波像素框S进行中值滤波以输出最终图像P5中与目标像素D对应的像素的第三像素值时的滤波效果更好。滤波像素框S可以是正方形，还可以是其他合适的形状如长方形，甚至是多个大小不同的矩形组合而成的图形等，在此不做限制。可以理解，上述5*5、9*9是以像素为单位的，即，5*5表示该滤波像素框的大小为5像素*5像素，9*9表示该滤波像素框的大小为9像素*9像素。

如图16所示，目标像素D位于坐标为(1,1)、(1,2)、(2,1)等位置时，滤波像素框S只能框选第三融合图像P4的一部分，即，滤波像素框S和第三融合图像P4存在重合部分和不重合部分，此时需要将该不重合部分填充完整以完成中值滤波，例如，可通过重合部分填充非重合部分，具体可以以滤波像素框S的水平中心轴线L1和垂直中心轴线L2作为对称轴，利用与非重合部分对称的重合部分进行补齐，以图16为例，首先将与非重合部分F1对应的重合部分C1沿水平中心轴线L1对称复制到非重合部分S1中，然后再沿垂直中心轴线L2将与非重合部分F2对应的部分对称复制到非重合部分S2中，从而将滤波像素框S填充完整。其中，对称复制指的是将每个像素复制到沿对应的中心轴线对称的位置上。当然，在其他实施方式中，还可通过重合部分的平均像素值生成填充像素，从而将填充像素填充满整个滤波像素框S。

然后，请结合图17，对滤波像素框S中的像素进行筛选，将滤波像素框S中与目标像素D位置对应，且与目标像素的像素值的差值小于预定差值的像素确定为滤波像素M。

预定差值根据目标像素D的像素值确定，如目标像素D的像素值为n，则预定差值可以是的1/4n、1/3n、

等，可根据具体的滤波需求确定。

例如，滤波像素框S中与目标像素D位置对应的像素指的是，滤波像素框S中与目标像素D在对应的像素单元的位置相同的像素，如像素单元的排列为拜耳阵列，则目标像素D位于的左上角时，与目标像素D的位置对应的像素也位于对应的像素单元的左上角，从而选出与目标像素D的颜色相同且像素值的差值小于预定差值的滤波像素M，提高中值滤波的准确性，可以理解，由于滤波像素M与目标像素D位置对应，因此上述对波像素框S中的非重合部分的填充过程中，可仅填充滤波像素M即可，从而减少计算量。例如，如图17所示，目标像素D为如图14所示的坐标(1,1)的像素时，则可确定滤波像素框S中与目标像素D对应的滤波像素M为R5像素。

在确定滤波像素M后，处理器30根据滤波像素M即可确定最终图像P5中与目标像素D对应的像素的第三像素值，例如处理器30按滤波像素M的像素值进行排序以确定中间像素值，然后根据该中间像素值即可计算得到对应的第三像素值(如直接以中间像素值作为第三像素值)，从而完成中值滤波，准确地输出第三像素值，该第三像素值即作为最终图像P5中与目标像素D对应的位置的像素的像素值。

通过上述过程，处理器30通过滤波像素框S依次对第三融合图像P4中的每个像素进行中值滤波以输出对应的第三像素值，从而根据第三像素值生成最终图像P5，经过中值滤波后得到的最终图像的信噪比较高。

请参阅图18，本申请实施例还提供了一种非易失性计算机可读存储介质200。一个或多个包含计算机可执行指令201的非易失性计算机可读存储介质200中，当计算机可执行指令201被一个或多个处理器300执行时，使得处理器300执行以下步骤：

011：处理原始图像以获取不同曝光时间的图像数据；

012：基于高动态范围合成算法，合成不同曝光时间的图像数据以生成高动态范围图像(High-Dynamic Range，HDR)；

013：根据高动态范围图像获取第一融合图像和第二融合图像，第一融合图像根据彩色像素获得，第二融合图像根据彩色像素和全色像素获得；及

014：融合第一融合图像和第二融合图像以生成最终图像。

进一步地，当计算机可执行指令201被一个或多个处理器300执行时，处理器300还可以执行以下步骤：

0111：根据图像传感器21的像素阵列的排布，读取每个彩色像素和全色像素的全色像素值以获取图像数据。

请参阅图19，本申请实施例处理器30可以是图像处理电路80，图像处理电路80可利用硬件和/或软件组件实现，包括定义ISP(ImageSignalProcessing，图像信号处理)管线的各种处理单元。图19为一个实施例中图像处理电路800的示意图。如图19所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图19所示，图像处理电路80包括ISP处理器81和控制逻辑器82。相机83捕捉的图像数据首先由ISP处理器81处理，ISP处理器81对图像数据进行分析以捕捉可用于确定相机83的一个或多个控制参数的图像统计信息。相机83可包括一个或多个透镜832和图像传感器834。图像传感器834可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器834可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器81处理的一组原始图像数据。传感器84(如陀螺仪)可基于传感器84接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器81。传感器84接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器834也可将原始图像数据发送给传感器84，传感器84可基于传感器84接口类型把原始图像数据提供给ISP处理器81，或者传感器84将原始图像数据存储到图像存储器85中。

ISP处理器81可按照全尺寸读取模式或者binning模式读取图像数据。然后，ISP处理器81按多种格式逐个像素地处理原始图像的图像数据。每个图像像素可具有8、10、12或14比特的位深度，ISP处理器81可对原始图像数据进行一个或多个图像处理操作，例如，如图20所示的图像处理方法的管道流程图中，ISP处理器81先基于高动态范围算法处理图像数据以输出高动态范围图像，然后通过融合算法(具体请参阅步骤0131、步骤0132和步骤0141的描述)处理以得到融合图像、最后经过图像前端处理操作(如黑电平、镜头阴影校正、坏点补偿、去马赛克、色彩校正、全局色调映射、色彩转换等)后输出到YUV域，从而输出最终图像。ISP处理器81还可收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器81还可从图像存储器85接收图像数据。例如，传感器84接口将原始图像数据发送给图像存储器85，图像存储器85中的原始图像数据再提供给ISP处理器81以供处理。图像存储器85可为存储器53、存储器53的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器834接口或来自传感器84接口或来自图像存储器85的原始图像数据时，ISP处理器81可进行一个或多个图像处理操作，如本申请的图像处理方法所包括的所有处理步骤。处理后的图像数据可发送给图像存储器85，以便在被显示之前进行另外的处理。ISP处理器81从图像存储器85接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器81处理后的图像数据可输出给显示器87(显示器87可包括显示屏55)，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器81的输出还可发送给图像存储器85，且显示器87可从图像存储器85读取图像数据。在一个实施例中，图像存储器85可被配置为实现一个或多个帧缓冲器。此外，ISP处理器81的输出可发送给编码器/解码器86，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器87设备上之前解压缩。编码器/解码器86可由CPU或GPU或协处理器实现。

ISP处理器81确定的统计数据可发送给控制逻辑器82单元。例如，统计数据可包括黑电平补偿、镜头阴影校正、坏点补偿、去马赛克、色彩校正、全局色调映射、色彩转换、自动曝光、自动白平衡、自动聚焦、闪烁检测等图像传感器834统计信息。控制逻辑器82可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定相机83的控制参数及ISP处理器81的控制参数。例如，相机83的控制参数可包括传感器84控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜832控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜832阴影校正参数。

请参阅图1，以下为运用图像处理电路80(具体为ISP处理器81)实现图像处理方法的步骤：

011：处理原始图像以获取不同曝光时间的图像数据；

012：基于高动态范围合成算法，合成不同曝光时间的图像数据以生成高动态范围图像；

013：根据高动态范围图像获取第一融合图像和第二融合图像，第一融合图像根据彩色像素获得，第二融合图像根据彩色像素和全色像素获得；及

014：融合第一融合图像和第二融合图像以生成最终图像。

请参阅图7，进一步地，运用图像处理电路80(具体为ISP处理器81)还可以执行以下步骤：

0111：根据图像传感器21的像素阵列的排布，读取每个彩色像素和全色像素的全色像素值以获取图像数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，用于处理由图像传感器采集的原始图像，其特征在于，所述图像传感器包括全色像素及彩色像素；所述图像传感器包括多个最小重复单元，所述最小重复单元包括多种颜色的所述彩色像素和所述全色像素，所述最小重复单元包括多个像素单元，所述像素单元包括同一颜色的所述彩色像素和所述全色像素；

所述图像处理方法包括：

处理所述原始图像以获取不同曝光时间的图像数据；

基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；

根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述像素单元中的所述彩色像素获得，所述第二融合图像根据所述像素单元中的所述彩色像素和所述全色像素获得；及

融合所述第一融合图像和所述第二融合图像以生成最终图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像数据包括长曝光图像数据、中曝光图像数据和/或短曝光图像数据，所述长曝光图像数据、所述中曝光图像数据和所述短曝光图像数据对应的曝光时间依次减少。

3.根据权利要求1所述的图像处理方法，其特征在于，所述处理所述原始图像以获取不同曝光时间的图像数据，包括：

根据所述图像传感器的像素阵列的排布，读取每个所述彩色像素和全色像素的全色像素值以获取所述图像数据。

4.根据权利要求1所述的图像处理方法，其特征在于，所述获取不同曝光时间的图像数据，包括：

读取所述像素单元中的所述彩色像素以获取彩色像素值；

读取所述像素单元中的所述全色像素值以获取全色像素值；及

根据所述彩色像素值和所述全色像素值以获取所述图像数据。

5.根据权利要求3或4所述的图像处理方法，其特征在于，所述全色像素和所述彩色像素的比例包括1:1、1:2或1:3。

6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述高动态范围图像获取第一融合图像和第二融合图像，包括：

根据所述像素单元的所述彩色像素的像素值获取第一像素值，并根据所述第一像素值生成第一融合图像；

根据所述像素单元的所述彩色像素的像素值和所述全色像素的像素值获取第二像素值，并根据所述第二像素值生成所述第二融合图像；

所述融合所述第一融合图像和所述第二融合图像以生成所述最终图像，包括：

基于中值滤波算法，融合所述第一融合图像和所述第二融合图像以生成所述最终图像。

7.一种图像处理装置，其特征在于，包括：

处理模块，用于处理原始图像以获取不同曝光时间的图像数据，所述原始图像由图像传感器采集，所述图像传感器包括多个最小重复单元，所述最小重复单元包括多种颜色的彩色像素和全色像素，所述最小重复单元包括多个像素单元，所述像素单元包括同一颜色的所述彩色像素和所述全色像素；

合成模块，用于基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；

获取模块，用于根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述像素单元中的所述彩色像素获得，所述第二融合图像根据所述像素单元中的所述彩色像素和所述全色像素获得；及

融合模块，用于融合所述第一融合图像和所述第二融合图像以生成最终图像。

8.一种终端，其特征在于，所述终端包括图像传感器和处理器，所述图像传感器包括全色像素及彩色像素，所述图像传感器用于采集原始图像；所述图像传感器包括多个最小重复单元，所述最小重复单元包括多种颜色的所述彩色像素和所述全色像素，所述最小重复单元包括多个像素单元，所述像素单元包括同一颜色的所述彩色像素和所述全色像素；所述处理器用于：

处理所述原始图像以获取不同曝光时间的图像数据；

基于高动态范围合成算法，合成不同曝光时间的所述图像数据以生成高动态范围图像；

根据所述高动态范围图像获取第一融合图像和第二融合图像，所述第一融合图像根据所述像素单元中的所述彩色像素获得，所述第二融合图像根据所述像素单元中的所述彩色像素和所述全色像素获得；及

融合所述第一融合图像和所述第二融合图像以生成最终图像。

9.根据权利要求8所述的终端，其特征在于，所述图像数据包括长曝光图像数据、中曝光图像数据和/或短曝光图像数据，所述长曝光图像数据、所述中曝光图像数据和所述短曝光图像数据对应的曝光时间依次减少。

10.根据权利要求8所述的终端，其特征在于，所述处理器还用于根据所述图像传感器的像素阵列的排布，读取每个所述彩色像素的彩色像素值和每个全色像素的像素值以获取所述图像数据。

11.根据权利要求8所述的终端，其特征在于，所述处理器还用于：

读取所述像素单元中的所述彩色像素以获取彩色像素值；

读取所述像素单元中的所述全色像素值以获取全色像素值；及

根据所述彩色像素值和所述全色像素值以获取所述图像数据。

12.根据权利要求10或11所述的终端，其特征在于，所述全色像素和所述彩色像素的比例包括1:1、1:2或1:3。

13.根据权利要求8所述的终端，其特征在于，所述处理器还用于根据所述像素单元的所述彩色像素的像素值获取第一像素值，并根据所述第一像素值生成第一融合图像、根据所述像素单元的所述彩色像素的像素值和所述全色像素的像素值获取第二像素值，并根据所述第二像素值生成所述第二融合图像、及基于中值滤波算法，融合所述第一融合图像和所述第二融合图像以生成所述最终图像。

14.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至6中任意一项所述的图像处理方法。

Images