CN113676708B - 图像生成方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像生成方法、装置、计算机设备和存储介质。该方法包括：在第一清晰度模式下，根据所述滤光片组中的所述全色滤光片对应的多个全色像素合并读出的第一像素值，以及所述彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；将所述第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第一目标图像；所述第一对角线方向不同于所述第二对角线方向。采用本方法能够降低生成图像的功耗。

Description

图像生成方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像生成方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术的发展，手机等电子设备中大部分都配置有摄像头，以通过摄像头实现拍照功能。目前，终端通过摄像头在进行拍摄时，图像的输出模式一般是固定的，无法灵活适应不同场景，导致图像处理的功耗高。

发明内容

本申请实施例提供了一种图像生成方法、装置、电子设备、计算机可读存储介质，可以降低图像处理的功耗。

一种图像生成方法，应用于图像传感器，所述图像传感器包括滤光片阵列和像素点阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括4个子滤光片；所述像素点阵列包括多个全色像素和多个彩色像素，每个所述全色像素对应所述全色滤光片的一个所述子滤光片，每个所述彩色像素对应所述彩色滤光片的一个所述子滤光片；

所述方法包括：

在第一清晰度模式下，根据所述滤光片组中的所述全色滤光片对应的多个全色像素合并读出的第一像素值，以及所述彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；

将所述第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第一目标图像；所述第一对角线方向不同于所述第二对角线方向。

一种图像生成装置，应用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素点阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括4个子滤光片；所述像素点阵列包括多个全色像素和多个彩色像素，每个所述全色像素对应所述全色滤光片的一个所述子滤光片，每个所述彩色像素对应所述彩色滤光片的一个所述子滤光片；

所述装置包括：

第一合并模块，用于在第一清晰度模式下，根据所述滤光片组中的所述全色滤光片对应的多个全色像素合并读出的第一像素值，以及所述彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；

生成模块，用于将所述第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第一目标图像；所述第一对角线方向不同于所述第二对角线方向。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述图像生成方法、装置、电子设备、计算机可读存储介质，图像传感器包括滤光片阵列和像素点阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，彩色滤光片具有比全色滤光片的更窄的光谱响应，彩色滤光片和全色滤光片均包括4个子滤光片，像素点阵列包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片的一个子滤光片，每个彩色像素对应彩色滤光片的一个子滤光片，在对分辨率要求较低的场景下使用第一清晰度模式，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像消耗的功耗低。将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在不同于第一对角线方向的第二对角线方向上的多个彩色像素合并，使得所得到第一目标图像进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的结构示意图；

图2为一个实施例中图像传感器的分解示意图；

图3为一个实施例中像素点阵列和读出电路的连接示意图；

图4为一个实施例中图像生成方法的流程图；

图5A为一个实施例中第一对角线方向和第二对角线方向的示意图；

图5B为一个实施例中生成第一目标图像的示意图；

图6为一个实施例中根据全色图像和彩色图像生成第一目标图像的示意图；

图7为一个实施例中三个通道经由双边滤波计算后整合输出为bayer格式的输出图像的示意图；

图8为一个实施例中计算第二目标图像中R像素的像素值的示意图；

图9为一个实施例中各纹理方向的关联像素的示意图；

图10为另一个实施例中各纹理方向的关联像素的示意图；

图11为一个实施例中计算彩色像素对应的插值权重的示意图；

图12为一个实施例中生成全尺寸全色通道图像的示意图；

图13为一个实施例中在第二清晰度模式下，使用全分辨率输出模式生成第二目标图像的示意图；

图14为一个实施例中在第二清晰度模式下生成第二目标图像的流程示意图；

图15为一个实施例中在第三清晰度模式下，生成第三目标图像的流程示意图；

图16为一个实施例中图像生成装置的结构框图；

图17为一个实施例中电子设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一像素值称为第二像素值，且类似地，可将第二称为第一。第一和第二两者都是，但其不是同一。

在一个实施例中，提供了一种图像生成方法，本实施例以该方法应用于电子设备进行举例说明，可以理解的是，电子设备可以是终端，也可以是服务器，还可以是包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以是手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等其中一种。

电子设备中安装有相机，相机包括镜头和图像传感器。图像传感器包括滤光片阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，彩色滤光片具有比全色滤光片的更窄的光谱响应，彩色滤光片和全色滤光片均包括4个子滤光片。像素点阵列包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片的一个子滤光片，每个彩色像素对应彩色滤光片的一个子滤光片。其中，图像传感器用于接收穿过镜头的光线。

滤光片是用来选取所需辐射波段的光学器件。彩色滤光片是指仅允许某一特定颜色光线透光的滤光片。例如，彩色滤光片可以是绿色滤光片、红色滤光片、蓝色滤光片，则彩色滤光片透过的光线的波段可对应红光的波段、绿光的波段、或蓝光的波段。当然，彩色滤光片透过的光线的波段还可对应其他色光的波段，如品红色光、紫色光、青色光、黄色光等，在此不作限制。

全色滤光片是指允许多个颜色光线透光的滤光片。全色滤光片为全色滤光片，或者为进光量大于预设阈值的滤光片。例如全色滤光片是全色滤光片，可以透过所有颜色的光线。又如全色滤光片是可见光和红外滤光片，可以透过可见光和红外光线。

全色滤光片透过的进光量大于彩色滤光片透过的进光量，即彩色滤光片透过的光线的波段宽度小于全色滤光片透过的光线的波段宽度，全色滤光片透过更多的光线，通过全色滤光片得到相应的全色像素具有更高的信噪比，该全色像素包含有更多的信息，可以解析出更多的纹理细节。其中，信噪比是指正常信号与噪声信号之间的比值。像素的信噪比越高，则该像素包含的正常信号的比例越高，从该像素中解析到的信息也越多。

图像传感器还包括像素点阵列，像素点阵列包括多个像素点，每个像素点对应滤光片阵列的一个子滤光片，像素点用于接收穿过对应的子滤光片的光线以生成电信号。

如图1所示，电子设备包括摄像头102，摄像头102包括图像传感器，图像传感器包括微透镜阵列、滤光片阵列和像素点阵列。

下面以电子设备为手机进行说明，但电子设备不限于手机。终端包括摄像头、处理器和壳体。摄像头和处理器均设置在壳体内，壳体还可用于安装终端的供电装置、通信装置等功能模块，以使壳体为功能模块提供防尘、防摔、防水等保护。

摄像头可以是前置摄像头、后置摄像头、侧置摄像头、屏下摄像头等，在此不做限制。摄像头包括镜头及图像传感器，摄像头在拍摄图像时，光线穿过镜头并到达图像传感器，图像传感器用于将照射到图像传感器上的光信号转化为电信号。

如图2所示，图像传感器包括微透镜阵列21、滤光片阵列22、像素点阵列23。

微透镜阵列21包括多个微透镜211，微透镜211、滤光片阵列22中的子滤光片和像素点阵列23中的像素点一一对应设置，微透镜211用于将入射的光线进行聚集，聚集之后的光线会穿过对应的子滤光片，然后投射至像素点上，被对应的像素点接收，像素点再将接收的光线转化成电信号。

滤光片阵列22包括多个最小重复单元221。最小重复单元221包括多个滤光片组222。在本实施例中，最小重复单元221包括4个滤光片组222，并且4个滤光片组222呈矩阵排列。每个滤光片组222包括全色滤光片223和彩色滤光片224，每个彩色滤光片或每个全色滤光片均有4个子滤光片，则该滤光片组222共包括16个子滤光片。在不同的滤光片组中还包括有不同的彩色滤光片224。

同样的，像素点阵列23包括多个最小重复单元231，最小重复单元231包括多个像素组232，与最小重复单元221中的滤光片组222对应。在本实施例中，最小重复单元231包括4个像素组232，并且4个像素组232呈矩阵排列，每个像素组232对应一个滤光片组222。通过全色滤光片223透过的光线投射至全色像素点233，可以得到全色像素；通过彩色滤光片224透过的光线投射至彩色像素点234，可以得到彩色像素。

如图3所示，读出电路24与像素点阵列23电连接，用于控制像素点阵列23的曝光以及像素点的像素值的读取和输出。读出电路24包括垂直驱动单元241、控制单元242、列处理单元243和水平驱动单元244。垂直驱动单元241包括移位寄存器和地址译码器。垂直驱动单元241包括读出扫描和复位扫描功能。控制单元242根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元241、列处理单元243和水平驱动单元244协同工作。列处理单元243可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。水平驱动单元244包括移位寄存器和地址译码器。水平驱动单元244顺序逐列扫描像素点阵列23。

本实施例中，如图4所示，该方法包括以下步骤：

步骤402，在第一清晰度模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像。

第一清晰度模式是指对分辨率要求比较低的场景下所使用的模式，是低清晰度、高信噪比、低功耗、高帧率的二级像素合并读出模式。第一清晰度模式具体可以是图像拍摄时的预览模式、视频拍摄时的预览模式，或者在夜景下进行图像拍摄、视频拍摄的夜景模式等分辨率要求较低的场景，但不限于此。视频拍摄的预览模式例如1080p视频预览、微信视频预览等。

全色像素是通过全色滤光片223透过的光线生成的像素，比如W(White，全色)像素。彩色像素是其他颜色感光像素，如第一颜色感光像素、第二颜色感光像素、第三颜色感光像素等。彩色像素是通过不同彩色滤光片224透过的光线所生成的不同颜色的像素，例如彩色滤光片224可以是第一滤光片、第二滤光片和第三滤光片，第一颜色感光像素是通过第一滤光片透过的光线生成的像素，比如G(Green，绿色)像素。第二颜色感光像素是通过第二滤光片透过的光线生成的像素，比如R(Red，红色)像素。第三颜色感光像素是通过第三滤光片透过的光线生成的像素，比如B(Blue，蓝色)像素。

在接收到拍摄指令的情况下，确定该拍摄指令是否为预览拍摄。在该拍摄指令为预览拍摄的情况下，触发第一清晰度模式。或者，电子设备检测当前环境是否为夜景，在当前环境为夜景的情况下，触发第一清晰度模式。

在第一清晰度模式下，电子设备通过滤光片阵列22透过的光线投射至像素点阵列23上，像素点阵列23用于接收穿过对应的滤光片阵列22的光线以生成电信号。该像素点阵列23包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片223的一个子滤光片，每个彩色像素对应彩色滤光片224的一个子滤光片。电子设备根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，得到第一合并图像。

进一步地，电子设备将滤光片组222中的同一全色滤光片223对应的多个全色像素合并以读出第一像素值，将同一第一滤光片对应的多个第一颜色感光像素合并读出相应的第二像素值、将同一第二滤光片对应的多个第二颜色感光像素合并读出相应的第二像素值，根据第一像素值和各第二像素值生成第一合并图像。

在一个实施例中，针对每个全色滤光片223，电子设备将全色滤光片223包含的4个子滤光片所对应的4个全色像素合并以读出第一像素值，从而得到各第一像素值。针对每个彩色滤光片224，将彩色滤光片224包含的4个子滤光片所对应的4个彩色像素合并以读出第二像素值，从而得到各第二像素值。

步骤404，将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第一目标图像；第一对角线方向不同于第二对角线方向。

电子设备将第一合并图像中在第一对角线方向上的多个全色像素合并，并将第一合并图像中在第二对角线方向上的多个彩色像素合并，得到第一目标图像。该第一对角线方向不同于第二对角线方向，如图5A中所示。

在一个实施例中，该第一对角线方向与第二对角线方向垂直。该多个全色像素和多个彩色像素均可以是至少两个。例如，将在第一对角线方向上的2个全色像素合并，并将第一合并图像中在第二对角线方向上的2个颜色的彩色像素合并，得到第一目标图像。

本实施例中，图像传感器包括滤光片阵列22和像素点阵列23，滤光片阵列22包括最小重复单元231，最小重复单元231包括多个滤光片组222，滤光片组222包括彩色滤光片224和全色滤光片223，彩色滤光片224具有比全色滤光片223的更窄的光谱响应，彩色滤光片224和全色滤光片223均包括4个子滤光片，像素点阵列23包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片223的一个子滤光片，每个彩色像素对应彩色滤光片224的一个子滤光片，在对分辨率要求较低的场景下使用第一清晰度模式，根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像消耗的功耗低。将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在不同于第一对角线方向的第二对角线方向上的多个彩色像素合并，使得所得到第一目标图像进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。

在一个实施例中，将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第一目标图像，包括：

将第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像；将在第二对角线方向上的多个彩色像素合并，得到彩色图像；根据全色图像和彩色图像生成第一目标图像。

电子设备确定第一合并图像中的第一对角线方向和第二对角线方向，将第一合并图像中在第一对角线方向上的多个全色像素合并，基于合并得到的各全色像素生成全色图像。将在第二对角线方向上的多个相同颜色的彩色像素合并，得到各彩色像素，基于各彩色像素生成彩色图像。

在一个实施例中，电子设备将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第二合并图像。电子设备从第二合并图像中分离出全色图像和彩色图像，根据全色图像和彩色图像生成第一目标图像。

在一个实施例中，第一目标图像可以是拜尔阵列图像，如图5B为一个实施例中生成拜尔阵列图像的示意图。在第一清晰度模式下，电子设备通过图像传感器中的滤光片阵列22得到原始图像502，根据滤光片组222中的同一全色滤光片223对应的4个全色像素合并读出的第一像素值，以及同一彩色滤光片224对应的4个彩色像素合并读出的第二像素值，得到下采样的第一合并图像504。

将第一合并图像504中在第一对角线方向上的2个全色像素合并，并将在第二对角线方向上的2个彩色像素合并，得到第二合并图像506。从第二合并图像506中分离出下采样的全色图像508和下采样的彩色图像510，根据全色图像508和彩色图像510生成拜尔阵列图像。

在一个实施例中，在第一清晰度模式下，电子设备通过图像传感器中的滤光片阵列22得到原始图像502，根据滤光片组222中的同一全色滤光片223对应的4个全色像素合并读出的第一像素值，以及同一彩色滤光片224对应的4个彩色像素合并读出的第二像素值，得到下采样的第一合并图像504。将第一合并图像504中在第一对角线方向上的2个全色像素合并，并将在第二对角线方向上的2个彩色像素合并，分别得到全色图像508和彩色图像510，根据全色图像508和彩色图像510生成第一目标图像。

如图6所示，为一个实施例中根据全色图像和彩色图像生成第一目标图像的示意图。以R通道为例，对于待求的R像素(5,5)，选取彩色图像602中R像素(5,5)一定范围内的各R像素求出加权平均R_mean，以及从全色图像604对应的像素位置为(5,5)的像素，在像素位置(5,5)一定范围内的各W像素求出加权平均W_mean，则可得到图像606中该像素位置的像素R’＝W*(R_mean/_W_mean)或R’＝W-(W_mean-R_mean)。按相同的处理方式，可计算彩色图像602中每个R像素对应于图像606中的每个像素R’。

同样地，在G通道中，对于待求的G像素(4,5)，选取彩色图像602中G像素(4,5)一定范围内的各G像素求出加权平均G_mean，以及从全色图像604对应的像素位置为(4,5)的像素，在像素位置(4,5)一定范围内的各W像素求出加权平均W_mean，则可得到图像606中该像素位置的像素G’＝W*(G_mean/_W_mean)或G’＝W-(W_mean-G_mean)。按相同的处理方式，可计算彩色图像602中每个G像素对应于图像608中的每个像素G’。将图像606和图像608融合得到拜耳格式第一目标图像610。

其他通道的处理方式与上述相同，最终将各图像融合得到第一目标图像，从而完成二级Binning转Bayer的形式。

本实施例中，将第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像，将在第二对角线方向上的多个彩色像素合并，得到彩色图像，多合一的像素读出方式使得生成的图像噪声少，而全色通道的进光量更大，全色像素具有更高的信噪比，根据全色图像和彩色图像生成第一目标图像，能够利用信噪比更高的区域融合彩色图像，使得成像质量更高。

在一个实施例中，根据全色图像和彩色图像生成第一目标图像，包括：

遍历待生成的第一目标图像中的像素位置，根据全色图像中对应于像素位置的全色像素，以及彩色图像中对应于像素位置的彩色像素，确定待生成的第一目标图像中像素位置的像素，直至得到待生成的第一目标图像中所有像素位置的像素后，得到第一目标图像。

电子设备遍历待生成的第一目标图像中的像素位置，在每次遍历中，电子设备确定待生成的第一目标图像在当次遍历中的像素位置，并确定在全色图像中对应于该像素位置的全色像素，以及在彩色图像中对应于像素位置的彩色像素。根据对应于当次遍历中的像素位置的全色像素和彩色像素，计算出该像素位置对应的像素。在计算出当次遍历的像素位置对应的像素后，执行下一次遍历，直至得到待生成的第一目标图像中所有像素位置的像素后停止，得到第一目标图像。

在一个实施例中，电子设备确定在全色图像中对应于该像素位置的全色像素，从全色图像中确定包含该全色像素在内的第一预设范围内各全色像素，对各全色像素的像素求加权平均。确定在彩色图像中对应于该像素位置的彩色像素，从彩色图像中确定包含该彩色像素在内的第一预设范围内各彩色像素，对各彩色像素的像素值求加权平均。根据全色像素的像素值求加权平均和彩色像素的像素值求加权平均，计算该像素位置对应的像素。

进一步地，计算彩色像素的像素求加权平均和全色像素的像素求加权平均的比值，将对应于该像素位置的全色像素的像素值与该比值的乘积作为该像素位置的像素。

或者，计算全色像素的像素值求加权平均和彩色像素的像素值求加权平均之间的差值，将对应于该像素位置的全色像素的像素值与该差值之间的差值，作为该像素位置的像素。

在一个实施例中，该第一目标图像可以是拜尔阵列图像。

本实施例中，遍历待生成的第一目标图像中的像素位置，根据全色图像中对应于像素位置的全色像素，以及彩色图像中对应于像素位置的彩色像素，确定待生成的第一目标图像中像素位置的像素，直至得到待生成的第一目标图像中所有像素位置的像素后，能够将高信噪比的全色通道的信息量带入第一目标图像中，从而准确生成第一目标图像。

在一个实施例中，该方法还包括：

在第二清晰度模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；全尺寸全色通道图中的像素均为全色像素；基于全尺寸全色通道图和原始图像生成第二目标图像；第二清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度。

第二清晰度模式是指高清晰度、高功耗、低帧率的全分辨率输出模式，该第二清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度，即第二清晰度模式对应的分辨率大于第一清晰度模式对应的分辨率。例如，第二清晰度模式可以是蓝光1080P、超清720P模式，但不限于此。

在接收到拍摄指令的情况下，检测用户是否选择所需使用的清晰度模式，当检测到用户选择使用第二清晰度模式的情况下，电子设备通过滤光片阵列透过的光线投射至像素点上，像素点阵列用于接收穿过对应的滤光片阵列的光线以生成电信号，得到原始图像。

纹理信息至少包含纹理方向、纹理位置、纹理强度中的至少一种。

电子设备确定彩色像素在原始图像中的像素位置，利用该彩色像素在原始图像中的纹理信息，将原始图像中的各个彩色像素均插值为对应的全色像素，得到全尺寸全色通道图像，该全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成全尺寸的第二目标图像。

在一个实施例，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像，包括：

利用彩色像素在原始图像中的纹理信息，对原始图像中彩色像素位置的彩色像素进行权重计算处理，得到插值权重图；将插值权重图和原始图像进行融合处理，得到全尺寸全色通道图像。

具体地，对原始图像中各像素位置的彩色像素进行权重计算处理，以确定各彩色像素对应的插值权重。基于各彩色像素对应的像素位置和插值权重，获得插值权重图。电子设备将插值权重图和原始图像进行融合处理，得到全尺寸全色通道图像。

在一个实施例中，基于全尺寸全色通道图和原始图像生成第二目标图像，包括：基于全尺寸全色通道图，采用双边滤波将原始图像分别插值得到第一颜色感光像素的第一通道图、第二颜色感光像素的第二通道图、以及第三颜色感光像素的第三通道图；根据第一通道图、第二通道图和第三通道图，生成第二目标图像。可将第一通道图、第二通道图和第三通道图进行融合处理，得到第二目标图像。

本实施例中，第二清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度，在第二清晰度模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第二目标图像，能够将全色通道信息融合到原始图像中，使得生成信息更多、细节解析更清晰的第二目标图像，从而实现高清晰度、高功耗、低帧率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。

在一个实施例中，得到全尺寸全色通道图像后，经由双边滤波计算待生成的第二目标图像中各像素位置对应的像素值。双边滤波主要是将平坦区进行一个平滑的处理，处理过程如下表达式：

其中，Ω表示一个局部窗口，可以是7乘7的，也可以是其他大小。q表示像素的坐标位置，Iq表示滤波前窗口内的像素值。f表示9×9窗口每个坐标点的权重，是固定的，越靠近中心权重越大。g表示其他位置的像素与中心像素差异的权重，差异越大，权重越小。p为待求位置，Jp为某通道待求的像素值。

在以p为中心，Ω表示的局部窗口中，寻找待求通道的原有值的坐标q，Iq为其强度值，kp为待求通道的原有值的个数，Jp等于局部窗口Ω所有Iq加权平均值。通过f函数可计算出Iq对应的权重距离，通过g函数可计算每个Iq对应的强度差异权重，f函数是距离函数，越靠近中心权重越大；g是强度差异函数，强度差异越大，权重越小。

如图7所示，为一个实施例中三个通道经由双边滤波计算后整合输出为bayer格式的输出图像的示意图。基于全尺寸全色通道图702，采用双边滤波将原始图像704分别插值得到第一颜色感光像素的第一通道图706、第二颜色感光像素的第二通道图708、以及第三颜色感光像素的第三通道图710。将第一通道图706、第二通道图708和第三通道图710进行融合处理，得到第二目标图像712。

如图8所示，以R像素为例，待求R像素的像素位置为(i,j)，在原始图像中以像素位置(i,j)处作为中心的n×n的窗口802,基于上面的距离权重函数f算出n×n窗口802中的R像素的距离权重F，F为n×n的矩阵。在全尺寸全色通道图中以像素位置(i,j)处作为中心的n×n的窗口804,基于上面的强度差异函数g算出n×n窗口中的W像素的强度差异权重G。J为n×n的W像素窗口，I为n×n的R像素窗口，无R像素的地方，矩阵值为0。

对于每个n×n的窗口802中的各个R像素，计算各个R像素与(i,j)的R像素之间的距离权重F(可视为一个固定的权重模板)，确定各个R像素在窗口804对应的W像素，计算各个像素位置与(i,j)的W像素之间的强度差异权重G。HF为G与F的在R像素位置下的乘积权重，mosaicR为原有R像素的位置矩阵，则可按照以下公式计算出第二目标图像806中像素位置为(i,j)的R像素的像素值R(i,j)：

HF＝G.*F.*mosaicR

meanW＝sum(sum(HF.*J))

meanR＝sum(sum(HF.*I))

R(i,j)＝W(i,j)*meanR/meanW；

在一个实施例中，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像，包括：

遍历彩色像素对应的原始图像中各像素；在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息；基于彩色像素的纹理信息，得到彩色像素对应的插值权重，并根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像。

包含彩色像素的预设范围可以根据需要进行设置。例如，预设范围可以是以彩色像素为中心，10*10的矩形窗口的范围。又如，预设范围可以是以彩色像素为中心，8*8的矩形窗口的范围。当然，预设范围也可以不以彩色像素为中心，如彩色像素可以在预设范围的上方区域、下方区域、左方区域、右方区域中的至少一种。

在彩色通道图中采用滑窗遍历各像素是否为彩色像素，由于滤光片阵列中彩色滤光片224的位置是周期变化的，故可以根据周期变化的规律确定当前像素是否为通过彩色滤光片224得到的彩色像素。

在每次遍历中，电子设备在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素不仅可以获取到彩色像素本身的信息，还可以获取到彩色像素临近区域的像素的信息，可以更准确地确定彩色像素的纹理信息。基于彩色像素的纹理信息，计算原始图像中彩色像素位置的彩色像素对应的插值权重，根据彩色像素的插值权重能够将该彩色像素准确插值为对应的全色像素，直至将原始图像中的每个彩色像素均插值为对应的全色像素时完成遍历，从而能够准确得到全尺寸全色通道图像。

在一个实施例中，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息，包括：确定包含彩色像素的预设范围内各像素之间的离散程度；若离散程度小于离散阈值，则彩色像素处于平坦区；若离散程度大于或等于离散阈值，则彩色像素处于纹理区。其中，离散阈值可以根据需要进行设置。

包含彩色像素的预设范围内各像素之间的离散程度越大，表示各像素之间的差异越大，可以认为预设范围内存在强纹理，则彩色像素处于纹理区。

可选地，电子设备可以通过确定包含彩色像素的预设范围内各像素的方差，通过方差表示离散程度；电子设备也可以通过确定包含彩色像素的预设范围内各像素的标准差，通过标准差表示离散程度；还可以通过其他方式表示离散程度，在此不做限定。方差(var)在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。标准差(StandardDeviation)能反映一个数据集的离散程度。

在一个实施例中，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息，包括：

确定包含彩色像素的预设范围内各像素的方差；若方差小于预设阈值，则彩色像素处于平坦区；若方差大于或等于预设阈值，则彩色像素处于纹理区。

预设阈值可以根据需要进行设置。平坦区是存在弱纹理或者不存在纹理的区域。纹理区是存在强纹理的区域。

若方差小于预设阈值，表示预设范围内各像素的离散程度较小，可以认为彩色像素所处的预设范围的纹理较弱或者无纹理，则彩色像素处于平坦区。若方差大于或等于预设阈值，表示预设范围内各像素的离散程度较大，可以认为彩色像素所处的预设范围的纹理较强，则彩色像素处于纹理区。

在一个实施例中，可确定包含彩色像素的预设范围内各全色像素的方差。可确定包含该彩色像素的预设范围内的各全色像素，对该彩色像素和各全色像素求像素均值，计算彩色像素的像素值和该像素均值的差值的平方值，以及分别计算每个全色像素的像素值和该像素均值的差值的平方值。确定该彩色像素和各全色像素对应的第一像素数量，将各平方值之和与该第一像素数量的比值作为方差。该第一像素数量为该彩色像素和预设范围内的各全色像素的数量之和。

在一个实施例中，可以确定包含彩色像素的预设范围内各全色像素和各彩色像素的方差。

可确定包含该彩色像素的预设范围内的各全色像素和各彩色像素，对各彩色像素和各全色像素求像素均值，分别计算每个彩色像素的像素值和该像素均值的差值的平方值，以及分别计算每个全色像素的像素值和该像素均值的差值的平方值。确定各彩色像素和各全色像素对应的第二像素数量，将各平方值之和与该第二像素数量的比值作为方差。该第二像素数量为预设范围内的各彩色像素和各全色像素的数量之和。

例如，可以按照以下公式计算方差：

其中，x₁、x₂、x_n为像素值，可以是全色像素的像素值，也可以是彩色像素的像素值，M为像素均值，n为像素的数量，s²为方差。

在本实施例中，通过确定包含彩色像素的预设范围内各像素的方差，可以准确地确定出彩色像素的纹理信息。

在一个实施例中，基于彩色像素的纹理信息，得到彩色像素对应的插值权重，包括：

在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值；基于第一像素均值和第二像素均值之间的比例关系，得到彩色像素对应的插值权重。

第一像素均值是包含彩色像素的预设范围内各全色像素的像素均值。第二像素均值是包含彩色像素的预设范围内各彩色像素的像素均值。

具体地，在全色像素处于平坦区的情况下，电子设备将第一像素均值和第二像素均值之间的比例数值与该全色像素的像素值相乘，得到该彩色像素对应的插值权重。

在本实施例中，在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值，基于第一像素均值和第二像素均值之间的比例关系，可以准确地计算出原始图像中彩色像素位置的彩色像素对应的插值权重。

在一个实施例中，基于彩色像素的纹理信息，得到彩色像素对应的插值权重，包括：

在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向；基于彩色像素在目标纹理方向上的各关联像素，得到彩色像素对应的插值权重。

关联像素可以包括全色关联像素和彩色关联像素。全色关联像素是与该彩色像素具有关联关系的全色像素。彩色关联像素是与该彩色像素具有关联关系的彩色像素。

电子设备可以预先设置多个纹理方向，在全色像素处于纹理区的情况下，从多个纹理方向中选择彩色像素的目标纹理方向。纹理方向是对称或者非对称的，纹理方向的数量也可以根据需要进行设置。例如，纹理方向的数量可以是4个、8个，也可以是12个等，例如，纹理方向可以是水平方向、垂直方向、对角方向和反对角方向。

例如，在二维平面中每间隔90度设置一个纹理方向，可以得到4个纹理方向；在二维平面中每间隔45度设置一个纹理方向，可以得到8个纹理方向；在二维平面中每间隔22.5度设置一个纹理方向，可以得到12个纹理方向。

确定彩色像素的目标纹理方向，包括：确定彩色像素在各纹理方向上的梯度值；基于各纹理方向上的梯度值确定彩色像素的纹理方向。在一种实施方式中，电子设备可以将梯度值最小的纹理方向确定为彩色像素的纹理方向。在另一种实施方式中，电子设备可以将梯度值次小的纹理方向确定为彩色像素的纹理方向。在其他实施方式中，电子设备还可以采用其他的方式确定彩色像素的纹理方向。

关联像素是与彩色像素存在关联关系的像素。例如，关联关系可以是关联像素在彩色像素的纹理方向上，关联关系也可以是关联像素处在彩色像素的预设区域内，等等。例如关联像素处在彩色像素的上方区域、下方区域、左侧区域和右侧区域中的至少一种。

在彩色像素处于纹理区的情况下，电子设备确定彩色像素在各纹理方向上的关联像素，根据彩色像素在各纹理方向上的关联像素确定出彩色像素的目标纹理方向。基于彩色像素在目标纹理方向上的各关联像素，计算出该彩色像素对应的插值权重。按照相同的处理方式，可以计算出原始图像中每个彩色像素对应的插值权重。

本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向，基于彩色像素在目标纹理方向上的各关联像素，准确计算出各彩色像素对应的插值权重。

在一个实施例中，在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向，包括：

在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素；基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值；将各第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

在彩色像素处于纹理区的情况下，电子设备确定彩色像素在各纹理方向分别关联的全色关联像素。例如，电子设备确定该彩色像素在水平方向上关联的各全色关联像素，在垂直方向上关联的各全色关联像素，在对角线方向上关联的各全色关联像素，以及在反对角线方向上关联的各全色关联像素。

对于每个纹理方向上的全色关联像素，计算各全色关联像素的差值的绝对值之和，得到每个纹理方向分别对应的第一关联值。在各第一关联值中存在满足第一关联条件的第一关联值的情况下，将满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

第一关联条件可以是各第一关联值之间的差值大于预设差值，或者最小的第一关联值和次小的第一关联值之间的差值大于预设差值。

电子设备确定各第一关联值之间的差值是否大于预设差值，在各第一关联值之间的差值大于预设差值的情况下，将最小的第一关联值对应的纹理方向，作为彩色像素的目标纹理方向。

或者，电子设备确定各第一关联值中最小的第一关联值和次小的第一关联值，确定最小的第一关联值和次小的第一关联值之间的差值是否大于预设差值，在大于预设差值的情况下，将最小的第一关联值对应的纹理方向，作为彩色像素的目标纹理方向。

本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素，以通过与彩色像素关联的全色关联像素确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值，能够确定各全色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。

在一个实施例中，该方法还包括：在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值；将各第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，电子设备确定该彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素。

对于每个纹理方向上的全色关联像素和彩色关联像素，电子设备计算各全色关联像素的差值的绝对值，以及各彩色关联像素的差值的绝对值，对同一纹理方向的各绝对值求和。确定各全色关联像素和彩色关联像素的像素数量之和，绝对值求和后除以像素数量之和，得到该纹理方向对应的第二关联值，从而得到每个纹理方向分别对应的第二关联值。在各第二关联值中存在满足第二关联条件的第二关联值的情况下，将满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

第二关联条件可以是各第二关联值之间的差值大于预设差值，或者最小的第二关联值和次小的第二关联值之间的差值大于预设差值。可以理解的是，第一关联条件中的预设差值与第二关联条件中的预设差值可以相同，也可以不相同。

电子设备确定各第二关联值之间的差值是否大于预设差值，在各第二关联值之间的差值大于预设差值的情况下，将最小的第二关联值对应的纹理方向，作为彩色像素的目标纹理方向。

或者，电子设备确定各第二关联值中最小的第二关联值和次小的第二关联值，确定最小的第二关联值和次小的第二关联值之间的差值是否大于预设差值，在大于预设差值的情况下，将最小的第二关联值对应的纹理方向，作为彩色像素的目标纹理方向。

本实施例中，在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，表示仅使用全色关联像素无法准确确定该彩色像素的目标纹理方向，则确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素，以通过与彩色像素关联的全色关联像素、彩色关联像素共同确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值，使用的信息量多，所计算得到的关联值涵盖了更多的信息量，能够更准确确定全色关联像素、彩色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素、彩色关联像素所共同确定的与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。

图9为一个实施例中各纹理方向的关联像素的示意图。如图9所示，以10*10的像素窗口为例，展示了彩色像素(图中黑色圆点所在位置的像素)分别在水平方向、垂直方向、对角线方向和反对角线方向上的关联像素。该关联像素为图9中箭头所指向的全色关联像素。

对于水平方向的全色关联像素，计算各同一箭头所指向的两个全色关联像素的差值的绝对值，可得到两个绝对值。对水平方向的两个绝对值求和，得到水平方向对应的第一关联值。按照相同的处理方式，可得到垂直方向、对角线方向和反对角线方向分别对应的第一关联值。

在最小的第一关联值和次小的第一关联值之间的差值大于预设差值的情况下，将最小的第一关联值对应的纹理方向，作为彩色像素的目标纹理方向。

在最小的第一关联值和次小的第一关联值之间的差值不大于预设差值的情况下，使用如图10所示的关联像素确定彩色像素的目标纹理方向。图10中该彩色像素的关联像素包括全色关联像素和彩色关联像素。

对于水平方向的全色关联像素和彩色关联像素，计算各同一箭头所指向的两个全色关联像素的差值的绝对值，以及各同一箭头所指向的两个彩色关联像素的差值的绝对值，可得到多个绝对值。对水平方向的多个绝对值求和，求和后除以全色关联像素和彩色关联像素的像素数量之和，得到水平方向对应的第二关联值。按照相同的处理方式，可得到垂直方向、对角线方向和反对角线方向分别对应的第二联值。

在最小的第二关联值和次小的第二关联值之间的差值大于预设差值的情况下，将最小的第二关联值对应的纹理方向，作为彩色像素的目标纹理方向。

在彩色像素处于平坦区的情况下，或者在确定彩色像素的目标纹理方向后，通过如图11所示的各像素计算彩色像素C1对应的插值权重W_C1。

平坦区：W_C1＝0.5*C1*(W1+W2+W3+W4+W5+W6+W7+W8)/(C1+C2+C3+C4)，在彩色像素C1处于平坦区的情况下，求出图9中W1至W8的均值和C1至C4的均值，再将两个均值的比值与C1相乘，得到插值权重W_C1。

在确定彩色像素的目标纹理方向后，可按照以下方式计算彩色像素C1对应的插值权重W_C1：

水平方向DirH：W_C1＝(2*W8+W3)/3

垂直方向DirV：W_C1＝(2*W1+W6)/3

反对角线方向DirA：W_C1＝0.5*W2+0.5*W7

对角线方向DirD：W_C1＝(3*W1+3*W8+W4+W5)/8

遍历彩色像素对应的原始图像中各像素后，可得到每个彩色像素对应的插值权重，从而得到插值权重图。将插值权重图和原始图像进行融合处理，得到全尺寸全色通道图像。

如图12所示，在计算出彩色像素C1、C2、C3和C4分别对应的插值权重w1、w2、w3和w4后，可根据各个插值权重和原始图像中的相应像素值的强度比或强度差，重新分配，得到全尺寸全色通道图像。以w1’为例，计算当(C1+C2+C3+C4)的像素之和小于某个阈值时，可认为是低强度，例如(C1+C2+C3+C4)<100时触发低强度计算方式；当(C1+C2+C3+C4)的像素之和大于或等于某个阈值时，可认为是正常强度，则触发正常强度计算方式。

正常强度：w1’＝C1*(w1+w2+w3+w4)/(C1+C2+C3+C4)

低强度：w1’＝C1+0.25*(w1+w2+w3+w4)-0.25*(C1+C2+C3+C4)

按照相同方式，可计算出w2’、w3’和w4’，得到如图10中所示的部分全色图像图像，该部分全色通道图像中，彩色像素C1、C2、C3、C4已经被插值为全色像素。按照相同处理方式，可将原始图像中的彩色像素均插值为相应的全色像素，从而得到全尺寸的全色通道图像，即W通道图像，该全尺寸的全色通道图像的尺寸与原始图像的尺寸相同。

在一个实施例中，基于彩色像素在目标纹理方向上的各关联像素，得到彩色像素对应的插值权重，包括：

根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，得到彩色像素位置对应的插值权重。

电子设备确定该彩色像素的目标纹理方向后，根据该彩色像素在目标纹理方向关联的各全色关联像素，按照各全色关联像素之间的比例关系，计算出该彩色像素对应的插值权重。按照相同的处理方式遍历彩色像素对应的原始图像中各像素，遍历完成时可得到原始图像中每个彩色像素分别对应的插值权重。

本实施例中，根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，计算出该彩色像素对应的插值权重，不仅使用了彩色像素本身的信息，还使用到彩色像素临近区域的相关联的全色像素的信息，可以更准确地计算出彩色像素对应的插值权重。

如图13所示，提供了一种在第二清晰度模式下，使用全分辨率输出模式(Fullsize模式)生成第二目标图像的示意图。图13为通过Fullsize模式输出RGGB格式的插值算法处理流程图，即remosaic算法流程图。具体算法流程如下：第一、在R\G\B通道处的像素位置，参考周围像素的特性，插值计算出R\G\B像素位置处的W值。第二、对插值计算出的像素，参考同一Quad下原始R\G\B通道信息迭代优化插值结果，获得全尺寸W通道图像。第三、基于全尺寸的W通道图像，利用双边滤波，在特定位置上插值插出R通道、G通道和B通道，输出一张全尺寸的Bayer格式图像。在其他实施例中，该Remosaic算法恢复格式不仅限于RGGB\GRBR\BGGR\GBRG,修改图像传感器后也可以直接输出RGB图像。

在一个实施例中，如图14所示，提供了一种在第二清晰度模式下生成第二目标图像的流程示意图。

步骤1402，输入原始图像中的像素，执行步骤1404，判断像素中心位置是否为W像素，若是则跳转到下一个像素，若不是则执行步骤1406，即进入平坦区判断。

步骤1408，若判断为平坦区，则使用平坦区权重插值计算出输出值。步骤1410，若非平坦区则进入该区域的纹理方向判断，执行步骤1412，使用判定的纹理方向的关联像素进行插值计算得到像素对应的插值权重。步骤1414，基于插值权重和原始图像，输出全尺寸的W通道图。本实施例中，基于R\G\B像素在原始图像中的周围通道信息，将R\G\B像素位置插值出相应的W值，得到全尺寸的W通道图。

在一个实施例中，如图15所示，该方法还包括：

步骤1502，在第三清晰度模式下，根据滤光片组中的同一全色滤光片对应的多个全色像素合并读出的第一像素值和同一彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；彩色像素包括第一颜色感光像素、第二颜色感光像素和第三颜色感光像素。

第三清晰度模式是指中清晰度、中功耗、中帧率的一级像素合并读出模式，该第三清晰度模式对应的分辨率、功耗大于第一清晰度模式对应的分辨率、功耗。该第三清晰度模式对应的帧率大于第一清晰度模式对应的帧率。该第三清晰度模式对应的分辨率、功耗小于第二清晰度模式对应的分辨率、功耗，第三清晰度模式对应的帧率大于第二清晰度模式对应的帧率。第三清晰度模式具体可以是图像、视频拍摄的默认模式。

在接收到拍摄指令的情况下，检测用户是否选择所需使用的清晰度模式，是否使用预览拍摄、以及检测当前环境。在用户未选择所需使用的清晰度模式，未使用预览拍摄、且当前环境非夜景模式的情况下，使用第三清晰度模式响应该拍摄指令。

在第三清晰度模式下，电子设备通过滤光片阵列22透过的光线投射至像素点阵列23上，像素点阵列23用于接收穿过对应的滤光片阵列22的光线以生成电信号。该像素点阵列23包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片223的一个子滤光片，每个彩色像素对应彩色滤光片224的一个子滤光片。电子设备根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，得到第一合并图像。

进一步地，电子设备将滤光片组222中的同一全色滤光片223对应的多个全色像素合并以读出第一像素值，将同一第一滤光片对应的多个第一颜色感光像素合并读出相应的第二像素值、将同一第二滤光片对应的多个第二颜色感光像素合并读出相应的第二像素值，根据第一像素值和各第二像素值生成第一合并图像。

步骤1504，利用全色像素、第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的全色像素、第二颜色感光像素和第三颜色感光像素均插值为第一颜色感光像素，得到全排列第一通道图；全排列第一通道图中的像素均为第一颜色感光像素。

利用各全色像素分别在第一合并图像中的纹理信息，将第一合并图像中的各全色像素均插值为第一颜色感光像素，以及利用各第二颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的各第二颜色感光像素均插值为第一颜色感光像素，以及利用各第三颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的各第三颜色感光像素均插值为第一颜色感光像素，得到全排列第一通道图。全排列第一通道图中的像素均为第一颜色感光像素。

在一个实施例中，利用全色像素、第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的全色像素、第二颜色感光像素和第三颜色感光像素均插值为第一颜色感光像素，得到全排列第一通道图，包括：

利用全色像素在第一合并图像中的纹理信息，将第一颜色感光像素的第一合并通道图中对应于全色像素位置的像素插值为第一颜色感光像素，得到第一中间通道图；分别利用第二颜色感光像素、第三颜色感光像素在第一合并图像中提供的纹理信息，将第一中间通道图插值为全排列第一通道图。

电子设备按照相同类型的像素将第一合并图像拆解出第一合并通道图、第二合并通道图和第三合并通道。第一合并通道图包含第一颜色感光像素和空像素。空像素是无任何信息的像素。同样地，第二合并通道图包含第二颜色感光像素和空像素、第三合并通道图包含第三颜色感光像素和空像素。

第一中间通道图是在第一合并通道图中将全色像素位置的像素插值为第一颜色感光像素得到的通道图。

电子设备利用全色像素在第一合并图像中的纹理信息，在第一颜色感光像素的第一合并通道图中确定第一合并图像的全色像素位置的像素，将该像素插值为第一颜色感光像素，直到对第一合并通道图中各个全色像素位置的像素均插值为第一颜色感光像素，得到第一中间通道图。

电子设备分别利用各第二颜色感光像素在第一合并图像中提供的纹理信息，在第一中间通道图中确定第一合并图像中第二颜色感光像素位置的像素，将该像素插值为第一颜色感光像素，在第一中间通道图中确定第一合并图像中第三颜色感光像素位置的像素，将该像素插值为第一颜色感光像素，直到对第一中间通道图中各第二颜色感光像素位置的像素、各第三颜色感光像素位置的像素均插值为第一颜色感光像素，得到全排列第一通道图。

步骤1506，通过全排列第一通道图，以及第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，对第一合并图像进行插值，得到局部排列第二通道图和局部排列第三通道图；局部排列第二通道图与第二颜色感光像素对应，局部排列第三通道图与第三颜色感光像素对应。

通过全排列第一通道图，以及第二颜色感光像素在第一合并图像中的纹理信息，对第一合并图像中的第二颜色感光像素进行插值，得到局部排列第二通道图。通过全排列第一通道图，以及第三颜色感光像素在第一合并图像中的纹理信息，对第一合并图像中的第三颜色感光像素进行插值，得到局部排列第三通道图。其中，第二颜色感光像素对应的局部排列第二通道图中的各个第二颜色感光像素间隔排列，第三颜色感光像素的局部排列第三通道图中的各个第三颜色感光像素间隔排列。

在一个实施例中，基于全排列第一通道图，以及第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，采用联合双边滤波将第一合并图像插值得到局部排列第二通道图和局部排列第三通道图。双边滤波基本原理是根据特定像素与中心像素位置的关系进行加权，再将两者进行相除得到比值关系，最后将对应像素的像素值根据比值关系进行转换得到。

在一个实施例中，通过全排列第一通道图，以及第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，对第一合并图像进行插值，得到局部排列第二通道图和局部排列第三通道图，包括：通过全排列第一通道图，以及第二颜色感光像素在第一合并图像中的纹理信息，对第二颜色感光像素的第二合并通道图进行插值，得到局部排列第二通道图；通过全排列第一通道图，以及第三颜色感光像素在第一合并图像中的纹理信息，对第三颜色感光像素的第三合并通道图进行插值，得到局部排列第三通道图。

通过全排列第一通道图，以及第二颜色感光像素在第一合并图像中的纹理信息，对第二颜色感光像素的第二合并通道图进行插值，得到局部排列第二通道图。例如，第二颜色感光像素为红色像素，则通过全排列第一通道图和红色像素在第一合并图像中的纹理信息，对红色像素的第二合并通道图进行插值，得到红色像素的局部排列第二通道图。其中，红色像素的局部排列第二通道图中的各个红色像素间隔排列。

通过全排列第一通道图，以及第三颜色感光像素在第一合并图像中的纹理信息，对第三颜色感光像素的第三合并通道图进行插值，得到局部排列第三通道图。例如，第三颜色感光像素为蓝色像素，则通过全排列第一通道图和蓝色像素在第一合并图像中的纹理信息，对蓝色像素的第三合并通道图进行插值，得到蓝色像素的局部排列第三通道图。其中，蓝色像素的局部排列第三通道图中的各个蓝色像素间隔排列。

步骤1508，基于全排列第一通道图、局部排列第二通道图和局部排列第三通道图，生成第三目标图像；第三清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度。

第三目标图像是基于全排列第一通道图、局部排列第二通道图和局部排列第三通道图生成的，即第三目标图像中包含第一颜色感光像素、第二颜色感光像素和第三颜色感光像素。例如，全排列第一通道图是全排列G(Green，绿色)通道图，局部排列第二通道图是局部排列R(Red，红色)通道图，局部排列第三通道图是局部排列B(Blue，蓝色)通道图，则基于全排列G通道图、局部排列R通道图和局部排列B通道图，可以生成RGB目标图像。

在一种实施方式中，电子设备可以将全排列第一通道图、局部排列第二通道图、局部排列第三通道图进行组合，生成第三目标图像。

在另一种实施方式中，第三目标图像可以是拜耳阵列图像；电子设备依次从待生成的拜耳阵列图像中确定当前位置所需像素；从全排列第一通道图、局部排列第二通道图或局部排列第三通道图的对应位置处，提取像素作为待生成的拜耳阵列图像中当前位置的像素，直至提取到待生成的拜耳阵列图像中所有位置的像素，得到目标图像。

从全排列第一通道图、局部排列第二通道图或局部排列第三通道图的对应位置处，提取像素作为待生成的拜耳阵列图像中当前位置的像素，包括：依据待生成的拜耳阵列图像中当前位置所需像素，从全排列第一通道图、局部排列第二通道图或局部排列第三通道图中确定所需通道图；从所需通道图的对应位置处，提取像素作为待生成的拜耳阵列图像中当前位置的像素。

上述图像生成方法，在第三清晰度模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像所需消耗的功耗低。全色像素具有更高的信噪比，利用全色像素在第一合并图像中的纹理信息，从而更准确地插值出全排列第一通道图，并且该全排列第一通道图也具有更高的信噪比；再通过全排列第一通道图分别插值得到局部排列第二通道图和局部排列第三通道图，最终基于信噪比更高的全排列第一通道图、局部排列第二通道图和局部排列第三通道图，可以生成信息更多、细节解析更清晰的第三目标图像。

在一个实施例中，提供了一种图像生成方法，应用于图像传感器，图像传感器包括滤光片阵列22和像素点阵列23，滤光片阵列22包括最小重复单元231，最小重复单元231包括多个滤光片组222，滤光片组222包括彩色滤光片224和全色滤光片223，彩色滤光片224具有比全色滤光片223的更窄的光谱响应，彩色滤光片224和全色滤光片223均包括4个子滤光片；像素点阵列23包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片223的一个子滤光片，每个彩色像素对应彩色滤光片224的一个子滤光片；

该方法包括：

在第一清晰度模式下，电子设备根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，得到第一合并图像。

电子设备将第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像，将在第二对角线方向上的多个彩色像素合并，得到彩色图像；第一对角线方向不同于第二对角线方向。

遍历待生成的拜耳阵列图像中的像素位置，根据全色图像中对应于像素位置的全色像素，以及彩色图像中对应于像素位置的彩色像素，确定待生成的拜耳阵列图像中像素位置的像素，直至得到待生成的拜耳阵列图像中所有像素位置的像素后，得到第一目标图像。

在第二清晰度模式下，电子设备遍历彩色像素对应的原始图像中各像素。

在确定原始图像的当前像素为彩色像素的情况下，电子设备确定包含彩色像素的预设范围内各像素的方差。

若方差小于预设阈值，则彩色像素处于平坦区；若方差大于或等于预设阈值，则彩色像素处于纹理区。

在彩色像素处于平坦区的情况下，电子设备确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值；基于第一像素均值和第二像素均值之间的比例关系，确定彩色像素对应的插值权重。

在彩色像素处于纹理区的情况下，电子设备确定彩色像素在各纹理方向分别关联的全色关联像素；基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值；将各第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，电子设备确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值；将各第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

电子设备根据彩色像素在目标纹理方向关联的全色关联像素，对原始图像中的彩色像素进行插值处理，得到彩色像素对应的插值权重。

根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像；全尺寸全色通道图中的像素均为全色像素。

电子设备基于全尺寸全色通道图和原始图像生成第二目标图像；第二清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度。

在第三清晰度模式下，电子设备根据滤光片组222中的同一全色滤光片223对应的多个全色像素合并读出的第一像素值和同一彩色滤光片224对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；彩色像素包括第一颜色感光像素、第二颜色感光像素和第三颜色感光像素。

利用各全色像素分别在第一合并图像中的纹理信息，将第一合并图像中的各全色像素均插值为第一颜色感光像素，以及利用各第二颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的各第二颜色感光像素均插值为第一颜色感光像素，以及利用各第三颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的各第三颜色感光像素均插值为第一颜色感光像素，得到全排列第一通道图；全排列第一通道图中的像素均为第一颜色感光像素。

通过全排列第一通道图，以及第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，对第一合并图像进行插值，得到局部排列第二通道图和局部排列第三通道图；局部排列第二通道图与第二颜色感光像素对应，局部排列第三通道图与第三颜色感光像素对应。

电子设备基于全排列第一通道图、局部排列第二通道图和局部排列第三通道图，生成第三目标图像，第三清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度，第三清晰度模式对应的清晰度小于第二清晰度模式对应的清晰度。

本实施例中，提供了三种清晰度模式，能够适配不同的场景。在预览、夜景拍摄等分辨率要求较低的场景下使用第一清晰度模式下，根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像消耗的功耗低。将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在不同于第一对角线方向的第二对角线方向上的多个彩色像素合并，使得所得到第一目标图像进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。

在对分辨率要求比较高的场景下使用第二清晰度模式，利用彩色像素在原始图像中的纹理信息，计算该彩色像素对应的插值权重，从而根据插值权重将该彩色像素插值为全色像素，按照相同的处理方式，可得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第二目标图像，能够将全色通道信息融合到原始图像中，使得生成信息更多、细节解析更清晰的第二目标图像，从而实现高清晰度、高功耗、低帧率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。

在一般场景下使用第三清晰度模式，根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像所需消耗的功耗低。全色像素具有较高的信噪比，利用全色像素在第一合并图像中的纹理信息，从而更准确地插值出全排列第一通道图，并且该全排列第一通道图也具有较高的信噪比，再通过全排列第一通道图分别插值得到局部排列第二通道图和局部排列第三通道图，最终基于信噪比较高的全排列第一通道图、局部排列第二通道图和局部排列第三通道图，可以实现中清晰度、中功耗、中帧率的第三目标图像。

应该理解的是，虽然图2-图15的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图15中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图16为一个实施例的图像生成装置的结构框图。如图16所示，该图像生成装置，应用于图像传感器，图像传感器包括滤光片阵列和像素点阵列23，滤光片阵列包括最小重复单元231，最小重复单元231包括多个滤光片组222，滤光片组222包括彩色滤光片224和全色滤光片223，彩色滤光片224具有比全色滤光片223的更窄的光谱响应，彩色滤光片224和全色滤光片223均包括4个子滤光片；像素点阵列23包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片223的一个子滤光片，每个彩色像素对应彩色滤光片224的一个子滤光片；

该图像生成装置1600包括：

第一合并模块1602，用于在第一清晰度模式下，根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；

生成模块1604，用于将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在第二对角线方向上的多个彩色像素合并，得到第一目标图像；第一对角线方向不同于第二对角线方向。

本实施例中，图像传感器包括滤光片阵列22和像素点阵列23，滤光片阵列22包括最小重复单元231，最小重复单元231包括多个滤光片组222，滤光片组222包括彩色滤光片224和全色滤光片223，彩色滤光片224具有比全色滤光片223的更窄的光谱响应，彩色滤光片224和全色滤光片223均包括4个子滤光片，像素点阵列23包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片223的一个子滤光片，每个彩色像素对应彩色滤光片224的一个子滤光片，在对分辨率要求较低的场景下使用第一清晰度模式，根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像消耗的功耗低。将第一合并图像中在第一对角线方向上的多个全色像素合并，并将在不同于第一对角线方向的第二对角线方向上的多个彩色像素合并，使得所得到第一目标图像进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。

在一个实施例中，该生成模块1604，还用于将第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像；将在第二对角线方向上的多个彩色像素合并，得到彩色图像；根据全色图像和彩色图像生成第一目标图像。

本实施例中，将第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像，将在第二对角线方向上的多个彩色像素合并，得到彩色图像，多合一的像素读出方式使得生成的图像噪声少，而全色通道的进光量更大，全色像素具有更高的信噪比，根据全色图像和彩色图像生成第一目标图像，能够利用信噪比更高的区域融合彩色图像，使得成像质量更高。

在一个实施例中，该生成模块1604，还用于遍历待生成的第一目标图像中的像素位置，根据全色图像中对应于像素位置的全色像素，以及彩色图像中对应于像素位置的彩色像素，确定待生成的第一目标图像中像素位置的像素，直至得到待生成的第一目标图像中所有像素位置的像素后，得到第一目标图像。

本实施例中，遍历待生成的第一目标图像中的像素位置，根据全色图像中对应于像素位置的全色像素，以及彩色图像中对应于像素位置的彩色像素，确定待生成的第一目标图像中像素位置的像素，直至得到待生成的第一目标图像中所有像素位置的像素后，能够将高信噪比的全色通道的信息量带入第一目标图像中，从而准确生成第一目标图像。

在一个实施例中，该装置还包括：插值模块；该插值模块，用于在第二清晰度模式下，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；全尺寸全色通道图中的像素均为全色像素。

生成模块1604，还用于基于全尺寸全色通道图和原始图像生成第二目标图像；第二清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度。

本实施例中，第二清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度，在第二清晰度模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第二目标图像，能够将全色通道信息融合到原始图像中，使得生成信息更多、细节解析更清晰的第二目标图像，从而实现高清晰度、高功耗、低帧率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。

在一个实施例中，生成模块1604，还用于基于全尺寸全色通道图，采用双边滤波将原始图像分别插值得到第一颜色感光像素的第一通道图、第二颜色感光像素的第二通道图、以及第三颜色感光像素的第三通道图；根据第一通道图、第二通道图和第三通道图，生成第二目标图像。

在一个实施例中，该插值模块，还用于遍历彩色像素对应的原始图像中各像素；在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息；基于彩色像素的纹理信息，得到彩色像素对应的插值权重，并根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像。

在每次遍历中，电子设备在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素不仅可以获取到彩色像素本身的信息，还可以获取到彩色像素临近区域的像素的信息，可以更准确地确定彩色像素的纹理信息。基于彩色像素的纹理信息，得到彩色像素对应的插值权重，并根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像，从而更准确地得到全尺寸全色通道图像。

在一个实施例中，该插值模块，还用于确定包含彩色像素的预设范围内各像素的方差；若方差小于预设阈值，则彩色像素处于平坦区；若方差大于或等于预设阈值，则彩色像素处于纹理区。

在本实施例中，通过确定包含彩色像素的预设范围内各像素的方差，可以准确地确定出彩色像素的纹理信息。

在一个实施例中，该插值模块，还用于在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值；基于第一像素均值和第二像素均值之间的比例关系，得到彩色像素对应的插值权重。

在本实施例中，在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值，基于第一像素均值和第二像素均值之间的比例关系，可以准确地计算出原始图像中彩色像素位置的彩色像素对应的插值权重。

在一个实施例中，该插值模块，还用于在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向；基于彩色像素在目标纹理方向上的各关联像素，得到彩色像素对应的插值权重。

本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向，基于彩色像素在目标纹理方向上的各关联像素，准确计算出各彩色像素对应的插值权重。

在一个实施例中，该插值模块，还用于在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素；基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值；将各第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素，以通过与彩色像素关联的全色关联像素确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值，能够确定各全色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。

在一个实施例中，该插值模块，还用于在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值；将各第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。

本实施例中，在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素，以通过与彩色像素关联的全色关联像素、彩色关联像素共同确定彩色像素的目标纹理方向。

在一个实施例中，该插值模块，还用于根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，得到彩色像素位置对应的插值权重。

本实施例中，根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，不仅使用了彩色像素本身的信息，还使用到彩色像素临近区域的相关联的全色像素的信息，可以更准确地确定计算出彩色像素位置对应的插值权重。

在一个实施例中，该装置还包括：插值模块；第一合并模块1602，还用于在第三清晰度模式下，根据滤光片组222中的同一全色滤光片223对应的多个全色像素合并读出的第一像素值和同一彩色滤光片224对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；彩色像素包括第一颜色感光像素、第二颜色感光像素和第三颜色感光像素；

该插值模块，还用于利用全色像素、第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，将第一合并图像中的全色像素、第二颜色感光像素和第三颜色感光像素均插值为第一颜色感光像素，得到全排列第一通道图；全排列第一通道图中的像素均为第一颜色感光像素；通过全排列第一通道图，以及第二颜色感光像素和第三颜色感光像素在第一合并图像中的纹理信息，对第一合并图像进行插值，得到局部排列第二通道图和局部排列第三通道图；局部排列第二通道图与第二颜色感光像素对应，局部排列第三通道图与第三颜色感光像素对应；

生成模块1604，还用于基于全排列第一通道图、局部排列第二通道图和局部排列第三通道图，生成第三目标图像；第三清晰度模式对应的清晰度大于第一清晰度模式对应的清晰度。

在第三清晰度模式下，根据滤光片组222中的全色滤光片223对应的多个全色像素合并读出的第一像素值，以及彩色滤光片224对应的多个彩色像素合并读出的第二像素值，使得所生成的第一合并图像尺寸减小、生成图像所需消耗的功耗低。全色像素具有更高的信噪比，利用全色像素在第一合并图像中的纹理信息，从而更准确地插值出全排列第一通道图，并且该全排列第一通道图也具有更高的信噪比；再通过全排列第一通道图分别插值得到局部排列第二通道图、局部排列第三通道图，最终基于信噪比更高的全排列第一通道图、局部排列第二通道图和局部排列第三通道图，可以生成信息更多、细节解析更清晰的第三目标图像。

上述图像生成装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像生成装置按照需要划分为不同的模块，以完成上述图像生成装置的全部或部分功能。

关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定，在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图17为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。

本申请实施例中提供的图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像生成方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像生成方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像生成方法，应用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素点阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括4个子滤光片；所述像素点阵列包括多个全色像素和多个彩色像素，每个所述全色像素对应所述全色滤光片的一个所述子滤光片，每个所述彩色像素对应所述彩色滤光片的一个所述子滤光片；

所述方法包括：

在第一清晰度模式下，根据所述滤光片组中的所述全色滤光片对应的多个全色像素合并读出的第一像素值，以及所述彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；

将所述第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像；

将在第二对角线方向上的多个彩色像素合并，得到彩色图像；所述第一对角线方向不同于所述第二对角线方向；

根据所述全色图像和所述彩色图像生成第一目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述全色图像和所述彩色图像生成第一目标图像，包括：

遍历待生成的第一目标图像中的像素位置，根据所述全色图像中对应于所述像素位置的全色像素，以及所述彩色图像中对应于所述像素位置的彩色像素，得到所述待生成的第一目标图像中像素位置的像素，直至得到所述待生成的第一目标图像中所有像素位置的像素后，得到第一目标图像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在第二清晰度模式下，利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；

基于所述全尺寸全色通道图和所述原始图像生成第二目标图像；所述第二清晰度模式对应的清晰度大于所述第一清晰度模式对应的清晰度。

4.根据权利要求3所述的方法，其特征在于，所述利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像，包括：

遍历所述彩色像素对应的原始图像中各像素；

在确定所述原始图像的当前像素为彩色像素的情况下，基于包含所述彩色像素的预设范围内各像素确定所述彩色像素的纹理信息；

基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，并根据所述彩色像素的插值权重将所述彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像。

5.根据权利要求4所述的方法，其特征在于，所述基于包含所述彩色像素的预设范围内各像素确定所述彩色像素的纹理信息，包括：

确定包含所述彩色像素的预设范围内各像素的方差；

若所述方差小于预设阈值，则所述彩色像素处于平坦区；

若所述方差大于或等于所述预设阈值，则所述彩色像素处于纹理区。

6.根据权利要求5所述的方法，其特征在于，所述基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，包括：

在所述彩色像素处于平坦区的情况下，确定包含所述彩色像素的预设范围内各全色像素的第一像素均值，以及所述预设范围内各所述彩色像素的第二像素均值；

基于所述第一像素均值和所述第二像素均值之间的比例关系，得到所述彩色像素对应的插值权重。

7.根据权利要求5所述的方法，其特征在于，所述基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，包括：

在所述彩色像素处于纹理区的情况下，确定所述彩色像素的目标纹理方向；

基于所述彩色像素在所述目标纹理方向上的各关联像素，得到所述彩色像素对应的插值权重。

8.根据权利要求7所述的方法，其特征在于，所述在所述彩色像素处于纹理区的情况下，确定所述彩色像素的目标纹理方向，包括：

在所述彩色像素处于纹理区的情况下，确定所述彩色像素在各纹理方向分别关联的全色关联像素；

基于各所述纹理方向分别关联的全色关联像素，确定所述彩色像素在各所述纹理方向分别对应的第一关联值；

将各所述第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为所述彩色像素的目标纹理方向；所述第一关联条件表示各所述第一关联值之间的差值大于预设差值，或表示最小的第一关联值和次小的第一关联值之间的差值大于所述预设差值。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在所述彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定所述彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；

基于各所述纹理方向分别关联的全色关联像素和彩色关联像素，确定所述彩色像素在各所述纹理方向分别对应的第二关联值；

将各所述第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为所述彩色像素的目标纹理方向；所述第二关联条件表示各所述第二关联值之间的差值大于预设差值，或表示最小的第二关联值和次小的第二关联值之间的差值大于所述预设差值。

10.根据权利要求8或9所述的方法，其特征在于，所述基于所述彩色像素在所述目标纹理方向上的各关联像素，得到所述彩色像素对应的插值权重，包括：

根据所述彩色像素在所述目标纹理方向关联的全色关联像素之间的比例关系，得到所述彩色像素对应的插值权重。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在第三清晰度模式下，根据所述滤光片组中的同一全色滤光片对应的多个全色像素合并读出的第一像素值和同一彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；所述彩色像素包括第一颜色感光像素、第二颜色感光像素和第三颜色感光像素；

利用所述全色像素、所述第二颜色感光像素和所述第三颜色感光像素在所述第一合并图像中的纹理信息，将所述第一合并图像中的全色像素、第二颜色感光像素和第三颜色感光像素均插值为第一颜色感光像素，得到全排列第一通道图；所述全排列第一通道图中的像素均为第一颜色感光像素；

通过所述全排列第一通道图，以及所述第二颜色感光像素和所述第三颜色感光像素在所述第一合并图像中的纹理信息，对所述第一合并图像进行插值，得到局部排列第二通道图和局部排列第三通道图；所述局部排列第二通道图与所述第二颜色感光像素对应，所述局部排列第三通道图与所述第三颜色感光像素对应；

基于所述全排列第一通道图、所述局部排列第二通道图和所述局部排列第三通道图，生成第三目标图像；所述第三清晰度模式对应的清晰度大于所述第一清晰度模式对应的清晰度。

12.一种图像生成装置，应用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素点阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括4个子滤光片；所述像素点阵列包括多个全色像素和多个彩色像素，每个所述全色像素对应所述全色滤光片的一个所述子滤光片，每个所述彩色像素对应所述彩色滤光片的一个所述子滤光片；

所述装置包括：

第一合并模块，用于在第一清晰度模式下，根据所述滤光片组中的所述全色滤光片对应的多个全色像素合并读出的第一像素值，以及所述彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第一合并图像；

生成模块，用于将所述第一合并图像中在第一对角线方向上的多个全色像素合并，得到全色图像；将在第二对角线方向上的多个彩色像素合并，得到彩色图像；所述第一对角线方向不同于所述第二对角线方向；根据所述全色图像和所述彩色图像生成第一目标图像。

13.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法的步骤。