CN113556519A - 图像处理方法、电子设备和非易失性计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、电子设备和可读存储介质。该图像处理方法应用于电子设备，电子设备包括图像传感器。图像传感器包括像素阵列，像素阵列包括重复排列的最小重复单元。最小重复单元包括至少两个彩色像素组和至少两个全色像素组。彩色像素组包括至少四个彩色像素，全色像素组包括至少四个全色像素。彩色像素包括彩色滤光片，全色像素包括全色滤光片。至少一个彩色像素组和至少一个全色像素组共同构成像素阵列的最小重复单元。该图像处理方法包括：获取相机应用的使用状态，根据相机应用的使用状态，采用一种图像处理模式。图像处理模式包括一级合并模式和二级合并模式。本申请既节省了功耗，又满足了用户对清晰度的需求。

Description

图像处理方法、电子设备和非易失性计算机可读存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种图像处理方法、电子设备和非易失性计算机可读存储介质。

背景技术

随着电子设备市场的普及和使用程度的增加，图像处理技术对于电子设备而言愈发重要。目前的图像处理技术功耗较高，若对图像压缩处理以节省功耗，清晰度又难以满足用户使用需要。因此，需要一种图像处理技术解决上述问题。

发明内容

本申请提供一种图像处理方法、电子设备和非易失性计算机可读存储介质，以在满足用户清晰度需求的情况下降低图像处理的功耗。

本申请提供的一种图像处理方法，应用于电子设备。

该电子设备包括图像传感器。该图像传感器包括像素阵列，像素阵列包括重复排列的最小重复单元。最小重复单元包括至少两个彩色像素组和至少两个全色像素组。彩色像素组包括至少四个彩色像素，全色像素组包括至少四个全色像素。彩色像素包括彩色滤光片，全色像素包括全色滤光片。

该图像处理方法包括，根据相机应用的使用状态，采用一种图像处理模式，相机应用的使用状态包括预览状态，拍照状态和视频状态，图像处理模式包括：

一级合并模式，包括，读取像素阵列的像素值，合并彩色像素组内的所有彩色像素的像素值，作为彩色像素组的像素值，合并全色像素组内的所有全色像素的像素值，作为全色像素组的像素值，根据彩色像素组的像素值和全色像素组的像素值形成一级像素阵列，将一级像素阵列转换为拜尔阵列；

二级合并模式，包括，读取像素阵列的像素值，合并最小重复单元内的所有彩色像素的像素值，作为最小重复单元的彩色像素值，合并最小重复单元内的所有全色像素的像素值，作为最小重复单元的全色像素值，根据最小重复单元的彩色像素值和最小重复单元的全色像素值形成二级像素阵列，将二级像素阵列转换为拜尔阵列。

本申请还提供一种电子设备，电子设备包括图像传感器和处理器。

图像传感器包括像素阵列，像素阵列包括重复排列的最小重复单元，最小重复单元包括至少两个彩色像素组和至少两个全色像素组，彩色像素组包括至少四个彩色像素，全色像素组包括至少四个全色像素，彩色像素包括彩色滤光片，全色像素包括全色滤光片。

处理器用于执行上述图像处理方法。

本申请还提供另一种电子设备，包括图像获取模块和图像处理模块。

图像获取模块包括像素阵列，像素阵列包括重复排列的最小重复单元，最小重复单元包括至少两个彩色像素组和至少两个全色像素组，彩色像素组包括至少四个彩色像素，全色像素组包括至少四个全色像素，彩色像素包括彩色滤光片，全色像素包括全色滤光片。

图像处理模块用于执行上述图像处理方法。

本申请还提供一种非易失性计算机可读存储介质，当计算机程序被一个或多个处理器执行时，使得处理器执行上述图像处理方法。

上述的一种图像处理方法、电子设备和非易失性计算机可读存储介质，可以根据相机应用不同的使用状态，选择不同的图像处理模式。在使用一级合并模式时，功耗减少，清晰度仍然较高。在使用二级合并模式时，功耗大幅降低，清晰度下降。而在相机应用不同使用状态下，用户对清晰度和功耗的需求不尽相同。因此，可以在高功耗相机应用状态、低清晰度需求下，采用二级合并模式大幅节省功耗，在较低功耗相机应用状态、较高清晰度需求下，采用一级合并模式提供更为清晰的图像。从而既满足了用户对清晰度的使用需求，又大幅节省了功耗。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施方式中所需要使用的附图作简单得介绍，显而易见的，下面描述中的附图是本申请一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的一种电子装置的内部结构示意图；

图2是本申请提供的一种像素阵列示意图；

图3是本申请提供的又一种像素阵列示意图；

图4是本申请提供的像素阵列中的最小重复单元示意图；

图5是本申请提供的一种全分辨率模式的流程图；

图6是本申请提供的一种一级合并模式的流程图；

图7是本申请提供的一种二级合并模式的流程图；

图8是本申请提供的又一种电子设备的内部结构示意图；

图9是本申请提供的一种图像处理方法的方框图；

图10是本申请提供的另一种图像处理方法的方框图；

图11是本申请提供的再一种图像处理方法的方框图；

图12是本申请提供的又一种图像处理方法的方框图；

图13是本申请提供的又一种图像处理方法的方框图；

图14是本申请提供的又一种图像处理方法的方框图；

图15是本申请提供的又一种图像处理方法的方框图；

图16是本申请提供的又一种图像处理方法的方框图；

图17是本申请提供的又一种图像处理方法的方框图；

图18是本申请提供的又一种图像处理方法的方框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前电子设备上的图像处理模式通常比较单一。若图像处理模式选择输出高清晰度的图像，则该图像处理模式功耗会较高。若图像处理模式选择输出低清晰度的图像以节省功耗，则该图像处理模式输出的低清晰度图像又无法满足用户的需求。而在实际使用中，用户对清晰度和功耗的要求不是一成不变的。例如，在预览时，就不需要非常高清晰度的图像，同时由于预览画面的实时显示，反而更需要一种低功耗的图像处理模式。而如果在拍摄细节较多的图像时(如草地)，此时用户更需要高清晰度的图像，图像处理的低功耗要求此时相对次要。因此，需要一种图像处理技术，可以根据用户不同的使用场景，调整不同的图像处理模式，从而既满足了用户对图像清晰度的要求，又节省了图像处理的功耗。

针对上述问题，发明人提出了本申请实施例提供的图像处理方法、电子设备和非易失性计算机可读存储介质，可以实现对于不同使用场景，采用不同图像处理模式，从而既满足用户对图像清晰度的需求，又节省图像处理的功耗。其中，具体的图像处理方法在后续的实施例中进行详细的说明。

请参照图1，其示出了本申请提供的一种电子设备10，该电子设备10包括图像传感器100和处理器200。进一步的，电子设备10上还可以包括色温传感器300和光线传感器400。

电子设备10包括移动终端，可穿戴式设备，平板电脑，智能电视，台式电脑，智能手机，智能汽车，照相机等任意电子设备，本申请对此不做限定。

请参见图2和图3，图像传感器100包括像素阵列110。像素阵列110包括重复排列的最小重复单元1166。最小重复单元1166包括至少两个彩色像素组1164和至少两个全色像素组1162。彩色像素组1166包括至少四个彩色像素，全色像素组1162包括至少四个全色像素。彩色像素(R,G,B)包括彩色滤光片，全色像素包括全色滤光片(W)。彩色滤光片和全色滤光片共同构成滤光片112，彩色像素和全色像素共同构成像素层114。

图像传感器100是一种将光学信号转换成电子信号的设备，包括电荷耦合元件(Charge Coupled Device，CCD)图像传感器和金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)图像传感器。图像传感器100包括像素阵列110。

像素阵列110是指像素以阵列的形式排布在图像传感器100上。阵列可以有多种形状，例如矩形阵列，菱形阵列，三角形阵列等。像素阵列110可以接收光信号，并将光信号转换为电信号。像素阵列110包括彩色像素和全色像素。

拜尔(Bayer)阵列是一种常见的像素阵列的排布方式，拜尔阵列的奇数列(或偶数列)包含交错的红色及绿色像素，而其偶数列(或奇数列)包含交错的绿色及蓝色像素。由于人类眼睛对绿色光线较敏感，因此绿色滤镜的数目为红色或蓝色滤镜的二倍，因此也称做RGBG，GRGB或者RGGB。由于其是平台图像处理芯片240进行图像处理的标准处理格式，因此需要将非拜尔阵列排布的像素阵列110的像素值转换为拜尔阵列，即将各像素的像素值转换为拜尔阵列格式的数据值，以供平台图像处理芯片240处理。

彩色像素是指用于接收彩色光线(例如：红光、绿光、蓝光)并将光信号转换为电信号的像素点，包括红色像素、绿色像素、蓝色像素等有颜色的像素点。彩色像素包括彩色滤光片，也即包括红色滤光片、绿色滤光片、蓝色滤光片等有颜色的滤光片。彩色滤光片可以将光线分离，仅允许对应的彩色光线通过，从而使彩色像素仅接收彩色滤光片对应的颜色的光线，例如包括红色滤光片的红色像素，仅会接收红光的信号。其中，红色(R)可以对应于600nm到750nm(包含600nm和750nm)的波长范围的颜色，绿色(G)可以对应于495nm到570nm(包含495nm和570nm)的波长范围的颜色，蓝色(B)可以对应于450nm到495nm(包含450nm和495nm)的波长范围的颜色。

全色像素是指用于接收白色光线并将光信号转换为电信号的像素点，全色像素也可以称作白色像素。全色像素包括全色滤光片，全色滤光片也可以称作白色滤光片、透明层或透明滤光片。全色滤光片可以允许可见光通过，或者说，全色滤光片不会对光的颜色进行分离，从而使全色像素可以接收任何可见光。其中，可见光的范围可以是400nm到800nm波长的光。同时，全色像素相较彩色像素而言，由于其不会对光线过滤，因此全色像素相较彩色像素通常会拥有更高的进光量。

请参见图3，一个彩色像素组1164包括至少四个彩色像素。至少四个是指四个或四个以上的正整数。至少四个彩色像素，包括四个彩色像素以矩阵形式相邻排列，当然也包括其它排列方式，本申请对此不做限定。彩色像素组1164均由彩色像素组成，彩色像素组1164的像素值，等于彩色像素组1164内的彩色像素的像素值之和。例如，图3虚线框中的红色像素组1164由四个相邻的红色像素组成，该红色像素组1164的像素值R组，等于四个相邻的红色像素的像素值R之和，即R组＝R1+R2+R3+R4。

一个全色像素组1162包括至少四个全色像素。至少四个是指四个或四个以上的正整数。至少四个全色像素，包括四个全色像素以矩阵形式相邻排列，当然也包括其它排列方式，本申请对此不做限定。全色像素组1162均由全色像素组成，全色像素组1162的像素值，等于全色像素组1162内的全色像素的像素值之和。例如，图3虚线框中的全色像素组1162由四个相邻的全色像素组成，该全色像素组1162的像素值W组，等于四个相邻的全色像素的像素值W之和，即W组＝W1+W2+W3+W4。

请参见图3和图4，最小重复单元1166包括至少两个彩色像素组1164和至少两个全色像素组1162。最小重复单元1166，是像素阵列110的最小可重复排列的像素单元。但应当注意的是，此处的最小可重复排列和最小重复单元1166，是将所有不同颜色的彩色像素视为完全相同的像素，例如，将红色像素和蓝色像素视为是相同的像素。最小重复单元1166包括的彩色像素组1164和全色像素组1162的数量，为大于或等于2的正整数。

进一步的，四个相邻的彩色像素可以共同构成一个彩色像素组1164，其中，四个相邻的彩色像素呈矩阵排列。四个相邻的全色像素共同构成一个全色像素组1162，其中，四个相邻的全色像素呈矩阵排列。

进一步的，请参照图4，最小重复单元1166还可以包括，两个彩色像素组1164和两个全色像素组1162，其中，两个彩色像素组1164和两个全色像素组1162呈矩阵排列，且，两个彩色像素组1164位于第一对角线方向，两个全色像素组1162位于第二对角线方向，第一对角线方向和第二对角线方向不同。本申请对两条对角线各自的方向不做具体限定。

进一步的，请参照图4，在某些实施方式中，最小重复单元1166还可以为四行四列，共十六个像素，排布方式为：

其中，W表示全色像素，C表示彩色像素。

可以理解的，最小重复单元1166可以是四行四列，共十六个像素。两个全色像素组1162，即八个全色像素(W)，位于矩阵左上角至右下角的对角线。两个彩色像素组1164，即八个彩色像素(C)，位于矩阵左下角至右上角的对角线。其中，彩色像素(C)可以为任意的红色像素(R)、绿色像素(G)或蓝色像素(B)。如：

进一步的，请参照图3和图4，在某些实施方式中，本申请还可以包括：

彩色像素包括第一颜色像素，第二颜色像素和第三颜色像素，其中，第一颜色像素、第二颜色像素和第三颜色像素的彩色滤光片的颜色不同.

四个相邻的最小重复单元1166构成颜色重复单元1168，颜色重复单元1168为八行八列，共六十四个像素，排布方式为：

其中，W表示全色像素，X表示第一颜色像素，Y表示第二颜色像素，Z表示第三颜色像素。

请参照图3和图4，可以理解的，颜色像素可以包括第一颜色像素(X)、第二颜色像素(Y)和第三颜色像素(Z)，第一颜色像素、第二颜色像素和第三颜色像素的彩色滤光片的颜色各不相同。例如，第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)。四个相邻的最小重复单元1166又可以构成一个颜色重复单元1168，颜色重复单元1168将不同颜色的像素视为不重复，例如，红色像素和绿色像素不是重复的像素。

颜色重复单元1168可以为八行八列，共六十四个像素。其中，四个最小重复单元1166可以呈矩阵排列，矩阵左上角至右下角的对角线上，可以为两个最小重复单元1166，且这两个最小重复单元1166包括的彩色像素组1164的颜色不同。矩阵左下角至右上角的对角线上，可以为两个最小重复单元1166，且这两个最小重复单元1166包括的彩色像素组1164的颜色相同。同时，两条对角线上的最小重复单元1166内的彩色像素组1164的颜色不同。以第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)为例，排布方式可以为：

进一步的，在某些实施方式中，本申请的最小重复单元1166还可以为四行四列，共十六个像素，排布方式为：

其中，W表示全色像素，C表示彩色像素。

可以理解的，最小重复单元1166可以是四行四列，共十六个像素。两个彩色像素组1164，即八个彩色像素位于矩阵左上角至右下角的对角线，两个全色像素组1162，即八个全色像素位于矩阵左下角至右上角的对角线。其中，彩色像素可以为任意的红色像素、绿色像素或蓝色像素。如：

进一步的，在某些实施方式中，本申请还可以包括：

彩色像素包括第一颜色像素，第二颜色像素和第三颜色像素，其中，第一颜色像素、第二颜色像素和第三颜色像素的彩色滤光片的颜色不同。

四个相邻的最小重复单元1166构成颜色重复单元1168，颜色重复单元1168为八行八列，共六十四个像素，排布方式为：

其中，W表示全色像素，X表示第一颜色像素，Y表示第二颜色像素，Z表示第三颜色像素。

可以理解的，颜色像素可以包括第一颜色像素(X)、第二颜色像素(Y)和第三颜色像素(Z)，第一颜色像素、第二颜色像素和第三颜色像素的彩色滤光片的颜色各不相同。例如，第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)。四个相邻的最小重复单元1166又可以构成一个颜色重复单元1168，颜色重复单元1168将不同颜色的彩色像素视为不重复，例如，红色像素和绿色像素不是重复的像素。

颜色重复单元1168可以为八行八列，共六十四个像素。其中，四个最小重复单元1166可以呈矩阵排列，矩阵左上角至右下角的对角线上，可以为两个最小重复单元1166，且这两个最小重复单元1166包括的彩色像素组1164的颜色相同。矩阵左下角至右上角的对角线上，可以为两个最小重复单元1166，且这两个最小重复单元1166包括的彩色像素组1164的颜色不同。同时，两条对角线上的最小重复单元1166内的彩色像素组1164的颜色不同。以第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)为例，排布方式可以为：

进一步的，在某些实施方式中，电子设备10还可以包括色温传感器300和光线传感器400。色温传感器300可以用于获取当前环境的色温信息，包括环境色温(CCT)、红外光信息(IR，包括800nm波段的光)及闪烁(flicker)检测信息，闪烁检测信息与交流电能量具有相关性。光线传感器400可以用于获取当前环境的环境光强度信息。

处理器200可以包括一个或多个处理单元，例如：处理器200可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器200中还可以设置存储器，用于存储指令和数据。

处理器200可以用于根据电子设备10中相机应用的使用状态，采用一种图像处理模式。图像处理模式包括一级合并模式和二级合并模式。进一步的，图像处理模式还包括全分辨率模式。

相机应用包括相机应用程序(Application，APP)或与相机相关的软件程序。以相机APP为例，相机应用的使用状态包括相机APP单独使用时的使用状态(如，用相机APP预览拍照或预览视频、拍照、录制视频)和相机APP被调用时的使用状态(如，即时通讯软件调用相机APP进行视频通话)。当然，相机相关的软件程序的使用状态，也包括上述单独使用和被调用的使用状态。

应当注意的是，本申请中的相机应用属于软件程序，并不能视为对相机(Camera)硬件做出了限定。在本申请中，相机硬件可以位于电子设备10内，例如前置相机、后置相机、侧置相机、屏下相机，也可以位于电子设备10外，例如通过数据线、无线蓝牙、无线网络(WIFI)、有线网络等方式连接的相机硬件。当然，在本申请中使用不同参数、功能的相机硬件(如定焦相机、变焦相机)，也均属于本申请的保护范围。

相机应用的使用状态，可以包括预览状态、拍照状态和视频状态。根据相机应用的使用状态，可以采用一种图像处理模式。可以理解的，某些情况下，可能需要同时进行两种或两种以上的图像处理模式，例如同时控制前置相机和后置相机进行拍摄，前置相机拍摄的图像的图像处理模式可以和后置相机拍摄的图像的图像处理模式不同。因此，本申请可以采用一种图像处理模式。

图像处理模式包括一级合并模式和二级合并模式。进一步的，图像处理模式还包括全分辨率模式和双输出模式。

请参见图5，全分辨率模式(Fullsize)时，处理器200读取像素阵列110中的所有像素值或部分像素值，再根据读出的像素值，将像素阵列110的像素值插值转换为拜尔阵列。以第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)为例，像素阵列110转换为拜尔阵列的转换过程可以参见如下示意及图5。

像素阵列110像素值排布为：

转换后的拜尔阵列排布方式为：

本申请对转换的方法不做限定。例如，处理器200首先以彩色像素作为中心像素点划分判断窗口，判断窗口大小可以为9×9个像素点，且彩色像素位于判断窗口的中心，再获得判断窗口内所有像素点的纹理方向，并判断各像素点的纹理方向(例如，水平方向、垂直方向、对角方向、反对角方向或平坦区)。以中心像素点为水平方向为例，可以以彩色像素作为中心像素点划分插值窗口，插值窗口大小可以是5×5个像素点，且彩色像素位于插值窗口的中心，并获得插值窗口内均为水平方向的全色像素的像素值，根据距离关系加权平均，插值出该彩色像素点的全色像素值，例如W＝aW1+bW2+cW3。依次选择各像素阵列110中各彩色像素作为中心像素点，重复上述插值操作，最终插值出对应的全色像素阵列。可以理解的，对于已存在拜尔阵列相应颜色的像素点(如上文列表中最左下角的像素点，像素阵列和拜尔阵列在该点上均为G像素)，可以不插值直接将该像素点的像素值作为拜尔阵列相应像素点的像素值。

再根据像素阵列110与全色像素阵列110的对应关系，通过双边滤波插值出特定位置的彩色像素的像素值。以图5阵列中，最左上角的全色像素插值为红色像素为例。先获得全色像素的像素值W，并根据全色像素附近的红色像素，通过加权平均，计算出像素值R。如，R＝aR1+bR2+cR3。再以相同的方式，在该全色像素于全色像素阵列对应的像素点上，通过加权平均计算出像素值W`，如W`＝aW1+bW2+cW3。最后根据W和W`的对应关系，如W/W`＝R/R`，最终得到R`。将R`作为该点的像素值。再通过上述插值方式，将像素阵列110中所有像素点，转换为拜尔阵列。

可以理解的，图像处理的主要功耗来源于模拟数字转换(Analog-to-digitalconverter，ADC)和图像处理过程的功耗，与图像分辨率有直接的关系。可以认为，图像分辨率越高，ADC和图像处理过程的功耗越高。因此，在全分辨率模式下，图像的清晰度最高，功耗也最高，通常应用于细节较多或纹理较多的场景(如草地)。同时，从信噪比而言，信噪比与进光量呈正比，即单个像素进光量越高，图像的信噪比越高。由于全分辨率模式没有进行任何像素合并操作，因此单个像素的进光量较低，最终导致全分辨率模式的信噪比较低，因此全分辨率模式不适宜暗光或夜晚场景使用。

请参考图6，一级合并模式时，处理器200读取像素阵列110的像素值，合并(Binning)彩色像素组1164内的所有彩色像素的像素值，作为彩色像素组1164的像素值，合并全色像素组1162内的所有全色像素的像素值，作为全色像素组1162的像素值，根据彩色像素组1164的像素值和全色像素组1162的像素值形成一级像素阵列120，将一级像素阵列120转换为拜尔阵列。

合并(Binning)包括物理方式和计算方式。物理方式的合并，包括通过电路的开关控制，将不同像素的像素值通过一个ADC输出。计算方式的合并，包括分别将不同像素的像素值输出后，通过插值计算合并不同像素的像素值。

以第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)为例，像素阵列110转换为一级像素阵列120，再转换为拜尔阵列的转换过程可以参见如下示意及图6。

经一级合并模式处理后，一级像素阵列120的排布方式为：

最终转换为拜尔阵列，拜尔阵列的排布方式为：

以一个红色像素组1164包括四个红色像素，一个全色像素组1162包括四个全色像素为例。红色像素组1164的像素值，R组＝R1+R2+R3+R4，全色像素组1162的像素值，W组＝W1+W2+W3+W4。此时再根据彩色像素组1164的像素值和全色像素组1162的像素值形成一级像素阵列120，再将一级像素阵列120转换为拜尔阵列。

本申请对一级像素阵列120转换为拜尔阵列的方式不做限定。例如，处理器200首先以彩色像素组1164作为中心像素组划分判断窗口，判断窗口大小可以为9×9个像素组，且彩色像素组1164位于判断窗口的中心，获得判断窗口内所有像素组的纹理方向，并判断各像素组的纹理方向(例如，水平方向、垂直方向、对角方向、反对角方向或平坦区)。以中心像素组为水平方向为例，可以以彩色像素组1164作为中心像素组划分插值窗口，插值窗口大小可以是5×5个像素组，且彩色像素组1164位于插值窗口的中心，并获得插值窗口内均为水平方向的全色像素组1162的像素值，根据距离关系加权平均，插值出该彩色像素组1164的全色像素值。依次选择一级像素阵列120中各彩色像素组1164，重复上述插值操作，最终插值出对应的一级全色像素组阵列。同时，由于一级合并后W像素点较少，也可以选择插值出一级绿色(G)像素组阵列，插值方式与插值W像素类似。具体计算方式可以参见全分辨率模式相应描述，在此不再赘述。

根据一级像素阵列120与一级全色像素组阵列的对应关系，通过双边滤波插值出特定位置的彩色像素的像素值。以图6中最左上角的全色像素组1162插值为红色像素组164为例，先获得全色像素组1162的像素值W组，再根据全色像素组1162附近的红色像素组1164，通过加权平均的方式，计算得到像素值R组。再以相同的方式，在该全色像素组1162于一级全色像素组1162阵列对应的像素组上，通过加权平均计算出W`组，根据W组和W`组的对应关系，如W组/W`组＝R组/R`组，最终得到R`组。将R`组作为该像素组的像素值。再通过上述插值方式，将像素阵列110中所有像素组的像素值，转换为拜尔阵列。

可以理解的，一级合并模式对像素的像素值进行了一次合并，而合并操作可以通过模拟端将信号连接，从而使模拟的电荷信号直接集合到一个晶体管当中，因此，合并操作的功耗较低，几乎可以考虑不计。经过合并操作后，ADC和算法需要处理的像素点数量减少，从而降低了功耗。同时在信噪比上，由于将多个像素合并为了一个像素组，其单个像素的进光量大幅增加，因此其信噪比较高。举例而言，与全分辨率模式相比，如将四个像素点的像素值合并到一个像素组中，仅需要25％的ADC读出，图像处理的功耗也大约变为全分辨率模式的25％，单个像素的进光量变为400％，图像清晰度变为全分辨率模式的25％。因此一级合并模式的功耗会大幅降低，信噪比大幅提高，清晰度降低，可以适用于4K2K视频录制，通常场景拍照，高清视频直播等。此外，由于仅需要25％的ADC读出，因此其帧率可以变为全分辨率模式的四倍。

请参见图7，二级合并模式时，处理器200读取像素阵列110的像素值，合并最小重复单元1166内的所有彩色像素的像素值，作为最小重复单元1166的彩色像素值，合并最小重复单元1166内的所有全色像素的像素值，作为最小重复单元1166的全色像素值，根据最小重复单元1166的彩色像素值和最小重复单元1166的全色像素值形成二级像素阵列130，将二级像素阵列130转换为拜尔阵列。以第一颜色像素(X)为绿色像素(G)，第二颜色像素(Y)为红色像素(R)，第三颜色像素(Z)为蓝色像素(B)为例，像素阵列110经图像处理形成二级像素阵列130，再转换为拜尔阵列，可以参见如下示意和图7：

经二级合并模式处理后，二级像素阵列130的排布方式为

W R W G

W G W B

最终转换为拜尔阵列，拜尔阵列的排布方式为：

R G

G B

请继续参见图7，举例而言，一个最小重复单元1166可以包括两个红色像素组1164和两个全色像素组1162，一个红色像素组1164可以包括四个红色像素，一个全色像素组1162可以包括四个全色像素，两个红色像素组1164和两个全色像素组1162分别在两条对角线上，并呈矩形排列。红色像素组1164的像素值，R组＝R1+R2+R3+R4，全色像素组1162的像素值，W组＝W1+W2+W3+W4。最小重复单元1166的红色像素值R单元＝R组a+R组b＝R1a+R2a+R3a+R4a+R1b+R2b+R3b+R4b。最小重复单元1166的全色像素值W单元＝W组a+W组b＝W1a+W2a+W3a+W4a+W1b+W2b+W3b+W4b。

此时再根据最小重复单元1166的红色像素值R单元和最小重复单元1166的全色像素值W单元，形成二级像素阵列130，再将二级像素阵列130转换为拜尔阵列。本申请对二级像素阵列130转换为拜尔阵列的方式不做限定，例如，处理器200首先以最小重复单元1166的红色像素作为中心像素组划分判断窗口，判断窗口大小可以为9×9个像素，且该最小重复单元1166的红色像素位于判断窗口的中心，获得判断窗口内所有像素的纹理方向，并判断各像素的纹理方向(例如，水平方向、垂直方向、对角方向、反对角方向或平坦区)。以中心像素为水平方向为例，可以以最小重复单元1166的红色像素作为中心像素划分插值窗口，插值窗口大小可以是5×5个像素，且最小重复单元1166的红色像素位于插值窗口的中心，并获得插值窗口内均为水平方向的全色像素的像素值，根据距离关系加权平均，插值出该最小重复单元1166的红色像素的全色像素值。依次选择二级像素阵列130中各最小重复单元1166的彩色像素，重复上述插值操作，最终插值出对应的二级全色像素阵列。

再根据二级像素阵列130与二级全色像素阵列的对应关系，通过双边滤波插值出特定位置的彩色像素的像素值。以图7最左上角的最小重复单元1166的全色像素W单元插值为红色像素为例，先获得最小重复单元1166的全色像素的像素值W单元，再根据最小重复单元1166的全色像素值W单元附近的红色像素，通过加权平均的方式，计算得到像素值R单元。再以相同的方式，在该最小重复单元1166的全色像素于二级最小重复单元1166的全色像素阵列对应的像素组上，通过加权平均计算出W`单元，根据W单元和W`单元的对应关系，如W单元/W`单元＝R单元/R`单元，最终得到R`单元。将R`单元作为该像素单元的像素值。再通过上述插值方式，将二级像素阵列130中所有像素单元的像素值，转换为拜尔阵列。

可以理解的，由于二级像素阵列130已包括RGGB像素排列，因此可以隔行抽取RGGB像素，将其直接转换为拜尔阵列，可以节约算力和功耗，但其信噪比较低，清晰度较差。此外，还可以先抽取RGGB像素和W像素，并将RGGB像素与W像素叠加求和，得到(R+W)(G+W)(G+W)(B+W)的像素阵列，再将该像素阵列与二级像素阵列130中的RGGB像素进行双边滤波，从而获得高信噪比的拜尔阵列，具体计算方法与上文描述类似，在此不再赘述。

可以理解的，二级合并模式对像素的像素值进行了更多数量的合并。经过合并操作后，ADC和算法需要处理的像素点数量进一步减少，从而降低了功耗。同时在信噪比上，由于将更多像素合并为了一个像素组，其单个像素的进光量大幅增加，因此其信噪比非常高。举例而言，如将八个像素点的像素值合并到一个像素组中，相比于全分辨率模式，仅需要6.25％的ADC读出，图像处理的功耗也大约变为全分辨率模式的6.25％，单个像素的进光量变为800％，图像清晰度变为全分辨率模式的6.25％。因此二级合并模式的功耗极低，信噪比极高，清晰度较差，1080p视频录制，夜景拍照，预览视频，视频通话，视频直播等。此外，由于仅需要6.25％的ADC读出，因此其帧率可以变为全分辨率模式的八倍。

进一步的，当采用双输出模式时，分别读取像素阵列的彩色像素的像素值，并将彩色像素的像素值转换为拜尔阵列；读取像素阵列的全色像素的像素值，将全色像素的像素值转换为黑白阵列。

读取彩色像素和全色像素的像素值的方法，可以使用全分辨率模式、一级合并模式、二级合并模式中采用的读取方法。即，可以采用全分辨率模式时直接读取各像素点的像素值。也可以采用一级合并模式时先将彩色像素组1164内的像素值合并、全色像素组1162组内的像素值合并，再进行读取。还可以采用二级合并模式时先将最小重复单元1166内的彩色像素的像素值合并、全色像素的像素值合并，再进行读取。在转换拜尔阵列时，也可以采用全分辨率模式、一级合并模式、二级合并模式的转换方式，或者直接仅利用彩色像素的像素值插值形成拜尔阵列。具体的读取转换过程可以参考前文，在此不再赘述。

黑白阵列类似于拜尔阵列，即全色像素以矩阵形式重复排列。转换为黑白阵列，是指将各像素的像素值转为以黑白阵列格式排列的数据值。在转换黑白阵列时，可以类似于转换拜尔阵列的方式，对全色像素的像素值进行纹理方向判断、双边滤波并转换，或仅利用全色像素的像素值插值形成黑白阵列。可以理解的，上述读取转换方式并不能视为对本申请的限定，只要读取转换得到了拜尔阵列和黑白阵列，均属于本申请的保护范围。

可以理解的，黑白阵列由于没有对光线进行滤光，因此其信噪比较高，可以将黑白阵列和彩色阵列相配合，从而增强图像品质或实现图像特效。例如，可以在电子设备10上同时显示黑白图像和彩色图像，黑白图像可由黑白阵列处理得到，彩色图像可由拜尔阵列处理得到。同时显示黑白图像和彩色图像，有助于用户仔细观察成像细节，增强拍摄的趣味性。再例如，可以将黑白图像和彩色图像进行部分叠加显示，即在同一画面中，某些部分显示黑白画面，某些部分显示彩色画面，从而实现叠加显示，突出画面重点，增加画面美感和拍摄趣味。黑白画面可由黑白阵列处理得到，彩色画面可由拜尔阵列处理得到。本申请对黑白阵列和拜尔阵列的使用方式不做限定。

进一步的，请参见图8，在某些实施方式中，电子设备10还可以包括第一芯片210、第二芯片220、平台图像处理芯片240(平台ISP)和内存230(DDR)。

第一芯片210是图像传感器100的内置芯片(图像传感器ISP)，用于控制图像传感器100成像。第二芯片220是图像传感器100的外接芯片(外挂芯片，IP)，用于对图像传感器100成像后的数据进行处理。平台图像处理芯片240(平台ISP)用于接收第一芯片210、第二芯片220和内存230传输的图像数据，并对图像数据进行处理，包括色彩校正、白平衡处理等操作。内存230(DDR)为电子设备10的数据存储区，用于存储电子设备10的相关数据。

请参见图9，其示出了本申请提供的一种图像处理方法，包括：

010获取相机应用的使用状态；

本申请可以通过调取相机应用数据，检测相机应用显示画面等方式，获取相机应用的使用状态，本申请对获取相机应用的使用状态的方式不做限定。相机应用的状态可以参见上文的描述，在此不再赘述。

020根据相机应用的使用状态，采用一种图像处理模式。

可以理解的，本申请可以由处理器200根据相机应用使用状态的不同，采用不同的图像处理模式。具体的，可以由中央处理器(CPU)执行。例如，当相机应用处于预览状态时，可以采用二级合并模式，从而在满足用户需求的前提下降低功耗。

相机应用的使用状态可以包括预览状态、拍照状态和视频状态。预览状态可以包括拍照预览和视频预览。视频状态可以包括视频录制状态、视频直播状态和视频通话状态。

预览状态是指相机应用此时正在预览图像，包括在拍照前预览和视频前预览等。

拍照状态是指相机应用此时正在拍摄照片，包括单独使用拍照和被调用拍照等。本申请对拍照模式、拍照参数等均不做限定。

视频状态是指相机应用此时录制视频、视频直播、视频通话等，包括单独使用视频和被调用视频等。本申请对视频模式、视频参数等均不做限定。

如前文所述，目前的图像处理方法功耗较高，降低功耗时又可能无法满足用户对清晰度的要求，因此需要一种技术解决功耗与清晰度之间的矛盾。而本申请提供了三种图像处理模式，三种模式比较而言，全分辨率模式清晰度最高，功耗最高，信噪比较低；一级合并模式清晰度中等，功耗中等，信噪比中等；二级合并模式清晰度最低，功耗最低，信噪比最高。因此，可以根据用户不同的需要选择不同的图像处理模式，从而在满足用户对清晰度需求的情况下，降低功耗。例如，在光线充足、细节较多的场景时选择全分辨率模式，以满足清晰度需求。在通常场景拍照、4K2K视频录制时，选择一级合并模式，以平衡功耗、清晰度和信噪比。在夜晚或光线较暗的场景下，选择二级合并模式，以大幅提高信噪比，同时降低功耗。

请参考图18，进一步的，在某些实施方式中，本申请提供的图像处理方法，在根据相机应用的使用状态，采用一种图像处理模式后，还可以包括：

080当接收到预设切换指令时，将当前采用的图像处理模式切换至另一图像处理模式。

预设切换指令是指可以切换图像处理模式的指令，包括单击、双击、滑动、手势、声控等各种触控指令，也可以由用户预先设定指令，还可以设置预设条件，本申请对预设切换指令的具体形式不做限定。可以理解的，预设切换指令可以包括预览放大指令、提升视频分辨率的触控指令，预设条件可以包括环境光强度与光强阈值的关系、目标图像的纹理占比与纹理占比阈值的关系等等。

可以理解的，预设切换指令还可以包括切换相机应用状态的指令。例如，当接收到切换相机应用状态的指令，使相机从预览状态切换到拍照状态时，图像处理模式会由二级合并模式切换至一级合并模式。

当前采用的所述图像处理模式可以是全分辨率模式、一级合并模式、二级合并模式、双输出模式的一种或多种。另一所述图像处理模式包括全分辨率模式、一级合并模式、二级合并模式、双输出模式，其与当前采用的所述图像处理模式不同。应当注意的是，只要当前图像处理模式中有任意一种图像处理模式被切换为另一种图像处理模式，如一级合并模式切换为二级合并模式，均属于本申请保护范围。

请参见图10，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

030当相机应用处于预览状态时，采用二级合并模式。

可以理解的，在预览图像时，相机硬件会一直打开，图像传感器100会实时将光信号转换为电信号，并经过图像处理最终显示给用户。因此在预览图像时，功耗非常高。而由于仅是预览图像，用户并不需要特别清晰的图像。因此，在预览状态可以采用二级合并模式来进行图像处理，既满足了用户使用需求又节省了功耗。当然，若用户需要，如使用显微镜镜头时，用户可能想要在预览状态下仔细观察图像，在预览状态下也可以调整为采用全分辨率模式或一级合并模式。采用二级合并模式，可以是将其它图像处理模式切换至二级合并模式。

请参见图11，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

031当接收到预览放大指令时，将二级合并模式切换至全分辨率模式。

如果在预览的时候接收到了预览放大指令，比如需要将预览图像放大五倍，为避免放大后的预览图像过于模糊，可以采用全分辨率模式，并可以将全分辨率模式处理后的图像裁切或下采样，从而获得更好的清晰度，以满足用户放大预览图像的需求。

请参见图12，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

040当所述相机应用处于所述拍照状态时，采用所述一级合并模式。

当相机应用处于拍照状态时，可以采用一级合并模式，如前所述，一级合并模式功耗相比全分辨率模式功耗更低，信噪比提高，其清晰度相比二级合并模式又更好，因此适合于普通拍照。采用一级合并模式，可以是将其它图像处理模式切换至一级合并模式。

请参见图13，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

041当所述相机应用处于所述拍照状态时，获得目标图像的色温信息。

可以获取目标图像的色温信息，从而判断当前拍摄环境状态。本申请对获取色温信息的具体方式不做限定。举例而言，可以通过色温传感器300获取色温信息，色温信息可以包括环境色温(CCT)、红外光信息(IR，包括800nm波段的光)及闪烁(flicker)检测信息，闪烁检测信息与交流电能量具有相关性。

042根据色温信息判断电子设备处于室内或室外。

通常而言，当IR>1.0，交流电能量低于5％，CCT>4000K时，可以认为当前处于室外。反之，则可以认为当前处于室内。同时，本申请判断电子设备10处于室内或室外，包括判断外接相机硬件处于室内或室外，当电子设备10与外接相机硬件没有同时位于室内或室外时，将外接相机硬件所处位置作为本判断的执行结果。

043当电子设备处于室内时，获得环境光强度。

本申请对获得环境光强度的具体方式不做限定，举例而言，本申请可以通过光线传感器400获取环境光强度信息，从而判断当前电子设备所处环境的环境光强度。当然，环境光强度包括电子设备所处环境的环境光强度和外接相机硬件所处环境的环境光强度。

044当所述环境光强度大于或等于第一光强阈值时，采用所述一级合并模式。

当处于室内时，且环境光强度大于或等于第一光强阈值时，可以默认采用一级合并模式。如上文中的解释，一级合并模式的清晰度、信噪比、功耗均适中，符合室内拍摄的一般需求。

045当所述环境光强度小于所述第一光强阈值时，采用所述二级合并模式。

当环境光强度小于第一光强阈值时，可以认为当前处于暗光环境，因此需要更高信噪比的图像处理模式，因此此时可以采用二级合并模式，将图像的信噪比提到最高，以满足暗光环境的需求。本申请对第一光强阈值的具体数值不做限定，例如，可以为50lux。可以理解的，采用所述二级合并模式，可以是将一级合并模式切换至二级合并模式。

请参见图14，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

046当电子设备处于室外时，获得环境光强度。

获得环境光强度的方式与上文相同，在此不再赘述。

047当环境光强度小于或等于第二光强阈值且大于或等于第三光强阈值时，采用一级合并模式。

当处于室外时，且环境光强度小于或等于第二光强阈值且大于或等于第三光强阈值时，可以默认采用一级合并模式，一级合并模式的清晰度、信噪比、功耗均适中，符合室外拍摄的一般需求。

048当环境光强度大于第二光强阈值时，采用全分辨率模式。

当环境光强度大于第二光强阈值时，可以认为当前处于亮光环境，此时信噪比本身较高，因此可以采用全分辨率模式，将图像的清晰度提到最高，以提升亮光环境下的图像的显示效果。可以理解的，采用所述全分辨率模式，可以是将一级合并模式切换至全分辨率模式。

049当环境光强度小于第三光强阈值时，采用二级合并模式。

当环境光强度小于第三光强阈值时，可以认为当前处于夜晚，此时信噪比本身较低，因此可以采用二级合并模式，将图像的信噪比提到最高，以满足夜晚环境下的拍摄需求。本申请对第二光强阈值和第三光强阈值的具体数值均不做限定，例如，第二光强阈值可以为3000lux，第三光强阈值可以为50lux。当然，若在室内时，环境光强度也大于了第二光强阈值，此时也可以采用全分辨率模式进行图像处理。可以理解的，采用所述二级合并模式，可以是将一级合并模式切换至二级合并模式。

请参考图15，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

050获得目标图像的纹理占比。

纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。同时，纹理还具有方向，纹理方向可以用于指示像素的插值方向。其中，纹理方向包括水平方向、垂直方向、对角方向、反对角方向、及平面方向等。本申请对获取目标图像的纹理占比方式不做限定，例如，其可以通过读取像素阵列的像素值直接得到，也可以通过人工智能(AI)场景识别得到。

051当目标图像的纹理占比超过纹理占比阈值时，采用全分辨率模式。

当目标图像的纹理占比超过了纹理占比阈值时，可以认为目标图像属于高纹理(高频率、密集条纹)、高细节的图像，例如草地，文字图像等，因此可以采用全分辨率模式，从而以最大清晰度处理图像，保留图像细节。本申请对纹理占比阈值不做限定，例如，纹理占比阈值可以为30％。采用全分辨率模式，可以是将其它图像处理模式，切换至全分辨率模式。

请参考图16，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

060当相机应用处于视频状态时，采用二级合并模式。

可以理解的，当相机应用处于视频状态时，相机硬件会一直打开，图像传感器100会实时将光信号转换为电信号，并经过图像处理最终显示或存储。因此在视频状态时，功耗非常高，可以默认采用二级合并模式以节省功耗。采用二级合并模式，可以是将其它图像处理模式切换至二级合并模式。

请继续参考图16，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

061当接收到提升视频分辨率的触控指令时，将二级合并模式切换至一级合并模式。

由于二级合并模式可能无法满足用户对清晰度的需求，因此可以通过接收提升视频分辨率的触控指令，将二级合并模式切换至一级合并模式，从提升视频的清晰度。触控指令包括单击、双击、滑动、手势、声控等各类指令，本申请对此不做限定。

请参考图17，在某些实施方式中，上述实施例可以包括：

0601当相机应用处于视频录制状态时，采用二级合并模式，其中，当接收到提升视频录制分辨率的触控指令时，将二级合并模式切换至一级合并模式。

如前，视频状态可以包括视频录制状态、视频直播状态和视频通话状态。视频录制状态包括直接使用相机应用录制视频和调用相机应用录制视频，视频直播状态包括调用相机应用进行视频直播，视频通话状态包括直接使用相机应用通话和调用相机应用进行视频通话。

当相机应用处于视频录制状态时，通常默认进行1080P的视频录制，因此其清晰度要求不高，可以采用二级合并模式。若接收到提升视频录制分辨率的触控指令，如接收到了4K或2K视频拍摄指令，则可以使用一级合并模式，从而提升分辨率。当然，若接收到了再进一步提升视频录制分辨率的触控指令，也可以使用全分辨率模式。触控指令包括单击、双击、滑动、手势、声控等各类指令，本申请对此不做限定。

0602当相机应用处于视频直播状态时，采用二级合并模式，其中，当接收到提升视频直播分辨率的触控指令时，将二级合并模式切换至一级合并模式。

当相机应用处于视频直播状态时，通常默认进行1080P的视频直播，因此其清晰度要求不高，可以采用二级合并模式。若接收到提升视频直播分辨率的触控指令，如接收到了4K或2K视频直播指令，则可以使用一级合并模式。当然，若接收到了再进一步提升视频直播分辨率的触控指令，也可以使用全分辨率模式。触控指令包括单击、双击、滑动、手势、声控等各类指令，本申请对此不做限定。

0603当相机应用处于视频通话状态时，采用二级合并模式。

当相机应用处于视频通话状态时，通常默认进行720P的视频通话，因此其清晰度要求不高，可以采用二级合并模式。当然，若接收到了提升视频通话分辨率的触控指令，也可以使用一级合并模式或全分辨率模式，本申请对此不再赘述。

请继续参考图17，进一步的，在某些实施方式中，本申请提供的图像处理方法还可以包括：

070根据帧率控制指令调整视频帧率。

当相机应用处于视频状态，包括处于视频录制状态、视频直播状态和视频通话状态，可以接收帧率控制指令，如30fps、60fps等，并根据帧率控制指令调整视频帧率。如前文，一级合并模式帧率是全分辨率模式帧率的四倍，二级合并模式帧率是全分辨率模式帧率的八倍，因此，可以根据用户的需要对帧率动态调节，提升拍摄效果。

进一步的，在某些实施方式中，本申请的图像处理方法还可以包括：在第一芯片210中执行图像处理模式，并将拜尔阵列和/或黑白阵列传输至平台图像处理芯片240，其中，第一芯片210为图像传感器100内置芯片。

第一芯片210是图像传感器100的内置芯片(图像传感器ISP)，可以在第一芯片210中执行图像处理模式，包括全分辨率模式，一级合并模式或二级合并模式，再将经图像处理模式处理后得到的拜尔阵列和/或黑白阵列传输至平台图像处理芯片240(平台ISP)。平台图像处理芯片240可以对图像进行色彩校正、白平衡处理等操作，并可以编码为电子设备10所支持的图像格式、分辨率。其中，平台图像处理芯片240可以具有摄像接口模块(CAMIF)，当第一芯片210执行完图像处理模式后，可以将拜尔阵列和/或黑白阵列传输至平台图像处理芯片240的摄像接摄像接口模块，再由平台图像处理芯片240对拜尔阵列和/或黑白阵列执行色彩校正、白平衡处理等操作。

在第一芯片210中执行图像处理模式，可以提高图像处理的效率。例如二级合并模式等功耗较小、计算量也较小的模式，较为适宜直接在第一芯片210中执行处理。

本申请的图像处理方法还可以包括：在第二芯片220中执行图像处理模式，并将拜尔阵列和/或黑白阵列传输至平台图像处理芯片240，第二芯片220为图像传感器100的外部芯片。

第二芯片220是图像传感器100的外接芯片(IP)，可以由第一芯片210将图像数据传输至第二芯片220，并在第二芯片220中执行图像处理模式，包括全分辨率模式，一级合并模式或二级合并模式，再将经图像处理模式处理后得到的拜尔阵列和/或黑白阵列传输至平台图像处理芯片240(平台ISP)。平台图像处理芯片240可以对图像进行色彩校正、白平衡处理等操作，并可以编码为电子设备10所支持的图像格式、分辨率。其中，平台图像处理芯片240可以具有摄像接口模块(CAMIF)，当第二芯片220执行完图像处理模式后，可以将拜尔阵列和/或黑白阵列传输至平台图像处理芯片240的摄像接摄像接口模块，再由平台图像处理芯片240对拜尔阵列和/或黑白阵列执行色彩校正、白平衡处理等操作。

可以理解的，由于第二芯片220是外接芯片，其芯片容量和处理能力通常高于第一芯片，采用第二芯片220执行图像处理模式，可以大幅提高电子设备10处理图像的能力，避免满负荷计算。例如全分辨率模式等功耗较高的模式，较为适宜在第二芯片220中执行。

本申请的图像处理方法还可以包括：将像素阵列的数据转储到电子设备10的内存230中，执行图像处理模式，并将拜尔阵列和/或黑白阵列的数据转储至平台图像处理芯片240。

当采用软件算法来执行图像处理模式时，可以将像素阵列的数据转储(dump)到电子设备10的内存230(DDR)中，再由处理器200将内存230中的像素阵列的数据转换为拜尔阵列和/或黑白阵列，最后将拜尔阵列和/或黑白阵列的数据转储至平台图像处理芯片240。平台图像处理芯片240可以对图像进行色彩校正、白平衡处理等操作，并可以编码为电子设备10所支持的图像格式、分辨率。其中，平台图像处理芯片240还可以具有黑电平校正模块(Pedestal Correction)，黑电平校正模块用于扣除部分黑电平。当处理器200执行完图像处理模式后，可以在黑电平校正前，将拜尔阵列和/或黑白阵列的数据转储至黑电平校正模块，再由平台图像处理芯片240对拜尔阵列和/或黑白阵列执行色彩校正、白平衡处理等操作。

可以理解的，将像素阵列的数据转储到电子设备10的内存230中，可以减少第一芯片210或第二芯片220的负荷，而内存230通常空间较大，适宜存放数据并处理。

此外，本申请提供的图像处理方法在不矛盾的情况下，上述步骤可以任意组合，具体的实施细节在前文中已有详细描述，在此不再过多赘述。

本申请还提供一种电子设备10，电子设备10包括图像传感器100和处理器200。

图像传感器100包括像素阵列110，像素阵列110包括重复排列的最小重复单元1166。最小重复单元1166包括至少两个彩色像素组1164和至少两个全色像素组1162。彩色像素组1166包括至少四个彩色像素，全色像素组1162包括至少四个全色像素。彩色像素(R,G,B)包括彩色滤光片，全色像素包括全色滤光片(W)。彩色滤光片和全色滤光片共同构成滤光片112，彩色像素和全色像素共同构成像素层114。

处理器200用于根据电子设备10中相机应用的使用状态，采用一种图像处理模式，图像处理模式包括：

一级合并模式，包括，读取像素阵列110的像素值，合并彩色像素组1164内的所有彩色像素的像素值，作为彩色像素组1164的像素值，合并全色像素组1162内的所有全色像素的像素值，作为全色像素组1162的像素值，根据彩色像素组1164的像素值和全色像素组1162的像素值形成一级像素阵列110，将一级像素阵列110转换为拜尔阵列。

二级合并模式，包括，读取像素阵列110的像素值，合并最小重复单元1166内的所有彩色像素的像素值，作为最小重复单元1166的彩色像素值，合并最小重复单元1166内的所有全色像素的像素值，作为最小重复单元1166的全色像素值，根据最小重复单元1166的彩色像素值和最小重复单元1166的全色像素值形成二级像素阵列110，将二级像素阵列110转换为拜尔阵列。

本申请提供的电子设备10的处理器200，还可以执行前文中的所有步骤，图像处理模式还可以包括前文提到过的全分辨率模式和双输出模式，在此不再赘述。

本申请还提供另一种电子设备10，包括图像获取模块和图像处理模块。

图像获取模块包括像素阵列110，像素阵列110包括彩色像素和全色像素。彩色像素包括彩色滤光片，全色像素包括全色滤光片，多个相邻的彩色像素共同构成一个彩色像素组1164，多个相邻的全色像素共同构成一个全色像素组1162。至少一个彩色像素组1164和至少一个全色像素组1162共同构成像素阵列110的最小重复单元1166。

图像处理模块用于根据电子设备10中相机应用的使用状态，采用一种图像处理模式，图像处理模式包括：

一级合并模式，包括，读取像素阵列110的像素值，合并彩色像素组1164内的所有彩色像素的像素值，作为彩色像素组1164的像素值，合并全色像素组1162内的所有全色像素的像素值，作为全色像素组1162的像素值，根据彩色像素组1164的像素值和全色像素组1162的像素值形成一级像素阵列110，将一级像素阵列110转换为拜尔阵列。

二级合并模式，包括，读取像素阵列110的像素值，合并最小重复单元1166内的所有彩色像素的像素值，作为最小重复单元1166的彩色像素值，合并最小重复单元1166内的所有全色像素的像素值，作为最小重复单元1166的全色像素值，根据最小重复单元1166的彩色像素值和最小重复单元1166的全色像素值形成二级像素阵列110，将二级像素阵列110转换为拜尔阵列。

本申请提供的电子设备10的图像处理模块，还可以执行前文中的所有步骤，图像处理模式还可以包括前文提到过的全分辨率模式和双输出模式，在此不再赘述。

本申请还提供一种非易失性计算机可读存储介质，当计算机程序被一个或多个处理器200执行时，使得处理器200执行图像处理方法。

该图像处理方法应用于电子设备10，电子设备10包括图像传感器100，图像传感器100包括像素阵列110，像素阵列110包括彩色像素和全色像素。彩色像素包括彩色滤光片，全色像素包括全色滤光片，多个相邻的彩色像素共同构成一个彩色像素组1164，多个相邻的全色像素共同构成一个全色像素组1162。至少一个彩色像素组1164和至少一个全色像素组1162共同构成像素阵列110的最小重复单元1166。

该图像处理方法包括，根据电子设备10中相机应用的使用状态，采用一种图像处理模式，图像处理模式包括：

一级合并模式，包括，读取像素阵列110的像素值，合并彩色像素组1164内的所有彩色像素的像素值，作为彩色像素组1164的像素值，合并全色像素组1162内的所有全色像素的像素值，作为全色像素组1162的像素值，根据彩色像素组1164的像素值和全色像素组1162的像素值形成一级像素阵列110，将一级像素阵列110转换为拜尔阵列。

二级合并模式，包括，读取像素阵列110的像素值，合并最小重复单元1166内的所有彩色像素的像素值，作为最小重复单元1166的彩色像素值，合并最小重复单元1166内的所有全色像素的像素值，作为最小重复单元1166的全色像素值，根据最小重复单元1166的彩色像素值和最小重复单元1166的全色像素值形成二级像素阵列110，将二级像素阵列110转换为拜尔阵列。

本申请提供的处理器200，还可以执行前文中所描述的所有步骤，图像处理模式还可以包括前文提到过的全分辨率模式和双输出模式，在此不过多赘述。

以上是本申请实施例的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (24)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括重复排列的最小重复单元，所述最小重复单元包括至少两个彩色像素组和至少两个全色像素组，所述彩色像素组包括至少四个彩色像素，所述全色像素组包括至少四个全色像素，所述彩色像素包括彩色滤光片，所述全色像素包括全色滤光片，所述图像处理方法包括：

根据相机应用的使用状态，采用一种图像处理模式，所述相机应用的使用状态包括预览状态，拍照状态和视频状态，所述图像处理模式包括，

一级合并模式，包括，读取所述像素阵列的像素值，合并所述彩色像素组内的所有所述彩色像素的像素值，作为所述彩色像素组的像素值，合并所述全色像素组内的所有所述全色像素的像素值，作为所述全色像素组的像素值，根据所述彩色像素组的像素值和所述全色像素组的像素值形成一级像素阵列，将所述一级像素阵列转换为拜尔阵列；

二级合并模式，包括，读取所述像素阵列的像素值，合并所述最小重复单元内的所有所述彩色像素的像素值，作为所述最小重复单元的彩色像素值，合并所述最小重复单元内的所有所述全色像素的像素值，作为所述最小重复单元的全色像素值，根据所述最小重复单元的所述彩色像素值和所述最小重复单元的所述全色像素值形成二级像素阵列，将所述二级像素阵列转换为拜尔阵列。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模式还包括：

全分辨率模式，包括，读取所述像素阵列的像素值，将所述像素阵列的像素值转换为拜尔阵列。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模式还包括：

双输出模式，包括，

读取所述像素阵列的彩色像素的像素值，将所述彩色像素的像素值转换为拜尔阵列；

读取所述像素阵列的全色像素的像素值，将所述全色像素的像素值转换为黑白阵列。

4.根据权利要求1至3任意一项所述的图像处理方法，其特征在于，根据所述相机应用的使用状态，采用一种或多种所述图像处理模式后，还包括：

当接收到预设切换指令时，将当前采用的所述图像处理模式切换至另一所述图像处理模式。

5.根据权利要求4所述的图像处理方法，其特征在于，

当所述相机应用处于所述预览状态时，采用所述二级合并模式。

6.根据权利要求5所述的图像处理方法，其特征在于，

当接收到预览放大指令时，将所述二级合并模式切换至所述全分辨率模式。

7.根据权利要求4所述的图像处理方法，其特征在于，

当所述相机应用处于所述拍照状态时，采用所述一级合并模式。

8.根据权利要求7所述的图像处理方法，其特征在于，所述方法包括，

当所述相机应用处于所述拍照状态时，获得目标图像的色温信息；

根据所述色温信息判断所述电子设备处于室内或室外；

当所述电子设备处于所述室内时，获得环境光强度；

当所述环境光强度大于或等于第一光强阈值时，采用所述一级合并模式；

当所述环境光强度小于所述第一光强阈值时，采用所述二级合并模式。

9.根据权利要求7所述的图像处理方法，其特征在于，所述方法包括，

当所述相机应用处于所述拍照状态时，获得目标图像的色温信息；

根据所述色温信息判断所述电子设备处于室内或室外；

当所述电子设备处于所述室外时，获得环境光强度；

当所述环境光强度小于或等于第二光强阈值且大于或等于第三光强阈值时，采用所述一级合并模式；

当所述环境光强度大于所述第二光强阈值时，采用所述全分辨率模式；

当所述环境光强度小于所述第三光强阈值时，采用所述二级合并模式。

10.根据权利要求4所述的图像处理方法，其特征在于，

获得目标图像的纹理占比；

当所述目标图像的所述纹理占比超过纹理占比阈值时，采用所述全分辨率模式。

11.根据权利要求4所述的图像处理方法，其特征在于，

当所述相机应用处于所述视频状态时，采用所述二级合并模式。

12.根据权利要求11所述的图像处理方法，其特征在于，还包括，当接收到提升视频分辨率的触控指令时，将所述二级合并模式切换至所述一级合并模式。

13.根据权利要求12所述的图像处理方法，其特征在于，还包括，根据帧率控制指令调整视频帧率。

14.根据权利要求1至3任意一项所述的图像处理方法，其特征在于，还包括：

在第一芯片中执行所述图像处理模式，并将所述拜尔阵列和/或黑白阵列传输至平台图像处理芯片，其中，所述第一芯片为所述图像传感器的内置芯片；或

在第二芯片中执行所述图像处理模式，并将所述拜尔阵列和/或黑白阵列传输至所述平台图像处理芯片，其中，所述第二芯片为所述图像传感器的外接芯片；或

将所述像素阵列的数据转储到所述电子设备的内存中，执行所述图像处理模式，并将所述拜尔阵列和/或黑白阵列转储至所述平台图像处理芯片。

15.根据权利要求1至3任意一项所述的图像处理方法，其特征在于，

四个相邻的所述彩色像素共同构成一个所述彩色像素组，其中，所述四个相邻的所述彩色像素呈矩阵排列；

四个相邻的所述全色像素共同构成一个所述全色像素组，其中，所述四个相邻的所述全色像素呈矩阵排列。

16.根据权利要求15所述的图像处理方法，其特征在于，所述最小重复单元包括两个所述彩色像素组和两个所述全色像素组，其中，所述两个所述彩色像素组和所述两个所述全色像素组呈矩阵排列，且，所述两个所述彩色像素组位于所述矩阵的第一对角线方向，所述两个所述全色像素组位于所述矩阵的第二对角线方向，所述第一对角线方向和所述第二对角线方向不同。

17.根据权利要求16所述的图像处理方法，其特征在于，所述最小重复单元为四行四列，共十六个像素，排布方式为：

其中，W表示全色像素，C表示彩色像素。

18.根据权利要求17所述的图像处理方法，其特征在于，

所述彩色像素包括第一颜色像素，第二颜色像素和第三颜色像素，其中，所述第一颜色像素、所述第二颜色像素和所述第三颜色像素的所述彩色滤光片的颜色不同；

四个相邻的所述最小重复单元构成颜色重复单元，所述颜色重复单元为八行八列，共六十四个所述像素，排布方式为：

其中，W表示全色像素，X表示第一颜色像素，Y表示第二颜色像素，Z表示第三颜色像素。

19.根据权利要求16所述的图像处理方法，其特征在于，所述最小重复单元为四行四列，共十六个像素，排布方式为：

其中，W表示全色像素，C表示彩色像素。

20.根据权利要求19所述的图像处理方法，其特征在于，

所述彩色像素包括第一颜色像素，第二颜色像素和第三颜色像素，其中，所述第一颜色像素、所述第二颜色像素和所述第三颜色像素的所述彩色滤光片的颜色不同；

四个相邻的所述最小重复单元构成颜色重复单元，所述颜色重复单元为八行八列，共六十四个所述像素，排布方式为：

其中，W表示全色像素，X表示第一颜色像素，Y表示第二颜色像素，Z表示第三颜色像素。

21.一种电子设备，其特征在于，包括，

图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括重复排列的最小重复单元，所述最小重复单元包括至少两个彩色像素组和至少两个全色像素组，所述彩色像素组包括至少四个彩色像素，所述全色像素组包括至少四个全色像素，所述彩色像素包括彩色滤光片，所述全色像素包括全色滤光片；

处理器，所述处理器用于执行如权利要求1至20任意一项所述的方法。

22.一种电子设备，其特征在于，包括，

图像获取模块，所述图像获取模块包括像素阵列，所述像素阵列包括重复排列的最小重复单元，所述最小重复单元包括至少两个彩色像素组和至少两个全色像素组，所述彩色像素组包括至少四个彩色像素，所述全色像素组包括至少四个全色像素，所述彩色像素包括彩色滤光片，所述全色像素包括全色滤光片；

图像处理模块，所述图像处理模块用于根据相机应用的使用状态，采用一种图像处理模式，所述相机应用的使用状态包括预览状态，拍照状态和视频状态，所述图像处理模式包括：

一级合并模式，包括，读取所述像素阵列的像素值，合并所述彩色像素组内的所有所述彩色像素的像素值，作为所述彩色像素组的像素值，合并所述全色像素组内的所有所述全色像素的像素值，作为所述全色像素组的像素值，根据所述彩色像素组的像素值和所述全色像素组的像素值形成一级像素阵列，将所述一级像素阵列转换为拜尔阵列；

二级合并模式，包括，读取所述像素阵列的像素值，合并所述最小重复单元内的所有所述彩色像素的像素值，作为所述最小重复单元的彩色像素值，合并所述最小重复单元内的所有所述全色像素的像素值，作为所述最小重复单元的全色像素值，根据所述最小重复单元的所述彩色像素值和所述最小重复单元的所述全色像素值形成二级像素阵列，将所述二级像素阵列转换为拜尔阵列。

23.根据权利要求22所述的一种电子设备，其特征在于，所述图像处理模式还包括：

全分辨率模式，包括，读取所述像素阵列的像素值，将所述像素阵列的像素值转换为拜尔阵列。

24.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如权利要求1至20中任一项所述的图像处理方法。

Images