CN116389898A - 图像处理方法、设备及存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、设备及存储介质，该方法包括：通过监测第一队列中连续M帧图像的缓存个数的变化情况，确定采用何种图像处理模式处理图像数据。本申请提供的图像处理模式包括第一模式、第二模式和第三模式。第一模式对应暗光环境，需要对RAW图像数据进行图像处理；第二模式对应亮光环境，不需要对RAW图像数据进行图像处理，第三模式为新配置的由第二模式切换至第一模式的一个过渡模式，第三模式不需要对RAW图像数据进行图像处理，但需要初始化与RAW图像处理相关的资源，这样，由第三模式切换至第一模式后，第一模式下的首帧图像能够直接利用提前创建的该资源进行RAW图像处理，避免图像处理模式切换时出现画面异常，提高设备拍摄性能。

Description

图像处理方法、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及图像处理方法、设备及存储介质。

背景技术

手机拍摄能力是评价手机性能的一个重要指标。其中，夜景拍摄是用户使用手机拍摄的一个常用场景，由于夜景拍摄时的环境光线较弱，手机拍摄的照片或视频的画质差、噪点多，因此需要在暗光环境下对图像进行一系列的图像处理，例如多帧降噪处理、图像融合等。

相关技术中，为了降低设备的拍摄功耗，在视频录制时，可以设定仅在暗光环境下执行上述图像处理，在亮光环境下不执行上述图像处理。然而，在亮光环境切换至暗光环境的瞬间，需要初始化未经加工(RAW)图像处理相关的资源，在初始化过程中，由于该资源未准备好，设备界面会出现明显的闪帧现象。

发明内容

本申请实施例提供一种图像处理方法、设备及存储介质，提升设备的拍摄性能。

第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，该图像处理方法，包括：

第一时间点，第一队列中连续M帧图像的最后一帧图像的缓存个数为第一值，在所述第一时间点，从所述电子设备的图像传感器获取第一图像数据，经图像格式转换后显示所述第一图像数据；

第二时间点，所述第一队列中连续M帧图像的缓存个数不全为第二值，且连续M帧图像的最后一帧图像的缓存个数为所述第二值，在所述第二时间点，从所述图像传感器获取第二图像数据，经图像格式转换后显示所述第二图像数据，以及初始化与RAW图像处理相关的资源；

第三时间点，所述第一队列中连续M帧图像的缓存个数均为所述第二值，在所述第三时间点，从所述图像传感器获取第三图像数据，对所述第三图像数据进行RAW图像处理，经图像格式转换后，显示图像处理后的所述第三图像数据；

所述第二值大于所述第一值，所述M为大于1的正整数。

需要说明的是，若连续图像帧的缓存个数均为1，说明当前拍摄环境为亮光环境，若连续图像帧的缓存个数均为2，说明当前拍摄环境为暗光环境。图像传感器输出的图像数据为RAW图像数据。

示例性的，M取5，第一值取1，第二值取2。第一时间点的第一队列的缓存个数可以为如[2 2 2 2 1]，[2 1 2 2 1]，[2 2 1 1 1]，[1 1 1 1 1]等，只要最后一帧图像的缓存个数为1，可确定第一时间点的图像处理模式为第二模式，第二模式下无需对RAW图像进行图像处理，如多帧降噪、图像融合等处理。第二时间点的第一队列的缓存个数可以为如[1 22 2 2]，[2 1 2 22]，[1 1 1 1 2]等，可确定第二时间点的图像处理模式为第三模式，第三模式下同样不需要对RAW图像进行图像处理，但是会在该模式下初始化与RAW图像处理相关的资源。第三时间点的第一队列的缓存个数可以为如[2 2 2 2 2]，可确定第三时间点的图像处理模式为第一模式，第一模式下需要对RAW图像进行图像处理。

需要说明的是，本实施例的第一模式可以看作是暗光环境的图像处理模式，第二模式可以看作是亮光环境的图像处理模式。第三模式可以看作是由第二模式切换至第一模式的一个过渡模式。

上述方案适用于拍摄环境从亮光环境至暗光环境的场景，例如第一时间点的第一队列为[1 1 1 1 1]，第一时间点之后(如第二时间点)进入到第一队列的缓存个数为2，即第二时间点的第一队列为[1 1 1 1 2]，第二时间点之后进入到第一队列的缓存个数均为2，直至第三时间点的第一队列为[2 2 2 2 2]。在第一时间点图像处理模式为第二模式，电子设备不对RAW图像数据进行图像处理；第二时间点由第二模式切换至第三模式，电子设备同样不对RAW图像数据进行图像处理，但是开始初始化与RAW图像处理相关的资源，第三时间点由第三模式切换至第一模式，电子设备利用第二时间点至第三时间点的时段初始化的资源，对第一模式下的首帧图像进行RAW图像处理，由于资源已经提前准备好，因此不会出现闪帧现象，提高了设备的拍摄性能，提升了用户的拍摄体验。

作为一种示例，所述从所述电子设备的图像传感器获取第一图像数据，经图像格式转换后显示所述第一图像数据，包括：所述电子设备的图像处理模块从所述图像传感器获取所述第一图像数据；所述图像处理模块将所述第一图像数据直接发送至所述电子设备的图像格式转换模块；经所述图像格式转换模块处理后，显示所述第一图像数据。

作为一种示例，所述从所述图像传感器获取第二图像数据，经图像格式转换后显示所述第二图像数据，包括：所述电子设备的图像处理模块从所述图像传感器获取所述第二图像数据；所述图像处理模块将所述第二图像数据发送至所述电子设备的图像格式转换模块；经所述图像格式转换模块处理后，显示所述第二图像数据；所述初始化与RAW图像处理相关的资源，包括：所述电子设备的控制模块初始化与所述RAW图像处理相关的资源。

作为一种示例，所述从所述图像传感器获取第三图像数据，对所述第三图像数据进行RAW图像处理，经图像格式转换后，显示图像处理后的所述第三图像数据，包括：所述电子设备的图像处理模块从所述图像传感器获取所述第三图像数据；所述图像处理模块对所述第三图像数据进行RAW图像处理，经所述电子设备的图像格式转换模块处理后，显示图像处理后的所述第三图像数据。

在本申请第一方面的一个可选实施例中，图像处理方法，还包括：

第四时间点，所述第一队列中连续M帧图像的缓存个数均为所述第一值；

在第四时间点后，最新进入所述第一队列的图像的缓存个数为所述第二值，所述电子设备的控制模块初始化与所述RAW图像处理相关的资源。

上述方案中，基于第四时间点的第一队列[1 1 1 1 1]，可以确定第四时间点的图像处理模式为第二模式，第二模式下无需对RAW图像数据进行图像处理，在第四时间点后的第一队列为[1 1 1 1 2]，可以确定第四时间点后，图像处理模式将由第二模式切换至第三模式，第三模式下虽然无需对RAW图像数据进行图像处理，但是需要初始化与RAW图像处理相关的资源，以便后续切换至第一模式的瞬间，与RAW图像处理相关的资源已准备好。

在本申请第一方面的一个可选实施例中，图像处理方法，还包括：

第五时间点，所述第一队列中连续M帧图像的最前一帧图像的缓存个数为所述第一值，且后M-1帧图像的缓存个数均为所述第二值；

在所述第五时间点后，所述第一队列中最新进入的图像的缓存个数为所述第二值，所述电子设备的控制模块向所述电子设备的图像处理模块发送第一指示；

所述图像处理模块从所述图像传感器获取第四图像数据，基于所述第一指示对所述第四图像数据进行RAW图像处理，经所述电子设备的图像格式转换模块处理后，显示图像处理后的所述第四图像数据。

上述方案中，基于第五时间点的第一队列[1 2 2 2 2]，可以确定第五时间点的图像处理模式为第三模式，第三模式下无需对RAW图像数据进行图像处理，但是需要初始化与RAW图像处理相关的资源。在第五时间点后的第一队列为[2 2 2 2 2]，可以确定第五时间点后，图像处理模式将由第三模式切换至第一模式，由于与RAW图像处理相关的资源已经准备好，因此在第五时间点后，可直接利用该资源对RAW图像数据进行图像处理，不会出现图像处理异常的现象(即闪帧现象)，提升了设备的拍摄性能。

在本申请第一方面的一个可选实施例中，图像处理方法，还包括：

在所述第三时间点后，最新进入所述第一队列的图像的缓存个数为所述第一值，所述电子设备的控制模块向所述电子设备的图像处理模块发送第二指示；

所述图像处理模块从所述图像传感器获取第五图像数据，基于所述第二指示将所述第五图像数据发送至所述电子设备的图像格式转换模块，经所述图像格式转换模块处理后，显示所述第五图像数据。

上述方案中，由于第三时间点的第一队列为[2 2 2 2 2]，可以确定第三时间点的图像处理模式为第一模式，第一模式下需要对图像数据进行图像。在第三时间点后的第一队列为[2 2 22 1]，此时图像处理模式将由第一模式直接切换至第二模式。由于第二模式下的图像数据不需要利用第一模式下的RAW图像处理相关的资源，因此不会有闪帧现象，直接进行图像处理模式的切换，可降低设备的功耗。

在本申请第一方面的一个可选实施例中，图像处理方法，还包括：

在所述第三时间点后，所述控制模块释放与所述RAW图像处理相关的资源。

上述方案中，由于在第三时间点后图像处理模式切换至第二模式，第二模式下无需对RAW图像进行图像处理，通过释放与RAW图像处理相关的资源，减小设备内存功耗，提高设备的资源利用率。

在本申请第一方面的一个可选实施例中，图像处理方法，还包括：

检测到用户触发的第一操作，执行初始化流程，所述初始化流程包括初始化与RAW图像处理相关的资源，以及第一队列的资源；

所述第一操作包括开启相机应用的操作，或者切换拍摄模式的操作。

上述方案中，在用户开启相机，或者切换拍摄模式后，设备首先执行初始化流程，由于默认的图像处理模式为第一模式，第一模式需要对RAW图像进行图像处理，因此在初始化流程中需要创建与RAW图像处理相关的资源，以便顺利执行RAW图像处理。此外，图像处理模式的切换需要基于第一队列的缓存个数，因此在初始化流程中需要创建好第一队列的资源，以便设备确定是否需要切换图像处理模式。

在本申请第一方面的一个可选实施例中，所述RAW图像处理包括多帧降噪，图像融合的至少一项。

上述方案示出的多帧降噪和图像融合，能够提升设备在暗光环境下拍摄的图像的图像质量。

第二方面，本申请实施例一种电子设备，包括：获取模块，处理模块和显示模块；

第一时间点，第一队列中连续M帧图像的最后一帧图像的缓存个数为第一值，在所述第一时间点，所述获取模块从所述电子设备的图像传感器获取第一图像数据，所述处理模块对所述第一图像数据进行图像格式转换，由所述显示模块显示所述第一图像数据；

第二时间点，所述第一队列中连续M帧图像的缓存个数不全为第二值，且连续M帧图像的最后一帧图像的缓存个数为所述第二值，在所述第二时间点，所述获取模块从所述图像传感器获取第二图像数据，所述处理模块对所述第二图像数据进行图像格式转换，由所述显示模块显示所述第二图像数据，以及所述处理模块初始化与RAW图像处理相关的资源；

第三时间点，所述第一队列中连续M帧图像的缓存个数均为所述第二值，在所述第三时间点，所述获取模块从所述图像传感器获取第三图像数据，所述处理模块对所述第三图像数据进行RAW图像处理、图像格式转换，由所述显示模块显示图像处理后的所述第三图像数据；

所述第二值大于所述第一值，所述M为大于1的正整数。

第三方面，本申请实施例提供了一种电子设备，电子设备包括：存储器和处理器，所述处理器用于调用所述存储器中的计算机程序，以执行如第一方面任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面任一项所述的方法。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面任一项所述的方法。

第六方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面任一项所述的方法。

应当理解的是，本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种拍摄场景的示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3为本申请实施例提供的一种电子设备的软件架构示意图；

图4为本申请实施例提供的一种图像处理方法的流程示意图；

图5为本申请实施例提供的第一队列的缓存个数的存储示意图；

图6为本申请实施例提供的一种图像队列的示意图；

图7为本申请实施例提供的一种图像处理方法的流程示意图；

图8为本申请实施例提供的一种图像处理方法的流程示意图；

图9为本申请实施例提供的一种图像处理模式切换的示意图；

图10为本申请实施例提供的一种图像处理模式切换的示意图；

图11为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一模式、第二模式和第三模式仅仅是为了区分不同的图像处理模式，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

首先，对本申请实施例涉及到的专业术语进行简要介绍。

RAW：一种图像格式。RAW图像就是互补金属氧化物半导体(complementary metaloxide semiconductor,CMOS)或者电荷耦合器件(charge coupled device,CCD)图像感应器将捕捉到的光源信号转化为数字信号的原始数据。

如背景技术部分的描述，用户在使用手机录制视频的过程中，从亮光环境进入到暗光环境，由于环境光亮度的突然降低，手机需要调整其图像处理模式，例如由第二模式切换至第一模式。其中，第二模式为在亮光环境下的图像处理模式，例如第二模式不需要对RAW图像进行多帧降噪处理。第一模式为在暗光环境下的图像处理模式，例如第一模式下需要对RAW图像进行多帧降噪处理。由于第二模式不需要对RAW图像进行多帧降噪处理，第二模式下不执行与RAW图像处理相关的资源的初始化，那么，在图像处理模式切换的瞬间，首先需要初始化与RAW图像处理相关的资源，在初始化过程中，由于与RAW图像处理相关的资源尚未准备好，该时刻送至屏幕显示的图像将会存在异常，出现闪帧现象，给用户带来不好的拍摄体验。

示例性的，图1为本申请实施例提供的一种拍摄场景的示意图。如图1所示，用户使用手机拍摄移动中的人物，假设该人物由亮光环境进入暗光环境，基于现有的一种图像处理方案，手机对亮光环境下采集的图像帧，如图1中的图像帧1和图像帧2，不执行多帧降噪处理。手机对暗光环境下采集的图像帧，如图1中的图像帧3至图像帧5，执行多帧降噪处理。在环境光亮度突然降低时，图像处理模式由第二模式切换至第一模式，由于第二模式下的多帧降噪处理相关的资源未准备好，在图像处理模式的切换时刻t1之后的前N帧，N为正整数，例如N为2，图1中的图像帧3和图像帧4将出现异常，即图像帧有闪帧。

针对上述问题，本申请实施例提供一种图像处理方法，该方法的主要思路如下：在由亮光环境进入暗光环境的过程中，图像处理模式需要从第二模式切换至第一模式，在第二模式与第一模式之间配置第三模式，第三模式可以看作是一个过渡模式。与第二模式相同的是，第三模式不需要对RAW图像进行图像处理(包括例如多帧降噪、图像融合等)，与第二模式不同的是，第三模式下需要初始化与RAW图像处理相关的资源。基于上述配置，在用户从亮光环境至暗光环境的过程中，电子设备可由第二模式首先切换至第三模式，再由第三模式切换至第一模式，第三模式下初始化与RAW图像处理相关的资源，从而保证在切换至第一模式后的首帧图像能够顺利进行RAW图像处理，避免设备的显示界面出现闪帧，提高设备的拍摄性能，提升用户的拍摄体验。

此外，本申请通过配置第一队列，基于第一队列中连续M帧图像的缓存个数，来确定是否需要进行图像处理模式的切换或保持，为动态调节图像处理模式提供依据。

需要说明的是，在一些实施例中，第一模式也可称为离线模式，记为OfflineStream。第二模式也可称为在线模式，记为OnlineStream。第三模式也可称为过渡模式，记为Online-To-Offline。

本申请实施例提供的图像处理方法，可以应用于任何具有拍摄和显示功能的电子设备中，电子设备可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、人工智能(artificialintelligence，AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备等电子设备。本申请实施例对该设备的具体形态不作特殊限制。

为了能够更好地理解本申请实施例，下面首先对本申请实施例的电子设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种电子设备的结构示意图。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种电子设备的结构示意图。如图2所示，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，显示处理单元(displayprocess unit，DPU)，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备100执行各种功能应用及数据处理。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接电池150，电源管理模块141接收电池150和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏193，摄像头192，和通信模块160等供电。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

通信模块160可以包括移动通信模块和无线通信模块。移动通信模块提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)，蓝牙，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。

电子设备100通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。

显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，显示屏194为一种可折叠的柔性屏幕，显示屏194可称为折叠屏。

电子设备100可以通过ISP，一个或多个摄像头193，视频编解码器，GPU，一个或多个显示屏194以及应用处理器等实现拍摄功能。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。

传感器180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，霍尔传感器，温度传感器，触摸传感器180K，环境光传感器180L，骨传导传感器等。

触摸传感器180K，也可称触控面板。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称触控屏。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器配合，检测电子设备100是否在口袋里，以防误触。

按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191用于实现电子设备100的震动。SIM卡接口194用于连接SIM卡。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。

另外，在上述部件之上，运行有操作系统。例如iOS操作系统，Android开源操作系统，Windows操作系统等。在操作系统上可以安装运行应用程序。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等。示例性的，图3为本申请实施例提供的一种电子设备的软件架构示意图。

图3所示电子设备的分层架构可以将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将安卓软件架构分为多层，从上之下分别为应用层301，框架层302，硬件抽象层303以及内核层304。

其中，应用层301也可以称为应用程序层，或者应用(application，APP)层。在一些实现中，应用程序层可以包括一系列应用程序包。应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

框架层302也可以称为应用程序框架层。该框架层302可以为应用层301的应用程序提供应用编程接口(application programming interface，API)和编程框架。框架层302包括一些预先定义的函数。

示例性的，框架层302可以包括窗口管理器，内容提供器，视图系统，资源管理器，通知管理器，活动管理器，输入管理器等。

窗口管理器提供窗口管理服务(Window ManagerService，WMS)，WMS可以用于窗口管理、窗口动画管理、surface管理以及作为输入系统的中转站。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。该数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

活动管理器可以提供活动管理服务(Activity Manager Service，AMS)，AMS可以用于系统组件(例如活动、服务、内容提供者、广播接收器)的启动、切换、调度以及应用进程的管理和调度工作。

输入管理器可以提供输入管理服务(Input Manager Service，IMS)，IMS可以用于管理系统的输入，例如触摸屏输入、按键输入、传感器输入等。IMS从输入设备节点取出事件，通过和WMS的交互，将事件分配至合适的窗口。

应用层301和框架层302运行在虚拟机中。虚拟机将应用层301和框架层302的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

硬件抽象层303是位于内核层与硬件电路之间的接口层。本实施例中，硬件抽象层203包括控制模块，图像处理模块和图像格式转换模块。

控制模块用于确定图像处理模式，基于图像处理模块控制图像处理模块执行或者不执行RAW图像处理。作为一种示例，图像处理模式包括第一模式、第二模式和第三模式。第一模式为暗光环境下的图像处理模式，该模式需要对RAW图像进行图像处理。第二模式为亮光环境下的图像处理模式，该模式不需要对RAW图像进行图像处理。第三模式为亮光环境切换至暗光环境时的过渡模式，该第三模式不需要对RAW图像进行图像处理，但需要预先初始化第一模式下的与RAW图像处理相关的资源，即在第三模式下提前申请第一模式下的与RAW图像处理相关的资源，为后续第一模式的RAW图像处理做准备。

图像处理模块可用于接收控制模块发送的指令，执行或不执行RAW图像处理。本申请实施例中，图像处理模块包括图像前端(image front end，IFE)模块。RAW图像处理包括例如多帧降噪处理、图像融合等。

图像格式转换模块可用于将RAW格式的数据转换为显示器支持的图像格式(例如JPEG格式)的数据。

内核层304是硬件和软件之间的层。内核层包括相机驱动，显示驱动，传感器驱动，音频驱动等。

本申请实施例提供的图像处理方法均能够应用于具有如图3所示的电子设备中。

需要说明的是，上述图3及其说明仅为本申请实施例提供的方案的一种应用载体的示例。图3的组成并不构成对本申请实施例所述的方案的限定。在另一些实施例中，电子设备还可以具有比图3所示组成更多或更少的部件。

下面结合具体的实施例对本申请提供的图像处理方法进行详细说明。需要说明的是，本申请提供的技术方案可以包括以下内容中的部分或全部，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图4为本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，本实施例的图像处理方法，包括以下步骤：

S401.响应于用户触发的第一操作，控制模块将图像处理模式配置为第一模式。

其中，第一操作可以是用户开启相机应用的操作，第一操作也可以是用户切换拍摄模式的操作，例如用户触发从人像模式切换至视频拍摄模式的操作。

需要说明的是，响应于用户触发的第一操作，电子设备需要执行初始化流程。其中初始化流程包括创建资源。

本实施例中，创建资源包括创建与RAW图像处理相关的资源，帧缓冲资源，以及第一队列的资源。

与RAW图像处理相关的资源，对应第一模式，在第一模式下需要图像处理模块需要使用该资源进行RAW图像处理。

帧缓冲资源可以看作是电子设备在内存中为当前需要显示的图像配置的存储空间，帧缓冲中包含的内容可以全部在电子设备的屏幕上呈现。也就是说，在电子设备需要显示某一图像时，可以根据帧缓冲中存储的该图像对应的数据，控制显示器显示该图像。

第一队列的资源可以看作是电子设备在内存中为控制模块确定图像处理模式配置的存储空间，第一队列中包含需要显示的图像的缓存个数，例如，第一队列存储连续M帧图像的缓存个数，M为大于1的正整数，例如M取5。

应理解，随着时间的推移，拍摄环境在发生变化，图像传感器采集的连续图像帧的缓存个数也在发生变化，那么，记录至第一队列中的连续M帧图像的缓存个数也是动态变化的。控制模块可根据当前时刻第一队列中连续M帧图像的缓存个数，确定当前时刻是否需要切换图像处理模式，具体方案可参见后文。

第一模式为暗光环境的图像处理模式，在第一模式下需要对RAW图像进行图像处理，如多帧降噪处理、图像融合等等。也就是说，用户在开启相机应用后，或者切换拍摄模式后，默认的图像处理模式为第一模式。

S402.控制模块获取图像传感器采集的第一帧图像的缓存个数(buffer count)。

其中，第一帧图像可以看作是用户开启相机后，或者切换拍摄模式后图像传感器采集的首帧图像。

作为一种示例，控制模块将第一帧图像的缓存个数记录至第一队列。应理解，第一帧之后的图像帧的缓存个数依次记录至第一队列中。

示例性的，图5为本申请实施例提供的第一队列的缓存个数的存储示意图。如图5所示，假设第一队列的长度为5，连续图像帧(图5中的第0帧至第4帧)的缓存个数按照图像传感器出图顺序，依次记录至第一队列，即从第一队列的最右端进入，从第一队列的最左端输出，即第一队列以先进先出的方式记录连续5帧图像的缓存个数。在图5中，t时刻，第0帧至第4帧的缓存个数均为2。t+1时刻，第5帧的缓存个数写入第一队列，第1帧的缓存个数弹出第一队列。

S403.控制模块根据第一帧图像的缓存个数，确定是否由第一模式切换至第二模式。

一种可能的情况，第一帧图像的缓存个数为第一值，执行S404。

另一种可能的情况，第一帧图像的缓存个数为第二值，执行S406。

示例性的，第一值为1，第二值为2。

第二模式为亮光环境的图像处理模式，在第二模式下不需要对RAW图像进行图像处理。

第一帧图像的缓存个数可间接指示当前拍摄环境的光亮度。通常情况下，图像的缓存个数为1，表示拍摄该图像的当前拍摄环境为亮光环境；图像的缓存个数为2，表示拍摄该图像的当前拍摄环境为暗光环境。

示例性的，图6为本申请实施例提供的一种图像队列的示意图。如图6的(a)所示，用户开启相机应用或切换拍摄模式后，图像传感器采集的前几帧图像(如第0帧至第n+4帧)的每一帧图像的缓存个数均为1，表示当前拍摄环境为亮光环境。图6的(b)所示，用户开启相机应用或切换拍摄模式后，图像传感器采集的前几帧图像(如第0帧至第n+4帧)的每一帧图像的缓存个数均为2，表示当前拍摄环境为暗光环境。

S404.控制模块将图像处理模式由第一模式切换至第二模式。

S405.控制模块向图像处理模块发送第一指令，第一指令用于指示图像处理模块不对图像序列中的RAW图像进行图像处理。

作为一种示例，图像处理模块根据第一指令，将RAW图像直接发送至图像格式转换模块，经图像格式转换模块处理后，送至屏幕显示。

需要说明的是，在由第一模式切换至第二模式后，可释放与RAW图像处理相关的资源，以提升设备资源的利用率。

S406.控制模块向图像处理模块发送第二指令，第二指令用于指示图像处理模块对图像序列中的RAW图像进行图像处理。

S407.图像处理模块根据第二指令，执行RAW图像处理。

作为一种示例，图像处理模块从图像传感器获取RAW图像，对RAW图像进行图像处理，得到处理后的RAW图像。图像处理模块向图像格式转换模块发送处理后的RAW图像，经图像格式转换模块处理后，送至屏幕显示。

可选的，RAW图像处理包括多帧降噪处理，图像融合的至少一项。在一些实施例中，RAW图像处理还可以包括其他提升图像质量的处理方法，对此本申请不作任何限制。

上述实施例示出了用户在开启相机应用后，或者切换拍摄模式后，通过分析第一帧图像的缓存个数，确定当前拍摄环境是亮光环境还是暗光环境，从而确定初始的图像处理模式，基于确定的图像处理模式指示图像处理模块的执行动作。由于不同拍摄环境采用不同的图像处理模式，这样可以降低设备的拍摄功耗。

在图4所示实施例的基础上，假设拍摄环境由亮光环境切换至暗光环境，可参照图6的(a)所示的图像队列，t1时刻之前，图像帧的缓存个数均为1，拍摄环境为亮光环境，t1时刻之后，图像帧的缓存个数均为2，拍摄环境为暗光环境。

针对上述拍摄环境的变化，本申请实施例提供一种图像处理方法，下面结合附图7进行方案说明。图7为本申请实施例提供的一种图像处理方法的流程示意图。如图7所示，在上述实施例的S405的基础上，本实施例的图像处理方法，还包括以下步骤：

S701.在第一时刻，控制模块确定第一队列中最新一帧图像的缓存个数为第二值，控制模块将图像处理模式由第二模式切换至第三模式。

需要说明的是，第一时刻之前，图像处理模式为第二模式，第二模式对应的拍摄环境为亮光环境。

示例性的，如图6的(a)所示，在t1时刻(即第一时刻)的第一队列的图像帧的缓存个数依次为1 1 1 1 2，最新一帧图像的缓存个数为2，该最新一帧图像之前的4帧图像的缓存个数均为1，此时控制模块确定需要将图像处理模式由第二模式切换至第三模式。

第三模式为第二模式切换至第一模式的一个过渡模式，在第三模式下同样不需要对RAW图像进行图像处理，但需要初始化与RAW图像处理相关的资源。

在一些实施例中，在第一时刻，控制模块确定第一队列中最新一帧图像的缓存个数为第一值，则保持第二模式。

S702.控制模块初始化与RAW图像处理相关的资源。

需要说明的是，RAW图像处理相关的资源与S401中的帧缓冲资源不同，RAW图像处理相关的资源可以看作是电子设备在内存中为图像处理过程中的相关数据配置的存储空间。

S703.在第二时刻，控制模块确定第一队列中连续M帧图像的缓存个数均为第二值，控制模块将图像处理模式由第三模式切换至第一模式。

其中，第二时刻晚于第一时刻。

示例性的，如图6的(a)所示，在t1时刻之后，进入第一队列的连续4帧图像的缓存个数均为2。在t2时刻(即第二时刻)第一队列的连续5帧图像的缓存个数均为2，此时控制模块需要将图像处理模式由第三模式切换至第一模式。

S704.控制模块向图像处理模块发送第三指令，第三指令用于指示图像处理模块对图像序列中的RAW图像进行图像处理。

S705.图像处理模块根据第三指令，执行RAW图像处理。

作为一种示例，图像处理模块从图像传感器获取RAW图像，对RAW图像进行图像处理，得到处理后的RAW图像。图像处理模块向图像格式转换模块发送处理后的RAW图像，经图像格式转换模块处理后，送至屏幕显示。

上述实施例示出了一种图像处理方法，其拍摄环境是从亮光环境至暗光环境，该拍摄环境对应图6的(a)。在该图像处理方法中，第一时刻之前的图像处理模式为第二模式，通过监测最新进入第一队列的图像帧的缓存个数，确定是保持第二模式，还是由第二模式切换至第三模式。若最新进入第一队列的图像帧的缓存个数为第二值，则由第二模式切换至第三模式，若后续进入第一队列的图像帧的缓存个数仍为第二值，直至监测到第一队列中的图像帧缓存个数均为第二值，则将图像处理模式由第三模式切换至第一模式。本实施例的第三模式为过渡模式，第三模式下虽然不对图像帧进行RAW图像处理，但是在第三模式下需要提前初始化第一模式下与RAW图像处理相关的资源，如此一来，在切换至第一模式后，图像处理模块能够对第一模式下的首帧图像进行正常的图像处理，从而避免了第二模式直接切换至第一模式的瞬间，出现屏幕闪帧的现象。

在图4所示实施例的基础上，假设拍摄环境由暗光环境切换至亮光环境，可参照图6的(b)所示的图像队列，t3时刻之前，图像帧的缓存个数均为2，拍摄环境为暗光环境，t3时刻之后，图像帧的缓存个数均为1，拍摄环境为亮光环境。

针对上述拍摄环境的变化，本申请实施例提供一种图像处理方法，下面结合附图8进行方案说明。图8为本申请实施例提供的一种图像处理方法的流程示意图。如图8所示，在上述实施例的S406的基础上，本实施例的图像处理方法，还包括以下步骤：

S801.在第三时刻，控制模块确定第一队列中最新一帧图像的缓存个数为第一值，控制模块将图像处理模式由第一模式切换至第二模式。

需要说明的是，第三时刻之前，图像处理模式为第一模式，第一模式对应的拍摄环境为暗光环境。

示例性的，如图6的(b)所示，在t3时刻(即第三时刻)的第一队列的图像帧的缓存个数依次为2 2 2 2 1，最新一帧图像的缓存个数(即第一队列最右端的缓存个数)为1，该最新一帧图像之前的4帧图像的缓存个数均为2，此时控制模块确定将图像处理模式由第一模式直接切换至第二模式。在t3时刻之后，进入第一队列的连续4帧图像的缓存个数均为1，如t4时刻的第一队列，可间接指示拍摄环境为亮光环境。

基于上述示例，在拍摄环境由暗光环境至亮光环境的过程中，可以直接从第一模式切换至第二模式，而不需要经过第三模式过渡，这是由于第二模式下不需要对RAW图像进行图像处理，或者说第二模式下不需要额外调用离线的底层芯片资源，因此可以直接进行模式切换，不会有闪帧现象。

S802.控制模块向图像处理模块发送第四指令，第四指令用于指示图像处理模块不对图像序列中的RAW图像进行图像处理。

作为一种示例，图像处理模块根据第四指令，将RAW图像直接发送至图像格式转换模块，经图像格式转换模块处理后，送至屏幕显示。

上述实施例示出了一种图像处理方法，其拍摄环境是从暗光环境至亮光环境，该拍摄环境对应图6的(b)。在该图像处理方法中，第三时刻之前的图像处理模式为第一模式，通过监测最新进入第一队列的图像帧的缓存个数，确定是保持第一模式，还是由第一模式切换至第二模式。若最新进入第一队列的图像帧的缓存个数为第一值，则由第一模式直接切换至第二模式，由于第二模式不需要对RAW图像进行处理，不会有闪帧现象，直接切换以降低设备的拍摄功耗。

基于上述几个实施例，下面结合附图对电子设备中控制模块的执行逻辑进行详细说明。

图9为本申请实施例提供的一种图像处理模式切换的示意图。如图9所示，在用户开启相机应用或切换拍摄模式后，首先执行初始化流程，初始化流程包括创建帧缓冲资源和第一队列的资源。其次，初始化图像处理模式，即将图像处理模式配置为第一模式(记为OfflineStream)。与此同时，第一队列中开始记录图像传感器采集的连续图像帧的缓存个数，如图9所示，第一队列的长度为5，记录连续5帧图像的缓存个数，如第i帧至第i+4帧，i为大于或等于1的正整数。

初始化图像处理模式后，若第一队列中最新一帧图像的缓存个数为1，则由第一模式切换至第二模式(记为OnlineStream)。若第一队列中最新一帧图像的缓存个数为2，则保持第一模式。

在切换至第一模式之后，存在以下两种情况：

一种情况下，若第一队列中最新一帧图像的缓存个数为1，则保持第一模式，后续进入第一队列的图像帧的缓存个数均为1，继续保持第一模式，直至第一队列的缓存个数均为1，继续监测新进入第一队列的图像帧的缓存个数。另一种情况，若第一队列中最新一帧图像的缓存个数为2，则由第一模式切换至第三模式(Online-To-Offline)。

在切换至第三模式之后，存在以下两种情况：

一种情况下，若第一队列中最新一帧图像的缓存个数为1，则由第三模式切换至第二模式。另一种情况下，若第一队列中最新一帧图像的缓存个数为2，则保持第三模式，后续进入第一队列的图像帧的缓存个数均为2，继续保持第三模式，直至第一队列的缓存个数均为2，则由第三模式切换至第一模式。

在切换至第一模式之后，若第一队列中持续进入图像帧的缓存个数为2，则保持第一模式，直至有最新一帧图像的缓存个数为1，则由第一模式再次切换至第二模式。

基于图9所示实施例，下面对结合一个具体示例对上述图像处理模式切换过程进行示意说明。图10为本申请实施例提供的第一队列的变化示意图。如图10所示，第1时刻，第一队列的缓存个数依次为[2 2 2 2 2]，图像处理模式为第一模式；第2时刻，最新进入第一队列的图像帧的缓存个数为1，第一队列的缓存个数依次为[2 2 2 2 1]，图像处理模式由第一模式切换至第二模式；第3时刻，最新进入第一队列的图像帧的缓存个数为1，第一队列的缓存个数依次为[2 2 2 1 1]，保持第二模式；第4时刻，最新进入第一队列的图像帧的缓存个数为2，第一队列的缓存个数依次为[2 2 1 1 2]，图像处理模式由第二模式切换至第三模式；第5时刻，最新进入第一队列的图像帧的缓存个数为2，第一队列的缓存个数依次为[2 1 1 2 2]，保持第三模式；第6时刻，最新进入第一队列的图像帧的缓存个数为1，第一队列的缓存个数依次为[1 1 2 2 1]，图像处理模式由第三模式切换至第二模式；第7时刻，最新进入第一队列的图像帧的缓存个数为2，第一队列的缓存个数依次为[1 2 2 1 2]；在第7时刻之后，第一队列连续进入的4帧图像的缓存个数均为2，图像处理模式由第三模式切换至第一模式，值得注意的是，切换前均保持第三模式。

基于上述几个实施例，下面对本申请实施例提供的图像处理方法的图像处理模式的初始配置和切换作如下总结：

1.用户开启相机应用或者切换拍摄模式后，默认采用第一模式(暗光环境对应的图像处理模式)，在第一模式下需要对RAW图像进行图像处理。若第一队列中首帧图像的缓存个数为1，则由第一模式直接切换至第二模式(亮光环境对应的图像处理模式)，第二模式下不需要对RAW图像进行图像处理，随后持续监测最新进入第一队列的图像帧的缓存个数，确定保持第二模式还是切换至第三模式。若首帧图像的缓存个数为2，则保持默认的第一模式，随后，持续监测最新进入第一队列的图像帧的缓存个数，确定是继续保持第一模式还是切换至第二模式。

2.在亮光环境切换至暗光环境的拍摄场景下，图像处理模式由第二模式首先切换至第三模式，第二模式和第三模式下都不对RAW图像进行图像处理，但第三模式下需要初始化第一模式下与RAW图像处理相关的资源，以便在第三模式切换至第一模式时，第一模式下的首帧图像能够直接使用预先初始化的资源，避免出现闪帧现象，提高设备的拍摄性能，提升用户的拍摄体验。

3.在暗光环境切换至亮光环境的拍摄场景下，图像处理模式直接由第一模式切换至第二模式，第二模式的首帧图像不需要使用在与RAW图像处理相关的资源，不会出现闪帧现象，图像处理模式的切换至第二模式，可降低设备的拍摄功耗。

基于上述几个实施例，本申请实施例还提供一种图像处理方法，应用于电子设备，该图像处理方法，包括：

第一时间点，第一队列中连续M帧图像的最后一帧图像的缓存个数为第一值，在所述第一时间点，从所述电子设备的图像传感器获取第一图像数据，经图像格式转换后显示所述第一图像数据；

第二时间点，所述第一队列中连续M帧图像的缓存个数不全为第二值，且连续M帧图像的最后一帧图像的缓存个数为所述第二值，在所述第二时间点，从所述图像传感器获取第二图像数据，经图像格式转换后显示所述第二图像数据，以及初始化与RAW图像处理相关的资源；

第三时间点，所述第一队列中连续M帧图像的缓存个数均为所述第二值，在所述第三时间点，从所述图像传感器获取第三图像数据，对所述第三图像数据进行RAW图像处理，经图像格式转换后，显示图像处理后的所述第三图像数据；

所述第二值大于所述第一值，所述M为大于1的正整数。

需要说明的是，若连续图像帧的缓存个数均为1，说明当前拍摄环境为亮光环境，若连续图像帧的缓存个数均为2，说明当前拍摄环境为暗光环境。图像传感器输出的图像数据为RAW图像数据。

示例性的，M取5，第一值取1，第二值取2。第一时间点的第一队列的缓存个数可以为如[2 2 2 2 1]，[2 1 2 2 1]，[2 2 1 1 1]，[1 1 1 1 1]等，只要最后一帧图像的缓存个数为1，可确定第一时间点的图像处理模式为第二模式，第二模式下无需对RAW图像进行图像处理，如多帧降噪、图像融合等处理。第二时间点的第一队列的缓存个数可以为如[1 22 2 2]，[2 1 2 22]，[1 1 1 1 2]等，可确定第二时间点的图像处理模式为第三模式，第三模式下同样不需要对RAW图像进行图像处理，但是会在该模式下初始化与RAW图像处理相关的资源。第三时间点的第一队列的缓存个数可以为如[2 2 2 2 2]，可确定第三时间点的图像处理模式为第一模式，第一模式下需要对RAW图像进行图像处理。

需要说明的是，本实施例的第一模式可以看作是暗光环境的图像处理模式，第二模式可以看作是亮光环境的图像处理模式。第三模式可以看作是由第二模式切换至第一模式的一个过渡模式。

本实施例示出的图像处理方法，可适用于拍摄环境从亮光环境至暗光环境的场景，例如第一时间点的第一队列为[1 1 1 1 1]，第一时间点之后(如第二时间点)进入到第一队列的缓存个数为2，即第二时间点的第一队列为[1 1 1 1 2]，第二时间点之后进入到第一队列的缓存个数均为2，直至第三时间点的第一队列为[2 2 2 2 2]。在第一时间点图像处理模式为第二模式，电子设备不对RAW图像数据进行图像处理；第二时间点由第二模式切换至第三模式，电子设备同样不对RAW图像数据进行图像处理，但是开始初始化与RAW图像处理相关的资源，第三时间点由第三模式切换至第一模式，电子设备利用第二时间点至第三时间点的时段初始化的资源，对第一模式下的首帧图像进行RAW图像处理，由于资源已经提前准备好，因此不会出现闪帧现象，提高了设备的拍摄性能，提升了用户的拍摄体验。

作为一种示例，所述从所述电子设备的图像传感器获取第一图像数据，经图像格式转换后显示所述第一图像数据，包括：所述电子设备的图像处理模块从所述图像传感器获取所述第一图像数据；所述图像处理模块将所述第一图像数据直接发送至所述电子设备的图像格式转换模块；经所述图像格式转换模块处理后，显示所述第一图像数据。

作为一种示例，所述从所述图像传感器获取第二图像数据，经图像格式转换后显示所述第二图像数据，包括：所述电子设备的图像处理模块从所述图像传感器获取所述第二图像数据；所述图像处理模块将所述第二图像数据发送至所述电子设备的图像格式转换模块；经所述图像格式转换模块处理后，显示所述第二图像数据；所述初始化与RAW图像处理相关的资源，包括：所述电子设备的控制模块初始化与所述RAW图像处理相关的资源。

作为一种示例，所述从所述图像传感器获取第三图像数据，对所述第三图像数据进行RAW图像处理，经图像格式转换后，显示图像处理后的所述第三图像数据，包括：所述电子设备的图像处理模块从所述图像传感器获取所述第三图像数据；所述图像处理模块对所述第三图像数据进行RAW图像处理，经所述电子设备的图像格式转换模块处理后，显示图像处理后的所述第三图像数据。

在一个可选实施例中，图像处理方法，还包括：

第四时间点，所述第一队列中连续M帧图像的缓存个数均为所述第一值；

在第四时间点后，最新进入所述第一队列的图像的缓存个数为所述第二值，所述电子设备的控制模块初始化与所述RAW图像处理相关的资源。

本实施例中，基于第四时间点的第一队列[1 1 1 1 1]，可以确定第四时间点的图像处理模式为第二模式，第二模式下无需对RAW图像数据进行图像处理，在第四时间点后的第一队列为[1 1 1 1 2]，可以确定第四时间点后，图像处理模式将由第二模式切换至第三模式，第三模式下虽然无需对RAW图像数据进行图像处理，但是需要初始化与RAW图像处理相关的资源，以便后续切换至第一模式的瞬间，与RAW图像处理相关的资源已准备好。

在一个可选实施例中，图像处理方法，还包括：

第五时间点，所述第一队列中连续M帧图像的最前一帧图像的缓存个数为所述第一值，且后M-1帧图像的缓存个数均为所述第二值；

在所述第五时间点后，所述第一队列中最新进入的图像的缓存个数为所述第二值，所述电子设备的控制模块向所述电子设备的图像处理模块发送第一指示；

所述图像处理模块从所述图像传感器获取第四图像数据，基于所述第一指示对所述第四图像数据进行RAW图像处理，经所述电子设备的图像格式转换模块处理后，显示图像处理后的所述第四图像数据。

本实施例中，基于第五时间点的第一队列[1 2 2 2 2]，可以确定第五时间点的图像处理模式为第三模式，第三模式下无需对RAW图像数据进行图像处理，但是需要初始化与RAW图像处理相关的资源。在第五时间点后的第一队列为[2 2 2 2 2]，可以确定第五时间点后，图像处理模式将由第三模式切换至第一模式，由于与RAW图像处理相关的资源已经准备好，因此在第五时间点后，可直接利用该资源对RAW图像数据进行图像处理，不会出现图像处理异常的现象(即闪帧现象)，提升了设备的拍摄性能。

在一个可选实施例中，图像处理方法，还包括：

在所述第三时间点后，最新进入所述第一队列的图像的缓存个数为所述第一值，所述电子设备的控制模块向所述电子设备的图像处理模块发送第二指示；

所述图像处理模块从所述图像传感器获取第五图像数据，基于所述第二指示将所述第五图像数据发送至所述电子设备的图像格式转换模块，经所述图像格式转换模块处理后，显示所述第五图像数据。

本实施例中，由于第三时间点的第一队列为[2 2 2 2 2]，可以确定第三时间点的图像处理模式为第一模式，第一模式下需要对图像数据进行图像。在第三时间点后的第一队列为[2 2 22 1]，此时图像处理模式将由第一模式直接切换至第二模式。由于第二模式下的图像数据不需要利用第一模式下的RAW图像处理相关的资源，因此不会有闪帧现象，直接进行图像处理模式的切换，可降低设备的功耗。

在一个可选实施例中，图像处理方法，还包括：

在所述第三时间点后，所述控制模块释放与所述RAW图像处理相关的资源。

本实施例中，由于第三时间点后图像处理模式切换至第二模式，第二模式下无需对RAW图像进行图像处理，通过释放与RAW图像处理相关的资源，减小设备内存功耗，提高设备的资源利用率。

在一个可选实施例中，图像处理方法，还包括：

检测到用户触发的第一操作，执行初始化流程，所述初始化流程包括初始化与RAW图像处理相关的资源，以及第一队列的资源；

所述第一操作包括开启相机应用的操作，或者切换拍摄模式的操作。

本实施例中，在用户开启相机，或者切换拍摄模式后，设备首先执行初始化流程，由于默认的图像处理模式为第一模式，第一模式需要对RAW图像进行图像处理，因此在初始化流程中需要创建与RAW图像处理相关的资源，以便顺利执行RAW图像处理。此外，图像处理模式的切换需要基于第一队列的缓存个数，因此在初始化流程中需要创建好第一队列的资源，以便设备确定是否需要切换图像处理模式。

在一个可选实施例中，所述RAW图像处理包括多帧降噪，图像融合的至少一项。

本实施例示出的多帧降噪和图像融合，能够提升设备在暗光环境下拍摄的图像的图像质量。

图11为本申请实施例提供的一种电子设备的结构示意图。如图10所示，本实施例的电子设备1100，包括：获取模块1101，处理模块1102和显示模块1103；

第一时间点，第一队列中连续M帧图像的最后一帧图像的缓存个数为第一值，在所述第一时间点，所述获取模块从所述电子设备的图像传感器获取第一图像数据，所述处理模块1102对所述第一图像数据进行图像格式转换，由所述显示模块显示所述第一图像数据；

第二时间点，所述第一队列中连续M帧图像的缓存个数不全为第二值，且连续M帧图像的最后一帧图像的缓存个数为所述第二值，在所述第二时间点，所述获取模块从所述图像传感器获取第二图像数据，所述处理模块1102对所述第二图像数据进行图像格式转换，由所述显示模块显示所述第二图像数据，以及所述处理模块1102初始化与RAW图像处理相关的资源；

第三时间点，所述第一队列中连续M帧图像的缓存个数均为所述第二值，在所述第三时间点，所述获取模块从所述图像传感器获取第三图像数据，所述处理模块1102对所述第三图像数据进行RAW图像处理、图像格式转换，由所述显示模块显示图像处理后的所述第三图像数据；

所述第二值大于所述第一值，所述M为大于1的正整数。

在一个可选的实施例中，处理模块1102包括控制模块1104；

第四时间点，所述第一队列中连续M帧图像的缓存个数均为所述第一值；在第四时间点后，最新进入所述第一队列的图像的缓存个数为所述第二值，所述控制模块1104初始化与所述RAW图像处理相关的资源。

在一个可选实施例中，处理模块1102还包括图像处理模块1105和图像格式转换模块1106；

第五时间点，所述第一队列中连续M帧图像的最前一帧图像的缓存个数为所述第一值，且后M-1帧图像的缓存个数均为所述第二值；

在所述第五时间点后，所述第一队列中最新进入的图像的缓存个数为所述第二值，所述控制模块1104向所述图像处理模块1105发送第一指示；

所述图像处理模块1105从所述图像传感器获取第四图像数据，基于所述第一指示对所述第四图像数据进行RAW图像处理，经所述图像格式转换模块1106处理后，显示图像处理后的所述第四图像数据。

在一个可选实施例中，在所述第三时间点后，最新进入所述第一队列的图像的缓存个数为所述第一值，所述控制模块1104向所述图像处理模块1105发送第二指示；

所述图像处理模块1105从所述图像传感器获取第五图像数据，基于所述第二指示将所述第五图像数据发送至所述图像格式转换模块1106，经所述图像格式转换模块1106处理后，显示所述第五图像数据。

在一个可选实施例中，在所述第三时间点后，所述控制模块1104释放与所述RAW图像处理相关的资源。

在一个可选实施例中，检测到用户触发的第一操作，控制模块1104执行初始化流程，所述初始化流程包括初始化与RAW图像处理相关的资源，以及第一队列的资源；

所述第一操作包括开启相机应用的操作，或者切换拍摄模式的操作。

在一个可选实施例中，所述RAW图像处理包括多帧降噪，图像融合的至少一项。

上述实施例中，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其他支持所描述的功能的合适组件。

因此，在本申请实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供一种电子设备包括：存储器，处理器以及计算机程序。其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。

处理器可以是通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例提供一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例提供一种计算机程序产品，当所述计算机程序产品在电子设备运行时，使得所述电子设备执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

第一时间点，第一队列中连续M帧图像的最后一帧图像的缓存个数为第一值，在所述第一时间点，从所述电子设备的图像传感器获取第一图像数据，经图像格式转换后显示所述第一图像数据；

第二时间点，所述第一队列中连续M帧图像的缓存个数不全为第二值，且连续M帧图像的最后一帧图像的缓存个数为所述第二值，在所述第二时间点，从所述图像传感器获取第二图像数据，经图像格式转换后显示所述第二图像数据，以及初始化与未经加工(RAW)图像处理相关的资源；

第三时间点，所述第一队列中连续M帧图像的缓存个数均为所述第二值，在所述第三时间点，从所述图像传感器获取第三图像数据，对所述第三图像数据进行RAW图像处理，经图像格式转换后，显示图像处理后的所述第三图像数据；

所述第二值大于所述第一值，M为大于1的正整数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

第四时间点，所述第一队列中连续M帧图像的缓存个数均为所述第一值；

在第四时间点后，最新进入所述第一队列的图像的缓存个数为所述第二值，所述电子设备的控制模块初始化与所述RAW图像处理相关的资源。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

第五时间点，所述第一队列中连续M帧图像的最前一帧图像的缓存个数为所述第一值，且后M-1帧图像的缓存个数均为所述第二值；

在所述第五时间点后，所述第一队列中最新进入的图像的缓存个数为所述第二值，所述电子设备的控制模块向所述电子设备的图像处理模块发送第一指示；

所述图像处理模块从所述图像传感器获取第四图像数据，基于所述第一指示对所述第四图像数据进行RAW图像处理，经所述电子设备的图像格式转换模块处理后，显示图像处理后的所述第四图像数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

在所述第三时间点后，最新进入所述第一队列的图像的缓存个数为所述第一值，所述电子设备的控制模块向所述电子设备的图像处理模块发送第二指示；

所述图像处理模块从所述图像传感器获取第五图像数据，基于所述第二指示将所述第五图像数据发送至所述电子设备的图像格式转换模块，经所述图像格式转换模块处理后，显示所述第五图像数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述第三时间点后，所述控制模块释放与所述RAW图像处理相关的资源。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

检测到用户触发的第一操作，执行初始化流程，所述初始化流程包括初始化与RAW图像处理相关的资源，帧缓冲资源以及第一队列的资源；

所述第一操作包括开启相机应用的操作，或者切换拍摄模式的操作。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述RAW图像处理包括多帧降噪，图像融合的至少一项。

8.一种电子设备，其特征在于，包括：获取模块，处理模块和显示模块；

第一时间点，第一队列中连续M帧图像的最后一帧图像的缓存个数为第一值，在所述第一时间点，所述获取模块从所述电子设备的图像传感器获取第一图像数据，所述处理模块对所述第一图像数据进行图像格式转换，由所述显示模块显示所述第一图像数据；

第二时间点，所述第一队列中连续M帧图像的缓存个数不全为第二值，且连续M帧图像的最后一帧图像的缓存个数为所述第二值，在所述第二时间点，所述获取模块从所述图像传感器获取第二图像数据，所述处理模块对所述第二图像数据进行图像格式转换，由所述显示模块显示所述第二图像数据，以及所述处理模块初始化与RAW图像处理相关的资源；

第三时间点，所述第一队列中连续M帧图像的缓存个数均为所述第二值，在所述第三时间点，所述获取模块从所述图像传感器获取第三图像数据，所述处理模块对所述第三图像数据进行RAW图像处理、图像格式转换，由所述显示模块显示图像处理后的所述第三图像数据；

所述第二值大于所述第一值，M为大于1的正整数。

9.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述处理器用于调用所述存储器中的计算机程序，以执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至7任一项所述的方法。

11.一种芯片，其特征在于，所述芯片包括处理器，所述处理器用于调用存储器中的计算机程序，以执行如权利要求1至7任一项所述的方法。

Images