CN117011154A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。方法包括：在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数。在获取到第m帧目标图像时，获取第一处理结果，该第一处理结果包括了预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果。基于该第一处理结果，对所有m帧目标图像进行第二预设处理，得到第二处理结果。本申请在获取第m帧目标图像时，可以得到预先对第m帧之前的至少一帧目标图像进行第一预设处理的结果，再基于这个结果对所有m帧图像进行第二预设处理，这样可以在获取到所有m帧目标图像之前提前对第m帧之前获取到的图像进行处理，可以提高图像处理的速度。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

采集图像的过程可以简化为3个流程：一、开启图像采集功能(如打开相机)；二、采集图像；三、关闭图像采集功能(如关闭相机)，其中采集图像的动作可能重复多次。为了满足日益增高的图像采集要求，采集图像时会做多种图像处理，比如降噪、HDR、美颜等处理。其中，对于多帧图像算法而言，一般在获取到所需的所有图像帧之后再进行图像处理，导致整个图像处理较慢。

发明内容

本申请提出了一种图像处理方法、装置、电子设备及存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种图像处理方法，包括：在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数；当获取到第m帧目标图像时，获取第一处理结果，所述第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果；基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

第二方面，本申请实施例还提供了图像处理装置，该装置包括：第一获取单元、第二获取单元和图像处理单元。第一获取单元，用于在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数；第二获取单元，用于当获取到第m帧目标图像时，获取第一处理结果，所述第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果；图像处理单元，用于基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

第三方面，本申请实施例还提供了一种电子设备，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行上述方法。

第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，所述计算机程序产品中存储有指令，当其在计算机上运行时，使得计算机实现上述方法。

本申请实施例提供的图像处理方法、装置、电子设备及存储介质，可以在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数。而在获取到第m帧目标图像时，获取第一处理结果，该第一处理结果包括了预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果。接着，基于该第一处理结果，对所有m帧目标图像进行第二预设处理，得到第二处理结果。本申请实施例在获取第m帧目标图像时，可以得到预先对第m帧之前的至少一帧目标图像进行第一预设处理的结果，再基于这个结果对所有m帧图像进行第二预设处理，这样可以在获取到所有m帧目标图像之前提前对第m帧之前获取到的图像进行处理，可以提高图像处理的速度。

本申请实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了当前进行图像处理的时间轴的示意图；

图2示出了本申请一实施例提供的一种图像处理方法的方法流程图；

图3示出了本申请一实施例提供的一种图像处理的时间轴的示意图；

图4示出了本申请另一实施例提供的一种图像处理方法的方法流程图；

图5示出了本申请另一实施例提供的一种图像处理的时间轴的示意图；

图6示出了本申请又一实施例提供的一种图像处理方法的方法流程图；

图7示出了本申请又一实施例提供的一种图像处理的时间轴的示意图；

图8示出了本申请又一实施例提供的另一种图像处理的时间轴的示意图；

图9示出了本申请再一实施例提供的一种图像处理方法的方法流程图；

图10示出了本申请再一实施例提供的一种图像处理的时间轴的示意图；

图11示出了本申请再一实施例提供的另一种图像处理的时间轴的示意图；

图12示出了本申请一实施例提供的应用于相机的图像处理方法的方法流程图；

图13示出了本申请一实施例提供的相机进行图像处理的过程示意图；

图14示出了本申请实施例提供的一种图像处理装置的结构框图；

图15示出了本申请实施例提供的一种电子设备的结构框图；

图16示出了本申请实施例提供一种计算机可读存储介质的结构框图；

图17示出了本申请实施例提供的一种计算机程序产品的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

当前的技术方式下，以相机为例，每次拍照，都是把这次拍照所有需要的图像数据都拿到之后，再统一进行算法后处理。以多帧图像算法为例，当需要4帧的时候，则需要获取到4帧图像数据，之后打包到一起进行图像处理。

如图1所示，点击拍照之后，会获取4帧图像，在获取到第4帧图像时，会对所有4帧图像进行图像处理，而从点击拍照到第4帧数据收到的这段时间，是不做任何图像处理的。这就会导致前段时间负载较轻，没有充分利用手机的硬件资源，所有后处理算法都放到后半段进行，导致整个图像生成比较慢。

发明人在研究中发现，可以在收到第m帧图像之前，预先对第m帧之前的至少一帧图像做部分算法处理，再在收到第m帧图像时，基于这部分算法处理之后的结果对所有m帧图像进行处理。为优化上述问题，本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，可以在获取到所有m帧图像之前提前对第m帧之前获取到的图像进行处理，可以提高图像处理的速度。

下面将通过具体实施例对本申请实施例提供的图像处理方法、装置、电子设备及存储介质进行详细说明。

请参阅图2，图2示出了本申请一实施例提供的一种图像处理方法的方法流程图。可选地，本申请所示的图像处理方法可以应用于电子设备，该电子设备具有图像采集功能。具体地，该方法可以包括：S210至S230。

S210：在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中，m为正整数。

图像采集操作可以用于触发图像采集。可选地，图像采集操作可以由用户发起。在该情况下，图像采集操作可以是用户对图像采集按钮的点击操作，例如用户点击拍照按钮的操作等等。可选地，图像采集操作也可以由电子设备自动发起。在该情况下，图像采集操作可以是电子设备通过采集指令而发起。例如，用户设置相机在预设时间点进行定时拍照，则可在预设时间点发出采集指令并指示相机开始采集图像，则说明检测到图像采集操作。

在本申请的实施例中，可以在检测到图像采集操作的情况下，逐帧获取m帧目标图像。当检测到图像采集操作的情况下，电子设备的相机被启动并调用摄像模块进行图像拍摄，通过相机控制摄像模块一帧一帧地获取当前场景的图像。可以将逐帧对当前场景获取的每一帧图像均作为目标图像。

可选地，逐帧获取的目标图像的数量m可以由用户设置，例如用户在点击拍照按钮之前设置需拍摄m张图像。可选地，逐帧获取的目标图像的数量m还可以根据当次图像采集操作所需要使用的图像算法而确定，该图像算法可以是多帧图像算法，多帧图像算法可以同时对至少一帧图像进行处理而得到一张图像。由此可见，逐帧获取的目标图像的数量m可以为当次图像采集操作所需要使用的多帧图像算法可同时处理的图像的数量。其中，多帧图像算法例如可以为美颜处理算法、虚化处理算法、高动态范围图像(High-DynamicRange，HDR)处理算法、滤镜处理算法、旋转处理算法、水印处理算法等等。

其中，获取到的每一帧目标图像均可以是YUV图像。在目前的图像采集方式中，首先将当前场景采集到的图像生成RAW图像，再将RAW图像转换为YUV图像，这两个操作是串行执行的，即在检测到图像采集操作时，若需要逐帧获取YUV图像，即获取到一帧YUV图像之后，再次获取一帧YUV图像，则需要重新获取一帧RAW图像，再对重新获取的这一帧RAW图像执行转换成YUV图像的转换操作，从而可以得到YUV图像。此时，可以将获取到的每一帧YUV图像分别作为一帧目标图像。接着，可以采用本申请实施例中的后续步骤对这些目标图像进行图像后处理。

S220：当获取到第m帧目标图像时，获取第一处理结果，所述第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果。

可以理解的是，获取到第m帧目标图像的时候，此时已获取到所有m帧目标图像，而当获取到第m帧目标图像时，所获取的第一处理结果可以包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果，也就是说，本申请实施例可以在获取到所有m帧图像之前，提前对第m帧目标图像之前获取到的至少一帧目标图像进行第一预设处理。在本申请的实施例中，如图3所示，提前对第m帧目标图像之前获取到的至少一帧目标图像进行第一预设处理的时间需要在获取到第m帧目标图像之前，而该时间具体在获取到第m帧目标图像之前的哪个时间，本申请实施例对此不作限制。

示例性地，预先对第m帧之前的至少一帧目标图像进行第一预设处理，可以是如下任一种情况：情况1，可以在获取到第1帧目标图像时，对第一帧目标图像进行第一预设处理；情况2，可以在获取到第2帧到第m-1帧目标图像中的任一帧目标图像时，对当次获取的目标图像或者当次获取的目标图像之前的至少一帧目标图像进行第一预设处理；情况3，可以在每获取到第m帧目标图像之前的一帧目标图像时，对当前获取到的一帧目标图像进行第一预设处理。

需要说明的是，上述第一预设处理可以与图像采集操作相对应。示例性地，若检测到图像采集操作时，已确定了当次图像采集操作需要使用的图像算法，则第一预设处理可以是该图像算法中分别对每帧目标图像进行处理的处理操作，或者是对最后第m帧目标图像以外的其他帧目标图像进行处理的处理操作。由于第一预设处理可以对第m帧以外的其他一帧或多帧目标图像(即至少一帧目标图像)进行处理，而无需与第m帧目标图像同时处理，因此，可以将对第一预设处理提前到获取第m帧目标图像之前。而在获取到第m帧目标图像时，可以获取到预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果。

可选地，第一处理结果除了可以包括上述预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果，还可以包括对第m帧目标图像进行第一预设处理得到的结果。可以理解的是，可以在获取到第m帧目标图像时，才对该第m帧目标图像进行第一预设处理。

需要说明的是，第一预设处理可以用于对图像进行调整，则第一处理结果可以是预先对第m帧之前的至少一帧目标图像进行第一预设处理对应调整之后得到的图像；第一预设处理也可以用于对图像提取图像数据，用于对图像进行识别的识别结果等等，即第一处理结果不仅仅局限于为一张图像，也可以是预先对第m帧之前的至少一帧目标图像进行第一预设处理之后得到的图像数据、识别结果等等。

S230：基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

在本申请的实施例中，除去第一预设处理以外，还需要对所有m帧目标图像进行第二预设处理。可以理解的是，在进行第二预设处理时，需要使用上述第一预设处理所得到的结果，即第一处理结果。即是说，可以基于第一处理结果，对所有m帧目标图像进行第二预设处理，得到第二处理结果。

在一些实施方式中，上述第二预设处理也可以与图像采集操作相对应。若检测到图像采集操作时，确定了当次图像采集操作需要使用的图像算法，可选地，第二预设处理可以为该图像算法中基于第一处理结果，对所有m帧目标图像同时进行处理的处理操作。

与第一处理结果类似，第二处理结果可以是基于第一处理结果，对m帧目标图像进行第二预设处理得到的图像，也可以是基于第一处理结果，对m帧目标图像进行第二预设处理得到的图像数据、识别结果等等。

以多帧美颜处理算法为例，第一预设处理可以为人脸特征提取，第二预设处理可以为多帧降噪及美颜处理等等。因此，第一处理结果可以包括预先对第m帧之前的至少一帧目标图像进行人脸特征提取得到的目标人脸特征。接着，当获取到第m帧目标图像时，对所有m帧目标图像进行多帧降噪后得到1张降噪后的图像，再基于目标人脸特征对这张降噪后的图像进行美颜处理后得到美颜图像，该美颜图像即为第二处理结果。

本申请实施例中，可以在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数。而在获取到第m帧目标图像时，获取第一处理结果，该第一处理结果包括了预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果。接着，基于该第一处理结果，对所有m帧目标图像进行第二预设处理，得到第二处理结果。本申请实施例在获取第m帧目标图像时，可以得到预先对第m帧之前的至少一帧目标图像进行第一预设处理的结果，再基于这个结果对所有m帧图像进行第二预设处理，这样可以在获取到所有m帧目标图像之前提前对第m帧之前获取到的图像进行处理，可以提高图像处理的速度。

请参阅图4，图4示出了本申请另一实施例提供的一种图像处理方法的方法流程图。本申请实施例在上述实施例的基础上，可以在获取到第1帧目标图像的时候，对第1帧目标图像进行第一预设处理，得到第一处理结果。具体地，该方法可以包括：S410至S440。

S410：在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中，m为正整数。

S420：当获取到第1帧目标图像时，对所述第1帧目标图像进行第一预设处理，得到第一处理结果。

S430：当获取到第m帧目标图像时，获取所述第一处理结果。

S440：基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

在一些实施方式中，第一处理结果可以是获取第1帧目标图像时，对第1帧目标图像进行第一预设处理得到的结果。如图5所示，当检测到点击拍照的操作的情况下，逐帧获取m帧目标图像。当获取到第1帧目标图像时，就对第1帧目标图像进行第一预设处理，得到第一处理结果。接着，获取第2帧目标图像、第3帧目标图像……直到获取第m帧目标图像时，可以根据第一处理结果对所有m帧目标图像进行第二预设处理，从而得到第二处理结果。示例性地，若第一预设处理为人脸特征提取，则第一处理结果可以是在获取到第1帧目标图像时，对第1帧目标图像进行人脸特征提取得到的目标人脸特征。接着，当获取到第m帧目标图像时，对所有m帧目标图像进行多帧降噪后得到1张降噪后的图像，再根据第1帧目标图像对应的目标人脸特征对这张降噪后的图像进行美颜处理后，得到美颜图像，该美颜图像即可以为第二处理结果。

基于此，本申请实施例在获取到第1帧目标图像的时候，对第1帧目标图像进行第一预设处理得到第一处理结果，再在获取到第m帧目标图像的时候，基于第一处理结果对所有m帧目标图像进行第二预设处理，得到第二处理结果。这样可以在获取到所有m帧目标图像之前提前对第m帧之前获取到的图像进行处理，利用获取第1帧图像这段资源利用率比较低的时间，进行一部分算法预处理，可以提高图像处理的速度。

请参阅图6，图6示出了本申请又一实施例提供的一种图像处理方法的方法流程图，本申请实施例在前述任一实施例的基础上，可以在获取到第n帧目标图像的时候，对第n帧及第n帧之前的至少一帧目标图像进行第一预设处理，得到第一处理结果，其中，n大于1且n小于m，n为正整数。具体地，该方法还可以包括：S610至S640。

S610：在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中，m为正整数。

S620：当获取到第n帧目标图像时，对第n帧及第n帧之前的至少一帧目标图像进行第一预设处理，得到所述第一处理结果，其中，n大于1且n小于m，n为正整数。

S630：当获取到第m帧目标图像时，获取所述第一处理结果。

S640：基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

在本实施例中，第一处理结果可以是获取到第n帧目标图像时，对第n帧及第n帧之前的至少一帧目标图像进行第一预设处理得到的结果。其中，n可以取值为2到m-1之间的任一个正整数。可选地，n可以由用户设置，例如用户在点击拍照按钮之前设置可在采集第n张图像时进行预处理。可选地，n可以由系统设置，例如根据第一预设处理所需的图像数量而设置等等。

可选地，上述第n帧及第n帧之前的至少一帧目标图像可以是包括第n帧在内的每一帧目标图像，也就是说，第一处理结果可以是获取到第n帧目标图像时，对第n帧及第n帧之前的每一帧图像进行第一预设处理得到的结果。可选地，上述第n帧及第n帧之前的至少一帧目标图像还可以是第n帧及第n帧之前的任1帧图像、任2帧图像……等等。

示例性地，若n取值为2，即可以在获取到第2帧目标图像时，对第2帧及第2帧之前的至少一帧目标图像进行第一预设处理，得到第一处理结果。其中，可以是在获取到第2帧目标图像时，对第1帧或者第2帧目标图像进行第一预设处理得到第一处理结果，如图7所示；也可以是在获取到第2帧目标图像时，对第1帧及第2帧目标图像进行第一预设处理得到第一处理结果，如图8所示。

类似地，若n取值为3，即可以在获取到第3帧目标图像时，对第3帧及第3帧之前的至少一帧目标图像进行第一预设处理，得到第一处理结果。其中，可以是在获取到第3帧目标图像时，对第1帧、第2帧或者第3帧中的任1帧目标图像进行第一预设处理得到第一处理结果；也可以是在获取到第3帧目标图像时，对第1帧、第2帧、第3帧中的任2帧目标图像进行第一预设处理得到第一处理结果；还可以是在获取到第3帧目标图像时，对第1帧、第2帧以及第3帧目标图像进行第一预设处理得到第一处理结果。

可以理解的是，当n取值为2到m-1之间的任一个正整数时，可以按照与上述示例类似的方式得到第一处理结果，本申请实施例再此不再赘述。

可选地，若对2帧或2帧以上的目标图像分别进行第一预设处理，可以得到多个处理结果，可以将上述每个处理结果均作为第一处理结果。示例性地，若第一预设处理为人脸特征提取，则第一处理结果可以是获取到第n帧目标图像时，对第n帧及第n帧之前的至少一帧目标图像进行人脸特征提取得到的目标人脸特征，其中，n可以取值为2到m-1之间的任一个正整数。第一处理结果可以包括多个目标人脸特征，因此对m帧目标图像进行多帧降噪后得到1张降噪后的图像之后，可以根据折多个目标人脸特征对这张降噪后的图像进行美颜处理，得到美颜图像，该美颜图像即可以为第二处理结果。

基于此，本申请实施例在获取到第n帧目标图像的时候，可以对第n帧及第n帧之前的至少一帧目标图像进行第一预设处理，得到第一处理结果，其中，n大于1且n小于m，n为正整数。这样可以在获取到所有m帧目标图像之前提前对第m帧之前获取到的图像进行处理，利用获取第1帧图像到第m帧图像之间这段资源利用率比较低的时间，进行一部分算法预处理，可以提高图像处理的速度。

请参阅图9，图9示出了本申请再一实施例提供的一种图像处理方法的方法流程图，本申请实施例在前述任一实施例的基础上，每获取到第m帧目标图像之前的一帧目标图像的时候，对当前获取到的一帧目标图像进行第一预设处理，得到每帧目标图像的处理结果，接着可以将每帧目标图像的处理结果均作为第一处理结果。具体地，该方法还可以包括：S910至S950。

S910：在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中，m为正整数。

S920：每获取到所述第m帧目标图像之前的一帧目标图像时，对当前获取到的一帧目标图像进行第一预设处理，得到每帧目标图像的处理结果。

S930：将所述每帧目标图像的处理结果均作为所述第一处理结果。

S940：当获取到第m帧目标图像时，获取所述第一处理结果。

S950：基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

在一些实施方式中，第一处理结果还可以是每获取到第m帧目标图像之前的一帧目标图像时，就对当前获取到的一帧目标图像进行第一预设处理所得到的每一个处理结果。如图10所示，当检测到点击拍照的操作的情况下，逐帧获取m帧目标图像。其中，每获取到1帧目标图像时，就对这1帧目标图像进行第一预设处理，得到每一帧目标图像的处理结果。例如，在获取到第1帧目标图像时，对第1帧目标图像进行第一预设处理得到第1帧目标图像的处理结果，并且在获取到第2帧目标图像时，对第2帧目标图像进行第一预设处理得到第2帧目标图像的处理结果，以此类推，在获取到第m-1帧目标图像时，对第m-1帧目标图像进行第一预设处理得到第m-1帧目标图像的处理结果。由此可以得到第1帧至第m-1帧中每帧目标图像的处理结果，还可以进一步将每帧目标图像的处理结果均作为第一处理结果。

可选地，第一处理结果还可以包括对第m帧目标图像进行第一预设处理得到的结果。如图11所示，由此可见，第一处理结果还可以是在每获取到m帧目标图像中的一帧目标图像时，就对当前获取到的一帧目标图像进行第一预设处理所得的每一个处理结果。其中，在获取到第m帧目标图像时，已预先对第1帧、第2帧……以及第m-1帧目标图像进行第一预设处理，此时可以对第m帧目标图像进行第一预设处理，由此得到包括m帧目标图像中每一帧目标图像的处理结果的第一处理结果，再根据第一处理结果对所有m帧目标图像进行第二预设处理，可得到第二处理结果。

示例性地，若第一预设处理为人脸特征提取，则第一处理结果可以包括每获取到一帧目标图像时，对这次获取的1帧目标图像进行人脸特征提取得到的目标人脸特征。接着，当获取到第m帧目标图像时，还可以对第m帧目标图像进行人脸特征提取得到第m帧目标图像对应的目标人脸特征，此时，第一处理结果还可以包括第m帧目标图像对应的目标人脸特征。接着，对所有m帧目标图像进行多帧降噪后得到1张降噪后的图像，再根据第一处理结果中的每个目标人脸特征对这张降噪后的图像进行美颜处理后，得到美颜图像，该美颜图像即可以为第二处理结果。

基于此，本申请实施例可以在每获取到第m帧目标图像之前的一帧目标图像的时候，对当前获取到的一帧目标图像进行第一预设处理，得到每帧目标图像的处理结果，接着可以将每帧目标图像的处理结果均作为第一处理结果，再在获取到第m帧目标图像的时候，基于第一处理结果对所有m帧目标图像进行第二预设处理，得到第二处理结果。这样可以在获取到所有m帧目标图像之前提前对第m帧之前获取到的图像进行处理，可以利用获取第1帧图像到第m帧图像之间这段资源利用率比较低的时间，进行一部分算法预处理，可以提高图像处理的速度。

在本申请的一些实施方式中，本申请实施例所示的方法可应用于相机，其中该相机可以包括硬件抽象模块(Hardware Abstraction Layer，HAL)、应用程序模块(Application，APP)以及图像后处理模块(Algo Process Service，APS)。在本实施例中，可以在检测到作用于相机的图像采集操作的情况下，利用上述应用程序模块从硬件抽象模块逐帧获取m帧目标图像。

请参阅图12，图12示出了本申请一实施例提供的应用于相机的图像处理方法的方法流程图，本申请实施例在前述任一实施例的基础上，本方法可以应用于相机，该相机可以包括硬件抽象模块、应用程序模块以及图像后处理模块。具体地，该方法还可以包括：S1210至S1230。

S1210：在检测到作用于相机的所述图像采集操作的情况下，利用应用程序模块从所述硬件抽象模块逐帧获取m帧目标图像。

在本申请的实施例中，在检测到作用于相机的图像采集操作的情况下，相机可以控制图像传感器逐帧对当前场景采集图像并根据当前采集到的图像逐帧生成RAW图像，接着可以通过硬件抽象模块根据1帧RAW图像生成1帧YUV图像。再利用应用程序模块从硬件抽象模块逐帧获取m帧目标图像，其中，目标图像可以是上述YUV图像。也就是说，应用程序模块每从硬件抽象模块获取1帧YUV图像，则图像传感器首先将对当前场景采集1帧图像并生成1帧RAW图像，接着硬件抽象模块根据这帧RAW图像生成1帧YUV图像，应用程序模块再从硬件抽象模块获取这帧YUV图像，并将其作为1帧目标图像。上述逐帧获取YUV图像的过程可以称为帧缓存(Frame Buff)，可以重复上述帧缓存过程可以得到m帧目标图像。

S1220：当检测到所述应用程序模块获取到所述第m帧目标图像时，通过所述应用程序模块向图像后处理模块发送调用指令，所述调用指令用于指示所述图像后处理模块获取所述第一处理结果，所述调用指令还用于指示所述图像后处理模块从线程队列中取出处理指令，所述处理指令用于根据所述m帧目标图像确定所述第二预设处理。

在本申请的实施例中，线程队列(Process Queue Q)中可以包括多个处理指令，每个处理指令分别对应于一帧目标图像，该处理指令可以用于指示是否需要对该处理指令对应的这帧目标图像进行第一预设处理，以及将哪种图像处理方式确定为第一预设处理。该线程队列还可以包括用于指示对所有m帧目标图像进行第二预设处理的处理指令。其中，由于目标图像是逐帧获取的，因此可以在线程队列中按照目标图像获取的顺序存储这些处理指令。

例如，以美颜处理算法为例，若需要对第1帧目标图像进行人脸特征提取，得到目标人脸特征，再在获取到所有m帧目标图像后，基于目标人脸特征对所有目标图像进行多帧降噪以及美颜处理，根据本申请实施例所示的图像处理方法，则可以将线程队列中将第1帧目标图像对应的处理指令所指示的图像处理方式确定为人脸特征提取，可以将所有m帧目标图像对应的处理指令所指示的图像处理方式确定为多帧降噪以及美颜处理。

因此，在相机进行图像处理的过程中，在应用程序模块获取到第1帧目标图像时，通过应用程序模块向图像后处理模块发送调用指令，此时的调用指令可以指示图像后处理模块从线程队列中取出第1帧目标图像对应的处理指令，即图13所示的线程队列中队首(头)的处理指令，使得图像后处理模块在接收到该处理指令时，可以根据该处理指令所确定的第一预设处理，即人脸特征提取的处理方式，对第1帧目标图像进行人脸特征提取，得到目标人脸特征。接着，在本实施例中，由于第2帧、第3帧一直到第m帧均不需要进行人脸特征提取，则从线程队列中第2帧、第3帧一直到第m帧所对应的处理指令可以为空，即不指向任何图像处理方式。因此，在获取到第2帧、第3帧一直到第m帧目标图像时，图像后处理算法不会对这几帧目标图像进行人脸特征提取。而获取到第m帧目标图像时，可以通过应用程序模块向图像后处理模块发送调用指令，此时的调用指令不仅可以指示图像后处理模块从线程队列中取出指示对所有m帧目标图像进行多帧降噪以及美颜处理的处理指令，即图13中的线程队列中队尾(尾)的处理指令，使得图像后处理模块在接收到该处理指令时，可以根据该处理指令所确定的第二预设处理，即多帧降噪以及美颜处理的处理方式，首先对所有m帧目标图像进行多帧降噪得到1帧降噪后的图像，再基于目标人脸特征对这1帧降噪后的图像进行美颜处理，得到美颜图像。

可以理解的是，上述仅在获取到第1帧目标图像时对第1帧目标图像进行第一预设处理的方式仅仅是示例性地。在本申请的实施例中，由于第一处理结果包括了预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果，其具体对第m帧之前的哪一帧或哪几帧目标图像进行第一预设处理，以及在获取第m帧目标图像之前的哪个时间节点进行第一预设处理，可以根据具体需求，对线程队列中每1帧目标图像对应的处理指令所指示的图像处理方式进行设置即可。该图像处理方式可以指示需要在获取到第m帧目标图像之前的哪个时间，对第m帧之前的哪些目标图像进行何种第一预设处理，才能得到第一处理结果。则图像后处理模块在依次接收到每1帧目标图像对应的处理指令时，可以通过工作例行程序(Work Routine)执行该处理指令对应的操作，即在获取第m帧目标图像之前，预先对第m帧之前的至少一帧目标图像进行第一预设处理，进而得到第一处理结果。

S1230：当检测所述图像后处理模块接收到所述处理指令时，通过所述图像后处理模块基于所述第一处理结果对所述m帧目标图像进行所述第二预设处理，得到所述第二处理结果。

可以理解的是，此时图像后处理模块所接收到的处理指令是用于指示图像后处理模块对所有m帧目标图像进行第二预设处理的指令。因此，在检测到图像后处理模块接收到该处理指令时，请再次参见图13，可以通过图像后处理模块中的工作例行程序执行该处理指令对应的操作，即基于第一处理结果对所有m帧目标图像进行第二预设处理，得到第二处理结果。

由此可见，在点击拍照，获取到每一帧目标图像和获取到所有m帧目标图像时，应用程序模块都会发送1个调用指令到图像后处理模块中，然后图像后处理模块中的工作例行程序从线程队列中依次取出处理指令执行。

基于此，本方案可以在当检测到应用程序模块获取到第m帧目标图像时，可以通过应用程序模块向图像后处理模块发送调用指令，该调用指令用于指示图像后处理模块获取所述第一处理结果，并且该第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果。该调用指令还可以用于指示图像后处理模块从线程队列中取出处理指令，该处理指令用于根据m帧目标图像确定所述第二预设处理。因此，当检测图像后处理模块接收到处理指令时，可以通过图像后处理模块基于第一处理结果对所有m帧目标图像进行第二预设处理，得到第二处理结果。本申请实施例可以相机的应用程序模块获取到所有m帧目标图像之前，通过图像后处理模块提前对第m帧之前获取到的图像进行处理，因此可以利用获取第1帧图像到第m帧图像之间这段资源利用率比较低的时间，进行一部分算法预处理，从而可以合理使用硬件资源，减少资源集中使用带来的风险，有效降低单次拍照时间。

请参阅图14，其示出了本申请实施例提供的一种图像处理装置的结构框图，该装置可以包括：第一获取单元1410、第二获取单元1420和图像处理模块1430。

其中，第一获取单元1410，用于在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数；

第二获取单元1420，用于当获取到第m帧目标图像时，获取第一处理结果，所述第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果；

图像处理单元1430，用于基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

可选地，该装置还包括：第一处理单元，用于当获取到第1帧目标图像时，对所述第1帧目标图像进行第一预设处理，得到所述第一处理结果。

可选地，该装置还包括：第二处理单元，用于当获取到第n帧目标图像时，对第n帧及第n帧之前的至少一帧目标图像进行第一预设处理，得到所述第一处理结果，其中，n大于1且n小于m，n为正整数。

可选地，该装置还包括：第三处理单元，用于每获取到所述第m帧目标图像之前的一帧目标图像时，对当前获取到的一帧目标图像进行第一预设处理，得到每帧目标图像的处理结果，将所述每帧目标图像的处理结果均作为所述第一处理结果。

在一些实施方式中，所述第一处理结果还包括对所述第m帧目标图像进行所述第一预设处理得到的结果。

可选地，上述装置可以应用于相机，该相机包括硬件抽象模块、应用程序模块以及图像后处理模块，则上述装置还可以包括：逐帧获取单元，用于在检测到作用于所述相机的所述图像采集操作的情况下，利用所述应用程序模块从所述硬件抽象模块逐帧获取m帧目标图像。

进一步地，在上述实施例的基础上，上述装置还可以包括：第四处理单元，用于当检测到所述应用程序模块获取到所述第m帧目标图像时，通过所述应用程序模块向图像后处理模块发送调用指令，所述调用指令用于指示所述图像后处理模块获取所述第一处理结果，所述调用指令还用于指示所述图像后处理模块从线程队列中取出处理指令，所述处理指令用于根据所述m帧目标图像确定所述第二预设处理；第五处理单元，用于当检测所述图像后处理模块接收到所述处理指令时，通过所述图像后处理模块基于所述第一处理结果对所述m帧目标图像进行所述第二预设处理，得到所述第二处理结果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图15，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备1500可以是智能手机、平板电脑、笔记本电脑、相机、录像机等能够运行应用程序且具有图像采集功能的电子设备。具体地，电子设备1500可以包括一个或多个如下部件：处理器1510、存储器1520、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1520中并被配置为由一个或多个处理器1510执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

电子设备可以为移动、便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子设备可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)、便携式游戏设备(例如Nintendo DS TM，PlayStation Portable TM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如智能手表、智能手环、耳机、吊坠等，电子设备还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或头戴式设备(HMD))、智能家居设备、车载设备等。

电子设备还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、智能手表、智能手环、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器，便携式医疗设备以及数码相机及其组合。

在一些情况下，电子设备还可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备。

处理器1510可以包括一个或者多个处理核。处理器1510利用各种接口和线路连接整个电子设备1500内的各个部分，通过运行或执行存储在存储器1520内的指令、程序、代码集或指令集，以及调用存储在存储器1520内的数据，执行电子设备1500的各种功能和处理数据。可选地，处理器1510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1510可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1510中，单独通过一块通信芯片进行实现。

存储器1520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1520可用于存储指令、程序、代码、代码集或指令集。存储器1520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图16，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1600包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质1600具有执行上述方法中的任何方法步骤的程序代码1610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1610可以例如以适当形式进行压缩。

请参考图17，其示出了本申请实施例提供的一种计算机程序产品的结构框图，该计算机程序产品1700中存储有计算机程序/指令1710，当其在计算机上运行时，使得计算机程序/指令1710上述方法中的任何方法步骤。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中，m为正整数；

当获取到第m帧目标图像时，获取第一处理结果，所述第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果；

基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

2.根据权利要求1所述的方法，其特征在于，所述当获取到第m帧目标图像时，获取第一处理结果之前，还包括：

当获取到第1帧目标图像时，对所述第1帧目标图像进行第一预设处理，得到所述第一处理结果。

3.根据权利要求1所述的方法，其特征在于，所述当获取到第m帧目标图像时，获取第一处理结果之前，还包括：

当获取到第n帧目标图像时，对第n帧及第n帧之前的至少一帧目标图像进行第一预设处理，得到所述第一处理结果，其中，n大于1且n小于m，n为正整数。

4.根据权利要求1所述的方法，其特征在于，所述当获取到第m帧目标图像时，获取第一处理结果之前，还包括：

每获取到所述第m帧目标图像之前的一帧目标图像时，对当前获取到的一帧目标图像进行第一预设处理，得到每帧目标图像的处理结果；

将所述每帧目标图像的处理结果均作为所述第一处理结果。

5.根据权利要求1所述的方法，其特征在于，所述第一处理结果还包括对所述第m帧目标图像进行所述第一预设处理得到的结果。

6.根据权利要求1所述的方法，其特征在于，所述方法应用于相机，所述相机包括硬件抽象模块、应用程序模块以及图像后处理模块，所述在检测到图像采集操作的情况下，逐帧获取m帧目标图像，包括：

在检测到作用于所述相机的所述图像采集操作的情况下，利用所述应用程序模块从所述硬件抽象模块逐帧获取m帧目标图像。

7.根据权利要求6所述的方法，其特征在于，所述当获取到第m帧目标图像时，获取第一处理结果，包括：

当检测到所述应用程序模块获取到所述第m帧目标图像时，通过所述应用程序模块向图像后处理模块发送调用指令，所述调用指令用于指示所述图像后处理模块获取所述第一处理结果；

所述调用指令还用于指示所述图像后处理模块从线程队列中取出处理指令，所述处理指令用于根据所述m帧目标图像确定所述第二预设处理；

所述基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果，包括：

当检测所述图像后处理模块接收到所述处理指令时，通过所述图像后处理模块基于所述第一处理结果对所述m帧目标图像进行所述第二预设处理，得到所述第二处理结果。

8.一种图像处理装置，其特征在于，所述装置包括：

第一获取单元，用于在检测到图像采集操作的情况下，逐帧获取m帧目标图像，其中,m为正整数；

第二获取单元，用于当获取到第m帧目标图像时，获取第一处理结果，所述第一处理结果包括预先对第m帧之前的至少一帧目标图像进行第一预设处理得到的结果；

图像处理单元，用于基于所述第一处理结果，对所述m帧目标图像进行第二预设处理，得到第二处理结果。

9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的方法。

11.一种包含指令的计算机程序产品，其特征在于，所述计算机程序产品中存储有指令，当其在计算机上运行时，使得计算机实现如权利要求1至7任一项所述的方法。