CN111641777A - 图像处理方法、装置、图像处理器、电子设备及存储介质 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种图像处理方法、装置、图像处理器、电子设备及存储介质。其中，图像处理方法包括：对处于使用状态的第一摄像头采集到的图像进行处理并输出；在待切换为使用状态的第二摄像头启动后，对第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理；其中，第二摄像头在摄像头切换之前启动。该方法在摄像头切换后，拍摄到的图像不会发生画风突变，有利于改善拍摄效果及用户体验。另外，该方法由于对待切换的第二摄像头一路的图像先进行了下采样和/或降帧率后再进行处理，因此可以有效降低处理器在功耗、带宽、算力、硬件资源等方面的消耗，使得该方案具有较高的实用性。

Description

图像处理方法、装置、图像处理器、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、图像处理器、电子设备及存储介质。

背景技术

现在的智能手机普遍都支持多摄像头,当用户在相机APP中进行画面的缩放操作并到达一定倍率时，可能会触发摄像头的切换：比如放大到一定的倍率时，可能会由广角镜头切换为微距镜头，以增加微距效果；又比如缩小到一定的倍率时，可能会由广角镜头切换为超广角镜头，以增大视角。

然而，不同的摄像头的在制作工艺、感光面积、视角等方面都存在差异，如果直接切换摄像头，会导致切换后的画面相较于切换前发生突变，严重影响拍摄效果及用户体验。

发明内容

本申请实施例的目的在于提供一种图像处理方法、装置、图像处理器、电子设备及存储介质以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种图像处理方法，包括：对处于使用状态的第一摄像头采集到的图像进行处理并输出；在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理；其中，所述第二摄像头在摄像头切换之前启动。

上述方法在处理摄像头切换时，首先，于切换之前的就启动第二摄像头，从第二摄像头启动至摄像头切换这段时间用于将第二摄像头采集到的图像调整至和第一摄像头采集到的图像相同或相接近(指针对同一场景的图像)，从而切换后不会发生画风突变，有利于改善拍摄效果及用户体验。

其次，若多摄像头分辨率较高(目前的很多智能手机，多摄像头的分辨率都在10M以上)，若同时处理两路高分辨率的图像，意味着处理器需要的功耗、带宽、算力、硬件资源等都要成倍增加，无法满足某些场景下对处理器芯片低功耗、低成本要求(在嵌入式设备中，这样的要求是常见的)。而上述方法由于对待切换的第二摄像头一路的图像先进行了下采样和/或降帧率再处理，因此可以有效降低处理器在功耗、带宽、算力、硬件资源等方面的消耗，使得该方案具有较高的实用性。这里所称的处理器，可以是图像处理器(ImageSignal Processor，简称ISP)，也可以是通用处理器。

在第一方面的一种实现方式中，所述方法还包括：在所述第二摄像头切换为使用状态后，将所述第二摄像头在切换前采集并处理后的图像作为参考帧，对所述第二摄像头在切换后采集到的图像进行降噪处理。

在一些图像降噪方式中，为实现当前帧的降噪，需要使用之前的若干帧作为参考帧，和当前帧进行融合。若直接切换摄像头，由于没有可用的参考帧(第二摄像头不能使用第一摄像头采集的图像作为参考帧)，造成切换后图像画质严重下降。而在本申请的方案中，第二摄像头一路的图像虽然进行了下采样和/或降帧率，但是作为参考帧用于降噪仍然能够起到积极效果，显著改善摄像头切换后的画质。

在第一方面的一种实现方式中，所述对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理，包括：对所述第二摄像头采集到的图像先进行下采样和/或降帧率，再采用时分复用的方式进行处理，被时分复用的资源为处理所述第一摄像头采集到的图像所用的资源。

第一摄像头一路的图像和第二摄像头一路的图像可以利用独立的软件和/或硬件资源分别进行处理，但由于第二摄像头一路的图像进行了下采样和/或降帧率，所以需要处理的数据量已经显著下降了，因此完全可以和第一摄像头一路共享软件和/或硬件资源(时分复用为共享资源的一种方式)，以便降低处理器在功耗、带宽、算力、资源等方面的消耗。

在第一方面的一种实现方式中，所述方法还包括：在所述第二摄像头启动后，控制所述第二摄像头的自动对焦、自动曝光以及自动白平衡收敛至与所述第一摄像头同步。

摄像头的自动对焦AF、自动曝光AE和自动白平衡AWB简称摄像头的3A。控制第二摄像头在摄像头切换之前就启动，使得第二摄像头的3A有充分时间收敛到与第一摄像头的3A同步，从而切换后不会发生画风突变，有利于改善拍摄效果及用户体验。另外，还需要指出，对第二摄像头在启动后采集到的图像进行下采样和/或降帧率都不影响第二摄像头的3A收敛。

在第一方面的一种实现方式中，所述方法还包括：在所述第二摄像头启动后，若摄像头切换的条件未满足，则控制所述第二摄像头停止工作。

若第二摄像头启动后最终却没有发生摄像头切换(因为第二摄像头是在摄像头切换前启动的，此时只是预期摄像头会切换，但不保证切换行为一定会发生)，则第二摄像头可以停止工作，以便节约设备功耗。

在第一方面的一种实现方式中，所述方法还包括：控制所述第二摄像头在摄像头切换之前启动。

在第一方面的一种实现方式中，在所述第一摄像头的画面放大倍率达到第一预设倍率时进行摄像头切换，所述控制所述第二摄像头在摄像头切换之前启动，包括：在所述第一摄像头的画面放大倍率达到临近第一预设倍率的第二预设倍率时控制所述第二摄像头启动。

例如，当用户在相机APP中进行画面的缩放操作，使得第一摄像头的画面放大倍率达到第一预设倍率，摄像头将发生切换。由于画面缩放是连续性操作，也就是说第一摄像头的画面放大倍率是连续变化的，从而，在第一摄像头的画面放大倍率达到第一预设倍率之前，必然会达到临近于第一预设倍率的第二预设倍率，从而可将第一摄像头的画面放大倍率达到第二预设倍率的时刻作为第二摄像头的启动时刻。

第二方面，本申请一种图像处理装置，包括：第一处理模块，用于对处于使用状态的第一摄像头采集到的图像进行处理并输出；第二处理模块，用于在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理；其中，所述第二摄像头在摄像头切换之前启动。

第三方面，本申请实施例提供一种图像处理器，所述图像处理器包括两路模块组，其中每路模块组均包括前处理模块、核心处理模块以及后处理模块；所述两路模块组中的一路模块组用于对处于使用状态的第一摄像头采集到的图像进行处理，处理结果从该路模块组中的后处理模块输出；所述两路模块组中的另一路模块组中的前处理模块用于在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像进行下采样和/或降帧率处理，该路模块组中的核心处理模块以及后处理模块则用于依次对该路模块组中的前处理模块输出的图像进行处理；其中，所述第二摄像头在摄像头切换之前启动。

图像处理器的以上模块主要是从功能层面划分的，并不一定完全对应实际的硬件模块。两路模块组分别对应一个摄像头，用于处理该摄像头采集到的图像，但该摄像头既可以作为第一摄像头，也可以作为第二摄像头。

在第三方面的一种实现方式中，所述两路模块组中的一路模块组中的后处理模块用于对核心处理模块输出的图像进行处理，包括：在所述第二摄像头切换为使用状态后，将所述第二摄像头在切换前采集并处理后的图像作为参考帧，对该路模块组中的核心处理模块输出的图像进行降噪处理。

在第三方面的一种实现方式中，所述两路模块组中的核心处理模块共用同一模块，该模块采用时分复用方式分别对所述两路模块组中的前处理模块输出的图像进行处理。

第四方面，本申请实施例提供一种电子设备，包括：多个摄像头、存储器以及处理器；其中，所述多个摄像头中包括处于使用状态的第一摄像头以及待切换为使用状态的第二摄像头；所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种实现方式提供的方法。

在第四方面的一种实现方式中，所述处理器包括通用处理器以及图像处理器；其中，所述通用处理器用于控制所述摄像头以及所述图像处理器，所述图像处理器用于处理所述摄像头采集到的图像。

处理器的设置方式非常灵活：例如，在上述实现方式中，处理器包括通用处理器和图像处理器，通用处理器主要起控制作用，控制的对象既包括摄像头又包括图像处理器，而图像处理器则专门用于处理采集到的图像；又例如，处理器可以只包括通用处理器，通用处理器除了控制摄像头，还会负责处理采集到的图像。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种实现方式提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种图像处理方法的流程图；

图2示出了本申请实施例提供的一种电子设备的结构图；

图3示出了本申请实施例提供的一种图像处理装置的功能模块图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了本申请实施例提供的一种图像处理方法的流程图。该方法可以由一电子设备中的图像处理器(但也可以是其他设备或组件)执行，图2示出了该电子设备的一种可能的结构，可以参照后文关于图2的描述。

参照图1，该方法包括：

步骤S100：对处于使用状态的第一摄像头采集到的图像进行处理并输出。

本申请中涉及的电子设备包括多个摄像头，例如超广角镜头、广角镜头、微距镜头等。某一时刻多个摄像头中只有一个摄像头处于使用状态，称为第一摄像头，例如，用户当前正在使用智能手机的广角镜头进行拍摄，则广角镜头为处于使用状态，或者说广角镜头为第一摄像头。

第一摄像头在使用过程中可能发生切换：例如，用户在相机APP中进行画面的缩放操作并到达一定倍率时，可能会触发摄像头的切换；又例如，电子设备的某个应用程序在自动拍摄时，可能会切换不同的摄像头进行拍摄，等等。

待切换为使用状态的摄像头称为第二摄像头，切换后，原来的第二摄像头进入使用状态，变成新的第一摄像头，原来的第一摄像头则变为第二摄像头。例如，用户将智能手机的画面放大到一定的倍率时，由广角镜头切换为微距镜头，此时改为由微距镜头进行拍摄，则原来的第二摄像头即微距镜头变成第一摄像头，原来的第一摄像头即广角镜头变成第二摄像头。

第二摄像头可以有一个或多个，为简单起见，本申请主要阐述第二摄像头只有一个的情况，有多个的情况可以类似处理。注意，第二摄像头虽然处于未使用状态，但并非一定没有工作，在步骤S110(详细参照后文)中指出，在切换前第二摄像头也可以先启动起来。

对于第一摄像头采集到的图像，可以由图像处理器处理后输出，这里的输出可以泛指显示、录像等行为，总之输出处理后的图像体现了第一摄像头在使用状态中所要实现的功能。

图像处理器可以按照原始尺寸对第一摄像头采集到的图像进行处理并输出，也可以根据具体的需求进行缩放。例如，如果电子设备正在进行录像，可以按照原始尺寸进行处理，保证图像的高分辨率；如果电子设备仅仅是用于显示，可以先将采集到的图像下采样后再进行处理，因为一些电子设备(如智能手机等)显示屏比较小，无需输出高分辨率图像。

步骤S101：在待切换为使用状态的第二摄像头启动后，对第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理。

若直接将第一摄像头切换为第二摄像头(指硬切换不作任何处理)，切换前后画面将发生突变，其中一种为画风突变，主要由于第一摄像头和第二摄像头的3A(自动对焦AF、自动曝光AE和自动白平衡AWB)不同步导致。

因此，在步骤S101中，第二摄像头在切换前就已经启动工作(但可以不产生输出，因为它不处于使用状态)，使得第二摄像头的3A(自动对焦AF、自动曝光AE和自动白平衡AWB)有充分时间收敛到与第一摄像头的3A同步，所谓同步直观上就是指第二摄像头采集的图像和第一摄像头采集的图像在显示效果上相同或非常接近，但需要注意，由于两个摄像头本身的区别，所以并不能认为两者的3A在数值上一定等同。第二摄像头的3A一旦收敛，之后再从第一摄像头切换到第二摄像头，拍摄画面不会发生画风突变，从而有利于改善拍摄效果及用户体验。需要指出，影响摄像头拍摄画面效果的因素有很多，因此，在第二摄像头启动直至摄像头发生切换这段时间内，对第二摄像头的配置调整也不限于只是调整其3A，不过无论调整哪些参数，其目的都是类似的：使第二摄像头采集到的图像和第一摄像头采集到的图像相同或相接近(指针对同一场景的图像)。

以缩放导致的摄像头切换为例，可以设置一个缩放倍率的切换临界点，例如，画面放大倍率超过2.5，应从广角镜头切换为微距镜头，则可以将放大倍率2.2设置为切换临界点，当画面放大倍率小于2.2时，第二摄像头无需启动，节约功耗；当放大倍率不小于2.2时，第二摄像头启动，在放大倍率从2.2调整至2.5的这段时间内，第二摄像头足以完成3A收敛，避免切换导致的画风突变。

上述策略可以概括为：在第一摄像头的画面放大倍率达到第一预设倍率(如上面的2.5倍)时进行摄像头切换，在第一摄像头的画面放大倍率达到临近第一预设倍率的第二预设倍率(如上面的2.2倍)时控制第二摄像头启动。其中，“临近第一预设倍率”可以指第一摄像头的画面放大倍率进入第一预设倍率附近的一个取值范围，例如第一预设倍率±10％、±20％的范围等。由于画面缩放是连续性操作，也就是说第一摄像头的画面放大倍率是连续变化的，从而，在第一摄像头的画面放大倍率达到第一预设倍率之前，必然会达到临近于第一预设倍率的第二预设倍率，因此可将第一摄像头的画面放大倍率达到第二预设倍率的时刻作为第二摄像头的启动时刻。若在第二摄像头启动后继续按照之前的缩放方式(比如，之前是放大画面则继续放大画面，之前是缩小画面则继续缩小画面)进行缩放操作，第一摄像头的画面放大倍率将从第二预设倍率变化为第一预设倍率并导致摄像头发生切换的条件满足。

当然，在实际中也可以制定更加丰富的策略以节省功耗，比如，放大倍率达到2.3后，用户并未继续放大画面，则已经启动并调整好3A的第二摄像头又可以暂停工作，以节约电能消耗，等等。这样的策略有其合理性，因为第二摄像头是在摄像头切换前启动的，此时只是预期摄像头会切换，但不保证切换行为一定会发生(比如第一摄像头的画面放大倍率虽然达到了第二预设倍率，但始终未达到第一预设倍率)，若第二摄像头启动后却因切换条件未满足最终没有发生摄像头切换，则第二摄像头可以停止工作，以便节约设备功耗。

在一些实现方式中，第二摄像头的启动时机可由驱动程序进行控制。

若多摄像头分辨率较高(目前的很多智能手机，多摄像头的分辨率都在10M以上)，若同时处理两路高分辨率的图像，意味着图像处理器需要的功耗、带宽、算力、硬件资源等都要成倍增加，无法满足某些场景下对芯片低功耗、低成本要求(在嵌入式设备中，这样的要求是常见的)。

在本申请的方案中，对于第二摄像头采集到的图像，由图像处理器先进行下采样和/或降帧率后再处理，以便降低要处理的数据量。注意相较于步骤S100，步骤S101中的下采样和/或降帧率是强制性的，步骤S100中则可以根据需求选择是否进行下采样。

步骤S101中下采样的倍数由需求决定，下采样倍数越大，下采样后的图像尺寸就越小，图像处理器处理越小尺寸的图像，所需的功耗、带宽、算力、硬件资源等必然也越少。例如，某款图像处理器仅能处理分辨率为16M的图像，但第一摄像头一路的图像已经占了10M，第二摄像头一路如果还按照原分辨率处理，总共的图像数据将为20M，超过了图像处理器的处理能力，或者说要处理这样高分辨率的数据，图像处理器必须升级，这样又不符合低功耗、低成本的要求。但如果按照步骤S101的方法，对第二摄像头一路的图像进行大比例下采样，假设下采样后分辨率变为4M，则图像处理器足以处理。

降帧率操作是指图像处理器并不会处理第二摄像头采集到的全部图像，而是会选择其中的部分图像进行处理，从而实现降低帧率的目的，对于不处理的图像，图像处理器可以将其丢弃。帧率降低程度越大，单位时间内图像处理器需要处理的图像就越少，所需的功耗、带宽、算力、硬件资源等必然也越少。帧率降低程度由需求决定，例如，可以每3帧选一帧处理(帧率降为之前的1/3)、每5帧选一帧处理(帧率降为之前的1/5)，等等。至于要选择哪些帧进行处理、哪些帧不处理，可以设计不同的策略，对此本申请方案不作限定。

下采样和降帧率两种操作可以单独使用也可以组合在一起使用。需要特别指出，下采样虽然改变了图像尺寸，但不影响第二摄像头的3A收敛过程，降帧率只是对要处理的图像进行了筛选，并未改变图像本身，自然也不影响第二摄像头的3A收敛过程，因此方案在有效降低图像处理器在功耗、带宽、算力、硬件资源等方面的消耗的同时，又避免了摄像头切换带来的画风突变，该方案具有较高的实用性。

进一步的，除了画风突变外，摄像头切换还可能导致画质突变，主要体现为画面中噪声突然增大。究其原因，目前图像处理器一般会对摄像头拍摄的图像进行降噪处理，某些图像降噪方式(如3D降噪(3D NoiseReduction，简称3DNR))中为实现当前帧的降噪，需要使用之前的若干帧作为参考帧，和当前帧进行融合(可以理解为某种意义上的取均值操作)。若直接切换摄像头，由于没有可用的参考帧(第二摄像头不能使用第一摄像头采集的图像作为参考帧，因为二者之间存在很多差异)，造成切换后图像画质严重下降。

因此，在一些可选的方案中，在第二摄像头切换为使用状态前，可以将其最近采集并处理的若干帧图像缓存起来，在第二摄像头切换为使用状态后，将这些缓存的图像作为参考帧(在一些实现方式中，若对第二摄像头采集到的图像进行了下采样，在将其作为参考帧时还可以通过上采样变回原来的尺寸)，对第二摄像头在切换后采集到的图像进行降噪处理。虽然缓存的图像进行了下采样和/或降帧率，但是作为参考帧用于降噪仍然能够起到积极效果，显著改善摄像头切换后的画质。

图2示出了本申请实施例提供的一种电子设备的结构图。参照图2，该电子设备包括摄像头A、摄像头B、存储器以及图像处理器，这些组件相互之间可以通过总线连接，以便进行数据交互。该电子设备可以是具有多个摄像头的智能手机、智能穿戴设备、计算机、监控设备、无人机、机器人等设备。

其中，摄像头A和摄像头B为不同类型的摄像头，假设在某个时刻摄像头A为处于使用状态，摄像头B待切换为使用状态，则摄像头A为第一摄像头，摄像头B为第二摄像头。如前文所述，第二摄像头可能有多个，在第二摄像头有多个时，虽然可以笼统地认为这些第二摄像头都待切换为使用状态，但实际上其具体的工作状态仍然可能有所区别。例如，假设某种电子设备有超广角、广角、微距三个镜头，目前第一摄像头为超广角镜头，第二摄像头为广角和微距镜头，但是按照三种镜头的焦段，超广角镜头只能先切换为广角镜头然后切换为微距镜头，并不会直接切换为微距镜头，所以在某一时刻，可能广角镜头会启动(以便完成切换前的3A收敛，如前文所述)，但微距镜头仍然保持未工作的状态。若图2中的电子设备具有超过两个摄像头，此时摄像头A和摄像头B应理解为其中两个可直接进行切换的摄像头。

存储器包括一个或多个(虽然图2中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，闪存(FlashMemory，简称FLASH)等。图像处理器以及其他可能的组件可对存储器进行访问，读和/或写其中的数据。

图像处理器可以是专用的ISP芯片，也可以其他具有运算处理能力的处理器(但被用于处理图像)，例如微控制单元(Micro Controller Unit，简称MCU)、中央处理器(Central Processing Unit，简称CPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。图像处理器可以通过硬件或软件的方法实现本申请实施例提供的图像处理方法，若采用软件方式实现，则可以在存储器或图像处理器内部中存储计算机程序指令，图像处理器读取这些指令并运行时，实现该图像处理方法预期的功能。图2则示出了一种主要是通过硬件实现的方式，可以理解的，这不应当视为对本申请保护范围的限制。

继续参照图2，图像处理器大体上可以包括两路模块组，其中每路模块组均包括前处理模块、核心处理模块以及后处理模块。下文将两路模块组分别简称为第一路和第二路，两路包含的模块前分别用“第一”、“第二”加以区分。即，第一路包括第一前处理模块、第一核心处理模块以及第一后处理模块，用于处理摄像头A采集的图像；第二路包括第二前处理模块、第二核心处理模块以及第二后处理模块，用于处理摄像头B采集的图像。可以理解的，图像处理器的以上模块主要是从功能层面划分的，并不一定完全对应实际的硬件模块，例如实际中第一前处理模块、第一核心处理模块以及第一后处理模块也可以集成在一个硬件模块中。

下面简单介绍各模块的功能：

第一前处理模块：对摄像头A采集的原始图像进行基本处理，例如，包括但不限于，线性化3A status侦测点，缩放(scaler)，帧率调整等，处理完后的图像可以写入存储器保存。其中，缩放功能包括下采样，帧率调整功能包括降低帧率。

第一核心处理模块：对第一前处理模块处理后的图像(从存储器中读取)进行ISP核心处理，处理完后的图像可以写入存储器保存。

第一后处理模块：对第一核心处理模块处理后的图像(从存储器中读取)进行后处理，比如镜头畸变校正(LensDistortion Correct，简称LDC)，3D降噪，缩放等。

第二前处理模块、第二核心处理模块以及第二后处理模块可以认为与上面三个模块在硬件实现及功能上是类似的(但具体用途不一定相同)，因此不再赘述。

下面对摄像头切换过程中的数据流进行介绍，为简单起见，假设第二摄像头启动后，图像处理器对其采集的图像仅执行下采样操作。对于执行降帧率操作，或者既执行下采样又执行降帧率操作的情况，可以类似分析。

在从摄像头A(切换前为第一摄像头)切换至摄像头B(切换前为第二摄像头)前，电子设备中的两路数据流为：

第一路：摄像头A->第一前处理模块(可以缩放或不缩放)->第一核心处理模块->第一后处理模块(可以缩放或不缩放)->输出

第二路：摄像头B->第二前处理模块(下采样)->第二核心处理模块->第二后处理模块(可以上采样或不上采样)

由于第二前处理模块进行了下采样，所以第二路的图像分辨率下降了，第二路所需的运算量、功耗也随之下降，同时由于图像变小，所需的存储空间也变小(对存储器要求降低)，传输该图像的带宽也随之减小。但第二路的3A收敛不受下采样影响，并且在一些实现方式中还可以产生降噪用的参考帧，如前文所述。

特别地，如果第二路图像下采样后分辨率较小，第二核心处理模的处理能力可以空闲出来用于其他用途，甚至，在一些实现方式中，还可以省略第二核心处理模，对第一核心处理模进行时分复用以处理第二路图像，这样可以进一步节省硬件成本。例如，某款图像处理器能处理分辨率为16M的图像，第一路的图像占了10M，对第二路的图像进行大比例下采样，假设下采样后分辨率变为4M，则两路相加后(14M)仍未达到图像处理器的最大处理能力，完全可以进行时分复用。

可以理解的，图2示出的图像处理器的内部结构仅为示例，在其他一些实现方式中，图像处理器未必包括第一核心处理模和第二核心处理模块，甚至电子设备中也未必包含图像处理器，但在电子设备中仍可通过时分复用方式，利用电子设备中有限的软件和/或硬件资源对第一摄像头和第二摄像头采集到的图像进行处理，这里所称的软件和/或硬件资源包括但不限于CPU资源、神经网络处理器(Neural-network Processing Unit，简称NPU)资源、图像处理器资源、DSP算力资源、双倍速率同步动态随机存储器(Double DataRate SDRAM，简称DDR)带宽资源等。因为第二摄像头一路的图像进行了下采样，所以需要处理的数据量已经显著下降了，因此完全可以和第一摄像头一路共享资源(时分复用为共享资源的一种方式)，以便降低处理器及电子设备的其他组件在功耗、带宽、算力、资源等方面的消耗。

在从摄像头A(切换后为第二摄像头)切换至摄像头B(切换后为第一摄像头)后，电子设备中的两路数据流为：

第一路：摄像头A->第一前处理模块(下采样)->第一核心处理模块->第一后处理模块(可以上采样或不上采样)

第二路：摄像头B->第二前处理模块(可以缩放或不缩放)->第二核心处理模块->第二后处理模块(可以缩放或不缩放)->输出

两路数据流和上面类似，只是摄像头A和B的地位发生了交换，具体不再赘述。另外，关于图2中图像处理器的功能，与前文方法实施例重复的部分，未详细阐述，可以参考前文内容。

本申请实施例还提供一种电子设备，该电子设备包括多个摄像头、存储器以及处理器，设备的各组件之间可以通过总线连接，以便进行数据传输。

其中，多个摄像头中包括处于使用状态的第一摄像头以及待切换为使用状态的第二摄像头，而存储器中存储有计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的图像处理方法。

该电子设备中的处理器可以是一个或多个，在处理器为多个时，这些处理器通过相互配合执行本申请实施例提供的图像处理方法。

例如，在一种实现方式中，该电子设备中的处理器包括通用处理器以及图像处理器。这里的图像处理器应作狭义理解，即指专门用于图像处理任务的ISP芯片，这里的通用处理器泛指能够执行各类任务的芯片，例如MCU、CPU等。在该实现方式中，通用处理器用于控制摄像头以及图像处理器，而图像处理器则用于处理摄像头采集到的图像。

具体而言，图像处理器实现的功能包括但不限于：对第一摄像头采集到的图像以及第二摄像头采集到的图像进行处理(包括下采样、降帧率、降噪等)。

通用处理器实现的功能包括但不限于：(1)向图像处理器发送控制指令，以使图像处理器对第一摄像头采集到的图像以及第二摄像头采集到的进行处理。例如，图像处理器可以实现下采样功能，但具体何时进行下采样，采用多大的比例进行下采样则可由通用处理器进行控制。(2)控制摄像头启动、停止、切换，还包括对摄像头进行设置(例如，根据图像处理器反馈的信息对摄像头的3A进行设置)。例如，在判断出将要发生摄像头切换时，控制第二摄像头启动，并在第二摄像头启动后控制其3A收敛至与所述第一摄像头同步。又例如，在第一摄像头的画面放大倍率达到第一预设倍率时，控制第一摄像头与第二摄像头进行切换。

在该实现方式中，电子设备的结构也可以参照图2，只是图2中并未示出通用处理器，若在图2中加入通用处理器，则通用处理器可以通过总线和摄像头A、摄像头B、存储器以及图像处理器连接。

图3示出了本申请实施例提供的图像处理装置200的功能模块图。参照图3，图像处理装置200包括：

第一处理模块210，用于对处于使用状态的第一摄像头采集到的图像进行处理并输出；

第二处理模块220，用于在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理；其中，所述第二摄像头在摄像头切换之前启动。

在图像处理装置200的一种实现方式中，第二处理模块220还用于在所述第二摄像头切换为使用状态后，将所述第二摄像头在切换前采集并处理后的图像作为参考帧，对所述第二摄像头在切换后采集到的图像进行降噪处理。

在图像处理装置200的一种实现方式中，第二处理模块220对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理，包括：对所述第二摄像头采集到的图像先进行下采样和/或降帧率，再采用时分复用的方式进行处理，被时分复用的资源为处理所述第一摄像头采集到的图像所用的资源。

在图像处理装置200的一种实现方式中，所述装置还包括：摄像头控制模块，用于在所述第二摄像头启动后，控制所述第二摄像头的自动对焦、自动曝光以及自动白平衡收敛至与所述第一摄像头同步。

在图像处理装置200的一种实现方式中，所述摄像头控制模块还用于：在所述第二摄像头启动后，若摄像头切换的条件未满足，则控制所述第二摄像头停止工作。

在图像处理装置200的一种实现方式中，所述摄像头控制模块还用于：控制所述第二摄像头在摄像头切换之前启动。

在图像处理装置200的一种实现方式中，在所述第一摄像头的画面放大倍率达到第一预设倍率时进行摄像头切换，所述摄像头控制模块控制所述第二摄像头在摄像头切换之前启动，包括：在所述第一摄像头的画面放大倍率达到临近第一预设倍率的第二预设倍率时控制所述第二摄像头启动。

本申请实施例提供的图像处理装置200，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，这些计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的图像处理方法。例如，计算机可读存储介质可以实现为图2中存储器。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

对处于使用状态的第一摄像头采集到的图像进行处理并输出；

在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理；其中，所述第二摄像头在摄像头切换之前启动。

2.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

在所述第二摄像头切换为使用状态后，将所述第二摄像头在切换前采集并处理后的图像作为参考帧，对所述第二摄像头在切换后采集到的图像进行降噪处理。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理，包括：

对所述第二摄像头采集到的图像先进行下采样和/或降帧率，再采用时分复用的方式进行处理，被时分复用的资源为处理所述第一摄像头采集到的图像所用的资源。

4.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

在所述第二摄像头启动后，控制所述第二摄像头的自动对焦、自动曝光以及自动白平衡收敛至与所述第一摄像头同步。

5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

在所述第二摄像头启动后，若摄像头切换的条件未满足，则控制所述第二摄像头停止工作。

6.根据权利要求1-5中任一项所述的图像处理方法，其特征在于，所述方法还包括：控制所述第二摄像头在摄像头切换之前启动。

7.根据权利要求6所述的图像处理方法，其特征在于，在所述第一摄像头的画面放大倍率达到第一预设倍率时进行摄像头切换，所述控制所述第二摄像头在摄像头切换之前启动，包括：

在所述第一摄像头的画面放大倍率达到临近第一预设倍率的第二预设倍率时控制所述第二摄像头启动。

8.一种图像处理装置，其特征在于，包括：

第一处理模块，用于对处于使用状态的第一摄像头采集到的图像进行处理并输出；

第二处理模块，用于在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像先进行下采样和/或降帧率后再进行处理；其中，所述第二摄像头在摄像头切换之前启动。

9.一种图像处理器，其特征在于，所述图像处理器包括两路模块组，其中每路模块组均包括前处理模块、核心处理模块以及后处理模块；

所述两路模块组中的一路模块组用于对处于使用状态的第一摄像头采集到的图像进行处理，处理结果从该路模块组中的后处理模块输出；

所述两路模块组中的另一路模块组中的前处理模块用于在待切换为使用状态的第二摄像头启动后，对所述第二摄像头采集到的图像进行下采样和/或降帧率处理，该路模块组中的核心处理模块以及后处理模块则用于依次对该路模块组中的前处理模块输出的图像进行处理；

其中，所述第二摄像头在摄像头切换之前启动。

10.根据权利要求9所述的图像处理器，其特征在于，所述两路模块组中的一路模块组中的后处理模块用于对核心处理模块输出的图像进行处理，包括：

在所述第二摄像头切换为使用状态后，将所述第二摄像头在切换前采集并处理后的图像作为参考帧，对该路模块组中的核心处理模块输出的图像进行降噪处理。

11.根据权利要求9或10所述的图像处理器，其特征在于，所述两路模块组中的核心处理模块共用同一模块，该模块采用时分复用方式分别对所述两路模块组中的前处理模块输出的图像进行处理。

12.一种电子设备，其特征在于，包括：多个摄像头、存储器以及处理器；

其中，所述多个摄像头中包括处于使用状态的第一摄像头以及待切换为使用状态的第二摄像头；

所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如权利要求1-7中任一项所述的方法。

13.根据权利要求12所述的电子设备，其特征在于，所述处理器包括通用处理器以及图像处理器；

其中，所述通用处理器用于控制所述摄像头以及所述图像处理器，所述图像处理器用于处理所述摄像头采集到的图像。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-7中任一项所述的方法。

Images