CN116095476A - 摄像头的切换方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种摄像头的切换方法、装置、电子设备及存储介质，涉及终端技术领域。该方法包括：根据第一摄像头的第一原始数据进行视频帧输出，在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动第二摄像头。根据第一原始数据、第二摄像头的第二原始数据，将第二摄像头与第一摄像头进行参数同步，当调焦操作满足摄像头切换条件时，根据第三原始数据进行视频帧输出，第三原始数据是经参数同步后的第二摄像头的原始视频数据。通过提前启动待启动的摄像头，且启动后进行参数同步，使得切换后的画面效果与切换前的画面效果接近，避免了切换前后视频画面差异较大的问题，实现了摄像头之间的平滑切换。

Description

摄像头的切换方法、装置、电子设备及存储介质

本申请要求于2021年11月05日提交到国家知识产权局、申请号为202111310300.6、申请名称为“摄像头的切换方法、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及终端技术领域，尤其涉及一种摄像头的切换方法、装置、电子设备及存储介质。

背景技术

随着终端技术的快速发展，诸如手机之类的电子设备的拍摄能力逐渐提高。一些电子设备配置有多个摄像头，多个摄像头中的不同摄像头具有不同的拍摄能力。譬如不同摄像头的视场角不同，电子设备通过不同摄像头可以采集不同视场角的视频数据。

通常情况下，多个摄像头包括主摄像头和辅摄像头，在通过摄像头录制视频的过程中，若检测到用户的调焦操作，主摄像头与辅摄像头之间可能需要切换。譬如，在默认情况下，相机应用启动后，电子设备通过主摄像头拍摄视频。若检测到调焦操作且调焦值超出主摄像头的视场角范围，电子设备从主摄像头切换至辅摄像头，之后，电子设备通过辅摄像头拍摄视频。

然而变焦时，在从一个摄像头切换至另一个摄像头的情况下，由于两个摄像头之间存在性能差异，所以可能导致切换前后视频画面有较大差异。

发明内容

本申请提供了一种摄像头的切换方法、装置、电子设备及存储介质，解决了现有技术中从一个摄像头切换至另一个摄像头时存在切换前后视频画面有较大差异的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种摄像头的切换方法，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：

根据所述第一摄像头的第一原始数据进行视频帧输出；

在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动所述第二摄像头；

根据所述第一原始数据、所述第二摄像头的第二原始数据，将所述第二摄像头与所述第一摄像头进行参数同步；

当所述调焦操作满足所述摄像头切换条件时，根据第三原始数据进行视频帧输出，所述第三原始数据是经参数同步后的所述第二摄像头的原始视频数据。

如此，通过提前启动第二摄像头，并在启动后将第二摄像头与第一摄像头进行参数同步，可以使得切换后第二摄像头的视频画面与第一摄像头的视频画面差异较小，也即，解决了切换前后视频画面差异较大的问题，从而实现了摄像头之间的平滑切换。

作为本申请的一个示例，所述根据所述第一原始数据、所述第二摄像头的第二原始数据，将所述第二摄像头与所述第一摄像头进行参数同步，包括：

根据所述第一原始数据，确定第一摄像信息；

根据所述第二原始数据，确定第二摄像信息；

根据所述第一摄像信息，调整所述第二摄像信息，以将所述第二摄像信息与所述第一摄像信息同步；

根据调整后的所述第二摄像信息，对所述第二摄像头进行参数调整，以将所述第二摄像头与所述第一摄像头进行参数同步。

如此，通过将第一摄像信息和第二摄像信息同步使得第一摄像头和第二摄像头参数同步，从而便于后续使得切换后的视频画面与切换前的视频画面差异较小。

作为本申请的一个示例，所述第一摄像信息包括第一曝光数据、第一自动对焦AF、第一自动白平衡AWB、第一视场角FOV，所述第二摄像信息包括第二曝光数据、第二AF、第二AWB、第二FOV。

如此，在进行摄像头参数同步时，通过将曝光数据、AF、AWB、FOV参数进行同步调整，也即从影响视频画面效果的多个指标进行考虑，从而使得切换前后的视频画面的视觉差异尽可能的小。

作为本申请的一个示例，所述方法还包括：

基于所述第二原始数据，通过所述第二摄像头对应的第一目标模型进行预降噪处理，所述第一目标模型能够基于任意的原始数据进行降噪处理，预降噪处理后的所述第一目标模型用于在所述调焦操作满足所述摄像头切换条件后对所述第三原始数据进行降噪处理。

如此，在切换前基于第二原始数据进行预降噪处理，可以使得第一目标模型的降噪效果与第三目标模型的降噪效果较接近，从而使得后续切换后经过第一目标模型降噪处理后的视频帧与切换前输出的视频帧的画面差异较小。

作为本申请的一个示例，所述基于所述第二原始数据，通过所述第二摄像头对应的第一目标模型进行预降噪处理，包括：

按照第一预设比例对所述第二原始数据进行降分辨率处理，以及按照第二预设比例对降分辨率处理后的所述第二原始数据进行降帧率处理，得到第四原始数据；

将所述第四原始数据输入至所述第一目标模型中，以对所述第一目标模型进行预降噪处理。

如此，通过对第二原始数据进行降分辨率处理和降帧率处理，输出小分辨率、低帧率的第四原始数据，然后基于第四原始数据进行预降噪处理，可以提高第一目标模型的运行效率。

作为本申请的一个示例，所述在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动所述第二摄像头，包括：

在视频帧输出的过程中，若检测到调焦操作，则在未达到所述摄像头切换条件之前，当所述调焦操作对应的调焦值与所述摄像头切换条件对应的目标调焦值之间的差值小于或等于预设数值时，启动所述第二摄像头。

若调焦操作对应的调焦值与摄像头切换条件对应的目标调焦值之间的差值小于或等于预设数值，说明用户可能大概率会调焦至满足摄像头切换条件，因此可以启动第二摄像头，可以提高启动第二摄像头的及时性和有效性。

作为本申请的一个示例，所述电子设备包括第一图像信号处理模块以及第二图像信号处理模块；

所述根据所述第一摄像头的第一原始数据进行视频帧输出，包括：

所述第一摄像头的图像感应器输出所述第一原始数据；

所述第一图像信号处理模块获取所述第一原始数据；

所述第一图像信号处理模块复制所述第一原始数据，得到第五原始数据；

所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，得到视频增强数据；

所述第一图像信号处理模块将所述视频增强数据以及所述第五原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块基于所述视频增强数据和所述第五原始数据进行视频帧输出。

如此，通过第一图像信号处理模块进行图像增强处理，且第一图像信号处理模块为第二图像信号处理模块还提供了可以用于调整曝光参数的第五原始数据，如此可以使得第二图像信号处理模块能够确定清晰的视频帧，解决了第二图像信号处理模块无法采用类似拍照的复杂多帧类增强处理算法导致视频画面的显示效果往往明显差于拍摄图像的问题。

作为本申请的一个示例，所述第一原始数据包括同一时间段内采集的长曝光数据和短曝光数据，所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，得到融合原始数据；

所述第一图像信号处理模块对所述融合原始数据进行降噪处理，得到所述视频增强数据。

如此，可以使得后续将同一时间段内的长曝光数据和短曝光数据进行融合后输出高动态视频帧。

作为本申请的一个示例，所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据输入至第二目标模型中，由所述第二目标模型进行融合处理，所述第二目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。如此，通过第二目标模型进行融合处理，可以提高融合效率。

作为本申请的一个示例，所述第一图像信号处理模块对所述融合原始数据进行降噪处理，包括：

所述第一图像信号处理模块将所述融合原始数据输入至所述第一摄像头对应的第三目标模型中，由所述第三目标模型进行降噪处理，所述第三目标模型能够对任意的原始数据进行降噪处理。如此，通过第三目标模型进行降噪处理，可以提高降噪效率。

作为本申请的一个示例，所述第一图像信号处理模块中包括所述第一摄像头对应的多个第三目标模型，所述多个第三目标模型中的每个第三目标模型对应有曝光数值范围；所述方法还包括：

所述第一图像信号处理模块接收目标曝光数据，所述目标曝光数据是由所述第二图像信号处理模块基于第一曝光数据确定，所述第一曝光数据是由所述第二图像信号处理模块基于所述第五原始数据进行曝光数据统计得到，所述目标曝光数据用于调整所述第一摄像头的曝光参数；

所述第一图像信号处理模块根据所述目标曝光数据、以及所述每个第三目标模型对应的曝光数值范围，从所述多个第三目标模型中选择一个第三目标模型，选择的第三目标模型用于降噪处理。

如此，根据目标曝光数据所属的曝光数值范围，从多个第三目标模型中选择用于下一次的降噪处理的第三目标模型，从而可以能够对下一次的视频数据进行合理的降噪处理，进而提高降噪效果。

作为本申请的一个示例，所述第二图像信号处理模块基于所述视频增强数据和所述第五原始数据进行视频帧输出，包括：

所述第二图像信号处理模块对所述视频增强数据进行格式转换处理，得到YUV图像；

所述第二图像信号处理模块基于所述第五原始数据，确定目标数据，所述目标数据用于调整所述YUV图像的图像质量；

所述第二图像信号处理模块基于所述目标数据调整所述YUV图像，并将调整后的所述YUV图像作为所述视频帧输出。

如此，通过第二图像信号处理模块对视频增强数据进行格式转换处理，以及基于第二原始数据确定目标数据，并根据目标数据对经格式转换处理后得到的YUV图像进行优化，从而得到画面清晰的视频帧。

作为本申请的一个示例，所述第二图像信号处理模块包括芯片级系统SOC中集成的ISP，第一图像信号处理模块包括所述SOC外部的ISP。

如此，通过外置ISP来分担对视频帧的处理任务，可以减小SOC中内置ISP的负担，从而实现对视频帧的实时处理，以便于能够得到满足需求的视频画面。

作为本申请的一个示例，所述第一摄像头的图像感应器输出所述第一原始数据，包括：

通过所述电子设备中的相机应用检测到夜景视频拍摄指令，所述夜景视频拍摄指令用于指示在夜景模式下进行视频录制；

响应于所述夜景视频拍摄指令，所述图像感应器输出所述第一原始数据。

如此，在夜景场景下，电子设备获取第一原始数据，通过本申请提供的方法对摄像头采集的第一原始数据进行处理，以使得得到的视频帧的高亮区域不会过于曝光且暗调区域不会过暗，从而得到画面清晰的视频帧。

第二方面，提供了一种摄像头的切换装置，配置于电子设备中，所述电子设备包括第一摄像头和第二摄像头；所述装置包括图像感应器节点、第一图像信号处理模块以及第二图像信号处理模块；

所述第一图像信号处理模块和所述第二图像信号处理模块，用于根据所述第一摄像头的第一原始数据进行视频帧输出；

所述图像感应器节点，用于在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动所述第二摄像头；

所述第一图像信号处理模块和所述第二图像信号处理模块，用于根据所述第一原始数据、所述第二摄像头的第二原始数据，将所述第二摄像头与所述第一摄像头进行参数同步；

所述第一图像信号处理模块和所述第二图像信号处理模块，用于当所述调焦操作满足所述摄像头切换条件时，根据第三原始数据进行视频帧输出，所述第三原始数据是经参数同步后的所述第二摄像头的原始视频数据。

作为本申请的一个示例，所述第一图像信号处理模块和所述第二图像信号处理模块，用于：

根据所述第一原始数据，确定第一摄像信息；

根据所述第二原始数据，确定第二摄像信息；

根据所述第一摄像信息，调整所述第二摄像信息，以将所述第二摄像信息与所述第一摄像信息同步；

根据调整后的所述第二摄像信息，对所述第二摄像头进行参数调整，以将所述第二摄像头与所述第一摄像头进行参数同步。

作为本申请的一个示例，所述第一摄像信息包括第一曝光数据、第一自动对焦AF、第一自动白平衡AWB、第一视场角FOV，所述第二摄像信息包括第二曝光数据、第二AF、第二AWB、第二FOV。

作为本申请的一个示例，所述第一图像信号处理模块用于：

基于所述第二原始数据，对所述第二摄像头对应的第一目标模型进行预降噪处理，所述第一目标模型能够对任意的原始数据进行降噪处理，预降噪处理后的所述第一目标模型用于在所述调焦操作满足所述摄像头切换条件后对所述第三原始数据进行降噪处理。

作为本申请的一个示例，所述第一图像信号处理模块用于：

按照第一预设比例对所述第二原始数据进行降分辨率处理，以及按照第二预设比例对降分辨率处理后的所述第二原始数据进行降帧率处理，得到第四原始数据；

将所述第四原始数据输入至所述第一目标模型中，以对所述第一目标模型进行预降噪处理。

作为本申请的一个示例，所述图像感应器节点用于：

在视频帧输出的过程中，若检测到调焦操作，则在未达到所述摄像头切换条件之前，当所述调焦操作对应的调焦值与所述摄像头切换条件对应的目标调焦值之间的差值小于或等于预设数值时，启动所述第二摄像头。

作为本申请的一个示例；

所述第一摄像头的图像感应器输出所述第一原始数据；

所述第一图像信号处理模块，用于获取所述第一原始数据；

所述第一图像信号处理模块，用于复制所述第一原始数据，得到第五原始数据；

所述第一图像信号处理模块，用于对所述第一原始数据进行图像增强处理，得到视频增强数据；

所述第一图像信号处理模块，用于将所述视频增强数据以及所述第五原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块，用于基于所述视频增强数据和所述第五原始数据进行视频帧输出。

作为本申请的一个示例，所述第一原始数据包括同一时间段内采集的长曝光数据和短曝光数据，所述第一图像信号处理模块用于：

将所述长曝光数据和所述短曝光数据进行融合处理，得到融合原始数据；

对所述融合原始数据进行降噪处理，得到所述视频增强数据。

作为本申请的一个示例，所述第一图像信号处理模块用于：

将所述长曝光数据和所述短曝光数据输入至第二目标模型中，由所述第二目标模型进行融合处理，所述第二目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

作为本申请的一个示例，所述第一图像信号处理模块用于：

将所述融合原始数据输入至所述第一摄像头对应的第三目标模型中，由所述第三目标模型进行降噪处理，所述第三目标模型能够对任意的原始数据进行降噪处理。

作为本申请的一个示例，所述第一图像信号处理模块中包括所述第一摄像头对应的多个第三目标模型，所述多个第三目标模型中的每个第三目标模型对应有曝光数值范围；

所述第一图像信号处理模块还用于：

接收目标曝光数据，所述目标曝光数据是由所述第二图像信号处理模块基于第一曝光数据确定，所述第一曝光数据是由所述第二图像信号处理模块基于所述第五原始数据进行曝光数据统计得到，所述目标曝光数据用于调整所述第一摄像头的曝光参数；

根据所述目标曝光数据、以及所述每个第三目标模型对应的曝光数值范围，从所述多个第三目标模型中选择一个第三目标模型，选择的第三目标模型用于降噪处理。

作为本申请的一个示例，所述第二图像信号处理模块用于：

对所述视频增强数据进行格式转换处理，得到YUV图像；

基于所述第五原始数据，确定目标数据，所述目标数据用于调整所述YUV图像的图像质量；

基于所述目标数据调整所述YUV图像，并将调整后的所述YUV图像作为所述视频帧输出。

作为本申请的一个示例，所述第二图像信号处理模块包括芯片级系统SOC中集成的ISP，第一图像信号处理模块包括所述SOC外部的ISP。

作为本申请的一个示例，所述图像感应器节点用于：

通过所述电子设备中的相机应用检测到夜景视频拍摄指令，所述夜景视频拍摄指令用于指示在夜景模式下进行视频录制；

响应于所述夜景视频拍摄指令，输出所述第一原始数据。

第三方面，提供一种电子设备，所述电子设备的结构中包括处理器和存储器，所述存储器用于存储支持电子设备执行上述第一方面任一所述的方法的程序，以及存储用于实现上述第一方面任一所述的方法所涉及的数据；所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述第一方面任意一项所述的方法。

第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

附图说明

图1为本申请实施例提供的一种摄像头的布局示意图；

图2为本申请实施例提供的一种电子设备的硬件结构示意图；

图3为本申请实施例提供的一种电子设备的软件架构示意图；

图4为本申请实施例提供的一种应用场景的交互示意图；

图5为本申请实施例提供的另一种应用场景的交互示意图；

图6为本申请实施例提供的另一种应用场景的交互示意图；

图7为本申请实施例提供的一种视频帧的输出方法的流程示意图；

图8为本申请实施例提供的一种摄像头的切换方法的流程示意图；

图9为本申请实施例提供的一种硬件架构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，比如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，比如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在对本申请实施例提供的方法进行详细介绍之前，先对本申请实施例涉及的名词和执行主体进行介绍。

首先，对本申请实施例涉及的名词进行介绍。

曝光：根据曝光时间的长短可以分为长曝光和短曝光。曝光时间越长，光圈的进光量越大。反之，曝光时间越短，光圈的进光量越小。

3A统计算法：包括自动曝光(automatic exposure，AE)算法自动对焦(automaticfocus，AF)算法、和自动白平衡(automatic white balance，AWB)算法。

AE：是指相机根据光线条件自动确定曝光量。成像系统中一般都会有AE功能，该功能直接关系到图像画面的亮度和图像质量，也即会决定图像的明暗。

AF：是指由相机根据被摄体距离的远近，自动地调节摄像头的对焦距离，也即通过测距来调整摄像头中镜片形成焦点，从而使得相机内的影像清晰。

AWB：主要用于解决图像偏色的问题。如果图像存在偏色情况，则可以通过AWB算法进行矫正。

视场角：(field angle，FOV)，是指摄像头所能覆盖的范围。FOV越大，摄像头能够容纳的景物越多，不难理解，若被摄体没有位于摄像头的FOV内就不会被摄像头拍摄到。

图像感应器(Sensor)：是相机的核心部件，作用是将光信号转换成电信号，以便于后续处理和存储。工作原理是通过光敏元件在光照的条件下产生电荷，电荷转移产生电流，电流经过整流放大、模数转换形成数字信号。图像感应器一般包括两类：电荷耦合器件(charge coupled device，CCD)和互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)。

RAW数据：在本申请实施例中也称为原始数据，是指相机中的CCD或者CMOS图像感应器将捕捉到的光源信号转化为数据信号的原始数据。也即可以理解为是未经过加工的数据，能够用于描述图像感应器接受到的各种光的强度。

接下来对本申请实施例涉及的执行主体进行介绍。

本申请实施例提供的方法可以由具有拍摄功能的电子设备执行，电子设备配置有多个摄像头，多个摄像头中的不同摄像头具有不同的拍摄能力。譬如，多个摄像头可以包括但不限于广角摄像头、长焦摄像头(比如潜望式长焦摄像头)、黑白摄像头、超广角摄像头。通常情况下，多个摄像头包括一个主摄像头和至少一个辅摄像头，譬如请参考图1，多个摄像头的空间位置分布可以如图1中的(a)图所示，或者，多个摄像头的空间位置分布也可以如图1中的(b)图所示，该多个摄像头分别为摄像头00、摄像头01、摄像头02、摄像头03，示例性地，摄像头00为主摄像头，其他为辅摄像头。电子设备在启动相机应用后通常默认通过主摄像头拍摄，在相机切换后，电子设备根据切换需求从至少一个辅摄像头中选择合适的辅摄像头，并通过选择的辅摄像头进行拍摄。譬如请参考图1，在默认情况下通过摄像头00拍摄，在相机切换至广角后，通过摄像头01拍摄。作为示例而非限定，电子设备可以是但不限于手机运动相机(GoPro)、数码相机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、手机等，本申请实施例对此不作限定。

请参阅图2，图2是本申请实施例提供的一种电子设备的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，ISP 191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。在一个示例中，电子设备中包括的ISP 191的数量是多个，图2中仅示例性地示出了一个。

可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。

可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP 191，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 191用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP 191处理，转化为肉眼可见的图像。ISP 191还可以对图像的噪点，亮度，肤色进行算法优化。ISP191还可以对拍摄场景的曝光，色温等参数优化。

在一个实施例中，ISP 191可以包括SOC中集成的内置ISP和设置于SOC外部的外置ISP，相比较而言，外置ISP的内部结构与内置ISP的内部结构类似或相同，不同的是，外置ISP与内置ISP对视频数据的处理任务不同。作为本申请的一个示例，外置ISP主要有两方面作用：一方面，用于在电子设备100通过摄像头录制视频的过程中，对摄像头采集的原始的RAW数据进行融合、增强等处理，从而为内置ISP提供增强后的视频数据。另外，对摄像头采集的原始的RAW数据进行路由，以为内置ISP提供一份原始的RAW数据，从而便于内置ISP能够准确地确定当前的曝光数据，进而便于内置ISP根据曝光数据动态地调整摄像头的曝光参数。另一方面，外置ISP用于响应于调焦操作，提前启动另一个摄像头，并将另一个摄像头与切换前的摄像头进行参数同步，以便于实现平滑切换，其具体实现可以参见下文中的各个实施例。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP 191转换成数字图像信号。ISP 191将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB(red green blue红色绿色蓝色)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。

在一个实施例中，电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图3是本申请实施例提供的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统从上至下分别为应用程序层，硬件抽象层(Hardware Abstract Layer，HAL)、内核层、硬件层。另外，在应用程序层与HAL之间还包括应用程序框架层(Application Framework)(图3中未示出)，本申请实施例不做重点介绍。

应用程序层可以包括一系列应用程序包。如图3所示，应用程序包可以包括相机，图库等应用程序。

作为本申请的一个示例，相机应用程序支持超夜视频模式，电子设备在超夜视频模式下能够在夜景中拍摄出清晰、亮暗分明的视频。

作为本申请的一个示例，应用程序层还提供有预加载外置ISP服务。由于外置ISP内部的存储器通常是随机存取存储器(Random Access Memory，RAM)，根据RAM的特性可知，在断电的情况下RAM无法保存数据，所以，通常会将外置ISP在运行过程中所需使用的诸如外置ISP SDK、模型(譬如包括下文所述的第一目标模型、第二目标模型、第三目标模型)之类的数据存储在系统内存中。在启动相机应用程序时，应用程序层开启预加载外置ISP服务，通过预加载外置ISP服务使得外置ISP驱动控制外置ISP提前上电，以将外置ISP运行过程中所需的数据从系统内存中加载至外置ISP内部的RAM中，进而便于外置ISP能够在超夜视频模式下执行对应的功能(譬如进行数据融合、降噪处理等)。

作为本申请的一个示例，图库应用程序中可以提供由摄像头录制的视频，如此用户可以从图库应用程序中查看所录制的视频。

HAL层主要包括视频模块，用于通过摄像头的图像感知器获取RAW数据，并分别通过外置ISP、内置ISP对RAW数据进行融合、增强、优化等处理，得到增强清晰度和降噪效果的视频帧。之后将得到的视频帧发送至显示屏进行显示。另外，视频模块还将录制的视频存至图库应用程序中，以便于用户查看。

作为本申请的一个示例，视频模块还用于在需要进行摄像头切换的情况下，提前启动待启动的摄像头，并在摄像头切换之前，将提前启动的摄像头与切换前的摄像头进行参数同步，以便于实现平滑切换。

在一个示例中，视频模块包括图像感应器节点、内置ISP节点、外置ISP节点。各个节点可以理解为是对底层硬件执行的功能的封装，可供上层(应用程序层)感知和调用。示例性地，图像感应器节点是对底层摄像头中的图像感应器的功能的封装；内置ISP节点是对底层内置ISP的功能的封装；外置ISP节点是对底层外置ISP的功能的封装。在实施中，视频模块通过图像感应器节点、内置ISP节点、外置ISP节点之间的交互实现对应的功能。

外置ISP节点的内部可以包括多个子模块，譬如包括路由子模块、第一预处理子模块、增强子模块。同理，多个子模块中的各个子模块可以理解为分别是对底层外置ISP中不同硬件的功能的封装，作为本申请的一个示例，路由子模块是对底层外置ISP中路由单元的功能的封装，第一预处理子模块是对底层外置ISP中一个或者多个IFE的功能的封装，增强子模块是对底层外置ISP中神经网络处理器(neural network processing unit，NPU)的功能的封装。在实施中，外置ISP节点通过多个子模块之间的交互实现对应的功能。

内置ISP节点的内部包括多个子模块，譬如包括第二预处理子模块以及优化处理子模块。多个子模块中的各个子模块可以理解为分别是对底层内置ISP中不同硬件的功能的封装，作为本申请的一个示例，第二预处理子模块是对底层内置ISP中的一个或者多个图像前端引擎(image front end，IFE)的功能的封装；优化处理子模块是对底层内置ISP中的图像处理器(image processing engine，IPE)的功能的封装。在实施中，内置ISP节点通过多个子模块的交互实现对应的功能。

另外，HAL层还包括外置ISP软件开发包(software development kit，SDK)，用于建立起外置ISP节点内部的多个子模块之间的交互。

内核层是硬件和软件之间的层。内核层包括但不限于摄像头驱动，内置ISP驱动，外置ISP驱动。

硬件层包括但不限于摄像头、内置ISP、外置ISP、显示屏。

下面结合夜景中录制视频，示例性说明电子设备100软件以及硬件的工作流程。

在一个实施例中，若相机应用程序检测到在超夜视频模式下开启了视频拍摄，则向HAL层的视频模块下发夜景视频拍摄请求。视频模块接收到夜景视频拍摄请求后，建立起用于处理夜景视频的框架。示例性地，视频模块根据夜景视频拍摄请求通知摄像头驱动控制主摄像头上电，以及通知内置ISP驱动控制内置ISP上电。相应的，摄像头驱动对主摄像头进行驱动。主摄像头加载完成后通知摄像头驱动，以通过摄像头驱动通知视频模块主摄像头已完成加载。另外，内置ISP驱动对内置ISP进行驱动，内置ISP加载完成后通知内置ISP驱动，以通过内置ISP驱动通知视频模块内置ISP已完成加载。视频模块在确定主摄像头、内置ISP和外置ISP(譬如，加载时机是在相机应用程序启动后)均加载完成后，建立起图像感应器节点、内置ISP节点以及外置ISP节点之间的交互。如此，就可以通过调用视频模块采集视频数据并进行优化处理，之后，输出经优化处理后的主摄像头采集的视频数据给显示屏进行显示。

作为本申请的一个示例，若相机应用程序检测到用户的调焦操作，则在未满足摄像头切换条件之前，相机应用程序向HAL层的视频模块下发摄像头预启动指令。在一个示例中，摄像头预启动指令中携带目标摄像头标识，目标摄像头标识用于指示待启动的辅摄像头。视频模块接收摄像头预启动指令后，根据摄像头预启动指令通知摄像头驱动控制辅摄像头上电，以在切换之前提前启动辅摄像头进行视频数据采集，之后，根据辅摄像头采集的视频数据、以及主摄像头采集的视频数据，对主摄像头和辅摄像头进行参数同步。当满足摄像头切换条件时，视频模块对经过参数同步后的辅摄像头采集的视频数据进行优化处理，之后，输出辅摄像头采集的且经过优化处理后的视频数据给显示屏进行显示。具体实现可以参见下文所述的各个实施例。

在介绍完本申请实施例涉及的名词和执行主体后，接下来以电子设备是包括多个后置摄像头的手机为例，对本申请实施例涉及的应用场景进行介绍。

手机中存在相机应用程序，请参考图4中的(a)图，在一个实施例中，用户想要通过手机拍摄夜景视频，此时，用户可以点击手机中的相机应用程序的应用图标。响应于用户对相机应用程序的应用图标的触发操作，手机启动后置摄像头中的主摄像头，并为用户展示如图4中的(b)图所示的第一界面。

作为本申请的一个示例，第一界面中提供有“夜景”选项41，用户可以触发“夜景”选项41，响应于用户对“夜景”选项41的触发操作，手机展示夜景模式下的操作界面(称为第二界面)，示例性地，第二界面如图4中的(c)图所示。第二界面中提供有第一切换选项42和第二切换选项43，其中，第一切换选项43用于在前置摄像头和后置摄像头之间进行切换。第二切换选项43用于在拍照模式和视频拍摄模式之间进行切换。

在一个示例中，在进入夜景模式后，也即在从图4中的(b)图切换到图4中的(c)图后，手机默认处于拍照模式(本申请实施例以该种模式为例进行说明)，当用户想要拍摄夜景视频时，可以触发第二切换选项43，响应于用户对第二切换选项43的触发操作，手机从拍照模式切换至视频拍摄模式。

在另一个示例中，在进入夜景模式后，也即在从图4中的(b)图切换到图4中的(c)图后，手机也可以默认处于视频拍摄模式，在该种情况下，若用户想要拍摄夜景图像，可以触发第二切换选项43，响应于用户对第二切换选项43的触发操作，手机从视频拍摄模式切换至拍照模式。

在一个实施例中，第二界面中还提供有拍摄选项44，用户可以触发拍摄选项44。响应于用户对拍摄选项44的触发操作，手机通过摄像头(如主摄像头)录制视频，譬如请继续参考图4，视频录制界面如图4中的(d)图所示。作为本申请的一个示例，在夜景场景下，手机通过本申请提供的方法对摄像头采集的视频数据进行处理，从而使得最终能够拍摄出画面清晰的视频帧。其中这里所述的画面清晰是指高亮区域不会过于曝光，暗调区域不会过暗。

在一个示例中，请继续参考图4中的(d)图，视频录制界面中提供有暂停选项45。在视频录制过程中，当用户想要暂停视频录制时，可以触发暂停选项45，响应于用户对暂停选项45的触发操作，手机暂停视频录制。

在一个示例中，请继续参考图4中的(d)图，视频录制界面中提供有抓拍选项46。在视频录制过程中，当用户想要抓拍某个视频帧时，可以触发抓拍选项46，响应于用户对抓拍选项46的触发操作，手机执行抓拍操作，并存储抓拍到的视频帧。

请参考图5，第一界面中提供有“更多”选项51。作为本申请的一个示例，当用户想要拍摄夜景视频时，可以触发“更多”选项51。响应于用户对“更多”选项51的触发操作，手机展示第三界面，譬如第三界面如图5中的(b)图所示。作为本申请的一个示例，在第三界面中提供有“夜景录像”选项52，“夜景录像”选项52用于触发夜景场景下的视频录制功能，也即相比于图4所示的示例，这里也可以单独设立一个用于拍摄夜景视频的选项。当用户想要通过手机录制夜景视频时可以触发“夜景录像”选项52。响应于用户对“夜景录像”选项52的触发操作，手机展示夜景模式下的操作界面(称为第四界面)，示例性地，第四界面如图5中的(c)图所示。

在一个实施例中，第四界面中提供有拍摄选项53，用户可以触发拍摄选项53。响应于用户对拍摄选项53的触发操作，手机通过摄像头(如主摄像头)录制视频，譬如，视频录制界面如图5中的(d)图所示。另外，第四界面中还可以提供有第一切换选项54，第一切换选项54用于在前置摄像头和后置摄像头之间进行切换。与图4所示实施例不同的是，这里不需要在第四界面中提供第二切换选项，也即单独在“更多”选项下提供用于触发夜景视频录制的“夜景录像”选项52。

作为本申请的一个示例，请参考图6中的(a)图，视频录制界面中提供有用于调焦的调焦项47。在视频录制过程中，当用户想要调焦时，可以触发调焦项47，譬如从1倍焦向长焦调整，比如调整至多倍焦(如2倍焦)，或者从1倍焦向广角调整，比如调整至0.8倍焦。响应于用户对调焦项47的触发操作，手机对主摄像头进行调焦，或者切换至其他辅摄像头进行视频采集。譬如，当用户从1倍焦调整至n倍焦，n大于1且小于2时，手机对主摄像头进行调焦，当n大于或等于2时，手机从主摄像头切换至长焦摄像头。再如，当用户从1倍焦向广角调整时，手机从主摄像头切换至广角摄像头。在调焦过程中，为了便于用户获知当前调整到多少倍焦，手机显示当前的调焦结果，譬如请参考图6中的(b)图，以用户向长焦调整为例，手机在调焦项47附近显示当前的调焦结果，显示效果如图6中的61所示。

作为本申请的另一个示例，手机在通过辅摄像头拍摄视频时，当基于调焦项47检测到用户的调焦操作时，从辅摄像头向主摄像头切换。示例性地，手机在通过长焦摄像头拍摄视频，当基于调焦项47检测到用户的调焦操作，且调焦结果为1倍焦时，从长焦摄像头切换回主摄像头。

在本申请实施例中，当从一个摄像头切换至另一个摄像头时，若两个摄像头之间存在预留时间，也即从一个摄像头切换至另一个摄像头不是立即进行切换，而是当调焦结果满足切换条件时才进行切换，譬如当从1倍焦调至3倍焦时，从主摄像头切换至长焦摄像头，但在3倍焦之前未进行切换。该种情况下，手机可以实现平滑切换，从用户视觉角度来说，调焦前后的视频画面差异不大，且在摄像头切换时刻用户是无感知的。另外，无论是调焦前还是调焦后，均可以对当前进行视频录制的摄像头所采集的视频数据进行处理，以使得最终得到画面清晰的视频帧。

当然需要说明的是，上述是以夜景拍摄为例进行说明，在另一个实施例中，本申请实施例提供的方法还可以应用于常规的视频录制场景，譬如可以参考图5中的(a)图，在用户通过“录像”选项触发电子设备执行视频录制后，电子设备仍可以采用本申请实施例提供的方法进行摄像头切换以及对采集的视频数据进行优化处理。在另一个实施例中，该方法还可以应用于相机预览场景，也即电子设备在启动相机进入预览状态时，可以采用本申请实施例提供的方法进行摄像头切换以及对预览图像进行处理。

接下来结合图3所示的系统架构对本申请实施例提供的摄像头的切换方法实现流程进行详细介绍。作为示例而非限定，该方法应用于电子设备中，电子设备通过图3所示的各个节点之间的交互实现。这里以从主摄像头向辅摄像头切换为例进行说明。请参考图7，首先介绍电子设备对主摄像头的视频数据的处理流程，具体可以包括如下几个实现步骤：

701：图像感应器节点获取第一RAW数据。

作为本申请的一个示例，第一RAW数据是通过主摄像头的图像感应器输出的RAW数据。在实施中，电子设备启动相机应用程序后，若相机应用程序检测到超夜视频模式下的视频拍摄的触发操作，则响应于该触发操作，相机应用程序向视频模块下发夜景视频拍摄请求。示例性地，请参考图4实施例中的交互流程，电子设备在基于第二界面提供的第二切换选项检测到进入超夜视频模式后，若检测到用户对拍摄选项44的触发操作，则生成夜景视频拍摄请求，并向视频模块下发夜景视频拍摄请求。视频模块接收夜景视频拍摄请求后，建立起用于处理夜景视频的框架，具体实现可以参见前文。之后，图像感应器节点通过主摄像头中的图像感应器采集捕捉光源信号，并将捕捉到的光源信号转化为数据信号，得到第一RAW数据。示例性地，第一RAW数据为4K60的交错式高动态域(staggered high dynamicrange，SHDR)数据，其中4K60是指分辨率是4K、帧率是60帧/秒。

在一个实施例中，第一RAW数据包括长曝光数据和短曝光数据，长曝光数据是指图像感应器通过长曝光方式采集的数据，短曝光数据是指图像感应器通过短曝光方式采集的数据。也即在一个曝光时长内进行两次曝光，以得到第一RAW数据。示例性地，以第一RAW数据为4K60的SHDR数据为例，主摄像头在每个33ms内曝光两次，如此得到60帧的视频数据。

值得一提的是，长短曝光结合，可以有效的提升视频帧的动态范围，高亮区域通过短曝光防止过曝，暗部通过长曝光提亮以防止欠曝光。

702：图像感应器节点向外置ISP节点发送第一RAW数据。

示例性地，图像感应器节点将4K60的SHDR数据发送给外置ISP节点，以通过外置ISP节点进行融合、增强等处理。

作为本申请的一个示例，第一RAW数据先到达外置ISP节点中的路由子模块。

703：路由子模块对第一RAW数据进行复制、路由处理。

电子设备在夜景场景中拍摄视频时，为了能够得到清晰的视频帧，一方面，可以对第一RAW数据进行增强等处理，另一方面，可以根据第一RAW数据统计曝光数据，得到第一曝光数据，之后根据第一曝光数据动态调整主摄像头的曝光参数。

为此，作为本申请的一个示例，由外置ISP节点中的路由子模块对第一RAW数据进行复制、路由处理。在实施中，路由子模块对第一RAW数据进行复制，得到另一份RAW数据，这里称为第五RAW数据。之后，对第一RAW数据和第五RAW数据进行路由处理，具体地，路由子模块将第一RAW数据和第五RAW数据中的一份RAW数据(譬如第一RAW数据)传输给第一预处理子模块进行处理，另一份RAW数据(譬如第五RAW数据)用于后续内置ISP节点统计第一曝光数据。

需要说明的是，上述是以将第一RAW数据传输给第一预处理子模块，以及将第五RAW数据传输给内置ISP节点为例。在另一实施例中，也可以将第一RAW数据传输给内置ISP节点，以及将第五RAW数据传输给第一预处理子模块，本申实施例对此不作限定。

接下来以路由子模块将第一RAW数据传输给第一预处理子模块、以及将第五RAW数据传输给内置ISP节点以用于统计第一曝光数据为例进行说明。

704：第一预处理子模块对第一RAW数据进行预处理。

由于受到主摄像头的物理器件不理想等因素的影响，可能导致第一RAW数据存在一定的缺陷，譬如存在受到暗电流影响、图像周边的亮度衰减，以及存在坏点等问题，所以通常在对第一RAW数据进行融合和降噪处理之前，第一预处理子模块先对第一RAW数据进行预处理，以对第一RAW数据进行修正。

作为示例而非限定，预处理包括但不限于镜头校正(lens shading correction，LSC)处理、黑电平补偿(black level compensation，BLC)处理、坏像素校正(bad pixelcorrection，BPC处理)、颜色插值处理中的至少一项。

705：第一预处理子模块将预处理后的第一RAW数据发送给增强子模块。

譬如，第一预处理子模块将预处理后的4K60的SHDR数据发送给增强子模块。

706：增强子模块对预处理后的第一RAW数据进行融合和降噪处理。

作为本申请的一个示例，对预处理后的第一RAW数据进行融合处理的具体实现可以包括：将预处理后的第一RAW数据输入至第二目标模型中进行处理，输出融合RAW数据。第二目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

示例性地，若预处理后的第一RAW数据是4K60的SHDR数据，则将4K60的SHDR数据输入至第二目标模型中，经过融合处理后得到的融合RAW数据是4K30数据。也即第二目标模型在做融合处理时，是将同一时间段内经连续两次曝光得到的长曝光数据和短曝光数据进行融合，所以对于融合前的60帧数据，经过融合处理后即变为30帧。如此通过融合处理可以提高视频数据的信噪比和动态范围。

其中，第二目标模型可以是预先训练好的融合网络模型。譬如第二目标模型可以是基于曝光样本数据对第二网络模型进行训练后得到的。在一个示例中，第二网络模型可以包括但不限于HDRnet。

之后，对融合后得到的融合RAW数据进行降噪处理。作为本申请的一个示例，对融合RAW数据进行降噪处理的具体实现可以包括：将融合RAW数据输入至主摄像头对应的第三目标模型中进行处理，输出降噪后的视频数据。第三目标模型能够对任意的视频数据进行降噪处理。

其中，第三目标模型可以是预先训练好的降噪网络模型。譬如第三目标模型可以是基于RAW样本数据对第三网络模型进行训练后得到的。在一个示例中，第三网络模型可以包括但不限于Unet。

需要说明的是，外置ISP节点通过第一预处理子模块对第一RAW数据进行预处理是可选地，在另一实施例中，也可以直接将第一RAW发送给增强子模块，由增强子模块对第一RAW数据进行融合和降噪处理。

707：增强子模块输出降噪处理后的视频数据，以及路由子模块输出第五RAW数据。

具体地，增强子模块将降噪处理后的视频数据发送给内置ISP节点，以及路由子模块将第五RAW数据也发送给内置ISP节点。内置ISP节点通过第二预处理子模块接收该视频数据和第五RAW数据。不难理解，增强子模块输出的视频数据是4K30数据，用于浏览和记录；路由子模块输出的第五RAW数据是4K60数据，用于计算3A和可能的拍照需求。

需要说明的是，由于外置ISP节点对主摄像头的第一RAW数据进行了融合、降噪等处理，所以，外置ISP节点输出的视频数据与主摄像头输出的第一RAW数据之间一般会存在一定的时延。比如存在一帧的时延，举例来说，若主摄像头输出的是t时刻的第一RAW数据，则同时外置ISP节点输出的是t-1时刻的视频数据。

另外，外置ISP节点控制增强子模块与路由子模块同步输出，也即降噪处理后的视频数据与第五RAW数据同步传输至第二预处理子模块。

708：第二预处理子模块对增强子模块输出的视频数据进行处理，以及基于第五RAW数据统计第一曝光数据，调整曝光参数。

作为本申请的一个示例，第二预处理子模块对增强子模块输出的视频数据的处理包括：对增强子模块输出的视频数据再次进行预处理，譬如可以包括但不限于LSC处理、BLC处理、BPC处理、颜色插值处理中的至少一项，以进一步减小视频数据的噪声。之后，将经过再次预处理后的视频数据进行RGB转换，并对RGB转换后得到的视频图像进行压缩处理，得到YUV图像。

需要说明的是，本申请实施例中所述的第二预处理子模块再次对增强子模块输出的视频数据进行预处理是可选的，在另一个实施例中，第二预处理子模块也可以直接基于增强子模块输出的视频数据进行RGB转换，本申请实施例对此不作限定。

另外，第二预处理子模块基于第五RAW数据确定第一曝光数据，并根据第一曝光数据确定当前的曝光程度是否合理，若不合理，再去调整主摄像头的曝光参数。其中第一曝光数据的取值范围是(0，255)。在一个示例中，第二预处理子模块将第一曝光数据与曝光阈值进行比较，若第一曝光数据与曝光阈值之间的差值大于阈值范围，则按照一定的调整步长逐渐调整第一曝光数据，得到目标曝光数据。第二预处理子模块将目标曝光数据发送给主摄像头，以使得主摄像头调整图像感应器的曝光参数，最终的目的是使得根据主摄像头输出的第五RAW数据统计的曝光数据与曝光阈值接近或相同。

其中，调整步长可以根据实际需求进行设置。曝光阈值可以根据实际需求进行设置。阈值范围也可以根据实际需求进行设置。

譬如，曝光阈值为128，阈值范围为[0,5]，调整步长为4。若第一曝光数据为86，说明需要提高曝光参数，此时可以按照调整步长调整第一曝光数据，得到目标曝光数据为90。第二预处理子模块将目标曝光数据90发送给主摄像头，以使主摄像头将图像感应器的曝光参数调整为90。并再次根据下次接收的第五RAW数据统计曝光数据，按照上述方法调整图像感应器的曝光参数，直到统计的曝光数据接近或等于128为止。

值得一提的是，通过逐步调整曝光数据的方式使得主摄像头的曝光参数与曝光阈值相接近或相同，可以使得视频帧的曝光变化平滑过度。

作为本申请的一个示例，第二预处理子模块除了基于第五RAW数据统计第一曝光数据之外，还可以基于第五RAW数据统计第一AWB、第一AF和第一FOV。在一个示例中，第二预处理子模块将第一AWB发送给优化处理子模块，以便于优化处理子模块在图像优化处理过程中进行白平衡调整。另外第二预处理子模块将第一AF发送给主摄像头，以便于主摄像头根据第一AF进行调整处理。在一个示例中，将第一AWB、第一曝光数据、第一AF、第一FOV作为第一摄像信息，第一摄像信息可以用于后续在摄像头切换过程中进行参数同步。

709：第二预处理子模块向优化处理子模块发送YUV图像和目标曝光数据。

根据前文所述可知，目标曝光数据是根据第一曝光数据确定的。譬如，若第一曝光数据是100，第二预处理子模块确定需要将主摄像头的曝光参数调整至200，则目标曝光数据是200。

作为本申请的一个示例，由于第二预处理子模块对主摄像头的曝光参数进行了调整，所以后续通过主摄像头获得的视频数据的增益发生了变化，为了能够便于优化处理子模块对下一次接收到的YUV图像进行合理的降噪处理，第二预处理子模块在调整主摄像头的曝光参数的同时，将目标曝光数据发送给优化处理子模块，便于优化处理子模块确定降噪参数，从而根据降噪参数对下一次接收到YUV图像进行合理的降噪处理。

作为本申请的一个示例，外置ISP节点中包括与主摄像头对应的多个第三目标模型，多个第三目标模型中的每个第三目标模型对应有曝光数值范围，每个第三目标模型对应的曝光数值范围的数量可以为一个或者多个。根据前文所述可知，第三目标模型能够用于降噪处理，同理，为了能够对下一次的视频数据进行合理的降噪处理，第二预处理子模块还可以将目标曝光数据发送给外置ISP节点，以便于外置ISP节点确定第二预处理子模块反馈的目标曝光数据所属的曝光数值范围，从而根据所确定的曝光数值范围，从多个第三目标模型中选择对应的第三目标模型，选择的第三目标模型用于下一次的降噪处理。

710：优化处理子模块基于接收的数据进行图像优化处理。

优化处理子模块根据目标曝光数据对YUV图像进行优化，譬如对YUV图像进行降噪处理，从而得到画面清晰、明朗的视频帧。

711：优化处理子模块将得到的视频帧送显。

也即，优化处理子模块将图像优化处理后得到的视频帧发送给显示屏进行显示。

值得一提的是，在超夜视频模式下，通过外置ISP对视频数据进行融合和图像增强处理，将处理后的视频数据发送给内置ISP，并为内置ISP提供原始的视频数据。如此，内置ISP即可基于外置ISP提供的视频数据，生成清晰的视频帧，减小了内置ISP的运行负担，从而减小了SOC的功耗。

在未调焦的情况下，电子设备按照上述实施例的流程对主摄像头的视频数据进行处理，输出高清晰度的视频帧。在一个实施例中，请参考图8，当电子设备检测到调焦操作时，执行如下操作：

801：图像感应器节点根据摄像头预启动指令，启动辅摄像头。

作为本申请的一个示例，摄像头预启动指令由相机应用程序下发。在一个示例中，相机应用程序检测到调焦操作，由于在一种可能的情况下，调焦操作可能会调至辅摄像头的视场范围，也即需要从主摄像头切换至辅摄像头进行拍摄。所以，为了避免摄像头切换时存在的卡顿问题，相机应用程序在未满足摄像头切换条件之前，向视频模块下发摄像头预启动指令，以通知视频模块提前启动辅摄像头。在一个示例中，摄像头预启动指令中携带目标摄像头标识，目标摄像头标识用于唯一标识一个辅摄像头。视频模块接收摄像头预启动指令后，可以通过图像感应器节点启动辅摄像头。其中图像感应器节点启动辅摄像头的具体过程可以参见前文，这里不再重复赘述。

在一个示例中，摄像头切换条件可以根据主摄像头的视场角和/或辅摄像头的视场角确定。譬如，摄像头切换条件可以是指调焦操作对应的调焦值超过目标调焦值，目标调焦值对应的视场范围超过主摄像头的视场角，但小于辅摄像头的视场角。

在一个实施例中，若检测到调焦操作，则在未满足摄像头切换条件之前，当调焦操作对应的调焦值与摄像头切换条件对应的目标调焦值之间的差值小于或等于预设数值时，启动辅摄像头。

其中，预设数值可以根据实际需求进行设置。

譬如，辅摄像头为长焦摄像头，目标调焦值为3倍焦，也即当调焦操作对应的调焦值达到3倍焦时，自动从主摄像头切换至长焦摄像头。另外，假设预设数值为0.3，则当调焦操作对应的调焦值达到2.7倍焦时，开始启动长焦摄像头。

需要说明的是，当存在多个辅摄像头时，由于多个辅摄像头中不同辅摄像头对应的视场角不同，因此，不同辅摄像头对应有一个摄像头切换条件，或者说，不同辅摄像头对应一个目标调焦值。

802：图像感应器节点获取第二RAW数据。

第二RAW数据是通过辅摄像头的图像感应器输出的。也即电子设备在启动辅摄像头后，辅摄像头开始采集视频数据，图像感应节点获取辅摄像头采集的视频数据，得到第二RAW数据。在一个示例中，第二RAW数据可以为SHDR数据，在另一个示例中，第二RAW数据也可以为SDR数据。

在一个实施例中，第二RAW数据包括长曝光数据和短曝光数据。也即辅摄像头的图像感应器可以在每个曝光时间段内曝光两次，一次长曝光，一次短曝光，比如可以采用CMOS图像感应器在同一个时间段内曝光两次。如此可以使得后续将同一时间段内的长曝光数据和短曝光数据进行融合后输出高动态视频帧。示例性地，以第二RAW数据为4K60的SHDR数据为例，辅摄像头在每个33ms内曝光两次，如此得到60帧/秒的视频数据。

在另一个实施例中，第二RAW数据也可以为4K30的视频数据，也即辅摄像头在每个曝光时间段内曝光一次，其输出的是30帧/秒的视频数据。该种情况下，后续无需融合处理。

需要说明的是，图像感应器节点通过辅摄像头采集第二RAW数据的过程中，电子设备仍继续执行上述步骤701至步骤711。

803：图像感应器节点向外置ISP节点发送第二RAW数据。

804：外置ISP节点对第二RAW数据进行复制。

作为本申请的一个示例，外置ISP节点通过路由子模块对第二RAW数据进行复制，得到第六RAW数据，第六RAW数据用于统计辅摄像头当前的曝光数据等信息。

805：外置ISP节点对第二RAW数据进行降分辨率处理和降帧率处理，得到第四RAW数据。

作为本申请的一个示例，外置ISP节点将第二RAW数据传输给第一预处理子模块，由第一预处理子模块对第二RAW数据进行降分辨率处理以及降帧率处理，从而得到小分辨率、低帧率的第四RAW数据。在一个示例中，第一预处理子模块可以按照第一预设比例对第二RAW数据进行降分辨率处理，然后按照第二预设比例对降分辨率处理后的第二RAW数据进行降帧率处理。其中，第一预设比例和第二预设比例可以根据实际需求进行设置。

值得一提的是，通过对第二RAW数据进行降分辨率、降帧率处理，可以减小后续预降噪处理的功耗。

806：外置ISP节点基于第四RAW数据进行预降噪处理。

在实施例中，外置ISP节点中的第一预处理子模块将第四RAW数据发送给增强子模块。在一个示例中，当第二RAW数据包括长曝光数据和短曝光数据时，增强子模块对第四RAW数据进行融合处理，譬如通过第二目标模型进行融合，输出小分辨率、低帧率的融合数据。之后，增强子模块基于得到的小分辨率、低帧率的融合数据进行降噪处理，示例性地，增强子模块通过辅摄像头对应的第一目标模型对得到的小分辨率、低帧率的融合数据进行预降噪处理。

值得一提的是，在切换前基于辅摄像头采集的视频数据进行预降噪处理，可以使得第一目标模型的降噪效果与第三目标模型的降噪效果较接近，从而使得后续切换后经过第一目标模型降噪处理后的视频帧与切换前输出的视频帧的画面差异较小。

其中，第一目标模型可以是预先训练好的降噪网络模型。譬如第一目标模型可以是基于RAW样本数据对第一网络模型进行训练后得到的。在一个示例中，第一网络模型可以包括但不限于Unet。

在一个实施例中，第一预处理子模块在将第四RAW数据发送给增强子模块之前，还可以对第四RAW数据进行预处理，譬如预处理可以包括但不限于LSC处理、BLC处理、BPC处理、颜色插值处理中的至少一项。或者，在另一个实施例中，第一预处理子模块也可以在对第二RAW数据进行降分辨率、降帧率处理之前，对第二RAW数据进行预处理。本申请实施例对预处理的时机不作限定。

807：外置ISP节点将第六RAW数据输出至内置ISP节点。

在一个示例中，内置ISP节点通过第二预处理子模块接收第六RAW数据。

作为本申请的一个示例，路由子模块输出第六RAW数据的时机可以发生在复制操作之后，也即步骤807与步骤804之间没有严格的先后执行顺序。

808：内置ISP节点基于第六RAW数据，统计第二摄像信息。

在一个示例中，第二摄像信息包括第二曝光数据、第二AF、第二AWB和第二FOV。

内置ISP节点通过第二预处理子模块基于第六RAW数据，统计第二摄像信息。

809：内置ISP节点基于第一摄像信息，调整第二摄像信息。

在一个示例中，通过ISP节点通过第二预处理子模块将第二摄像信息中各个参数调整为与第一摄像信息中对应参数相同或接近，从而进行信息同步。譬如，将第一曝光数据与第二曝光数据进行信息同步，将第一AF和第二AF进行信息同步，将第一AWB与第二AWB进行信息同步，以及将第一FOV与第二FOV进行信息同步。

810：内置ISP节点基于调整后的第二摄像信息，对辅摄像头进行参数调整。

譬如，内置ISP节点通过第二预处理子模块将调整后的第二摄像信息发送给辅摄像头，并指示辅摄像头根据第二摄像信息进行参数调整。

811：当调焦操作满足摄像头切换条件时，外置ISP节点将经过参数同步后的辅摄像头输出的第三RAW数据作为前台数据处理。

在一个示例中，当相机应用程序检测到调焦操作满足摄像头切换条件，譬如调焦操作对应的调焦值达到目标调焦值时，通知外置ISP节点。外置ISP节点按照上述步骤701至步骤711的执行方式对辅摄像头输出的第三RAW数据进行处理，也即此时将辅摄像头输出的第三RAW数据作为前台数据处理。

示例性地，当调焦操作对应的调焦值达到3倍焦时，外置ISP节点通过路由子模块将第三RAW数据发送给第一预处理子模块进行预处理，之后由第一预处理子模块将预处理后的第三RAW数据发送给增强子模块进行融合处理，将融合处理后得到的RAW数据输入至第一目标模型进行降噪处理。另外，路由子模块对第三RAW数据进行复制。

812：外置ISP节点将处理后的视频数据发送给内置ISP节点。

外置ISP节点将降噪处理后的视频数据输出给内置ISP，以及将对第三RAW复制得到的RAW数据输出给内置ISP节点。之后，内置ISP节点通过第二预处理子模块按照对第一RAW数据的处理方式，对接收的视频数据进行处理，通过优化处理子模块优化处理后，输出清晰度较高的视频帧。

在一种可能的实现方式中，在从主摄像头切换至辅摄像头之后，可以控制主摄像头下电。在另一种可能的实现方式中，在从主摄像头切换至辅摄像头之后，也可以控制主摄像头处于上电状态。在又一种可能的实现方式中，在从主摄像头切换至辅摄像头之后，也可以控制主摄像头在一段时长阈值内处于上电状态，若在时长阈值内未从辅摄像头切换回主摄像头，则控制主摄像头下电。其中，时长阈值可以根据实际需求进行设置。

当从辅摄像头切换回主摄像头时，若主摄像头处于下电状态，则可以按照上述切换流程进行切换；若主摄像头处于上电状态，则可以直接进行切换，也即无需按照上述切换流程进行切换。

在一个实施例中，外置ISP中存储有辅摄像头对应的多个第一目标模型，多个第一目标模型中的每个第一目标模型对应有曝光数值范围。在该种情况下，内置ISP的第二预处理子模块对第二曝光数据同步处理后，将同步后的第二曝光数据反馈给外置ISP。如此，外置ISP确定经同步后的第二曝光数据所属的曝光数值范围，然后从多个第一目标模型中选择所确定的曝光数值范围对应的第一目标模型，选择的第一目标模型用于下一次的预降噪处理。

在本申请实施例中，在调焦过程中，提前启动待启动的摄像头，相比于直接切换，可以避免由于摄像头之间存在空间位置差异导致的卡顿问题。另外在启动后，将辅摄像头与主摄像头进行参数同步，以使得在切换后，辅摄像头采集视频帧的画面效果与主摄像头采集视频帧的画面效果接近，避免了切换前后视频画面差异较大的问题，实现了摄像头之间的平滑切换。

为了便于理解，接下来结合附图9所示的硬件框架图，对本申请实施例提供的方法流程进行介绍。如图9所示，本申请实施例涉及的硬件主要包括多个摄像头(譬如包括主摄像头和辅摄像头)、SOC、外置ISP和内置ISP。

外置ISP内部包括多个接口、路由单元、第一外置ISP前端单元、第二外置ISP前端单元以及外置ISP后端单元，路由单元分别与第一外置ISP前端单元、第二外置ISP前端单元相连接，第一外置ISP前端单元与外置ISP后端单元相连接，第二外置ISP前端单元与外置ISP后端单元相连接。路由单元用于执行上述各个实施例中路由子模块的功能，第一外置ISP前端单元和第二外置ISP前端单元用于执行上述各个实施例中第一预处理子模块的功能，外置ISP后端单元用于执行上述各个实施例中增强子模块的功能。在一个示例中，第一外置ISP前端单元为外置ISP中的IFE0，第二外置ISP前端单元为外置ISP中的IFE1，外置ISP后端单元为外置ISP中的NPU。

内置ISP内部包括第一内置ISP前端单元、第二内置ISP前端单元、第三内置ISP前端单元以及内置ISP后端单元。第一内置ISP前端单元与内置ISP后端单元相连接，第二内置ISP前端单元与内置ISP后端单元相连接。第一内置ISP前端单元、第二内置ISP前端单元以及第三内置ISP前端单元用于执行上述各个实施例中的第二预处理子模块的功能，内置ISP后端单元用于执行上述各个实施例中优化处理子模块的功能。在一个示例中，第一内置ISP前端单元为内置ISP中的IFE0，第二内置ISP前端单元为内置ISP中的IFE1，第三内置ISP前端单元为内置ISP中的IFE2，内置ISP后端单元为内置ISP中的IPE。

需要说明的是，上述仅是示例性的示出了外置ISP和内置ISP内部包括的多个单元，但并不对其结构的组成部分构成限定。在一些实施例中，外置ISP或内置ISP的内部还可能包括其他单元，本申请实施例对此不作限定。

接下来结合附图9所示的硬件框架图，对本申请实施例提供的摄像头的切换方法流程进行介绍，具体地：

901：外置ISP接收第一RAW数据。

作为本申请的一个示例，第一RAW数据是来自电子设备的主摄像头，具体地，主摄像头的图像感应器输出第一RAW数据至外置ISP。

作为示例而非限定，如图9所示，外置ISP通过移动行业处理器接口(mobileindustry processor interface，Mipi)0接收来自主摄像头的第一RAW数据。

902：外置ISP通过路由单元对第一RAW数据进行复制、路由处理。

作为本申请的一个示例，外置ISP首先通过路由单元对第一RAW数据进行复制，得到第五RAW数据。之后，路由单元对这两份RAW数据进行路由处理，示例性地，将第一RAW数据传输给第一外置ISP前端单元，由第一外置ISP前端单元基于第一RAW数据进行预处理，并将预处理后得到的第一RAW数据发送给外置ISP后端单元，由外置ISP后端单元进行融合和降噪处理；第五RAW数据直接输出给内置ISP。

第一外置ISP前端单元对第一RAW数据的预处理可以参见上述图7所示实施例，外置ISP后端单元对预处理后的第一RAW数据的融合和降噪处理也可以参见上述图7所示实施例。

903：外置ISP后端单元输出降噪处理后的视频数据，以及通过路由单元输出第五RAW数据。

示例性地，外置ISP后端单元通过外置ISP的Mipi0接口，将降噪处理后的视频数据发送给内置ISP，路由单元通过外置ISP的Mipi1接口将第五RAW数据发送给内置ISP。请参考图9，在摄像头切换之前，外置ISP通过第一分支1处理主摄像头的第一RAW数据。

904：内置ISP接收外置ISP后端单元输出的视频数据，以及路由单元输出的第五RAW数据。

在一个示例中，内置ISP通过第一内置ISP前端单元接收外置ISP后端单元输出的视频数据，然后由第一内置ISP前端单元对该视频数据进行处理，譬如进行再次预处理，然后进行RGB转换，并将转换后的RGB图像进行压缩，得到YUV图像。之后将YUV图像传输给内置ISP后端单元进行处理。

在一个示例中，内置ISP通过第二内置ISP前端单元接收路由单元输出的第五RAW数据。之后，第二内置ISP前端单元基于第五RAW数据确定第一曝光数据，并根据第一曝光数据确定当前的曝光程度是否合理，若不合理，确定目标曝光数据，并根据目标曝光数据去调整摄像头的曝光参数。在一个示例中，第二内置ISP前端单元通过I2C接口调整摄像头的曝光数据。

除此之外，第二内置ISP前端单元还基于第五RAW数据统计AWB、颜色等数据。第二内置ISP前端单元将3A、颜色等数据传输给内置ISP后端单元，以便于内置ISP后端单元根据第二内置ISP前端单元传输的数据对YUV图像进行优化，譬如对YUV图像进行降噪处理，从而得到画面清晰、明朗的视频帧。

此外，第二内置ISP前端单元还可以通过外设接口，将目标曝光数据发送给外置ISP，譬如发送至外置ISP后端单元中，以便于外置ISP后端单元根据目标曝光数据，从多个用于降噪处理的第三目标模型中选择一个第三目标模型，从而根据选择的第三目标模型，对下一次的视频数据进行降噪处理。示例性地，外设接口可以为安全数据输入和输出(secure digital input and output，SDIO)接口。

进一步地，第二内置ISP前端单元基于第五RAW数据确定第一AF、第一AWB、第一FOV，以得到第一摄像信息。其具体实现可以参见图7所示实施例。

905：内置ISP输出视频帧。

具体地，内置ISP通过内置ISP后端单元输出经过优化处理后的视频帧，将视频帧显示在显示屏上。

需要说明的是，在未执行切换操作之前，电子设备按照上述流程输出主摄像头的视频帧。当用户进行调焦时，执行如下切换操作：

906：在视频帧输出的过程中，当相机应用程序检测到调焦操作时，在未满足摄像头切换条件之前，SOC启动辅摄像头。

在一个示例中，当检测到用户的调焦操作时，在未满足摄像头切换条件之前，若调焦操作对应的调焦值与摄像头切换条件对应的目标调焦值之间的差值小于预设数值，则启动辅摄像头。之后，电子设备通过辅摄像头采集视频数据，得到第二RAW数据。

需要说明的是，电子设备启动辅摄像头后，辅摄像头开始采集视频数据，得到第二RAW数据。在未切换之前，仍是对主摄像头的视频数据作输出，也即辅摄像头采集的第二RAW数据未输出，对第二RAW数据的处理过程请参见如下步骤。

907：外置ISP接收第二RAW数据。

在一个示例中，外置ISP通过Mipi1接口接收第二RAW数据。

908：外置ISP通过路由单元对第二RAW数据进行复制、路由处理。

在一个示例中，路由单元对第二RAW数据进行复制，得到第六RAW数据。路由单元将第二RAW数据发送给第二外置ISP前端单元，以及将第六RAW数据通过Mipi2接口发送给内置ISP。

909：外置ISP通过第二外置ISP前端单元对第二RAW数据进行降分辨率、降帧率处理，得到第四RAW数据。

在一个实施例中，第二外置ISP前端单元对第二RAW数据进行降分辨率、降帧率处理之前，还可以对第二RAW数据进行预处理，本申请实施例对此不作限定。

910：第二外置ISP前端单元将第四RAW数据发送给外置ISP后端单元。

911：外置ISP后端单元基于第四RAW数据进行预降噪处理。

请参考图9，对于外置ISP来说，在启动辅摄像头之后，以及在摄像头切换之前，通过第二分支2处理辅摄像头的第二RAW数据。

912：内置ISP通过第三内置ISP前端单元接收第六RAW数据。

913：第三内置ISP前端单元基于第六RAW数据确定第二摄像信息。

914：第三内置ISP前端单元对第一摄像信息和第二摄像信息进行信息同步。

在一个示例中，第三内置ISP前端单元从内置ISP的第二内置ISP前端单元中获取第一摄像信息，之后，根据第一摄像信息对第二摄像信息进行调整，以将第二摄像信息与第一摄像信息进行信息同步。

915：内置ISP根据同步后的第二摄像信息控制辅摄像头进行参数调整。

在一个示例中，由第三内置ISP前端单元根据同步后的第二摄像信息，通过I2C接口控制摄像头进行参数调整。

在一个实施例中，当外置ISP内部包括辅摄像头对应的多个第一目标模型时，内置ISP对第二曝光数据同步处理后，将同步后的第二曝光数据反馈给外置ISP，譬如，可以反馈至外置ISP后端单元中。如此，外置ISP后端单元确定经同步后的第二曝光数据所属的曝光数值范围，然后从多个第一目标模型中选择所确定的曝光数值范围对应的第一目标模型，选择的第一目标模型用于下一次对辅摄像头采集的视频数据的预降噪处理。

916：在满足摄像头切换条件的情况下，外置ISP将第三RAW数据作为待输出数据。

第三RAW数据是经过参数同步后的辅摄像头输出的RAW数据。

在实施中，外置ISP通过路由单元对第三RAW数据进行复制。之后，路由单元将第三RAW数据发送给第一外置ISP前端单元，由第一外置ISP前端单元进行预处理，之后发送给外置ISP后端单元，由外置ISP后端单元进行融合和降噪处理，将降噪处理后的视频数据通过Mipi0接口输出给内置ISP进行后续的优化处理。另外，外置ISP通过路由单元将对第三RAW数据复制得到的RAW数据发送给内置ISP，由内置ISP中的第三内置ISP前端单元确定曝光数据。

请参考图9，在满足摄像头切换条件的情况下，外置ISP通过第一分支1处理辅摄像头的第三RAW数据。

作为示例而非限定，本申请根据另一实施例提供了一种摄像头切换的方法，该方法可以应用于上述电子设备中，电子设备至少包括第一摄像头和第二摄像头。在一个实施例中，电子设备包括第一图像信号处理模块以及第二图像信号处理模块，譬如第二图像信号处理模块为SOC中集成的ISP(简称：内置ISP)，第一图像信号处理模块包括SOC外部的ISP(简称：外置ISP)。该方法可以包括如下几个实现步骤：

步骤1001、根据第一摄像头的第一RAW数据进行视频帧输出，第一RAW数据是原始视频数据。

在一个示例中，第一摄像头可以为主摄像头。在另一个示例中，第一摄像头也可以为辅摄像头。

作为本申请的一个示例，步骤1001的具体实现可以包括：第一摄像头的图像感应器输出第一RAW数据，第一图像信号处理模块获取第一RAW数据。第一图像信号处理模块复制第一RAW数据，得到第五RAW数据。第一图像信号处理模块对第一RAW数据进行图像增强处理，得到视频增强数据。第一图像信号处理模块将视频增强数据以及第五RAW数据发送给第二图像信号处理模块。第二图像信号处理模块基于视频增强数据和第五RAW数据进行视频帧输出。

作为本申请的一个示例，第一摄像头的图像感应器输出第一RAW数据的具体实现可以包括：通过电子设备中的相机应用检测到夜景视频拍摄指令，夜景视频拍摄指令用于指示在夜景模式下进行视频录制。响应于夜景视频拍摄指令，图像感应器输出第一RAW数据。

作为本申请的一个示例，第一RAW数据包括同一时间段内采集的长曝光数据和短曝光数据，第一图像信号处理模块对第一RAW数据进行图像增强处理，包括：第一图像信号处理模块将长曝光数据和短曝光数据进行融合处理，得到融合RAW数据。第一图像信号处理模块对融合RAW数据进行降噪处理，得到视频增强数据。

作为本申请的一个示例，第一图像信号处理模块将长曝光数据和短曝光数据进行融合处理，包括：第一图像信号处理模块将长曝光数据和短曝光数据输入至第二目标模型中，由第二目标模型进行融合处理，第二目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

作为本申请的一个示例，第一图像信号处理模块对融合RAW数据进行降噪处理，包括：第一图像信号处理模块将融合RAW数据输入至第一摄像头对应的第三目标模型中，由第三目标模型进行降噪处理，第三目标模型能够对任意的RAW数据进行降噪处理。

作为本申请的一个示例，第一图像信号处理模块中包括第一摄像头对应的多个第三目标模型，多个第三目标模型中的每个第三目标模型对应有曝光数值范围。在该种情况下，第一图像信号处理模块接收目标曝光数据，目标曝光数据是由第二图像信号处理模块基于第一曝光数据确定，第一曝光数据是由第二图像信号处理模块基于第五RAW数据进行曝光数据统计得到，目标曝光数据用于调整第一摄像头的曝光参数。第一图像信号处理模块根据目标曝光数据、以及每个第三目标模型对应的曝光数值范围，从多个第三目标模型中选择一个第三目标模型，选择的第三目标模型用于降噪处理。

作为本申请的一个示例，第二图像信号处理模块对视频增强数据进行格式转换处理，得到YUV图像的具体实现可以包括：第二图像信号处理模块基于第五RAW数据，确定目标数据，目标数据用于调整YUV图像的图像质量。第二图像信号处理模块基于目标数据调整YUV图像，并将调整后的YUV图像作为视频帧输出。

步骤1002、在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动第二摄像头。

作为本申请的一个示例，若检测到调焦操作，则在未达到摄像头切换条件之前，当调焦操作对应的调焦值与摄像头切换条件对应的目标调焦值之间的差值小于或等于预设数值时，启动第二摄像头。

步骤1003、根据第一RAW数据、第二摄像头的第二RAW数据，将第二摄像头与第一摄像头进行参数同步。

在一个示例中，第二摄像头可以为辅摄像头。在另一个示例，第二摄像头也可以为主摄像头。第二摄像头与第一摄像头为不同摄像头。

作为本申请的一个示例，步骤1003的具体实现可以包括：根据第一RAW数据，确定第一摄像信息。根据第二RAW数据，确定第二摄像信息。根据第一摄像信息，调整第二摄像信息，以将第二摄像信息与第一摄像信息同步。根据调整后的第二摄像信息，对第二摄像头进行参数调整，以将第二摄像头与第一摄像头进行参数同步。

可选地，第一摄像信息包括第一曝光数据、第一自动对焦AF、第一自动白平衡AWB、第一视场角FOV，第二摄像信息包括第二曝光数据、第二AF、第二AWB、第二FOV。

作为本申请的一个示例，电子设备还可以基于第二RAW数据，对第二摄像头对应的第一目标模型进行预降噪处理，第一目标模型能够基于任意的RAW数据进行降噪处理，预降噪处理后的第一目标模型用于在调焦操作满足摄像头切换条件后对第三RAW数据进行降噪处理。

作为本申请的一个示例，基于第二RAW数据，通过第二摄像头对应的第一目标模型进行预降噪处理的具体实现可以包括：按照第一预设比例对第二RAW数据进行降分辨率处理，以及按照第二预设比例对降分辨率处理后的第二RAW数据进行降帧率处理，得到第四RAW数据，将第四RAW数据输入至第一目标模型中，以对第一目标模型进行预降噪处理。

其中第一预设比例和第二预设比例均可以根据实际需求进行设置。

在另一实施例中，也可以先按照第二预设比例对第二RAW数据进行降帧率处理，然后按照第一预设比例对降帧率处理后的第二RAW数据进行降分辨率处理。

步骤1004、当调焦操作满足摄像头切换条件时，根据第三RAW数据进行视频帧输出，第三RAW数据是经参数同步后的第二摄像头的原始视频数据。

在本申请实施例中，根据第一摄像头的第一RAW数据进行视频帧输出，在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动第二摄像头，根据第一RAW数据、第二摄像头的第二RAW数据，将第二摄像头与第一摄像头进行参数同步。当调焦操作满足摄像头切换条件时，根据第三RAW数据进行视频帧输出，第三RAW数据是经参数同步后的第二摄像头的原始视频数据。如此，通过提前启动第二摄像头，并在启动后将第二摄像头与第一摄像头进行参数同步，可以使得切换后第二摄像头的视频画面与第一摄像头的视频画面差异较小，也即，解决了切换前后视频画面差异较大的问题，从而实现了摄像头之间的平滑切换。

应理解，上述实施例中各步骤的序号并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到电子设备的任何实体或装置、记录介质、计算机存储器、ROM、RAM、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种摄像头的切换方法，其特征在于，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：

根据所述第一摄像头的第一原始数据进行视频帧输出；

在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动所述第二摄像头；

根据所述第一原始数据、所述第二摄像头的第二原始数据，将所述第二摄像头与所述第一摄像头进行参数同步；

当所述调焦操作满足所述摄像头切换条件时，根据第三原始数据进行视频帧输出，所述第三原始数据是经参数同步后的所述第二摄像头的原始视频数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一原始数据、所述第二摄像头的第二原始数据，将所述第二摄像头与所述第一摄像头进行参数同步，包括：

根据所述第一原始数据，确定第一摄像信息；

根据所述第二原始数据，确定第二摄像信息；

根据所述第一摄像信息，调整所述第二摄像信息，以将所述第二摄像信息与所述第一摄像信息同步；

根据调整后的所述第二摄像信息，对所述第二摄像头进行参数调整，以将所述第二摄像头与所述第一摄像头进行参数同步。

3.根据权利要求2所述的方法，其特征在于，所述第一摄像信息包括第一曝光数据、第一自动对焦AF、第一自动白平衡AWB、第一视场角FOV，所述第二摄像信息包括第二曝光数据、第二AF、第二AWB、第二FOV。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

基于所述第二原始数据，对所述第二摄像头对应的第一目标模型进行预降噪处理，所述第一目标模型能够对任意的原始数据进行降噪处理，预降噪处理后的所述第一目标模型用于在所述调焦操作满足所述摄像头切换条件后对所述第三原始数据进行降噪处理。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二原始数据，通过所述第二摄像头对应的第一目标模型进行预降噪处理，包括：

按照第一预设比例对所述第二原始数据进行降分辨率处理，以及按照第二预设比例对降分辨率处理后的所述第二原始数据进行降帧率处理，得到第四原始数据；

将所述第四原始数据输入至所述第一目标模型中，以对所述第一目标模型进行预降噪处理。

6.根据权利要求1所述的方法，其特征在于，所述在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动所述第二摄像头，包括：

在视频帧输出的过程中，若检测到调焦操作，则在未达到所述摄像头切换条件之前，当所述调焦操作对应的调焦值与所述摄像头切换条件对应的目标调焦值之间的差值小于或等于预设数值时，启动所述第二摄像头。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述电子设备包括第一图像信号处理模块以及第二图像信号处理模块；

所述根据所述第一摄像头的第一原始数据进行视频帧输出，包括：

所述第一摄像头的图像感应器输出所述第一原始数据；

所述第一图像信号处理模块获取所述第一原始数据；

所述第一图像信号处理模块复制所述第一原始数据，得到第五原始数据；

所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，得到视频增强数据；

所述第一图像信号处理模块将所述视频增强数据以及所述第五原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块基于所述视频增强数据和所述第五原始数据进行视频帧输出。

8.根据权利要求7所述的方法，其特征在于，所述第一原始数据包括同一时间段内采集的长曝光数据和短曝光数据，所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，得到视频增强数据，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，得到融合原始数据；

所述第一图像信号处理模块对所述融合原始数据进行降噪处理，得到所述视频增强数据。

9.根据权利要求8所述的方法，其特征在于，所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据输入至第二目标模型中，由所述第二目标模型进行融合处理，所述第二目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

10.根据权利要求8或9所述的方法，其特征在于，所述第一图像信号处理模块对所述融合原始数据进行降噪处理，包括：

所述第一图像信号处理模块将所述融合原始数据输入至所述第一摄像头对应的第三目标模型中，由所述第三目标模型进行降噪处理，所述第三目标模型能够对任意的原始数据进行降噪处理。

11.根据权利要求10所述的方法，其特征在于，所述第一图像信号处理模块中包括所述第一摄像头对应的多个第三目标模型，所述多个第三目标模型中的每个第三目标模型对应有曝光数值范围；所述方法还包括：

所述第一图像信号处理模块接收目标曝光数据，所述目标曝光数据是由所述第二图像信号处理模块基于第一曝光数据确定，所述第一曝光数据是由所述第二图像信号处理模块基于所述第五原始数据进行曝光数据统计得到，所述目标曝光数据用于调整所述第一摄像头的曝光参数；

所述第一图像信号处理模块根据所述目标曝光数据、以及所述每个第三目标模型对应的曝光数值范围，从所述多个第三目标模型中选择一个第三目标模型，选择的第三目标模型用于降噪处理。

12.根据权利要求7-11中任一项所述的方法，其特征在于，所述第二图像信号处理模块基于所述视频增强数据和所述第五原始数据进行视频帧输出，包括：

所述第二图像信号处理模块对所述视频增强数据进行格式转换处理，得到YUV图像；

所述第二图像信号处理模块基于所述第五原始数据，确定目标数据，所述目标数据用于调整所述YUV图像的图像质量；

所述第二图像信号处理模块基于所述目标数据调整所述YUV图像，并将调整后的所述YUV图像作为所述视频帧输出。

13.根据权利要求7-12中任一项所述的方法，其特征在于，所述第二图像信号处理模块包括芯片级系统SOC中集成的ISP，第一图像信号处理模块包括所述SOC外部的ISP。

14.根据权利要求7-13中任一项所述的方法，其特征在于，所述第一摄像头的图像感应器输出所述第一原始数据，包括：

通过所述电子设备中的相机应用检测到夜景视频拍摄指令，所述夜景视频拍摄指令用于指示在夜景模式下进行视频录制；

响应于所述夜景视频拍摄指令，所述图像感应器输出所述第一原始数据。

15.一种摄像头的切换装置，其特征在于，配置于电子设备中，所述电子设备包括第一摄像头和第二摄像头；所述装置包括图像感应器节点、第一图像信号处理模块以及第二图像信号处理模块；

所述第一图像信号处理模块和所述第二图像信号处理模块，用于根据所述第一摄像头的第一原始数据进行视频帧输出；

所述图像感应器节点，用于在视频帧输出的过程中，若检测到调焦操作，则在未满足摄像头切换条件之前，启动所述第二摄像头；

所述第一图像信号处理模块和所述第二图像信号处理模块，用于根据所述第一原始数据、所述第二摄像头的第二原始数据，将所述第二摄像头与所述第一摄像头进行参数同步；

所述第一图像信号处理模块和所述第二图像信号处理模块，用于当所述调焦操作满足所述摄像头切换条件时，根据第三原始数据进行视频帧输出，所述第三原始数据是经参数同步后的所述第二摄像头的原始视频数据。

16.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；

所述存储器用于存储支持所述电子设备执行权利要求1-14任一项所述的方法的程序，以及存储用于实现权利要求1-14任一项所述的方法所涉及的数据；所述处理器被配置为用于执行所述存储器中存储的程序。

17.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当其在计算机上运行时，使得计算机执行权利要求1-14任一项所述的方法。

Images