CN117651221A

CN117651221A - 视频处理的方法及电子设备

Info

Publication number: CN117651221A
Application number: CN202210950356.6A
Authority: CN
Inventors: 崔瀚涛
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-08-09
Filing date: 2022-08-09
Publication date: 2024-03-05
Also published as: WO2024032033A1

Abstract

本申请提供了一种视频处理的方法及电子设备，属于终端技术领域。该方法包括：接收用户输入的第一操作；响应于第一操作，根据预设的默认高动态范围HDR曝光方式获取第一图像；根据第一图像，获取环境亮度，并按照预设策略确定目标HDR曝光方式，预设策略包括视频拍摄对应的动态范围、频闪状态以及所述环境亮度与目标HDR曝光方式之间的对应关系；当目标HDR曝光方式与默认HDR曝光方式不相同时，将默认HDR曝光方式切换为目标HDR曝光方式，并继续进行视频拍摄。该方法通过根据实际的视频拍摄情况，在多种曝光方式之间进行无缝自动切换，从而实现在视频拍摄场景下进行高效的HDR处理，改善视频画质。

Description

视频处理的方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种视频处理的方法及电子设备。

背景技术

曝光是通过感光器件接收镜头进光形成影像的过程。在拍摄过程中，拍摄背景或拍摄主题的明暗强度会发生变化，外界光线太强容易导致曝光过度，导致图像过亮而缺乏层次和细节；外界光太弱容易导致曝光不足，导致图像过暗而无法反映真实色泽。

在实际应用中，图像的亮度通常受到动态范围(dynamic imaging)的限制。动态范围是指设备支持的最大输出信号和最小输出信号的比值，或者图像的亮度上限和亮度下限的灰度比值。如果环境亮度大于动态范围的上限值，拍摄的图像会偏亮；如果环境亮度小于动态范围的亮度下限值，拍摄的图像会偏暗。

目前，动态范围的影响因素包括设备及图像传感器(camera sensor)的尺寸，传感器的尺寸越大会有更大的感光表面积，在曝光时间内就可以提供更多的用于接收光信息的区域，像素更多，动态范围更大。然而，随着科技的发展，设备物理空间小型化限制了传感器尺寸，从而造成动态范围有限。

发明内容

本申请实施例提供了一种视频处理的方法，通过根据实际的视频拍摄情况，在多种曝光方式之间进行无缝自动切换，从而实现在视频拍摄场景下进行高效的HDR处理，改善视频画质。

第一方面，提供了一种频处理的方法，应用于电子设备，所述方法包括：

接收用户输入的第一操作，所述第一操作用于打开所述电子设备的视频拍摄的功能；

响应于第一操作，根据预设的默认高动态范围HDR曝光方式获取第一图像；

根据所述第一图像，获取环境亮度，并按照预设策略确定目标HDR曝光方式，所述预设策略包括所述视频拍摄对应的动态范围信息、频闪状态以及所述环境亮度与所述目标HDR曝光方式之间的对应关系；

当所述目标HDR曝光方式与所述默认HDR曝光方式不相同时，将所述默认HDR曝光方式切换为所述目标HDR曝光方式，并继续进行所述视频拍摄，获取第二图像。

在一种可能的实现方式中，这里的动态范围信息可以包括动态范围和/或动态范围压缩增益。

根据本实现方式提供的视频处理的方法，通过根据环境亮度、需求的动态范围以及频闪检测等因素的变化，对多种类型HDR处理方案进行无缝切换，从而得以利用与实际拍摄环境及画质需求适配的HDR方案进行图像处理，实现有效扩大录像场景下的动态范围，提升录像场景下的图像画质。

结合第一方面，在第一方面的某些实现方式中，所述目标HDR曝光方式至少包括第一HDR曝光方式和第二HDR曝光方式，所述第一HDR曝光方式为单帧模式，所述第二HDR曝光方式为双帧模式；

当所述目标HDR曝光方式为所述第二HDR曝光方式时，对所述双帧模式输入的图像进行融合。

在一种可能的实现方式中，单帧模式可以是binning曝光方式，也即曝光后图像传感器输出单帧图像。双帧模式可以是SHDR，DCG，DXG等曝光方式，也即基于一次曝光读取两帧图像，然后对两帧图像进行融合调整HDR的方式；或者采用长曝光和短曝光获取两帧图像，然后对两帧图像进行融合调整HDR的方式。

结合第一方面，在第一方面的某些实现方式中，所述第一HDR曝光方式为binning模式，所述第二HDR曝光方式包括交错高动态范围模式SHDR和DXG，所述DXG为双转换增益模式DCG和双模拟增益DAG叠加使用的模式。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

预设通过所述视频拍摄获取的图像所对应的目标参数；

将基于所述第一HDR曝光方式获取的所述第一图像对应的初始参数调整为所述目标参数；和/或，

将基于所述第二HDR曝光方式获取的所述第二图像对应的初始参数调整为所述目标参数。

在一种可能的实现方式中，这里的目标参数可以包括图像尺寸、比特深度等等。

应理解，将不同曝光方式对应图像的参数均调整为目标参数，能够使得不同曝光方式的图像具有一致的图像参数，避免不同曝光方式切换时，图像会发生跳变。

结合第一方面，在第一方面的某些实现方式中，所述电子设备包括自动曝光控制AEC模块、图像传感器、感知模块，

所述响应于第一操作，根据预设的默认HDR曝光方式获取第一图像，具体包括：

响应于所述第一操作，所述AEC模块向所述图像传感器发送第一指示信息，所述第一指示信息用于指示使用所述默认HDR曝光方式捕获图像；

响应于所述第一指示信息，所述图像传感器使用所述默认HDR曝光方式，并获取所述第一图像。

结合第一方面，在第一方面的某些实现方式中，所述电子设备包括AEC模块、图像传感器、感知模块，

所述根据所述第一图像，获取环境亮度，并按照预设策略确定目标HDR曝光方式，具体包括：

所述图像传感器将所述第一图像发送至所述感知模块；

所述感知模块根据所述第一图像，获取环境亮度，并向所述AEC模块指示所述环境亮度；

所述AEC模块根据所述环境亮度，按照预设策略确定所述目标HDR曝光方式。

结合第一方面，在第一方面的某些实现方式中，所述电子设备包括AEC模块、图像传感器、感知模块和融合模块，

所述当所述目标HDR曝光方式为所述第二HDR曝光方式时，对所述双帧输入的图像进行融合，具体包括：

当所述目标HDR曝光方式为所述第二HDR曝光方式时，所述图像传感器将所述双帧模式的图像传输至所述融合模块；

所述融合模块对所述双帧模式的图像进行融合；或者，

当所述目标HDR曝光方式为所述第二HDR曝光方式时，所述图像传感器对所述双帧模式的图像进行融合。

结合第一方面，在第一方面的某些实现方式中，当所述融合模块对所述双帧模式的图像进行融合时，根据所述DXG模式要求的感光比，分别确定所述DCG模式下的双帧输入图像和DAG模式下的双帧输入图像之间的目标感光度比例；

根据所述目标感光度比例对所述DCG模式双帧输入图像和DAG模式下的双帧输入图像分别进行对应叠加，获取满足所述DXG模式感光比的叠加后的双帧输入图像。

结合第一方面，在第一方面的某些实现方式中，当所述图像传感器对所述双帧模式的图像进行融合时，根据预设的感光度比例对所述DCG模式下的双帧输入图像和DAG模式下的双帧输入图像进行叠加。

结合第一方面，在第一方面的某些实现方式中，所述按照预设策略确定目标HDR曝光方式，具体包括：

获取所述视频拍摄对应的动态范围；

当所述动态范围信息小于第一阈值时，确定所述目标HDR曝光方式为所述binning模式；

当所述动态范围信息大于或等于所述第一阈值时，检测是否存在频闪；

当存在频闪时，确定所述目标HDR曝光方式为所述binning模式；

当不存在频闪时，根据所述环境亮度确定所述目标HDR曝光方式；其中，

当所述环境亮度大于第二阈值时，确定所述目标HDR曝光方式为所述SHDR模式；

当所述环境亮度小于第三阈值时，确定所述目标HDR曝光方式为所述DXG模式。

检测所述视频拍摄是否存在热逃生现象；

当存在所述热逃生现象时，确定所述目标HDR曝光方式为所述binning模式。

结合第一方面，在第一方面的某些实现方式中，所述电子设备支持所述第一HDR视频模式，所述第一HDR视频模式包括HDR10或HDR10+。

结合第一方面，在第一方面的某些实现方式中，当所述视频拍摄时，存在HDR摄像头和非HDR摄像头之间的切换时，所述方法还包括：

当所述切换时，所述HDR摄像头的曝光方式为所述第一HDR曝光方式，所述非HDR摄像头对应的曝光方式为所述第二HDR曝光方式，则调节所述第一HDR曝光方式对应的第一动态范围增益，使得所述第一动态范围增益与所述第二HDR曝光方式对应的第二动态范围增益最接近。

显示第一界面，所述第一界面包括第一控件，所述第一控件用于开启自动切换所述HDR曝光方式功能。

第二方面，提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如上述第一方面或第二方面中任一实现方式所述的方法。

第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序指令，所述计算机可执行程序指令在被计算机上运行时，使所述计算机执行如上述第一方面或第二方面中任一实现方式所述的方法。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使所述计算机执行如上述第一方面或第二方面中任一实现方式所述的方法。

附图说明

图1为本申请实施例提供的一种通过交错高动态范围模式所捕获的图像的示意图。

图2A和图2B为本申请实施例提供的通过DCG模式和DAG模式所捕获的图像的示意图。

图3为本申请实施例提供的一种的电子设备100的结构示意图。

图4为本申请实施例提供的一种电子设备100的软件结构框图。

图5为本申请实施例提供的一种多种曝光模式对应的相关参数差异的示意图。

图6A至图6D为本申请实施例提供的一些视频处理过程中可能涉及的GUI示意图。

图7为本申请实施例提供的一种视频处理的方法的示意图。

图8为本申请实施例提供的另一种视频处理的方法的示意图。

图9为本申请实施例提供的又一种视频处理的方法的示意图。

图10为本申请实施例提供的又一种视频处理的方法的示意图。

图11为本申请实施例提供的又一种视频处理的方法的示意图。

图12为本申请实施例提供的又一种视频处理的方法的示意图。

图13为本申请实施例提供的一种视频处理的过程中调整图像参数的示意图。

图14为本申请实施例提供的一种视频处理的过程中调整图像参数的示意图。

图15为本申请实施例提供的又一种视频处理的方法的示意图。

具体实施方式

需要说明的是，本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联障碍物的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，除非另有说明，“多个”是指两个或多于两个，“至少一个”、“一个或多个”是指一个、两个或两个以上。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”特征可以明示或者隐含地包括一个或者更多个该特征。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其它一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其它方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其它方式另外特别强调。

本申请的说明书和权利要求书及附图中的术语“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口。用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

结合背景技术中的介绍，为了克服受限于动态范围导致图像拍摄质量低(明暗差别小)的问题，高动态范围成像(high dynamic imaging，HDR)技术应运而生。HDR技术是可以实现更大曝光动态范围(即更大的明暗差别)的一组技术，其目的是正确地表示真实世界中从太阳光直射到最暗的阴影的亮度范围。在HDR技术具体实现时，可以通过设置多组曝光值(exposure values，EV)来对当前拍摄的对象进行曝光，其中包括利用当前测光计算获取的正常情况下的EV值曝光，以及分别使用低于正常EV值(EV-n的EV值)和高于正常EV值(EV+n的EV值)进行曝光，之后，对曝光后的多张照片进行融合，使得暗处的对象使用高倍EV曝光的局部照片，而亮处的对象使用低倍EV曝光的局部照片，从而使得整个照片的场景都不至于太亮或者太暗。

上述通过EV包围并融合多张照片以扩大动态范围的方式涉及较复杂的图像处理算法，需要两帧之间具有足够的间隔作为计算时间。通常来说，在拍照场景下，获取连续两帧图像的时间间隔较长，足以实现按照传统HDR曝光方式扩大动态范围。然而，在录像场景下，为了保证画面的流畅性，一般会以特定帧率(frame rate)采集和处理图像，帧间隔很短，也即每一帧(frame)只对应极短的计算时间(如帧率为30fps时，每一帧对应的计算时间平均小于33ms)，这就使得在录像场景下，无法使用复杂度较高的传统方式来扩大动态范围，而是需要针对录像的特点定制适配的HDR方案。

有鉴于此，本申请实施例提供了一种视频处理的方法，该方法根据环境亮度、动态范围以及频闪等因素的变化，对多种类型HDR曝光方式进行无缝切换，从而得以利用与实际拍摄状态及画质需求适配的HDR方案进行图像采集和处理，实现有效扩大录像场景下的动态范围，提升录像场景下的图像画质。

为了更好地理解本申请实施例提供的视频处理的方法，首先对本文可能涉及到的一些术语定义进行介绍。

1、交错高动态范围(stagger high-dynamic range，SHDR)

各个厂商可能对与SHDR相似的技术有不同的命名，如索尼(Sony)的相关技术就被称为行交织HDR(digital overlap HDR，DOL-HDR)。SHDR技术通过提高传感器的帧率，可以在一个采集周期内，采集不同曝光时间的多帧图像的技术，然后通过多帧融合技术将对应的长曝光帧和短曝光帧融合成一帧，获取高动态范围的图像。其中，短曝光帧(或称“短曝光图像”)可以获取亮部信息；长曝光帧(或称“长曝光图像”)可以获取暗部信息，且长曝光帧噪声控制优异；将两帧图像融合，能够获取高光和阴影的收益(gain)。

示例性的，通过SHDR技术采集的图像可以如图1所示，包括周期性采集的一帧长曝光图像(如图1中标识字母“L”的帧)和一帧短曝光图像(如图1中标识字母“S”的帧)。

需要说明的是，受不同曝光时段和曝光时长的影响，SHDR在某些场景下可能无法获取理想的拍摄效果。比如，相比于非SHDR曝光的拍摄场景，SHDR场景由于要采集多种曝光参数下(如曝光时间)的图像，因此两帧图像之间的空白帧间隔会更短，不适宜应用于图像处理算法过于复杂的场景下。并且，SHDR用于融合成一张图像的两帧分别来自不同的曝光时段，且对应不同的曝光时长，而曝光时间越长，越可能产生拖影(或鬼影)，在融合时不可避免地会产生运动鬼影(仅在两帧曝光时间都很短的高亮场景可以达到较为理想的效果)。

2、合并(binning)

Binning是一种图像读出模式，将相邻的像素中感应的电荷加在一起，以一个像素的模式读出。例如，电子设备在拍摄图像的过程中，目标对象反射的光线被摄像头采集，以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件，每个感光元件采集到的电荷为一个像素，并对像素信息执行binning操作。具体地说，binning可以将n×n个像素合并为一个像素。例如，binning可以将相邻的2×2个像素合成为一个像素，也就是说，相邻2×2个像素的颜色以一个像素的形式呈现。

3、双转换增益(dual conversion gain，DCG)

DCG也是一种图像读出方式，其可以理解为在一个像素元电路当中做两次读取的能力，或者可以理解为在一个像素对应的感光单元当中有两个存储光子能量的电容。本申请实施例中涉及的DCG可以具体指对基于一次曝光操作的图像进行两次转换增益读出。

在本申请实施例中，可以利用DCG扩大动态范围，其实现原理为：具有双转换增益DCG能力的图像传感器，一个像素有两个势阱，两个势阱对应不同的满阱容量以及不同的转换增益CG，大满阱容量对应低转换增益(low conversion gain，LCG)、低感光度，小满阱容量对应高转换增益(high conversion gain，HCG)、高感光度。这样，传感器可以在同一场景下使用两个势阱(两种感光度)和两种转换增益，一次曝光获取两张图像：高感光模式下的图像和低感光模式下的图像。再由电子设备将获取的两张图像合成一张图像，也就是HDR技术。

作为一个示例，基于同一次短曝光，DCG两次读出的图像可以分别如图2A所示，其中，LCG帧为应用LCG增益信号读出的一帧图像，可以保护高光区域不过曝；HCG帧为应用HCG增益信号读出的一帧图像，可以提高阴影亮度，同时控制噪声。之后，将两帧图像融合，获取高光和阴影的收益，获取动态范围优化后的一张图像。

4、双模拟增益(dual analog gain，DAG)

作为另一种图像读出方式，与上述介绍的双转换增益DCG类似，DAG也是基于一次曝光通过两路模拟信号读取两帧图像，区别在于两者的读出方式不同。DAG读出模式分别采用两种模拟增益进行图像读出，这两种模拟增益包括包括：低模拟增益(low analog gain，LAG)和高模拟增益(high analog gain，HAG)，其中，LAG可以保护高光区域不过曝；HAG可以提亮阴影，同时控制噪声。

作为一个示例，基于同一次短曝光，DAG两次读出的图像可以分别如图2B所示，其中，LAG帧为应用LAG读出的一帧图像，HAG帧为应用HAG读出的一帧图像。之后，将两帧图像融合，获取高光和阴影的收益，扩大动态范围。相比于转换增益(conversion gain，CG)，模拟增益(analog gain，AG)具有更好的噪声控制能力。

需要说明的是，由于上述DCG和DAG的两帧图像均来自一次曝光的不同读出，因此两帧图像融合之后不会存在鬼影问题，适合各录像场景的广泛使用。

还需要说明的是，在本申请实施例中，还可以将上述DCG和DAG技术叠加以扩大动态范围。为了便于描述，本申请实施例将DCG和DAG叠加使用的方式称为DXG。示例性的，DCG和DAG可以根据感光比进行叠加，比如如果需要高增益信号读出的图像和低增益读出的图像之间的感光比为1：16，那么可以利用DCG获取感光比为1：2的两帧图像，再利用DAG获取感光比为1：8的两帧图像，两者感光比相乘后获得1：16的感光比图像。

5、单幅动态范围DXG(intra-scene DXG，iDXG)

为了便于区分，本申请实施例将在图像传感器内将通过DXG方式获取的两帧融合成一帧的方式称为iDXG。

6、RAW图像(或称RAW域图像)

也即原始图像，包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理的数据。RAW图像包含了图像最原始的信息，未经过图像信号处理(image signalprocessing，ISP)过程中的非线性处理。

7、HDR10视频

HDR10视频是按照静态元数据进行配置的，例如该HDR10的PQ转换曲线是按照显示器的基准显示亮度进行固定映射的。其中，该HDR10视频的比特深度为10bit；该静态元数据可以满足SMPTE ST2086或者其他标准中的定义。

8、HDR10+视频

HDR10+是以HDR为基础继续改良的，HDR10+支持动态元数据即HDR10+可以根据视频中的不同场景，调节或强化影像亮度、对比以及色彩饱和度等，使得HDR10+视频中的每帧画面都拥有独立调节的HDR效果。其中，该HDR10+视频的比特深度为12bit；该动态元数据可以满足SMPTE ST2094或者其他标准中的定义。

9、亮度场景

亮度场景也可以称为亮度级别。在本申请实施例中，亮度场景可以用于确定图像采集的曝光方式(DXG或SHDR)。其中，亮度场景可以包括：高亮场景、中等场景以及暗光场景等。

示例性的，亮度场景可以对应于不同的亮度范围，设备可以根据被拍摄对象反射的光照强度区分不同的亮度级别。例如，高亮场景对应的亮度范围可以为大于50000勒克斯(lux)，中等亮度场景对应的亮度范围可以为50000lux-10lux，暗光场景对应的亮度范围可以为10lux-0lux。

需要说明的是，本申请实施例中描述的亮度等级可以不限于上述三种。并且，这三种亮度场景分别对应的亮度范围仅作为一种示例，不同亮度场景下所对应的亮度范围的取值也可以为其他数值，本申请实施例对此不作限定。

示例性的，如图3所示，为本申请实施例提供的一种电子设备100的结构示意图。

图1示出了电子设备100的结构示意图。终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。

耳机接口170D用于连接有线耳机。

传感器模块180可以包括1个或多个传感器，这些传感器可以为相同类型或不同类型。传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器等。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)，有机发光二极管(Organic Light-EmittingDiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的，AMOLED)，柔性发光二极管(Flex Light-EmittingDiode，FLED)，Mini LED，Micro LED，Micro-OLED，量子点发光二极管(Quantum Dot LightEmitting Diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100通过GPU、显示屏194以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能、图像视频播放功能等)等。在存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据、电话本等)等。

在一些实施例中，内部存储器121可以存储自动曝光控制(automatic exposurecontrol，AEC)以及曝光模式切换方法相关的代码。处理器通过运行AEC相关的代码可以实现自动曝光控制的过程，通过运行曝光模式切换方法相关的代码可以实现摄像头中图像传感器的曝光模式的切换。

在一些实施例中，AEC模块可以包括AEC算法模块和AEC统计模块。其中，AEC统计模块用于统计分析所采集图像中的参数情况，比如图像亮度等。AEC算法模块可以根据统计结果自动调整摄像头的曝光参数，AEC算法模块还可以根据统计结果估计环境光亮度。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现获取图像的功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像或视频。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB，YUV等格式的图像或视频信号。

在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。例如，在一些实施例中，电子设备100可以利用N个摄像头193获取多个曝光系数的图像，进而，在视频后处理中，电子设备100可以根据多个曝光系数的图像，通过高动态范围(HighDynamic Range，HDR)技术合成HDR图像。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(Moving Picture Experts Group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

示例性的，电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

示例性的，如图4所示，为本申请实施例提供的一种电子设备100的软件结构框图。

在一些实施例中，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在本申请的实施例中，具体地，系统从上至下可以包括应用程序层，硬件抽象层以及内核层。其中，应用程序层和硬件抽象层之间还可以包括应用程序框架层，系统库，运行时等。

应用程序层可以包括一系列应用程序包。如图4所示，应用程序包可以包括相机，图库，音乐，视频，通话等应用程序(或称应用)。

硬件抽象层屏蔽了不同硬件设备的差异，为系统提供标准接口，如图4所示，硬件抽象层通过标准的HAL接口向内核层传输数据，并接纳内核层上传的数据。硬件抽象层可以包含多个库模块，其中，每个库模块都为特定类型的硬件组件实现一组接口，比如，无线保真(wireless fidelity，Wi-Fi)/蓝牙(bluetooth)模块，相机模块。当应用程序框架层应用程序接口请求访问设备硬件时，系统将为该硬件加载相应的库模块。

在一些实施例中，硬件抽象层还可以包括相机模块。该相机模块可以包括自动曝光控制(automatic exposure control，AEC)模块和图像处理管线。其中，AEC模块可以用于实现自动曝光控制，具体地，AEC模块可以从系统配置文件中获取曝光参数，并将曝光参数配置给图像传感器。图像传感器根据曝光参数捕获图像。AEC模块中的AEC统计模块可以统计分析所采集图像中的参数情况，比如，图像亮度等。AEC模块还可以根据采集图像时采用的上述曝光参数以及图像亮度估计动态范围压缩增益(adrc gain)。该曝光模式控制模块可以用于根据估计的环境光量度控制摄像头的图像传感器的曝光模式。具体地，在亮光场景下，可以控制图像传感器工作在低感光模式下，从而延长曝光时间，使得曝光时间满足拍摄视频的曝光时间的需求。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，传感器驱动、传感器前端处理器、图像处理器前端、图像处理器后端等。其中，上述曝光模式控制模块可以通过摄像头驱动控制摄像头的图像传感器的曝光模式，AEC模块可以通过摄像头驱动向摄像头配置曝光参数。

下面结合录像场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是单击操作，该单击操作所作用的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获视频图像，显示屏194显示相机的预览界面，预览界面中显示捕获的视频图像。

应理解，由于动态范围、频闪、环境亮度等对图像质量均有影响，因而在不同场景下需要采用与实际拍摄情况适配的HDR方案进行图像曝光和处理。为了使得在录像场景下实现有效扩大动态范围，获取高质量的视频画面，本申请实施例提供的视频处理的方法，通过建立特定影响因素与曝光方式之间的对应关系，然后在视频拍摄过程中根据影响因素的实际情况在多个HDR方案之间无缝切换，从而实现于高动态范围影响因素适配的处理方式，有效提高录像场景下的扩展动态范围。

为了更好地理解本申请实施例提供的视频处理的方法，以下对本申请中涉及的几种曝光方式之间的差异以及几种曝光方式分别在哪些情况下被使用进行介绍。

示例性的，如图5所示，为本申请实施例提供的分别通过SHDR曝光方式，binning曝光和DXG曝光方式采集图像过程中的时序图。

SHDR通过改变快门速度(也即曝光条件)获取长短帧图像，可以节约后续图像读取及处理的算力，但是在曝光时间较长的情形下，SHDR容易使图像产生鬼影，所以其适用于曝光时间较短(环境亮度较高)的场景。

Binning曝光方式为单帧曝光，相比于DXG曝光方式来说，其曝光时间较长，例如可以长于SHDR曝光方式中的长曝光时间。以图5示出的几种曝光方式为例，binning曝光方式对应的曝光时间可以是最长的，具体曝光时间的数值可以根据需要设置，本申请实施例对此不作限定。

DXG曝光方式为两路增益信号(转换增益信号和模拟增益信号)同时曝光，获取不同增益(转换增益或模拟增益)两帧图像，虽然获取图像的过程相对复杂，但该方式不会导致鬼影问题，且曝光时间短，因此该曝光方式可以应用于中低环境亮度的场景。

综合上述各曝光方式的特点，对于动态范围较小的场景来说，图像明暗差别较小，可以采用binning单帧曝光方式。对于动态范围较大的场景，可以进一步判断当前场景是否存在频闪，也即进行flicker判断。如果存在频闪，则使用binning曝光方式，原因是binning曝光方式具有较长的曝光时间，可以有效克服由于交流电周期性变化带来的频闪现象；如果不存在频闪，可以进一步根据环境亮度判断使用SHDR或DXG曝光方式，其中，当环境亮度较高时，使用SHDR曝光方式，而环境亮度较低时，使用DXG曝光方式。

示例性的，下表1示出了不同影响因素下对应的曝光方式示例：

表1

影响因素	曝光方式
		环境高亮度+高动态范围	SHDR
环境中低亮度+高动态范围	DXG
		低动态范围	binning
存在频闪现象	binning
		存在热逃生现象	binning

需要说明的是，上述介绍的影响因素仅为示例，在实际应用中，可以根据需要灵活设置影响因素的类型，比如在一些情况下，可以仅考虑拍摄场景中的动态范围和环境亮度，而忽略频闪因素等。本申请实施例对此不作限定。

本申请实施例提供的视频处理的方法可以应用于需要进行HDR处理的多种场景下，尤其可以应用于录像过程中的HDR处理场景下。示例性的，如图6A至图6D所示，为本申请实施例提供的一些视频处理的方法实现过程中可能涉及的图形用户界面(graphical userinterface，GUI)的示意图。为便于理解，这里以手机中的GUI界面为例进行介绍。

需要说明的是，在本申请实施例中，用于触发视频处理过程的方式可以包括多种，比如可以通过针对设置于手机中的智能HDR开关控件输入点击操作触发视频处理过程；再比如，手机开机时，可以默认开启智能HDR功能，也即手机开机即可触发视频处理过程等等。

在一种可能的实现方式中，智能HDR的开关控件可以设置于手机的设置应用中。例如如图6A所示，为一种包括智能HDR开关控件的设置界面的示意图。该设置界面601包括拍摄参数设置区域、视频参数设置区域以及通用设置区域等。其中，拍摄参数设置区域可以具体包括照片比例设置栏、声控拍摄功能设置栏和笑脸抓拍设置栏等；视频参数设置区域可以具体包括视频分辨率设置栏、视频帧率设置栏和智能HDR设置栏等；通用设置区域可以具体包括参考线功能设置栏、水平仪功能设置栏(图中未示出)和定时拍摄功能设置栏等(图中未示出)。其中，智能HDR设置栏包括智能HDR的开关控件，当用户通过该开关控件开启智能HDR功能时，手机在录制视频的过程中可以根据拍摄场景智能启用HDR模式。

在另一种可能的实现方式中，智能HDR的开关控件还可以设置于手机的相机应用中。例如如图6B和图6C所示，为通过相机应用开启智能HDR功能时可能涉及的GUI示意图。具体来说，当手机接收到用户针对相机应用的开启操作(如针对主界面或锁屏界面中的相机图标的点击操作)后，可以显示如图6B所示的相机主界面603。示例性的，该相机主界面603可以包括图像预览区域、模式设置区域以及拍摄控件等。其中，模式设置区域605可以包括取景框、相册图标、拍摄控件604和旋转控件等。

其中，取景框用于获取拍摄预览的图像，实时显示预览图像。相册图标用于快捷进入相册，当手机检测到用户点击相册的图标后，可以在触摸屏上展示已经拍摄的照片或者视频等。拍摄控件604用于拍摄或者录像，当手机检测到用户点击拍摄控件后，手机执行拍照操作，并将拍摄的照片保存下来；或者，当手机处于录像模式时，用户点击拍摄控件后，手机执行录像操作，并将录制的录像保存下来。摄像头旋转控件用于控制前置摄像头和后置和摄像头的切换。

此外，该相机主界面603还包括用于设置拍摄模式的功能控件，例如图6B所示的光圈拍摄模式、夜景拍摄模式、人像拍摄模式、录像模式、拍照模式和更多等。其中，如图6C所示，更多里还可以包括慢动作模式、全景模式、黑白艺术模式、双景录像模式、滤镜模式、智能HDR模式等。

在一些实施例中，当用户通过相机应用拍摄视频时，可以针对图6C所示的智能HDR图标输入特定操作，以开启智能HDR功能。

在一些实施例中，当智能HDR开关打开时，在录像预览场景(录制未开始)可以支持人工智能(artificial intelligence，AI)提示能力。比如，在环境高亮且高动态场景下，对应的曝光方式为SHDR状态，此时，预览界面可以显示提示信息：“逆光HDR”；再比如，在环境中低亮度且高动态场景下，对应的曝光方式为DXG状态，当环境亮度小于一定阈值时，预览界面可以显示提示信息：“夜景HDR”。

需要说明的是，图6A至图6C示出的智能HDR开关控件的位置仅为示例，在实际应用中，该智能HDR开关控件不仅限于设置于设置应用以及相机应用中。此外，上述实施例仅以用户手机开启智能HDR功能作为示例进行介绍，但在另一些实施例中，开启智能HDR的方式可以有多种，比如当手机开机时，该智能HDR功能可以默认开启；再比如，当手机检测到有预设的触发事件发生时，可以自动开启智能HDR功能。在又一些实施例中，如果电子设备不支持智能HDR功能(如由于硬件限制)，那么HDR开关的控件图标可以置灰。本申请对此不作限定。

在一些实施例中，当电子设备检测当前拍摄环境中场景亮度差别较大，且智能HDR功能处于关闭状态，那么还可以通过多种方式提示用户开启智能HDR功能。比如，当用户逆光拍摄某山洞时，逆光部分的光亮等级较高，而山洞部分的光亮等级较低，两者相差较大，此时，拍摄设备可以通过(artificial intelligence，AI)提示用户开启智能HDR功能，如可以在拍摄界面上显示如图6D所示的提示信息“当前拍摄画面的明暗差别较大，可点击“更多”选项中的智能HDR功能，改善画质”。

在一些实施例中，当智能HDR功能处于开启状态时，那么拍摄过程中手机可以按照与当前实际拍摄情况匹配的HDR方案进行曝光和图像处理，获取高动态范围的视频画面，智能HDR开启下的拍摄画面能够更清楚地呈现出亮部区域和暗部区域的细节，不至于存在亮度过高或亮度太低导致细节模糊的情况。

值得注意的是，这里所说的预设的HDR方案是指手机根据实际拍摄环境所对应的动态范围、频闪状态、拍摄环境的亮度等因素确定的HDR方案。不同的HDR方案的区别主要在于曝光方式以及图像处理的方式不同，在实际应用中，手机根据实际拍摄条件，可以在多种支持的曝光方式之间进行无缝切换。结合上文中的介绍，本申请实施例中可供选择的曝光方式例如可以包括：SHDR，DXG，binning。需要说明的是，不同场景下，供选择使用的曝光方式可以有所不同，比如受限于设备的硬件性能，对于不支持DXG曝光方式的设备，可供选择的曝光方式也可以仅包括SHDR和binning。

在一些实施例中，控制智能HDR开关控件的底层实现过程可以包括：HAL上报多状态切换视频HDR能力，区分产品。APP根据上报的能力，配置“智能HDR“开关。APP根据模式和场景，确认开关状态：开启/关闭/置灰。APP根据开关状态，下发HDR能力开启和关闭的命令给HAL。在关闭的情况下，仅使用binning能力。HAL上报AECHDR状态tag,用于支持AI提示和推荐。

上文介绍了不同的曝光方式的原理及智能HDR的开启方式，为了更好地理解本申请实施例提供的视频处理的方法，以下对具体执行该方法的具体功能模块以及该方法的底层实现过程进行介绍。

示例性的，如图7所示，为本申请实施例提供的一种视频处理的方法实现时，各相关模块之间数据流交互的示意图。

如图7所示，电子设备100包括图像传感器(camera sensor)，自动曝光控制(automatic exposure control，AEC)模块，传感器前端处理器(或称融合模块)，图像处理器前端，多摄平滑切换模块，图像处理器后端及其包括的局部色调映射(local tonemapping，LTM)模块等。

图像传感器，可对应于图3所示的摄像头193，主要用于拍摄视频图像。在一些实施例中，图像传感器通过曝光采集图像帧，当被拍摄对象的反射光通过透镜后，汇聚在图像传感器上；图像传感器可以将光信号转换成模拟电信号，并将模拟电信号传输至融合模块。其中，图像传感器输出的为其采集的原始数字图像，即原始(RAW)图像。在一些实施例中，拍摄的初始阶段(开启相机时)，图像传感器可以按照默认曝光方式采集图像，后续当确定与当前拍摄条件适配的曝光方式之后，图像传感器可以在AEC模块的指示下，采用目标方式进行拍摄。其中，默认的曝光方式例如可以是binning曝光方式，但本申请实施例对此不作限定。

在一些实施例中，当使用不同的曝光方式采集图像时，针对同一时刻的相同画面，图像传感器可能输出不同数量的帧。比如，当采用binning曝光方式进行拍摄时，图像传感器输出单帧(如图1中的长曝光帧)；当采用DXG曝光方式进行拍摄时，图像传感器输出双帧。

此外，在本申请实施例中，图像传感器还可以进行图像融合，比如在DXG曝光方式下，图像传感器获取两帧图像之后，可以将两帧图像融合成一帧。图像传感器还可以用于调整图像参数(如图像尺寸、比特深度等)，如将不同曝光方式获取的图像尺寸均调整为一致的目标尺寸；或将不同曝光方式获取的图像比特深度均调整为一致的目标比特深度等。

传感器前端处理器(也即融合模块)，用于对图像传感器采集到的RAW图像帧进行融合，可以实现单帧输入单帧输出，或者两帧输入单帧输出。

比如，SHDR曝光方式可以获取曝光时间不同的两帧图像，因此当采用SHDR曝光方式进行拍摄时，图像传感器向融合模块输入的初始图像可以是一定帧率(如30fps)且曝光时间不同的两帧图像，也即双帧模式。融合模块获取初始图像之后，将曝光时间不同的两帧图像融合成一帧，并且将融合后图像参数调整为预设的目标参数，如将输入图像的初始格式RAW10调整为目标格式RAW14。

再比如，DXG曝光方式为基于一次曝光获取两帧图像，因此当采用DXG曝光方式进行拍摄时，图像传感器的一次曝光可以对应向融合模块输入两帧初始图像，同样为双帧模式。这两帧初始图像可以是通过高转换增益和低转换增益分别读取的图像，或者这两帧图像还可以是通过高模拟增益和低模拟增益分别读取的图像，或者这两帧图像还可以是对通过转换增和模拟增益读取的图像进行叠加后的图像。输入图像初始格式例如可以是RAW10，帧率例如可以是30fps。融合模块获取初始图像之后，将不同增益读出的两帧图像融合成一帧，并且可以将融合后图像参数调整为预设的目标参数，如将输入的初始格式RAW10调整为目标格式RAW14。

又比如，binning曝光方式可以获取单帧图像，当采用binning曝光方式进行拍摄时，图像传感器的一次曝光可以对应向融合模块输入单帧初始图像，也即单帧模式。融合模块获取初始图像之后，无需进行图像融合，但可以根据需求调整图像参数，如将输入的初始格式RAW10调整为目标格式RAW14。

需要说明的是，对初始图像进行格式调整的目的是为了将不同曝光方式获取的图像统一为相同的格式(尺寸、比特深度等)，以便后续播放视频时画面尺寸发生跳变。

在一些实施例中，如果图像传感器对图像进行了融合，那么就可以单帧输入融合模块，此时融合模块可以无需对图像做融合处理，也可以不调整图像尺寸，而是单帧输出至图像处理器前端进行进一步处理。

图像处理器前端(图像处理器前端)，用于对图像进行前端处理，得到初始预览图像。图像处理器前端具体可以包括统计模块(STATS)和GTM模块，其中，GTM模块用于对图像暗部进行全局提亮，改善画质。

在一些实施例中，图像处理器前端输出的图像可以分为以下两路传输路径：

(1)一路传输路径为从图像处理器前端传输至图像处理器后端进行后端处理。其中，图像处理器后端可以包括局部色调映射(local tone mapping，LTM)模块，该LTM模块用于对图像暗部进行局部提亮。之后，图像处理器后端将后端处理后的图像继续传输至感知模块，该感知模块可以根据图像获取环境亮度，并将环境亮度指示给自动曝光控制AEC模块。然后，AEC模块根据该环境亮度确定曝光方式，并指示图像传感器对曝光方式进行切换。或者，感知模块可以根据图像获取环境亮度，并根据环境亮度确定曝光方式，然后将曝光方式指示给AEC模块。之后，AEC模块根据该环境亮度确定曝光方式，并指示图像传感器对曝光方式进行切换。

在一些实施例中，感知模块根据图像获取环境亮度的方式可以包括：根据当前图像传感器的状态、曝光参数以及图像帧的亮度通道信息，综合判断环境亮度。

需要注意的是，虽然AEC模块可以用于控制曝光方式，但系统的AEC模块本身并不具备确定SHDR和DXG曝光方式的使能条件，而是需要结合感知模块的环境亮度检测结果，当环境亮度大于X时，采用SHDR曝光方式，当环境亮度小于Y时，采用DXG曝光方式。X和Y可以根据实际需求设置，但为了防止乒乓，可采用双阈值设计，也即X大于Y，如X＝500lux，Y＝300lux。

(2)另一路传输流程为从图像处理器前端传输至多摄平滑切换模块，该多摄平滑切换模块用于利用多摄平滑切换算法(如SAT(spatial alignment transform)算法)实现一个摄像头到另一个摄像头图像平滑切换的过程。多摄平滑切换模块进行图像平滑切换之后，可以将处理后的图像传输至图像处理器后端。其中，该图像处理器后端可以通过其包括的LTM模块对图像暗部进行局部提亮。之后，可以按照特定的帧率(如30fps)输出预览视频图像，或者按照特定的帧率(如30fps)生成并存储视频类型(vedio)文件。

应理解，图像处理器前端和图像处理器后端对图像分别进行前端处理和后端处理的过程可以参见现有流程，此处不再详述。

需要说明的是，在本申请实施例中，多摄平滑切换模块执行的平滑切换操作主要用于实现HDR摄像头和非HDR摄像头分别拍摄的图像之间的切换。具体来说，当在视频拍摄过程中存在HDR摄像头和非HDR摄像头之间的切换，那么多摄平滑切换模块可以用于将HDR摄像头的图像平滑切换为非HDR摄像头的图像，或者将非HDR摄像头的图像平滑切换为HDR摄像头的图像，也即实现两种不同类型摄像头所采集的图像之间的平滑切换，以保证视频的流畅播放，避免直接切换带来的图像画面跳变的问题。

还需要说明的是，本申请实施例中的HDR摄像头可以是主摄像头，非HDR摄像头可以是非主摄像头，例如广角摄像头等。可选地，本申请实施例所说的HDR摄像头和非HDR摄像头也可以并非特指两个不同的摄像头，而是可以指使用HDR模式的摄像头和未使用HDR模式的摄像头，例如某一摄像头，在其使用HDR方案采集图像时，将其视为HDR摄像头，而在其不使用HDR方案采集图像时，将其视为非HDR摄像头。

示例性的，如图8所示，为本申请实施例提供的一种视频处理的方法的示意性流程图。该方法的执行主体可以是上文中介绍的电子设备100，具体可以由电子设备中的各个功能模块实现。该方法可以包括以下步骤：

S801，AEC模块判断动态范围信息，并获取第一结果。

其中，这里的动态范围信息可以是动态范围或者动态范围压缩增益。动态范围压缩增益可以根据当前图像的动态范围和预设的标准动态范围计算获得。

在一些实施例中，在执行步骤S801之前，本申请实施例提供的视频处理的方法还可以包括：当接收到用户输入的用于开启拍摄的第一操作时，响应于该第一操作，电子设备的AEC模块可以指示图像传感器按照默认的曝光方式捕获图像；当AEC模块获取图像传感器捕获的图像之后，可以通过直方图获取当前图像的动态范围。其中，根据直方图获取当前图像动态范围的具体过程可以参见现有流程，本申请实施例对此不再详述。

在一些实施例中，在视频拍摄过程中，随着图像传感器捕获越来越多帧图像，AEC模块可以基于多帧图像获取当前的动态范围，如根据各帧图像对应的直方图获取平均动态范围。

S802，判断第一结果是否大于预设的第一阈值。

其中，第一阈值可以根据实际情况灵活设置，本申请实施例对此不作限定。

在一些实施例中，根据第一结果与第一阈值之间的相关关系，可以确定当前动态范围的等级。比如，当第一结果大于第一阈值时，说明当前拍摄画面的明暗差别较大，可以确定当前的动态范围为高动态范围；当第一结果不大于第一阈值时，说明当前拍摄画面的明暗差别较小，可以确定当前动态范围为中低动态范围。

需要说明的是，不同动态范围可以对应不同的曝光方式，如当为高动态范围时，确定曝光方式为binning，当为中低动态范围时，需要根据频闪情况、环境亮度以及预设判断方式进一步确定曝光方式。

S803，当第一结果不大于第一阈值时，AEC模块指示图像传感器采用binning曝光方式。

S804，当第一结果大于第一阈值时，AEC模块判断图像是否存在频闪，并获取第二结果。

S805，当第二结果指示存在频闪时，AEC模块指示图像传感器采用binning曝光方式。

在一些实施例中，在视频拍摄过程中，由于设备均使用交流电，因而可能导致拍摄画面存在频闪。根据频闪的结果，可以确定是否使用binning曝光方式，其中，当存在频闪时，确定使用binning曝光方式；当不存在频闪时，可以进一步根据环境亮度确定使用SHDR或DXG曝光方式。

需要说明的是，本申请实施例中的binning曝光方式对应的曝光时间可以大于或等于交流电周期，比如当交流电频率为50Hz时，binning曝光方式的曝光时间可以是10ms。

S806，当第二结果指示不存在频闪时，感知模块判断环境亮度。

在一些实施例中，感知模块可以获取图像传感器捕获的图像，并根据图像获取环境亮度。

S807，当环境亮度大于第二阈值时，AEC模块指示图像传感器采用SHDR曝光方式。

其中，第二阈值可以根据实际情况灵活设置，本申请实施例对此不作限定。

S808，当环境亮度小于第三阈值且大于第四阈值时，AEC模块指示图像传感器采用DXG曝光方式。

其中，第三阈值小于第二阈值。第三阈值和第四阈值可以根据实际情况灵活设置，本申请实施例对此不作限定。

S809，当环境亮度小于第四阈值时，AEC模块指示图像传感器采用binning曝光方式。

根据本申请实施例提供的视频处理的方法，通过根据环境亮度、需求的动态范围以及频闪检测等因素的变化，对多种类型HDR处理方案进行无缝切换，从而得以利用与实际拍摄情况及画质需求适配的HDR方案进行图像处理，实现有效扩大录像场景下的动态范围，提升录像场景下的图像画质。

需要说明的是，在另一些实施例中，如果电子设备的图像传感器不支持某些曝光方式(如DXG)，那么本申请实施例提供的视频处理的方法也可以按照SHDR和binning曝光方式进行切换，此时不同影响因素对应的曝光方式可以如表2所示：

表2

影响因素	曝光方式
		环境高亮度+高动态范围	SHDR
环境中低亮度+高动态范围	binning
		低动态范围	binning
存在频闪现象	binning
		存在热逃生现象	binning

或者，在又一些实施例中，如果电子设备的图像传感器不支持某些曝光方式(如SHDR)，那么本申请实施例提供的视频处理的方法也可以按照DCG和binning曝光方式进行切换，此时不同影响因素对应的曝光方式可以如表3所示：

表3

影响因素	曝光方式
		环境高亮度+高动态范围	DCG
环境中低亮度+高动态范围	DCG
		低动态范围	binning
存在热逃生现象	binning

不同曝光方式切换时，可以实现无缝切换效果。其中，实现无缝切换效果的具体实现手段将在下文进行详细介绍，此处暂不赘述。

示例性的，如图9所示，为本申请实施例提供的另一种视频处理的方法的示意性流程图。图9示出了各个功能模块之间的交互过程，具体可以包括以下步骤：

S901，自动曝光控制模块向图像传感器发送第一指示信息。

在一些实施例中，自动曝光模块可以预设默认的曝光方式，该默认曝光方式例如可以是binning。

在一些实施例中，在执行步骤S901之前，本申请实施例提供的视频处理的方法还可以包括：当接收到用户输入的用于开启拍摄的第一操作时，响应于该第一操作，电子设备的AEC模块可以指示图像传感器按照默认的曝光方式捕获图像。示例性的，第一操作可以用于开启视频录制，例如可以是点击如图6C所示的相机主界面中录像图像的操作等。

S902，图像传感器响应于第一指示信息，采用默认曝光方式捕获图像。

需要说明的是，在本申请实施例中，图像传感器仅用于采集原始图像，如RAW10格式的图像，而不对图像进行融合处理或者调整图像尺寸。

S903，图像传感器向融合模块发送第一图像。

其中，第一图像可以图像传感器采集的原始图像，如RAW10格式的图像。

可选地，当默认的曝光方式为SHDR或DXG等曝光方式捕获双帧模式的图像时，还可以执行步骤S904，也即融合模块对第一图像进行多帧融合。而在图像传感器采用binning曝光方式捕获单帧模式的图像时，可以以单帧模式输入融合模块，此时融合模块无需进行融合处理，可以仅调整图像参数。

S905，融合模块向图像处理器前端发送第二图像。

其中，第二图像可以是融合模块进行处理之后的图像，融合模块可以用于对获取的图像进行融合处理，还可以通过部位调整图像尺寸。

S906，图像处理器前端向图像处理器后端发送第三图像。

其中，第三图像可以为图像处理器前端对第二图像进行前端处理后的图像。

在一些实施例中，图像处理器前端对图像进行前端处理之后，可以按照两路传输流程输出第三图像，一路传输流程为将第三图像传输至多摄平滑切换模块，然后多摄平滑切换模块将其传输至图像处理器后端，图像处理器后端接收到图像之后可以执行下述步骤S907A；另一路传输流程为将第三图像传输至图像处理器后端，之后，图像处理器后端将该图像发送至感知模块，也即执行下步骤S907B。

S907A，图像处理器后端进行后端处理，获取预览视频及存储的视频文件。

S907B，图像处理器后端向感知模块发送第四图像。

其中，第四图像可以是图像处理器对第三图像进行后端处理后的图像。

S908，感知模块基于第四图像获取环境亮度。

S909，感知模块向自动曝光控制模块发送环境亮度。

S910，自动曝光控制模块根据预设影响因素确定曝光方式，该影响因素包括环境亮度。

S911，自动曝光控制模块向图像传感器发送第二指示信息。

其中，第二指示信息用于指示图像传感器采用目标曝光方式捕获图像。

S912，图像传感器响应于第二指示信息，继续采用默认曝光方式或者其它曝光方式。

当图像传感器采用目标曝光方式采集到原始图像(如RAW10图像)之后，可以按照上述步骤S903至步骤S911，进行实时曝光方式的确定，并通过目标曝光方式捕获图像及处理图像。

根据本申请实施例提供的视频处理的方法，通过根据环境亮度、需求的动态范围以及频闪检测等因素的变化，对多种类型HDR处理方案进行无缝切换，从而得以利用与实际拍摄环境及画质需求适配的HDR方案进行图像处理，实现有效扩大录像场景下的动态范围，提升录像场景下的图像画质。

需要说明的是，在本申请实施例提供的视频处理的方法中，当图像传感器具有融合图像和调整图像尺寸的功能时，可以由图像传感器执行融合DXG曝光方式多帧图像和调整图像尺寸的操作。以下结合附图，对该方式下的视频处理过程进行介绍。

示例性的，如图10所示，为本申请实施例提供的另一种视频处理的方法实现时，各相关模块之间数据流交互的示意图。

在一些实施例中，当开启视频拍摄时，自动曝光控制模块可以向图像传感器发送曝光指示信息，指示图像传感器采用默认的曝光方式(如binning曝光方式)捕获图像。图像传感器根据默认曝光方式采集图像(如RAW10)，并对图像进行融合(在DXG或SHDR曝光方式下)和图像参数(如图像尺寸、比特深度等)调整，之后输出图像(如RAW14)至融合模块。融合模块将获取的图像透传至图像处理器前端，图像处理器前端对图像进行前端处理之后，按照两路传输路径输出图像：(1)一路传输路径为，图像处理器前端将图像传输至图像处理器后端，图像处理器后端可以对图像进行后端处理，之后将图像传输至感知模块，感知模块可以根据图像获取环境亮度，并将环境亮度传输至决策模块，决策模块用于根据环境亮度确定目标曝光方式，其中，目标曝光方式是与当前动态范围、频闪状态、环境亮度等实际情况匹配的曝光方式；之后，决策模块向图像传感器发送曝光方式指示信息，指示图像传感器切换为目标曝光方式。(2)另一路传输路径为，图像处理器前端将图像传输至多摄平滑切换模块，可选地，多摄平滑切换模块可以利用多摄平滑切换算法实现一个摄像头到另一个摄像头图像的平滑切换。多摄平滑切换模块进行图像平滑切换之后，可以将处理后的图像传输至图像处理器后端。之后，图像出处理器后端模可以通过其包括的LTM模块对图像暗部进行局部提亮，之后可以按照特定的帧率(如30fps)输出预览视频图像，或者按照特定的帧率(如30fps)生成并存储视频类型(vedio)文件。

示例性的，如图11所示，为本申请实施例提供的另一种视频处理的方法的示意性流程图。图11示出了各个功能模块之间的交互过程，具体可以包括以下步骤：

S1101，自动曝光控制模块向图像传感器发送第一指示信息。

一些实施例中，在执行步骤S1101之前，本申请实施例提供的视频处理的方法还可以包括：当接收到用户输入的用于开启拍摄的第一操作时，响应于该第一操作，电子设备的AEC模块可以指示图像传感器按照默认的曝光方式捕获图像。示例性的，第一操作可以用于开启视频录制，例如可以是点击如图6C所示的相机主界面中录像图像的操作等。

S1102，图像传感器响应于第一指示信息，采用默认曝光方式捕获图像，并且按照预设策略进行图像处理。

需要说明的是，与上文图9实施例不同的是，本申请实施例中的图像传感器可以具备融合图像、调整图像尺寸等能力，能够按照预设策略进行图像处理。比如，当默认的曝光方式为DCG或DAG或DXG等双帧模块获取图像时，图像传感器可以对双帧第一图像进行融合。而在图像传感器采用binning曝光方式捕获图像时，单帧模式输入融合模块，此时融合模块无需进行融合处理，可以仅调整图像尺寸。

示例性的，为了便于描述，本申请实施例将在图像传感器中通过DXG方式获取两帧图像，并进行融合的方式记为iDXG。参见图11，图像传感器融合双帧图像的方式可以包括：获取预设感光比的两帧图像，然后将这两帧图像进行融合，获取具有更大动态范围的图像。受限于图像传感器的硬件性能，通过iDXG方式获取的两帧图像的感光比可以预先设置，比如iDXG1：4，iDXG1：8或者iDXG1：16等几种固定值。

不同切换条件可以对应不同的感光比，比如：在高动态场景下，可以对应iDXG1：4(也即采用iDXG曝光方式，且感光比为1：4)；在极高动态场景下，可以对应iDXG 1:16(也即采用iDXG曝光方式，且感光比为1：16)；在中低动态场景下，可以对应binning曝光方式；在热逃生场景下，可以对应binning曝光方式。

其中，对于极高动态、高动态和中低动态范围可以根据需求进行划分，本申请对各个动态范围不作具体限定。

与此不同的是，在图9实施例中，在融合模块进行双帧图像融合时，对两帧图像的感光比可以灵活设置，并不局限于几组固定值。因而，图9实施例的融合方式能够便于灵活调整图像的光亮度，而图11实施例的融合方式可以在保证图像传感器性能的基础上，实现图像的HDR处理。

S1103，图像传感器将第五图像发送至图像处理器前端。

具体地，图像传感器可以将第五图像先传输至融合模块，然后由融合模块将第五图像透传至图像处理器前端。

S1104，图像处理器前端向图像处理器后端发送第六图像。

其中，第六图像可以为图像处理器前端对第五图像进行前端处理后的图像。

在一些实施例中，图像处理器前端对图像进行前端处理之后，可以按照两路传输流程输出第六图像，一路传输流程为将第六图像传输至多摄平滑切换模块，然后多摄平滑切换模块将其传输至图像处理器后端，图像处理器后端接收到图像之后可以执行下述步骤S1105A；另一路传输流程为直接将第六图像传输至图像处理器后端，之后，图像处理器后端将该图像发送至感知模块，也即执行下步骤S1105B。

S1105A，图像处理器后端进行后端处理，获取预览视频及存储的视频文件。

S1105B，图像处理器后端向感知模块发送第七图像。

S1106，感知模块基于第七图像获取环境亮度。

S1107，感知模块向决策模块发送环境亮度。

需要说明的是，这里的决策模块可以是额外设置的模块，或者也可以是自动曝光控制中的子模块，本申请实施例对此不作限定。

S1108，感知模块根据预设策略确定目标曝光方式。

其中，预设策略是指根据当前的动态范围、是否存在频闪、环境亮度等确定目标曝光方式的策略，可以对应于上文图8实施例中介绍的确定目标曝光方式的策略。

S1109，决策模块向图像传感器发送第二指示信息。

S1110，图像传感器响应于第二指示信息，采用目标曝光方式捕获图像。

当图像传感器采用目标曝光方式采集到原始图像(如RAW10图像)之后，可以按照上述步骤S1103至步骤S1109，进行实时曝光方式的确定，并通过目标曝光方式捕获图像及处理图像。

在本申请实施例提供的视频处理的方法中，在视频拍摄时，HDR模式和非HDR模式可以相互切换，其中，HDR模式也即通过HDR技术进行处理的视频拍摄模式，非HDR模式也即不采用HDR技术进行处理的视频拍摄模式。通常来说，电子设备的主摄像头和副摄像头被包含在一个逻辑摄像头(logical camera)中，其中，主摄像头具备HDR能力，副摄像头可以具备其它能力(如超广角能力)，而不具备HDR能力，因此当视频拍摄时需要进行HDR模式和非HDR模式之间的切换时，可以通过主摄像头和副摄像头之间的切换来实现。

示例性的，如图12所示，为本申请实施例提供的一种主摄像头和副摄像头切换场景下的视频处理的方法的示意性流程图。

其中，当主摄像头和副摄像头进行切换时，为了减轻切换之后的图像的跳变，可以通过以下方式：

(1)在低动态场景下，或者存在频闪或存在热逃生现象的场景下，采用的曝光方式为binning，此时系统的动态范围增益持平，图像效果无跳变。

(2)在高动态，且不存在频闪或热逃生现象的场景下，主摄像头可以根据上文介绍的方式所确定的目标曝光方式捕获图像，副摄像头使用binning曝光方式且保持最大的动态范围，尽量与主摄像头的动态范围接近，以减轻图像的跳变。

请参见图12所示，在一些实施例中，主摄像头可以通过多种曝光方式捕获图像，包括SHDR，DXG以及binning曝光方式。主摄像头捕获图像之后可以将初始图像(如RAW10图像)传输至融合模块，当以双帧模式输入融合模块时，融合模块双帧图像进行融合，并将融合之后的图像(RAW14图像)传输至图像处理器前端0。

副摄像头可以通过binning曝光方式捕获图像，然后将捕获的初始图像(如RAW图像)传输至图像处理器前端1。

图像处理器前端0和图像处理器前端1可以将各自进行前端处理后的图像传输至多摄平滑切换模块。该多摄平滑切换模块可以根据多摄平滑切换算法对不同摄像头对应的图像进行处理，实现两种不同类型摄像头所采集的图像之间的平滑切换，以保证视频的流畅播放，避免直接切换带来的图像画面跳变的问题。

之后，融合模块可以将图像继续传输至图像处理器后端，该图像处理器后端可以通过预览流防抖模块(如EIS2.0和EIS3.0)对图像进行防抖处理，之后通过图象仿射变换模块、色彩转换矩阵(CCM)模块、伽马变换(Gamma)模块对图像进行进一步处理，具体处理过程可以参见现有流程和原理，此处不在赘述。

通过上述图像处理器后端处理之后，可以获取一定帧率(如30fps)的预览图象和一定帧率(如30fps)的视频存储文件。

在本申请实施例提供的视频处理的方法中，可以支持多种HDR能力，比如可以支持HDR10+视频能力，也即电子设备可以应用HDR10+技术进行视频录制或播放。在一些实施例中，HDR10+能力可以主要作用于图像处理器后端部分，包括色彩转换矩阵模块调整为BT.2020，伽马变换调整为PQ转换曲线，生成动态元数据等。也即HDR10+技术可以与不同曝光方式的无缝切换同时使用。其中，应用HDR10+技术的曝光方式切换的通路可以参见图9，此处不再详述。

在一些实施例中，当电子设备支持多状态HDR能力时，可以设置对应的开关控件。此外，当电子设备支持其它HDR技术(以HDR10+为例)时，也可以设置该HDR10+对应的开关控件。对于不支持多状态HDR或者HDR10+的电子设备，该电子设备上多状态HDR或者HDR10+对应的开关控件可以置灰。

以下结合附图，以调整比特位深为例，对调整不同曝光方式对应的图像参数的过程进行介绍。

示例性的，如图13所示，为本申请实施例提供的一种调整图像参数的方式的示意图。

在一些实施例中，调整图像参数的方式可以包括：通过Pad0方式在低位补0，使得不同曝光方式对应的图像具有相同的比特位深。比如，结合图13所示，iDCG1：4曝光方式对应的图像在低位2位补0，其中，1：4为iDCG不同增益的两帧图像之间的感光比；binning曝光方式对应的图像在低位4位补0，低位补0之后，iDCG和binning曝光方式获取的图像具有相同的比特位深。

示例性的，如图14所示，为本申请实施例提供的一种调整图像参数的方式的示意图。

在一些实施例中，支持多种曝光方式(如binning，DXG，SHDR三种曝光方式)无缝切换的图像传感器设置，可以统一比特位深(bit depth)，如统一为RAW 14的比特位深。其中，对于比特位深不足14bit的图像，可以通过补位的方位将其统一为RAW14。

需要说明的是，在本申请实施例提供的视频处理的方法中，统一的比特位深可以是以iDXG图像的比特位深位准，原因是在本申请提供的几种曝光方式中，iDXG曝光方式对应的图像的比特位深最大。当在实际应用中，使用其它曝光方式时，统一比特位深还可以根据曝光方式的类型灵活设置，本申请实施例对此不作限定。

以统一比特位深时14bit为例，调整比特位深的方式可以如图13所示，包括：将binning曝光捕获的图像由10bit补位到14b；将iDXG曝光方式获取的，且感光比为1：4两帧融合后的图像，由12bit补位到14bit；将iDXG曝光方式获取的，且感光比为1:16的两帧融合后的图像本身为14bit，此时无需补位。

还需要说明的是，在本申请实施例提供的视频处理的方法中，不同曝光方式可以对应不同感光度比例。需要说明的是，感光度比例可以是曝光时间(exp)和系统增益(gain)之间的组合。系统增益可以设置多组，比如gain＝1，gain＝4，gain＝16等等。

假设当前存在3种曝光方式：binning，iDXG1：4，iDXG1：16，且三种曝光方式对应不同的曝光时间和系统增益，那么可以根据曝光时间和系统增益获取不同曝光方式对应的感光度比例。举例来说，获取感光度比例的原理可以包括：(1)当系统动态范围压缩增益为3.99(也即adrc gain＝3.99)，曝光方式为binning模式，曝光时间为a ms(exp＝a ms)，系统增益为1，曝光时间和系统增益组合后的感光度比例为1；(2)当系统动态范围压缩增益为4(也即adrc gain＝4)，曝光方式为iDXG1:4，曝光时间为ams(exp＝a ms)，系统增益为4，曝光时间和系统增益组合后的感光度比例为4；(3当系统动态范围压缩增益为4(也即adrcgain＝4)，曝光方式为iDXG1:16，曝光时间为ams(exp＝a ms)，系统增益为16，曝光时间和系统增益组合后的感光度比例为16。示例性的，各个曝光方式对应的感光度比例可以如表4所示：

表4

曝光方式	感光度比例
		binning	1
iDXG 1：4	4
		iDXG 1：16	16

在不同曝光方式下，AEC可以指示图像传感器使用该曝光方式对应的gain捕获图像，因此，通过不同曝光方式捕获的图像可能对应不同的感光度。为了避免不同曝光方式切换时，导致不同曝光方式对应的图像之间，由于感光度不同导致的图像亮度跳变，本申请实施例提供的视频处理的方法通过调整曝光方式对应的感光度比例来解决上述问题。

示例性的，以上表4给出的3中曝光方式和感光度比例作为示例。在上表4中的binning曝光方式对应感光度比例为1，iDXG1：4对应的感光度比例为4，当曝光方式从binning切换到iDXG1：4时，可以将iDXG1：4曝光方式增大到原来的4倍；或者，在上表4中的binning曝光方式对应感光度比例为1，iDXG1：16对应的感光度比例为16，当曝光方式从binning切换到iDXG1：16时，可以将iDXG1：16曝光方式增大到原来的16倍；或者，在上表4中的iDXG1：4曝光方式对应感光度比例为4，iDXG1：16对应的感光度比例为16，当曝光方式从iDXG1：4切换到iDXG1：16时，可以将iDXG1：16曝光方式增大到原来的4。需要说明的是，上述表4给出的几种感光度比例仅为示例，在实际应用中，不同曝光方式对应的感光度比例还可以为其它具体数值，本申请实施例对此不作限定。

通过对不同曝光方式切换时对应的图像的感光度进行调整，可以避免图像亮度的跳变，实现不同曝光方式切换时，视频图像也能对应地实现平缓切换，保证画质。

示例性的，如图15所示，为本申请实施例提供的又一种视频处理的方法的示意性流程图。该方式可以包括以下步骤：

S1501，接收用户输入的第一操作，该第一操作用于开启电子设备的录像的功能。

其中，第一操作可以对应于上述图6C中点击录像按钮的操作；或者，第一操作也可以对应于点击开启智能HDR功能的操作。

在一些实施例中，当开启录像功能后，电子设备可以显示第一界面，所述第一界面包括第一控件，所述第一控件用于开启自动切换所述HDR曝光方式功能。该第一界面例如可以对应于图6A或图6D所示的界面。

S1502，响应于第一操作，根据预设的默认高动态范围HDR曝光方式获取第一图像。

其中，本申请实施例中的曝光方式可以包括：binning曝光方式，SHDR曝光方式，DXG曝光方式等。其中，根据不同曝光方式对应的图像帧数量，可以分为第一HDR曝光方式和第二HDR曝光方式，第一HDR曝光方式为单帧模式，也即基于一次曝光可以获取一帧图像，该第一HDR曝光方式可以是binning模式；第二HDR曝光方式为双帧模式，也即基于一次曝光可以读取两帧图像，如DXG模式，或者进行长短两次曝光获取两帧图像，如SHDR模式。

在一些实施例中，可以预先设置默认HDR曝光方式，当接收到第一操作时，AEC模块可以指示图像传感器使用默认HDR曝光方式捕获图像。示例性的，默认HDR曝光方式例如可以是binning模式。

S1503，根据第一图像，获取环境亮度，并按照预设策略确定目标HDR曝光方式，该预设策略包括视频拍摄对应的动态范围信息、频闪状态以及环境亮度与目标HDR曝光方式之间的对应关系。

其中，这里的动态范围压缩信息可以包括动态范围和/或动态范围压缩增益。本申请实施例以动态范围为例来介绍。

在一些实施例中，按照预设策略确定目标HDR曝光方式的方式可以包括：获取所述视频拍摄对应的动态范围；当所述动态范围小于第一阈值时，确定所述目标HDR曝光方式为所述binning模式；当所述动态范围大于或等于所述第一阈值时，检测是否存在频闪；当存在频闪时，确定所述目标HDR曝光方式为所述binning模式；当不存在频闪时，根据所述环境亮度确定所述目标HDR曝光方式；其中，当所述环境亮度大于第二阈值时，确定所述目标HDR曝光方式为所述SHDR模式；当所述环境亮度小于第三阈值且大于第四阈值时，确定所述目标HDR曝光方式为所述DXG模式，其中，所述第三阈值小于第二阈值；当所述环境亮度小于所述第四阈值时，确定所述目标HDR曝光方式为所述binning模式。

需要说明的是，除了根据动态范围判断曝光方式，可以根据动态范围压缩增益来判断。其中，按照动态范围压缩增益判断曝光方式的过程与上述过程类似(可以将动态范围替换为动态范围压缩增益)，对此不再赘述。当将动态范围替换为动态范围压缩增益时，第一阈值的具体数值也可以随之改变，也即动态范围对应的第一阈值和动态范围压缩增益对应的第一阈值的具体数值可以不同。

在一些实施例中，按照预设策略确定目标HDR曝光方式的方式还可以包括：检测所述视频拍摄是否存在热逃生现象；当存在所述热逃生现象时，确定所述目标HDR曝光方式为所述binning模式。

在一些实施例中，当所述视频拍摄时，存在HDR摄像头和非HDR摄像头之间的切换时，所述方法还包括：当所述切换时，所述HDR摄像头的曝光方式为所述第一HDR曝光方式，所述非HDR摄像头对应的曝光方式为所述第二HDR曝光方式，则调节所述第一HDR曝光方式对应的第一动态范围增益，使得所述第一动态范围增益与所述第二HDR曝光方式对应的第二动态范围增益最接近。

S1504，当目标HDR曝光方式与默认HDR曝光方式不相同时，将默认HDR曝光方式切换为目标HDR曝光方式，并继续进行所述视频拍摄，获取第二图像。

在一些实施例中，当所述目标HDR曝光方式为所述第二HDR曝光方式时，对所述双帧模式的图像进行融合。

在一些实施例中，当所述目标HDR曝光方式为所述第二HDR曝光方式时，图像传感器将双帧模式的图像传输至所述融合模块；所述融合模块对所述双帧模式的图像进行融合；或者，当所述目标HDR曝光方式为所述第二HDR曝光方式时，所述图像传感器对所述双帧模式的图像进行融合。

在一些实施例中，当所述融合模块对所述双帧模式的图像进行融合时，根据所述DXG模式要求的感光比，分别确定所述DCG模式下的双帧输入图像和DAG模式下的双帧输入图像之间的目标感光度比例；根据所述目标感光度比例对所述DCG模式双帧输入图像和DAG模式下的双帧输入图像分别进行对应叠加，获取满足所述DXG模式感光比的叠加后的双帧输入图像。

在一些实施例中，当所述图像传感器对所述双帧模式的图像进行融合时，根据预设的感光度比例对所述DCG模式下的双帧输入图像和DAG模式下的双帧输入图像进行叠加。其中，以iDXG为例，感光度比例例如为1：4或1：16。

在一些实施例中，对于通过不同曝光方式获取的图像，可以将这些曝光方式分别对应的图像参数调整一致，具体过程可以包括：预设通过所述视频拍摄获取的图像所对应的目标参数；将基于所述第一HDR曝光方式获取的所述第一图像对应的初始参数调整为所述目标参数；和/或，将基于所述第二HDR曝光方式获取的所述第二图像对应的初始参数调整为所述目标参数。

在一些实施例中，所述电子设备支持所述第一HDR视频模式，所述第一HDR视频模式包括HDR10或HDR10+。

基于同样的技术构思，本申请实施例还提供了一种电子设备，包括一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

基于同样的技术构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机可执行程序指令，所述计算机可执行程序指令在被计算机上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

基于同样的技术构思，本申请实施例还提供了一种包含指令的计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种视频处理的方法，其特征在于，应用于电子设备，所述方法包括：

接收用户输入的第一操作，所述第一操作用于开启所述电子设备的录像的功能；

2.根据权利要求1所述的方法，其特征在于，所述目标HDR曝光方式至少包括第一HDR曝光方式和第二HDR曝光方式，所述第一HDR曝光方式为单帧模式，所述第二HDR曝光方式为双帧模式；

3.根据权利要求2所述的方法，其特征在于，所述第一HDR曝光方式为binning模式，所述第二HDR曝光方式包括交错高动态范围模式SHDR和DXG，所述DXG为双转换增益模式DCG和双模拟增益DAG叠加使用的模式。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

预设通过所述视频拍摄获取的图像所对应的目标参数；

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述电子设备包括自动曝光控制AEC模块、图像传感器、感知模块，

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述电子设备包括AEC模块、图像传感器、感知模块，

所述图像传感器将所述第一图像发送至所述感知模块；

7.根据权利要求2-6中任一项所述的方法，其特征在于，所述电子设备包括AEC模块、图像传感器、感知模块和融合模块，

所述融合模块对所述双帧模式的图像进行融合；或者，

8.根据权利要求7所述的方法，其特征在于，当所述融合模块对所述双帧模式的图像进行融合时，根据所述DXG模式要求的感光比，分别确定所述DCG模式下的双帧输入图像和DAG模式下的双帧输入图像之间的目标感光度比例；

9.根据权利要求7所述的方法，其特征在于，当所述图像传感器对所述双帧模式的图像进行融合时，根据预设的感光度比例对所述DCG模式下的双帧输入图像和DAG模式下的双帧输入图像进行叠加。

10.根据权利要求1-9中任一项所述的方法，其特征在于，所述按照预设策略确定目标HDR曝光方式，具体包括：

获取所述视频拍摄对应的动态范围；

当存在频闪时，确定所述目标HDR曝光方式为所述binning模式；

当所述环境亮度小于第三阈值且大于第四阈值时，确定所述目标HDR曝光方式为所述DXG模式，其中，所述第三阈值小于第二阈值；

当所述环境亮度小于所述第四阈值时，确定所述目标HDR曝光方式为所述binning模式。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

检测所述视频拍摄是否存在热逃生现象；

12.根据权利要求1-11中任一项所述的方法，其特征在于，所述电子设备支持所述第一HDR视频模式，所述第一HDR视频模式包括HDR10或HDR10+。

13.根据权利要求3-12中任一项所述的方法，其特征在于，当所述视频拍摄时，存在HDR摄像头和非HDR摄像头之间的切换时，所述方法还包括：

14.根据权利要求1-13中任一项所述的方法，其特征在于，所述方法还包括：

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1至14任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序指令，所述计算机可执行程序指令在被计算机上运行时，使所述计算机执行如权利要求1至14中任一项所述的方法。