CN117911299A - 视频处理方法和装置 - Google Patents

Abstract

本申请实施例提供一种视频处理方法和装置，涉及终端技术领域，应用于终端设备，方法包括：终端设备接收用于开始视频录制的操作；响应于开始视频录制的操作，终端设备启动视频录制；终端设备利用第一拍摄参数，采集拍摄场景的第一图像序列；终端设备根据拍摄场景调整拍摄参数，得到第二拍摄参数；终端设备利用第二拍摄参数，采集拍摄场景的第二图像序列；终端设备基于第一图像序列以及第二图像序列，得到视频处理结果。这样，终端设备可以为拍摄场景匹配合适的拍摄参数，并根据拍摄场景的变换，对拍摄参数进行动态调整，使得终端设备可以基于不同的拍摄参数得到拍摄效果较好的视频。

Description

视频处理方法和装置

本申请是2022年02月28日提交的申请号为202210193591.3、发明名称为《视频处理方法和装置》的发明专利申请的分案申请。

技术领域

本申请涉及终端技术领域，尤其涉及一种视频处理方法和装置。

背景技术

随着互联网的普及和发展，人们对于终端设备的功能需求也越发多样化，例如用户可以利用终端设备拍摄得到高动态范围(High Dynamic Range，HDR)视频。

通常情况下，受终端设备的HDR能力的限制，HDR视频可以支持的帧率固定为30帧/秒(fps)，然而基于上述帧率得到的HDR视频的拍摄效果不好。

发明内容

本申请实施例提供一种视频处理方法和装置，终端设备可以为拍摄场景匹配合适的拍摄参数，并根据拍摄场景的变换，对拍摄参数进行动态调整，使得终端设备可以基于不同的拍摄参数得到拍摄效果较好的视频。

第一方面，本申请实施例提供一种视频处理方法，应用于终端设备，方法包括：终端设备接收用于开始视频录制的操作；响应于开始视频录制的操作，终端设备启动视频录制；终端设备利用第一拍摄参数，采集拍摄场景的第一图像序列；第一拍摄参数用于指示终端设备基于双转换增益DCG进行视频录制时所采用的拍摄参数；终端设备根据拍摄场景调整拍摄参数，得到第二拍摄参数；终端设备利用第二拍摄参数，采集拍摄场景的第二图像序列；终端设备基于第一图像序列以及第二图像序列，得到视频处理结果。这样，终端设备可以为拍摄场景匹配合适的拍摄参数，并根据拍摄场景的变换，对拍摄参数进行动态调整，使得终端设备可以基于不同的拍摄参数得到拍摄效果较好的视频。

其中，该第一拍摄参数可以为本申请实施例中的DCG设置信息；第二拍摄参数可以为本申请实施例中的binning设置信息。

在一种可能的实现方式中，终端设备接收用于开始视频录制的操作之前，方法还包括：终端设备接收用于查看视频录制对应的设置项的操作；响应于查看视频录制对应的设置项的操作，终端设备显示第一界面；第一界面中包括：用于设置视频帧率的控件；终端设备接收针对用于设置视频帧率的控件的操作；响应于设置视频帧率的控件的操作，终端设备显示第二界面；其中，第二界面中包括：用于设置视频帧率为自动的控件；终端设备接收用于开始视频录制的操作，包括：在视频帧率为自动的情况下，终端设备接收用于开始视频录制的操作。这样，用户可以根据拍摄需求对视频帧率进行灵活设置，例如将视频帧率设置为自动，进而提高用户使用视频拍摄功能的使用体验。

在一种可能的实现方式中，第二拍摄参数用于指示终端设备基于合并binning进行视频录制时所采用的拍摄参数；第一拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像数据的参数。

在一种可能的实现方式中，终端设备根据拍摄场景调整拍摄参数，得到第二拍摄参数，包括：当终端设备确定终端设备的状态满足第一预设状态，且拍摄场景的亮度大于亮度阈值时，终端设备调整拍摄参数，得到第二拍摄参数；其中，第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数；第二帧率大于第一帧率；或者，当终端设备确定终端设备的状态满足第一预设状态，且拍摄场景的亮度小于或等于亮度阈值时，终端设备调整拍摄参数，得到第二拍摄参数；其中，第二拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像的参数。这样，终端设备可以基于本设备的状态、以及拍摄场景的亮度情况等，对拍摄参数进行灵活调整。

其中，该第一帧率可以为本申请实施例中的30fps，第二帧率可以为本申请实施例中的60fps。

在一种可能的实现方式中，终端设备根据拍摄场景调整拍摄参数，得到第二拍摄参数，包括：当终端设备确定终端设备的状态满足第二预设状态，且拍摄场景中检测到跑马灯的预设图案时，终端设备调整拍摄参数，得到第二拍摄参数；第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数。这样，终端设备可以基于本设备的状态、以及拍摄场景的亮度情况等，对拍摄参数进行灵活调整。

在一种可能的实现方式中，方法还包括：当终端设备确定终端设备的状态满足第一预设状态且拍摄场景满足高动态范围HDR场景，或者，终端设备确定终端设备的状态满足第二预设状态，且拍摄场景中未检测到跑马灯的预设图案时，终端设备将第二拍摄参数中的第二帧率降为第一帧率；终端设备调整拍摄参数，得到第一拍摄参数。这样，在由binning60切换为DCG30时，终端设备可以通过将binning60先降为binning30再切换DCG的方式，避免出现DCG60的情况，增加图像传感器出图的稳定性。

在一种可能的实现方式中，终端设备根据拍摄场景调整拍摄参数，得到第二拍摄参数，包括：当终端设备确定终端设备的温度大于温度阈值时，终端设备调整拍摄参数，得到第二拍摄参数；第二拍摄参数中可以包括：用于指示图像传感器在第三帧率下采集图像的参数；第三帧率小于第一帧率。这样，终端设备可以基于本设备的温度情况，拍摄参数进行灵活调整，避免温度过高影响终端设备的正常工作。

在一种可能的实现方式中，第二拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数；第一拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数。

在一种可能的实现方式中，终端设备基于第一图像序列以及第二图像序列，得到视频处理结果，包括：终端设备接收到用于结束视频录制的操作；响应于结束视频录制的操作，终端设备基于第一图像序列以及第二图像序列，得到视频处理结果。这样，终端设备可以基于用户接收视频录制的操作，结束视频处理过程。

在一种可能的实现方式中，终端设备基于第一图像序列以及第二图像序列，得到视频处理结果，包括：终端设备分别对第一图像序列以及第二图像序列进行图像前处理，得到图像前处理后的第一图像序列，以及图像前处理后的第二图像序列；终端设备分别对图像前处理后的第一图像序列，以及图像前处理后的第二图像序列进行图像后处理，得到图像后处理后的第一图像序列，以及图像后处理后的第二图像序列；终端设备基于图像后处理后的第一图像序列，以及图像后处理后的第二图像序列，得到视频处理结果。这样，终端设备可以基于图像前处理以及图像后处理等过程对图像序列的画面进行调整，使得视频处理结果的画面效果更好。

在一种可能的实现方式中，图像后处理包括下述一种或多种：图像矫正及调整处理、局部色调映射处理、或伽马校正处理。

第二方面，本申请实施例提供一种视频处理装置，处理单元，用于开始视频录制的操作；响应于开始视频录制的操作，处理单元，还用于启动视频录制；处理单元，还用于利用第一拍摄参数，采集拍摄场景的第一图像序列；第一拍摄参数用于指示终端设备基于双转换增益DCG进行视频录制时所采用的拍摄参数；处理单元，还用于根据拍摄场景调整拍摄参数，得到第二拍摄参数；处理单元，还用于利用第二拍摄参数，采集拍摄场景的第二图像序列；处理单元，还用于基于第一图像序列以及第二图像序列，得到视频处理结果。

在一种可能的实现方式中，处理单元，还用于接收用于查看视频录制对应的设置项的操作；响应于查看视频录制对应的设置项的操作，显示单元，用于显示第一界面；第一界面中包括：用于设置视频帧率的控件；处理单元，还用于接收针对用于设置视频帧率的控件的操作；响应于设置视频帧率的控件的操作，显示单元，还用于显示第二界面；其中，第二界面中包括：用于设置视频帧率为自动的控件；处理单元，还用于在视频帧率为自动的情况下，终端设备接收用于开始视频录制的操作。

在一种可能的实现方式中，第二拍摄参数用于指示终端设备基于合并binning进行视频录制时所采用的拍摄参数；第一拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像数据的参数。

在一种可能的实现方式中，当终端设备确定终端设备的状态满足第一预设状态，且拍摄场景的亮度大于亮度阈值时，处理单元，具体用于调整拍摄参数，得到第二拍摄参数；其中，第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数；第二帧率大于第一帧率；或者，当终端设备确定终端设备的状态满足第一预设状态，且拍摄场景的亮度小于或等于亮度阈值时，处理单元，具体用于调整拍摄参数，得到第二拍摄参数；其中，第二拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像的参数。

在一种可能的实现方式中，当终端设备确定终端设备的状态满足第二预设状态，且拍摄场景中检测到跑马灯的预设图案时，处理单元，具体用于调整拍摄参数，得到第二拍摄参数；第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数。

在一种可能的实现方式中，当终端设备确定终端设备的状态满足第一预设状态且拍摄场景满足高动态范围HDR场景，或者，终端设备确定终端设备的状态满足第二预设状态，且拍摄场景中未检测到跑马灯的预设图案时，处理单元，还用于将第二拍摄参数中的第二帧率降为第一帧率；处理单元，还用于调整拍摄参数，得到第一拍摄参数。

在一种可能的实现方式中，当终端设备确定终端设备的温度大于温度阈值时，处理单元，具体用于调整拍摄参数，得到第二拍摄参数；第二拍摄参数中可以包括：用于指示图像传感器在第三帧率下采集图像的参数；第三帧率小于第一帧率。

在一种可能的实现方式中，第二拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数；第一拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数。

在一种可能的实现方式中，处理单元，具体用于接收到用于结束视频录制的操作；响应于结束视频录制的操作，处理单元，还具体用于基于第一图像序列以及第二图像序列，得到视频处理结果。

在一种可能的实现方式中，处理单元，具体用于分别对第一图像序列以及第二图像序列进行图像前处理，得到图像前处理后的第一图像序列，以及图像前处理后的第二图像序列；处理单元，还具体用于分别对图像前处理后的第一图像序列，以及图像前处理后的第二图像序列进行图像后处理，得到图像后处理后的第一图像序列，以及图像后处理后的第二图像序列；处理单元，还具体用于基于图像后处理后的第一图像序列，以及图像后处理后的第二图像序列，得到视频处理结果。

在一种可能的实现方式中，图像后处理包括下述一种或多种：图像矫正及调整处理、局部色调映射处理、或伽马校正处理。

第三方面，本申请实施例提供一种视频处理装置，包括处理器和存储器，存储器用于存储代码指令；处理器用于运行代码指令，使得电子设备以执行如第一方面或第一方面的任一种实现方式中描述的视频处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的视频处理方法。

第五方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的视频处理方法。

应当理解的是，本申请的第三方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种合并以及DCG的原理示意图；

图2为本申请实施例提供的一种终端设备的硬件结构示意图；

图3为本申请实施例提供的一种终端设备的软件架构示意图；

图4为本申请实施例提供的一种图像感光度(ISO值)与动态范围收益的示意图；

图5为本申请实施例提供的一种设置视频帧率的界面示意图；

图6为本申请实施例提供的一种视频处理方法的流程示意图；

图7为本申请实施例提供的一种开启视频录制的界面示意图；

图8为本申请实施例提供的另一种视频处理方法的流程示意图；

图9为本申请实施例提供的一种视频处理装置的结构示意图；

图10为本申请实施例提供的另一种终端设备的硬件结构示意图；

图11为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

本申请涉及拍摄领域，为了便于理解本申请提供的方法，下面对拍摄领域的一些术语进行介绍。

1.合并(binning)

binning是一种图像读出模式，将相邻的像元中感应的电荷被加在一起，以一个像素的模式读出。例如，电子设备在拍摄图像的过程中，目标对象反射的光线被摄像头采集，以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件，每个感光元件采集到的电荷为一个像素，并对像素信息执行binning操作。具体地说，binning可以将n×n个像素合并为一个像素。例如，binning可以将相邻的2×2个像素合成为一个像素，也就是说，相邻2×2个像素的颜色以一个像素的形式呈现。

示例性的，图1为本申请实施例提供的一种合并以及DCG的原理示意图。如图1所示，当图像为一个4×4的像素时，binning可以实现将相邻的2×2个像素合成为一个像素，使得图像传感器可以将4×4的图像合并为2×2的图像，并将该2×2的图像作为图像传感器基于binning的图像输出。

2.双转换增益(dual conversion gain，DCG)

具有双转换增益DCG能力的图像传感器，一个像素有两个势阱，两个势阱对应不同的满阱容量以及不同的转换增益CG，大满阱容量对应低转换增益(low conversion gain，LCG)、低感光度，小满阱容量对应高转换增益(high conversion gain，HCG)、高感光度。这样，传感器可以在同一场景下使用两个势阱(两种感光度)和两种转换增益，一次曝光获取两张图像：高感光模式下的图像和低感光模式下的图像。再由电子设备将获取的两张图像合成一张图像，也就是HDR技术。

示例性的，如图1所示，在将相邻的n×n个像素合成一个像素之后，图像传感器可以进一步的使用两种转换增益，例如分别基于HCG以及LCG得到两种转换增益下的出图数据，对该基于HCG的出图数据以及基于LCG的出图数据进行融合，得到融合后的图像，并将该融合后的图像作为图像传感器基于DCG的图像输出。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

随着技术的发展，用户对手机等终端设备所拍摄的视频的拍摄效果的要求越来越高，因此较多终端设备可以支持拍摄得到HDR视频。然而受终端设备的HDR能力的限制，HDR视频可以支持的帧率通常为30帧/秒(fps)，则无法实现对于明亮场景、运动场景、以及夜景等拍摄场景对于不同帧率的需求，进而影响视频拍摄效果。其中，该HDR能力可以包括：

基于交错(stagger)HDR的成像方法、以及基于DCG成像方法。

示例性的，针对运动场景以及高亮场景，无论是基于stagger HDR的成像方法还是基于DCG的成像方法均只能支持30fps的帧率，这就对高亮场景、或运动场景等需要展现更多的画面信息的拍摄场景造成影响。例如，当终端设备采用帧率为30fps拍摄运动场景时，由于帧率数值较小，使得拍摄得到的视频可能出现卡顿的情况，进而影响视频的平滑程度。

示例性的，针对暗光场景，基于DCG的成像方法将会在暗光场景中产生噪声等问题。可以理解的是，由于基于DCG的成像方法是基于HCG以及LCG共同确定的，因此基于DCG的成像方法输出的图像数据是基于HCG得到的图像数据以及4倍基于LCG得到的图像数据的合并得到的。由于在拍摄暗光场景中，基于LCG得到的图像数据比基于HCG得到的图像数据具有更大的噪声，因此在暗光场景下LCG的噪声被放大，因而基于DCG方法拍摄暗光场景时，视频的拍摄效果较差。

因此，无论是在运动场景或高亮场景中由于帧率较小对视频的平滑程度造成影响，还是在暗光场景中基于DCG的成像方法带来的噪声较大的问题，都会影响最终的视频拍摄效果。

有鉴于此，本申请实施例提供一种视频处理方法，终端设备可以为拍摄场景匹配合适的帧率，并根据拍摄场景的变换，对帧率进行动态调整，使得终端设备可以基于不同的帧率得到拍摄效果较好的视频。

可以理解的是，上述终端设备也可以称为终端，(terminal)、用户设备(userequipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以为支持视频录制功能的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。其中，传感器模块180中可以包括陀螺仪传感器180A、加速度传感器180B以及温度传感器180C。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)等无线通信的解决方案。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备可以支持一种或多种视频编解码器。这样，终端设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

传感器模块180可以包括陀螺仪传感器180A、加速度传感器180B以及温度传感器180C。

陀螺仪传感器用于确定终端设备的运动姿态。在一些实施例中，可以通过陀螺仪传感器确定终端设备围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。

加速度传感器可以检测终端设备在各个方向上(一般为三轴)加速度的大小。当终端设备静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用程序。

本申请实施例中，该陀螺仪传感器以及加速度传感器可以共同用于检测终端设备所处的场景，例如终端设备为用户手持还是放置在三脚架中，进而终端设备可以基于所处的不同场景匹配合适的帧率。

温度传感器用于检测终端设备的温度情况。

可能的实现方式中，该传感器模块中还可以包括下述一种或多种传感器，例如：压力传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，或骨传导传感器等(图2中未示出)。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

示例性的，图3为本申请实施例提供的一种终端设备的软件架构示意图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将安卓(Android)系统分为五层，从上至下分别为应用程序(application，APP)层、应用程序框架(framework)层、系统库(library)、硬件抽象层(hardware abstraction layer，HAL)以及内核(kernel)层等。

如图3所示，应用程序层中可以包括相机等。

可能的实现方式中，该应用程序层中还可以包括：图库、设置、地图、音乐等应用程序(图3中未示出)。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3所示，应用程序框架层可以包括相机应用程序编程接口、媒体录制(mediarecorder)和表面视图(surface view)等。

本申请实施例中，媒体录制用于录制视频或者获取图片数据，并使得这些数据可以被应用程序访问。表面视图用于显示预览画面。

可能的实现方式中，该应用程序框架层中还可以包括：通知管理器、内容管理器、以及窗口管理器等(图3中未示出)，本申请实施例中对此不做限定。

如图3所示，系统库中可以包括相机服务(camera sevice)。

可能的实现方式中，该系统库中还可以包括多个功能模块，例如：表面管理器(surface manager)、媒体库(media libraries)、三维图形处理库、以及2D图形引擎等(图3中未示出)。

硬件抽象层的目的在于将硬件抽象化，其可以为上层的应用提供统一的查询硬件设备的接口，例如遵循硬件抽象层接口描述语言(HAL interface definition language，HIDL)协议的接口。

本申请实施例中，该硬件抽象层中可以包括：相机流程(camera pipeline)、感知模块、决策模块以及自动曝光模块(automatic exposure control，AEC)等。

本申请实施例中，相机流程可以供系统库中的相机服务调用。

感知模块用于基于预览画面的亮度情况、拍摄对象、终端设备的状态数据(如陀螺仪数据、以及加速度数据)等数据对拍摄场景进行识别，并且将识别到的场景发送至决策模块。其中，感知模块可以基于自动曝光控制模块对预览画面的灰度直方图、以及预览画面中的像素点的灰度情况进行统计。

决策模块用于基于拍摄场景与帧率之间的对应关系为不同的拍摄场景匹配合适的帧率，并且指示摄像头中的相应传感器输出该帧率对应的图像序列。

可能的实现方式中，该感知模块、决策模块、以及自动曝光模块的位置可以根据需求设置在其他层中，本申请实施例中对此不做限定。

可能的实现方式中，该硬件抽象层中可以还包括：音频接口、视频接口、通话接口、以及全球定位提供(global positioning system，GPS)接口等(图3中未示出)。

内核层是硬件和软件之间的层。内核层中可以包含：显示驱动、以及摄像头驱动等。

本申请实施例中，该摄像头驱动中可以设置有不同的图像传感器设置(sensorsetting)策略，使得终端设备可以实现不同帧率下的sensor setting的切换。示例性的，表1为本申请实施例提供的一种sensor setting示意表。

表1sensor setting示意表

如表1所示，sensor setting中可以包括：DCG设置信息以及binning设置信息等。其中，该DCG设置信息可以支持的出图数据可以包括：帧率为30fps、支持12比特bit的数据存储、输出格式为RAW12、以及支持相位对焦PDAF等；该binning设置信息可以支持的出图数据可以包括：帧率1fps-60fps、支持12bit的数据存储、输出格式为RAW12、以及支持PDAF等。

可以理解的是，该binning设置信息可以同时支持：sensor工作模式为binning24对应的24fps的帧率、sensor工作模式为binning30对应的30fps的帧率、以及sensor工作模式为binning60对应的60fps的帧率。

可以理解的是，binning只有高10bit有数据，因此binning需要做低两位补充处理，以保证12bit的数据存储。

可能的实现方式中，任一组sensor setting中可以支持的出图数据还可以包括：出图分辨率、出图速率、以及数据传输速率等。

可以理解的是，sensor setting中DCG设置信息以及binning设置信息中的数据传输速率以及支持数据存储的位数的一致性，可以实现图像传感器中的DCG对应的sensor工作模式以及binning对应的sensor工作模式之间的无缝切换。其中，在DCG对应的sensor工作模式以及binning对应的sensor工作模式进行模式切换时，可以会拉长一帧的10毫秒-20毫秒，并对图像后处理中的防抖处产生一个移码(frame shift)。

可能的实现方式中，表1仅作为sensor setting的一种示例，可能的实现方式中，该sensor setting中还可以包括更多设置信息，本申请实施例中对此不做限定。

可以理解的是，binning以及DCG可以对应于不同的动态范围收益(dynamic rangeDR)。示例性的，图4为本申请实施例提供的一种图像感光度(ISO值)与动态范围收益的示意图。在图4对应的实施例中，横轴为ISO值，纵轴为DR(db)。

ISO值越低，拍摄场景的亮度越高，基于binning以及DCG分别得到的图像的DR越高，相比于binning以及DCG，DCG在亮度越高的场景下具有更好的DR，因而DCG更适合用在亮度较高的场景下。

ISO值越高，拍摄场景越暗，曝光时间越短，基于binning以及DCG分别得到的图像的DR越低，由于binning以及DCG在越暗的场景下噪声越大，因此通常采用帧率为30fps获取暗光场景的图像数据，而相比于binning以及DCG，binning的功耗低于DCG，因此终端设备可以倾向于采用binning获取暗光场景下的图像数据。

下面结合视频生成场景以及图3对应的实施例，示例性说明第一设备的软件以及硬件的工作流程。

触摸传感器接收到用户针对相机应用中的录像模式的开启操作时，相应的硬件中断被发给内核层，内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)，原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。进而相机应用调用应用框架层的接口，启动相机应用中的录像模式。相机应用通过程序框架层中的相机API、系统库中的相机服务、指示硬件抽象层中的感知模块对拍摄画面进行场景识别，并将识别到的场景发送至决策模块；决策模块基于拍摄场景与sensor工作模式的对应关系，为当前拍摄场景确定合适的sensor工作模式，并将该sensor工作模式发送至内核层中的摄像头驱动，使得摄像头驱动可以基于该sensor工作模式对应的sensor setting采集图像序列；摄像头驱动将采集的图像序列分为预览流以及录像流，将预览流发送至表面视图，将录像流发送至媒体录制进行编码并存储在终端设备中。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

可以理解的是，为了保证终端设备可以根据拍摄场景对视频录制过程中的帧率进行自动调节，终端设备可以设置自动视频帧率。

示例性的，图5为本申请实施例提供的一种设置视频帧率的界面示意图。在图5对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

当终端设备接收到用户开启相机应用的操作时，终端设备可以显示图5中的a所示的界面，该界面可以为相机应用的主界面(或理解为拍照模式对应的界面)。如图5中的a所示，该界面中可以包括下述一种或多种，例如：拍照模式对应的拍照控件、预览图像、用于开启人工智能(artificial intelligence，AI)摄影功能的控件、用于开启或关闭闪光灯控件、用于对相机应用进行设置的设置控件501，用于调整拍摄倍数的控件、用于翻转摄像头的控件、以及用于打开图库的控件等。该图5中的a所示的界面中还可以包括相机应用的一级菜单中的多个功能控件，例如：用于开启夜景模式的控件、用于开启人像模式的控件、用于开启拍照模式的控件、用于开启录像模式的控件502、以及用于开启电影模式的控件等。其中，该用于打开图库的控件可用于开启图库应用程序。图库应用程序是智能手机、平板电脑等电子设备上的一款图片管理的应用程序，又可以称为“相册”，本实施例对该应用程序的名称不做限制。图库应用程序可以支持用户对存储于终端设备上的视频进行各种操作，例如浏览、编辑、删除、选择等操作。

在如图5中的a所示的界面中，当终端设备接收到用户针对设置控件501的操作时，终端设备可以显示图5中的b所示的界面。如图5中的b所示的界面，该界面可以为相机应用对应的设置界面，该界面中可以包括拍照功能对应的功能控件，例如：拍照比例功能控件(如支持4:3的拍照比例)、声控拍照功能控件、手势拍照功能控件、笑脸抓拍功能控件等，其中该手势拍照功能可以仅支持前置，手势朝向手机触发，该笑脸抓拍功能可以检测到笑脸时自动拍摄。该界面中还可以包括视频功能对应的功能控件，例如：视频分辨率功能控件、视频帧率功能控件503、高效视频格式功能控件、以及AI电影色调功能控件，其中该高效视频格式功能可节省35％空间，并且用户可能在其他设备上无法播放此格式视频，该AI电影色调功能可以智能识别拍摄内容匹配LUT色调，并且仅在非4K HDR中支持。其中，视频分辨率可以为4K或1080P等，视频的宽高比可以为21:0或16:9等，本申请实施例中对视频分辨率以及视频的宽高比不做限定。

可能的实现方式中，终端设备也可以基于除图5中的a所示的界面以外的其他界面，进入如图5中的b所示的设置界面，本申请实施例对此不做限定。

在如图5中的b所示的界面中，当终端设备接收到用户针对视频帧率功能控件503的操作时，终端设备可以显示图5中的c所示的界面。如图5中的c所示的界面，该界面中可以包括视频帧率提示框504，该视频帧率提示框504中可以包括：用于设置帧率为50fps的选项、用于设置帧率为60fps的选项、以及用于设置帧率为自动的选项505等。其中，如图5中的c所示的界面中，该用于设置帧率为50fps的选项可以为选中状态，该界面中显示的其他内容可以与图5中的b所示的界面类似，在此不再赘述。

在如图5中的c所示的界面中，当终端设备接收到用户针对用于设置帧率为自动的选项505的操作时，终端设备可以显示图5中的d所示的界面。如图5中的d所示的界面，该界面中的用于设置帧率为自动的选项505可以为选中状态，且该界面中显示的其他内容可以与图5中的d所示的界面类似，在此不再赘述。

可能的实现方式中，在帧率设置为自动的情况下，相机应用中的录像模式可以支持的变焦范围为1x-10x；录像模式可以实现在视频分辨率为4K对应的场景下不可以支持美颜以及滤镜等功能；录像模式中可以支持主摄工作，不支持多摄切换。

可以理解的是，在终端设备基于图5对应的实施例中将帧率设置为自动的情况下，终端设备则可以基于下述图6对应的视频处理方法，在开始视频录制时为拍摄场景匹配合适的帧率，进而使得终端设备可以录制得到视频画面效果较好的视频。

示例性的，图6为本申请实施例提供的一种视频处理方法的流程示意图。

如图6所示，视频处理方法可以包括如下步骤：

S601、当终端设备接收到用户在相机应用中开始视频录制的操作时，终端设备利用感知模块确定拍摄场景。

本申请实施例中，该相机应用可以为终端设备的系统支持的应用，或者该相机应用也可以为具有视频录制功能的应用等；该开始视频录制的操作可以为语音操作、或者也可以为针对录像模式中的用于开始拍摄的控件的点击操作或滑动操作等；该感知模块所在位置以及作用可以参见图2对应的实施例中的描述，在此不再赘述。

示例性的，图7为本申请实施例提供的一种开启视频录制的界面示意图。在如图5中的a所示的界面中，当终端设备接收到用户针对用于开启录像模式的控件502的操作时，终端设备可以显示图7中的a所示的界面。该图7中的a所示的界面中可以包括：用于开启或关闭闪光灯控件、用于对相机应用进行设置的设置控件、以及用于开启视频录制的控件701等，该界面中显示的其他内容可以与图5中的a所示的界面类似，在此不再赘述。

在如图7中的a所示的界面中，当终端设备接收到用户针对用于开启视频录制的控件701的操作时，终端设备可以显示图7中的b所示的界面。该图7中的b所示的界面中可以包括：用于结束视频录制的控件702、用于暂停视频录制的控件、用于在视频录制过程中拍摄的控件、用于指示视频拍摄时间的数字信息、用于开启或关闭闪光灯控件、以及用于调整拍摄时的镜头放大倍数的控件等。

进一步的，在终端设备基于图7对应的实施例开启视频录制的情况下，终端设备可以利用感知模块确定拍摄场景。

示例性的，终端设备的感知模块可以基于陀螺仪传感器以及加速度传感器感知终端设备的状态，例如终端设备为手持状态、或终端设备为三脚架状态。进一步的，在手持状态或三脚架状态下，终端设备的感知模块还可以基于自动曝光控制模块统计预览画面的亮度情况，确定当前是否满足HDR场景、高亮场景、或暗光场景等；或者，终端设备的感知模块还可以基于拍摄场景中是否具有跑马灯的预设图案确定当前是否满足预设的跑马灯场景。其中，该跑马灯场景可以为拍摄场景中具有跑马灯的预设图案的场景；跑马灯的预设图案为用于测试视频帧率的循环显示的图案，例如循环点亮的灯泡图案等。

具体的，终端设备的感知模块基于陀螺仪传感器以及加速度传感器感知终端设备的状态的一种可能的实现可以为：终端设备的感知模块可以获取基于陀螺仪传感器检测到的角加速度数据，以及基于加速度传感器检测到的加速度数据，由于相比于三脚架状态，手持状态下用户的抖动较为明显，使得检测到的角速度数据以及角速度数据的数值较大。因此，当感知模块确定角加速度数据大于角加速度阈值，和/或加速度数据大于加速度阈值时，则终端设备可以确定当前为手持状态；或者，当感知模块确定角加速度数据小于等于角加速度阈值，和/或加速度数据小于或等于加速度阈值时，则终端设备可以确定当前为三脚架状态。

具体的，终端设备的感知模块可以统计预览画面的亮度情况，确定当前是否满足HDR场景、高亮场景、或暗光场景等的一种可能的实现可以为：终端设备可以对预览画面进行4倍下采样得到预览小图，并确定该预览小图中的高亮像素的个数占预览小图中的所有像素的比例是否大于HDR场景对应的第一像素阈值，或者，该预览小图中的高亮像素的个数占预览小图中的所有像素的比例是否大于高亮场景对应的第二像素阈值，或者，该预览小图中的暗光像素的个数占预览小图中的所有像素的比例是否大于暗光场景对应的第三像素阈值。或者，终端设备中可以设置典型的HDR场景、高亮场景、或暗光场景等分别对应的灰度直方图，因此终端设备可以获取预览画面对应的灰度直方图，并确定该预览画面对应的灰度直方图与该典型的HDR场景、高亮场景、或暗光场景等分别对应的灰度直方图之间的相似度，进而确定当前的拍摄场景。其中，该高亮场景以及暗光场景等均可以为非HDR场景。其中，该高亮场景也可以基于拍摄场景的亮度确定，例如当该拍摄场景不满足HDR场景，且拍摄场景的亮度大于(或大于等于)亮度阈值时，则为高亮场景；或者，当该拍摄场景不满足HDR场景，且拍摄场景的亮度小于(或小于等于)亮度阈值时，则为暗光场景。

具体的，终端设备的感知模块基于拍摄场景中是否具有跑马灯的预设图案确定当前是否满足预设的跑马灯场景的一种可能的实现可以为：终端设备可以基于预设的AI模型，对当前拍摄场景中的对象进行识别，当终端设备基于预设的AI模型识别拍摄场景中包含如广告牌等跑马灯的预设图案时，则可以确定当前满足跑马灯场景。

可能的实现方式中，除了实际拍摄视频的场景之外，电子设备的视频录制过程还有可能用于某些测试过程中，测试过程会使用特定的预设图案来进行测试，为了更好匹配特定的测试过程，因此，可以基于预设图案结合场景和高亮情况来切换sensor工作模式。

可以理解的是，终端设备的感知模块也可以基于其他方法对终端设备的状态、当前的亮度场景以及跑马灯场景等进行识别，本申请实施例中对此不做具体限定。

S602、终端设备利用决策模块确定拍摄场景对应的sensor工作模式。

本申请实施例中，决策模块中可以存储有拍摄场景与sensor工作模式之间的对应关系。

可能的实现方式中，决策模块还可以基于终端设备的温度，例如终端设备的温度大于温度阈值时对应的高温状态，匹配相应的sensor工作模式。这样，使得终端设备可以通过降低帧率，避免高温对于终端设备的影响。

示例性的，表2为本申请实施例提供的一种拍摄场景与sensor工作模式的对应关系示意表。

表2拍摄场景与sensor工作模式的对应关系示意表

可以理解的是，DCG(或binning)的动态范围收益DR与图像感光度(ISO值)之间的关系可以为：ISO值越高(或理解为越到暗光场景)，DCG(或binning)的DR值越小，因此可以采用帧率为30fps的出图方式；并且，由于DCG在暗光场景下具有较大的噪声，因此在暗光场景中可以采用binning30。

下面结合表2对应的拍摄场景与sensor工作模式的对应关系，对不同场景中sensor工作模式的切换进行示例说明。

本申请实施例中，当图像传感器启动时，图像传感器可以默认启动DCG30。

进一步的，在图像传感器默认启动DCG30的情况下，终端设备可以通过对手持状态以及三脚架状态的识别，确定不同的工作模式。其中，该手持状态以及三脚架状态的确定方法可以参见S601所示的步骤中的描述，在此不再赘述。

一种实现中，当终端设备确定当前为手持状态，且满足HDR场景时，终端设备可以确定当前场景可以采用DGC30，进而指示图像传感器，使得图像传感器可以继续保持DCG30的工作模式。

另一种实现中，当终端设备确定当前为手持状态，且满足高亮场景时，终端设备可以确定当前场景可以采用binning60，进而指示图像传感器，使得图像传感器可以由DCG30切换至binning60。

可能的实现方式中，在图像传感器为binning60的情况下，当终端设备确定当前为手持状态，且满足HDR场景时，终端设备可以确定当前场景可以采用DCG30，进而指示图像传感器。图像传感器接收到该DCG30时，可以先由binning60降为binning30，再由binning30切换至DCG30。可以理解的是，图像传感器由binning60降为binning30，再由binning30切换至DCG30的方式，可以避免图像传感器出现DCG60的情况，提高图像传感器对于图像输出的稳定性。

再一种实现中，当终端设备确定当前为手持状态，且满足暗光场景时，终端设备可以确定当前场景可以采用binning30，进而指示图像传感器，使得图像传感器可以由DCG30切换至binning30。

又一种实现中，当终端设备确定当前为三脚架状态，且满足跑马灯场景时，终端设备可以确定当前场景可以采用binning60，进而指示图像传感器，使得图像传感器可以由DCG30切换至binning60。

又一种实现中，当终端设备确定当前为三脚架状态，且不满足跑马灯场景(或理解为满足非跑马灯场景)时，终端设备可以确定当前场景可以采用DCG30，进而指示图像传感器，使得图像传感器可以继续保持DCG30的工作模式。

又一种实现中，当终端设备确定当前终端设备的温度大于温度阈值时，则终端设备可以确定当前场景可以采用binning24，进而指示图像传感器，使得图像传感器可以由DCG30切换至binning24。

可以理解的是，当终端设备确定当前终端设备的温度大于温度阈值时，终端设备可以不用对其他场景进行识别就可以确定采用binning24的工作模式。

进一步的，决策模块可以将sensor工作模式发送图像传感器。

S603、终端设备利用与sensor工作模式匹配的sensor setting拍摄得到图像序列。

本申请实施例中，终端设备的摄像头可以基于表1，确定工作模式所对应的sensorsetting，并基于该sensor setting中的出图数据获取图像序列。

可以理解的是，当终端设备的决策模块确定sensor工作模式，由DCG对应的工作模式切换至binning对应的工作模式，或者由binning对应的工作模式切换至DCG对应的工作模式时，终端设备可以基于该切换后的工作模式对应的sensor setting获取图像序列；进一步的，则自动曝光模块、图像前处理(或称图像信号处理器前端处理)、以及图像后处理(或称图像信号处理器后端处理)等处理过程中涉及的参数可以按照切换后的sensor工作模式进行调整。

如图6中的摄像头对应的虚线框所示，摄像头用于采集图像，当被拍摄对象的反射光通过镜头，在镜片上折射后，汇聚在图像传感器上。图像传感器可以将光信号转换成模拟电信号。该模拟电信号从传感器前端输出，再经过数模转换器输出。可以理解的是，数模传感器输出的为摄像头采集的原始数字图像，即RAW格式的图像。

S604、终端设备对图像序列进行图像前处理，得到图像前处理后的图像序列。

本申请实施例中，该图像前处理用于将基于摄像头获取的RAW(或称为原始图像数据)格式的图像，处理为YUV(或理解为亮度和色度)格式的图像。

可以理解的是，该图像前处理过程可以包括下述一种或多种，例如：去坏点校正处理、RAW域降噪处理、黑电平校正处理、光学阴影校正处理、自动白平衡处理、颜色插值处理、色彩校正处理、全局色调映射处理、或图像转换处理等，本申请实施例中对该图像前处理过程不做限定。

如图6中的图像信号处理器对应的虚线框，图像信号处理器用于将来自摄像头的RAW格式的图像进行相关处理并生成待显示的图像。进一步的，图像信号处理器可以将待显示的图像发送给显示屏进行显示。图像信号处理器中可以包括：图像处理器前端对应的图像前处理、以及图像处理器后端对应的图像后处理等。

S605、终端设备将图像前处理后的图像序列分别作为预览流以及录像流，并进行图像后处理，得到预览流对应的图像后处理后的第一图像序列、以及录像流对应的图像后处理后的第二图像序列。

本申请实施例中，该图像后处理可以包括下述一种或多种，例如：图像矫正及调整处理、局部色调映射处理、以及伽马(Gamma)校正处理等步骤。

在图像矫正及调整处理中，终端设备可以对当前图像进行防抖处理，例如对当前图像数据进行裁剪，使得裁剪后的图像可以抵消由于终端设备的抖动带来的影响。示例性的，终端设备可以利用陀螺仪传感器获得角加速度数据，并通过电子防抖处理获取当前图像对应的变换(warp)矩阵。进一步的，终端设备可以利用warp矩阵，对当前图像数据进行裁剪，如分别在当前图像数据的横纵方向各裁剪掉图像数据的10％-20％等，从而抵消抖动带来的影响。

在局部色调映射处理中，终端设备可以实现对图像的整体亮度进行调整，使得亮度调整后的画面可以更接近于真实世界中呈现的亮度。在Gamma校正处理中，终端设备可以对图像进行亮度调整，使其可以保留更多的亮部和暗部细节，压缩对比度，保留更多的色彩信息。

可能的实现方式中，终端设备可以将第一图像序列发送至显示屏进行显示，使得第一图像序列可以显示在终端设备的预览界面中，例如显示在如图7中的b所示的界面。并且，当终端设备接收到用户在图7中的b所示的界面中针对用于结束视频录制的控件702的操作时，终端设备可以对第二图像序列进行编码并存储为视频，使得终端设备可以在接收到用户查看该视频的操作时播放视频。

基于此，终端设备可以为拍摄场景匹配合适的帧率，并根据拍摄场景的变换，对帧率进行动态调整，使得终端设备可以基于不同的帧率得到拍摄效果较好的视频。

可以理解的是，本申请实施例提供的界面仅作为一种示例，并不能构成对本申请实施例的限定。

基于上述实施例中所描述的内容，为了更好的理解本申请各实施例，示例性的，图8为本申请实施例提供的另一种视频处理方法的流程示意图。

S801、终端设备接收用于开始视频录制的操作。

其中，该用于开始视频的操作可以为如图7中的a所示的界面中，针对该用于开启视频录制的控件701的触发操作。

S802、响应于开始视频录制的操作，终端设备启动视频录制。

S803、终端设备利用第一拍摄参数，采集拍摄场景的第一图像序列。

S804、终端设备根据拍摄场景调整拍摄参数，得到第二拍摄参数。

其中，第一拍摄参数用于指示终端设备基于双转换增益DCG进行视频录制时所采用的拍摄参数。可以理解的是，该第一拍摄参数可以为本申请实施例中的DCG设置信息；第二拍摄参数可以为本申请实施例中的binning设置信息，该DCG设置参数以及binning设置操作的描述可以参见表1对应的实施例，在此不再赘述。

S805、终端设备利用第二拍摄参数，采集拍摄场景的第二图像序列。

S806、终端设备基于第一图像序列以及第二图像序列，得到视频处理结果。

其中，终端设备可以基于图6对应的实施例中的S604-S605对第一图像序列以及第二图像序列进行处理，得到视频处理结果。

可以理解的是，该第一图像序列以及第二图像序列均可以为预览流对应的图像序列，或者也可以为录像流对应的图像序列。

这样，终端设备可以为拍摄场景匹配合适的拍摄参数，并根据拍摄场景的变换，对拍摄参数进行动态调整，使得终端设备可以基于不同的拍摄参数得到拍摄效果较好的视频。

在一种可能的实现方式中，在S801之前，方法还包括：终端设备接收用于查看视频录制对应的设置项的操作；响应于查看视频录制对应的设置项的操作，终端设备显示第一界面；第一界面中包括：用于设置视频帧率的控件；终端设备接收针对用于设置视频帧率的控件的操作；响应于设置视频帧率的控件的操作，终端设备显示第二界面；其中，第二界面中包括：用于设置视频帧率为自动的控件；终端设备接收用于开始视频录制的操作，包括：在视频帧率为自动的情况下，终端设备接收用于开始视频录制的操作。

其中，用于查看视频录制对应的设置项的操作可以为图5中的a所示的界面中针对设置控件501的操作；该第一界面可以为图5中的b所示的界面；该用于设置视频帧率的控件可以为图5中的b所示的视频帧率功能控件503。该第二界面可以为图5中的c所示的界面；该用于设置视频帧率为自动的控件可以为图5中的c所示的用于设置帧率为自动的选项505；该在视频帧率为自动的情况下，可以理解为图5中的d所示的该用于设置帧率为自动的选项505可以为选中状态。

在一种可能的实现方式中，第二拍摄参数用于指示终端设备基于合并binning进行视频录制时所采用的拍摄参数；第一拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像数据的参数。

在一种可能的实现方式中，S804包括：当终端设备确定终端设备的状态满足第一预设状态，且拍摄场景的亮度大于亮度阈值时，终端设备调整拍摄参数，得到第二拍摄参数；其中，第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数；第二帧率大于第一帧率；或者，当终端设备确定终端设备的状态满足第一预设状态，且拍摄场景的亮度小于或等于亮度阈值时，终端设备调整拍摄参数，得到第二拍摄参数；其中，第二拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像的参数。

其中，第一预设状态可以为本申请实施例中的手持状态；该第一帧率可以为本申请实施例中的30fps；第二帧率可以为本申请实施例中的60fps；拍摄场景的亮度小于或等于亮度阈值可以为本申请实施例中的高亮场景。

在一种可能的实现方式中，S804包括：当终端设备确定终端设备的状态满足第二预设状态，且拍摄场景中检测到跑马灯的预设图案时，终端设备调整拍摄参数，得到第二拍摄参数；第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数。

其中，第二预设状态可以为本申请实施例中的三脚架状态。

在一种可能的实现方式中，方法还包括：当终端设备确定终端设备的状态满足第一预设状态且拍摄场景满足高动态范围HDR场景，或者，终端设备确定终端设备的状态满足第二预设状态，且拍摄场景中未检测到跑马灯的预设图案时，终端设备将第二拍摄参数中的第二帧率降为第一帧率；终端设备调整拍摄参数，得到第一拍摄参数。

在一种可能的实现方式中，S804包括：当终端设备确定终端设备的温度大于温度阈值时，终端设备调整拍摄参数，得到第二拍摄参数；第二拍摄参数中可以包括：用于指示图像传感器在第三帧率下采集图像的参数；第三帧率小于第一帧率。

在一种可能的实现方式中，第二拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数；第一拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数。

在一种可能的实现方式中，S806包括：终端设备接收到用于结束视频录制的操作；响应于结束视频录制的操作，终端设备基于第一图像序列以及第二图像序列，得到视频处理结果。

其中，该用于结束视频录制的操作可以为图7中的b所示的界面中针对用于结束视频录制的控件702的操作。

在一种可能的实现方式中，终端设备基于第一图像序列以及第二图像序列，得到视频处理结果，包括：终端设备分别对第一图像序列以及第二图像序列进行图像前处理，得到图像前处理后的第一图像序列，以及图像前处理后的第二图像序列；终端设备分别对图像前处理后的第一图像序列，以及图像前处理后的第二图像序列进行图像后处理，得到图像后处理后的第一图像序列，以及图像后处理后的第二图像序列；终端设备基于图像后处理后的第一图像序列，以及图像后处理后的第二图像序列，得到视频处理结果。

在一种可能的实现方式中，图像后处理包括下述一种或多种：图像矫正及调整处理、局部色调映射处理、或伽马校正处理。

其中，该图像前处理中的具体过程的描述可以参见图6对应的实施例中的S604，该该图像后处理中的具体过程的描述可以参见图6对应的实施例中的S605，在此不再赘述。

上面结合图5-图8，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图9所示，图9为本申请实施例提供的一种视频处理装置的结构示意图，该视频处理装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

如图9所示，视频处理装置90可以用于通信设备、电路、硬件组件或者芯片中，该视频处理装置包括：显示单元901、以及处理单元902等。其中，显示单元901用于支持视频处理方法执行的显示的步骤；处理单元902用于支持视频处理装置执行信息处理的步骤。

处理单元902可以和显示单元901可以集成在一起，处理单元902和显示单元901可能会发生通信。

在一种可能的实现方式中，该视频处理装置还可以包括：存储单元903。其中，存储单元903可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元903可以独立存在，通过通信总线与处理单元902相连。存储单元903也可以和处理单元902集成在一起。

以视频处理装置可以是本申请实施例中的终端设备的芯片或芯片系统为例，存储单元903可以存储终端设备的方法的计算机执行指令，以使处理单元902执行上述实施例中终端设备的方法。存储单元903可以是寄存器、缓存或者随机存取存储器(random accessmemory，RAM)等，存储单元903可以和处理单元902集成在一起。存储单元903可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元903可以与处理单元902相独立。

在一种可能的实现方式中，视频处理装置还可以包括：通信单元904。其中，通信单元904用于支持视频处理装置与其它设备交互。示例性的，当该视频处理装置是终端设备时，该通信单元904可以是通信接口或接口电路。当该视频处理装置是终端设备内的芯片或芯片系统时，该通信单元904可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

图10为本申请实施例提供的另一种终端设备的硬件结构示意图，如图10所示，该终端设备包括处理器1001，通信线路1004以及至少一个通信接口(图10中示例性的以通信接口1003为例进行说明)。

处理器1001可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路1004可包括在上述组件之间传送信息的电路。

通信接口1003，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

可能的，该终端设备还可以包括存储器1002。

存储器1002可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1004与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1002用于存储执行本申请方案的计算机执行指令，并由处理器1001来控制执行。处理器1001用于执行存储器1002中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器1001可以包括一个或多个CPU，例如图10中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端设备可以包括多个处理器，例如图10中的处理器1001和处理器1005。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

示例性的，图11为本申请实施例提供的一种芯片的结构示意图。芯片110包括一个或两个以上(包括两个)处理器1120和通信接口1130。

在一些实施方式中，存储器1140存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

本申请实施例中，存储器1140可以包括只读存储器和随机存取存储器，并向处理器1120提供指令和数据。存储器1140的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器1140、通信接口1130以及处理器1120通过总线系统1110耦合在一起。其中，总线系统1110除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图11中将各种总线都标为总线系统1110。

上述本申请实施例描述的方法可以应用于处理器1120中，或者由处理器1120实现。处理器1120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1120可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1120可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory，EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1140，处理器1120读取存储器1140中的信息，结合其硬件完成上述方法的步骤。

在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质(例如，软盘、硬盘或磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory，CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatiledisc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种视频处理方法，其特征在于，应用于终端设备，所述方法包括：

所述终端设备接收用于开始视频录制的操作；

响应于所述开始视频录制的操作，所述终端设备启动所述视频录制；

所述终端设备利用第一拍摄参数，采集拍摄场景的第一图像序列。

2.根据权利要求1所述的视频处理方法，其特征在于，所述方法还包括：

所述终端设备根据所述拍摄场景调整拍摄参数，得到第二拍摄参数；

所述终端设备利用所述第二拍摄参数，采集所述拍摄场景的第二图像序列；

所述终端设备基于所述第一图像序列以及所述第二图像序列，得到视频处理结果。

3.根据权利要求1所述的方法，其特征在于，所述终端设备接收用于开始视频录制的操作之前，所述方法还包括：

所述终端设备接收用于查看所述视频录制对应的设置项的操作；

响应于所述查看所述视频录制对应的设置项的操作，所述终端设备显示第一界面；所述第一界面中包括：用于设置视频帧率的控件；

所述终端设备接收针对所述用于设置视频帧率的控件的操作；

响应于所述设置视频帧率的控件的操作，所述终端设备显示第二界面；其中，所述第二界面中包括：用于设置视频帧率为自动的控件；

所述终端设备接收用于开始视频录制的操作，包括：在所述视频帧率为自动的情况下，所述终端设备接收用于开始视频录制的操作。

4.根据权利要求1所述的方法，其特征在于，所述第二拍摄参数用于指示所述终端设备基于合并binning进行视频录制时所采用的拍摄参数；所述第一拍摄参数中可以包括：用于指示图像传感器在第一帧率下采集图像数据的参数。

5.根据权利要求3所述的方法，其特征在于，所述终端设备根据所述拍摄场景调整拍摄参数，得到第二拍摄参数，包括：

当所述终端设备确定所述终端设备的状态满足第一预设状态，且所述拍摄场景的亮度大于亮度阈值时，所述终端设备调整拍摄参数，得到所述第二拍摄参数；其中，所述第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数；所述第二帧率大于所述第一帧率；

或者，当所述终端设备确定所述终端设备的状态满足所述第一预设状态，且所述拍摄场景的亮度小于或等于所述亮度阈值时，所述终端设备调整拍摄参数，得到所述第二拍摄参数；其中，所述第二拍摄参数中可以包括：用于指示图像传感器在所述第一帧率下采集图像的参数。

6.根据权利要求4所述的方法，其特征在于，所述终端设备根据所述拍摄场景调整拍摄参数，得到第二拍摄参数，包括：

当所述终端设备确定所述终端设备的状态满足第二预设状态，且所述拍摄场景中检测到跑马灯的预设图案时，所述终端设备调整拍摄参数，得到所述第二拍摄参数；所述第二拍摄参数中可以包括：用于指示图像传感器在第二帧率下采集图像的参数。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述终端设备确定所述终端设备的状态满足第一预设状态且所述拍摄场景满足高动态范围HDR场景，或者，所述终端设备确定所述终端设备的状态满足所述第二预设状态，且所述拍摄场景中未检测到所述跑马灯的预设图案时，所述终端设备将第二拍摄参数中的所述第二帧率降为所述第一帧率；

所述终端设备调整拍摄参数，得到所述第一拍摄参数。

8.根据权利要求4所述的方法，其特征在于，所述终端设备根据所述拍摄场景调整拍摄参数，得到第二拍摄参数，包括：

当所述终端设备确定所述终端设备的温度大于温度阈值时，所述终端设备调整拍摄参数，得到所述第二拍摄参数；所述第二拍摄参数中可以包括：用于指示图像传感器在第三帧率下采集图像的参数；所述第三帧率小于所述第一帧率。

9.根据权利要求4-8任一项所述的方法，其特征在于，所述第二拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数；所述第一拍摄参数中还可以包括：用于指示数据存储位数为12比特的参数、用于指示输出格式为原始数据格式RAW12的参数、以及用于指示支持相位对焦的参数。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述终端设备基于所述第一图像序列以及所述第二图像序列，得到视频处理结果，包括：

所述终端设备接收到用于结束所述视频录制的操作；

响应于所述结束所述视频录制的操作，所述终端设备基于所述第一图像序列以及所述第二图像序列，得到所述视频处理结果。

11.根据权利要求10所述的方法，其特征在于，所述终端设备基于所述第一图像序列以及所述第二图像序列，得到所述视频处理结果，包括：

所述终端设备分别对所述第一图像序列以及所述第二图像序列进行图像前处理，得到图像前处理后的第一图像序列，以及图像前处理后的第二图像序列；

所述终端设备分别对所述图像前处理后的第一图像序列，以及所述图像前处理后的第二图像序列进行图像后处理，得到图像后处理后的第一图像序列，以及图像后处理后的第二图像序列；

所述终端设备基于所述图像后处理后的第一图像序列，以及所述图像后处理后的第二图像序列，得到所述视频处理结果。

12.根据权利要求11所述的方法，其特征在于，所述图像后处理包括下述一种或多种：图像矫正及调整处理、局部色调映射处理、或伽马校正处理。

13.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1至12任一项所述的方法。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至12任一项所述的方法。

15.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被运行时，使得计算机执行如权利要求1至12任一项所述的方法。