CN116095509B - 生成视频帧的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种生成视频帧的方法、装置、电子设备及存储介质，属于终端技术领域。包括：图像感应器输出第一原始数据，第一图像信号处理模块获取第一原始数据。第一图像信号处理模块复制第一原始数据，得到第二原始数据。第一图像信号处理模块对第一原始数据进行图像增强处理，得到视频增强数据，第一图像信号处理模块将视频增强数据以及第二原始数据发送给第二图像信号处理模块，第二图像信号处理模块基于视频增强数据和第二原始数据，生成视频帧。本申请通过第一图像信号处理模块进行图像增强处理，且第一图像信号处理模块为第二图像信号处理模块还提供了可以用于调整曝光参数的第二原始数据，如此可以保证能够得到清晰的视频帧。

Description

生成视频帧的方法、装置、电子设备及存储介质

本申请要求于2021年11月05日提交到国家知识产权局、申请号为202111316825.0、申请名称为“生成视频帧的方法、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及终端技术领域，特别涉及一种生成视频帧的方法、装置、电子设备及存储介质。

背景技术

随着终端技术的快速发展，诸如手机之类的电子设备的拍摄水平逐渐提高。尤其是在夜景场景下，电子设备在拍摄图像时，能够做到高光不过曝，暗调不欠曝，也即可以使得拍摄图像中无论高光部分还是暗调部分，细节都很清晰。

在相关技术中，为了达到上述效果，电子设备在通过摄像头拍摄图像，通过片上系统(System on Chip，SOC)中集成的图像信号处理器(Image Signal Processing，ISP)(下文简称为内置ISP)处理拍摄图像，对拍摄图像进行图像增强处理，包括且不限于曝光参数调整、白平衡、对焦、降噪锐化等，然后通过多帧处理后得到细节清晰的拍摄图像。

然而，在电子设备采集视频的情况下，由于视频具有实时性，无法采用类似拍照的复杂多帧类增强处理算法，视频画面的显示效果往往明显差于拍摄图像。

发明内容

本申请提供一种生成视频帧的方法、装置、电子设备及存储介质，解决了现有技术中无法采用类似拍照的复杂多帧类增强处理算法，视频画面的显示效果往往明显差于拍摄图像的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种生成视频帧的方法，应用于电子设备，所述电子设备包括图像感应器、第一图像信号处理模块以及第二图像信号处理模块，所述方法包括：

所述图像感应器输出第一原始数据；

所述第一图像信号处理模块获取所述第一原始数据；

所述第一图像信号处理模块复制所述第一原始数据，得到第二原始数据；

所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，得到视频增强数据；

所述第一图像信号处理模块将所述视频增强数据以及所述第二原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块基于所述视频增强数据和所述第二原始数据，生成视频帧。

如此，通过第一图像信号处理模块进行图像增强处理，且第一图像信号处理模块为第二图像信号处理模块还提供了可以用于调整曝光参数的第二原始数据，如此可以保证能够得到清晰的视频帧。

作为本申请的一个示例，所述第一原始数据包括同一时间段内采集的长曝光数据和短曝光数据，所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，得到融合原始数据；

所述第一图像信号处理模块对所述融合原始数据进行降噪处理。

如此，可以使得后续将同一时间段内的长曝光数据和短曝光数据进行融合后输出高动态视频帧。

作为本申请的一个示例，所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据输入至第一目标模型中，由所述第一目标模型进行融合处理，所述第一目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

如此，通过第一目标模型进行融合处理，可以提高融合效率。

作为本申请的一个示例，所述第一图像信号处理模块对所述融合原始数据进行降噪处理，包括：

所述第一图像信号处理模块将所述融合原始数据输入至第二目标模型中，由所述第二目标模型进行降噪处理，所述第二目标模型能够对任意的原始数据进行降噪处理。

如此，通过第二目标模型进行降噪处理，可以提高降噪效率。

作为本申请的一个示例，所述第一图像信号处理模块中包括多个第二目标模型，所述多个第二目标模型中的每个第二目标模型对应有曝光数值范围；

所述方法还包括：

所述第一图像信号处理模块接收目标曝光数据，所述目标曝光数据是由所述第二图像信号处理模块基于第一曝光数据确定，所述第一曝光数据是由所述第二图像信号处理模块基于所述第二原始数据进行曝光数据统计得到，所述目标曝光数据用于调整所述图像感应器的曝光参数；

所述第一图像信号处理模块根据所述目标曝光数据、以及所述每个第二目标模型对应的曝光数值范围，从所述多个第二目标模型中选择一个第二目标模型，选择的第二目标模型用于降噪处理。

如此，根据目标曝光数据所属的曝光数值范围，从多个第二目标模型中选择用于下一次的降噪处理的第二目标模型，从而可以能够对下一次的视频数据进行合理的降噪处理，进而提高降噪效果。

作为本申请的一个示例，所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理之前，还包括：

所述第一图像信号处理模块对所述长曝光数据和所述短曝光数据进行预处理，所述预处理包括镜头校正LSC处理、黑电平补偿BLC处理、坏像素校正BPC处理、颜色插值处理中的至少一项；

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，包括：

所述第一图像信号处理模块将预处理后的所述长曝光数据和所述短曝光数据进行融合处理。

如此，通过分别对长曝光数据和短曝光数据进行预处理，可以提高后续得到的视频帧的清晰度。

作为本申请的一个示例，所述第二图像信号处理模块基于所述视频增强数据和所述第二原始数据，生成视频帧，包括：

所述第二图像信号处理模块对所述视频增强数据进行格式转换处理，得到YUV图像；

所述第二图像信号处理模块基于所述第二原始数据，确定目标数据，所述目标数据用于调整所述YUV图像的图像质量；

所述第二图像信号处理模块基于所述目标数据调整所述YUV图像，并将调整后的所述YUV图像作为所述视频帧。

如此，通过第二图像信号处理模块对视频增强数据进行格式转换处理，以及基于第二原始数据确定目标数据，并根据目标数据对经格式转换处理后得到的YUV图像进行优化，从而得到画面清晰的视频帧。

作为本申请的一个示例，所述图像感应器输出第一原始数据，包括：

通过所述电子设备中的相机应用检测到夜景视频拍摄指令，所述夜景视频拍摄指令用于指示在夜景模式下进行视频录制；

响应于所述夜景视频拍摄指令，所述图像感应器输出所述第一原始数据。

如此，在夜景场景下，电子设备获取第一原始数据，通过本申请提供的方法对摄像头采集的第一原始数据进行处理，以使得得到的视频帧的高亮区域不会过于曝光且暗调区域不会过暗，从而得到画面清晰的视频帧。

作为本申请的一个示例，所述第二图像信号处理模块包括芯片级系统SOC中集成的ISP，第一图像信号处理模块包括所述SOC外部的ISP。

如此，通过外置ISP来分担对视频帧的处理任务，可以减小SOC中内置ISP的负担，从而实现对视频帧的实时处理，以便于能够得到满足需求的视频画面。

第二方面，提供了一种生成视频帧的装置，所述装置包括：图像感应器节点、第一图像信号处理模块以及第二图像信号处理模块；

所述图像感应器节点，用于输出第一原始数据；

所述第一图像信号处理模块，用于获取所述第一原始数据，复制所述第一原始数据，得到第二原始数据，对所述第一原始数据进行图像增强处理，得到视频增强数据，将所述视频增强数据以及所述第二原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块，用于基于所述视频增强数据和所述第二原始数据，生成视频帧。

作为本申请的一个示例，所述第一原始数据包括同一时间段内采集的长曝光数据和短曝光数据；所述第一图像信号处理模块用于：

将所述长曝光数据和所述短曝光数据进行融合处理，得到融合原始数据；

对所述融合原始数据进行降噪处理。

作为本申请的一个示例，所述第一图像信号处理模块用于：

将所述长曝光数据和所述短曝光数据输入至第一目标模型中，由所述第一目标模型进行融合处理，所述第一目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

作为本申请的一个示例，所述第一图像信号处理模块用于：

将所述融合原始数据输入至第二目标模型中，由所述第二目标模型进行降噪处理，所述第二目标模型能够对任意的原始数据进行降噪处理。

作为本申请的一个示例，所述第一图像信号处理模块中包括多个第二目标模型，所述多个第二目标模型中的每个第二目标模型对应有曝光数值范围；所述第一图像信号处理器还用于：

接收目标曝光数据，所述目标曝光数据是由所述第二图像信号处理模块基于第一曝光数据确定，所述第一曝光数据是由所述第二图像信号处理模块基于所述第二原始数据进行曝光数据统计得到，所述目标曝光数据用于调整所述图像感应器的曝光参数；

根据所述目标曝光数据、以及所述每个第二目标模型对应的曝光数值范围，从所述多个第二目标模型中选择一个第二目标模型，选择的第二目标模型用于降噪处理。

作为本申请的一个示例，所述第一图像信号处理模块用于：

对所述长曝光数据和所述短曝光数据进行预处理，所述预处理包括镜头校正LSC处理、黑电平补偿BLC处理、坏像素校正BPC处理、颜色插值处理中的至少一项；

将预处理后的所述长曝光数据和所述短曝光数据进行融合处理。

作为本申请的一个示例，所述第二图像信号处理模块用于：

对所述视频增强数据进行格式转换处理，得到YUV图像；

基于所述第二原始数据确定目标数据，所述目标数据用于调整所述YUV图像的图像质量；

基于所述目标数据调整所述YUV图像，并将调整后的所述YUV图像作为所述视频帧。

作为本申请的一个示例，所述图像感应器节点用于：

通过所述电子设备中的相机应用检测到夜景视频拍摄指令，所述夜景视频拍摄指令用于指示在夜景模式下进行视频录制；

响应于所述夜景视频拍摄指令，输出所述第一原始数据。

作为本申请的一个示例，所述第二图像信号处理模块是芯片级系统SOC中集成的ISP，第一图像信号处理模块是所述SOC外部的ISP。

第三方面，提供一种电子设备，所述电子设备的结构中包括处理器和存储器，所述存储器用于存储支持电子设备执行上述第一方面任一所述的方法的程序，以及存储用于实现上述第一方面任一所述的方法所涉及的数据；所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述第一方面任意一项所述的方法。

第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

附图说明

图1为本申请实施例提供的一种摄像头的空间位置分布示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3为本申请实施例提供的一种电子设备的软件框架示意图；

图4为本申请实施例提供的一种应用场景的示意图；

图5为本申请实施例提供的另一种应用场景的示意图；

图6为本申请实施例提供的一种生成视频帧的方法的流程示意图；

图7为本申请实施例提供的一种硬件的结构示意图；

图8为本申请实施例提供的另一种生成视频帧的方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，比如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，比如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在对本申请实施例提供的方法进行详细介绍之前，先对本申请实施例涉及的名词和执行主体进行介绍。

首先，对本申请实施例涉及的名词进行介绍。

曝光：根据曝光时间的长短可以分为长曝光和短曝光。曝光时间越长，光圈的进光量越大。反之，曝光时间越短，光圈的进光量越小。

3A统计算法：包括自动曝光(automatic exposure，AE)算法、自动对焦(automaticfocus，AF)算法、和自动白平衡(automatic white balance，AWB)算法。

AE：是指相机根据光线条件自动确定曝光量。成像系统中一般都会有AE功能，该功能直接关系到图像画面的亮度和图像质量，也即会决定图像的明暗。

AF：是指由相机根据被摄体距离的远近，自动地调节摄像头的对焦距离，也即通过测距来调整摄像头中镜片形成焦点，从而使得相机内的影像清晰。

AWB：主要用于解决图像偏色的问题。如果图像存在偏色情况，则可以通过AWB算法进行矫正。

视场角：(field angle，FOV)，是指摄像头所能覆盖的范围。FOV越大，摄像头能够容纳的景物越多，不难理解，若被摄体没有位于摄像头的FOV内就不会被摄像头拍摄到。

图像感应器(Sensor)：是相机的核心部件，作用是将光信号转换成电信号，以便于后续处理和存储。工作原理是通过光敏元件在光照的条件下产生电荷，电荷转移产生电流，电流经过整流放大、模数转换形成数字信号。图像感应器一般包括两类：电荷耦合器件(charge coupled device，CCD)和互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)。

RAW数据：在本申请实施例中也称为原始数据，是指相机中的CCD或者CMOS图像感应器将捕捉到的光源信号转化为数据信号的原始数据。也即可以理解为是未经过加工的数据，能够用于描述图像感应器接受到的各种光的强度。

接下来对本申请实施例涉及的执行主体进行介绍。

本申请实施例提供的方法可以由具有拍摄功能的电子设备执行，电子设备配置有一个或者多个摄像头，多个摄像头中的不同摄像头具有不同的拍摄功能。譬如，电子设备配置有但不限于广角摄像头、长焦摄像头(比如潜望式长焦摄像头)、黑白摄像头、超广角摄像头中的至少一个。一个或者多个摄像头可以包括前置摄像头和/或后置摄像头。作为本申请的一个示例，电子设备配置有多个后置摄像头，多个后置摄像头包括一个主摄像头和至少一个辅摄像头，譬如请参考图1，多个后置摄像头的空间分布可以如图1中的(a)图所示，或者，多个后置摄像头的空间分布也可以如图1中的(b)图所示，该多个后置摄像头分别为摄像头00、摄像头01、摄像头02、摄像头03，示例性地，摄像头00为主摄像头，其他为辅摄像头。电子设备在启动相机应用后，通常默认通过主摄像头进行拍摄，在相机切换后，电子设备根据切换需求从至少一个辅摄像头中选择合适的辅摄像头，并通过选择的辅摄像头进行拍摄。作为示例而非限定，电子设备可以是但不限于手机运动相机(GoPro)、数码相机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、手机等，本申请实施例对此不作限定。

请参阅图2，图2是本申请实施例提供的一种电子设备的结构示意图。电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，ISP191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。在一个示例中，电子设备中包括的ISP 191的数量是多个，图2中仅示例性地示出了一个。

可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，ISP，控制器，存储器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP 191，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 191用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP 191处理，转化为肉眼可见的图像。ISP 191还可以对图像的噪点，亮度，肤色进行算法优化。ISP191还可以对拍摄场景的曝光，色温等参数优化。

在一些实施例中，ISP 191可以包括SOC中集成的内置ISP和设于SOC外部的外置ISP。相比较来说，外置ISP的内部结构与内置ISP的内部结构类似或相同，不同的是，外置ISP与内置ISP对视频数据进行处理时采用的方法不同。作为本申请的一个示例，外置ISP采用人工智能方法(比如通过网络模型等)对视频数据进行处理，而内置ISP采用其他算法对视频数据进行处理。

作为本申请的一个示例，外置ISP主要有两方面作用：一方面，用于对摄像头采集的RAW数据进行融合处理和图像增强处理，从而为内置ISP提供增强后的视频数据；另一方面，用于对摄像头采集的RAW数据进行路由，以为内置ISP提供一份RAW数据，从而便于内置ISP能够准确地确定当前的曝光数据，进而便于内置ISP根据曝光数据动态地调整摄像头的曝光参数。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP 191转换成数字图像信号。ISP 191将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB(red green blue红色绿色蓝色)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。

其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。

在一个实施例中，电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图3是本申请实施例提供的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统从上至下分别为应用程序层，硬件抽象层(Hardware Abstract Layer，HAL)、内核层、硬件层。另外，在应用程序层与HAL之间还包括应用程序框架层(Application Framework)(图3中未示出)，本申请实施例不做重点介绍。

应用程序层可以包括一系列应用程序包。如图3所示，应用程序包可以包括相机，图库等应用程序。

作为本申请的一个示例，相机应用支持超夜视频模式，电子设备在超夜视频模式下能够在夜景中拍摄出清晰、亮暗分明的视频。

作为本申请的一个示例，应用程序层还提供有预加载外置ISP服务。由于外置ISP内部的存储器通常是随机存取存储器(Random Access Memory，RAM)，根据RAM的特性可知，RAM在断电的情况下无法保存数据，所以，通常会将外置ISP在运行过程中所需使用的诸如外置ISP SDK、模型(譬如包括下文所述的第一目标模型、第二目标模型)之类的数据存储在系统内存中。在启动相机应用时，应用程序层开启预加载外置ISP服务，使得外置ISP驱动控制外置ISP提前上电，将外置ISP运行过程中所需的数据从系统内存中加载至外置ISP内部的RAM，便于外置ISP能够在超夜视频模式下执行对应的功能(譬如数据融合、图像增强处理等功能)。

作为本申请的一个示例，图库应用程序中可以提供由摄像头录制的视频，如此用户可以从图库应用程序中查看所录制的视频。

HAL层主要包括视频模块，用于通过摄像头的图像感知器获取RAW数据，并分别通过外置ISP、内置ISP对RAW数据进行融合、增强、优化等处理，得到增强清晰度和降噪效果的视频帧。之后将得到的视频帧发送至显示屏进行显示。另外，视频模块还将录制的视频存至图库应用程序中，以便于用户查看。

在一个示例中，视频模块包括图像感应器节点、内置ISP节点、外置ISP节点。各个节点可以理解为是对底层硬件执行的功能的封装，可供上层(应用程序层)感知和调用。示例性地，图像感应器节点是对底层摄像头中的图像感应器的功能的封装；内置ISP节点是对底层内置ISP的功能的封装；外置ISP节点是对底层外置ISP的功能的封装。在实施中，视频模块通过图像感应器节点、内置ISP节点、外置ISP节点之间的交互实现上述功能。

外置ISP节点内部包括多个子模块，譬如包括路由子模块、第一预处理子模块、增强子模块。同理，多个子模块中的各个子模块可以理解为分别是对底层外置ISP中不同硬件的功能的封装，作为本申请的一个示例，路由子模块是对底层外置ISP中SIF的功能的封装，第一预处理子模块是对底层外置ISP中IFE的功能的封装，增强子模块是对底层外置ISP中神经网络处理器(neural network processing unit，NPU)的功能的封装。在实施中，外置ISP通过多个子模块的交互实现对应的功能。

内置ISP节点的内部包括多个子模块，譬如包括第二预处理子模块以及优化处理子模块。多个子模块中的各个子模块可以理解为分别是对底层内置ISP中不同硬件的功能的封装，作为本申请的一个示例，第二预处理子模块是对内置ISP中的一个或者多个图像前端引擎(image front end，IFE)的功能的封装；优化处理子模块是对底层内置ISP中的图像处理器(image processing engine，IPE)的功能的封装。在实施中，内置ISP通过多个子模块的交互实现对应的功能。

另外，HAL层还包括外置ISP软件开发包(software development kit，SDK)，用于建立起外置ISP节点内部的多个子模块之间的交互。

内核层是硬件和软件之间的层。内核层包括但不限于摄像头驱动，内置ISP驱动，外置ISP驱动。

硬件层包括但不限于摄像头、内置ISP、外置ISP、显示屏。

下面结合夜景中录制视频，示例性说明电子设备100软件以及硬件的工作流程。

在一个实施例中，若相机应用检测到在超夜视频模式下开启了视频拍摄，则向HAL层的视频模块下发通知。视频模块接收到通知后，建立起用于处理夜景视频的框架。具体地，视频模块通知摄像头驱动控制摄像头上电，以及通知内置ISP驱动控制内置ISP上电。相应的，摄像头驱动对摄像头进行驱动，摄像头加载完成后，通知摄像头驱动，由摄像头驱动通知视频模块摄像头已完成加载。另外，内置ISP驱动对内置ISP进行驱动，内置ISP加载完成后，通知内置ISP驱动，由内置ISP驱动通知视频模块内置ISP已完成加载。

视频模块在确定摄像头、内置ISP和外置ISP(示例性的，加载时机是在相机应用启动后)均加载完成后，搭建起图像感应器节点、内置ISP节点以及外置ISP节点之间的交互。如此，就可以通过调用视频模块采集视频数据并进行处理，具体实现可以参见下文。

在介绍完本申请实施例涉及的名词和执行主体后，接下来以电子设备是包括多个后置摄像头的手机为例，对本申请实施例涉及的应用场景进行介绍。

手机中存在相机应用，请参考图4中的(a)图，在一个实施例中，用户想要通过手机拍摄夜景视频，此时，用户可以点击手机中的相机应用的应用图标。响应于用户对相机应用的应用图标的触发操作，手机启动后置摄像头中的主摄像头，并为用户展示如图4中的(b)图所示的第一界面。

作为本申请的一个示例，第一界面中提供有“夜景”选项41，用户可以触发“夜景”选项41，响应于用户对“夜景”选项41的触发操作，手机展示夜景模式下的操作界面(称为第二界面)，示例性地，第二界面如图4中的(c)图所示。第二界面中提供有第一切换选项42和第二切换选项43，其中，第一切换选项43用于在前置摄像头和后置摄像头之间进行切换。第二切换选项43用于在拍照模式和视频拍摄模式之间进行切换。

在一个示例中，在进入夜景模式后，也即在从图4中的(b)图切换到图4中的(c)图后，手机默认处于拍照模式(本申请实施例以该种模式为例进行说明)，当用户想要拍摄夜景视频时，可以触发第二切换选项43，响应于用户对第二切换选项43的触发操作，手机从拍照模式切换至视频拍摄模式。

在另一个示例中，在进入夜景模式后，也即在从图4中的(b)图切换到图4中的(c)图后，手机也可以默认处于视频拍摄模式，在该种情况下，若用户想要拍摄夜景图像，可以触发第二切换选项43，响应于用户对第二切换选项43的触发操作，手机从视频拍摄模式切换至拍照模式。

在一个实施例中，第二界面中还提供有拍摄选项44，用户可以触发拍摄选项44。响应于用户对拍摄选项44的触发操作，手机通过摄像头(如主摄像头)录制视频，譬如请继续参考图4，视频录制界面如图4中的(d)图所示。作为本申请的一个示例，在夜景场景下，手机通过本申请提供的方法对摄像头采集的视频数据进行处理，从而使得最终能够拍摄出画面清晰的视频帧。其中这里所述的画面清晰是指高亮区域不会过于曝光，暗调区域不会过暗。

在一个示例中，请继续参考图4中的(d)图，视频录制界面中提供有暂停选项45。在视频录制过程中，当用户想要暂停视频录制时，可以触发暂停选项45，响应于用户对暂停选项45的触发操作，手机暂停视频录制。

在一个示例中，请继续参考图4中的(d)图，视频录制界面中提供有抓拍选项46。在视频录制过程中，当用户想要抓拍某个视频帧时，可以触发抓拍选项46，响应于用户对抓拍选项46的触发操作，手机执行抓拍操作，并存储抓拍到的视频帧。

在一个示例中，请继续参考图4中的(d)图，视频录制界面中还提供有用于调焦的调焦项47。在视频录制过程中，当用户想要调焦时，可以触发调焦项47，譬如从1倍焦向长焦调整，比如调整至多倍焦(如2倍焦)，或者从1倍焦向广角调整，比如调整至0.8倍焦。响应于用户对调焦项47的触发操作，手机对主摄像头进行调焦，或者切换至其他辅摄像头进行视频采集。譬如，当用户从1倍焦调整至n倍焦，n大于1且小于2时，手机对主摄像头进行调焦，当n大于或等于2时，手机从主摄像头切换至其他辅摄像头(比如切换至长焦摄像头)。再如，当用户从1倍焦向广角调整时，手机从主摄像头切换至广角摄像头。在本申请实施例中，无论是调焦前还是调焦后，均可以对当前进行视频录制的摄像头所采集的视频数据进行处理，以使得最终得到画面清晰的视频帧。

请参考图5，第一界面中提供有“更多”选项51。作为本申请的一个示例，当用户想要拍摄夜景视频时，可以触发“更多”选项51。响应于用户对“更多”选项51的触发操作，手机展示第三界面，譬如第三界面如图5中的(b)图所示。作为本申请的一个示例，在第三界面中提供有“夜景录像”选项52，“夜景录像”选项52用于触发夜景场景下的视频录制功能，也即相比于图4所示的示例，这里也可以单独设立一个用于拍摄夜景视频的选项。当用户想要通过手机录制夜景视频时可以触发“夜景录像”选项52。响应于用户对“夜景录像”选项52的触发操作，手机展示夜景模式下的操作界面(称为第四界面)，示例性地，第四界面如图5中的(c)图所示。

在一个实施例中，第四界面中提供有拍摄选项53，用户可以触发拍摄选项53。响应于用户对拍摄选项53的触发操作，手机通过摄像头(如主摄像头)录制视频，譬如，视频录制界面如图5中的(d)图所示。另外，第四界面中还可以提供有第一切换选项54，第一切换选项54用于在前置摄像头和后置摄像头之间进行切换。与图4所示实施例不同的是，这里不需要在第四界面中提供第二切换选项，也即单独在“更多”选项下提供用于触发夜景视频录制的“夜景录像”选项52。

当然需要说明的是，上述是以夜景拍摄为例进行说明，在另一个实施例中，本申请实施例提供的方法还可以应用于常规的视频录制场景，譬如可以参考图5中的(a)图，在用户通过“录像”选项触发电子设备执行视频录制后，电子设备仍可以采用本申请实施例提供的方法对采集的视频数据进行处理。在另一个实施例中，该方法还可以应用于相机预览场景，也即电子设备在启动相机进入预览状态时，可以采用本申请实施例提供的方法对预览图像进行处理。

请参考图6，接下来结合图3所示的系统架构对本申请实施例提供的生成视频帧的方法实现流程进行详细介绍。作为示例而非限定，该方法应用于电子设备中，电子设备通过图3所示的各个节点之间的交互实现，该方法可以包括如下几个实现步骤：

601：图像感应器节点获取第一RAW数据。

在实施中，电子设备启动相机应用。示例性地，如图4中的(a)图所示，电子设备的显示界面中提供有相机应用的应用图标。当检测到用户对应用图标的触发操作时，电子设备响应于用户的触发操作，启动相机应用。

在一个示例中，相机应用在检测到超夜视频模式下的视频拍摄的触发操作的情况下，确定接收到夜景视频拍摄指令。相机应用向视频模块下发夜景视频拍摄请求。示例性地，请参考图4实施例中的交互流程，电子设备在基于第二界面提供的第二切换选项检测到进入超夜视频模式后，若检测到用户对拍摄选项44的触发操作，则生成夜景视频拍摄请求，并向视频模块下发夜景视频拍摄请求。

视频模块接收夜景视频拍摄请求后，建立起用于处理夜景视频的框架，具体实现可以参见前文。之后，图像感应器节点通过摄像头中的图像感应器采集捕捉光源信号，并将捕捉到的光源信号转化为数据信号，得到第一RAW数据。示例性地，第一RAW数据为4K60的交错式高动态域(staggered high dynamic range，SHDR)数据，其中，4K60是指分辨率是4K、帧率是60帧/秒。

在一个实施例中，第一RAW数据包括长曝光数据和短曝光数据，长曝光数据是指图像感应器通过长曝光方式采集的数据，短曝光数据是指图像感应器通过短曝光方式采集的数据。也即在一个曝光时长内进行两次曝光，以得到第一RAW数据。示例性地，以第一RAW数据为4K60的SHDR数据为例，摄像头在每个33ms内曝光两次，如此得到60帧的视频数据。

值得一提的是，长短曝光结合，可以有效的提升视频帧的动态范围，高亮区域通过短曝光防止过曝，暗部区域通过长曝光提亮以防止欠曝光。

602：图像感应器节点向外置ISP节点发送第一RAW数据。

示例性地，图像感应器节点将4K60的SHDR数据发送给外置ISP节点，以通过外置ISP节点进行融合、增强等处理。

作为本申请的一个示例，第一RAW数据先到达外置ISP节点中的路由子模块。

603：路由子模块对第一RAW数据进行复制、路由处理。

电子设备在夜景场景中拍摄视频时，为了能够得到清晰的视频帧，一方面，可以对采集的第一RAW数据进行增强等处理，另一方面，可以根据摄像头采集的第一RAW数据统计曝光数据，得到第一曝光数据，之后根据第一曝光数据动态调整摄像头的曝光参数。

为此，作为本申请的一个示例，由外置ISP节点中的路由子模块对第一RAW数据进行复制、路由处理。在实施中，路由子模块对第一RAW数据进行复制，为了便于区分，将经复制后得到的RAW数据称为第二RAW数据，如此可以得到两份RAW数据(包括第一RAW数据和第二RAW数据)。之后，将得到的两份RAW数据进行路由处理，具体地，路由子模块将其中一份RAW数据(譬如第一RAW数据)传输给第一预处理子模块进行处理，将另一份RAW数据(譬如第二RAW数据)用于后续内置ISP节点统计第一曝光数据。

604：第一预处理子模块对第一RAW数据进行预处理。

由于受到摄像头的物理器件不理想等因素的影响，可能导致第一RAW数据存在一定的缺陷，譬如存在受到暗电流影响、图像周边的亮度衰减，以及存在坏点等问题，所以通常在对第一RAW数据进行融合和降噪处理之前，第一预处理子模块先对第一RAW数据进行预处理，以对第一RAW数据进行修正。

作为示例而非限定，预处理包括但不限于镜头校正(lens shading correction，LSC)处理、黑电平补偿(black level compensation，BLC)处理、坏像素校正(bad pixelcorrection，BPC处理)、颜色插值处理中的至少一项。

605：第一预处理子模块将预处理后的第一RAW数据发送给增强子模块。

譬如，第一预处理子模块将预处理后的4K60的SHDR数据发送给增强子模块。

606：增强子模块对预处理后的第一RAW数据进行融合和降噪处理。

作为本申请的一个示例，对预处理后的第一RAW数据进行融合处理的具体实现可以包括：将预处理后的第一RAW数据输入至第一目标模型中进行处理，输出融合后的数据。第一目标模型能够基于任意的长曝光数据和短曝光数据确定融合数据。

示例性地，若预处理后的第一RAW数据是4K60的SHDR数据，则将4K60的SHDR数据输入至第一目标模型中，经过融合处理后得到的数据是4K30数据。也即第一目标模型在做融合处理时，是将同一时间段内经连续两次曝光得到的长曝光数据和短曝光数据进行融合，所以对于融合前的60帧数据，经过融合处理后即变为30帧。

其中，第一目标模型可以是预先训练好的融合网络模型。譬如第一目标模型可以是基于曝光样本数据对第一网络模型进行训练后得到的。在一个示例中，第一网络模型可以包括但不限于HDRnet。

之后，对融合后得到的视频数据进行降噪处理。作为本申请的一个示例，对融合后得到的视频数据进行降噪处理的具体实现可以包括：将融合后得到的视频数数据输入至第二目标模型中进行处理，输出降噪后的视频数据。第二目标模型能够对任意的视频数据进行降噪处理。

其中，第二目标模型可以是预先训练好的降噪网络模型。譬如第二目标模型可以是基于RAW样本数据对第二网络模型进行训练后得到的。在一个示例中，第二网络模型可以包括但不限于Unet。

607：增强子模块输出降噪处理后的视频数据，以及路由子模块输出第二RAW数据。

具体地，增强子模块将降噪处理后的视频数据发送给第二预处理子模块，以及路由子模块将第二RAW数据也发送给第二预处理子模块。不难理解，增强子模块输出的视频数据是4K30数据，用于浏览和记录；路由子模块输出的第二RAW数据是4K60数据，用于计算3A和可能的拍照需求。

需要说明的是，由于外置ISP节点对图像感应器采集的第一RAW数据进行了融合、降噪等处理，所以，外置ISP节点输出的视频数据与图像感应器输出的第一RAW数据之间一般会存在一定的时延。比如存在一帧的时延，举例来说，若图像感应器输出的是t时刻的第一RAW数据，则同时外置ISP节点输出的是t-1时刻的视频数据。

另外，外置ISP节点控制增强子模块与路由子模块同步输出，也即降噪处理后的视频数据与第二RAW数据同步传输给第二预处理子模块。

608：第二预处理子模块对增强子模块输出的视频数据进行处理，以及基于第二RAW数据统计第一曝光数据，调整曝光参数。

作为本申请的一个示例，第二预处理子模块对增强子模块输出的视频数据的处理包括：对增强子模块输出的视频数据再次进行预处理，譬如可以包括但不限于LSC处理、BLC处理、BPC处理、颜色插值处理中的至少一项，以进一步减小视频数据的噪声。之后，将经过再次预处理后的视频数据进行RGB转换，并对RGB转换后得到的视频图像进行压缩处理，得到YUV图像。

需要说明的是，本申请实施例中所述的第二预处理子模块再次对增强子模块输出的视频数据进行预处理是可选的，在另一个实施例中，第二预处理子模块也可以直接基于增强子模块输出的视频数据进行RGB转换，本申请实施例对此不作限定。

另外，第二预处理子模块基于所接收的第二RAW数据确定第一曝光数据，并根据第一曝光数据确定当前的曝光程度是否合理，若不合理，再去调整摄像头的曝光参数。其中第一曝光数据的取值范围是(0，255)。在一个示例中，第二预处理子模块将第一曝光数据与曝光阈值进行比较，若第一曝光数据与曝光阈值之间的差值大于阈值范围，则按照一定的调整步长逐渐调整第一曝光数据，得到目标曝光数据。第二预处理子模块将目标曝光数据发送给摄像头，以使得摄像头调整图像感应器的曝光参数，最终的目的是使得根据第二RAW数据统计的曝光数据与曝光阈值接近或相同。

其中，调整步长可以根据实际需求进行设置。曝光阈值可以根据实际需求进行设置。阈值范围也可以根据实际需求进行设置。

譬如，曝光阈值为128，阈值范围为[0,5]，调整步长为4。若第一曝光数据为86，说明需要提高曝光参数，此时可以按照调整步长调整第一曝光数据，得到目标曝光数据为90。第二预处理子模块将目标曝光数据90发送给摄像头，以使摄像头将图像感应器的曝光参数调整为90。并再次根据下次接收的第二RAW数据统计曝光数据，按照上述方法调整图像感应器的曝光参数，直到统计的曝光数据接近或等于128为止。

值得一提的是，通过逐步调整曝光数据的方式使得摄像头的曝光参数与曝光阈值相接近或相同，可以使得视频帧的曝光变化平滑过度。

609：第二预处理子模块向优化处理子模块发送YUV图像和目标曝光数据。

根据前文所述可知，目标曝光数据是根据第一曝光数据确定的，调整后的曝光数据。譬如，若第一曝光数据是100，第二预处理子模块确定需要将图像感应器的曝光参数调整至200，则目标曝光数据是200。

作为本申请的一个示例，由于第二预处理子模块对图像感应器的曝光参数进行了调整，所以后续通过图像感应器获得的视频数据的增益发生了变化，为了能够便于优化处理子模块对下一次接收到的YUV图像进行合理的降噪处理，第二预处理子模块在调整图像感应器的曝光参数的同时，将目标曝光数据发送给优化处理子模块，便于优化处理子模块确定降噪参数，从而根据降噪参数对下一次接收到YUV图像进行合理的降噪处理。

作为本申请的一个示例，外置ISP节点中包括多个第二目标模型，多个第二目标模型中的每个第二目标模型对应有曝光数值范围，每个第二目标模型对应的曝光数值范围的数量可以为一个或者多个。根据前文所述可知，第二目标模型能够用于降噪处理，同理，为了能够对下一次的视频数据进行合理的降噪处理，第二预处理子模块还可以将目标曝光数据发送给外置ISP节点，以便于外置ISP节点确定第二预处理子模块反馈的目标曝光数据所属的曝光数值范围，从而根据所确定的曝光数值范围，从多个第二目标模型中选择对应的第二目标模型，选择的第二目标模型用于下一次的降噪处理。

610：优化处理子模块基于接收的数据进行图像优化处理。

优化处理子模块根据目标曝光数据对YUV图像进行优化，譬如对YUV图像进行降噪处理，从而得到画面清晰、明朗的视频帧。

611：优化处理子模块将得到的视频帧送显。

也即，优化处理子模块将图像优化处理后得到的视频帧发送给显示屏进行显示。

需要说明的是，上述是以第二预处理子模块接收第二RAW数据后统计第一曝光数据，调整图像感应器的曝光参数为例进行说明。在实施中，第二预处理子模块还基于第二RAW数据统计AWB和AF，并将AWB发送给优化处理子模块，以便于优化处理子模块在图像优化处理过程中进行白平衡调整。另外第二预处理子模块将AF发送给摄像头，以便于摄像头根据AF进行调整处理。

在本申请实施例中，在超夜视频模式下，通过外置ISP对视频数据进行融合和降噪处理，将处理后的视频数据发送给内置ISP，并为内置ISP提供原始的视频数据，以便于内置ISP可以根据原始的视频数据确定目标曝光数据。如此，内置ISP即可基于外置ISP提供的处理后的视频数据和确定的目标曝光数据，生成画面清晰的视频帧。

请参考图7，图7是根据一示例性实施例示出的一种硬件的结构示意图，本申请实施例涉及的硬件主要包括摄像头、外置ISP和内置ISP。其中外置ISP内部包括多个接口、路由单元、前端处理单元以及后端处理单元，路由单元与前端处理单元相连接，前端处理单元与后端处理单元相连接，路由单元用于执行图6实施例中路由子模块的功能，前端处理单元用于执行图6实施例中第一预处理子模块的功能，后端处理单元用于执行图6中增强子模块的功能，在一个示例中，前端处理单元包括IFE，后端处理单元包括NPU；内置ISP内部包括第一ISP前端单元、第二ISP前端单元以及ISP后端单元，第一ISP前端单元与ISP后端单元相连接，第二ISP前端单元与ISP后端单元相连接，第一ISP前端单元和第二ISP前端单元用于执行图6中第二预处理子模块的功能，ISP后端单元用于执行图6中优化处理子模块的功能。在一个示例中，第一ISP前端单元包括IFE0，第二ISP前端单元包括IFE1，ISP后端单元包括IPE。

需要说明的是，上述仅是示例性的示出了外置ISP和内置ISP内部包括的多个单元，但并不对其结构的组成部分构成限定。在一些实施例中，外置ISP或内置ISP的内部还可能包括其他单元，本申请实施例对此不作限定。

接下来结合附图7所示的硬件框架图，对本申请实施例提供的生成视频帧的方法流程进行介绍，具体地：

701：外置ISP接收来自摄像头的第一RAW数据。

在一个实施例中，第一RAW数据可能是来自电子设备的主摄像头。在另一个实施例中，第一RAW数据也可能是来自电子设备的辅摄像头。比如在1倍焦的情况下，第一RAW数据来自电子设备的主摄像头，再如在3倍焦的情况下，第一RAW数据来自电子设备的辅摄像头，本申请实施例对此不做限定。

作为示例而非限定，如图7所示，外置ISP通过移动行业处理器接口(mobileindustry processor interface，Mipi)0接收来自摄像头的第一RAW数据。

702：外置ISP通过路由单元对第一RAW数据进行复制、路由处理。

作为本申请的一个示例，外置ISP首先通过路由单元对第一RAW数据进行复制，如此可以得到另一份RAW数据，这里将其称为第二RAW数据。之后，路由单元对这两份RAW数据进行路由处理，示例性地，将其中一份RAW数据(譬如第一RAW数据)传输给外置ISP中的前端处理单元，由前端处理单元基于这一份第一RAW数据进行预处理，并将预处理后得到的第一RAW数据发送给外置ISP中的后端处理单元，由后端处理单元进行融合和降噪处理；另一份RAW数据(譬如第二RAW数据)用于直接输出给内置ISP。

其中前端处理单元对RAW数据的预处理可以参见上述图6所示实施例，后端处理单元对预处理后的RAW数据的融合和降噪处理也可以参见上述图6所示实施例。

需要说明的是，上述仅是以将第一RAW数据传输给外置ISP中的前端处理单元以及将第二RAW数据直接输出给内置ISP为例进行说明。在另一实施例中，也可以将第二RAW数据传输给外置ISP中的前端处理单元，以及将第一RAW数据直接输出给内置ISP，本申请实施例对此不作限定。

703：后端处理单元输出降噪处理后的视频数据，以及路由单元输出第二RAW数据。

示例性地，后端处理单元通过外置ISP的Mipi0接口，将降噪处理后的视频数据发送给内置ISP，路由单元通过外置ISP的Mipi1接口将另一份60帧的第二RAW数据发送给内置ISP。

704：内置ISP接收后端处理单元输出的视频数据，以及路由单元输出的第二RAW数据。

在一个示例中，内置ISP通过第一ISP前端单元接收后端处理单元输出的视频数据，然后由第一ISP前端单元对后端处理单元输出的视频数据进行处理，譬如进行RGB转换，并将转换后的RGB图像进行压缩，得到YUV图像。在一些实施例中，第一ISP前端单元在进行数据格式转换之前，还可以对所接收的视频数据进行预处理，譬如预处理包括但不限于颜色校正、下采样、去马赛克等。

之后，第一ISP前端单元将YUV图像传输给ISP后端单元进行处理。在一个示例中，ISP后端单元主要用于诸如硬件降噪、图像的裁剪、降噪、颜色处理、细节增强等图像处理工作，示例性地，硬件降噪包括多帧降噪(multi-frame noise reduction，MFNR)、多帧超分辨率(multi-frame super resolution，MFSR)。

在一个示例中，内置ISP通过第二ISP前端单元接收路由单元输出的第二RAW数据。第二ISP前端单元在接收到第二RAW数据后，基于第二RAW数据确定第一曝光数据，并根据第一曝光数据确定当前的曝光程度是否合理，若不合理，确定目标曝光数据，并根据目标曝光数据去调整摄像头的曝光参数。示例性地，第二ISP前端单元通过I2C接口将目标曝光数据发送给摄像头，以对摄像头进行控制。其具体实现可以参见图6所示实施例。

进一步地，第二ISP前端单元还基于第二RAW数据统计AF，并通过I2C接口将AF发送给摄像头，以便于摄像头根据AF进行调整处理。

除此之外，第二ISP前端单元还基于第二RAW数据统计AWB、颜色等数据。第二ISP前端单元将3A、颜色等数据传输给ISP后端单元，以便于ISP后端单元根据第二ISP前端单元传输的数据对YUV图像进行优化，譬如对YUV图像进行降噪处理，从而得到画面清晰、明朗的视频帧。

此外，第二ISP前端单元还可以通过外设接口，将目标曝光数据发送给外置ISP，以便于外置ISP根据目标曝光数据，从多个用于降噪处理的第二目标模型中选择一个第二目标模型，从而根据选择的第二目标模型，对下一次的视频数据进行降噪处理。示例性地，外设接口可以为安全数据输入和输出(secure digital input and output，SDIO)接口。

705：内置ISP输出视频帧。

具体地，内置ISP通过ISP后端单元输出视频帧，以将视频帧显示在显示屏上。

请参考图8，图8是根据一示例性实施例示出的一种生成视频帧的方法流程的示意图。作为示例而非限定，该方法可以应用于上述电子设备中，电子设备包括图像感应器、第一图像信号处理模块以及第二图像信号处理模块。第二图像信号处理模块是具有视频数据处理功能的模块，第一图像信号处理模块是能够获取视频数据且具有视频数据处理功能的模块。作为本申请的一个示例，第二图像信号处理模块包括SOC中集成的ISP，也即包括上述内置ISP，第一图像信号处理模块包括SOC外部的ISP，也即包括上述外置ISP。电子设备通过图像感应器、第一图像信号处理模块和第二图像信号处理模块实现生成视频帧的方法，该方法可以包括如下内容：

步骤801：图像感应器输出第一RAW数据。

譬如请参考图6所示实施例中的步骤601，第一RAW数据是图像感应器获取的原始的RAW数据，也即第一RAW数据为原始视频数据。

在一个示例中，步骤801的具体实现可以包括：通过电子设备中的相机应用检测到夜景视频拍摄指令，夜景视频拍摄指令用于指示在夜景模式下进行视频录制。响应于夜景视频拍摄指令，图像感应器输出第一RAW数据。

步骤802：第一图像信号处理模块获取第一RAW数据。

步骤803：第一图像信号处理模块复制第一RAW数据，得到第二RAW数据。

示例性地，请参考图6所示实施例中的步骤603，第二RAW数据可以是由路由子模块对RAW数据进行复制后得到的另一份RAW数据。

步骤804：第一图像信号处理模块对第一RAW数据进行图像增强处理，得到视频增强数据。

作为本申请的一个示例，第一RAW数据包括同一时间段内采集的长曝光数据和短曝光数据。在该种情况下，步骤804的具体实现可以包括：第一图像信号处理模块将长曝光数据和短曝光数据进行融合处理，得到融合RAW数据。第一图像信号处理模块对融合RAW数据进行降噪处理，得到视频增强数据。

作为本申请的一个示例，第一图像信号处理模块将长曝光数据和短曝光数据进行融合处理的具体实现可以包括：第一图像信号处理模块将长曝光数据和短曝光数据输入至第一目标模型中，由第一目标模型进行融合处理，第一目标模型能够对任意的长曝光和短曝光数据进行融合处理。

作为本申请的一个示例，第一图像信号处理模块将长曝光数据和短曝光数据进行融合处理，得到融合RAW数据之前，还包括：第一图像信号处理模块对长曝光数据和短曝光数据进行预处理，预处理包括LSC处理、BLC处理、BPC处理、颜色插值处理中的至少一项。该种情况下，第一图像信号处理模块将长曝光数据和短曝光数据进行融合处理的具体实现包括：第一图像信号处理模块将预处理后的长曝光数据和短曝光数据进行融合处理，得到融合RAW数据。

作为本申请的一个示例，第一图像信号处理模块对融合RAW数据进行降噪处理的具体实现可以包括：第一图像信号处理模块将融合RAW数据输入至第二目标模型中，由第二目标模型进行降噪处理，第二目标模型能够对任意的RAW数据进行降噪处理。

作为本申请的一个示例，第一图像信号处理模块中包括多个第二目标模型，多个第二目标模型中的每个第二目标模型对应有曝光数值范围。在该种情况下，第一图像信号处理模块将融合RAW数据输入至第二目标模型中之前，还包括：第一图像信号处理模块接收目标曝光数据，目标曝光数据是由第二图像信号处理模块基于第一曝光数据确定，第一曝光数据是由第二图像信号处理模块基于第二RAW数据进行曝光数据统计得到，目标曝光数据用于调整电子设备的图像感应器的曝光参数。第一图像信号处理模块根据目标曝光数据、以及每个第二目标模型对应的曝光数值范围，从多个第二目标模型中选择一个第二目标模型，选择的第二目标模型用于降噪处理。

示例性地，请参考图6所示的实施例，上述预处理过程由第一预处理子模块执行，融合和降噪处理过程由增强子模块执行。该种情况下，视频增强数据是指由增强子模块输出的视频数据，第二RAW数据是指由路由子模块输出的视频数据。

步骤805：第一图像信号处理模块将视频增强数据以及第二RAW数据发送给第二图像信号处理模块。

示例性地，请参考图6所示实施例，第一图像信号处理模块分别将视频增强数据和第二RAW数据发送给第二预处理子模块。

步骤806：第二图像信号处理模块基于视频增强数据和第二RAW数据，生成视频帧。

在一个示例中，步骤806的具体实现包括：第二图像信号处理模块对视频增强数据进行格式转换处理，得到YUV图像。第二图像信号处理模块基于第二RAW数据，确定目标数据，目标数据用于调整YUV图像的图像质量。第二图像信号处理模块基于目标数据调整YUV图像，并将调整后的YUV图像作为视频帧。

在一个示例中，目标数据包括但不限于3A数据、颜色。

在本申请实施例中，由第一图像信号处理模块获取第一RAW数据，复制第一RAW数据，得到第二RAW数据。基于第一RAW数据进行图像增强处理，得到视频增强数据。将视频增强数据和第二RAW数据发送给第二图像信号处理模块。第二图像信号处理模块基于视频增强数据和第二RAW数据生成视频帧。也即通过第一图像信号处理模块进行图像增强处理，且第一图像信号处理模块为第二图像信号处理模块还提供了可以用于调整曝光参数的第二RAW数据，如此可以保证能够得到清晰的视频帧。

应理解，上述实施例中各步骤的序号并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、RAM、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种生成视频帧的方法，其特征在于，应用于电子设备，所述电子设备包括图像感应器、第一图像信号处理模块以及第二图像信号处理模块，所述第一图像信号处理模块包括芯片级系统SOC外部的图像信号处理器ISP，所述第二图像信号处理模块包括所述SOC中集成的ISP，所述方法包括：

所述图像感应器输出第一原始数据；

所述第一图像信号处理模块获取所述第一原始数据；

所述第一图像信号处理模块复制所述第一原始数据，得到第二原始数据；

所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，得到视频增强数据；

所述第一图像信号处理模块将所述视频增强数据以及所述第二原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块基于所述视频增强数据和所述第二原始数据，生成视频帧，所述第二原始数据还用于所述第二图像信号处理模块调整所述电子设备的摄像头的曝光参数。

2.根据权利要求1所述的方法，其特征在于，所述第一原始数据包括同一时间段内采集的长曝光数据和短曝光数据，所述第一图像信号处理模块对所述第一原始数据进行图像增强处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，得到融合原始数据；

所述第一图像信号处理模块对所述融合原始数据进行降噪处理。

3.根据权利要求2所述的方法，其特征在于，所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，包括：

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据输入至第一目标模型中，由所述第一目标模型进行融合处理，所述第一目标模型能够对任意的长曝光数据和短曝光数据进行融合处理。

4.根据权利要求2所述的方法，其特征在于，所述第一图像信号处理模块对所述融合原始数据进行降噪处理，包括：

所述第一图像信号处理模块将所述融合原始数据输入至第二目标模型中，由所述第二目标模型进行降噪处理，所述第二目标模型能够对任意的原始数据进行降噪处理。

5.根据权利要求4所述的方法，其特征在于，所述第一图像信号处理模块中包括多个第二目标模型，所述多个第二目标模型中的每个第二目标模型对应有曝光数值范围；

所述方法还包括：

所述第一图像信号处理模块接收目标曝光数据，所述目标曝光数据是由所述第二图像信号处理模块基于第一曝光数据确定，所述第一曝光数据是由所述第二图像信号处理模块基于所述第二原始数据进行曝光数据统计得到，所述目标曝光数据用于调整所述图像感应器的曝光参数；

所述第一图像信号处理模块根据所述目标曝光数据、以及所述每个第二目标模型对应的曝光数值范围，从所述多个第二目标模型中选择一个第二目标模型，选择的第二目标模型用于降噪处理。

6.根据权利要求2所述的方法，其特征在于，所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理之前，还包括：

所述第一图像信号处理模块对所述长曝光数据和所述短曝光数据进行预处理，所述预处理包括镜头校正LSC处理、黑电平补偿BLC处理、坏像素校正BPC处理、颜色插值处理中的至少一项；

所述第一图像信号处理模块将所述长曝光数据和所述短曝光数据进行融合处理，包括：

所述第一图像信号处理模块将预处理后的所述长曝光数据和所述短曝光数据进行融合处理。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述第二图像信号处理模块基于所述视频增强数据和所述第二原始数据，生成视频帧，包括：

所述第二图像信号处理模块对所述视频增强数据进行格式转换处理，得到YUV图像；

所述第二图像信号处理模块基于所述第二原始数据，确定目标数据，所述目标数据用于调整所述YUV图像的图像质量；

所述第二图像信号处理模块基于所述目标数据调整所述YUV图像，并将调整后的所述YUV图像作为所述视频帧。

8.根据权利要求1-6中任一项所述的方法，其特征在于，所述图像感应器输出第一原始数据，包括：

通过所述电子设备中的相机应用检测到夜景视频拍摄指令，所述夜景视频拍摄指令用于指示在夜景模式下进行视频录制；

响应于所述夜景视频拍摄指令，所述图像感应器输出所述第一原始数据。

9.一种生成视频帧的装置，其特征在于，所述装置包括：图像感应器节点、第一图像信号处理模块以及第二图像信号处理模块，所述第一图像信号处理模块包括芯片级系统SOC外部的图像信号处理器ISP，所述第二图像信号处理模块包括所述SOC中集成的ISP；

所述图像感应器节点，用于输出第一原始数据；

所述第一图像信号处理模块，用于获取所述第一原始数据，复制所述第一原始数据，得到第二原始数据，对所述第一原始数据进行图像增强处理，得到视频增强数据，将所述视频增强数据以及所述第二原始数据发送给所述第二图像信号处理模块；

所述第二图像信号处理模块，用于基于所述视频增强数据和所述第二原始数据，生成视频帧，所述第二原始数据还用于所述第二图像信号处理模块调整所述装置的摄像头的曝光参数。

10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；

所述存储器用于存储支持所述电子设备执行权利要求1-8任一项所述的方法的程序，以及存储用于实现权利要求1-8任一项所述的方法所涉及的数据；所述处理器被配置为用于执行所述存储器中存储的程序。

11.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当其在计算机上运行时，使得计算机执行权利要求1-8任一项所述的方法。