CN117440241A - 一种视频处理方法及装置 - Google Patents

Abstract

本申请涉及图像处理技术领域，公开了一种视频处理方法及装置，用以提高摄像模组切换前后画面的一致性，减少画质突变，提升观感。本申请中，切换后的第二摄像模组采集的原始图像中与切换前的第一摄像模组采集的原始图像中的画面重叠的区域采用相同的色调映射参数来进行色调映射处理。针对全局色调映射来说，切换前后图像采用相同的全局色调映射曲线。针对局部色调映射来说，保证匹配上的子图像块之间采用相同的局部色调映射曲线，从而保证切换前后相同画面的对比度保持一致，减少画质突变，提升观感。

Description

一种视频处理方法及装置

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种视频处理方法及装置。

背景技术

随着对媒体技术的发展，用户对于更高质量的视频有着更多需求，比如包括更高分辨率、更高帧率、更高比特位宽、更广色域空间、更高动态范围等。目前视频类应用中一般会涉及到多摄像模组切换的场景，摄像头切换前后观感一致也是一个重要的体验点。目前通过切换前后摄像模组的进光差异来进行曝光配置，使得切换前后的亮度保障一致。但是仅保障亮度一致，依然会导致用户看到的画质出现突变，导致观感不一致。

发明内容

本申请实施例提供一种视频处理方法及装置，提高摄像模组切换前后画质的一致性，提升观感。

第一方面，本申请实施例提供一种视频处理方法，应用于采集端设备，所述采集端设备至少包括第一摄像模组和第二摄像模组，包括：响应于第一摄像模组启动操作，采用所述第一摄像模组采集第一视频流，所述第一视频流包括第一原始图像在内的连续多帧原始图像；响应于摄像模组的切换操作，开启所述第二摄像模组；所述第一摄像模组与所述第二摄像模组的视场角不同；对所述第二摄像模组采集的第二视频流进行图像处理得到第三视频流，所述图像处理包括色调映射处理；其中，所述第二视频流包括第二原始图像在内的连续多帧原始图像，所述第二原始图像中第一区域的色调映射处理采用第一色调映射参数，所述第一区域的画面与所述第一原始图像中第二区域的画面重叠；所述第一色调映射参数是根据对所述第一视频流的至少一帧原始图像中的第二区域进行色调映射处理时采用的色调映射曲线的参数确定的；所述至少一帧原始图像包括所述第一原始图像，所述第二原始图像的采集时刻与所述第一原始图像的采集时刻的间隔小于设定时长。

本申请实施例中，基于切换前的摄像模组采集的图像所采用的色调映射曲线来对切换后的摄像模组采集的画面相同的区域进行色调映射，使得切换前后相同区域的色调映射曲线的参数保持一致，来使得摄像模组切换前后的画面的对比度保持一致，提高观感的一致性。

在一种可能的设计中，所述采集端设备支持双路视频流，所述第二原始图像与所述第一原始图像为同步采集的图像；或者，所述采集端设备不支持双路视频流，所述第一原始图像为所述第一摄像模组采集的最后一帧图像，所述第二原始为所述第二摄像模组采集的第一帧图像。

上述设计中，在采集设备支持双路视频流的情况下，基于切换前的摄像模组采集的图像所采用的色调映射曲线来对切换后的摄像模组同步采集的图像中画面相同的区域进行色调映射使得切换前后相同区域的色调映射曲线的参数保持一致，来使得摄像模组切换前后的画面的对比度保持一致。在采集设备不支持双路视频流的情况下，基于切换前的摄像模组采集的最后一帧图像所采用的色调映射曲线来对切换后的摄像模组采集的第一帧图像中画面相同的区域进行色调映射使得切换前后相同区域的色调映射曲线的参数保持一致，来使得摄像模组切换前后的画面的对比度保持一致。

在一种可能的设计中，所述色调映射处理包括通过图像信号处理器ISP执行的第一色调映射和/或控制器调用程度代码执行的第二色调映射，所述第一色调映射参数包括第一色调映射对应的第一参数和/或第二色调映射对应的第二参数。

在一种可能的设计中，所述第一色调映射包括第一全局色调映射和/或第一局部色调映射；或者，所述第二色调映射包括第二全局色调映射和/或第二局部色调映射。

在一种可能的设计中，所述第三视频流中包括元数据，所述元数据包括所述第二参数。

在一种可能的设计中，所述第一摄像模组的视场角大于所述第二摄像模组的视场角，所述第二原始图像中第一区域为所述第二原始图像的全部区域；对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；所述第二子图像块为所述第二原始图像中任一子图像块；所述第一子图像块属于所述第一原始图像且所述第一子图像块为所述第一原始图像中与所述第二子图像块的画面重叠区域最大的子图像块。

上述设计中，通过子图像块的重叠区域来确定摄像模组切换前后匹配的子图像块，进而将切换前匹配的子图像块的色调映射曲线作用于切换后匹配的子图像块上，使得摄像模组切换前后的画面的对比度保持一致。

在一种可能的设计中，所述局部色调映射处理为第二局部色调映射，所述第一原始图像被分割的子图像块的规格与所述第二子图像块被分割的子图像块的规格不相同，所述第二子图像块与所述第一子图像块的画面重叠区域为所述第二子图像块。

在一种可能的设计中，所述第二参数包括所述第二原始图像被分割的每个子图像块的色调映射曲线的参数，所述视频流包括的元数据中还包括至少一个点的坐标，所述至少一个点的坐标用于确定所述第二原始图像被分割的每个子图像块的位置。

在一种可能的设计中，所述视频流包括的元数据中还包括第一标识，所述第一标识用于指示所述第二原始图像被分割的多个子图像块的规格不同。

在一种可能的设计中，所述第一摄像模组的视场角小于所述第二摄像模组的视场角，所述第一原始图像中第二区域为所述第一原始图像的全部区域，所述第二原始图像中除所述第一区域以外的区域的色调映射处理采用配置的第二色调映射参数。

在一种可能的设计中，对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；所述第二子图像块为所述第二原始图像的第一区域中的任一子图像块；至少一个第一子图像块属于所述第一原始图像，且所述至少一个第一子图像块中每个第一子图像块的画面与所述第二子图像块的画面均存在重叠。

在一种可能的设计中，所述第一原始图像分割的子图像块的规格与所述第二子图像块分割的子图像块的规格相同，所述第一原始图像分割的子图像块的数量与所述第二子图像块分割的子图像块的数量相同。

在一种可能的设计中，所述局部色调映射处理为第二局部色调映射，所述第二参数中包括所述第一原始图像被分割的每个子图像块的色调映射曲线的参数，所述第三视频流的元数据中还包括所述规格。

在一种可能的设计中，所述第三视频流的元数据中还包括第二标识，所述第二标识用于指示所述第二原始图像被分割的多个子图像块的规格相同。

在一种可能的设计中，所述第二原始图像中第一区域为所述第一原始图像的全部区域，所述第二原始图像中第一区域被分割的子图像块数量与所述第一原始图像被分割的子图像块的数量相同，所述第一区域被分割的子图像块的画面与所述第一原始图像被分割的子图像块的画面一一对应重叠。

在一种可能的设计中，所述采集端设备还包括显示组件，所述方法还包括：通过所述显示组件从所述第三视频流中解码元数据；根据所述元数据中的第二参数以及显示组件的屏幕亮度参数确定色调映射曲线；根据所述色调映射曲线对所述第三视频流中的图像帧进行色调映射处理。

在一种可能的设计中，从元数据中解析第一标识时，从元数据中解析至少一个点的坐标，根据至少一个点的坐标确定所述第二原始图像被分割的每个子图像块的位置。然后根据第二参数中每个子图像块的色调映射曲线的参数以及显示组件的屏幕亮度参数确定色调映射曲线。

在一种可能的设计中，从元数据中解析第二标识时，从元数据中解析规格，根据规格确定所述第二原始图像被分割的每个子图像块的位置。然后根据第二参数中每个子图像块的色调映射曲线的参数以及显示组件的屏幕亮度参数确定色调映射曲线。

第二方面，本申请实施例还提供一种采集端设备，至少包括第一摄像模组和第二摄像模组，还包括处理器，所述处理器用于执行：响应于第一摄像模组启动操作，采用所述第一摄像模组采集第一视频流，所述第一视频流包括第一原始图像在内的连续多帧原始图像；响应于摄像模组的切换操作，开启所述第二摄像模组；所述第一摄像模组与所述第二摄像模组的视场角不同；对所述第二摄像模组采集的第二视频流进行图像处理得到第三视频流，所述图像处理包括色调映射处理；其中，所述第二视频流包括第二原始图像在内的连续多帧原始图像，所述第二原始图像中第一区域的色调映射处理采用第一色调映射参数，所述第一区域的画面与所述第一原始图像中第二区域的画面重叠；所述第一色调映射参数是根据对所述第一视频流的至少一帧原始图像中的第二区域进行色调映射处理时采用的色调映射曲线的参数确定的；所述至少一帧原始图像包括所述第一原始图像，所述第二原始图像的采集时刻与所述第一原始图像的采集时刻的间隔小于设定时长。

在一种可能的设计中，所述采集端设备支持双路视频流，所述第二原始图像与所述第一原始图像为同步采集的图像；或者，所述采集端设备不支持双路视频流，所述第一原始图像为所述第一摄像模组采集的最后一帧图像，所述第二原始为所述第二摄像模组采集的第一帧图像。

在一种可能的设计中，所述处理器包括图像信号处理器ISP和控制器；所述色调映射处理包括通过图像信号处理器ISP执行的第一色调映射和/或控制器调用程度代码执行的第二色调映射，所述第一色调映射参数包括第一色调映射对应的第一参数和/或第二色调映射对应的第二参数。

在一种可能的设计中，所述第一色调映射包括第一全局色调映射和/或第一局部色调映射；或者，所述第二色调映射包括第二全局色调映射和/或第二局部色调映射。

在一种可能的设计中，所述第三视频流中包括元数据，所述元数据包括所述第二参数。

在一种可能的设计中，所述第一摄像模组的视场角大于所述第二摄像模组的视场角，所述第二原始图像中第一区域为所述第二原始图像的全部区域；所述处理器，具体用于对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；所述第二子图像块为所述第二原始图像中任一子图像块；所述第一子图像块属于所述第一原始图像且所述第一子图像块为所述第一原始图像中与所述第二子图像块的画面重叠区域最大的子图像块。

在一种可能的设计中，所述局部色调映射处理为第二局部色调映射，所述第一原始图像被分割的子图像块的规格与所述第二子图像块被分割的子图像块的规格不相同，所述第二子图像块与所述第一子图像块的画面重叠区域为所述第二子图像块。

在一种可能的设计中，所述第二参数包括所述第二原始图像被分割的每个子图像块的色调映射曲线的参数，所述视频流包括的元数据中还包括至少一个点的坐标，所述至少一个点的坐标用于确定所述第二原始图像被分割的每个子图像块的位置。

在一种可能的设计中，所述视频流包括的元数据中还包括第一标识，所述第一标识用于指示所述第二原始图像被分割的多个子图像块的规格不同。

在一种可能的设计中，所述第一摄像模组的视场角小于所述第二摄像模组的视场角，所述第一原始图像中第二区域为所述第一原始图像的全部区域，所述第二原始图像中除所述第一区域以外的区域的色调映射处理采用配置的第二色调映射参数。

在一种可能的设计中，所述处理器，具体用于对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；所述第二子图像块为所述第二原始图像的第一区域中的任一子图像块；至少一个第一子图像块属于所述第一原始图像，且所述至少一个第一子图像块中每个第一子图像块的画面与所述第二子图像块的画面均存在重叠。

在一种可能的设计中，所述第一原始图像分割的子图像块的规格与所述第二子图像块分割的子图像块的规格相同，所述第一原始图像分割的子图像块的数量与所述第二子图像块分割的子图像块的数量相同。

在一种可能的设计中，所述局部色调映射处理为第二局部色调映射，所述第二参数中包括所述第一原始图像被分割的每个子图像块的色调映射曲线的参数，所述第三视频流的元数据中还包括所述规格。

在一种可能的设计中，所述第三视频流的元数据中还包括第二标识，所述第二标识用于指示所述第二原始图像被分割的多个子图像块的规格相同。

在一种可能的设计中，所述第二原始图像中第一区域为所述第一原始图像的全部区域，所述第二原始图像中第一区域被分割的子图像块数量与所述第一原始图像被分割的子图像块的数量相同，所述第一区域被分割的子图像块的画面与所述第一原始图像被分割的子图像块的画面一一对应重叠。

在一种可能的设计中，还包括显示组件；所述显示组件，用于执行：从所述第三视频流中解码元数据；根据所述元数据中的第二参数以及显示组件的屏幕亮度参数确定色调映射曲线；根据所述色调映射曲线对所述第三视频流中的图像帧进行色调映射处理。

第三方面，本申请实施例提供一种视频处理装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算机程序，实现第一方面或者第一方面的任一设计所述的方法。

第四方面，本申请实施例还提供了一种视频处理装置，所述视频处理装置可以包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括程序指令，当所述程序指令在电子设备上运行时，使得所述电子设备执行如第一方面中任一项所述的方法。

第六方面，本申请实施例还一种程序产品，当所述程序产品在电子设备上运行时，使得所述电子设备执行如第一方面中任一项所述的方法。

附图说明

图1为本申请实施例中视频处理系统架构示意图；

图2为本申请实施例中视频处理方法流程示意图；

图3为本申请实施例中第一种可能的局部色调映射方法示意图；

图4为本申请实施例中第一种可能的分割方式示意图；

图5为本申请实施例中第一种可能的分割方式下图像块分割匹配示意图；

图6为本申请实施例中第二种可能的分割方式示意图；

图7为本申请实施例中第二种可能的局部色调映射方法示意图；

图8为本申请实施例中第一种可能的分割方式示意图；

图9为本申请实施例中第二种可能的分割方式示意图；

图10为本申请实施例中场景一中视频处理方法流程示意图；

图11为本申请实施例中场景一中视频处理方法示意图；

图12为本申请实施例中场景二中视频处理方法流程示意图；

图13为本申请实施例中场景三中视频处理方法流程示意图；

图14为本申请实施例中视频处理装置示意图；

图15为本申请实施例中终端设备结构示意图。

具体实施方式

本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

为了便于理解本申请的实施例的技术方案，先介绍相关的技术术语和物理概念。

(1)动态范围(Dynamic Range)表示了在图像可显示的范围内最大灰度值和最小灰度值之间的比率。目前大部分的彩色数字图像中，R、G、B各通道分别使用一个字节8位来存储，也就是说，各通道的表示范围是0～255灰度级，这里的0～255就是图像的动态范围。但是真实世界中同一场景中动态范围在10-3到106范围内，可以称之为高动态范围(英文：high dynamic range，简称：HDR)。相对于高动态范围，普通图像上的动态范围称之为低动态范围(low dynamic range，LDR)。由此可以理解的是，数码相机的成像过程实际上就是真实世界的高动态范围到相片的低动态范围的映射。通过色调映射来实现将HDR图像与视频能够同时兼容地在现有的SDR显示设备上显示。

(2)色调映射可以分为全局(空间不变)色调映射和局部(空间变化)色调映射。他们的建模方式的区别在于部分算法只基于图像全局特性进行调整，另外一部分算法结合图像的全局和局部的视觉特性进行不同的调整。全局色调映射对整幅图像的所有像素点采用相同的转换函数，也就是说整幅图像中的所有相同的像素点，在转换后的像素值也是相同的，它们可以是幂函数、对数函数、Sigmoid或者是基于图像内容的函数。局部色调映射在图像中不同的空间区域采用不同的转换函数，这种情况下，映射前颜色相同的区域，在映射后的颜色可能不同，这与其所在位置和周围的像素点值有关。总的来看，全局色调映射相对于局部色调映射来说，有着更快的速度，因局部色调映射有着更高的计算复杂度。

全局色调映射适用于动态范围与显示设备支持的动态范围相近的场景，或者更低。当场景的动态范围远远超过显示设备的显示能力时，全局色调映射方法过度压缩色调范围，导致对比度和可视细节上的无法避免的损失。因此，除了全局色调映射外，我们还需要引入局部处理使其具有更好的视觉效果。局部色调映射允许增加局部对比度，从而提高图像某些部分的细节可见性，而全局色调映射处理将图像的整体动态范围缩放到显示设备支持的动态范围。

(3)色调映射曲线：

采集端设备通过自然场景的光信号，生成包含自然场景的图像或视频。为了便于图像或视频的传输，需要将光信号转换为电信号，并且通过取值范围固定的亮度值或色度值(例如灰度值介于0～255)，记录各个像素点的图像信息。将光信号转换为电信号的曲线为光电转移函数，常见的光电转移函数有PQ(perceptual quantizer)光电转移函数、HLG(hybrid log-gamma)光电转移函数、场景亮度保真(scene luminance fidelity，SLF)光电转移函数。显示设备可以通过显示图像或视频再现自然场景。显示设备可以根据光电转移函数和图像中各个像素的亮度值或灰度值，确定拍摄时某物体的亮度，即电子设备可以将YUV或RGB信息转化为单位为nit的亮度。然而物体的亮度可能超过了显示设备的显示能力。由于采集端设备获取的亮度信息与显示设备的亮度显示能力不匹配，因此存在使用低亮度显示能力的显示设备显示高亮度图像的情况，以及使用高亮度显示能力的显示设备显示低亮度图像的情况。这些情况都需要对采集端设备获取的图像进行色调映射(tone-mapping)，以使得图像符合显示设备的显示能力。示例性的，可以基于色调映射曲线，将高动态范围图像色调映射在低动态范围显示能力的显示设备。

(3)元数据(metadata)：记录视频或者场景或者帧中图像的关键信息。静态元数据(static metadata)：序列中不变的元数据。动态元数据(dynamic metadata)：随图像或者场景变化的元数据。

参见图1所示，为本申请实施例提供的一种示例性的视频处理系统的示意性框图。视频处理系统可以包括采集端设备100、显示端设备200。示例性的，采集端设备100可以采集图像，采集的图像可以是HDR图像。显示端设备200可对由采集端设备100所采集的图像进行显示。

采集端设备100和显示端设备200之间可通过链路102进行通信连接，显示端设备200可经由链路102从采集端设备100接收图像数据。链路102可包括一个或多个通信媒体或装置。一个或多个通信媒体可包含无线和/或有线通信媒体，例如射频(radio frequency，RF)频谱或一个或多个物理传输线。可选的，一个或多个通信媒体可形成基于分组的网络的一部分，基于分组的网络例如可以为局域网、广域网或全球网络(例如，因特网)。一个或多个通信媒体可包含路由器、交换器、基站或促进从采集端设备100到显示端设备200的通信的其它设备。在一种可选的情况中，链路102可以为蓝牙无线链路。

示例性的，采集端设备100包括至少两个摄像模组11，不同的摄像模组的视场角不同。摄像模组用于采集图像。采集端设备100还可以包括图像处理器12。摄像模组也可以称为摄像头。

其中，图像可以视为像素点的二维阵列或矩阵。阵列中的像素点也可以称为采样点。在一种可选的情况中，为了表示颜色，每个像素点包括三个颜色分量。例如在RGB格式或颜色空间中，图像包括对应的红色、绿色及蓝色采样阵列。但是，在视频编码中，每个像素通常以亮度/色度格式或颜色空间表示，例如对于YUV格式的图像，包括Y指示的亮度分量(有时也可以用L指示)以及U和V指示的两个色度分量。亮度(luma)分量Y表示亮度或灰度水平强度(例如，在灰度等级图像中两者相同)，而两个色度(chroma)分量U和V表示色度或颜色信息分量。相应地，YUV格式的图像包括亮度采样值(Y)的亮度采样阵列，和色度值(U和V)的两个色度采样阵列。RGB格式的图像可以转换或变换为YUV格式，反之亦然，该过程也称为色彩转换或颜色格式转换。如果图像是黑白的，该图像可以只包括亮度采样阵列。本申请实施例中，由摄像模组11传输至图像处理器12的图像也可称为原始图像数据。

该摄像模组可以包括互补式金属氧化物半导体(Complementary Metal-OxideSemiconductor，CMOS)传感器或感光耦合元件(Charge-Coupled Device，CCD)传感器，RAW图像的颜色格式是由放置在传感器前的彩色滤波器(color filter array，CFA)决定的。

图像处理器12，用于执行图像处理，例如亮度映射、色调映射(tone-mapping)、色彩格式转换(例如，从RGB格式转换为YUV格式)、色域转换、饱和度调节、调色、分辨率调节或去噪等。

一些实施例中，采集端设备还可以包括通信接口13。通信接口13，可用于接收经图像处理的图像数据，并可通过链路102将经图像处理的图像数据传输至显示端设备200做进一步的图像处理，或者传输至存储器进行存储。示例性的，通信接口13可以用于将经图像处理的图像数据封装成合适的格式，例如数据包，以在链路102上传输。一些实施例中，采集端设备也可以包括显示设备(也可以称为显示组件)。显示组件用于向用户或观看者显示图像。

显示端设备200包括通信接口21、图像处理器22和显示设备23。分别描述如下：

通信接口21，可用于从采集端设备100或任何其它源接收经图像处理的图像数据，所述任何其它源例如为存储设备。示例性的，通信接口12和通信接口21的具体实例可参考前述对接口的说明，此处不再赘述。通信接口21可以用于藉由采集端设备100和显示端设备200之间的链路102或其他任何类别的网络传输或接收经图像处理的图像数据，通信接口21可以例如用于解封装通信接口12所传输的数据包以获取经图像处理的图像数据。

通信接口21和通信接口12都可以配置为单向通信接口或者双向通信接口，以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经图像处理的图像数据和/或与数据传输有关的信息。示例性的，通信接口21和通信接口12可以为根据任何专有或标准化接口协议的任何类别的接口，例如高清晰度多媒体接口(highdefinition multimedia interface，HDMI)、移动产业处理器接口(MobileIndustryProcessor Interface，MIPI)、MIPI标准化的显示串行接口(Display SerialInterface，DSI)、视频电子标准协会(Video Electronics Standards Association，VESA)标准化的嵌入式显示端口(Embedded Display Port，eDP)、Display Port(DP)或者V-By-One接口，VBy-One接口是一种面向图像传输开发的数字接口标准，以及各种有线或无线接口、光接口等。

图像处理器22，用于对经图像处理的图像数据执行色调映射处理，以获得经色调映射处理的图像数据。图像处理器22执行的处理还可以包括：超分辨率、色彩格式转换(例如，从YUV格式转换为RGB格式)、去噪、色域转换、饱和度调节、亮度映射、上采样、下采样和图像锐化等处理，还可用于将经色调映射处理的图像数据传输至显示设备23。应当理解，图像处理器12以及图像处理器22可以包括通用中央处理器(Central Processing Unit，CPU)、片上系统(System on Chip，SOC)、集成在SOC上的处理器、单独的处理器芯片或控制器等。图像处理器22以及图像处理器12也可以包括专用处理设备，例如可以包括专用集成电路(application specific integrated circuit，ASIC)、图像信号处理器(imagesignal processor，ISP)，现场可编程门阵列(field programmable gate array，FPGA)或数字信号处理器(digital signal processor，DSP)、专用的视频或图形处理器、图形处理单元(graphics processing unit，GPU)以及神经网络处理单元(neural-networkprocessing unit，NPU)等。图像处理器12以及图像处理器22还可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。

显示设备23，用于接收经色调映射处理的图像数据以向用户或观看者显示图像。显示设备23可以为或可以包括任何类别的用于呈现经重构图像的显示器，例如，集成的或外部的显示器或监视器。例如，显示器可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal on silicon，LCoS)、数字光处理器(digital light processor，DLP)或任何类别的其它显示器。在一种可选的情况中，显示设备23本身具有图像处理的功能，图像的色调映射也可以在显示设备23处实现。一种可选地的情况中，显示设备23也可以不设置于显示端设备200中，可以理解，显示端设备200不具有显示功能。

在一种可选的情况中，一个视频处理装置可以同时具备采集端设备100和显示端设备200两者的功能，例如智能移动手机具备至少两个摄像模组、图像处理器和显示屏，其中，至少两个摄像模组对应采集端设备100，图像处理器对应显示端设备200，显示屏对应显示设备23。再例如智能电视具备至少两个摄像模组、图像处理器和显示屏，至少两个摄像模组对应采集端设备100，图像处理器对应显示端设备200，显示屏对应显示设备23。

比如视频处理装置应用于至少两个摄像模组的终端设备中。终端设备可以为数码相机、单反相机、移动电话(或称为“蜂窝”电话)、智能手机，可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC，Personal Computer)、PDA(PersonalDigital Assistant，个人数字助理)、车载电脑、无人机、航拍器等。终端设备可包括2个后置摄像模组，例如，主摄像模组和长焦摄像模组；或者，终端设备可包括3个后置摄像模组，例如，主摄像模组、广角摄像模组和长焦摄像模组；或者，终端设备可包括4个后置摄像模组，例如，主摄像模组、广角摄像模组、长焦摄像模组和中焦摄像模组。应理解，后置摄像模组的数量也可以大于4个，本申请对此不做限定。另外，本申请对前置摄像模组的数量和类型不做限定。

在一种可能场景中，采集端设备100需要向显示端设备传输由连续的多个图像构成的视频流。采集端设备100在向显示端设备200传输视频流之前，可以对视频流中的各个图像进行编码为码流通过链路102传输给显示端设备200。在该场景中，显示端设备200接收到编码后的码流后，从码流中解码得到视频流中的各个图像，然后对各个图像进行进一步处理。

本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构特别限定，只要能够通过运行相关代码以实现本申请实施例提供的方法进行图像处理即可，例如，本申请实施例提供的方法的执行主体可以是电子设备，或者，是电子设备中能够调用程序并执行程序的功能模块，例如可以是电子设备中的处理器。

应当理解，采集端设备100和显示端设备200可以包括任何类别的手持或静止设备，例如，笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机、摄像机、台式计算机、电视机、照相机、车载设备、显示设备、数字媒体播放器等，并可以不使用或使用任何类别的操作系统。

可以理解的是，本申请实施例示意的结构并不构成对采集端设备100和显示端设备200的具体限定。在本申请另一些实施例中，采集端设备100和显示端设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

针对手机等产品都支持多个摄像模组之间的切换。摄像模组也可以称为摄像头、或者称为图像传感器。多摄像模组切换的场景中，摄像头切换前后亮度、颜色的一致性也是一个重要的用户体验点。目前采用的方式是，根据切换前后的摄像模组之间的进光亮度差异来进行亮度映射，以保证出图的亮度一致性。或者通过配置自动曝光(auto exposure，AE)的曝光参数来保证出图的亮度一致性。但是目前仅保证亮度的一致，依然会导致用户看到的画质出现突变，导致观感不一致。

基于此，本申请实施例提供一种视频处理的方法及装置，通过使得切换前后相同区域的色调映射曲线的参数保持一致，来使得摄像模组切换前后的画面的对比度保持一致，提高观感的一致性。

参见图2所示为本申请实施例提供的一种视频处理的方法流程图。该方法的步骤201-203可以应用于采集端设备。比如，该方法的步骤201-203可以由一个或者多个处理器实现。该一个或者多个处理器可以包括图1所示的采集端设备100中的图像处理器。采集端设备包括至少两个摄像模组。以采集端设备包括第一摄像模组和第二摄像模组为例。

201，获取所述第一摄像模组采集的第一视频流，所述第一视频流包括第一原始图像在内的连续多帧原始图像。也就是第一视频流是由连续多帧原始图像构成的视频流。

示例性地，响应于第一摄像模组启动操作，采用第一摄像模组采集第一视频流。即第一摄像模组采集第一视频流后将第一视频流发送给图像处理器。

202，在第一摄像模组切换到所述第二摄像模组的情况下，获取第二摄像模组采集的第二视频流；所述第一摄像模组与所述第二摄像模组的视场角不同。

示例性地，响应于摄像模组的切换操作，开启第二摄像模组来采集第二视频流。

一些场景中，采集端设备支持双路视频流，可以理解为支持双摄像模组同步采集，也可以称为双路出图。在该场景下，第二摄像模组开启后，第一摄像模组不会被关闭。另一些场景中，采集端设备不支持双路视频流，可以理解为开启第二摄像模组后，第一摄像模组被关闭。

示例性地，采集端设备中的摄像模组采集的原始图像的图像格式可以是RAW格式，根据摄像模组设计的不同，RAW的格式也相应不同。例如RAW格式可以是拜耳RGGB、RYYB、RCCC、RCCB、RGBW、CMYW等多种格式。在一些实施例中，采集端设备中还可以包括ISP，将各种格式的RAW图像转换成RGB格式。ISP也可以将RAW格式转换成下列格式中第一种：YUV格式、HSV格式、Lab格式、CMY格式、YCbCr格式。示例性地，采集端设备中的图像处理器中包括ISP。

203，对所述第二摄像模组采集的第二视频流进行图像处理得到第三视频流，所述图像处理包括色调映射处理。其中，所述第二视频流包括第二原始图像在内的连续多帧原始图像，所述第二原始图像中第一区域的色调映射处理采用第一色调映射参数，所述第一区域的画面与所述第一原始图像中第二区域的画面重叠；所述第一色调映射参数是根据对所述第一视频流的至少一帧原始图像中的第二区域进行色调映射处理时采用的色调映射曲线的参数确定的；所述至少一帧原始图像包括所述第一原始图像，所述第二原始图像的采集时刻与所述第一原始图像的采集时刻的间隔小于设定时长。

在至少一帧原始图像为多帧图像时，可以理解为多帧图像在第二区域位置处的画面与第二原始图像第一区域位置处的画面重叠。这里的重叠并非是建立在尺寸相同的基础上的。第一区域与第二区域的尺寸并不相同，但是所拍摄的内容是相同的，因此画面重叠。

上述第三视频流中可以包括元数据。示例性地，元数据中包括色调映射处理采用的色调映射曲线的参数，比如第一色调映射参数中的部分参数或者全部参数。元数据用于显示端设备根据色调映射曲线的参数来进行色调映射处理。当然元数据中还包括其它参数，本申请实施例对此不作限定。

本申请实施例中的色调映射处理可以包括全局色调映射(global tone mapping，GTM)和/或局部色调映射(local tone mapping，LTM)。

在一些实施例中，图像处理可以为通过ISP执行的图像处理。或图像处理为通过控制器调用程序代码执行的图像处理，又或者图像处理包括通过ISP执行的图像处理以及通过控制器调用程序代码执行的图像处理。为了便于区分将ISP执行的图像处理称为第一图像处理，将控制器执行的图像处理称为第二图像处理。

通过ISP执行的图像处理中包括色调映射。通过控制器调用程序代码执行的图像处理中包括色调映射。为了便于区分，将ISP执行的色调映射称为第一色调映射，将控制器调用程序代码执行的色调映射可以称为第二色调映射。第一色调映射包括GTM和/或LTM。第二色调映射包括GTM和/或LTM。

在图像处理包括通过ISP执行的第一色调映射的情况下，在对第二视频流的第二原始图像执行第一色调映射时，采用第一色调映射对应的第一参数。该情况下，上述所提及的第一色调映射参数中包括该第一参数。应理解的是，在第一色调映射包括全局色调映射时，第一参数中包括全局色调映射采用的色调映射曲线的参数。在第一色调映射包括局部色调映射时，第一参数包括局部色调映射采用的色调映射曲线的参数。在第一色调映射包括全局色调映射和局部色调映射时，第一参数包括局部色调映射采用的色调映射曲线的参数和全局色调映射采用的色调映射曲线的参数。

在图像处理包括通过控制器执行的第二色调映射的情况下，在对第二视频流的第二原始图像执行第二色调映射时，采用第二色调映射对应的第二参数。该情况下，上述所提及的第一色调映射参数中包括该第二参数。应理解的是，在第二色调映射包括全局色调映射时，第二参数中包括全局色调映射采用的色调映射曲线的参数。在第二色调映射包括局部色调映射时，第二参数包括局部色调映射采用的色调映射曲线的参数。在第二色调映射包括全局色调映射和局部色调映射时，第二参数包括局部色调映射采用的色调映射曲线的参数和全局色调映射采用的色调映射曲线的参数。在该情况下，第三视频流的元数据中携带该第二参数。从而显示端设备在接收到第三视频流后，可以根据第二参数来局部色调映射处理和/或全局色调映射处理。

应理解的是，图像处理包括第一色调映射和第二色调映射的情况下，第一色调映射曲线参数中既包括上述提及的第一参数也包括第二参数。在该情况下，第三视频流的元数据中携带第二参数。从而显示端设备在接收到第三视频流后，可以根据第二参数来局部色调映射处理和/或全局色调映射处理。

上述控制器可以为CPU、SOC、集成在SOC上的处理器、单独的处理器芯片或控制器等。控制器也可以包括专用处理设备，例如ASIC、FPGA或DSP、专用的视频或图形处理器、GPU以及NPU等。

ISP执行的图像处理包括图像前端处理和图像后处理。图像前端处理可以由ISP中的前端图像处理模块(Image front end，IFE)来实现。图像后处理可以由ISP中图像处理引擎来实现。图像前端处理可以包括全局色调映射。图像后处理可以包括局部色调映射。

图像前端处理还可以包括如下至少一项：基座校正(Pedestal Correction)、线性化(linearization)、相位像素补偿(Position dependent intra predictioncombination，PDPC)、通道增益(channel gains)、坏像素补偿/坏像素群补偿/拜尔域降噪模块(Bad pixel correction/Bad cluster correction/Adaptive Bayer Filter，BPC/BCC/ABF)、黑电平校正(Black Level Correction，BLC)、镜头衰减(lens roll off)、白平衡、颜色校正(color correction)、伽玛校正(gamma)、颜色空间转换(colorspacetransform)、下采样(down scaler)。

考虑到摄像模组输出的图像的信噪比，摄像模组输出图像时会加上一个基底pedestal，在对图像进行处理时，需要减去这个基底，也就是进行基座校正。针对摄像模组的非线性，可以对图像进行线性化处理，线性化处理例如采用曲线拟合、神经网络等方法实现。相位像素补偿的原理是将未滤波的边界参考像素和根据滤波后的参考像素得到的相位像素补偿值结合起来得到最终的相位像素补偿值。通道增益可以对图像的各个通道进行放大处理，从而使得各个通道的数据更加准确。坏像素补偿是指坏像素校正，在摄像模组中的某个像素不能正常工作时，可以利用坏像素校正获得该像素对应的像素值。坏像素群补偿是指坏群集校正，通过坏群集校正也能对坏点进行校正。拜尔域降噪模块是指自适应拜耳滤波器(Adaptive bayer filter)，通过自适应拜耳滤波器能够对图像进行降噪处理，同时降噪过程中不钝化边缘。摄像模组的电路本身会存在暗电流，导致在没有光线照射的时候，像素也有一定的输出电压，因此需要减去暗电流带来的影响，也就是进行黑电平校正。由于镜头进光量的限制，镜头的成像都会有暗角，例如镜头边缘的透光量只有镜头中心的透光量的40％及以下，因此，可以采用镜头衰减(透镜衰减校正)进行处理，以将镜头边缘的透光量提升到镜头中心的透光量的90％。为了提高图像的色彩准确度，还可以对图像进行白平衡(White Balance，WB)处理。白平衡处理算法包括灰度世界法、镜面法、色温估计法等。去马赛克算法可以将拜耳阵列的拜耳图像插值成为RGB图像，其中，RGB图像可以是三帧，即分别为插值后得到的R图像、G图像和B图像。颜色校正目的是使得图像的色彩饱和度更加明显，更加符合人眼感官。伽玛校正可使得图像看起来更符合人眼的特性，伽玛校正公式例如为Out＝Ingamma或者Out＝In1/gamma，其中，In表示输入图像，Out表示输出图像。颜色空间转换可以将RGB图像转换为YUV图像。下采样用于降低图像的尺寸。

图像后处理还可以包括如下至少一项：图像校正和调整(image correction andadjustment，ICA)、高级降噪(advanced noise reduction)、时域滤波(temporal filter)、色彩失常校正(Cromatic Aberration Correction，CAC)、色彩空间转换(color spacetransform)、色彩校正(color correction)、gamma(伽玛校正)、查找表技术(2D Look UpTable，2D LUT)、色彩调整和色度增强(CV&Chroma enhancement)、色度抑制(chromasuppression)、自适应空间滤波器(adaptive spatial filter，ASF)、上采样(up scaler)、纹理增加(grain adde)、下采样(down scaler)。

图像校正和调整是指对失真图像进行的复原性处理。图像校正和调整主要分为两类：几何校正和灰度校正。图像的校正和调整可以从层次、颜色、清晰度三个方面进行校正和调整。高级降噪能够对图像进行降噪处理，从而提高图像的信噪比。时域滤波用于对图像进行平滑处理。色彩失常校正用于校正图像的色彩，从而使得图像的色彩变得准确。查找表技术用于将灰度模式的画面进行色彩还原，还可以在两组数据之间建立对应关系，可以用于颜色空间转换、CCM、亮度映射等。色彩调整和色度增强用于增强图像的色度。色度抑制用于改善前景信号中的半透明区域的颜色效果，从而还原前景中的物体的本来颜色(而不是处于灰色或半透明状态)，具体地，色度增强，在亮度不变的情况下，提升色彩饱和度；色度抑制，在某些亮度范围内抑制色度。自适应空间滤波器是指自适应空间滤波器，自适应空间滤波器可以对图像进行滤波处理，用于提升锐度。上采样用于增大图像的尺寸、提升图像分辨率。纹理增加是指纹理增加器，为图像增加精细度，纹理增加用于使得图像的纹理信息更加清楚。下采样用于降低图像的尺寸、降低图像分辨率。

本申请实施例中，切换后的第二摄像模组采集的原始图像中与切换前的第一摄像模组采集的原始图像中的画面重叠的区域采用相同的色调映射参数来进行色调映射处理，从而保证切换前后相同画面的对比度保持一致。

本申请实施例中适用于大视场角的摄像模组切换到小视场角的摄像模组的场景。以手机为例，手机包括主摄像模组以及长焦摄像模组，可以是主摄模组切换到长焦摄像模组。本申请实施例也适用于小视场角的摄像模组切换到大视场角的摄像模组的场景。接着上述举例，比如由长焦摄像模组切换到主摄模组。本申请可以适用于视频录制场景，也适用于预览场景。应理解的是，针对全局色调映射(可以为控制器执行的全局色调映射也可以为ISP执行的全局色调映射)来说，整个原始图像采用相同的色调映射曲线，切换后的第二摄像模组采集的原始图像中与切换前的第一摄像模组采集的具有画面重叠区域的原始图像采用相同全局色调映射参数即可。

如前描述，在针对切换后的第二摄像模组采集的第二视频流中的第二原始图像中第一区域进行色调映射处理采用的局部色调映射参数，与切换前的第一摄像模组采集的第一视频流中的第一原始图像中第二区域采用相同的局部色调映射曲线。第二区域与第一区域的画面重叠。需要说明的是，画面重叠的第一区域与第二区域的尺寸可能不同，但是摄像模组所拍摄的内容或者拍摄的现实环境是相同的，比如同一个位置拍摄的同一朵花，但是由于摄像模组的视场角不同，导致生成的图像的该花朵所在区域的尺寸不同。

进一步地，参见图3所示，为第一种可能的局部色调映射方法示意图。以针对第二原始图像中的第一区域进行局部色调映射为例。此处的局部色调映射适用于第一局部色调映射，也适用于第二色调映射。图3以大视场角的摄像模组切换到小视场角的摄像模组的场景为例。在该场景下，第二原始图像的第一区域可以为整个第二原始图像。

301，对第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块。

302，采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理。所述第二子图像块为所述第二原始图像中任一子图像块；所述第一子图像块属于所述第一原始图像且所述第一子图像块为所述第一原始图像中与所述第二子图像块的画面重叠区域最大的子图像块。

如上所述，本申请实施例在执行局部色调映射时采用图像块划分的方式然后进行块与块的色调映射曲线关联的方式来实现。

第一种可能的分块方式中，针对图像采用相同块大小的划分方式进行划分。第一原始图像分割的子图像块的规格(或者称为尺寸)与第二子图像块分割的子图像块的规格相同，第一原始图像分割的子图像块的数量与第二子图像块分割的子图像块的数量相同。该第一种可能的方式适用于ISP执行的局部色调映射也适用于控制器执行的局部色调映射。

参见图4所示，以第一原始图像以及第二原始图像均分割为4x4个图像块为例。图4中(a)为第一原始图像，图4中(b)为第二原始图像。图4中(c)表示第一原始图像缩小后的图像。缩小后的画面与图4中(a)的加粗黑框所圈出的区域的画面相同。对应LTM方式按照大小视场角的原始图像分块重合百分比最大的区域进行匹配。参见图5所示，为第一原始图像与第二原始图像的图像块匹配示意图。结合图4和图5来说，小视场角的第二原始图像中2-1、2-2、2-5、2-6与大视场角的第一原始图像中的1-7的匹配。从而第二原始图像中2-1、2-2、2-5、2-6的局部色调映射曲线的参数可以采用第一原始图像中1-7所采用的局部色调映射曲线的参数。小视场角的第二原始图像中2-3、2-4、2-7、2-8与大视场角的第一原始图像中的1-8匹配。从而第二原始图像中2-3、2-4、2-7、2-8的局部色调映射曲线的参数可以采用第一原始图像中图像块1-8所采用的局部色调映射曲线的参数。小视场角的第二原始图像中2-9、2-10、2-13、2-14与大视场角的第一原始图像中的1-11匹配。从而第二原始图像中2-9、2-10、2-13、2-14的局部色调映射曲线的参数可以采用第一原始图像中图像块1-11所采用的局部色调映射曲线的参数。小视场角的第二原始图像中2-11、2-12、2-15、2-16与大视场角的第一原始图像中的1-12匹配。从而第二原始图像中2-11、2-12、2-15、2-16的局部色调映射曲线的参数可以采用第一原始图像中图像块1-12所采用的局部色调映射曲线的参数。

一些实施例中，第二原始图像采用的色调映射参数可以根据第一视频流中包括第一原始图像在内的多帧图像进行色调映射采用的色调映射曲线的参数确定的。可以理解的是，多帧图像均与第二原始图像存在画面重叠。根据多帧图像中每帧的匹配块的色调映射曲线的参数加权可以确定第二原始图像的对应的图像块所采用的色调映射曲线的参数。示例性地，多帧图像中采集时刻越接近于第二原始图像的采集时刻的图像帧的权重越大。当然也可以采用权重等分的方式。

示例性地，在采集端设备不支持双路视频流的情况下，第一原始图像可以为第一视频流的最后一帧图像。第二原始图像可以为第二视频流的第一帧图像。采用多帧图像的情况下，比如多帧图像可以是第一视频流中的最后N帧图像。N为大于1的整数。在采集端设备支持双路视频流的情况下，第一原始图像和第二原始图像可以是第一摄像模组与第二摄像模组同步采集的第一帧图像。第一帧图像可以理解为在第二摄像模组启动后，第一摄像模组和第二摄像模组采集的第一帧图像。采用多帧图像的情况下，比如多帧图像可以包括第一视频流中第一摄像模组采集的第一原始图像以及在第一原始图像之前采集的连续的N-1帧图像。

第二种可能的分块方式中，针对图像采用不同块大小的划分方式进行划分。该第二种可能的分块方式适用于控制器执行的局部色调映射。第一原始图像被分割的子图像块的规格与第二子图像块被分割的子图像块的规格不相同，第二原始图像中第一区域为第二原始图像的全部区域，第二子图像块与第一子图像块的画面重叠区域为第二子图像块。

参见图6所示，以第一原始图像均分割为4×4个图像块为例。图6中(a)为第一原始图像，图6中(b)为第二原始图像。图6中(c)表示第一原始图像缩小后的图像。缩小后的画面与图6中(a)的加粗黑框所圈出的区域的画面相同。参见图6所示，第二原始图像被划分为4个子图像块，分别为2-1～2-4。子图像块2-1与子图像块1-7匹配。子图像块2-1与子图像块1-7的画面重叠区域为子图像块2-1的画面。子图像块2-2与子图像块1-8匹配。子图像块2-2与子图像块1-8的画面重叠区域为子图像块2-2的画面。子图像块2-3与子图像块1-11匹配。子图像块2-3与子图像块1-11的画面重叠区域为子图像块2-3的画面。子图像块2-4与子图像块1-12匹配。子图像块2-4与子图像块1-12的画面重叠区域为子图像块2-4的画面。

参见图7所示，为第二种可能的局部色调映射方法示意图。以针对第二原始图像中的第一区域进行局部色调映射为例。此处的局部色调映射适用于第一局部色调映射，也适用于第二色调映射。图7以小视场角的摄像模组切换到大视场角的摄像模组的场景为例。在该情况下，第二原始图像中第二区域的色调映射处理采用配置的第二色调映射参数，第二区域为第二原始图像中除所述第一区域以外的区域。

701，对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块。

702，采用第一色调映射参数包括的至少一个第一子图像块的局部色调映射曲线的参数确定第二子图像块的局部色调映射曲线的参数。至少一个第一子图像块可以为一个第一子图像块或者多个第一子图像块。如果是多个第一子图像块，则可以将多个第一子图像块的局部色调映射曲线的参数的加权平均值来作为第二子图像块的局部色调映射曲线的参数。每个第一子图像块的权重可以相同，也可以不相同。在第一子图像块的权重不相同的情况下，可以基于画面重叠区域的大小来确定权重。画面重叠区域越大权重越大。

703，根据所述局部色调映射曲线的参数对第二子图像块进行局部色调映射处理。所述第二子图像块为所述第二原始图像的第一区域中的任一子图像块；至少一个第一子图像块属于所述第一原始图像，且所述至少一个第一子图像块中每个第一子图像块的画面与所述第二子图像块的画面均存在重叠。

图7对应的实施例中，在进行块划分时，可以采用第一种可能的方式也可以采用第二种可能的方式。

参见图8所示，以采用第一种可能的分块方式分割为例。图8中以第一原始图像以及第二原始图像均分割为4×4个子图像块为例。图8中(a)为第一原始图像，图8中(b)为第二原始图像。图8中(c)表示第一原始图像缩小后的图像。第一原始图像的缩小后的区域与图8中(b)的加粗黑框所圈出的区域画面相同且尺寸相同。参见图8所示，为第一原始图像与第二原始图像的图像块匹配示意图。大视场角的第二原始图像中子图像块2-7采用的局部色调映射曲线基于第一原始图像中子图像块1-1、1-2、1-5、1-6分别对应的色调映射曲线的参数来确定。大视场角的第二原始图像中2-8采用的局部色调映射曲线基于第一原始图像中子图像块1-3、1-4、1-7、1-8分别对应的色调映射曲线的参数来确定。大视场角的第二原始图像中2-11采用的局部色调映射曲线基于第一原始图像中子图像块1-9、1-10、1-13、1-14分别对应的色调映射曲线的参数来确定。大视场角的第二原始图像中2-12采用的局部色调映射曲线基于第一原始图像中子图像块1-11、1-12、1-15、1-16分别对应的色调映射曲线的参数来确定。

参见图9所示，以采用第二种可能的分块方式分割为例。图9中第一原始图像分割为4×4个子图像块。图9中(a)为第一原始图像，图9中(b)为第二原始图像。图9中(c)表示第一原始图像缩小后的图像。一些场景中，第一区域的画面与第一原始图像的画面完全相同，参见图9所示。第一原始图像缩小后的图像尺寸与第二原始图像的第一区域尺寸相同且画面(即内容)相同。在第二原始图像中确定与第一原始图像存在画面重叠的第一区域，参见图9中黑体框的区域。针对第二原始图像的第一区域，根据第二原始图像与第一原始图像中各个子图像块的画面重叠区域来对第一原始图像进行分割。在该场景下，对第二原始图像的第一区域进行分割得到4×4个子图像块，参见图9中(b)所示。图9中(b)的16个子图像块，即2-1～2-16，采用的局部色调映射曲线的参数与第一区域中的16个子图像块，即1-1～1-16，一一对应采用的局部色调映射曲线的参数相同。针对第二原始图像中除第一区域以外的区域采用配置的(或者是计算确定的)色调映射曲线的参数来进行色调映射处理。

一种可能的实施方式中，采集端设备可以将分块的规则指示给显示端设备，从而显示端设备可以根据分块的规则来确定匹配的子图像块之间的匹配关系。

在采用第一种可能的分块方式时，采集端设备可以将第二原始图像的子图像块的尺寸发送给显示端设备。从而显示端设备可以根据尺寸确定每个子图像块的位置。进一步地，从元数据中解析第一原始图像中每个子图像块对应的LTM曲线的参数，根据参数来执行色调映射处理。子图像块可以为矩形块，尺寸包括长和宽。每个子图像块的尺寸相同。例如，这里的尺寸可以是子图像块的实际尺寸，比如长和宽分别对应的像素数量。再比如，尺寸可以是相对尺寸。比如，以图4为例，将第二原始图像分割为4×4个子图像块，可以将4和4发送给显示端设备。即子图像块的长占第二原始图像的长的1/4，子图像块的宽占第二原始图像的长的1/4。示例性地，采集端设备在向显示端设备发送的第三视频流的元数据中携带子图像块的尺寸(或者规格)。一些实施例中，采集端设备还可以向显示端设备发送用于指示子图像块的规格相同的第二标识，即第二标识指示采用第一种可能的分块方式。采集端设备也可以将该第二标识携带在元数据中发送给显示端设备。

在采用第二种可能的分块方式时，采集端设备可以将用于分割第二原始图像的分割线的交点坐标发送给显示端设备。从而显示端设备可以根据交点坐标来确定分割线得到第一原始图像被分割的各个子图像块的分区(或者位置)。进一步地，显示端设备从元数据中解析第一原始图像中每个子图像块对应的LTM曲线的参数，根据参数来执行色调映射处理。例如，结合图6的举例来说，可以将图6中(b)的两条虚线的交点C的坐标发送给显示端设备。再例如，结合图9的举例来说，可以将图9中(b)的6条分割虚线的9个交点的坐标发送给显示端设备。一些实施例中，采集端设备还可以用于确定第二原始图像中的第一区域的四个角点的坐标发送给显示端设备。从而显示端设备可以确定第一区域在第二原始图像的位置，再执行内容匹配。示例性地，采集端设备在向显示端设备发送的第三视频流的元数据中携带至少一个点的坐标，至少一个点为分割线的交点，从而根据给至少一个点的坐标能够确定第二原始图像被分割的每个子图像块的位置。一些实施例中，采集端设备还可以向显示端设备发送用于指示子图像块的规格不同的第一标识。采集端设备也可以将该第一标识携带在元数据中发送给显示端设备。

一种可能的示例中，采集端设备支持两个分块方式，采集端设备可以通过元数据中的标识字段的取值不同来指示分块方式为第一种可能的方式或者第二种可能的方式。比如标识字段取值为1，指示采用第一种可能的方式，可以将该取值为1的标识字段称为第二标识。标识字段取值为0，指示采用第二种可能的方式，可以将取值为1的标识字段称为第一标识。进一步地，显示端通过解析元数据中的标识字段来确定采用的分块方式，如果确定采用第一种可能的分块方式，则从元数据中解析长和宽得到第二原始图像的各个子图像块；如果确定采用第二种可能的分块方式，则解析分割线交点坐标，得到第二原始图像的每个子图像块的分区。然后从元数据中解析每个子图像块的LTM参数，并拟合得到相应的局部色调映射曲线。

如下结合具体的录像场景对本申请实施例提供的方案进行详细说明。如下几种场景仅作为几种示例，并不对本申请所应用的场景构成限定。

场景一，以应用到终端设备的主摄模组和长焦摄像模组切换场景为例。由主摄模组切换到长焦摄像模组。终端设备不支持双路视频流。

当用户点击桌面上相机应用(appliaction，APP)的图标时，终端设备可以响应于用户点击相机应用图标的操作，启动相机应用。在启动相机应用后，用户可以启动录像功能。

参见图10所示：

1001，用户启动录像功能，通过主摄像模组采集视频流1。用户通过手势操作或者针对终端设备显示的用户界面的变焦选线区域的操作，调整变焦倍数，比如调整后目标变焦倍数为10X。

1002，终端设备响应用于用户的操作，启动长焦摄像模组，关闭主摄像模组，通过长焦摄像模组采集视频流2。主摄像模组采集的最后一帧图像称为第一原始图像。长焦摄像头采集的第一帧图像为第二原始图像。

需要说明的是，由于增加变焦倍数，可以将远景拉近，采集图像的画面范围小了，但是更有助于显示图像的细节特征，而减小变焦倍数，可以扩大采集图像的范围，从而能够使得采集的图像显示更大的画面。不同变焦倍数范围对应不同的摄像模组。

一些实施例中，在保证对比度一致性之前，针对亮度参数进行处理。比如根据摄像模组切换前后的进光量参数差异，计算需要保证亮度一致性的目标对应的曝光量差异，并进行自动曝光配置，保证画面切换时的亮度一致性。

1003，确定第一原始图像上与第二原始图像画面重叠的区域。

终端设备可以通过AI检测算法来确定第一原始图像上与第二原始图像画面重叠的第二区域。示例性地，通过AI检测算法确定当前主摄模组拍摄的第一原始图像中的感兴趣区域，并以感兴趣区域为中心向外扩充，使得扩充后的区域(第二区域)的画面能够对应到长焦摄像模组的FOV所拍摄的画面。从而扩充后的区域按照比例放大后得到的图像可以理解为长焦摄像模组即将拍摄的图像，即对应于第二原始图像。即扩充后的区域即为第一原始图像上与第二原始图像画面重叠的区域。

进一步地，使得第二原始图像采用的色调映射曲线与第一原始图像上第二区域采用的色调映射曲线相同。一些情况下，可以采用平滑的方式，基于第一原始图像以及第一原始图像之前的几帧图像的第二区域采用的色调映射曲线进行加权计算第二原始图像采用的色调映射曲线。

1004，使用第一原始图像上第二区域采用的色调映射曲线对第二原始图像进行色调映射处理。

本实施例中，以色调映射处理包括ISP执行的色调映射处理以及控制器在软件层面执行的色调映射处理。ISP执行的色调映射处理包括局部色调映射和全局色调映射。

参见图11所示，主摄像模组的视频流1，经过ISP的IFE和IPE进行处理。IFE执行的处理中包括全局色调映射GTM1。IPE执行的处理中包括局部色调映射LTM1。经过ISP执行图像处理后，由控制器执行元数据生成。元数据生成包括执行全局色调映射GTM3和局部色调映射LTM3。长焦摄像模组的视频流2，经过ISP的IFE和IPE进行处理。IFE执行的处理中包括全局色调映射GTM2。IPE执行的处理中包括局部色调映射LTM2。经过ISP执行图像处理后，由控制器执行元数据生成。元数据生成包括执行全局色调映射GTM4和局部色调映射LTM4。

在由主摄像模组切换到长焦摄像模组的情况下，主摄像模组停止采集图像，长焦摄像头开始采集图像。对于ISP中的IFE在针对长焦摄像头采集的第一帧图像执行全局色调映射GTM2时，采用IFE针对主摄像头采集的最后一帧图像执行全局色调映射GTM1所采用的色调映射曲线。对于ISP中的IPE在针对长焦摄像头采集的第一帧图像执行局部色调映射LTM2时，采用IPE针对主摄像头采集的最后一帧图像中第二区域执行局部色调映射LTM2所采用的色调映射曲线。应理解的是，在执行局部色调映射时，采用划分子图像块进行逐块匹配的方式来确定采用的色调映射曲线的参数。具体可以采用上述第一种可能分块方式进行子图像块的划分。具体的执行局部色调映射的方式可以参见上述图3对应的实施例的相关描述，此处不再赘述。

进一步，由控制器中的元数据模块执行全局色调映射和/或局部色调映射。控制器中的元数据模块在针对长焦摄像模组采集的第一帧图像(此处是经过ISP处理后的第一帧图像)进行全局色调映射处理时，采用的全局色调映射曲线，与控制器中的元数据模块针对主摄像模组采集的最后一帧图像(此处是经过ISP处理后的最后一帧图像)所采用的全局色调映射曲线相同。控制器中的元数据模块在针对长焦摄像模组采集的第一帧图像(此处是经过ISP处理后的第一帧图像)进行局部色调映射处理时，采用的局部色调映射曲线，与控制器中的元数据模块针对主摄像模组采集的最后一帧图像(此处是经过ISP处理后的最后一帧图像)中的第二区域所采用的局部色调映射曲线相同。应理解的是，在执行局部色调映射时，采用划分子图像块进行逐块匹配的方式来确定采用的色调映射曲线的参数。具体可以采用上述第一种可能分块方式进行子图像块的划分，也可以采用第二种可能的分块方式进行子图像块的划分。具体的执行局部色调映射的方式可以参见上述图3对应的实施例的相关描述，此处不再赘述。

1005，向显示组件发送经过图像处理的视频流3。视频流3中包括元数据。元数据中包括控制器中的元数据模块执行全局色调映射所采用的全局色调映射曲线的参数和/或局部色调映射所采用的各个子图像块的局部色调映射曲线的参数。

示例性地，在局部色调映射处理时采用第一种可能的分块方式，元数据中还包括第二原始图像的子图像块的尺寸。元数据中还可以包括用于指示子图像块的规格相同的第二标识，即第二标识指示采用第一种可能的分块方式。

示例性地，在局部色调映射处理时采用第二种可能的分块方式，元数据中还包括用于分割第二原始图像的分割线的交点坐标。元数据中还可以包括用于指示子图像块的规格不同的第一标识。即第一标识指示采用第二种可能的分块方式。

1006，显示组件从视频流3中解析元数据，从元数据解析全局色调映射曲线。

1007a，从元数据解析到第二标识时，从元数据中解析子图像块的尺寸。

1008a，根据子图像块的尺寸确定第二原始图像的各个子图像块的位置(或者分区)。

1007b，从元数据解析到第一标识时，从元数据中解析分割线交点坐标。

1008b，根据分割线交点坐标确定第二原始图像的各个子图像块的位置(或者分区)。

1009，从元数据中解析每个子图像块的LTM参数，并拟合得到相应的局部色调映射曲线。

1010，根据确定的全局色调映射曲线以及局部色调映射曲线执行全局色调映射和局部色调映射。

场景二，以应用到终端设备的主摄模组和长焦摄像模组切换场景为例。由主摄模组切换到长焦摄像模组。终端设备支持双路视频流。

当用户点击桌面上相机应用(appliaction，APP)的图标时，终端设备可以响应于用户点击相机应用图标的操作，启动相机应用。在启动相机应用后，用户可以启动录像功能。

参见图12所示：

1201，参见1001，此处不再赘述。

1202，终端设备响应用于用户的操作，启动长焦摄像模组，通过长焦摄像模组采集视频流2，同时也继续通过主摄像模组采集视频流1。长焦摄像模组采集的第一帧图像为第二原始图像，主摄像模组与长焦摄像模组同步采集第一原始图像。

1203，确定第一原始图像上与第二原始图像画面重叠的区域。

通过图像识别得到第一原始图像与第二原始图像画面重叠的区域。

1204-1210，参见1004-1010，此处不再赘述。

场景三，以应用到终端设备的主摄模组和长焦摄像模组切换场景为例。由主摄模组切换到长焦摄像模组。终端设备不支持双路视频流。在摄像模组切换之前，主摄像模组采用视频虚化场景，视频虚化场景中，主体部分清晰，非主体部分模糊化处理。

当用户点击桌面上相机应用(appliaction，APP)的图标时，终端设备可以响应于用户点击相机应用图标的操作，启动相机应用。在启动相机应用后，用户可以启动录像功能。

参见图13所示：

1301，参见1001，此处不再赘述。

1302，终端设备响应用于用户的操作，启动长焦摄像模组，通过长焦摄像模组采集视频流2，同时也继续通过主摄像模组采集视频流1。长焦摄像模组采集的第一帧图像为第二原始图像，主摄像模组与长焦摄像模组同步采集第一原始图像。

1203，确定第一原始图像上与第二原始图像画面重叠的区域。

确定第一原始图像中的主体区域部分。即第一原始图像上的主体区域部分为与第二原始图像画面重叠的区域。

进一步地，使得第二原始图像采用的色调映射曲线与第一原始图像上第二区域采用的色调映射曲线相同。一些情况下，可以采用平滑的方式，基于第一原始图像以及第一原始图像之前的几帧图像的第二区域采用的色调映射曲线进行加权计算第二原始图像采用的色调映射曲线。

1304-1310，参见1004-1010，此处不再赘述。

可以理解的是，为了实现上述方法实施例中功能，视频处理装置包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的模块及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。

参见图14所示，为本申请实施例提供的一种视频处理装置结构示意图。视频处理装置包括第一采集模块1401、第二采集模块1402、处理模块1403。视频处理装置可以应用于采集端设备。

第一采集模块1401，用于获取第一摄像模组采集的第一视频流，所述第一视频流包括第一原始图像在内的连续多帧原始图像；

第二采集模块1402，用于在摄像模组由第一摄像模组切换到第二摄像模组时，通过第二摄像模组采集第二视频流；所述第一摄像模组与所述第二摄像模组的视场角不同；

处理模块1403，用于对所述第二摄像模组采集的第二视频流进行图像处理得到第三视频流，所述图像处理包括色调映射处理；

其中，所述第二视频流包括第二原始图像在内的连续多帧原始图像，所述第二原始图像中第一区域的色调映射处理采用第一色调映射参数，所述第一区域的画面与所述第一原始图像中第二区域的画面重叠；所述第一色调映射参数是根据对所述第一视频流的至少一帧原始图像中的第二区域进行色调映射处理时采用的色调映射曲线的参数确定的；所述至少一帧原始图像包括所述第一原始图像，所述第二原始图像的采集时刻与所述第一原始图像的采集时刻的间隔小于设定时长。

在一种可能的实现方式中，所述采集端设备支持双路视频流，所述第二原始图像与所述第一原始图像为同步采集的图像；或者，所述采集端设备不支持双路视频流，所述第一原始图像为所述第一摄像模组采集的最后一帧图像，所述第二原始为所述第二摄像模组采集的第一帧图像。

在一种可能的实现方式中，处理模块1403可以包括ISP和控制器。所述色调映射处理包括通过图像信号处理器ISP执行的第一色调映射和/或控制器调用程度代码执行的第二色调映射，所述第一色调映射参数包括第一色调映射对应的第一参数和/或第二色调映射对应的第二参数。

在一种可能的实现方式中，所述第一色调映射包括第一全局色调映射和/或第一局部色调映射；或者，所述第二色调映射包括第二全局色调映射和/或第二局部色调映射。

在一种可能的实现方式中，所述第三视频流中包括元数据，所述元数据包括所述第二参数。

在一种可能的实现方式中，所述第一摄像模组的视场角大于所述第二摄像模组的视场角，所述第二原始图像中第一区域为所述第二原始图像的全部区域；

处理模块1403在对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射时，具体用于：

对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；

采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；

所述第二子图像块为所述第二原始图像中任一子图像块；所述第一子图像块属于所述第一原始图像且所述第一子图像块为所述第一原始图像中与所述第二子图像块的画面重叠区域最大的子图像块。

在一种可能的实现方式中，所述局部色调映射处理为第二局部色调映射，所述第一原始图像被分割的子图像块的规格与所述第二子图像块被分割的子图像块的规格不相同，所述第二子图像块与所述第一子图像块的画面重叠区域为所述第二子图像块。

在一种可能的实现方式中，所述第二参数包括所述第二原始图像被分割的每个子图像块的色调映射曲线的参数，所述视频流包括的元数据中还包括至少一个点的坐标，所述至少一个点的坐标用于确定所述第二原始图像被分割的每个子图像块的位置。

在一种可能的实现方式中，所述视频流包括的元数据中还包括第一标识，所述第一标识用于指示所述第二原始图像被分割的多个子图像块的规格不同。

在一种可能的实现方式中，所述第一摄像模组的视场角小于所述第二摄像模组的视场角，所述第一原始图像中第二区域为所述第一原始图像的全部区域，所述第二原始图像中除所述第一区域以外的区域的色调映射处理采用配置的第二色调映射参数。

在一种可能的实现方式中，处理模块1403在对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射时，具体用于：

对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；

采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；

所述第二子图像块为所述第二原始图像的第一区域中的任一子图像块；至少一个第一子图像块属于所述第一原始图像，且所述至少一个第一子图像块中每个第一子图像块的画面与所述第二子图像块的画面均存在重叠。

在一种可能的实现方式中，所述第一原始图像分割的子图像块的规格与所述第二子图像块分割的子图像块的规格相同，所述第一原始图像分割的子图像块的数量与所述第二子图像块分割的子图像块的数量相同。

在一种可能的实现方式中，所述局部色调映射处理为第二局部色调映射，所述第二参数中包括所述第一原始图像被分割的每个子图像块的色调映射曲线的参数，所述第三视频流的元数据中还包括所述规格。

在一种可能的实现方式中，所述第三视频流的元数据中还包括第二标识，所述第二标识用于指示所述第二原始图像被分割的多个子图像块的规格相同。

在一种可能的实现方式中，所述第二原始图像中第一区域为所述第一原始图像的全部区域，所述第二原始图像中第一区域被分割的子图像块数量与所述第一原始图像被分割的子图像块的数量相同，所述第一区域被分割的子图像块的画面与所述第一原始图像被分割的子图像块的画面一一对应重叠。

在一种可能的实现方式中，所述装置还包括显示模块1404，所述显示模块1404，用于从所述第三视频流中解码元数据；根据所述元数据中的第二参数以及显示设备的屏幕亮度参数确定色调映射曲线；根据所述色调映射曲线对所述第三视频流中的图像帧进行色调映射处理。

在本申请的另一些实施例中，本申请实施例公开了一种终端设备，如图15所示，该终端设备可以包括：触摸屏1501，其中，该触摸屏1501包括触控面板1506和显示屏1507；一个或多个处理器1502；存储器1503；一个或多个应用程序(未示出)；以及一个或多个计算机程序1504、上述各器件可以通过一个或多个通信总线1505连接。其中该一个或多个计算机程序1504被存储在上述存储器1503中并被配置为被该一个或多个处理器1502执行，该一个或多个计算机程序1504包括指令，上述指令可以用于执行如图10、图12和图13相应实施例中的各个步骤。本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在处理器上运行时，使得处理器执行上述相关方法步骤实现上述实施例中的视频处理方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的视频处理方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的视频处理方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (34)

1.一种视频处理方法，其特征在于，应用于采集端设备，所述采集端设备至少包括第一摄像模组和第二摄像模组，包括：

响应于第一摄像模组启动操作，采用所述第一摄像模组采集第一视频流，所述第一视频流包括第一原始图像在内的连续多帧原始图像；

响应于摄像模组的切换操作，开启所述第二摄像模组；所述第一摄像模组与所述第二摄像模组的视场角不同；

对所述第二摄像模组采集的第二视频流进行图像处理得到第三视频流，所述图像处理包括色调映射处理；

其中，所述第二视频流包括第二原始图像在内的连续多帧原始图像，所述第二原始图像中第一区域的色调映射处理采用第一色调映射参数，所述第一区域的画面与所述第一原始图像中第二区域的画面重叠；所述第一色调映射参数是根据对所述第一视频流的至少一帧原始图像中的第二区域进行色调映射处理时采用的色调映射曲线的参数确定的；所述至少一帧原始图像包括所述第一原始图像，所述第二原始图像的采集时刻与所述第一原始图像的采集时刻的间隔小于设定时长。

2.如权利要求1所述的方法，其特征在于，所述采集端设备支持双路视频流，所述第二原始图像与所述第一原始图像为同步采集的图像；或者，

所述采集端设备不支持双路视频流，所述第一原始图像为所述第一摄像模组采集的最后一帧图像，所述第二原始为所述第二摄像模组采集的第一帧图像。

3.如权利要求1或2所述的方法，其特征在于，所述色调映射处理包括通过图像信号处理器ISP执行的第一色调映射和/或控制器调用程度代码执行的第二色调映射，所述第一色调映射参数包括第一色调映射对应的第一参数和/或第二色调映射对应的第二参数。

4.如权利要求3所述的方法，其特征在于，所述第一色调映射包括第一全局色调映射和/或第一局部色调映射；或者，

所述第二色调映射包括第二全局色调映射和/或第二局部色调映射。

5.如权利要求3或4所述的方法，其特征在于，所述第三视频流中包括元数据，所述元数据包括所述第二参数。

6.如权利要求3-5任一项所述的方法，其特征在于，所述第一摄像模组的视场角大于所述第二摄像模组的视场角，所述第二原始图像中第一区域为所述第二原始图像的全部区域；

对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：

对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；

采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；

所述第二子图像块为所述第二原始图像中任一子图像块；所述第一子图像块属于所述第一原始图像且所述第一子图像块为所述第一原始图像中与所述第二子图像块的画面重叠区域最大的子图像块。

7.如权利要求6所述的方法，其特征在于，所述局部色调映射处理为第二局部色调映射，所述第一原始图像被分割的子图像块的规格与所述第二子图像块被分割的子图像块的规格不相同，所述第二子图像块与所述第一子图像块的画面重叠区域为所述第二子图像块。

8.如权利要求7所述的方法，其特征在于，所述第二参数包括所述第二原始图像被分割的每个子图像块的色调映射曲线的参数，所述视频流包括的元数据中还包括至少一个点的坐标，所述至少一个点的坐标用于确定所述第二原始图像被分割的每个子图像块的位置。

9.如权利要求8所述的方法，其特征在于，所述视频流包括的元数据中还包括第一标识，所述第一标识用于指示所述第二原始图像被分割的多个子图像块的规格不同。

10.如权利要求3-5任一项所述的方法，其特征在于，所述第一摄像模组的视场角小于所述第二摄像模组的视场角，所述第一原始图像中第二区域为所述第一原始图像的全部区域，所述第二原始图像中除所述第一区域以外的区域的色调映射处理采用配置的第二色调映射参数。

11.如权利要求10所述的方法，其特征在于，对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：

对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；

采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；

所述第二子图像块为所述第二原始图像的第一区域中的任一子图像块；至少一个第一子图像块属于所述第一原始图像，且所述至少一个第一子图像块中每个第一子图像块的画面与所述第二子图像块的画面均存在重叠。

12.如权利要求6或11所述的方法，其特征在于，所述第一原始图像分割的子图像块的规格与所述第二子图像块分割的子图像块的规格相同，所述第一原始图像分割的子图像块的数量与所述第二子图像块分割的子图像块的数量相同。

13.如权利要求12所述的方法，其特征在于，所述局部色调映射处理为第二局部色调映射，所述第二参数中包括所述第一原始图像被分割的每个子图像块的色调映射曲线的参数，

所述第三视频流的元数据中还包括所述规格。

14.如权利要求12或13所述的方法，其特征在于，所述第三视频流的元数据中还包括第二标识，所述第二标识用于指示所述第二原始图像被分割的多个子图像块的规格相同。

15.如权利要求11所述的方法，其特征在于，所述第二原始图像中第一区域为所述第一原始图像的全部区域，所述第二原始图像中第一区域被分割的子图像块数量与所述第一原始图像被分割的子图像块的数量相同，所述第一区域被分割的子图像块的画面与所述第一原始图像被分割的子图像块的画面一一对应重叠。

16.如权利要求4-15任一项所述的方法，其特征在于，所述采集端设备还包括显示组件，所述方法还包括：

通过所述显示组件从所述第三视频流中解码元数据；

根据所述元数据中的第二参数以及显示组件的屏幕亮度参数确定色调映射曲线；

根据所述色调映射曲线对所述第三视频流中的图像帧进行色调映射处理。

17.一种采集端设备，其特征在于，至少包括第一摄像模组和第二摄像模组，还包括处理器，所述处理器用于执行：

响应于第一摄像模组启动操作，采用所述第一摄像模组采集第一视频流，所述第一视频流包括第一原始图像在内的连续多帧原始图像；

响应于摄像模组的切换操作，开启所述第二摄像模组；所述第一摄像模组与所述第二摄像模组的视场角不同；

对所述第二摄像模组采集的第二视频流进行图像处理得到第三视频流，所述图像处理包括色调映射处理；

其中，所述第二视频流包括第二原始图像在内的连续多帧原始图像，所述第二原始图像中第一区域的色调映射处理采用第一色调映射参数，所述第一区域的画面与所述第一原始图像中第二区域的画面重叠；所述第一色调映射参数是根据对所述第一视频流的至少一帧原始图像中的第二区域进行色调映射处理时采用的色调映射曲线的参数确定的；所述至少一帧原始图像包括所述第一原始图像，所述第二原始图像的采集时刻与所述第一原始图像的采集时刻的间隔小于设定时长。

18.如权利要求17所述的设备，其特征在于，所述采集端设备支持双路视频流，所述第二原始图像与所述第一原始图像为同步采集的图像；或者，

所述采集端设备不支持双路视频流，所述第一原始图像为所述第一摄像模组采集的最后一帧图像，所述第二原始为所述第二摄像模组采集的第一帧图像。

19.如权利要求17或18所述的设备，其特征在于，所述处理器包括图像信号处理器ISP和控制器；所述色调映射处理包括通过图像信号处理器ISP执行的第一色调映射和/或控制器调用程度代码执行的第二色调映射，所述第一色调映射参数包括第一色调映射对应的第一参数和/或第二色调映射对应的第二参数。

20.如权利要求19所述的设备，其特征在于，所述第一色调映射包括第一全局色调映射和/或第一局部色调映射；或者，

所述第二色调映射包括第二全局色调映射和/或第二局部色调映射。

21.如权利要求19或20所述的设备，其特征在于，所述第三视频流中包括元数据，所述元数据包括所述第二参数。

22.如权利要求19-21任一项所述的设备，其特征在于，所述第一摄像模组的视场角大于所述第二摄像模组的视场角，所述第二原始图像中第一区域为所述第二原始图像的全部区域；

所述处理器，具体用于对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：

对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；

采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；

所述第二子图像块为所述第二原始图像中任一子图像块；所述第一子图像块属于所述第一原始图像且所述第一子图像块为所述第一原始图像中与所述第二子图像块的画面重叠区域最大的子图像块。

23.如权利要求22所述的设备，其特征在于，所述局部色调映射处理为第二局部色调映射，所述第一原始图像被分割的子图像块的规格与所述第二子图像块被分割的子图像块的规格不相同，所述第二子图像块与所述第一子图像块的画面重叠区域为所述第二子图像块。

24.如权利要求23所述的设备，其特征在于，所述第二参数包括所述第二原始图像被分割的每个子图像块的色调映射曲线的参数，所述视频流包括的元数据中还包括至少一个点的坐标，所述至少一个点的坐标用于确定所述第二原始图像被分割的每个子图像块的位置。

25.如权利要求24所述的设备，其特征在于，所述视频流包括的元数据中还包括第一标识，所述第一标识用于指示所述第二原始图像被分割的多个子图像块的规格不同。

26.如权利要求19-21任一项所述的设备，其特征在于，所述第一摄像模组的视场角小于所述第二摄像模组的视场角，所述第一原始图像中第二区域为所述第一原始图像的全部区域，所述第二原始图像中除所述第一区域以外的区域的色调映射处理采用配置的第二色调映射参数。

27.如权利要求26所述的设备，其特征在于，所述处理器，具体用于对所述第二原始图像中第一区域进行局部色调映射处理，所述局部色调映射处理为第一局部色调映射或者第二局部色调映射，包括：

对所述第一原始图像进行分割得到多个子图像块，以及对第二原始图像进行分割得到多个子图像块；

采用第一色调映射参数包括的第一子图像块的局部色调映射曲线的参数对第二子图像块进行局部色调映射处理；

所述第二子图像块为所述第二原始图像的第一区域中的任一子图像块；至少一个第一子图像块属于所述第一原始图像，且所述至少一个第一子图像块中每个第一子图像块的画面与所述第二子图像块的画面均存在重叠。

28.如权利要求22或27所述的设备，其特征在于，所述第一原始图像分割的子图像块的规格与所述第二子图像块分割的子图像块的规格相同，所述第一原始图像分割的子图像块的数量与所述第二子图像块分割的子图像块的数量相同。

29.如权利要求28所述的设备，其特征在于，所述局部色调映射处理为第二局部色调映射，所述第二参数中包括所述第一原始图像被分割的每个子图像块的色调映射曲线的参数，

所述第三视频流的元数据中还包括所述规格。

30.如权利要求28或29所述的设备，其特征在于，所述第三视频流的元数据中还包括第二标识，所述第二标识用于指示所述第二原始图像被分割的多个子图像块的规格相同。

31.如权利要求27所述的设备，其特征在于，所述第二原始图像中第一区域为所述第一原始图像的全部区域，所述第二原始图像中第一区域被分割的子图像块数量与所述第一原始图像被分割的子图像块的数量相同，所述第一区域被分割的子图像块的画面与所述第一原始图像被分割的子图像块的画面一一对应重叠。

32.如权利要求20-31任一项所述的设备，其特征在于，还包括显示组件；

所述显示组件，用于执行：

从所述第三视频流中解码元数据；

根据所述元数据中的第二参数以及显示组件的屏幕亮度参数确定色调映射曲线；

根据所述色调映射曲线对所述第三视频流中的图像帧进行色调映射处理。

33.一种视频处理装置，其特征在于，包括处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器中存储的计算机程序，实现如权利要求1-16任一项所述的方法。

34.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行如上述权利要求1-16任一项所述的方法。