CN112911262A - 一种视频序列的处理方法及电子设备 - Google Patents

Abstract

本申请提供了一种视频序列的处理方法，应用于电子设备，所获取第一目标图像帧的局部色调映射处理结果；获取一个或多个第二目标图像帧的处理图像，其中，在时域上所述第二目标图像帧为在所述第一目标图像帧之前的图像帧，所述视频序列在时域上第一个帧图像的处理图像为所述第一个帧图像的局部色调映射处理结果；计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，所述时域权重用于指示在时域上所述第一目标图像帧和所述一个或多个第二目标图像帧的关联度，通过本申请公开的方法，可以避免HDR视频出现闪烁问题。

Description

一种视频序列的处理方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种视频序列的处理方法及电子设备。

背景技术

随着多媒体技术的发展，具备高分辨率、高对比度以及广色域的视频影像已成为近些年视频显示领域的研究热点。相对于标准动态范围(SDR，Standard Dynamic Range)，高动态范围(HDR，High Dynamic Range)视频具有更高的动态范围和更广的色域范围，能够提供更清晰的画面细节和层次，逼真地重现真实场景，是目前高清视频显示的发展方向。

但是由于当前多数的标准显示设备不具备高动态范围显示能力，为将HDR视频转换为SDR视频进行显示，需要使用色调映射算法。色调映射算法能够合理压缩高动态范围图像同时保持原有的细节、对比度和颜色。

但是相关技术中，使用色调映射算法处理HDR视频时存在闪烁、鬼影等缺陷，极大地影响观赏感受

发明内容

本申请提供了一种视频序列的处理方法及电子设备，本申请还提供一种计算机可读存储介质，以提供一种视频序列的处理方法，以色调映射算法处理所产生的闪烁问题。

第一方面，本申请提供了一种视频序列的处理方法，应用于电子设备，方法包括：

获取第一目标图像帧的局部色调映射处理结果；

获取一个或多个第二目标图像帧的处理图像，其中，在时域上第二目标图像帧为在第一目标图像帧之前的图像帧，视频序列在时域上第一个帧图像的处理图像为第一个帧图像的局部色调映射处理结果；

计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，时域权重用于指示在时域上第一目标图像帧和一个或多个第二目标图像帧的关联度；

基于局部色调映射处理结果，一个或多个第二目标图像帧的处理图像，一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，计算获得第一目标图像帧的处理图像。

进一步地，获取第一目标图像帧的局部色调映射处理结果，包括：

计算第一目标图像帧的亮度通道；

基于亮度通道，计算每个颜色通道颜色比例；

对亮度通道进行局部映射处理，获得局部色调映射结果；

基于局部色调映射结果和每个颜色通道颜色比例，计算获得第一目标图像帧的局部色调映射处理结果。

进一步地，计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，包括：

分别将第一目标图像进行分割，获得多个第一超像素区域；

对每个第一超像素区域内的像素进行向后运动估计，以计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量。

进一步地，计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，包括：

获取第一目标图像与第二目标图像的帧数间隔距离；

判断第一超像素区域内的像素与第二目标图像帧的像素的匹配数量是否大于预设阈值；

若大于预设阈值，确定第一超像素区域为目标超像素区域；

基于目标超像素区域的数量以及帧数间隔距离，获取时域权重。

进一步地，计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，包括：

将第二目标图像进行扭曲处理；

将第一目标图像帧内的像素和扭曲处理后的第二目标图像帧的像素之间进行匹配；

基于匹配结果，获取时域权重。

进一步地，基于局部色调映射处理结果，一个或多个第二目标图像帧的处理图像，一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，计算获得第一目标图像帧的处理图像，包括：

基于像素运动矢量，对一个或多个第二目标图像帧的处理图像进行预测，以获取第一图像；

基于时域权重，对第一图像进行时域过滤获取第二图像；

基于局部色调映射处理结果，计算获得第三图像，第三图像与局部色调映射处理结果在梯度域上最接近；

将第二图像与第三图像融合，获取第一目标图像帧的处理图像。

第二方面，本申请提供了一种视频序列的处理装置，包括：

第一获取模块，用于获取第一目标图像帧的局部色调映射处理结果；

第二获取模块，用于获取一个或多个第二目标图像帧的处理图像，其中，在时域上第二目标图像帧为在第一目标图像帧之前的图像帧，视频序列在时域上第一个帧图像的处理图像为第一个帧图像的局部色调映射处理结果；

第一计算模块，用于计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，时域权重用于指示在时域上第一目标图像帧和一个或多个第二目标图像帧的关联度；

第二计算模块，用于基于局部色调映射处理结果，一个或多个第二目标图像帧的处理图像，一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量和时域权重，计算获得第一目标图像帧的处理图像。

进一步地，第一获取模块还用于计算第一目标图像帧的亮度通道；

基于亮度通道，计算每个颜色通道颜色比例；

对亮度通道进行局部映射处理，获得局部色调映射结果；

基于局部色调映射结果和每个颜色通道颜色比例，计算获得第一目标图像帧的局部色调映射处理结果。

进一步地，第一计算模块还用于分别将第一目标图像进行分割，获得多个第一超像素区域；

对每个第一超像素区域内的像素进行向后运动估计，以计算获得一个或多个第二目标图像帧与第一目标图像帧之间的像素运动矢量。

进一步地，第一计算模块还用于获取第一目标图像与第二目标图像的帧数间隔距离；

判断第一超像素区域内的像素与第二目标图像帧的像素的匹配数量是否大于预设阈值；

若大于预设阈值，确定第一超像素区域为目标超像素区域；

基于目标超像素区域的数量以及帧数间隔距离，获取时域权重。

进一步地，第一计算模块还用于将第二目标图像进行扭曲处理；

将第一目标图像帧内的像素和扭曲处理后的第二目标图像帧的像素之间进行匹配；

基于匹配结果，获取时域权重。

进一步地，第二计算模块还用于基于像素运动矢量，对一个或多个第二目标图像帧的处理图像进行预测，以获取第一图像；

基于时域权重，对第一图像进行时域过滤获取第二图像；

基于局部色调映射处理结果，计算获得第三图像，第三图像与局部色调映射处理结果在梯度域上最接近；

将第二图像与第三图像融合，获取第一目标图像帧的处理图像。

第三方面，本申请提供了一种芯片模组，包括第二方面中任一项的处理装置。

第三方面，本申请提供了一种电子设备，电子设备还包括处理器和存储设备，存储设备存有应用程序，应用程序由处理器运行时，使得电子设备执行第一方面中任一项的视频序列的处理方法。

第四方面，本申请提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在计算机设备上运行时，使得计算机设备执行如第一方面中任一项视频序列的处理方法。

附图说明

图1为本申请实施例提供的电子设备的结构示意图

图2为本申请实施例提供的视频序列的处理方法的流程图；

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

色调映射算法一般只对图像的亮度进行处理，而图像的颜色保持不变。通常，色调映射算法的基本流程是：先用保边滤波器处理图像，分离得到基础亮度层和细节层；然后，用全局或局部映射处理亮度层，压缩图像亮度范围；最后，再将图像细节叠加回去。最终，实现保留图像细节，压缩动态范围的目的。

目前，针对视频序列的色调映射算法一般可分为两种：全局映射和局部映射算法。全局映射算法在空域上依据图像的整体亮度和特征信息对单帧像素进行统一的处理，在时域上对全局映射参数进行平滑滤波，算法复杂度较低，但缺乏有效地局部处理，容易丢失细节信息。

另一方面，局部映射的操作都针对单帧局部参数或像素，较好地保留局部细节对比度，局部映射算法一般比全局映射算法复杂，效果更好，但复杂地操作容易引入闪烁，重影等缺陷。与此同时，在时域上直接平滑滤波处理，容易产生重影或运动模糊，并不适用于局部映射算法。

在相关技术中，一种典型的方法是利用运动估计算法计算像素在时域上的运动轨迹，沿运动路径做平滑处理。由Lee,Chul,and Chang-Su Kim等人于《2007IEEEInternational Conference on Image Processing.Vol.3.IEEE,2007》提出的"Gradientdomain tone mapping of high dynamic range videos"，在梯度域利用高斯金字塔逐级减小单帧梯度，实现在空域上对动态范围的压缩，再由块配算法进时域运动平滑滤波，最终结果加权融合时空域结果来得到。

但是，发明人发现通过块匹配算法匹配前后两帧的像素块来计算运动矢量，由于匹配图像只有两帧，其精度受限，容易造成失真，处理效果未充分验证。另一方面，在最终求解Possion方程时，时域相关项代价函数的权重为预设常数，无法自适应地显著调节时域滤波强度，灵活性比较差。

在另一种典型的方法中，由Aydin,Tunc Ozan等人提出的."Temporally coherentlocal tone mapping of HDR video."U.S.Patent No.9,361,679.7Jun.2016.中，利用光流估计算法计算视频序列运动矢量场，结合保边滤波器进行时空滤波处理，得到的基础亮度层，而对应的细节图层则由时域滤波处理得到。最后，采用映射曲线压缩基础亮度层，并叠加细节层得到最终结果。

但是该方法中，采用改进各向异性滤波器迭代滤波的方式对图像进行时空域滤波得到基础亮度层和细节层，这种方式不仅忽略了多尺度细节信息，而且计算复杂度高，硬件难以实现。另外，算法需要前后相邻若干帧计算光流，只适合离线处理。同时，运动矢量的计算误差不可避免，该算法利用图像一致性和光流梯度信息对误差进行了抑制，但计算也更为复杂。

本发明提出一种图像的处理方法，该方法利用多尺度空域滤波处理，实现局部色调映射，有效压缩动态范围和细节保持，同时采用一帧或多帧图像加权运动估计进行自适应时域滤波，消除闪烁缺陷。本专利具有自适应性强、误差小以及硬件可实现等优点。

参见图1，具体涉及本申请一个实施例提供的电子设备1的结构示意图。

本发明提出一种图像的处理方法应用于电子设备1上，电子设备1包括，但不仅限于，处理器11、存储器12。本领域技术人员可以理解，图1仅仅是电子设备的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备1还可以包括输入输出设备、网络接入设备、总线等。

所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器12可以是电子设备1的内部存储单元，例如电子设备1的硬盘或内存。存储器12也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12用于存储计算机程序以及电子设备1所需的其他程序和数据。存储器12还可以用于暂时地存储已经输出或者将要输出的数据。

在一个实施例中，电子设备还可包括显示屏，用于显示图像，视频等，还可以用来接受用户输入的数据。显示屏包括显示面板。显示面板可以采用液晶显示屏(liquidcrystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备1可以包括1个或N个显示屏104，N为大于1的正整数。

参见图2，为本申请一个实施例提供的一种图像的处理方法的流程图，本方法应用处理视频序列，该方法可应用与上述电子设备，具体包括：

步骤202，电子设备获取第一目标图像帧的局部色调映射处理结果。

该第一目标图像帧指示电子设备将当前处理的图像帧。第一目标图像帧可以表示为I(t)，第一目标图像帧的局部色调映射处理结果可以表示为I_TM(t)。

在一个实施例中，电子设备获取第一目标图像帧I(t)后，通过相关色调映射算法对第一目标图像帧I(t)亮度通道进行计算，一般情况下以下亮度通道Ilum(t)计算公式进行计算获得：

Ilum(t)＝0.2126*I_R+0.7152*I_G+0.0722*I_B；

其中，IR，IG，I_B为I(t)的R,G,B通道。

为记录色彩信息，需要计算R,G,B三通道颜色比例，示例性地，计算公式为：

Rr(t)＝I_R/Ilum(t)；

Rg(t)＝I_G/Ilum(t)；

Rb(t)＝I_B/Ilum(t)；

在一个示例中，对第一目标图像帧I(t)的亮度通道进行局部映射处理，可保证压缩图像动态范围保留细节，同时不引入光晕，重影等可视缺陷。一种典型的方法是利用多尺度空域保边滤波器，包括但不限于：快速局部拉普拉斯滤波器，加权最小二乘滤波器。此类方法具有局部对比度保持效果好，无明显边缘缺陷等优点。经空域滤波处理后，得到局部映射结果乘以颜色比率(Rr(t),Rg(t),Rb(t))的到当前帧(第一目标帧)局部色调映射处理结果I_TM(t)。

步骤204，电子设备获取一个或多个第二目标图像帧的处理图像O(t-d)。

其中，在时域上第二目标图像帧为在所述第一目标图像帧之前的图像帧，具体地可以通过解码器获取视频序列(t>1)中,需要处理的第一目标图像帧I(t)与前若干帧(第二目标图像帧)图像{I(t-d)}其中d＝1,2,3……n，n为帧数，由视频总帧数确定，一般可取n＝20。

第二目标图像帧的处理图像是指已经经过本申请所示的处理方法处理后的第二目标图像帧。本申请所示的处理方法中，视频序列在时域上第一个帧图像的处理图像为第一个帧图像的局部色调映射处理结果。通过上下文，可以理解，本方法中，在获取第一帧图像的处理结果后，即可计算视频序列中第一帧后的帧的处理图像。

步骤206，计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，所述时域权重用于指示在时域上所述第一目标图像帧和所述一个或多个第二目标图像帧的关联度；

电子设备可以单独计算该像素运动矢量和时域权重。

关于像素运动矢量，在视频序列上，像素随时间在整幅图上的移动可以用运动估计算法得到。目前有许多运动估计算法，如SUN,D.,ROTH,S.,AND BLACK,M.J.等人与2014年提出的A quantitative analysis of current practices in optical flow estimationand the principles behind them.Int.J.Comput.Vision 106,2,115–137，以及Philip,Jobin T等人于2014年提出的"A comparative study of block matching and opticalflow motion estimation algorithms."2014Annual International Conference onEmerging Research Areas:Magnetics,Machines and Drives(AICERA/iCMMD).IEEE,2014。通常只需要相邻的两帧图像就可以得到运动估计矢量，但受限于图像数量，容易导致信息缺失，造成最终运动估计结果存在误差，影响时域滤波效果(运动模糊等)。

电子设备为更精确地计算运动路径，可以利用视频序列中多帧图像计算运动估计，当然也可只用一帧进行运动估计。在运动估计前，为提高计算速度和鲁棒性，电子设备可将所述第一目标图像进行分割，以获取多个第一超像素区域；对每个所述第一超像素区域内的像素进行向后运动估计，以获取第二目标图像帧与所述第一目标图像帧之间的像素运动矢量。即本申请中以块为单位利用运动估计算法计算其帧间对应关系得到对应像素的运动路径，例如采用SIFT flow算法。采用后向运动估计，可以由第一目标图像帧I(t)与第二目标图像帧I(t-d)计算得到相对像素运动矢量

关于时域权重，该时域权重指示在时域上第一目标图像帧和第二目标图像帧的关联度。该时域权重还与时域过滤强度相关，时域权重越大，说明第一目标图像帧与第二目标图像帧越关联，时域过滤强度越大。

在一个实施例中，本申请与文献Temporally coherent local tone mapping ofHDR video提出的将权重设置为常数的方式不同，而是通过原始视频帧间动态相关性，来确定衡量像素的时域相关权重Wv，即Wv是动态变化的，示例性的，具体计算公式为

Wv＝exp(-α‖I(t)-warp(I(t-d))‖²) (1)

其中，warp(I(t-d))为第二目标图像帧进行扭曲处理后的结果，然后基于上述公式，将所述第一目标图像帧内的像素和扭曲处理后的所述第二目标图像帧的像素之间进行匹配，以获取所述时域权重。

在另一个实施例中，电子设备可以获取第一目标图像与第二目标图像的帧数间隔距离，并判断第一超像素区域内的像素与第二目标图像帧的像素的匹配数量是否大于预设阈值；若大于预设阈值，确定所述第一超像素区域为目标超像素区域；基于所述目标超像素区域的数量以及所述帧数间隔距离，获取时域权重Wf。

具体地，利用前后两帧进行向后运动估计时往往会存在误差，利用多帧图像进行运动估计加权计算，可以提高精度。不同帧存在不同时域相关性，可表示为第一目标图像帧(第i帧)与之前第二目标图像帧(第j帧)相关时域权重Wf，其数学表达式为

Wf＝normlize(Nij)/normlize(Dij) (2)

其中，Dij是第一目标图像与第二目标图像的帧数间隔距离Dij＝|i-j|，两帧图像间隔越近其相似性一般会越强，因此时域相关性与帧数间隔距离Dij成反比，其中，上述公式中d表示同一视频序列第i帧之前的第i-n帧，n为大于1的正整数。另外，Nij为目标超像素区域的数量,目标超像素区域是第i帧图像中与第j帧图像匹配的像素数量大于某一预设阈值的第一超像素区域。

目标超像素区域可以通过数学式表达为：

{Ω|p∈Ω,np>σ*nΩ} (4)。

其中，p为像素，np为匹配像素数，nΩ为超像素区域内像素总数，阈值σ一般可设为为总像素数的0.75。当匹配超像素数量Nij较大时，两帧图像时域相关性较强，时域相关权重越大；匹配超像素数量Nij越小，两帧图像几乎完全不同，时域相关权重越小。

在一个实施例中，可以将上述时域权重Wf和Wv结合，以形成新的综合权重Wd，来表示在时域上所述第一目标图像帧和所述第二目标图像帧的关联度，Wd可以表示为Wd＝Wv*Wf。这样利用第一目标图像帧和前若干帧时域相关性设置时域相关权重，避免了过度平滑，又抑制了运动估计误差，有效的提升算法灵活性。

步骤208，电子设备基于所述局部色调映射处理结果，所述一个或多个第二目标图像帧的处理图像，所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，计算获得所述第一目标图像帧的处理图像。

电子设备可以先基于像素运动矢量对一个或多个第二目标图像帧的处理图像的预测，以获取第一图像warp(O(t-d))，具体地可以表达为

进一步地，然后电子设备可基于所述时域权重，对所述第一图像进行时域过滤获取第二图像。具体地，基于以上的时域相关性的分析和表示，可以使第二图像O(t)和warp(O(t-d))差异最小化，其数学表达式为：

进一步地，电子设备基于所述局部色调映射处理结果，计算获得第三图像，第三图像与所述局部色调映射处理结果在梯度域上最接近，具体可以表达为：

将所述第二图像与第三图像融合，获取所述第一目标图像帧的处理图像，最终的目标表达式为：

其中：

为梯度运算符

Wd＝exp(-α‖I(t)-warp(I(t-d))‖²*normlize(Nij)/normlize(Dij)

(9)

O₀＝P₀

其中，O₀表示第一帧的处理结果，P₀表示第一帧的局部色调映射处理结果。

最终可以看到，问题变为最优化问题。

在一个示例中，可采用最小角回归法求解以获得第一目标图像帧的处理结果，即第二图像和第三图像的融合图像。

本申请实施例可以根据上述方法示例对上述电子设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种视频序列的处理方法，其特征在于，应用于电子设备，所述方法包括：

获取第一目标图像帧的局部色调映射处理结果；

获取一个或多个第二目标图像帧的处理图像，其中，在时域上所述第二目标图像帧为在所述第一目标图像帧之前的图像帧，所述视频序列在时域上第一个帧图像的处理图像为所述第一个帧图像的局部色调映射处理结果；

计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，所述时域权重用于指示在时域上所述第一目标图像帧和所述一个或多个第二目标图像帧的关联度；

基于所述局部色调映射处理结果，所述一个或多个第二目标图像帧的处理图像，所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，计算获得所述第一目标图像帧的处理图像。

2.根据权利要求1所述的处理方法，其特征在于，所述获取第一目标图像帧的局部色调映射处理结果，包括：

计算所述第一目标图像帧的亮度通道；

基于所述亮度通道，计算每个颜色通道颜色比例；

对所述亮度通道进行局部映射处理，获得局部色调映射结果；

基于所述局部色调映射结果和每个颜色通道颜色比例，计算获得所述第一目标图像帧的局部色调映射处理结果。

3.根据权利要求1所述的处理方法，其特征在于，所述计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，包括：

分别将所述第一目标图像进行分割，获得多个第一超像素区域；

对每个所述第一超像素区域内的像素进行向后运动估计，以计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量。

4.根据权利要求4所述的处理方法，其特征在于，所述计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，包括：

获取所述第一目标图像与所述第二目标图像的帧数间隔距离；

判断所述第一超像素区域内的像素与第二目标图像帧的像素的匹配数量是否大于预设阈值；

若大于预设阈值，确定所述第一超像素区域为目标超像素区域；

基于所述目标超像素区域的数量以及所述帧数间隔距离，获取时域权重。

5.根据权利要求1所述的处理方法，其特征在于，所述计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，包括：

将所述第二目标图像进行扭曲处理；

将所述第一目标图像帧内的像素和扭曲处理后的所述第二目标图像帧的像素之间进行匹配；

基于匹配结果，获取时域权重。

6.根据权利要求1所述的处理方法，其特征在于，所述基于所述局部色调映射处理结果，所述一个或多个第二目标图像帧的处理图像，所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，计算获得所述第一目标图像帧的处理图像，包括：

基于所述像素运动矢量，对所述一个或多个第二目标图像帧的处理图像进行预测，以获取第一图像；

基于所述时域权重，对所述第一图像进行时域过滤获取第二图像；

基于所述局部色调映射处理结果，计算获得第三图像，所述第三图像与所述局部色调映射处理结果在梯度域上最接近；

将所述第二图像与第三图像融合，获取所述第一目标图像帧的处理图像。

7.一种视频序列的处理装置，包括：

第一获取模块，用于获取第一目标图像帧的局部色调映射处理结果；

第二获取模块，用于获取一个或多个第二目标图像帧的处理图像，其中，在时域上所述第二目标图像帧为在所述第一目标图像帧之前的图像帧，所述视频序列在时域上第一个帧图像的处理图像为所述第一个帧图像的局部色调映射处理结果；

第一计算模块，用于计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，所述时域权重用于指示在时域上所述第一目标图像帧和所述一个或多个第二目标图像帧的关联度；

第二计算模块，用于基于所述局部色调映射处理结果，所述一个或多个第二目标图像帧的处理图像，所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量和时域权重，计算获得所述第一目标图像帧的处理图像。

8.根据权利要求7所述的视频序列的处理装置，第一获取模块还用于计算所述第一目标图像帧的亮度通道；

基于所述亮度通道，计算每个颜色通道颜色比例；

对所述亮度通道进行局部映射处理，获得局部色调映射结果；

基于所述局部色调映射结果和每个颜色通道颜色比例，计算获得所述第一目标图像帧的局部色调映射处理结果。

9.根据权利要求7所述的视频序列的处理装置，第一计算模块还用于分别将所述第一目标图像进行分割，获得多个第一超像素区域；

对每个所述第一超像素区域内的像素进行向后运动估计，以计算获得所述一个或多个第二目标图像帧与所述第一目标图像帧之间的像素运动矢量。

10.根据权利要求9所述的视频序列的处理装置，第一计算模块还用于获取所述第一目标图像与所述第二目标图像的帧数间隔距离；

判断所述第一超像素区域内的像素与第二目标图像帧的像素的匹配数量是否大于预设阈值；

若大于预设阈值，确定所述第一超像素区域为目标超像素区域；

基于所述目标超像素区域的数量以及所述帧数间隔距离，获取时域权重。

11.根据权利要求7所述的视频序列的处理装置，第一计算模块还用于将所述第二目标图像进行扭曲处理；

将所述第一目标图像帧内的像素和扭曲处理后的所述第二目标图像帧的像素之间进行匹配；

基于匹配结果，获取时域权重。

12.根据权利要求7所述的视频序列的处理装置，所述第二计算模块还用于基于所述像素运动矢量，对所述一个或多个第二目标图像帧的处理图像进行预测，以获取第一图像；

基于所述时域权重，对所述第一图像进行时域过滤获取第二图像；

基于所述局部色调映射处理结果，计算获得第三图像，所述第三图像与所述局部色调映射处理结果在梯度域上最接近；

将所述第二图像与第三图像融合，获取所述第一目标图像帧的处理图像。

13.一种芯片模组，包括权利要求7-12任一项所述的处理装置。

14.一种电子设备，其特征在于，所述电子设备还包括处理器和存储设备，所述存储设备存有应用程序，所述应用程序由所述处理器运行时，使得所述电子设备执行权利要求1-6任一项所述的视频序列的处理方法。

15.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-6中任一项所述视频序列的处理方法。

Images