CN111683269A - 视频处理方法、装置、计算机设备和存储介质 - Google Patents

视频处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111683269A
CN111683269A CN202010534550.7A CN202010534550A CN111683269A CN 111683269 A CN111683269 A CN 111683269A CN 202010534550 A CN202010534550 A CN 202010534550A CN 111683269 A CN111683269 A CN 111683269A
Authority
CN
China
Prior art keywords
image
video frame
image feature
video
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010534550.7A
Other languages
English (en)
Other versions
CN111683269B (zh
Inventor
刘孟洋
徐敘远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010534550.7A priority Critical patent/CN111683269B/zh
Publication of CN111683269A publication Critical patent/CN111683269A/zh
Application granted granted Critical
Publication of CN111683269B publication Critical patent/CN111683269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种视频处理方法、装置、计算机设备和存储介质。所述方法包括：从待处理视频中提取视频帧；对所述视频帧进行下采样，得到对应的低分辨率图像；从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。采用本方法能够避免视频从低动态范围转换为高动态范围时出现亮度或色差问题。

Description

视频处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及视频处理技术领域，特别是涉及一种视频处理方法、装置、计算机设备和存储介质。
背景技术
随着视频处理技术的不断发展，使得广大用户可以很方便地通过智能终端观看各种视频。用户所观看的视频，通常会保存在存储系统中，如保存于分布式的云存储系统，而在存储系统中，有许多视频是由低动态范围图像所构成的，而这些由低动态范围图像所构成的视频观影效果较差。
常用的解决方案中，通过映射曲线将低动态范围的像素信息映射到高动态范围的空间，从而可以得到高动态范围的视频。由于视频的内容通常比较丰富，从空间域到时间域都有不同的信号表达出来，而使用映射曲线进行映射的方式，可能会导致映射后所得的视频出现亮度或色差的问题，影响映射效果。
发明内容
基于此，有必要针对上述技术问题，提供一种能够避免视频从低动态范围转换为高动态范围时出现亮度或色差问题的视频处理方法、装置、计算机设备和存储介质。
一种视频处理方法，所述方法包括：
从待处理视频中提取视频帧；
对所述视频帧进行下采样，得到对应的低分辨率图像；
从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；
利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
一种视频处理装置，所述装置包括：
第一提取模块，用于从待处理视频中提取视频帧；
第一采样模块，用于对所述视频帧进行下采样，得到对应的低分辨率图像；
第二提取模块，用于从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；
第二采样模块，用于利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
生成模块，用于基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从待处理视频中提取视频帧；
对所述视频帧进行下采样，得到对应的低分辨率图像；
从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；
利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从待处理视频中提取视频帧；
对所述视频帧进行下采样，得到对应的低分辨率图像；
从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；
利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
上述视频处理方法、装置、计算机设备和存储介质，从待处理视频中提取视频帧，针对提取出来的视频帧，分别对每个视频帧进行下采样得到低分辨率图像，然后从低分辨率图像中提取第一全局图像特征和第一局部图像特征，利用视频帧对应的引导图对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。由于从低分辨率中提取特征，并将低分辨率的图像特征应用到视频帧中得到高动态范围的目标视频帧，降低了服务器的计算量；而且，通过视频帧对应的引导图对图像特征张量进行上采样，并将所得的逆色调映射参数应用到视频帧中得到高动态范围的目标视频帧，相对传统方案，保留了空间域到时间域上的所有信号，避免了映射后所得的目标视频出现亮度或色差的问题，有效地提高了映射效果。
附图说明
图1为一个实施例中视频处理方法的应用环境图；
图2为一个实施例中视频处理方法的流程示意图；
图3为一个实施例中通过卷积神经网络、第一特征提取模块和第二特征提取网络处理低分辨率图像获得图像特征张量的示意图；
图4为一个实施例中高斯金字塔的结构示意图；
图5为一个实施例中图像金字塔的结构示意图；
图6为一个实施例中提取第一全局图像特征和第一局部图像特征的步骤的流程示意图；
图7为一个实施例中通过第一卷积神经网络、第二卷积神经网络和第三卷积神经网络处理图像金字塔获得图像特征张量的示意图；
图8为一个实施例中模型训练的步骤的流程示意图；
图9为一个实施例中将视频帧转换为高动态范围的目标视频帧的流程示意图；
图10为一个实施例中卷通过多个卷积神经网络以及全连接层对图像金字塔进行处理得到双边参数网格的结构框图；
图11为一个实施例中视频处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
本申请提供的视频处理方法，可以应用于如图1所示的应用环境中。其中，终端102、服务器104和服务器106之间可以通过网络(如有线或无线网络)进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能电视和便携式可穿戴设备等，该终端102上安装有客户端，该客户端可以是视频客户端、即时通信客户端、浏览器客户端和教育客户端等。该终端102可用来观看视频，还可以用来实现视频处理方法，如将小视频(即视频时长较短的视频)转换为高动态范围的视频。
服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，可用来实现视频处理方法，如将时间较长的视频或内容较复杂的视频转换为高动态范围的视频。
服务器106可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统或者分布式云存储系统，可以用来存储视频。例如，服务器106可以是CDN(Content Delivery Network，内容分发网络)系统的服务器，简称CDN服务器。
此外，服务器104和服务器106也可以合为一个服务器，即该服务器可以实现服务器104和服务器106的功能。例如，该服务器可以存储视频，并且可以实现视频处理方法(如将视频转换为高动态范围的视频)。
当视频处理方法应用于终端102时，终端102可以从拍摄的视频中提取视频帧，或从服务器106下载的视频中提取视频帧；然后对视频帧进行下采样，得到对应的低分辨率图像；从低分辨率图像中提取第一全局图像特征和第一局部图像特征；利用视频帧对应的引导图，对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧，然后将这些高动态范围的目标视频帧组合成视频，从而终端102可以播放高动态范围的视频。
其中，第一全局图像特征在复制成与第一局部图像特征一致的尺寸之后，将尺寸一致的第一全局图像特征和第一局部图像特征进行拼接，得到图像特征张量。
举个例子，若用户通过终端102拍摄了一个标准动态范围的视频，想要将该视频转换为高动态范围，此时可以直接通过终端102执行上述视频处理方法，将该标准动态范围的视频转换为高动态范围的视频。或者，用户通过终端102下载了一个小视频，想要将该小视频转换为高动态范围的视频，则终端102可以执行上述视频处理方法，从而将从服务器106下载的低动态范围的视频转换为高动态范围的视频。
当视频处理方法应用于服务器104时，服务器104从终端102或服务器106获取待处理视频，从待处理视频中提取视频帧；对视频帧进行下采样，得到对应的低分辨率图像；从低分辨率图像中提取第一全局图像特征和第一局部图像特征；利用视频帧对应的引导图，对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧，然后将这些高动态范围的目标视频帧组合成视频，从而终端102可以播放高动态范围的视频。
举个例子，若用户通过终端102拍摄了一个标准动态范围的视频，想要将该视频转换为高动态范围，此时可以将该视频上传到服务器104，由服务器104执行上述视频处理方法，从而可以得到高动态范围的视频。或者，视频运营方为提高用户观影效果，通过服务器104执行上述视频处理方法，从而将存储于服务器106的低动态范围的视频转换为高动态范围的视频。
如图2所示，图2为一个实施例中提供的一种视频处理方法，该视频处理方法可以由图1中的服务器或终端执行，也可以由服务器和终端共同执行，本申请实施例以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S202，从待处理视频中提取视频帧。
其中，待处理视频可以指低动态范围(LDR，Low Dynamic Range)的视频，或标准动态范围(SDR，Standard Dynamic Range)的视频。低动态范围的视频是指由低动态范围图像(即视频帧)所组合成的视频。对应地，标准动态范围的视频是指由标准动态范围图像所组合成的视频。
在一个实施例中，服务器可以从CDN服务器下载待处理视频，例如以视频流的方式下载该待处理视频。在下载待处理视频的过程中，服务器可以检测该待处理视频是否缺失视频帧，若缺失了视频帧，可以根据视频帧的切片编号从CDN服务器下载缺失的视频帧，从而可以避免丢失视频帧的情况。
其中，该切片编号可以是从补充增强信息(SEI，Supplemental EnhancementInformation)帧读取所得。
在一个实施例中，服务器可以对待处理视频进行分多个子流下载，得到属于该待处理视频的多个视频子流，服务器在下载的过程中，将各视频子流进行组合，从而可以得到待处理视频。
在一个实施例中，当多个服务器和众多终端从CDN服务器下载该待处理视频时，CDN服务器的计算负荷大，因此多个子流可以从不同视频源端下载，即服务器可以将一部分视频子流从CDN服务器下载，另一部分视频子流从用户端下载，从而可以降低CDN服务器的计算压力。
在一个实施例中，S202具体可以包括：服务器对该待处理视频进行解码，得到一系列的视频帧。
S204，对视频帧进行下采样，得到对应的低分辨率图像。
其中，下采样可以是随机下采样、EasyEnsemble采样、BalanceCascade采样、NearMiss采样或下池化等中的任一种。图像的分辨率是指每英寸图像块内有多少个像素点。因此，低分辨率图像是指图像中每英寸图像块内像素点较少，如每英寸图像块内像素点的数量小于某个预设阈值。对应地，高分辨率图像是指图像中每英寸图像块内像素点较多，如每英寸图像块内像素点的数量大于某个预设阈值。
在一个实施例中，服务器可以对提取的各视频帧进行帧间平滑处理；或者，服务器对不同镜头的视频帧之间进行平滑处理，而对同一个镜头内的不同视频帧不做平滑处理，从而确保镜头内的帧间稳定性。其中，由于在一个镜头内每个视频帧的低频信号差异较小，可以保证稳定镜头内的视频帧之间的稳定性，从而可以无需对同一镜头内的视频帧做额外的帧间平滑处理。
在一个实施例中，S204具体可以包括：服务器对视频帧进行归一化处理，得到归一化的视频帧；将归一化的视频帧输入至机器学习模型；通过机器学习模型对归一化的视频帧进行下采样，得到对应的低分辨率图像。
其中，归一化处理是指将视频帧中的像素值归一化到[0,1]之间，从而使得归一化之后的视频帧中像素值之和等于1。对于归一化之后的像素值，其数据类型可以是32比特(bit)的浮点型。
例如，利用计算式
Figure BDA0002536558130000071
将视频帧进行归一化处理，其中，I为标准动态范围(或低动态范围)的视频帧，
Figure BDA0002536558130000072
为归一化之后的视频帧；m为归一化系数，该系数与视频帧的大小有关，对于8bit的标准动态范围的视频帧，m＝255；而对于16bit的标准动态范围的视频帧，m＝65535。
在一个实施例中，服务器可以通过机器学习模型，以平均池化方式或最大池化方式对视频帧进行池化处理，得到对应的低分辨率图像。
S206，从低分辨率图像中提取第一全局图像特征和第一局部图像特征。
其中，全局图像特征可以指融合了整个视频帧的图像特征。例如，对于视频帧1，其全局图像特征即为融合了整个视频帧1的图像特征。局部图像特征可以指提取了视频帧中某一部分的图像特征。例如，对于视频帧1，该视频帧1中的目标物为猫和狗，其局部图像特征可以是猫的图像特征或狗的图像特征。在低分辨率图像中，所有的局部特征图像的集合可以构成全局图像特征。
由于可以直接从低分辨率图像中提取第一全局图像特征和第一局部图像特征，也可以从图像金字塔中提取第一全局图像特征和第一局部图像特征，该图像金字塔是由低分辨率图像和对应的至少两个高斯图像所构成，因此，对于S206，可以分以下两种场景阐述：
场景1，直接从低分辨率图像中提取第一全局图像特征和第一局部图像特征。
在一个实施例中，服务器通过机器学习模型的第一特征提取网络从低分辨率图像中提取第一全局图像特征，以及通过机器学习模型的第二特征提取网络从低分辨率图像中提取第一局部图像特征。
其中，第一特征提取网络可以是由卷积神经网络(CNN，Convolutional NeuralNetworks)和全连接层级联所构成的网络，该卷积神经网络中对应卷积层的步长(stride)可以设置为2。
第二特征提取网络可以是卷积神经网络，该卷积神经网络中对应卷积层的步长可以设置为1。
在一个实施例中，服务器可以利用卷积神经网络对低分辨率图像进行卷积，从而使尺度下降以降低服务器的运算压力，然后从该卷积神经网络的输出结果中提取第一全局图像特征和第一局部图像特征。其中，该卷积神经网络可以是由至少三个卷积层级联而成，该卷积层的步长为2。
例如，如图3所示，将低分辨率图像输入卷积神经网络进行卷积，然后将该卷积神经网络的输出结果分别输入至第一特征提取网络和第二特征提取网络，其中，第一特征提取网络中的卷积层的步长为2，第二特征提取网络中的卷积层的步长为1。然后，通过该第一特征提取网络对输出结果进行卷积，并对卷积结果通过全连接层进行融合，得到第一全局图像特征。通过该第二特征提取网络对输出结果进行卷积，得到第一局部图像特征，然后将该第一局部图像特征和第一全局图像特征进行融合。
场景2，从图像金字塔中提取第一全局图像特征和第一局部图像特征，该图像金字塔是由低分辨率图像和对应的至少两个高斯图像所构成。
在一个实施例中，服务器可以利用两个级联的卷积层对该低分辨率图像进行卷积处理，并获取每个卷积层的输出结果，其中，该两个级联的卷积层的卷积核可以是高斯卷积核。然后，将该低分辨率图像与该两个级联的卷积层各自的输出结果组合成图像金字塔，从该图像金字塔提取第一全局图像特征和第一局部图像特征。
在一个实施例中，服务器还可以利用卷积神经网络对该图像金字塔进行卷积，使尺度下降以降低服务器的运算压力，从该卷积神经网络的输出结果中提取第一全局图像特征和第一局部图像特征。其中，该卷积神经网络可以是由至少三个卷积层级联而成，该卷积层的步长为2。
S208，利用视频帧对应的引导图，对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数。
其中，第一全局图像特征在复制成与第一局部图像特征一致的尺寸之后，将尺寸一致的第一全局图像特征和第一局部图像特征进行拼接，得到图像特征张量。上采样可以是双线性插值、转置卷积或上池化(UnPooling)中的任一种。
视频帧为低动态范围图像或标准动态范围图像，其引导图可以是该视频帧对应的高动态范围图像，而该高动态范围图像是利用映射曲线或该映射曲线对应的多个映射直线将该视频帧的低动态范围像素信息映射到高动态范围的空间所获得的。该引导图的通道数为1。
逆色调映射可以指利用机器学习模型对低动态范围或标准动态范围的视频转换为高动态范围的视频的过程。逆色调映射参数可以指通过图像特征张量和引导图构建的各像素点的逆色调映射矩阵。
在一个实施例中，服务器可以由机器学习模型利用多个映射直线将提取的视频帧映射成对应的引导图。其中，该多个映射直线是根据映射曲线所得的，而每条映射直线的斜率以及与x轴交叉的值可通过学习所得。
在一个实施例中，服务器通过至少两层高斯金字塔对视频帧进行图像处理，得到至少两个不同分辨率的高斯图像；将高斯图像和视频帧组合，得到至少三层的第二图像金字塔；将第二图像金字塔映射成引导图。
其中，上述至少两层高斯金字塔可以是由至少两个级联的卷积层所构成，卷积层对应的卷积核为高斯卷积核。构建金字塔可以使机器学习模型从多个尺度上提取图像特征，同时也可以扩大模型的参数量，在可接受的效率损耗范围内，可以提升模型的表达能力。
上述分辨率是指图像分辨率。上述图像金字塔是指一系列以金字塔形状排列的、且图像分辨率从下往上逐步降低的图像的集合，即图像金字塔底层的图像分辨率最高，图像金字塔顶层的图像分辨率最低。
例如，如图4所示，服务器通过四层的高斯金字塔对视频帧进行滤波和卷积处理，得到四个高斯图像；该4个高斯图像可以组合为一个四层的图像金字塔，该图像金字塔如图5所示，图像金字塔中每层的高斯图像(p0、p1、p2和p3)的图像分辨率不同，且第0层高斯图像p0的图像分辨率大于第一层高斯图像p1的图像分辨率，依此类推。此外，在图5的图像金字塔中，将该金字塔与对应的视频帧进行组合，可以得到五层的图像金字塔，其中，视频帧位于金字塔的底层。
在一个实施例中，上述将第二图像金字塔映射成引导图的步骤，具体可以包括：服务器将第二图像金字塔分割成不同曝光的区域；利用不同的映射直线分别对不同曝光的区域中的图像块进行映射，得到引导图。
具体地，服务器可以利用图像分割的方式将第二图像金字塔分割成不同曝光的区域，然后利用多个映射直线可以将不同曝光的区域中的图像块映射成对应的引导图。
在一个实施例中，S208具体可以包括：服务器对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行卷积，得到卷积后图像特征张量；利用视频帧对应的引导图对卷积后图像特征张量进行上采样，得到逆色调映射参数。从而利用引导图可以对双边参数网格进行上采样，可以将低分辨率的图像特征应用到高动态范围的目标视频帧中。
其中，服务器对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行卷积，得到双边参数网格，该双边参数网格是多维的图像特征张量(即卷积后图像特征张量)，以下以5维的卷积后图像特征张量为例进行阐述。
具体地，服务器利用如下上采样计算式计算出逆色调映射参数。该上采样计算式如下所述：
Figure BDA0002536558130000111
其中，Ac为双边参数网格(即卷积后图像特征张量)，i是卷积后图像特征张量中第4个维度上的位置，j是第5个维度上的位置，k是第3个维度上的位置；d等于8；g为引导图，p为像素位置；rx和ry分别为在水平和竖直方向上双边参数网格与引导图之间的比例；
Figure BDA0002536558130000113
为逆色调映射参数。因此，通过上述上采样计算式可以计算出逆色调映射参数
Figure BDA0002536558130000114
S210，基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
在S210中，是将逆色调映射参数应用到原始的视频帧中，从而可以得到高动态范围的目标视频帧。
在一个实施例中，S210具体可以包括：服务器基于归一化的视频帧中各通道灰度值和对应通道的逆色调映射参数，生成高动态范围的各通道图像；将高动态范围的各通道图像进行融合，得到目标视频帧。
具体地，服务器利用如下映射计算式获得高动态范围的各通道图像，然后融合高动态范围的各通道图像得到目标视频帧，该映射计算式为：
Figure BDA0002536558130000112
其中，c为目标视频帧的通道，所以c的值为{0,1,2}，分别对应红绿蓝(RGB)三个颜色通道；Oc为某个通道的通道图像，即RGB三个通道中的一个通道图像；nφ为输入图像的通道数，这里nφ为9；p为像素位置。因此，通过上述计算式可以得出高动态范围的各通道图像，然后融合高动态范围的各通道图像得到目标视频帧。
上述实施例中，从待处理视频中提取视频帧，针对提取出来的视频帧，分别对每个视频帧进行下采样得到低分辨率图像，然后从低分辨率图像中提取第一全局图像特征和第一局部图像特征，利用视频帧对应的引导图对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。由于从低分辨率中提取特征，并将低分辨率的图像特征应用到视频帧中得到高动态范围的目标视频帧，降低了服务器的计算量；而且，通过视频帧对应的引导图对图像特征张量进行上采样，并将所得的逆色调映射参数应用到视频帧中得到高动态范围的目标视频帧，相对传统方案，保留了空间域到时间域上的所有信号，避免了映射后所得的目标视频出现亮度或色差的问题，有效地提高了映射效果。
在一个实施例中，如图6所示，S206具体可以包括：
S602，通过至少两层高斯金字塔对低分辨率图像进行图像处理，得到至少两个不同分辨率的高斯图像。
其中，上述至少两层高斯金字塔可以是由至少两个级联的卷积层所构成，卷积层对应的卷积核为高斯卷积核。该至少两层高斯金字塔属于机器学习模型中的一部分。
例如，如图4所示，服务器通过四层的高斯金字塔对低分辨率图像进行滤波和卷积处理，得到四个高斯图像(p0、p1、p2和p3)；该四个高斯图像组合在一起即为一个四层的图像金字塔，该图像金字塔如图5所示，图像金字塔中每层的高斯图像的图像分辨率不同，且第0层高斯图像p0的图像分辨率大于第一层高斯图像p1的图像分辨率，依此类推。
在一个实施例中，该高斯图像为分辨率不同的两个高斯图像。S602具体可以包括：服务器通过高斯金字塔的第一层对低分辨率图像依次进行滤波和下采样，得到一个高斯图像；通过高斯金字塔的第二层对第一层输出的高斯图像依次进行滤波和下采样，得到另一个分辨率不同的高斯图像。
S604，将所得的高斯图像和低分辨率图像进行组合，得到至少三层的第一图像金字塔。
其中，上述图像金字塔是指一系列以金字塔形状排列的、且图像分辨率从下往上逐步降低的图像的集合，即图像金字塔底层的图像分辨率最高，图像金字塔顶层的图像分辨率最低。在所得的高斯图像和低分辨率图像之中，该低分辨率图像的分辨率是最高的，在金字塔底层。
S606，从第一图像金字塔中提取第一全局图像特征和第一局部图像特征。
在一个实施例中，S606具体可以包括：服务器通过第一卷积神经网络对第一图像金字塔，从而使尺度下降以降低服务器的运算压力，得到中间图像特征；利用第二卷积神经网络对中间图像特征进行卷积，得到第一局部图像特征；采用第三卷积神经网络对中间图像特征进行卷积，并通过全连接层对第三卷积神经网络的输出结果进行融合，得到第一全局图像特征。
其中，第一卷积神经网络、第二卷积神经网络、第三卷积神经网络以及全连接层也属于机器学习模型中的一部分。该第一卷积神经网络可以是由至少三个卷积层级联而成，该卷积层的步长为2。该第二卷积神经网络可以是由至少两个卷积层级联而成，该卷积层的步长为1。该第三卷积神经网络可以是由N个卷积层级联而成，该卷积层的步长为2，N为大于或等于2的正整数。
如图7所示，服务器将上述图像金字塔输入第一卷积神经网络进行卷积，其中，第一卷积神经网络中共有3个卷积层，步长为2；p0为低分辨率图像，p1为高斯金字塔的底层进行卷积处理所得，p2为高斯金字塔的底层进行卷积处理所得。然后。将该第一卷积神经网络输出的中间图像特征分别输入至第二卷积神经网络和第三卷积神经网络。第二卷积神经网络中共有2个卷积层，步长为1，该第二卷积神经网络通过对该中间图像特征进行卷积，得到第一局部图像特征。第三卷积神经网络中共有N个卷积层，步长为2，通过对该中间图像特征进行卷积，然后通过全连接层对该卷积结果进行融合，得到第一全局图像特征。然后将该第一局部图像特征和第一全局图像特征进行融合。
上述实施例中，通过对低分辨率图像进行高斯金字塔处理，从而可以得到包括低分辨率在内的至少三层图像金字塔，可以使模型从多个尺度上提取图像特征，同时也可以扩大模型参数量，在可以接受的效率损耗范围内提升模型的表达能力。此外，通过从第一图像金字塔中提取第一全局图像特征和第一局部图像特征，以便利用该第一全局图像特征和第一局部图像特征的图像特征应用到视频帧中，可以得到高动态范围的目标视频帧，避免了映射后所得的目标视频出现亮度或色差的问题。
在一个实施例中，如图8所示，机器学习模型的训练步骤包括：
S802，获取视频帧样本和对应的标签。
其中，视频帧样本可以指从低动态范围或标准动态范围的视频样本中提取出来的视频帧，该视频帧为低动态范围图像或标准动态范围图像。标签可以指从与该视频样本对应的高动态范围的视频中提取出来的视频帧。例如，视频样本为低动态范围或标准动态范围的视频A，与视频A对应的高动态范围的视频B，也就是说，视频A是低动态范围或标准动态范围，而视频B是高动态范围、且与视频A的内容完全相同的视频。
在一个实施例中，服务器可以从本地获取视频样本，也可以从CDN服务器下载视频样本，例如以视频流的方式下载该视频样本。其中，在下载视频样本的过程中，服务器可以检测该视频样本是否缺失视频帧，若缺失了视频帧，可以根据视频帧的切片编号从CDN服务器下载缺失的视频帧，从而可以避免丢失视频帧的情况。该切片编号可以是从补充增强信息帧读取所得。
在一个实施例中，S802具体可以包括：服务器对该视频样本进行解码，得到一系列的视频帧样本。
S804，将视频帧样本输入至机器学习模型，并通过机器学习模型对视频帧样本进行下采样，得到对应的低分辨率图像样本。
在一个实施例中，服务器可以对各提取的视频帧样本进行帧间平滑处理；或者，服务器对不同镜头的视频帧样本之间进行平滑处理，而对同一个镜头内的不同视频帧样本不做平滑处理，从而确保镜头内的帧间稳定性。其中，由于在一个镜头内每个视频帧样本的低频信号差异较小，所以可以保证稳定镜头内的视频帧样本之间的稳定性，从而可以无需做额外的帧间平滑处理。
在一个实施例中，S804具体可以包括：服务器对视频帧样本进行归一化处理，得到归一化的视频帧样本；将归一化的视频帧样本输入至机器学习模型；通过机器学习模型对归一化的视频帧样本进行下采样，得到对应的低分辨率图像样本。
其中，归一化处理是指将视频帧样本中的像素值归一化到[0,1]之间，从而使得归一化之后的视频帧样本中像素值之和等于1。对于归一化之后的像素值，其数据类型可以是32比特(bit)的浮点型。
例如，利用计算式
Figure BDA0002536558130000151
将视频帧样本进行归一化处理，其中，I为标准动态范围的视频帧样本，
Figure BDA0002536558130000152
为归一化之后的视频帧样本；m为归一化系数，该系数与视频帧样本的大小有关，对于8bit的标准动态范围的视频帧样本，m＝255；而对于16bit的标准动态范围的视频帧样本，m＝65535。
在一个实施例中，服务器可以通过机器学习模型，以平均池化方式或最大池化方式对视频帧样本进行池化处理，得到对应的低分辨率图像样本。
S806，从低分辨率图像样本中提取第二全局图像特征和第二局部图像特征。
由于可以直接从低分辨率图像样本中提取第一全局图像特征和第一局部图像特征，也可以从图像金字塔中提取第一全局图像特征和第一局部图像特征，该图像金字塔是由低分辨率图像样本和对应的至少两个高斯图像所构成，因此，对于S806，可以化为以下两种情景进行阐述：
情景1，直接从低分辨率图像样本中提取第二全局图像特征和第二局部图像特征。
在一个实施例中，服务器通过机器学习模型的第二卷积神经网络从低分辨率图像样本中提取第二局部图像特征，以及通过机器学习模型的第三卷积神经网络对低分辨率图像样本进行卷积，然后通过全连接层对卷积结果进行融合，得到第二全局图像特征。
其中，第二卷积神经网络对应卷积层的步长可以设置为1。第三卷积神经网络对应卷积层的步长可以设置为2。
在另一个实施例中，服务器可以利用第一卷积神经网络对低分辨率图像样本进行卷积，从而使尺度下降以降低服务器的运算压力，其中，该第一卷积神经网络可以是由至少三个卷积层级联而成，该卷积层的步长为2。然后，从该卷积神经网络的输出结果中提取第二全局图像特征和第二局部图像特征。
情景2，从第三图像金字塔中提取第二全局图像特征和第二局部图像特征，该第三图像金字塔是由低分辨率图像样本和对应的至少两个高斯图像所构成。
在一个实施例中，服务器可以利用两个级联的卷积层对该低分辨率图像样本进行卷积处理，然后获取每个卷积层的输出结果，其中，该两个级联的卷积层的卷积核可以是高斯卷积核。然后，将该低分辨率图像样本与该两个级联的卷积层各自的输出结果组合成第三图像金字塔，然后再从该第三图像金字塔提取第二全局图像特征和第二局部图像特征。
在一个实施例中，服务器还可以利用卷积神经网络对该第三图像金字塔进行卷积，从而使尺度下降以降低服务器的运算压力，然后从该卷积神经网络的输出结果中提取第二全局图像特征和第二局部图像特征。其中，该卷积神经网络可以是由至少三个卷积层级联而成，该卷积层的步长为2。
S808，利用视频帧样本对应的引导图，对第二全局图像特征和第二局部图像特征拼接而成的图像特征张量进行上采样，得到训练逆色调映射参数。
其中，第二全局图像特征在复制成与第二局部图像特征一致的尺寸之后，将尺寸一致的第二全局图像特征和第二局部图像特征进行拼接，得到图像特征张量。
视频帧样本为低动态范围图像或标准动态范围图像，其引导图可以是该视频帧样本对应的高动态范围图像，而该高动态范围图像是利用映射曲线或该映射曲线对应的多个映射直线将该视频帧样本的低动态范围像素信息映射到高动态范围的空间所获得的。
在一个实施例中，服务器可以由机器学习模型利用多个映射直线将提取的视频帧样本映射成对应的引导图。
在一个实施例中，服务器通过至少两层高斯金字塔对视频帧样本进行图像处理，得到至少两个不同分辨率的高斯图像；将该至少两个不同分辨率的高斯图像和视频帧样本组合，得到至少三层的第四图像金字塔；将第四图像金字塔映射成引导图。
其中，上述至少两层高斯金字塔可以是由至少两个级联的卷积层所构成，卷积层对应的卷积核为高斯卷积核。构建高斯金字塔可以使机器学习模型在训练过程中从多个尺度上提取图像特征，同时也可以扩大模型的参数量，在可接受的效率损耗范围内，可以提升模型的表达能力。
在一个实施例中，上述将第四图像金字塔映射成引导图的步骤，具体可以包括：服务器将第四图像金字塔分割成不同曝光的区域；利用不同的映射直线分别对不同曝光的区域中的图像块进行映射，得到引导图。
具体地，服务器可以利用图像分割的方式将第四图像金字塔分割成不同曝光的区域，然后利用多个映射直线可以将不同曝光的区域中的图像块映射成对应的引导图。
在一个实施例中，S808具体可以包括：服务器对第二全局图像特征和第二局部图像特征拼接而成的图像特征张量进行卷积，得到卷积后图像特征张量；利用视频帧样本对应的引导图对卷积后图像特征张量进行上采样，得到训练逆色调映射参数。从而利用引导图可以对双边参数网格进行上采样，可以将低分辨率的图像特征应用到高动态范围的目标视频帧样本中。
其中，服务器对第二全局图像特征和第二局部图像特征拼接而成的图像特征张量进行卷积，得到双边参数网格，该双边参数网格是多维的图像特征张量(即卷积后图像特征张量)，以下以5维的卷积后图像特征张量为例进行阐述。
具体地，服务器利用如下上采样计算式计算出训练逆色调映射参数。该上采样计算式如下所述：
Figure BDA0002536558130000171
对于其中的参数，可以参考S208中的上采样计算式。
S810，基于训练逆色调映射参数和对应的视频帧样本生成高动态范围的训练视频帧。
在S810中，是将训练逆色调映射参数应用到原始的视频帧样本中，从而可以得到高动态范围的训练视频帧。
在一个实施例中，S810具体可以包括：服务器基于归一化的视频帧样本中各通道灰度值和对应通道的训练逆色调映射参数，生成高动态范围的各通道图像；将高动态范围的各通道图像进行融合，得到训练视频帧。
具体地，服务器利用如下映射计算式获得高动态范围的各通道图像，然后融合高动态范围的各通道图像得到训练视频帧，该映射计算式为：
Figure BDA0002536558130000181
其中，c为训练视频帧的通道，所以c的值为{0,1,2}，分别对应红绿蓝(RGB)三个颜色通道；Oc为某个通道的通道图像，即RGB三个通道中的一个通道图像；nφ为输入图像的通道数，这里nφ为9；p为像素位置。因此，通过上述计算式可以得出高动态范围的各通道图像，然后融合高动态范围的各通道图像得到训练视频帧。
S812，计算训练视频帧和标签之间的损失值。
在一个实施例中，S812具体可以包括：服务器选取已训练的深度学习网络作为映射函数；通过映射函数将训练视频帧和标签依次映射到目标特征空间，得到对应的第一特征图像和第二特征图像；计算第一特征图像和第二特征图像之间的损失值。
其中，该已训练的深度学习网络可以是已训练的VGG网络，如VGG 16网络和VGG 19网络；此外，还可以是其它类型的深度学习网络。
在一个实施例中，服务器可以采用L2损失函数计算第一特征图像和第二特征图像之间的损失值，其计算式如下所示：
Figure BDA0002536558130000182
其中，p'为特征图像中的像素位置，vgg2(L)p'为第一特征图像中的第p'个像素，vgg2(O)p'为第二特征图像中的第p'个像素。
在一个实施例中，训练视频帧和标签之间的损失值还可以包括：视频帧和标签之间的L2损失值lL2、视频帧和标签之间的L1损失值与MSSSIM损失值的和值lL1+MSSSIM(Op,Lp)、上述第一特征图像和第二特征图像之间的损失值lvgg。
其中，lL2和lL1+MSSSIM(Op,Lp)的权重为1，lvgg的权重为10，从而训练视频帧和标签之间的损失值
Figure BDA0002536558130000191
其中，
Figure BDA0002536558130000192
p为标签或训练视频帧中的像素位置，Op为标签中p点的像素，Lp为训练视频帧中p点的像素。
S814，根据损失值对机器学习模型的参数进行调整，直至模型收敛时停止训练。
在一个实施例中，S814具体可以包括：服务器将计算所得的损失值反向传播到机器学习模型，获得机器学习模型中各参数的梯度；根据获得的梯度对机器学习模型的参数进行调整，得到训练后的机器学习模型。
上述实施例中，由于通过视频帧样本对应的引导图对图像特征张量进行上采样，并将所得的训练逆色调映射参数应用到视频帧样本中得到高动态范围的训练视频帧，然后利用训练视频帧与标签之间的损失值对机器学习模型的参数进行调整，可以训练出用于将低动态范围或标准动态范围的视频转换为高动态范围的视频的机器训练模型，该机器学习模型可以学习构建稳定的场景适配能力，以避免因场景不同、以及视频内容复杂而导致出现亮度或色差的问题，有利于提高从低动态范围或标准动态范围到高动态范围的映射效果。
作为一个示例，本实施例中采用单帧独立渲染，然后再组合成视频的方案，由于主要的特征提取工作是在视频帧A的低频信号区域完成的，在一个镜头内每个视频帧的低频信号差异较小，所以可以保证稳定的镜头内的帧间稳定性，而无需做额外的帧间平滑处理。以某个视频的一个视频帧A为例阐述上面的视频处理方法，具体内容如图9所示，具体内容如下所述：
(1)方案整体介绍
视频帧A为标准动态范围图像，输出的目标视频帧为高动态范围图像。在视频帧A输入机器学习模型之前，需要对视频帧A进行归一化处理，即把视频帧A的像素值归一化到[0,1]之间，对应的数据类型为32-bit浮点型。
其中，归一化处理的计算式为
Figure BDA0002536558130000201
I为标准动态范围的视频帧A，
Figure BDA0002536558130000202
为归一化之后所得的视频帧A，m为归一化系数。若视频帧A为8bit的SDR图像，则m＝255；若视频帧A为16bit SDR图像，则m＝65535。
归一化的视频帧A通过机器学习模型中的一系列卷积层，可以提取出该视频帧A的全局图像特征和局部图像特征，并根据该全局图像特征和局部图像特征生成一个低分辨率的双边参数网格；利用该双边参数网格以及视频帧A的引导图，可以对该双边参数网格上采样成一个逆色调映射参数，将逆色调映射参数和视频帧A进行逐点相乘，便可得到HDR的目标视频帧。
(2)图像金字塔构建
为了提高机器学习模型的表达能力，模型中引入了高斯金字塔，通过该高斯金字塔可以得到两层图像金字塔，这样可以使机器学习模型从多个尺度上提取图像特征，同时也可以扩大模型的参数量，并在可以接受的效率损耗范围内提升模型的表达能力。
实际使用中，为构建单一输入张量(tensor)，本实施例先将输入的视频帧A通过高斯卷积核进行高斯模糊处理(在本实施例中采用两次卷积操作)，对应输出了两层图像金字塔。其中，高斯卷积核如下所示：
Figure BDA0002536558130000203
基于此，实际输入卷积神经网络A(即上述的第一卷积神经网络)的数据为上述两层图像金字塔和视频帧A的组合，采用一个9×H×W的张量表示，其中H、W为视频帧的高和宽。
(3)低分辨率图像的处理模块
本实施例中将基于卷积神经网络的运算部分移到低分辨率图像上进行，并通过双边上采样的方式将提取出的全局图像特征和局部图像特征应用到视频帧A上，从而在提高运算效率的同时保证了整体效果不被影响。
低分辨率图像的处理模块如图10所示，视频帧A在经过由3个卷积层级联的卷积神经网络A之后，将出现尺度下降，然后再利用第二特征提取网络B进行局部图像特征的提取。利用第一特征提取网络C和全连接层进行全局图像特征的提取。
其中，卷积神经网络A是由3个级联的卷积层构成，步长为2。
视频帧A的局部信息是通过N个卷积层级联的卷积神经网络B(即上述的第二卷积神经网络)进行提取所得，在这里卷积神经网络B中有2个卷积层，步长为1，该卷积神经网络B输出的图像特征张量的长宽尺寸不会随着卷积操作发生变化。输入视频帧A中每个位置的图像特征在此过程中都将被表达，而不会被压缩。
图像的全局信息是通过卷积神经网络C(即上述的第三卷积神经网络)和全连接层级联的方式完成。卷积神经网络C中有N个卷积层，但步长为2，该卷积神经网络C用于提取初步的图像特征，然后逐步融合特征值一个较小维度的张量上。最后，利用全连接层将特征张量融合成一个一维的特征向量，该向量融合了整个视频帧的图像特征，因此被称为全局图像特征。其中，N为大于或等于2的正整数。
将全局图像特征复制成和局部图像特征一致的尺寸后，通过拼接构成图像特征张量，再通过一个卷积层生成双边参数网格，如图10所示。
(4)高分辨率图像的处理模块
在高分辨率图像的处理模块中，将一个映射曲线采用多条映射直线来表达，每条映射直线的斜率以及与x轴交叉的值是可学习的。通过此映射直线可以将输入的数据映射成一个引导图，其通道数为1。
利用引导图可以对双边参数网格进行上采样操作，可以将低分辨率的图像特征应用到高分辨率的输出图像中去。具体的上采样操作依据如下的上采样计算式：
Figure BDA0002536558130000221
其中，Ac为双边参数网格，i是双边参数网格中第4个维度上的位置，j是第5个维度上的位置，k是第3个维度上的位置；d等于8；g为引导图，p为像素位置；rx和ry分别为在水平和竖直方向上双边参数网格与引导图之间的比例；
Figure BDA0002536558130000222
为逆色调映射参数。
最后是将逆色调映射参数应用到原始输入的视频帧A上，具体操作可参考如下映射计算式为：
Figure BDA0002536558130000223
其中，c为输出的HDR目标视频帧的某个通道，所以c的值为{0,1,2}，分别对应红绿蓝(RGB)三个颜色通道；Oc为某个通道的通道图像，即RGB三个通道中的一个通道图像；nφ为输入视频帧的通道数，这里nφ为9；p为像素位置。
(5)损失函数
本实施例中设计了一个复合损失函数，并在模型训练中分阶段的引入不同的损失函数并最终达到模型收敛。
1)L2损失函数
在本实施例中，预测每一个像素点的像素值时也考虑成是一个回归问题，所以在模型训练初期，采用L2损失函数进行训练，L2损失函数如下所示：
Figure BDA0002536558130000224
p为标签或训练过程中输出的目标视频帧中的像素位置，Op为标签中p点的像素，Lp为目标视频帧中p点的像素。
2)L1+MSSSIM损失函数
在本实施例中，L1损失函数以及MSSSIM损失函数在训练的第二阶段被引用进来，可以提高生成图像的对比度，其中，L1+MSSSIM损失函数为：
Figure BDA0002536558130000225
3)视觉感知损失函数
视觉感知损失函数是利用另外一个训练好的深度神经网络来作为映射函数，将输出图像以及目标图像真值映射到高维特征空间中，再在该空间计算其L2损失函数。本实施例中采用在ImageNet图像分类数据集上训练好的VGG网络作为映射函数，并选取其第2层卷积层的输出来作为比较，该视觉感知损失函数为：
Figure BDA0002536558130000231
其中，p'为卷积层输出的特征图像中的像素位置，vgg2(L)p'为与视频帧A对应的、且由第2层卷积层输出的特征图像中的第p'个像素，vgg2(O)p'为与标签对应的、且由第2层卷积层输出的特征图像中的第p'个像素。
因此，最终模型在复合损失函数的约束下一直训练到收敛，该复合损失函数
Figure BDA0002536558130000232
通过该复合损失函数可知，lvgg的权重为10，lL2和lL1+MSSSIM(Op,Lp)的权重为1。
(6)数据集构建
训练过程中所采用的样本数据包括已有的HDR电影以及其SDR版本构建单帧的SDR-HDR对。训练时SDR版本作为输入，HDR版本作为标签计算损失值。在样本数据中，其中20％的配对作为测试集不参与训练，另外80％的配对作为训练集，并在训练时通过左右翻转，随机裁剪等数据增广方法扩充训练集。当损失函数值在测试集上不再显著提高后训练停止，并得到预测模型。
通过上述实施例，可以具有以下有益效果：
1)能够为电影、电视剧以及综艺等普通动态范围的视频提供高动态范围的版本，在具有高动态范围能力的终端设备上提供更优的画质体验，以在数据层面适配逐渐提高的屏幕显示质量。
2)还可以对用户上传的视频画质进行增强和画面调色等，以及单一图像的画质增强，如视频封面图画质增强，弱光照图像增强等。
应该理解的是，虽然图2、6、8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6、8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
如图11所示，图11为一个实施例中提供的一种视频处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一提取模块1102、第一采样模块1104、第二提取模块1106、第二采样模块1108和生成模块1110，其中：
第一提取模块1102，用于从待处理视频中提取视频帧；
第一采样模块1104，用于对视频帧进行下采样，得到对应的低分辨率图像；
第二提取模块1106，用于从低分辨率图像中提取第一全局图像特征和第一局部图像特征；
第二采样模块1108，用于利用视频帧对应的引导图，对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
生成模块1110，用于基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
在一个实施例中，第一采样模块，还用于对视频帧进行归一化处理，得到归一化的视频帧；将归一化的视频帧输入至机器学习模型；通过机器学习模型的至少两个卷积层对归一化的视频帧进行下采样，得到对应的低分辨率图像。
在一个实施例中，该装置还包括：引导图生成模块，用于通过至少两层高斯金字塔对视频帧进行图像处理，得到至少两个不同分辨率的高斯图像；将高斯图像和视频帧组合，得到至少三层的第二图像金字塔；将第二图像金字塔映射成引导图。
在一个实施例中，引导图生成模块，还用于将第二图像金字塔分割成不同曝光的区域；利用不同的映射直线分别对不同曝光的区域中的图像块进行映射，得到引导图。
在一个实施例中，第二采样模块，还用于对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行卷积，得到卷积后图像特征张量；利用视频帧对应的引导图对卷积后图像特征张量进行上采样，得到逆色调映射参数。
在一个实施例中，生成模块，还用于基于归一化的视频帧中各通道灰度值和对应通道的逆色调映射参数，生成高动态范围的各通道图像；将高动态范围的各通道图像进行融合，得到目标视频帧。
上述实施例中，从待处理视频中提取视频帧，针对提取出来的视频帧，分别对每个视频帧进行下采样得到低分辨率图像，然后从低分辨率图像中提取第一全局图像特征和第一局部图像特征，利用视频帧对应的引导图对第一全局图像特征和第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；基于逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。由于从低分辨率中提取特征，并将低分辨率的图像特征应用到视频帧中得到高动态范围的目标视频帧，降低了服务器的计算量；而且，通过视频帧对应的引导图对图像特征张量进行上采样，并将所得的逆色调映射参数应用到视频帧中得到高动态范围的目标视频帧，相对传统方案，保留了空间域到时间域上的所有信号，避免了映射后所得的目标视频出现亮度或色差的问题，有效地提高了映射效果。
在一个实施例中，该装置还包括：模型训练模块，用于获取视频帧样本和对应的标签；将视频帧样本输入至机器学习模型，并通过机器学习模型对视频帧样本进行下采样，得到对应的低分辨率图像样本；从低分辨率图像样本中提取第二全局图像特征和第二局部图像特征；利用视频帧样本对应的引导图，对第二全局图像特征和第二局部图像特征拼接而成的图像特征张量进行上采样，得到训练逆色调映射参数；基于训练逆色调映射参数和对应的视频帧样本生成高动态范围的训练视频帧；计算训练视频帧和标签之间的损失值；根据损失值对机器学习模型的参数进行调整，直至模型收敛时停止训练。
在一个实施例中，模型训练模块，还用于选取已训练的深度学习网络作为映射函数；通过映射函数将训练视频帧和标签依次映射到目标特征空间，得到对应的第一特征图像和第二特征图像；计算第一特征图像和第二特征图像之间的损失值。
上述实施例中，由于通过视频帧样本对应的引导图对图像特征张量进行上采样，并将所得的训练逆色调映射参数应用到视频帧样本中得到高动态范围的训练视频帧，然后利用训练视频帧与标签之间的损失值对机器学习模型的参数进行调整，可以训练出用于将低动态范围或标准动态范围的视频转换为高动态范围的视频的机器训练模型，该机器学习模型可以学习构建稳定的场景适配能力，以避免因场景不同、以及视频内容复杂而导致出现亮度或色差的问题，有利于提高从低动态范围或标准动态范围到高动态范围的映射效果。
在一个实施例中，第二提取模块，还用于通过至少两层高斯金字塔对低分辨率图像进行图像处理，得到至少两个不同分辨率的高斯图像；将高斯图像和低分辨率图像进行组合，得到至少三层的第一图像金字塔；从第一图像金字塔中提取第一全局图像特征和第一局部图像特征。
在一个实施例中，高斯图像包括分辨率不同的第一高斯图像和第二高斯图像。第二提取模块，还用于通过高斯金字塔的第一层对低分辨率图像依次进行滤波和下采样，得到第一高斯图像；通过高斯金字塔的第二层对第一高斯图像依次进行滤波和下采样，得到第二高斯图像。
在一个实施例中，第二提取模块，还用于通过第一卷积神经网络对第一图像金字塔进行卷积，得到中间图像特征；利用第二卷积神经网络对中间图像特征进行卷积，得到第一局部图像特征；采用第三卷积神经网络对中间图像特征进行卷积，并通过全连接层对第三卷积神经网络的输出结果进行融合，得到第一全局图像特征。
上述实施例中，通过对低分辨率图像进行高斯金字塔处理，从而可以得到包括低分辨率在内的至少三层图像金字塔，可以使模型从多个尺度上提取图像特征，同时也可以扩大模型参数量，在可以接受的效率损耗范围内提升模型的表达能力。此外，通过从第一图像金字塔中提取第一全局图像特征和第一局部图像特征，以便利用该第一全局图像特征和第一局部图像特征的图像特征应用到视频帧中，可以得到高动态范围的目标视频帧，避免了映射后所得的目标视频出现亮度或色差的问题。
关于视频处理装置的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端，以计算机设备为服务器为例，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频处理方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种视频处理方法，其特征在于，所述方法包括：
从待处理视频中提取视频帧；
对所述视频帧进行下采样，得到对应的低分辨率图像；
从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；
利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频帧进行下采样，得到对应的低分辨率图像包括：
对所述视频帧进行归一化处理，得到归一化的视频帧；
将所述归一化的视频帧输入至机器学习模型；
通过所述机器学习模型对所述归一化的视频帧进行下采样，得到对应的低分辨率图像。
3.根据权利要求2所述的方法，其特征在于，所述机器学习模型的训练步骤包括：
获取视频帧样本和对应的标签；
将所述视频帧样本输入至机器学习模型，并通过所述机器学习模型对所述视频帧样本进行下采样，得到对应的低分辨率图像样本；
从所述低分辨率图像样本中提取第二全局图像特征和第二局部图像特征；
利用所述视频帧样本对应的引导图，对所述第二全局图像特征和所述第二局部图像特征拼接而成的图像特征张量进行上采样，得到训练逆色调映射参数；
基于所述训练逆色调映射参数和对应的视频帧样本生成高动态范围的训练视频帧；
计算所述训练视频帧和所述标签之间的损失值；
根据所述损失值对所述机器学习模型的参数进行调整，直至模型收敛时停止训练。
4.根据权利要求3所述的方法，其特征在于，所述计算所述训练视频帧和所述标签之间的损失值包括：
选取已训练的深度学习网络作为映射函数；
通过所述映射函数将所述训练视频帧和所述标签依次映射到目标特征空间，得到对应的第一特征图像和第二特征图像；
计算所述第一特征图像和所述第二特征图像之间的损失值。
5.根据权利要求1所述的方法，其特征在于，所述从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征包括：
通过至少两层高斯金字塔对所述低分辨率图像进行图像处理，得到至少两个不同分辨率的高斯图像；
将所述高斯图像和所述低分辨率图像进行组合，得到至少三层的第一图像金字塔；
从所述第一图像金字塔中提取第一全局图像特征和第一局部图像特征。
6.根据权利要求5所述的方法，其特征在于，所述高斯图像包括分辨率不同的第一高斯图像和第二高斯图像；所述通过至少两层高斯金字塔对所述低分辨率图像进行图像处理，得到至少两个不同分辨率的高斯图像包括：
通过高斯金字塔的第一层对所述低分辨率图像依次进行滤波和下采样，得到所述第一高斯图像；
通过所述高斯金字塔的第二层对所述第一高斯图像依次进行滤波和下采样，得到所述第二高斯图像。
7.根据权利要求5所述的方法，其特征在于，所述从所述第一图像金字塔中提取第一全局图像特征和第一局部图像特征包括：
通过第一卷积神经网络对第一图像金字塔进行卷积，得到中间图像特征；
利用第二卷积神经网络对所述中间图像特征进行卷积，得到第一局部图像特征；
采用第三卷积神经网络对所述中间图像特征进行卷积，并通过全连接层对所述第三卷积神经网络的输出结果进行融合，得到第一全局图像特征。
8.根据权利要求1所述的方法，其特征在于，所述引导图的生成步骤包括：
通过至少两层高斯金字塔对所述视频帧进行图像处理，得到至少两个不同分辨率的高斯图像；
将所述高斯图像和所述视频帧组合，得到至少三层的第二图像金字塔；
将所述第二图像金字塔映射成引导图。
9.根据权利要求8所述的方法，其特征在于，所述将所述第二图像金字塔映射成引导图包括：
将所述第二图像金字塔分割成不同曝光的区域；
利用不同的映射直线分别对所述不同曝光的区域中的图像块进行映射，得到引导图。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数包括：
对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行卷积，得到卷积后图像特征张量；
利用所述视频帧对应的引导图对所述卷积后图像特征张量进行上采样，得到逆色调映射参数。
11.根据权利要求10所述的方法，其特征在于，所述基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧包括：
基于归一化的视频帧中各通道灰度值和对应所述通道的逆色调映射参数，生成高动态范围的各通道图像；
将所述高动态范围的各通道图像进行融合，得到目标视频帧。
12.一种视频处理装置，其特征在于，所述装置包括：
第一提取模块，用于从待处理视频中提取视频帧；
第一采样模块，用于对所述视频帧进行下采样，得到对应的低分辨率图像；
第二提取模块，用于从所述低分辨率图像中提取第一全局图像特征和第一局部图像特征；
第二采样模块，用于利用所述视频帧对应的引导图，对所述第一全局图像特征和所述第一局部图像特征拼接而成的图像特征张量进行上采样，得到逆色调映射参数；
生成模块，用于基于所述逆色调映射参数和对应的视频帧生成高动态范围的目标视频帧。
13.根据权利要求12所述的装置，其特征在于，所述第一采样模块，还用于对所述视频帧进行归一化处理，得到归一化的视频帧；将所述归一化的视频帧输入至机器学习模型；通过所述机器学习模型的至少两个卷积层对所述归一化的视频帧进行下采样，得到对应的低分辨率图像。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010534550.7A 2020-06-12 2020-06-12 视频处理方法、装置、计算机设备和存储介质 Active CN111683269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010534550.7A CN111683269B (zh) 2020-06-12 2020-06-12 视频处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010534550.7A CN111683269B (zh) 2020-06-12 2020-06-12 视频处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111683269A true CN111683269A (zh) 2020-09-18
CN111683269B CN111683269B (zh) 2021-08-17

Family

ID=72435485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010534550.7A Active CN111683269B (zh) 2020-06-12 2020-06-12 视频处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111683269B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200719A (zh) * 2020-09-27 2021-01-08 咪咕视讯科技有限公司 图像处理方法、电子设备及可读存储介质
CN112215202A (zh) * 2020-10-30 2021-01-12 上海禾儿盟智能科技有限公司 近红外图像数据离线增广装置、系统及方法
CN112215774A (zh) * 2020-10-13 2021-01-12 北京字节跳动网络技术有限公司 模型训练和图像去雾方法、装置、设备和计算机可读介质
CN112308758A (zh) * 2020-10-30 2021-02-02 上海禾儿盟智能科技有限公司 近红外图像数据在线增广装置、系统及方法
CN112733616A (zh) * 2020-12-22 2021-04-30 北京达佳互联信息技术有限公司 一种动态图像的生成方法、装置、电子设备和存储介质
CN113487524A (zh) * 2021-04-07 2021-10-08 北京百度网讯科技有限公司 图像格式转换方法、装置、设备、存储介质及程序产品
CN114040140A (zh) * 2021-11-15 2022-02-11 北京医百科技有限公司 一种视频抠图方法、装置、系统及存储介质
CN114820350A (zh) * 2022-04-02 2022-07-29 北京广播电视台 逆色调映射系统、方法及其神经网络系统
CN115205763A (zh) * 2022-09-09 2022-10-18 阿里巴巴（中国）有限公司 视频处理方法及设备
CN115293994A (zh) * 2022-09-30 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN116137674A (zh) * 2021-11-18 2023-05-19 腾讯科技（深圳）有限公司 视频播放方法、装置、计算机设备和存储介质
CN116452454A (zh) * 2023-04-19 2023-07-18 哈尔滨理工大学 一种基于多分辨率金字塔的色阶映射方法
CN117176979A (zh) * 2023-04-24 2023-12-05 青岛尘元科技信息有限公司 多源异构视频的内容帧提取方法、装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024300A (zh) * 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
CN106981054A (zh) * 2017-03-27 2017-07-25 联想(北京)有限公司 一种图像处理方法及电子设备
CN109785263A (zh) * 2019-01-14 2019-05-21 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
CN109919841A (zh) * 2019-01-24 2019-06-21 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
CN110149507A (zh) * 2018-12-11 2019-08-20 腾讯科技（深圳）有限公司 视频处理方法、数据处理设备及存储介质
CN110223256A (zh) * 2019-06-10 2019-09-10 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备
US20190341001A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Automatic application of mapping functions to video signals based on inferred parameters
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN110717868A (zh) * 2019-09-06 2020-01-21 上海交通大学 视频高动态范围反色调映射模型构建、映射方法及装置
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
US20200090313A1 (en) * 2019-11-25 2020-03-19 Intel Corportation Unsupervised training of neural network for high dynamic range image compression
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111145097A (zh) * 2019-12-31 2020-05-12 华为技术有限公司 图像处理方法、装置和图像处理系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024300A (zh) * 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
CN106981054A (zh) * 2017-03-27 2017-07-25 联想(北京)有限公司 一种图像处理方法及电子设备
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
US20190341001A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Automatic application of mapping functions to video signals based on inferred parameters
CN110149507A (zh) * 2018-12-11 2019-08-20 腾讯科技（深圳）有限公司 视频处理方法、数据处理设备及存储介质
CN109785263A (zh) * 2019-01-14 2019-05-21 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
CN109919841A (zh) * 2019-01-24 2019-06-21 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
CN110223256A (zh) * 2019-06-10 2019-09-10 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN110717868A (zh) * 2019-09-06 2020-01-21 上海交通大学 视频高动态范围反色调映射模型构建、映射方法及装置
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
US20200090313A1 (en) * 2019-11-25 2020-03-19 Intel Corportation Unsupervised training of neural network for high dynamic range image compression
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111145097A (zh) * 2019-12-31 2020-05-12 华为技术有限公司 图像处理方法、装置和图像处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GABRIEL EILERTSEN;JOEL KRONANDER;GYORGY DENES;ETAL: "HDR image reconstruction from a single exposure using deep CNNs", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200719A (zh) * 2020-09-27 2021-01-08 咪咕视讯科技有限公司 图像处理方法、电子设备及可读存储介质
CN112200719B (zh) * 2020-09-27 2023-12-12 咪咕视讯科技有限公司 图像处理方法、电子设备及可读存储介质
CN112215774A (zh) * 2020-10-13 2021-01-12 北京字节跳动网络技术有限公司 模型训练和图像去雾方法、装置、设备和计算机可读介质
CN112215774B (zh) * 2020-10-13 2023-09-29 抖音视界有限公司 模型训练和图像去雾方法、装置、设备和计算机可读介质
CN112215202B (zh) * 2020-10-30 2023-06-30 上海禾儿盟智能科技有限公司 近红外图像数据离线增广装置、系统及方法
CN112215202A (zh) * 2020-10-30 2021-01-12 上海禾儿盟智能科技有限公司 近红外图像数据离线增广装置、系统及方法
CN112308758A (zh) * 2020-10-30 2021-02-02 上海禾儿盟智能科技有限公司 近红外图像数据在线增广装置、系统及方法
CN112308758B (zh) * 2020-10-30 2023-11-03 上海禾儿盟智能科技有限公司 近红外图像数据在线增广装置、系统及方法
CN112733616A (zh) * 2020-12-22 2021-04-30 北京达佳互联信息技术有限公司 一种动态图像的生成方法、装置、电子设备和存储介质
CN113487524A (zh) * 2021-04-07 2021-10-08 北京百度网讯科技有限公司 图像格式转换方法、装置、设备、存储介质及程序产品
WO2022213716A1 (zh) * 2021-04-07 2022-10-13 北京百度网讯科技有限公司 图像格式转换方法、装置、设备、存储介质及程序产品
CN114040140B (zh) * 2021-11-15 2024-04-12 北京医百科技有限公司 一种视频抠图方法、装置、系统及存储介质
CN114040140A (zh) * 2021-11-15 2022-02-11 北京医百科技有限公司 一种视频抠图方法、装置、系统及存储介质
CN116137674A (zh) * 2021-11-18 2023-05-19 腾讯科技（深圳）有限公司 视频播放方法、装置、计算机设备和存储介质
CN116137674B (zh) * 2021-11-18 2024-04-09 腾讯科技（深圳）有限公司 视频播放方法、装置、计算机设备和存储介质
CN114820350A (zh) * 2022-04-02 2022-07-29 北京广播电视台 逆色调映射系统、方法及其神经网络系统
CN115205763A (zh) * 2022-09-09 2022-10-18 阿里巴巴（中国）有限公司 视频处理方法及设备
CN115293994A (zh) * 2022-09-30 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN116452454B (zh) * 2023-04-19 2023-10-03 哈尔滨理工大学 一种基于多分辨率金字塔的色阶映射方法
CN116452454A (zh) * 2023-04-19 2023-07-18 哈尔滨理工大学 一种基于多分辨率金字塔的色阶映射方法
CN117176979A (zh) * 2023-04-24 2023-12-05 青岛尘元科技信息有限公司 多源异构视频的内容帧提取方法、装置、设备及存储介质
CN117176979B (zh) * 2023-04-24 2024-05-03 青岛尘元科技信息有限公司 多源异构视频的内容帧提取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111683269B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111683269B (zh) 视频处理方法、装置、计算机设备和存储介质
WO2020177651A1 (zh) 图像分割方法和图像处理装置
CN112308200B (zh) 神经网络的搜索方法及装置
CN109816615B (zh) 图像修复方法、装置、设备以及存储介质
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110246084B (zh) 一种超分辨率图像重构方法及其系统、装置、存储介质
WO2019105179A1 (zh) 颜色分量的帧内预测方法及装置
KR20220120674A (ko) 3차원 재구성 방법, 장치, 기기 및 저장 매체
CN112906721B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN114067007A (zh) 图像处理方法与装置、神经网络训练的方法与装置
CN109413434B (zh) 图像处理方法、装置、系统、存储介质和计算机设备
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN113066018A (zh) 一种图像增强方法及相关装置
CN113822803A (zh) 图像超分处理方法、装置、设备及计算机可读存储介质
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
CN115293994B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111861877A (zh) 视频超分变率的方法和装置
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN115661403A (zh) 显式辐射场的处理方法、设备和存储介质
CN113591838B (zh) 目标检测方法、装置、电子设备和存储介质
CN115471417A (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
Jiang et al. Parallel adaptive guidance network for image inpainting
CN116071478B (zh) 图像重建模型的训练方法和虚拟场景渲染方法
CN114819109B (zh) 双目图像的超分辨率处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028077

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant