CN112204617B - 使用神经网络映射的hdr图像表示 - Google Patents

使用神经网络映射的hdr图像表示 Download PDF

Info

Publication number
CN112204617B
CN112204617B CN201980035144.1A CN201980035144A CN112204617B CN 112204617 B CN112204617 B CN 112204617B CN 201980035144 A CN201980035144 A CN 201980035144A CN 112204617 B CN112204617 B CN 112204617B
Authority
CN
China
Prior art keywords
image
input
mapping
dynamic range
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980035144.1A
Other languages
English (en)
Other versions
CN112204617A (zh
Inventor
苏冠铭
宋青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN112204617A publication Critical patent/CN112204617A/zh
Application granted granted Critical
Publication of CN112204617B publication Critical patent/CN112204617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明描述用于使用一组参考色彩分级图像及神经网络将图像从第一动态范围映射到第二动态范围的方法及系统。给定表示相同场景但在不同动态范围内的第一图像及第二图像，从各种神经网络NN模型选择NN模型以基于所述第一图像及所述第二图像确定近似表示所述第二图像的输出图像。根据优化准则、所述第一图像及所述第二图像导出所述选定NN模型的参数，其中所述参数包含所述选定NN模型的层中的节点的节点权重及/或节点偏差。提供使用全局映射及局域映射表示的实例HDR到SDR映射。

Description

使用神经网络映射的HDR图像表示
相关申请案的交叉参考
本申请案主张2018年4月9日申请的第62/654,614号美国临时专利申请案及2018年4月9日申请的第18166320.4号欧洲专利申请案的优先权的权益，所述两个申请案的全部内容以引用的方式并入本文中。
技术领域
本发明大体上涉及图像。更特定来说，本发明的实施例涉及使用神经网络映射将高动态范围图像从一个表示映射到另一表示。
背景技术
如本文中使用，术语′动态范围(DR)′可为关于人类视觉系统(HVS)感知图像中的强度(例如，照度、亮度)范围(例如，从最暗灰色(黑色)到最亮白色(强光))的能力。在此意义上，DR涉及′场景参考′强度。DR还可为关于显示装置充分或近似地呈现具有特定广度的强度范围的能力。在此意义上，DR涉及′显示参考′强度。除非在本文中的描述中的任何点处明确指定特定意义具有特定重要性，否则应推断，术语可在任一意义上(例如，互换地)使用。
如本文中使用，术语高动态范围(HDR)涉及横跨人类视觉系统(HVS)的14到15个数量级的DR广度。实际上，相对于HDR，人类可在其内同时感知强度范围内的广泛广度的DR可稍微被截断。如本文中使用，术语视觉动态范围(VDR)可个别地或互换地涉及可通过包含眼动的人类视觉系统(HVS)在场景或图像内感知，从而允许跨场景或图像的一些光调适改变的DR。如本文中使用，VDR可为关于横跨5到6个数量级的DR。因此，虽然相对于真实场景参考HDR，VDR可能稍微更窄，但VDR仍表示宽DR广度且还可被称为HDR。
实际上，图像包括一或多个色彩分量(例如，亮度Y以及色度Cb及Cr)，其中每一色彩分量由每一像素n个位的精确度表示(例如，n＝8)。使用线性照度编码，其中n≤8(例如，彩色24位JPEG图像)的图像被视为具有标准动态范围的图像，而其中n>8的图像可被视为具有增强动态范围的图像。还可使用高精确度(例如，16位)浮点格式(例如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式)存储并分布HDR图像。
大多数消费者桌上型显示器当前支持200到300cd/m2或尼特的照度。大多数消费者HDTV在从300到500尼特的范围内，其中新模型达到1000尼特(cd/m2)。因此，相对于HDR，一些常规显示器代表较低动态范围(LDR)(还被称为标准动态范围(SDR))。随着HDR内容的可用性归因于捕获设备(例如，相机)及HDR显示器(例如，来自杜比实验室(DolbyLaboratories)的PRM-4200专业参考监视器)的进步而增长，HDR内容可经色彩分级且显示于支持较高动态范围(例如，从1,000尼特到5,000尼特或更多)的HDR显示器上。
如G-M苏(G-M Su)等人的美国专利8,811,490，“多色彩通道，多回归预测器(Multiple color channel,multiple regression predictor)”中论述，图像预测技术在使用单层及多层编码技术的HDR内容的有效编码及分布中扮演重要角色。图像预测可被视为图像映射的特殊情况，其中第一表示中的图像(例如，相对于动态范围及/或色域，例如，SDR图像)经映射到第二表示的图像(例如，HDR图像)。
在人工神经网络中，根据“通用近似定理(universal approximation theorem)”，给定适当参数，广范围的函数可由各种简单神经网络(NN)表示。如本发明者了解，期望用于使用简单神经网络进行HDR图像及/或导出HDR或SDR图像之间的图像映射的改进技术。
US 2010246940 A1描述一种产生高动态范围图像的方法及一种使用所述方法的电子装置。所述方法包含：加载由神经网络算法产生的亮度调整模型；获得原始图像；获取原始图像的像素特性值、第一方向上的第一特性值及第二方向上的第二特性值；及根据原始图像的像素特性值、第一特性值及第二特性值通过亮度调整模型产生HDR图像。电子装置包含亮度调整模型、特性值获取单元及亮度调整程序。电子装置通过特性值获取单元获取原始图像的像素特性值、第一特性值及第二特性值，且通过亮度调整模型从原始图像产生HDR图像。
WO2018064591(A1)描述用于使用神经网络产生视频帧的方法。方法中的一者包含：使用编码器神经网络处理序列视频帧以产生经编码表示；及根据像素顺序及通道顺序逐像素产生经预测下一帧，包括：针对每一像素的每一色彩通道，提供以下项作为到解码器神经网络的输入：(i)经编码表示；(ii)在像素顺序中在像素之前的任何像素的色彩值；及(iii)在通道顺序中在色彩通道之前的任何色彩通道的像素的色彩值，其中解码器神经网络经配置以产生输出，所述输出定义复数个可能色彩值内的分数分布，且通过从分数分布进行取样而确定像素的色彩通道的色彩值。
在法赫德·布扎拉(Fahd Bouzaraa)的“基于CNN的非局域色彩映射(CNN BasedNon-Local Color Mapping)”，2016IEEE多媒体ISM国际研讨会(2016IEEE InternationalSymposium on Multimedia ISM)，2016年12月11日，第313到316页中，论述用于将图像的色彩转移到参考分布的色彩映射。以此方式，可使用单一图像(例如)通过将暗图像变换为展示相同场景的较亮图像而仿真不同相机曝光。用于色彩映射的大多数方法在其仅应用像素层级(pixel-wise)(局部)映射以产生色彩映射图像的意义上是局部的。然而，在所呈现方法中，提出非局部映射，其是基于使用卷积神经网络直接从图像纹理学习的特征。
在此段落中描述的方法是可追求的方法，但不一定是先前已构想或追求的方法。因此，除非另外指示，否则不应假定在此段落中描述的方法中的任何者仅因其包含于此段落中而有资格作为先前技术。类似地，除非另外指示，否则不应假定已在此段落的基础上在任何先前技术中辨识关于一或多个方法识别的问题。
附图说明
本发明的实施例通过实例且并非通过限制在附图的图中说明，且其中相似参考数字是指类似元件且其中：
图1描绘用于编码且传输HDR数据的实例数据流；
图2A描绘实例HDR编码系统；
图2B描绘实例HDR解码系统；
图3A描绘根据本发明的实施例的用于使用神经网络产生全局映射的实例系统；
图3B描绘根据本发明的实施例的用于使用神经网络产生局域映射的实例系统；
图3C描绘根据本发明的实施例的用于使用神经网络产生具有多个等级的全局映射的实例系统；
图3D描绘根据本发明的实施例的用于使用单一YCbCr网络产生全局映射的实例系统；
图3E描绘根据本发明的实施例的用于使用单一YCbCr神经网络映射的预测器的实例系统；
图3F描绘根据本发明的实施例的用于使用全局-映射神经网络的预测器的实例系统；
图4描绘根据本发明的实施例的用于使用神经网络及3D映射表产生全局映射的实例系统；
图5描绘根据本发明的实施例的用于使用神经网络导出图像映射函数的实例过程；及
图6描绘具有两个隐藏层的实例神经网络。
具体实施方式
本文中描述基于神经网络导出图像映射函数。给定一组对应图像(即，表示相同场景但在动态范围的不同水平下的图像)，此段落描述允许编码器使用基于神经网络的映射相对于一个图像近似表示另一图像的方法。在以下描述中，出于解释目的，阐述数种特定细节以便提供对本发明的透彻理解。然而，将明白，可在无这些具体细节的情况下实践本发明。在其它例子中，未详尽描述熟知结构及装置，以便避免不必要地阻碍、模糊或混淆本发明。
概述
本文中描述的实例实施例涉及使用神经网络导出图像映射函数。在第一实施例中，编码器存取一或多个神经网络(NN)模型，每一NN模型经调适以相对于具有第二动态范围的图像近似表示具有第一动态范围的图像。编码器接收第一动态范围内的第一图像及第二动态范围内的第二图像，其中两个图像表示相同场景。编码器从各种NN模型选择神经网络模型以基于第一图像及第二图像确定近似表示第二图像的输出图像。接着，其根据优化准则、第一图像及第二图像确定选定NN模型的参数的至少一些值，其中参数包括用于与选定NN模型的至少一个层中的至少一些节点的激活函数一起使用的节点权重及/或节点偏差。在此，应提及，可预确定一些节点权重及/或节点偏差且因此，可不必根据优化准则确定选定NN模型的参数的全部值。可压缩经产生输出图像，且可将特性化映射的NN参数编码为元数据以传递到解码器。
在第二实施例中，解码器接收包括第一动态范围内的经编码图像及图像元数据的经压缩位流，其中图像元数据包括供神经网络(NN)模型将经编码图像映射到第二动态范围内的输出图像的参数。针对经编码图像的一或多个色彩分量，图像元数据可包括：NN中的神经网络层的数目；至少一个层的神经节点的数目；及至少一个层的一些节点中用于与激活函数一起使用的权重及偏移。在解码经编码图像之后，解码器基于经编码图像及NN模型的参数产生第二动态范围内的输出图像。
实例HDR-SDR系统
图1描绘根据本发明的实施例的HDR-SDR系统(100)的实例数据流。使用HDR相机(110)获取HDR图像或视频序列。在获取之后，经获取图像或视频由主控过程(120)处理以产生目标HDR图像(125)。主控过程可并入各种处理步骤，例如：编辑、主及次级色彩校正、色彩变换及噪声过滤。此过程的HDR输出(125)表示指导者关于经获取图像将如何显示于目标HDR显示器(例如，HDR显示器160)上的意图。
主控过程还可输出对应SDR图像(145)，所述对应SDR图像(145)表示指导者关于经获取图像将如何显示于旧型SDR显示器(165)上的意图。SDR输出(例如，145-1或145-2)可从主控电路120直接提供，其可使用单独HDR转SDR转换器140产生，或其可在配色师的帮助下产生。
如本文中使用，术语“修整通过(trim-pass)”表示内容产生中的阶段，其中将在第一目标显示器(例如，在4,000尼特下的专业监视器)上产生的视频串流经重新映射到针对具有不同动态范围及/或色域的第二目标显示器(例如，针对在300尼特下的SDR TV)的第二串流。修整通过可由配色师进一步调整以产生原始视频串流的“色彩等级”。工作室可产生多个“修整”及/或“色彩等级”，举例来说，用于在以下项中发行：SDR电影院(例如，48尼特)、HDR电影院(例如，100尼特)、SDR TV(例如，300尼特)、HDR TV(例如，1,000尼特)及类似者。两个修整还可具有相同动态范围，但不同色域。如本文中使用，术语“导出图像”表示从主控HDR或SDR图像导出的任何此经修整或色彩分级图像。
在此实例实施例中，将HDR 125及SDR 145信号输入到编码器130中。编码器130的目的是产生经编码位流，所述经编码位流减小传输HDR及SDR信号所需的带宽，但还允许对应解码器150解码且呈现SDR或HDR信号。在实例实施方案中，编码器130可为单层或多层编码器，例如由MPEG-2及H.264编码标准定义的所述编码器中的一者，所述编码器将其输出表示为基础层、选用一或多个增强层及元数据。如本文中使用，术语“元数据”涉及作为经编码位流的部分传输且辅助解码器呈现经解码图像的任何辅助信息。此元数据可包含(但不限于)例如以下项的数据：色彩空间或色域信息、动态范围信息、色调映射信息或NN节点参数(例如本文中描述的NN节点参数)。
在接收器上，解码器(150)使用经接收的经编码位流及元数据以根据目标显示器的能力呈现SDR图像(157)或HDR图像(155)。举例来说，SDR显示器(165)可仅使用基础层及元数据来呈现SDR图像。相比的下，HDR显示器(160)可使用来自全部输入层的信息及元数据来呈现HDR信号。
在一些实施例中，系统(100)可应用输入视频内容(未展示)的“重塑形”以更佳匹配130中的视频编码器的能力。如本文中使用，术语“正向重塑形”表示数字图像从其原始位深度及原始码字分布或表示(例如，γ、PQ或HLG及类似者)到具有相同或不同位深度及不同码字分布或表示的图像的样品到样品或码字到码字映射的过程。重塑形允许按固定位率的改进的可压缩性或改进的图像质量。例如但无限制，可将重塑形应用到10位或12位PQ编码HDR视频以改进10位视频编码架构中的编码效率。在接收器中，在解压缩经重塑形信号之后，接收器可应用“逆重塑形函数”以将信号复原到其原始码字分布。可在由G-M苏在2016年3月30日申请的PCT申请案PCT/US2016/025082，高动态范围视频编码中的基于环内块的图像重塑形(In-Loop Block-Based Image Reshaping in High Dynamic Range VideoCoding)(所述案还发表为WO 2016/164235)中找到图像重塑形的实例。
图2A更详细展示并入本发明的方法的编码器130的实例实施方案。在图2A中，SDR′(207)表示增强SDR信号。如今，SDR视频是8到10位，4:2:0，ITU Rec.709数据。SDR′可与SDR具有相同色彩空间(原色及白点)，但可使用高精确度(例如，每一像素12个位)，其中全部色彩分量依全空间分辨率(例如，4:4:4RGB)。从图2A，可使用可包含从(例如)每像素12个位到每像素10个位的量化(或正向重塑形)的一组正向变换、色彩变换(例如，从RGB到YUV)及色彩次取样(例如，从4:4:4到4:2:0)容易地从SDR′信号导出SDR。将转换器210的SDR输出应用到压缩系统220。取决于应用，压缩系统220可有损耗的(例如H.264、MPEG-2及类似者)或无损耗的。压缩系统220的输出可作为基础层225传输。为了减小经编码信号与经解码信号之间的漂移，编码器130遵循压缩过程220与对应解压缩过程230及逆变换240(对应于210的正向变换)并不罕见。因此，预测器(250E)可具有以下输入：HDR输入205及对应于SDR′信号(因其将由对应解码器接收)的SDR信号245或输入SDR′207。使用输入HDR及SDR数据，预测器250E将产生信号257，所述信号257表示输入HDR 205的近似表示或估计。在分层系统中，加法器260从原始HDR 205减去经预测HDR 257以形成输出残余信号265。随后(未展示)，残余265还可由另一有损耗或无损耗编码器编码，且可经传输到解码器作为增强层。
预测器250E还可提供在预测过程中使用的预测参数作为元数据(255)。由于预测参数可在编码过程期间(例如)在逐帧基础上或在逐场景基础上改变，因此可将这些元数据传输到解码器作为还包含基础层及增强层的数据的部分。
由于HDR 125及SDR 145两者表示相同场景，但标定具有不同特性(例如动态范围及色域)的不同显示器，因此预期在这两个信号之间存在非常紧密相关性。在本发明的实例实施例中，开发允许使用神经网络映射将输入参考信号映射到近似表示的新颖映射函数。虽然提供HDR到SDR映射的实例，但相同技术可用于两个不同HDR等级之间、两个不同SDR等级之间或SDR等级与HDR等级之间的图像映射。
本发明的实施例可在图像编码器或图像解码器上实施。图2B展示根据本发明的实施例的解码器150的实例实施方案。解码系统150接收经编码位流(270)，举例来说，从编码器200-E产生的一个经编码位流(270)，其可组合在解压缩(230)及其它逆变换(240)之后提取的基础层(例如，245)、选用增强层(或残余)(例如，265)及元数据(255)。举例来说，在HDR-SDR系统中，基础层(245)可表示经编码HDR信号的SDR表示且元数据255可包含关于在编码器预测器250E中使用的神经网络映射(NNM)及对应NNM参数的信息。在一个实例实施方案中，当编码器使用根据本发明的方法的NN映射时，元数据可包含所使用的模型(例如，全局映射、局域映射及类似者)的识别及与所述特定模型相关联的全部参数。给定基础层245及从元数据255提取的NNM相关参数，预测器250D可计算经预测HDR(257)。如果不存在残余，或残余可忽略，那么可直接输出经预测信号257作为最终HDR图像。否则，在加法器260中，将预测器(250D)的输出(257)加到残余265以输出HDR信号290。
实例神经网络映射
背景
在无限制的情况下，使表示来自第一图像(例如HDR图像(125))的第i个像素的3色彩值(例如，RGB或YCbCr及类似者)。将第二图像(例如，SDR图像145)中的对应第i个像素表示为/>将每一图像中的像素的总数目表示为P且假定全部像素值在[01]之间正规化。我们想要找到映射函数M()，从而将来自第一图像的像素值映射到第二图像中的对应像素值(或反之亦然)，即：
si≈M(vi)， (1a)
或
vi≈M(si). (1b)
在实施例中，在多层神经网络中，可将第j个层表达为应用到其输入中的每一者的权重及偏差的非线性函数：
xj＝Φj(xj-1)＝fj(Wjxj-1+bj)，j＝0，1，2，...，L， (2)
其中Wj是加权矩阵，bj是偏差向量，fj()是激活函数，xj-1是输入(来自先前层的输出)且xj是当前层的输出。举例来说，可将xj表示为
其中Nj表示在神经网络的第j层级处的节点的数目。应注意，第j层级处的节点的数目可不同于另一层级中的节点的数目。给定具有L个层的NN，其可表示为[N0N1…NL-1]NN。举例来说，[844]NN表示具有三个层的神经网络，在第一层中具有8个节点且在另两个层中的每一者中具有4个节点。
存在若干普遍使用的激活函数fj()。在实施例中，fj()是S型函数：
针对第一层(例如，j＝0)，输入将是原始输入像素值，即，假定方程式(1a)的映射，那么x-1＝vi。
备注：在此描述的剩余部分中，可相对于方程式(1a)中的映射表达NN的输入及输出参数；然而，可通过简单地切换SDR及HDR输入而容易地扩展本文中描述的方法以表示方程式(1b)的映射。
L隐藏层网络将具有
或
图6描绘具有输入层(605)、两个隐藏层(610及615)及一个输出层(620)的实例神经网络。输入节点(605-1到605-N-1)表示我们的输入像素(例如，vi)，输出节点(620-1到620-N2)表示我们的映射值(例如，)，且在隐藏第一层(610-1到610-N0)及隐藏第二层(615-1到615-N1)中的节点分别表示x0＝Φ0(vi)及x1＝Φ1(x0)。
目标是找到全部(L+1)层中的参数{Wj,bj}，j＝0,1,…,L，以最小化全部P像素的总最小均方差(MSE)：
可将问题正式地用公式表示为：
在实施例中，可使用“反向传播”找到方程式(6)的解。应注意，代替具有单一NN，我们还可采用三个或三个以上神经网络，各自用于输入信号中的色彩分量中的每一者。
输入正规化
在实施例中，可通过将输入信号重新正规化到范围[-1 1]而改进性能。在此实施方案中，神经网络需要包含
·预按比例调整阶段(正规化)，其中将输入信号中的每一通道按比例调整到[-11]
·后按比例调整阶段(去正规化)，其中将在[-1 1]中的输出信号中的每一通道按比例调整回到原始范围
将每一输入色彩通道(表示为y、c0及c1)的最小及最大值表示为
可将执行对新动态范围(即，在我们实例中，[-1 1])的正规化的增益导出为
将正规化执行为
将去正规化计算为：
可使用可经传达到接收器作为元数据的以下参数表示基于L层神经网络的映射：
·每一输入分量(例如，增益、最小值及最大值)的正规化参数{G，nmin，nmax}
·L层神经参数；例如，在第j个层中，{Wj,bj}，j＝0,2,…,L
接着，详细描述三个不同实例实施例。
使用全局映射NN的图像映射
图3A描绘用于根据全局映射的实施例产生HDR到SDR映射的实例系统，其中对整个图像执行相同像素映射而无关于像素的位置。作为实例，在不损失一般性的情况下，假定输入呈YCbCr 4:2:0格式；然而，类似架构适用而无关于所使用的色彩格式(例如，YCbCr 4:2:2或4:4:4、RGB、ICtCp及类似者)。给定参考HDR(125)及SDR(145)帧，使用三个神经网络(305)以映射Y、Cb及Cr。由于输入4:2:0格式，因此在实施例中，可使用按比例缩小器(down-scaler)310及按比例放大器(up-scaler)315，使得到NN单元(305)的全部输入具有相同空间分辨率。如果输入呈4:4:4格式，那么可消除这些按比例放大及按比例缩小函数。如图3A中描绘：
·Y-NNM(305-Y)具有输入vY,vCb,Cr(经上取样)及sY，且输出映射SDR及元数据
·Cb-NNM(305-Cb)具有输入vY(经下取样)、vCb,Cr及sCb，且输出映射SDR及元数据
·Cr-NNM(305-Cr)具有输入vY(经下取样)、vCb,Cr及sCr，且输出映射SDR及元数据
每一NNM 305可包括单一层(例如，具有16个节点的一个层，其表示为[16])或多个层(例如，[8 4 4]NN)。可在M.T.哈根(M.T.Hagan)等人的“神经网络设计(Neural NetworkDesign)”(第2版)，2014年，或在S.O.海金(S.O.Haykin)的“神经网络及学习机器(NeuralNetworks and Learning Machines)”(第3版)，皮尔森(Pearson),2008年中找到NNM的实施方案实例。还可使用矩阵实验室(Matlab)的神经网络工具箱(Neural NetworkToolbox)中的矩阵实验室函数fitnet及train(MATLAB functions fitnet and train)。
使用局域映射NN的图像映射
图3B描绘根据实施例的用于产生HDR到SDR映射的实例系统，其中以区域级执行像素映射(局域映射)。为了模型化此空间域变异数，神经网络映射(NNM)单元(305)包含表示位置像素信息的额外输入307。使(xi,yi)表示第i个像素的正规化坐标，即，xi∈[0，1]及yi∈[0，1]。可通过将原始坐标除以图像的对应尺寸(例如，宽度及高度)而计算这些正规化值。接着，可将输入HDR向量表示为
如图3B中描绘：
·Y-NNM(305-Y)具有输入vY,vCb,Cr(经上取样)、sY及(xY,yY)，且输出映射SDR及元数据
·Cb-NNM(305-Cb)具有输入vY(经下取样)、vCb,Cr,sCb及(xCb,yCb)，且输出映射SDR及元数据
·Cr-NNM(305-Cr)具有输入vY(经下取样)、vCb,Cr,sCr及(xCr,yCr)，且输出映射SDR及元数据
给定输入呈YCbCr 4:2:0格式，亮度及色度分量需要不同处理。针对亮度，Y-NNM(305-Y)，在输入307-Y中，其使用全分辨率(xi,yi)；然而，针对色度，Cb-NNM(305-Cb)及Cr-NNM(305Cr)，在输入307-Cb及307-Cr中，其使用原始分辨率(xi,yi)的按比例调整版本(例如，xi/2,yi/2)。应注意，两个坐标需要在正规化[0,1]域中。唯一差异是位置由不同图像大小正规化。
使用多个等级的图像映射
在实施例中，如先前论述，编码器可能可存取多个SDR或HDR“等级”或“修整”。接着，如图3C中展示，神经网络映射网络可使用多个修整以进一步改进从一个表示到另一表示的映射。
针对第k等级的参考图像中的第i个像素的三色彩值表示为在实施例中，可将全部等级级联在一起作为向量
接着，针对每一NNM，输入向量需要包含正规化目标亮度值(例如，以尼特为单元)，tk∈[0，1]且变为4输入向量。
举例来说，针对100尼特修整，t0＝0.1，且针对600尼特，t1＝0.6。可使用端口(307)馈入这些等级ID。再次，可将映射问题表达为对于映射函数M()的解，其中
如图3C中描绘：
·Y-NNM(305-Y)具有输入vY、vCb,Cr(经上取样)、sY及可用等级ID(例如，t0、t1及t2)，且输出映射SDR及元数据
·Cb-NNM(305-Cb)具有输入vY(经下取样)、vCb,Cr,sCb及(xCb,yCb)及可用等级ID(例如，t0、t1及t2)，且输出映射SDR及元数据
·Cr-NNM(305-Cr)具有输入vY(经下取样)、vCb,Cr,sCr及可用等级ID(例如，t0、t1及t2)，且输出映射SDR及元数据
所属领域的技术人员可了解，可使用多个其它变化以产生HDR到SDR或SDR到HDR映射函数。举例来说，图3C中的NNM还可使用如图3B中的像素位置信息。替代地，全部NNM可考虑来自多个时间例子的HDR及SDR帧。可在神经网络中考虑的其它图像属性可包含图像对比度、图像饱和及边缘强度。举例来说，边缘检测可用于改进区域色调映射。
使用3D映射表改进计算效率
如本文中使用，术语“3D映射表(3D-MT或3DMT)”是指表示输入图像数据且用于更有效图像处理的3D查找表。在B.温(B.Wen)等人在2017年10月4日申请的第15/725,101号美国专利申请案，“具有直方图转移及近似的反亮度/色度映射(Inverse Luma/ChromaMappings with Histogram Transfer and Approximation)”中首次介绍3D映射表，所述申请案以引用的方式并入本文中。导出3D映射表作为2D映射的扩展，其中基于两个图像的积累密度函数(CDF)应匹配的约束将第一动态范围内的图像映射到另一动态范围内。
3D-MT表减少基于像素的计算且可产生映射，所述映射产生具有改进的色彩准确度的输出图像。在实施例中，可如下那样建构欲在基于神经网络的映射中使用的3D-MT。
在使用第一图像及第二图像作为参考的映射中，将来自第一图像(例如，HDR图像)的第i个像素的三色彩值表示为且将第二图像(例如，SDR图像)中的对应第i个像素表示为/>首先，我们使用针对每一分量的固定数目个分格Qy，/>量化具有三个通道值(例如，Y、C0及C1)的第一图像。应注意，一或多个色彩分量中的分格的数目可不同于其它色彩分量中的分格的数目。这些分格将用于计算其3D直方图。将3D直方图表示为ΩQ，v，其中/>因此，ΩQ，v含有总共/>个分格，且由分格索引/>指定的每一3D分格表示具有所述3通道量化值的像素的数目。针对每一3D分格，我们还计算第二图像中的每一色彩分量的总和。使/>及/>为第二图像域中的经映射亮度及色度值，使得这些的每一分格含有全部HDR亮度及两个色度(分别为C0及C1)像素值的总和，其中对应像素值位于所述分格中。可以伪码概括这些操作，如表1到3中描述。
表1：产生3D映射表-部分A
/>
使表示第二图像中的第q个分格的中心。这些值针对全部帧固定且可经预计算：
表2：产生3D映射表-部分B
/>
下一步骤是识别具有非零数目个像素且摒弃不具有任何像素的所述分格的3D直方图分格。使q0,q1,…qk-1,为k个此类分格，针对其，计算/>及/>的平均值。
表3：产生3D映射表-部分C
表示
接着，使用如上文针对有效q值定义的及/>对替换vi及si值的原始集。
图4描绘根据实施例的用于使用3D映射表及神经网络产生HDR到SDR映射的实例架构(400)。如图4中描绘，系统利用两个3D-MT：亮度3D-MT(405)及色度3D-MT(410)。为了产生这些3D-MT，我们可针对以下输入应用表1到3中的步骤：
·针对亮度3D-MT：输入是：原始分辨率中的HDR Y、经上取样的HDR Cb/Cr、原始分辨率中的SDR Y及经上取样的SDR Cb/Cr；可将输出表示为以下项的映射
(407)到/>(409)
·针对色度3DMT：输入是经下取样的HDR Y、原始分辨率中的HDR Cb/Cr、经下取样的SDR Y及原始分辨率中的SDR Cb/Cr；可将输出表示为以下项的映射
(412)到/>(414)。
在系统400中，基于两个3D-MT的输出产生三个神经网络映射(415)(针对亮度及色度)。举例来说，在实施例中，针对：
·Y NNM，输入是来自第一3DMT的(407)及/>(409-Y)，且输出将是Y-NNM网络的参数
·Cb NNM，输入是来自第二3DMT的(412)及/>(414-Cb)，且输出将是Cb-NNM网络的参数
·Cr NNM，输入是来自第二3DMT的(412)及/>(414-Cr)，且输出将是Cr-NNM网络的参数
使用3DMT提供以下优点：a)我们可使用远更少点练习神经网络，这是因为分格的数目远小于像素的数目。此允许更快收敛，此在实时应用中非常重要。b)产生3D-MT实际上将像素合并到具有“重要像素”的分格中，因此减小由相对于图像质量的较低值的多个像素使NN决策偏差的效应。
(400)系统等效于图3A中描述的系统。可通过将3D映射表的概念扩展到更高尺寸(例如，通过使用5D-MT用于局域映射(图3B))而容易地扩展所述系统以支持图3B及图3C中的架构。
在另一实施例中，可将三个神经网络(415)Y-NNM、Cb-NNM及Cr-NNM组合成单一YCbCr-NNM，从而直接产生亮度及色度值两者。此实施方案将需要较少NN参数以表示HDR到SDR映射。作为实例，图3D描绘使用单一YCbCr NNM(350)产生两个色彩等级之间的全局映射的系统。给定由图3D中的系统产生的NNM参数(372)，图3E描绘实例预测器(例如，250D)，其应用映射函数(如由NN的参数特性化，亦即，元数据(372))以使用YCbCr NNM 370重建原始数据。举例来说，如果信号360(源等级)表示SDR数据，那么经映射YCbCr数据表示经预测HDR数据，且如果信号360表示输入HDR数据，那么经映射YCbCr数据表示经预测SDR数据。两个YCbCr NN(370-1,370-2)相同，但每一者稍微不同地处置输入数据。针对亮度(Y)，NNM 370-1需要将输入色度数据经上取样到全分辨率(与Y的分辨率相同)。摒弃370-1的Cb/Cr输出。针对色度，NNM 370-2需要输入亮度数据经下取样以匹配色度分量的分辨率。可摒弃NNM370-2的亮度输出。在另一实施例中，NNM 370可为单一、时间共享的NN网络。
可容易地针对图3A到3C中先前描述的其它神经网络映射设计中的任何者调适图3E中描绘的架构。举例来说，图3F描绘基于图3A的全局映射的预测器。现使用三个相异NN替换图3E中的NNM(370)，一个用于Y(380-Y)，一个用于Cb(380-Cb)且一个用于Cr(380-Cr)，每一者接收其自身的相异元数据(382-Y/Cb/Cr)。如在图3E中，针对4:2:0数据，适当地上取样或下取样到这些NN中的每一者的亮度及色度输入。如图3F中描绘，假定v(360)到映射：
·Y-NNM(380-Y)具有输入vY,vCb,Cr(经上取样)及元数据382-Y，且输出映射
·Cb-NNM(380-Cb)具有输入vY(经下取样)、vCb,Cr及元数据382-Cb，且输出映射
·Cr-NNM(380-Cr)具有输入vY(经下取样)、vCb,Cr及元数据382-Cb，且输出映射
在其它实施例中，可通过在空间上及时间上采用像素次取样而降低全部系统中的计算复杂性。举例来说，在视频序列中，可使用经次取样帧而解算神经网络及/或可针对多个连续帧使用结果。此外，在NN级，针对每一帧，初始化值可为来自先前帧的解的简单复本。
用于元数据传输的位流语法
如先前描述，NNM元数据报含输入正规化参数及神经网络参数。这些值通常是单精度或双精确度的浮点数。可通过应用所属领域中已知的有损耗或无损耗的数据压缩方案以在不影响映射的效率的情况下减少元数据额外耗用数据的量而减少元数据额外耗用。
表4描绘位流语法的实例以根据实施例将NNM元数据从编码器(130)传递到解码器(150)。
表4：支持NNM元数据的实例位流语法
/>
在表4中，描述符se(v)、u(v)及ue(v)可如用于视频解码的所属领域中已知的规范中那样定义，例如ITU-T H.265，“高效编码(High Efficiency Coding)”。“cmp”的值表示色彩分量，例如，0针对Y，1针对Cb，且2针对Cr。额外变量可如下那样定义。
nnm_num_neuron[y][x][cmp]指定映射类型，例如：nnm_num_neuron[y][x][-1]＝3针对全局映射，nnm_num_neuron[y][x][-1]＝5针对局域映射，且nnm_num_neuron[y][x][-1]＝4针对多等级映射。
当coefficient_data_type等于0时，nnm_norm_gain_int[y][x][cmp]指定fp_nnm_norm_gain_coef[y][x][cmp]的整数部分。如果coefficient_data_type等于1，那么nnm_norm_gain_int[y][x][cmp]不存在。
批注-当coefficient_data_type等于0时，fp_nnm_norm_gain_coef[y][x][cmp]用于导出与mapping_idc[y][x][cmp]相关联的正规化中的增益系数的值。
当coefficient_data_type等于0时，nnm_norm_gain_coef[y][x][cmp]指定fp_nnm_norm_gain_coef[y][x][cmp]的分数部分。如果coefficient_data_type等于1，那么nnm_norm_gain_coef[y][x][cmp]用于导出与mapping_idc[y][x][cmp]相关联的增益系数的值。如果coefficient_data_type等于0，那么nnm_norm_gain_coef[y][x][cmp]语法元素的长度是coefficient_log2_denom位。如果coefficient_data_type等于1，那么nnm_norm_gain_coef[y][x][cmp]语法元素的长度是32位。如下那样导出与mapping_idc[y][x][cmp]相关联的正规化中的增益系数的值：
-如果coefficient_data_type等于0，那么增益系数的值等于fp_nnm_norm_gain_coef[y][x][cmp]＝(nnm_norm_gain_int[y][x][cmp]<<coefficient_log2_denom)+nnm_norm_gain_coef[y][x][cmp]。
-如果coefficient_data_type等于1，那么增益系数的值等于nnm_norm_gain_coef[y][x][cmp]。
当coefficient_data_type等于0时，nnm_norm_nmin_int[y][x][cmp]指定fp_nnm_norm_nmin_coef[y][x][cmp]的整数部分。如果coefficient_data_type等于1，那么nnm_norm_nmin_int[y][x][cmp]不存在。
批注-当coefficient_data_type等于0时，fp_nnm_norm_nmin_coef[y][x][cmp]用于导出与mapping_idc[y][x][cmp]相关联的正规化域中的最小值的值。
当coefficient_data_type等于0时，nnm_norm_nmin_coef[y][x][cmp]指定fp_nnm_norm_nmin_coef[y][x][cmp]的分数部分。如果coefficient_data_type等于1，那么nnm_norm_nmin_coef[y][x][cmp]用于导出与mapping_idc[y][x][cmp]相关联的增益系数的值。如果coefficient_data_type等于0，那么nnm_norm_nmin_coef[y][x][cmp]语法元素的长度是coefficient_log2_denom位。如果coefficient_data_type等于1，那么nnm_norm_nmin_coef[y][x][cmp]语法元素的长度是32位。如下那样导出与mapping_idc[y][x][cmp]相关联的正规化中的增益系数的值：
-如果coefficient_data_type等于0，那么增益系数的值等于fp_nnm_norm_nmin_coef[y][x][cmp]＝(nnm_norm_nmin_int[y][x][cmp]<<coefficient_log2_denom)+nnm_norm_nmin_coef[y][x][cmp]。
-如果coefficient_data_type等于1，那么增益系数的值等于nnm_norm_nmin_coef[y][x][cmp]。
当coefficient_data_type等于0时，nnm_norm_vmin_int[y][x][cmp]指定fp_nnm_norm_vmin_coef[y][x][cmp]的整数部分。如果coefficient_data_type等于1，那么nnm_norm_nmin_int[y][x][cmp]不存在。
批注-当coefficient_data_type等于0时，fp_nnm_norm_vmin_coef[y][x][cmp]用于导出与mapping_idc[y][x][cmp]相关联的去正规化域中的最小值的值。
当coefficient_data_type等于0时，nnm_norm_vmin_coef[y][x][cmp]指定fp_nnm_norm_vmin_coef[y][x][cmp]的分数部分。如果coefficient_data_type等于1，那么nnm_norm_vmin_coef[y][x][cmp]用于导出与mapping_idc[y][x][cmp]相关联的增益系数的值。如果coefficient_data_type等于0，那么nnm_norm_vmin_coef[y][x][cmp]语法元素的长度是coefficient_log2_denom位。如果coefficient_data_type等于1，那么nnm_norm_vmin_coef[y][x][cmp]语法元素的长度是32位。如下那样导出与mapping_idc[y][x][cmp]相关联的正规化中的增益系数的值：
-如果coefficient_data_type等于0，那么增益系数的值等于fp_nnm_norm_vmin_coef[y][x][cmp]＝(nnm_norm_vmin_int[y][x][cmp]<<coefficient_log2_denom)+nnm_norm_vmin_coef[y][x][cmp]。
-如果coefficient_data_type等于1，那么增益系数的值等于nnm_norm_vmin_coef[y][x][cmp]。
nnm_num_layer传讯与mapping_idc[y][x][cmp]相关联的层的数目。
当coefficient_data_type等于0时，nnm_weight_int[y][x][cmp][i][j]指定fp_nnm_weight_coef[y][x][cmp][i][j]的整数部分。如果coefficient_data_type等于1，那么nnm_weight_int[y][x][cmp][i][j]不存在。
批注-当coefficient_data_type等于0时，fp_nnm_weight_coef[y][x][cmp][i][j]用于导出与mapping_idc[y][x][cmp][i]][j]相关联的在层j处的节点i的权重系数。
当coefficient_data_type等于0时，nnm_weight_coef[y][x][cmp][i][j]指定fp_nnm_weight_coef[y][x][cmp][i][j]的分数部分。如果coefficient_data_type等于1，那么nnm_weight_coef[y][x][cmp][i][j]用于导出与mapping_idc[y][x][cmp]相关联的增益系数的值。如果coefficient_data_type等于0，那么nnm_weight_coef[y][x][cmp][i][j]语法元素的长度是coefficient_log2_denom位。如果coefficient_data_type等于1，那么nnm_weight_coef[y][x][cmp][i][j]语法元素的长度是32位。如下那样导出与mapping_idc[y][x][cmp]相关联的正规化中的增益系数的值：
-如果coefficient_data_type等于0，那么增益系数的值等于fp_nnm_weight_coef[y][x][cmp][i][j]＝(nnm_weight_int[y][x][cmp][i][j]<<coefficient_log2_denom)+nnm_weight_coef[y][x][cmp][i][j]
-如果coefficient_data_type等于1，那么增益系数的值等于nnm_weight_coef[y][x][cmp][i][j]。
图5展示用于导出表示相同场景但在不同动态范围及/或色域下的两个图像之间的图像映射函数的实例过程(500)。过程在步骤505中开始，其中映射处理器(例如预测器250E)接收表示相同场景，但在不同动态范围内的两个或两个以上图像(例如，参考输入HDR图像及同一图像的SDR或替代HDR表示的一或多个导出等级)。给定这些输入，在步骤510中，映射处理器决定选择哪一神经网络(NN)模型。如先前描述，映射处理器可在包含(但不一定限于)以下项的各种NN模型当中进行选择：全局映射模型、局域映射模型、使用多个等级的映射或上述的组合。此外，这些模型中的每一者可由不同数目个层级及每一层级内的节点特性化。
NN模型的选择可使用考虑包含以下项的数个准则的各种方法完成：关于SDR及HDR输入的先前知识、可用计算及存储器资源及目标编码效率。举例来说，在实施例中，可基于目标输出与其试图近似表示的参考等级之间的残余MSE的值(见方程式(6))是否满足预定阈值而选择NN模型。给定NN模型及两个或两个以上输入图像，在步骤515中根据优化准则导出NN参数(例如，节点权重及偏差)。最后，在步骤520中，映射处理器输出NN模型的参数。任选地，映射处理器还可输出经产生的经映射(输出)图像。
可按被视为在使用可用计算资源的同时维持编码效率所需要的各种时间间隔重复此映射过程500。举例来说，当编码视频信号时，可在每一预定义视频切片大小基础上、针对每一帧、帧群组或每当预测残余超过特定阈值时重复过程500。
映射过程500可使用全部可用输入像素或所述像素的次样品。在一个实例实施方案中，我们可使用仅来自输入数据的每第k个像素行及每第k个像素列的像素，其中k是等于或高于2的整数。在另一实例实施方案中，我们可决定略过低于特定剪辑阈值(例如，非常接近零)的输入像素或高于特定饱和阈值(例如，针对n位元数据，非常接近2n-1的像素值)的像素。在又一实施方案中，我们可使用此次取样及定限技术的组合以减小像素样品大小且适应特定实施方案的计算约束。
实例计算机系统实施方案
本发明的实施例可使用以下各者实施：计算机系统、在电子电路及组件中配置的系统、集成电路(IC)装置，例如微控制器、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑装置(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)及/或包含此类系统、装置或组件中的一或多者的设备。计算机及/或IC可执行(perform)、控制或执行(execute)与基于NNM的映射(例如本文中描述的基于NNM的映射)相关的指令。计算机及/或IC可计算与如本文中描述的基于NNM的映射相关的各种参数或值中的任何者。图像及视频动态范围扩展实施例可在硬件、软件、固件及其各种组合中实施。
本发明的某些实施方案包括执行引起处理器执行本发明的方法的软件指令的计算机处理器。举例来说，显示器、编码器、机顶盒、编解码器或类似者中的一或多个处理器可通过执行处理器可存取的程序存储器中的软件指令而实施如上文描述的基于NNM的映射方法。本发明还可以程序产品的形式提供。程序产品可包括携载包括指令的一组计算机可读信号的任何媒体，所述指令在由数据处理器执行时，引起数据处理器执行本发明的方法。根据本发明的程序产品可呈各种形式中的任何者。程序产品可包括(例如)：物理媒体，例如磁性数据存储媒体(包含软盘、硬盘机)，光学数据存储媒体(包含CD ROM、DVD)、电子数据存储媒体(包含ROM、快闪RAM)或类似者。可任选地压缩或加密程序产品上的计算机可读信号。
在上文提及组件(例如，软件模块、处理器、组合件、装置、电路等)的情况下，除非另外指示，否则对所述组件的提及(包含对“构件”的提及)应被解译为包含作为所述组件的等效物的执行所述组件的功能(例如，即功能等效)的任何组件，包含非结构上等效于执行本发明的所说明实例实施例中的功能的所揭示结构的组件。
等效物、扩展、替代例及其它
因此，描述关于在映射HDR及SDR图像中应用神经网络的实例实施例。在前述说明书中，已参考可随着实施方案变化的许多特定细节描述本发明的实施例。因此，什么是本发明及什么被申请人意图作为本发明的唯一及排他指示是由此申请案发布的一组权利要求书，其呈此类权利要求书发布的特定形式(包含任何后续校正)。本文中针对此类权利要求书中所含的术语明确叙述的任何定义应支配如权利要求书中使用的此类术语的含义。因此，未在权利要求书中明确叙述的限制、元件、性质、特征、优势或属性不应以任何方式限制此权利要求书的范围。因此，本说明书及图式应被视为阐释性意义而非限制性意义。
所列举实例实施例
上文已关于用于恢复原始像素数据中的饱和像素值的方法及装置描述本发明的所列举实例实施例(“EEE”)。因此，本发明的实施例可为关于下文列举的一或多个实例：
EEE 1.在编码器中，一种用于将图像从第一动态范围映射到第二动态范围的方法，所述方法包括：
提供一或多个神经网络(NN)模型，每一NN模型经调适以相对于具有第二动态范围的图像近似表示具有第一动态范围的图像；
接收所述第一动态范围内的第一图像及所述第二动态范围内的第二图像，其中所述两个图像表示相同场景；
从所述各种NN模型选择神经网络模型以基于所述第一图像及所述第二图像确定近似表示所述第二图像的输出图像；
根据优化准则、所述第一图像及所述第二图像确定所述选定NN模型的参数的值，其中所述参数包括所述选定NN模型的每一层中的节点中的每一者的节点权重及节点偏差；及
输出所述选定NN模型的所述参数。
EEE 2.根据EEE 1所述的方法，其中所述一或多个NN模型包括全局映射NN模型、局域映射NN模型及使用多色彩等级NN模型的全局映射。
EEE 3.根据任一前述EEE所述的方法，其中所述一或多个NN模型包括全局映射NN模型，且所述全局映射NN模型包括三个神经网络，各自用于所述第一图像及所述第二图像的色彩分量中的每一者，且所述三个神经网络中的每一者接收基于所述第一图像及所述第二图像的全部三个色彩分量的像素值的输入。
EEE 4.根据任一前述EEE所述的方法，其中所述一或多个NN模型包括局域映射模型，且所述局域映射NN模型包括三个神经网络，各自用于所述第一图像及所述第二图像的所述色彩分量中的每一者，且所述三个神经网络中的每一者接收基于所述第一图像及所述第二图像的全部三个色彩分量的像素值的输入及指示所述输入像素值的像素坐标的输入。
EEE 5.根据任一前述EEE所述的方法，其进一步包括接收第三动态范围内的第三图像，其中所述第三图像表示与所述第一图像及所述第二图像相同的场景，其中所述一或多个NN模型包括使用多色彩等级模型的全局映射，所述多色彩等级模型包括三个神经网络，各自用于所述三个图像的所述色彩分量中的每一者，且所述三个神经网络中的每一者接收基于所述三个图像的全部三个色彩分量的像素值的输入及指示所述输入像素值的色彩等级的输入。
EEE 6.根据EEE 5所述的方法，其中指示输入像素的输入等级的所述色彩等级的所述输入包括每一色彩等级的正规化峰值亮度的正规化向量。
EEE 7.根据EEE 3到5中任一者所述的方法，其中到所述三个神经网络中的每一者的输入像素值在-1到1之间正规化。
EEE 8.根据EEE 7所述的方法，其中所述选定NN模型的所述参数进一步包括所述正规化输入像素值的每一色彩分量的增益因子、最小值及最大值。
EEE 9.根据EEE 3到5中任一者所述的方法，其中全部输入图像呈4:2:0YCbCr色彩格式且进一步包括：
图像下取样器，其在所述第一图像的Y分量经输入第二(Cb)色彩分量及第三(Cr)色彩分量的所述神经网络中之前将其下取样到所述第一图像的所述Cb分量或所述Cr分量的分辨率；
图像上取样器，其在所述第二图像的所述Cb分量及所述Cr分量经输入第一(Y)色彩分量的所述神经网络中之前将其上取样到所述第一图像的所述Y分量的分辨率。
EEE 10.根据EEE 4或当取决于EEE 4时根据任一前述EEE所述的方法，其中所述像素坐标包括(x,y)位置对且所述位置对中的值经正规化到0到1之间。
EEE 11.根据任一前述EEE所述的方法，其中所述优化准则包括最小化所述输出图像与所述第二输入图像之间的均方差。
EEE 12.根据EEE 3或当取决于EEE 3时根据任一前述EEE所述的方法，其中全部输入图像呈4:2:0YCbCr色彩格式，其进一步包括：
从所述第一图像及所述第二图像产生表示输入亮度(Y)及色度(Cb或Cr)像素值的第一3D映射表(3DMT)作为所述第一图像中的第一正规化亮度及色度取样点到到所述第二图像的第一平均亮度及色度3D映射的映射，其中所述输入色度像素值经上取样以匹配所述输入亮度像素值的空间分辨率；
从所述第一图像及所述第二图像产生表示输入亮度像素值及色度像素值的第二3DMT作为所述第一图像中的第二正规化亮度及色度取样点到到所述第二图像的第二平均亮度及色度3D映射的映射，其中所述输入亮度像素值经下取样以匹配所述输入色度像素值的所述空间分辨率；
通过作为输入馈入所述第一图像中的所述第一正规化亮度及色度取样点及到所述第二图像的所述第一平均亮度3D映射而产生所述Y输出分量的所述神经网络的所述参数；
通过作为输入馈入所述第一图像中的所述第二正规化亮度及色度取样点及到所述第二图像的所述第二平均Cb 3D映射而产生所述Cb输出分量的所述神经网络的所述参数；及
通过作为输入馈入所述第一图像中的所述第二正规化亮度及色度取样点及到所述第二图像的所述第二平均Cr 3D映射而产生所述Cr输出分量的所述神经网络的所述参数。
EEE 13.根据任一前述EEE所述的方法，其中所述第一动态范围等于所述第二动态范围或高于所述第二动态范围。
EEE 14.根据任一前述EEE所述的方法，其中所述第一动态范围低于所述第二动态范围。
EEE 15.根据任一前述EEE所述的方法，其进一步包括：
产生所述输出图像；
压缩所述输出图像以产生经编码图像；及
组合所述经编码图像及所述选定NN模型的所述参数以产生输出位流。
EEE 16.在解码器中，一种用于将图像从第一动态范围映射到第二动态范围的方法，所述方法包括：
接收包括第一动态范围内的经编码图像及图像元数据的经压缩位流，其中所述图像元数据包括供神经网络(NN)模型将所述经编码图像映射到输出图像的参数，其中针对所述经编码图像的一或多个色彩分量，所述图像元数据包括所述NN中的神经网络层的数目、每一层的神经节点的数目及用于与每一节点的激活函数一起使用的权重及偏移；及
基于所述经编码图像及所述NN模型的所述参数产生输出图像。
EEE 17.根据EEE 16所述的方法，其中所述图像元数据进一步包括按比例调整元数据，其中针对所述经编码图像的每一色彩分量，所述按比例调整元数据包括增益、最小值及最大值，且所述方法进一步包括基于所述按比例调整元数据及所述输出图像产生去正规化输出图像。
EEE 18.根据EEE 16或17所述的方法，其中所述激活函数包括S型函数。
EEE 19.一种非暂时性计算机可读存储媒体，在其上存储用于使用一或多个处理器执行根据EEE 1到18所述的方法的计算机可执行指令。
EEE 20.一种设备，其包括处理器且经配置以执行在EEE 1到18中叙述的方法中的任一者。

Claims (12)

1.一种用于将图像从第一动态范围映射到第二动态范围的方法，其中所述第一动态范围不同于所述第二动态范围，所述方法包括：
提供一或多个神经网络NN模型，每一NN模型经调适以相对于具有第二动态范围的图像近似表示具有第一动态范围的图像；
接收所述第一动态范围内的第一图像及所述第二动态范围内的第二图像，其中所述第一图像及所述第二图像表示相同场景；
从所述一或多个NN模型选择神经网络模型以基于所述第一图像及所述第二图像确定近似表示所述第二图像的输出图像；
根据优化准则、所述第一图像及所述第二图像确定选定NN模型的参数的值，其中所述参数包括所述选定NN模型的层的节点的节点权重及/或节点偏差；及
输出所述选定NN模型的所述参数，
其中所述方法进一步包括接收第三动态范围内的第三图像，其中所述第三图像表示与所述第一图像及所述第二图像相同的场景，且
其中所述一或多个NN模型包括使用多色彩等级模型的全局映射，所述多色彩等级模型包括三个神经网络，各自用于所述第一图像、所述第二图像及所述第三图像的色彩分量中的每一者，且所述三个神经网络中的每一者接收基于所述第一图像、所述第二图像及所述第三图像的所述色彩分量的全部三个的像素值的输入及指示所述输入像素值的色彩等级的输入，且其中所述一或多个NN模型包括局域映像模型，且所述局域映像NN模型包括三个神经网络，各自用于所述第一图像及所述第二图像的所述色彩分量中的每一者，且所述三个神经网络中的每一者接收基于所述第一图像及所述第二图像的所述色彩分量的全部三个的像素值的输入及指示所述输入像素值的像素坐标的输入。
2.根据权利要求1所述的方法，其中所述一或多个NN模型包括全局映射NN模型，且所述全局映射NN模型包括三个神经网络，各自用于所述第一图像及所述第二图像的色彩分量中的每一者，且所述三个神经网络中的每一者接收基于所述第一图像及所述第二图像的全部三个色彩分量的像素值的输入。
3.根据权利要求1所述的方法，其中指示输入像素的输入等级的所述色彩等级的所述输入包括每一色彩等级的正规化峰值亮度的正规化向量。
4.根据权利要求2所述的方法，其中到所述三个神经网络中的每一者的输入像素值在-1到1之间正规化。
5.根据权利要求4所述的方法，其中所述选定NN模型的所述参数进一步包括所述正规化输入像素值的每一色彩分量的增益因子、最小值及最大值。
6.根据权利要求2所述的方法，其中全部输入图像呈4:2:0YCbCr色彩格式，且所述方法进一步包括：
在所述第一图像的Y分量经输入第二(Cb)色彩分量及第三(Cr)色彩分量的所述神经网络中之前将其下取样到所述第一图像的所述Cb或Cr分量的分辨率；及
在所述第二图像的所述Cb及Cr分量经输入第一(Y)色彩分量的所述神经网络中之前将其上取样到所述第一图像的所述Y分量的分辨率。
7.根据权利要求1所述的方法，其中所述像素坐标包括(x,y)位置对且所述位置对中的值经正规化到0到1之间。
8.根据权利要求1所述的方法，其中所述优化准则包括最小化所述输出图像与所述第二图像之间的均方差。
9.根据权利要求1所述的方法，其中全部输入图像呈4:2:0YCbCr色彩格式，所述方法进一步包括：
从所述第一图像及所述第二图像产生表示输入亮度(Y)及色度(Cb或Cr)像素值的第一3D映射表3DMT作为所述第一图像中的第一正规化亮度及色度取样点到到所述第二图像的第一平均亮度及色度3D映射的映射，其中所述输入色度像素值经上取样以匹配所述输入亮度像素值的空间分辨率；
从所述第一图像及所述第二图像产生表示输入亮度像素值及色度像素值的第二3DMT作为所述第一图像中的第二正规化亮度及色度取样点到到所述第二图像的第二平均亮度及色度3D映射的映射，其中所述输入亮度像素值经下取样以匹配所述输入色度像素值的所述空间分辨率；
通过作为输入馈入所述第一图像中的所述第一正规化亮度及色度取样点及到所述第二图像的所述第一平均亮度3D映射而产生所述Y输出分量的所述神经网络的所述参数；
通过作为输入馈入所述第一图像中的所述第二正规化亮度及色度取样点及到所述第二图像的所述第二平均Cb 3D映射而产生所述Cb输出分量的所述神经网络的所述参数；及
通过作为输入馈入所述第一图像中的所述第二正规化亮度及色度取样点及到所述第二图像的所述第二平均Cr 3D映射而产生所述Cr输出分量的所述神经网络的所述参数。
10.根据权利要求1所述的方法，其中所述第一动态范围等于、低于或高于所述第二动态范围。
11.根据权利要求1所述的方法，其进一步包括：
产生所述输出图像；
压缩所述输出图像以产生经编码图像；及
组合所述经编码图像及所述选定NN模型的所述参数以产生输出位流。
12.一种用于将图像从第一动态范围映射到第二动态范围的方法，所述方法包括：
接收包括第一动态范围内的经编码图像及图像元数据的经压缩位流，其中所述图像元数据包括供神经网络NN模型将所述经编码图像映射到输出图像的参数，其中针对所述经编码图像的一或多个色彩分量，所述图像元数据包括所述NN中的神经网络层的数目、至少一个层的神经节点的数目及用于与所述至少一个层的节点的激活函数一起使用的权重及偏移，其中所述图像元数据进一步包括按比例调整元数据，其中针对所述经编码图像的每一色彩分量，所述按比例调整元数据包括增益、最小值及最大值，且所述方法进一步包括基于所述按比例调整元数据及所述输出图像产生去正规化输出图像；及
基于所述经编码图像及所述NN模型的所述参数产生输出图像，
其中所述NN模型包括使用多色彩等级模型的全局映射，所述多色彩等级模型包括三个神经网络，各自用于三个图像的所述色彩分量中的每一者，所述三个图像表示相同场景且具有相应动态范围，且所述三个神经网络中的每一者接收基于所述三个图像的全部三个色彩分量的像素值的输入及指示所述输入像素值的色彩等级的输入。
CN201980035144.1A 2018-04-09 2019-04-08 使用神经网络映射的hdr图像表示 Active CN112204617B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862654614P 2018-04-09 2018-04-09
EP18166320.4 2018-04-09
EP18166320 2018-04-09
US62/654,614 2018-04-09
PCT/US2019/026406 WO2019199701A1 (en) 2018-04-09 2019-04-08 Hdr image representations using neural network mappings

Publications (2)

Publication Number Publication Date
CN112204617A CN112204617A (zh) 2021-01-08
CN112204617B true CN112204617B (zh) 2023-09-05

Family

ID=66223879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035144.1A Active CN112204617B (zh) 2018-04-09 2019-04-08 使用神经网络映射的hdr图像表示

Country Status (7)

Country Link
US (1) US11361506B2 (zh)
EP (1) EP3776474A1 (zh)
JP (1) JP7189230B2 (zh)
KR (1) KR102361987B1 (zh)
CN (1) CN112204617B (zh)
TW (1) TWI729377B (zh)
WO (1) WO2019199701A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501135B2 (en) * 2018-05-29 2022-11-15 British Cayman Islands Intelligo Technology Inc. Smart engine with dynamic profiles
JP2020005201A (ja) * 2018-06-29 2020-01-09 日本放送協会 送信装置及び受信装置
CA3147581A1 (en) * 2019-08-13 2021-02-18 James Edward GEACH Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region
CN111147857B (zh) * 2019-12-06 2023-01-20 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置、电子设备和存储介质
WO2021168001A1 (en) * 2020-02-19 2021-08-26 Dolby Laboratories Licensing Corporation Joint forward and backward neural network optimization in image processing
CN111401247B (zh) * 2020-03-17 2023-07-28 杭州小影创新科技股份有限公司 一种基于级联卷积神经网络的人像分割方法
EP4133740A4 (en) * 2020-04-07 2024-04-17 Nokia Technologies Oy FEATURE DOMAIN RESIDUE FOR VIDEO CODING FOR MACHINES
US11223841B2 (en) * 2020-05-29 2022-01-11 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信（上海）有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
JP2023543520A (ja) * 2020-11-19 2023-10-16 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 機械学習を基にしたピクチャコーディングにおけるクロマサブサンプリングフォーマット取り扱いのための方法
EP4205395A4 (en) * 2020-12-24 2023-07-12 Huawei Technologies Co., Ltd. CODING WITH FEATURE MAP DATA SIGNALING
US11528435B2 (en) 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
KR102374069B1 (ko) * 2021-01-06 2022-03-11 아주대학교산학협력단 Hdr 이미지 생성 장치 및 방법
TWI783594B (zh) * 2021-07-26 2022-11-11 國立清華大學 多目標神經網路演化方法及裝置
CN113781318A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像颜色映射方法、装置、终端设备及存储介质
US20230047271A1 (en) * 2021-08-02 2023-02-16 Mediatek Singapore Pte. Ltd. Color Component Processing In Down-Sample Video Coding
US20230059233A1 (en) * 2021-08-18 2023-02-23 Samsung Electronics Co., Ltd. Efficient inverse tone mapping network for standard dynamic range (sdr) to high dynamic range (hdr) conversion on hdr display
WO2023033991A1 (en) * 2021-08-30 2023-03-09 Dolby Laboratories Licensing Corporation Reshaper for learning-based image/video coding
KR20230055264A (ko) * 2021-10-18 2023-04-25 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20230186435A1 (en) * 2021-12-14 2023-06-15 Netflix, Inc. Techniques for component-based image preprocessing
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
KR102465841B1 (ko) * 2022-08-10 2022-11-10 주식회사 고업 딥러닝을 이용한 sdr 콘텐츠의 hdr10+ 콘텐츠 변경 시스템
CN115422986B (zh) * 2022-11-07 2023-08-22 深圳传音控股股份有限公司 处理方法、处理设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878707A (zh) * 2011-04-14 2017-06-20 杜比实验室特许公司 多颜色通道多元回归预测算子

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20090317017A1 (en) 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
JP5247337B2 (ja) 2008-10-02 2013-07-24 キヤノン株式会社 画像認識装置および画像認識方法
TW201036453A (en) 2009-03-25 2010-10-01 Micro Star Int Co Ltd Method and electronic device to produce high dynamic range image
PL3564954T3 (pl) 2010-01-19 2021-04-06 Dolby International Ab Ulepszona transpozycja harmonicznych oparta na bloku podpasma
EP2591602A1 (en) 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
EP2807823B1 (en) * 2012-01-24 2018-03-28 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
WO2014009844A1 (en) 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
JP5911643B2 (ja) 2012-10-08 2016-04-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 色制約付きの輝度変更画像処理
US9418331B2 (en) * 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning
WO2015128295A1 (en) 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images
RU2667034C2 (ru) 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
US10136147B2 (en) * 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
JP6577703B2 (ja) 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9607366B1 (en) 2014-12-19 2017-03-28 Amazon Technologies, Inc. Contextual HDR determination
US10015491B2 (en) 2015-04-06 2018-07-03 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
EP3131284A1 (en) 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping
EP3220349A1 (en) 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
CN109964238A (zh) 2016-09-30 2019-07-02 渊慧科技有限公司 使用神经网络生成视频帧
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878707A (zh) * 2011-04-14 2017-06-20 杜比实验室特许公司 多颜色通道多元回归预测算子

Also Published As

Publication number Publication date
TWI729377B (zh) 2021-06-01
US11361506B2 (en) 2022-06-14
JP7189230B2 (ja) 2022-12-13
TW201944357A (zh) 2019-11-16
WO2019199701A1 (en) 2019-10-17
KR20200142035A (ko) 2020-12-21
US20210150812A1 (en) 2021-05-20
CN112204617A (zh) 2021-01-08
EP3776474A1 (en) 2021-02-17
KR102361987B1 (ko) 2022-02-14
JP2021521517A (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
CN112204617B (zh) 使用神经网络映射的hdr图像表示
US9501818B2 (en) Local multiscale tone-mapping operator
CN109416832B (zh) 高效的基于直方图的亮度外观匹配
JP6181259B2 (ja) エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
JP6255063B2 (ja) Ｈｄｒ画像のための画像処理
CN105744277B (zh) 分层vdr编译码中的层分解
CN109068139B (zh) 用于环内再成形的方法、设备和计算机可读存储介质
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
CN112106357A (zh) 端对端单层后向兼容编码流水线中的高保真度全参考和高效部分参考编码
KR20210046086A (ko) 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성
EP4222969A1 (en) Adaptive local reshaping for sdr-to-hdr up-conversion
CN113170205A (zh) 整形函数的插值
CN106412595B (zh) 用于编码高动态范围帧以及施加的低动态范围帧的方法和设备
Lauga et al. Segmentation-based optimized tone mapping for high dynamic range image and video coding
WO2021108719A1 (en) Rate-control-aware reshaping in hdr imaging
Lee Analysis of Raw Sensor Data with Applications in Image Processing and Compression
CN117999784A (zh) 用于基于学习的图像/视频编解码的整形器
CN116508324A (zh) 用于sdr到hdr上转换的自适应局部整形
CN116886917A (zh) 增益图编码方法、解码方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant