CN107105229B - 图像解码方法、视频解码器和非暂态计算机可读存储介质 - Google Patents

图像解码方法、视频解码器和非暂态计算机可读存储介质 Download PDF

Info

Publication number
CN107105229B
CN107105229B CN201611005691.XA CN201611005691A CN107105229B CN 107105229 B CN107105229 B CN 107105229B CN 201611005691 A CN201611005691 A CN 201611005691A CN 107105229 B CN107105229 B CN 107105229B
Authority
CN
China
Prior art keywords
image
mmr
model
prediction
prediction parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611005691.XA
Other languages
English (en)
Other versions
CN107105229B9 (zh
CN107105229A (zh
Inventor
苏冠铭
曲晟
胡贝特·克普费尔
袁玉斐
萨米尔·胡利亚尔卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN107105229A publication Critical patent/CN107105229A/zh
Application granted granted Critical
Publication of CN107105229B publication Critical patent/CN107105229B/zh
Publication of CN107105229B9 publication Critical patent/CN107105229B9/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K999/00—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS dummy group
    • H05K999/99—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS dummy group dummy group

Abstract

本发明公开了一种多颜色通道多元回归预测算子。颜色间图像预测是基于多通道多元回归(MMR)模型。图像预测应用于图像的有效编码和高动态范围的视频信号。MMR模型可包括一阶参数，二阶参数以及交叉像素参数。还提出了利用包含了邻近像素关系的扩展参数的MMR模型。利用最小均方误差准则，针对多种MMR模型提出了预测参数的封闭式解。

Description

图像解码方法、视频解码器和非暂态计算机可读存储介质
本申请为2012年4月13日提交的国际申请号为PCT/US2012/033605、发明名称为“多颜色通道多元回归预测算子”的PCT申请的分案申请，该PCT申请进入中国国家阶段日期为2013年10月11日，国家申请号为201280018070.9。
相关申请的交叉引用
本申请要求于2011年4月14日提交的美国临时专利申请No.61/475,359的权益，其全部内容通过引用结合于此。
本申请还涉及于2011年4月14日提交的共同未决的美国临时专利申请No.61/475,372，其全部内容通过引用结合于此。
技术领域
本发明总体上涉及图像。更具体地，本发明的实施例涉及高动态范围图像与标准动态范围图像之间的多颜色通道、多元回归预测算子。
背景技术
如本文中所使用的术语“动态范围”(DR，dynamic range)涉及人类视觉系统(HVS，human psychovisual system)对图像中例如从最暗的暗部到最亮的亮部的强度(例如，亮度)范围进行感知的能力。从这个意义上讲，DR涉及“与场景相关”的强度。DR还可涉及显示设备适当地或近似地呈现特定宽度的强度范围的能力。从这个意义上讲，DR涉及“与显示器相关”的强度。除非在本文的描述中的任何一点处明确地指出特定的意义具有特定含义，否则应推断该术语可以(例如，互换地)用在任意一种意义中。
如本文中所使用的术语高动态范围(HDR，high dynamic range)涉及跨越人类视觉系统(HVS)的某14-15个数量级的DR宽度。例如，基本正常的适应良好的人(例如，在一个或多个统计学意义上、计量生物学意义上或眼科学意义上)具有跨越约15个数量级的强度范围。适应的人可感知少到只有极少数光子的微弱光源。然而，同样的人可感知沙漠、海或雪中正午太阳的近乎刺痛的耀眼强度(或甚至看着太阳，然而只是短暂地看着，以防止伤害)。虽然这个跨度对“适应的”人而言是可达到的，但例如那些人的HVS具有进行重置和调节的时间段。
相比之下，较之HDR，人类可同步感知强度范围中的扩展宽度的DR可在一定程度上缩短。如在本文中所使用的术语“视觉动态范围”或“可变动态范围”(VDR，variabledynamic range)可单独地或互换地涉及可由HVS同时感知的DR。如本文中所使用的VDR可涉及跨越5-6个数量级的DR。因此，尽管与真实场景相关的HDR可能在一定程度上变窄，但VDR仍表示较宽的DR宽度。如本文中所使用的术语“同步动态范围”可涉及VDR。
直至最近，显示器具有了比HDR或VDR明显更窄的DR。使用常规阴极射线管(CRT，cathode ray tube)，带有恒定的荧光白背光照明的液晶显示器(LCD，liquid crystaldisplay)或等离子屏幕技术的电视(TV)和计算机监视装置在它们的DR呈现能力上会限制于约三个数量级。因此这种传统的显示器特征是低动态范围(LDR，low dynamic range)，对于VDR和HDR，还称为标准动态范围(SDR，standard dynamic range)。
然而，它们的基础技术中的进步允许更新式的显示器设计，以便相对于呈现在不够新式的显示器上的图像和视频内容，以在多种质量特征上具有显著改进的方式来呈现该内容。例如，更新式的显示设备可能能够呈现高清晰度(HD，high definition)内容和/或可根据多种显示能力(诸如，图像缩放器(image scaler))进行缩放的内容。此外，某些更新式的显示器能够以比传统显示器的SDR更高的DR来呈现内容。
例如，某些新式LCD显示器具有包括发光二极管(LED，light emitting diode)阵列的背光单元(BLU，backlight unit)。BLU阵列的LED可与有源LCD元件的偏振态的调制分开地进行调制。这种双调制方法是可(诸如)通过BLU阵列与LCD屏幕元件之间的可控中间层来扩展的(例如，扩展成N调制层，其中N包括大于2的整数)。其基于LED阵列的BLU和双(或N)调制有效地增加了具有这种特征的LCD监视器的与显示器相关的DR。
关于传统SDR显示器，通常所称的这种“HDR显示器”(尽管实际上，它们的能力可能更近似VDR的范围)和它们可能的DR扩展在显示图像、视频内容和其他视频信息的能力上表现出显著进步。这种HDR显示器可以呈现的色域还可显著地超出多数传统显示器的色域，甚至到能呈现宽色域(WCG，wide color gamut)的程度。与场景相关的HDR或VDR和WCG图像内容，诸如可通过“下一代”电影和TV摄像机产生，现在可通过“HDR”显示器(下文中称为“HDR显示器”)来更真实有效地显示。
就可扩展视频编码和HDTV技术而言，扩展图像DR通常涉及分叉方法。例如，通过新式HDR功能摄像机获取的与场景相关的HDR内容可用于产生内容的SDR版本，该内容的SDR版本可显示在传统SDR显示器上。在一种方法中，根据所获取的VDR版本产生SDR版本，可能涉及将全局色调映射算子(TMO，global tone mapping operator)应用于在HDR内容中的与强度(例如，亮度)相关的像素值。在第二种方法(如为了所有的目的通过引用结合在本文中的、于2011年8月23日提交的国际专利申请NO.PCT/US2011/048861中所描述的)中，产生SDR图像可涉及将可逆算子(或预测算子)应用在VDR数据上。为了保留带宽或出于其他考虑，传输实际获取的VDR内容可能不是最好的方法。
因此，关于初始TMO的逆的逆色调映射算子(iTMO，inverse tonemappingoperator)或者关于初始预测算子的逆算子可应用于所产生的SDR内容版本，这允许预测VDR内容的版本。所预测的VDR内容版本可与初始获取的HDR内容相比较。例如，从初始VDR版本减去预测的VDR版本可产生残余图像。编码器可将所产生的SDR内容作为基层(BL，baselayer)发送，并且将所产生的SDR内容版本、任意残余图像以及iTMO或其他预测算子打包作为增强层(EL，enhancement layer)或作为元数据。
相比于将HDR内容和SDR内容这两者直接发送进比特流所占用的带宽，将EL和元数据(具有其SDR内容、残余图像和预测算子)发送进比特流中通常占用更少的带宽。接收由编码器发送的比特流的可兼容解码器可对SDR进行解码并且呈现在传统显示器上。然而，可兼容解码器还可使用残余图像，iTMO预测算子或元数据，以根据它们来计算HDR内容的预定版本，以用在更多功能的显示器上。本发明的目的是提供用于产生预测算子的新方法，该预测算子允许利用对应的SDR数据对VDR数据进行有效的编码、传输以及解码。
在这一部分中描述的方法是能够执行的方法，但并不一定是以前所设想或执行的方法。因此，除非另有指示，否则不应认为在这一部分所描述的方法中的任何一种因包括在这一部分中而被限定为现有技术。类似地，关于一种或多种方法所确定的问题不应认为已基于这部分在任何现有技术中确定，除非另有指示。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。
根据本发明的一个方面，提供了一种使用处理器的图像解码方法，该方法包括：接收第一图像；接收元数据，该元数据包括用于多通道、多元回归MMR预测模型的预测参数，其中，MMR模型适于根据第一图像来预测第二图像；以及将第一图像和预测参数应用于MMR预测模型以生成对第二图像进行近似的输出图像，其中，基于第一图像中的至少两个颜色成分的像素值来计算输出图像中的至少一个颜色成分的像素值，其中，MMR模型包括根据下述公式的具有交叉相乘的一阶MMR模型：
其中，
Figure GDA0002123519930000042
表示输出图像的第i像素的所预测的三个颜色成分，si＝[si1 si2 si3]表示第一图像的第i像素的三个颜色成分，根据下式，是3×3预测参数矩阵并且n是1×3预测参数向量：
Figure GDA0002123519930000044
和n＝[n11 n12 n13]，
根据下式，
Figure GDA0002123519930000045
是4×3预测参数矩阵：
Figure GDA0002123519930000046
并且
sci是根据sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]的1×4向量。
根据本发明的一个方面，提供了一种视频解码器，该解码器包括：用于接收第一图像和元数据的输入端，其中，元数据包括用于多通道、多元回归MMR预测模型的预测参数，其中，MMR模型适于根据第一图像来预测第二图像；处理器；以及用于存储输出图像的存储器，其中处理器用于将第一图像和预测参数应用于MMR预测模型以生成对第二图像进行近似的输出图像，其中，基于第一图像中的至少两个颜色成分的像素值来计算输出图像中的至少一个颜色成分的像素值，其中，MMR模型包括根据下述公式的具有交叉相乘的一阶MMR模型：
Figure GDA0002123519930000051
其中，
Figure GDA0002123519930000052
表示输出图像的第i像素的所预测的三个颜色成分，si＝[si1 si2 si3]表示第一图像的第i像素的三个颜色成分，
根据下式，
Figure GDA0002123519930000053
是3×3预测参数矩阵并且n是1×3预测参数向量：
Figure GDA0002123519930000054
和n＝[n11 n12 n13]，
根据下式，
Figure GDA0002123519930000055
是4×3预测参数矩阵：
Figure GDA0002123519930000056
并且
sci是根据sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]的1×4向量。
根据本发明的一个方面，提供了一种非暂态计算机可读存储介质，其上存储有用于使用一个或更多个处理器执行上述使用处理器的图像解码方法的计算机可执行程序。
附图说明
通过示例(但不是通过限制的方式)在附图部分的图中例示了本发明的实施例，附图中相同的附图标记指示类似的元件，其中：
图1描绘了根据本发明的实施例的VDR-SDR系统的示例数据流；
图2描绘了根据本发明的实施例的示例VDR编码系统；
图3描绘了根据本发明的实施例的多变量多元回归预测算子的输入和输出接口；
图4描绘了根据本发明的实施例的示例多变量多元回归预测处理；
图5描绘了根据本发明的实施例的关于确定多变量多元回归预测算子的模型的示例处理；
图6描绘了带有根据本发明的实施例进行操作的预测算子的示例图像解码器。
具体实施方式
在本文中描述基于多变量多元回归建模的颜色间(inter-color)图像预测。给定一对对应的VDR和SDR图像，即，表示相同场景但是在不同的动态范围等级的图像，这部分描述了允许编码器根据多变量多元回归(MMR，multivariate multi-regression)预测算子和SDR图像对VDR图像进行近似的方法。在下面的描述中，为了解释的目的，陈述了许多特定细节以提供对本发明的充分理解。然而，显然的是，本发明无需这些特定细节仍可实现。在其他情形中，为了避免不必要的掩盖、模糊或者混淆了本发明，没有详尽地描述已知的结构和设备。
概述
本文中所描述的示范实施例涉及具有高动态范围的编码图像。实施例创建了MMR预测算子，该MMR预测算子允许VDR图像关于其对应的SDR表示来进行表达。
示例VDR-SDR系统
图1描绘了在根据本发明的实施例的VDR-SDR系统100中的示例数据流。利用HDR摄像机110获取HDR图像或视频序列。在获取之后，所获取的图像或视频通过灌制处理(mastering process)来进行处理以创建目标VDR图像125。灌制处理可包含多个处理步骤，诸如：编辑，一次和二次颜色校正、颜色变换以及噪声过滤。此处理的VDR输出125表示关于所获取的图像将如何在目标VDR显示器上进行显示的负责人的意图。
灌制处理还可输出对应的SDR图像145，其表示关于所获取的图像将如何在合法的SDR显示器上进行显示的负责人的意图。SDR输出145可直接从灌制电路120提供或者SDR输出145可通过分开的VDR至SDR转换器140来产生。
在本示例实施例中，VDR 125和SDR 145信号被输入进编码器130。编码器130的目的是创建经编码的比特流，其中该经编码的比特流减少了传输VDR和SDR信号所需的带宽并且还允许对应的解码器150进行解码并且呈现SDR信号或者VDR信号。在示例实现方式中，编码器130可以是分层编码器，诸如通过MPEG-2和H.264编码标准定义的那些编码器中的一个，这将其输出表示为基层、可选增强层以及元数据。如本文中所使用的术语“元数据”涉及作为经编码的比特流的一部分被传输并且帮助解码器呈现经解码的图像的任何辅助信息。这种元数据可包括(但是不限于)如下这些数据：色空间或色域信息、动态范围信息、色调映射信息或者MMR预测算子，诸如本文所描述的那些。
在接收器上，解码器150使用所接收的经编码的比特流和元数据，以根据目标显示器的能力来呈现SDR图像或者VDR图像。例如，SDR显示器可仅使用基层和元数据来呈现SDR图像。相比之下，VDR显示器可使用来自所有输入层的信息和元数据来呈现VDR信号。
图2更详细地示出了包括本发明的方法的编码器130的示例实现方式。在图2中，SDR’表示增强的SDR信号。SDR视频现在是8比特、4:2:0、ITU Rec.709数据。SDR’可具有与SDR相同的色空间(原色和白点)，但是，对在全空间分辨率下的所有颜色成分(例如，4:4:4RGB)可使用高精度，比方说每个像素12比特。根据图2，能够利用一组正变换从SDR’信号容易地导出SDR，所述一组正变换可包括从比方说每个像素12比特到每个像素8比特的量化，比方说从RGB到YUV的颜色变换以及比方说从4:4:4到4:2:0的颜色子采样。变换器210的SDR输出施加于压缩系统220。根据应用，压缩系统220可能是有损耗的(诸如H.264或MPEG-2)或者无损耗的。压缩系统220的输出可作为基层225传输。为了减小经编码的信号与经解码的信号之间的偏移，编码器130在压缩处理220之后紧接对应的解压缩处理230和对应于正变换210的逆变换240，这并非罕见。因此，预测算子250可具有下列输入：VDR输入205，以及SDR’信号245(当该信号将由对应的解码器接收时其对应于SDR’信号)或输入SDR’207。使用输入的VDR和SDR’数据的预测算子250将创建信号257，信号257表示输入VDR 205的近似或估计。加法器260从初始的VDR 205减去经预测的VDR 257以形成输出残余信号265。随后(未示出)，残余265也可由另一有损耗或无损耗的编码器进行编码并且可作为增强层传输至解码器。
预测算子250还可提供在预测处理中使用的预测参数，作为元数据255。由于预测参数可在编码处理期间例如逐帧地或者逐场景地变化，所以这些元数据可作为数据中还包括基层及增强层的一部分被传输至解码器。
由于VDR 205和SDR’207都表示相同的场景，但针对的是具有不同特征(诸如，动态范围和色域)的不同显示器，所以期望这两个信号具有非常紧密的关联性。在本发明的示例实施方式中，开发了新的多变量、多元回归(MMR)预测算子250，其允许使用与VDR信号对应的SDR’信号和多变量MMR算子来预测输入VDR信号。
示例预测模型
图3示出了根据本发明的示例实现方式的MMR预测算子300的输入和输出接口。根据图3，预测算子330接收输入向量v 310和s 320，它们分别表示VDR图像数据和SDR图像数据，并且预测算子330输出向量
Figure GDA0002123519930000081
340，其表示输入v的预测值。
示例标记法和命名法
SDR图像320中的第i个像素的三个颜色成分标记为：
si＝[si1 si2 si3]。 (1)
VDR输入310中的第i个像素的三个颜色成分标记为：
Vi＝[vi1 vi2 vi3]。 (2)
经预测的VDR 340中的第i个像素的经预测的三个颜色成分标记为：
Figure GDA0002123519930000082
一个颜色成分中的像素总数标记为p。
在等式(1-3)中，颜色像素可以是RGB、YUV、YCbCr、XYZ或者任意其他颜色表示。尽管等式(1-3)针对每个图像或视频帧中的每个像素假定三个颜色表示，但还如后面所示，本文所描述的方法可容易地扩展至每个像素具有多于三个颜色成分的图像和视频表示，或者扩展至这样的图像表示，其中输入中的一个可具有颜色表示数量与其他输入不同的像素。
一阶模型(MMR-1)
利用多变量多元回归(MMR)模型，一阶预测模型能够表示为：
Figure GDA0002123519930000091
其中，
Figure GDA0002123519930000092
是3×3矩阵并且n是1×3向量，定义为：
Figure GDA0002123519930000093
和n＝[n11 n12 n13]。 (5)
应当注意，这是多颜色通道预测模型。在等式(4)的
Figure GDA0002123519930000094
中，每个颜色成分表示为输入中的所有颜色成分的线性组合。换言之，与其他的单个通道颜色预测算子(其中，针对每个输出像素，每个颜色通道对其自身进行处理并且彼此独立地进行处理)不同，本模型考虑了像素的所有颜色成分并且因此充分利用颜色间关联性和冗余度。
通过使用基于单个矩阵的表示能够将等式(4)简化为：
Figure GDA0002123519930000095
其中，
和S′i＝[1 si1 si2 si3] (7)
通过将帧(或者输入的其他合适片段或部分)的所有p个像素集合在一起，可以具有下面的矩阵表示：
其中，
Figure GDA0002123519930000102
和
Figure GDA0002123519930000103
表示输入和经预测的输出数据，S’是p×4数据矩阵，
Figure GDA0002123519930000104
是p×3矩阵，以及N(1)是4×3矩阵。如本文中所使用的，N(1)可互换地称为多变量算子或预测矩阵。
基于等式(8)的这个线性系统，能够将此MMR系统用公式表示为两个不同的问题：(a)最小二乘问题，或者(b)总体最小二乘问题；两个问题都能使用已知的数值方法求解。例如，使用最小二乘方法，用于求解M的问题可用公式表示为将残余或预测均方误差最小化，或者
Figure GDA0002123519930000105
其中V是使用对应的VDR输入数据形成的p×3矩阵。
给定了等式(8)和(10)，M(1)的最佳解给出为
M(1)＝(S′TS′)-1S′TV， (11)
其中，S’T表示S’的转置矩阵，S’TS’是4×4矩阵。
如果S’是满列秩，例如，
rank(S′)＝4≤p，
则，还可利用多种替代的数值技术(包括SVD、QR或者LU分解)来解出M(1)。
二阶模型(MMR-2)
等式(4)表示一阶MMR预测模型。还可以考虑采用如接下来所描述的更高阶预测。
二阶预测MMR模型可表示为：
其中
Figure GDA0002123519930000112
是3×3矩阵，
Figure GDA0002123519930000113
以及
Figure GDA0002123519930000114
等式(12)能够通过使用单个预测矩阵来简化，
Figure GDA0002123519930000115
其中，
Figure GDA0002123519930000116
并且
Figure GDA0002123519930000117
通过将所有p个像素集合在一起，可定义下面的矩阵表示：
Figure GDA0002123519930000118
其中，
Figure GDA0002123519930000121
能够利用在前面的部分中描述的相同优化和求解法来求解等式(14)。最小二乘问题的M(2)的最佳解是
M(2)＝(S(2)TS(2))-1S(2)TV， (19)
其中，S(2)TS(2)现在是7×7矩阵。
还能够以类似的方式构建三阶或更高阶的MMR模型。
具有交叉相乘的一阶模型(MMR-1C)
在替代MMR模型中，能够增强等式(4)的一阶预测模型以包括每个像素的颜色成分之间的交叉相乘(cross-multiplication)，如下：
Figure GDA0002123519930000122
其中，
Figure GDA0002123519930000123
是3×3矩阵并且n是1×3向量，两者都如等式(5)中所定义的，并且
Figure GDA0002123519930000124
并且sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]。 (21)
根据如之前一样的方法，等式(20)的MMR-1C模型能够通过利用单个预测矩阵MC简化，如下：
Figure GDA0002123519930000125
其中，
Figure GDA0002123519930000131
并且
Figure GDA0002123519930000132
通过将所有p个像素集合在一起，可以导出简化的矩阵表示，如下：
其中，
Figure GDA0002123519930000134
和
Figure GDA0002123519930000135
SC是p×(1+7)矩阵并且能够利用前面描述的相同最小二乘解来求解。
具有交叉相乘的二阶模型(MMR-2C)
一阶MMR-1C能够扩展至还包括二阶数据。例如，
Figure GDA0002123519930000136
其中，
Figure GDA0002123519930000141
并且
Figure GDA0002123519930000142
并且等式(27)的其余分量与之前在等式(5-26)中定义的那些相同。
与前面一样，等式(27)通过使用简单预测矩阵MC(2)来简化，
Figure GDA0002123519930000143
其中，
Figure GDA0002123519930000144
并且
Figure GDA0002123519930000145
通过将所有的p个像素集合在一起，可以具有简化的矩阵表示
Figure GDA0002123519930000146
其中，
Figure GDA0002123519930000147
并且SC(2)是px(1+2*7)矩阵并且可以应用如之前所描述的相同最小二乘解。
能够以类似的方式构建具有交叉相乘参数的三阶或更高阶模型。替代地，如在“Chaper 5.4.3of“Digital Color Imaging Handbook”,CRC Press,2002,Edited byGaurav Sharma”中所描述的，还能够利用下列的公式描述MMR交叉相乘模型的K阶表示。
Figure GDA0002123519930000151
Figure GDA0002123519930000152
并且
Figure GDA0002123519930000153
其中，K表示MMR预测算子的最高阶。
基于空间扩展的MMR(MMR-C-S)
到目前为止所描述的所有MMR模型中，经预测的像素
Figure GDA0002123519930000154
的值仅取决于对应的、通常配置的输入值si。在基于MMR的预测的情况下，还可以通过考虑来自邻近像素的数据而受益。此方法对应到将空间域中的输入的任意线性类型处理(诸如FIR型滤波)集成进MMR模型。
如果在一个图像中考虑所有八个可能的邻近像素，则此方法可将每个颜色成分的多达八个多一阶变量添加进该预测矩阵M中。然而，在实际中，通常仅添加与两个水平邻近像素和两个垂直邻近像素对应的预测变量就足够了，忽略对角邻近像素。这将每个颜色成分的多达四个变量添加进预测矩阵中，即，所述四个变量与上边、左边、下边以及右边像素对应。类似地，还能够添加与邻近的像素值的更高阶数对应的参数。
为了简化这种MMR空间模型的复杂性和计算要求，可以考虑仅针对单个颜色成分，诸如亮度成分(如在亮度-色度表示中)或绿色成分(如在RGB表示中)，将空间扩展添加至传统模型。例如，假定仅针对绿色的颜色成分添加基于空间的像素预测，则根据等式(34-36)，预测绿色输出像素值的一般表示将是
Figure GDA0002123519930000161
具有空间扩展的一阶模型(MMR-1-S)
如另一示例实现方式，可以再考虑等式(4)的一阶MMR模型(MMR-1)，但是，现在被增强了，以包括在一个或更多个颜色成分中的空间扩展。例如，当应用于第一颜色成分中的每个像素的四个邻近像素时，
Figure GDA0002123519930000162
其中，
Figure GDA0002123519930000163
是3×3矩阵并且n是1×3向量，两者与等式(5)中定义的一样，
Figure GDA0002123519930000164
并且
Figure GDA0002123519930000165
其中，等式(39)中的m表示具有m列和n行的输入帧中的列数，或者m×n＝p总像素。等式(39)能够容易地扩展成将这些方法应用于其他颜色成分和应用于替代的邻近像素构造。
根据与之前相同的方法，等式(38)能够容易地用公式表示为线性等式的系统
Figure GDA0002123519930000166
其可以如之前描述的一样进行求解。
具有多于三个原色的VDR信号的应用
所有所提出的MMR预测模型能够容易地扩展至具有多于三个原色的信号空间。作为示例，可以考虑这样的情况，其中SDR信号具有三个原色，比方说RGB，但是，VDR信号以具有六个原色的P6色空间来定义。在这种情况下，等式(1-3)能够改写为
si＝[si1 si2 si3]， (41)
vi＝[vi1 vi2 vi3 vi4 vi5 vi6]， (42)
以及
如之前一样，在一个颜色成分中的像素的数量表示为p。现在考虑等式(4)的一阶MMR预测模型(MMR-1)，
Figure GDA0002123519930000172
Figure GDA0002123519930000173
现在是3×6矩阵并且n是1×6向量，通过下式给出
以及n＝[n11 n12 n13 n14 n15 n16]。 (46)
等式(41)能够使用单个预测矩阵M(1)表示为：
其中，
Figure GDA0002123519930000181
以及s′i＝[1 si1 si2 si3]。 (48)
通过将所有p个像素集合在一起，这个预测问题能够描述为
其中，
Figure GDA0002123519930000183
是p×6矩阵，
Figure GDA0002123519930000184
是p×4矩阵，并且M(1)是4×6矩阵。
更高阶的MMR预测模型还能够以类似的方式扩展并且经由之前描述的方法能够获得预测矩阵的解。
多通道、多元回归预测的示例处理
图4示出了根据本发明的示例实现方式的多通道多元回归预测的示例处理。
该处理开始于步骤410，其中，预测算子(诸如预测算子250)接收输入的VDR和SDR信号。给定两个输入的情形下，在步骤420中预测算子决定选择哪个MMR模型。如前面所描述的，预测算子能够在多种MMR模型当中进行选择，这些模型包括(但不限于)：一阶模型(MMR-1)、二阶模型(MMR-2)、三阶或更高阶模型、具有交叉相乘的一阶模型(MMR-1C)、具有交叉相乘的二阶模型(MMR-2C)、具有交叉相乘的三阶模型(MMR-3C)、具有交叉相乘的三阶或更高阶模型、或者添加有空间扩展的上述模型中的任何一种。
能够使用考虑到多个准则的多种方法来进行MMR模型的选择，所述准则包括：关于SDR和VDR输入的现有知识、可获得的计算和存储器资源以及目标编码效率。图5示出了基于残余要比预定阈值低的要求的步骤420的示例实现方式。
如之前所描述的，如下形式的一组线性等式能够表示任意MMR模型
Figure GDA0002123519930000191
其中，M是预测矩阵。
在步骤430，能够使用多种数值方法来求解M。例如，在使V与其估计
Figure GDA0002123519930000192
之间的残余的均方值最小的约束下，
M＝(STS)-1STV。 (51)
最后，在步骤440，使用等式(50)，预测算子输出
Figure GDA0002123519930000193
和M。
图5示出了在预测期间用于选择MMR模型的示例处理420。在步骤510中预测算子250可以开始于初始MMR模型，诸如，已在之前的帧或场景中使用的MMR模型，例如，二阶模型(MMR-2)，或最简单的可能模型，诸如MMR-1。针对M进行求解之后，在步骤520中，预测算子计算输入V与其预测的值之间的预测误差。在步骤530中，如果预测误差低于给定的阈值，则预测算子选择现有的模型并且停止选择处理(540)，否则，在步骤550，检查是否使用更复杂的模型。例如，如果当前模型是MMR-2，则预测算子可决定使用MMR-2-C或MMR-2-C-S。如前面所描述的，此决定可取决于多种准则，包括预测误差的值、处理功率要求以及目标编码效率。如果使用更复杂的模型切实可行，则在步骤560中选择新模型并且处理返回步骤520。否则，预测算子将使用现有的模型(540)。
可根据需要以多种间隔来重复预测处理400，以在利用可用的计算资源的同时保持编码效率。例如，当对视频信号进行编码时，针对每一帧、一组帧或者每当预测残余超过特定阈值时，可基于每个预定义的视频片段大小来重复处理400。
预测处理400还能够使用所有可用的输入像素或者这些像素的子采样。在一个示例实现方式中，可以使用来自输入数据的每第k个像素行和每第k个像素列的像素，其中k是等于或大于2的整数。在另一示例实现方式中，可以决定跳过处于特定裁剪阈值(例如，非常接近于0)以下的输入像素或者处于特定饱和阈值(例如，对于n比特数据，非常接近于2n-1的像素值)以上的像素。在另一实现方式中，可使用这种子采样和阈值化技术的结合，以减小像素采样大小并且适应特定实现方式的计算约束。
图像解码
可在图像编码器或在图像解码器上实现本发明的实施例。图6示出了根据本发明的实施例的解码器150的示例实现方式。解码系统600接收经编码的比特流，该经编码的比特流可兼有基层690、可选的增强层(或残余)665以及元数据645，它们在解压缩630和多种逆变换640之后被提取。例如，在VDR-SDR系统中，基层690可表示经编码的信号的SDR表示，并且元数据645可包括与在编码器预测算子250中使用的MMR预测模型和对应的预测参数有关的信息。在一种示例实现方式中，当编码器使用根据本发明的方法的MMR预测算子时，元数据可包括所使用的模型的识别(例如，MMR-1、MMR-2、MMR-2C等)以及与具体模型相关联的所有矩阵系数。给定基层690和从元数据645提取的颜色MMR相关的参数，则预测算子650能够利用本文所描述的对应等式中的任意等式来计算预测的
Figure GDA0002123519930000201
例如，如果所识别的模型是MMR-2C，则能够利用等式(32)计算
Figure GDA0002123519930000202
如果不存在残余，或者残余可忽略，则预测的值680能够作为最后的VDR图像直接输出。否则，在加法器660中，预测算子(680)的输出添加至残余665，以输出VDR信号670。
示例计算机系统实现方式
可通过计算机系统、以电子电路和组件配置的系统、集成电路(IC，integratedcircuit)器件(诸如微控制器、现场可编程门阵列(FPGA，field programmable gatearray)或另一可配置或可编程逻辑器件(PLD，programmable logic device))、离散时间或数字信号处理器(DSP，digital signal processor)、专用IC(ASIC，application specificIC)和/或包括一个或多个这样的系统、器件或组件的装置来实现本发明的实施例。计算机和/或IC可执行、控制或运行与基于MMR的预测(诸如，如本文中所描述的那些)有关的指令。计算机和/或IC可计算与如本文所描述的MMR预测有关的多种参数或值中的任一个。可以以硬件、软件、固件以及它们的多种组合来实现图像和视频动态范围扩展实施例。
本发明的特定实现方式包括计算机处理器，其运行软件指令，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可通过运行处理器可访问的程序存储器中的软件指令来实现如上所述的基于MMR的预测方法。本发明还以程序产品的形式提供。程序产品可包括任意介质，所述任意介质承载包括指令的一套计算机可读信号，所述指令在通过数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是多种多样的形式中的任意一种形式。程序产品可包括例如物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光数据存储介质，包括ROM、闪存RAM的电子数据存储介质，等。程序产品上的计算机可读信号可选地可以进行压缩或加密。
上面所指的组件(例如，软件模块、处理器、配件、器件、电路等)，除非另有指示，否则对该组件的引用(包括对“装置”的引用)应被解释为包括作为那个组件的等同物的、执行所描述的组件的功能(例如，功能上等同)的任意组件，包括结构上不等同于执行本发明的所例举示例实施例中的功能的被公开结构的组件。
等同、扩展、替代以及多样化
因此描述了涉及在对VDR和SDR图像进行编码的过程中应用MMR预测的示例实施例。在前述的说明中，已参考会因实现方式不同而变化的很多具体细节来描述了本发明的实施例。因此，本发明的技术方案以及申请人认为发明所涉及的技术方案的唯一指示是一套权利要求，所述一套权利要求源于本申请、按照公布这样的权利要求所遵循的特定形式、包括后续的修正。本文针对在这样的权利要求中所包含的术语所给出的任何明确定义应涵盖如权利要求中所使用的这种术语的含义。因此，权利要求中没有明确陈述的限制、元件、属性、特征、优点或标志不应以任何方式限制这种权利要求的范围。因此说明书和附图被看作是说明性的而没有限制的意思。
第一组附记：
1.一种方法，包括：
接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；
从MMR模型的族中选择多通道、多元回归(MMR)预测模型；
求解所选择的MMR模型的预测参数；
利用所述第二图像和所述MMR模型的预测参数来计算表示所述第一图像的预测值的输出图像；
输出所述MMR模型的预测参数和所述输出图像。
2.根据附记1所述的方法，其中，所述第一图像包括VDR图像并且所述第二图像包括SDR图像。
3.根据附记1所述的方法，其中，所述MMR模型是一阶MMR模型、二阶MMR模型、三阶MMR模型、具有交叉相乘的一阶MMR模型、具有交叉相乘的二阶MMR模型或者具有交叉相乘的三阶MMR模型中的至少一个。
4.根据附记3所述的方法，其中，所述MMR模型中的任意一个进一步包括涉及相邻像素的预测参数。
5.根据附记4所述的方法，其中，所考虑的相邻像素包括左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。
6.根据附记2所述的方法，其中，在所述VDR图像中的像素具有比所述SDR图像中的像素更多的颜色成分。
7.根据附记1所述的方法，其中，求解所选择的MMR模型的预测参数进一步包括应用使所述第一图像与所述输出图像之间的均方误差最小化的数值方法。
8.根据附记1所述的方法，其中，从MMR模型的族中选择MMR预测模型进一步包括迭代选择处理，包括：
(a)选择并应用初始MMR模型；
(b)计算所述第一图像与所述输出图像之间的残余误差；
(c)如果所述残余误差小于阈值并且无其他MMR模型可用则选择现有MMR模型；否则，选择与先前的模型不同的新MMR模型；并且返回步骤(b)。
9.一种图像解码方法，包括：
接收具有第一动态范围的第一图像；
接收元数据，其中，所述元数据定义MMR预测模型和所述MMR预测模型的对应的预测参数；
将所述第一图像和所述预测参数应用到所述MMR预测模型，以计算表示第二图像的预测值的输出图像，其中，所述第二图像具有与所述第一图像的动态范围不同的动态范围。
10.根据附记9所述的方法，其中，所述MMR模型是一阶MMR模型、二阶MMR模型、三阶MMR模型、具有交叉相乘的一阶MMR模型、具有交叉相乘的二阶MMR模型或者具有交叉相乘的三阶MMR模型中的至少一个。
11.根据附记10所述的方法，其中，所述MMR模型中的任意一个进一步包括涉及相邻像素的预测参数。
12.根据附记9所述的方法，其中，所述第一图像包括SDR图像，并且所述第二图像包括VDR图像。
13.一种装置，包括处理器并且配置成执行附记1-12中所述的方法中的任意一种方法。
14.一种计算机可读存储介质，存储有用于执行根据附记1-12中的任意一项所述的方法的计算机可执行指令。
第二组附记：
1.一种方法，包括：
提供多种多通道、多元回归(MMR)预测模型，每个MMR预测模型适于根据下列项来近似具有第一动态范围的图像，
具有第二动态范围的图像，以及
通过应用颜色间图像预测而获得的所述各个MMR预测模型的预测参数；
接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；
从所述多种MMR模型中选择多通道、多元回归(MMR)预测模型；
确定所选择的MMR模型的预测参数的值；
基于所述第二图像和应用于所选择的MMR预测模型的预测参数的所确定值来计算对所述第一图像进行近似的输出图像；
输出所述预测参数的所确定的值和所计算的输出图像，其中，所述多种MMR模型包括根据如下公式的结合每个像素的颜色成分之间的交叉相乘的一阶多通道、多元回归预测模型，
Figure GDA0002123519930000241
其中，
Figure GDA0002123519930000242
表示所述第一图像的第i像素的所预测的三个颜色成分，
si＝[si1 si2 si3]表示所述第二图像的第i像素的三个颜色成分，
根据下式，
Figure GDA0002123519930000243
是3×3矩阵并且n是1×3向量
Figure GDA0002123519930000244
和n＝[n11 n12 n13]，
sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]，并且
Figure GDA0002123519930000245
其中，通过使所述第一图像与所述输出图像之间的均方误差最小化来在数值上获得所述一阶多通道、多元回归预测模型的预测参数。
2.根据附记1所述的方法，其中，所述第一图像包括VDR图像并且所述第二图像包括SDR图像。
3.根据附记1所述的方法，其中，所选择的MMR预测模型是一阶MMR模型、二阶MMR模型、三阶MMR模型、具有交叉相乘的一阶MMR模型、具有交叉相乘的二阶MMR模型或者具有交叉相乘的三阶MMR模型中的至少一个。
4.根据附记3所述的方法，其中，所述MMR模型中的任意一个进一步包括涉及相邻像素的预测参数。
5.根据附记4所述的方法，其中，所述相邻像素包括左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。
6.根据附记2所述的方法，其中，在所述VDR图像中的像素具有比所述SDR图像中的像素更多的颜色成分。
7.根据附记1所述的方法，其中，从所述多种MMR预测模型中选择MMR预测模型进一步包括迭代选择处理，包括：
(a)选择并应用初始MMR预测模型；
(b)计算所述第一图像与所述输出图像之间的残余误差；
(c)如果所述残余误差小于误差阈值并且无其他MMR预测模型能够选择，则选择所述初始MMR模型；否则，从所述多种MMR预测模型中选择新MMR预测模型，所述新MMR预测模型不同于之前选择的MMR预测模型；并且返回步骤(b)。
8.一种图像解码方法，包括：
接收具有第一动态范围的第一图像；
接收元数据，其中，所述元数据包括
多元回归(MMR)预测模型，所述多元回归预测模型适于根据下列项来近似具有第二动态范围的第二图像，
所述第一图像，以及
通过应用颜色间图像预测而获得的所述MMR预测模型的预测参数，所述元数据进一步包括所述预测参数的先前确定值，以及
将所述第一图像和所述预测参数的先前确定值应用于所述MMR预测模型，以计算用于近似所述第二图像的输出图像，其中，所述第二动态范围不同于所述第一动态范围，其中，所述MMR预测模型是根据如下公式的结合每个像素的颜色成分之间的交叉相乘的一阶多通道、多元回归预测模型，
Figure GDA0002123519930000251
其中，
Figure GDA0002123519930000252
表示所述第一图像的第i像素的所预测的三个颜色成分，
si＝[si1 si2 si3]表示所述第二图像的第i像素的三个颜色成分，
根据下式，
Figure GDA0002123519930000261
是3×3矩阵并且n是1×3向量
Figure GDA0002123519930000262
和n＝[n11 n12 n13]，
sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]，并且
Figure GDA0002123519930000263
9.根据附记8所述的方法，其中，将所述一阶MMR预测模型扩展成具有像素交叉相乘的二阶MMR预测模型或三阶MMR预测模型。
10.根据附记8或9所述的方法，其中，所述MMR预测模型进一步包括涉及相邻像素的预测参数。
11.根据附记8所述的方法，其中，所述第一图像包括SDR图像和所述第二图像包括VDR图像。
12.一种装置，包括处理器并且配置成执行附记1-11中所述的方法中的任意一种方法。
13.一种计算机可读存储介质，存储有用于执行根据附记1-11中的任意一项所述的方法的计算机可执行指令。
14.一种方法，包括：
提供多种多通道、多元回归(MMR)预测模型，每个MMR预测模型适于根据下列项来近似具有第一动态范围的图像，
具有第二动态范围的图像，以及
通过应用颜色间图像预测而获得的所述各个MMR预测模型的预测参数；
接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；
从所述多种MMR模型中选择多通道、多元回归(MMR)预测模型；
确定所选择的MMR模型的预测参数的值；
基于所述第二图像和应用于所选择的MMR预测模型的预测参数的所确定值来计算对所述第一图像进行近似的输出图像；
输出所述预测参数的所确定值和所计算的输出图像，其中，所述多种MMR模型包括根据如下公式的二阶多通道、多元回归预测，
Figure GDA0002123519930000271
其中，
Figure GDA0002123519930000272
表示所述第一图像的第i像素的所预测的三个颜色成分，
si＝[si1 si2 si3]表示所述第二图像的第i像素的三个颜色成分，
根据下式，
Figure GDA0002123519930000273
和
Figure GDA0002123519930000274
是3×3矩阵并且n是1×3向量，
n＝[n11 n12 n13]，
Figure GDA0002123519930000276
以及
Figure GDA0002123519930000277
其中，通过使所述第一图像与所述输出图像之间的均方误差最小化来在数值上获得所述二阶多通道、多元回归预测模型的预测参数。
15.根据附记14所述的方法，其中，所述MMR模型中的任意一个包括涉及相邻像素的预测参数。
16.根据附记15所述的方法，其中，所述相邻像素包括左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。
17.根据附记14所述的方法，其中，从所述多种MMR预测模型中选择MMR预测模型进一步包括迭代选择处理，包括：
(a)选择并应用初始MMR预测模型；
(b)计算所述第一图像与所述输出图像之间的残余误差；
(c)如果所述残余误差小于误差阈值并且无其他MMR模型能够选择则选择初始MMR模型；否则，从所述多种MMR预测模型中选择新MMR预测模型，所述新MMR预测模型不同于先前选择的MMR预测模型；并且返回步骤(b)。
18.一种图像解码方法，包括：
接收具有第一动态范围的第一图像；
接收元数据，其中，所述元数据包括
多元回归(MMR)预测模型，所述多元回归预测模型适于根据下列项来近似具有第二动态范围的第二图像，
所述第一图像，以及
通过应用颜色间图像预测而获得的所述MMR预测模型的预测参数，所述元数据进一步包括所述预测参数的先前确定值；以及
将所述第一图像和所述预测参数的先前确定值应用于所述MMR预测模型，以计算用于近似所述第二图像的输出图像，其中，所述第二动态范围不同于所述第一动态范围，其中，所述MMR预测模型是根据如下公式的二阶多通道、多元回归预测，
Figure GDA0002123519930000281
其中，
Figure GDA0002123519930000282
表示所述第一图像的第i像素的所预测的三个颜色成分，
Figure GDA0002123519930000283
表示所述第二图像的第i像素的三个颜色成分，
根据下式，
Figure GDA0002123519930000291
和
Figure GDA0002123519930000292
是3×3矩阵并且n是1×3向量，
Figure GDA0002123519930000293
n＝[n11 n12 n13]，
Figure GDA0002123519930000294
以及
Figure GDA0002123519930000295
其中，通过使所述第一图像与所述输出图像之间的均方误差最小化来在数值上获得所述二阶多通道、多元回归预测模型的预测参数。
19.根据附记18所述的方法，其中，将所述二阶MMR预测模型扩展成具有像素交叉相乘的二阶MMR预测模型或三阶MMR预测模型。
20.根据附记18或19所述的方法，其中，所述MMR预测模型进一步包括涉及相邻像素的预测参数。
21.一种装置，包括处理器并且配置成执行附记14-17中所述的方法中的任意一种方法。
22.一种计算机可读存储介质，存储有用于执行根据附记14-17中的任意一项所述的方法的计算机可执行指令。

Claims (10)

1.一种使用处理器的图像解码方法，所述方法包括：
接收第一图像；
接收元数据，所述元数据包括用于多通道、多元回归MMR预测模型的预测参数，其中，所述MMR模型适于根据所述第一图像来预测第二图像；以及
将所述第一图像和所述预测参数应用于所述MMR预测模型以生成对所述第二图像进行近似的输出图像，其中，基于所述第一图像中的至少两个颜色成分的像素值来计算所述输出图像中的至少一个颜色成分的像素值，其中，所述MMR模型包括根据下述公式的具有交叉相乘的一阶MMR模型：
Figure FDA0002123519920000011
其中，
表示所述输出图像的第i像素的所预测的三个颜色成分，
si＝[si1 si2 si3]表示所述第一图像的第i像素的三个颜色成分，
根据下式，
Figure FDA0002123519920000013
是3×3预测参数矩阵并且n是1×3预测参数向量：
和n＝[n11 n12 n13]，
根据下式，
Figure FDA0002123519920000015
是4×3预测参数矩阵：
并且
sci是根据sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]的1×4向量。
2.根据权利要求1所述的方法，其中，所述第一图像和所述第二图像具有不同的动态范围。
3.根据权利要求1所述的方法，其中，所述第一图像的动态范围低于所述第二图像的动态范围。
4.根据权利要求3所述的方法，其中，所述第一图像是标准动态范围图像并且所述第二图像是高动态范围图像。
5.根据权利要求1所述的方法，其中，所述MMR模型包括根据下述公式的具有交叉相乘的第二MMR模型：
Figure FDA0002123519920000022
其中，
Figure FDA0002123519920000023
sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]，
sci 2＝[si1 2·si2 2 si1 2·si3 2 si2 2·si3 2 si1 2·si2 2·si3 2]，
Figure FDA0002123519920000024
和
Figure FDA0002123519920000025
包括4×3预测参数矩阵，并且
Figure FDA0002123519920000026
和
Figure FDA0002123519920000027
包括3×3预测参数矩阵。
6.一种视频解码器，所述解码器包括：
用于接收第一图像和元数据的输入端，其中，所述元数据包括用于多通道、多元回归MMR预测模型的预测参数，其中，所述MMR模型适于根据所述第一图像来预测第二图像；
处理器，所述处理器用于将所述第一图像和所述预测参数应用于所述MMR预测模型以生成对所述第二图像进行近似的输出图像，其中，基于所述第一图像中的至少两个颜色成分的像素值来计算所述输出图像中的至少一个颜色成分的像素值，其中，所述MMR模型包括根据下述公式的具有交叉相乘的一阶MMR模型：
Figure FDA0002123519920000031
其中，
Figure FDA0002123519920000032
表示所述输出图像的第i像素的所预测的三个颜色成分，
si＝[si1 si2 si3]表示所述第一图像的第i像素的三个颜色成分，
根据下式，
Figure FDA0002123519920000033
是3×3预测参数矩阵并且n是1×3预测参数向量：
和n＝[n11 n12 n13]，
根据下式，
Figure FDA0002123519920000035
是4×3预测参数矩阵：
并且
sci是根据sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]的1×4向量；以及
存储器，所述存储器用于存储所述输出图像。
7.根据权利要求6所述的解码器，其中，所述第一图像的动态范围低于所述第二图像的动态范围。
8.根据权利要求6所述的解码器，其中，所述第一图像是标准动态范围图像并且所述第二图像是高动态范围图像。
9.根据权利要求6所述的解码器，其中，所述MMR模型包括根据下述公式的具有交叉相乘的第二MMR模型：
Figure FDA0002123519920000041
其中，
sci＝[si1·si2 si1·si3 si2·si3 si1·si2·si3]，
sci 2＝[si1 2·si2 2 si1 2·si3 2 si2 2·si3 2 si1 2·si2 2·si3 2]，
Figure FDA0002123519920000043
和
Figure FDA0002123519920000044
包括4×3预测参数矩阵，并且和
Figure FDA0002123519920000046
包括3×3预测参数矩阵。
10.一种非暂态计算机可读存储介质，其上存储有用于使用一个或更多个处理器执行根据权利要求1所述的方法的计算机可执行程序。
CN201611005691.XA 2011-04-14 2012-04-13 图像解码方法、视频解码器和非暂态计算机可读存储介质 Active CN107105229B9 (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161475359P 2011-04-14 2011-04-14
US61/475,359 2011-04-14
CN201280018070.9A CN103563372B (zh) 2011-04-14 2012-04-13 多颜色通道多元回归预测算子

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280018070.9A Division CN103563372B (zh) 2011-04-14 2012-04-13 多颜色通道多元回归预测算子

Publications (3)

Publication Number Publication Date
CN107105229A CN107105229A (zh) 2017-08-29
CN107105229B true CN107105229B (zh) 2019-10-15
CN107105229B9 CN107105229B9 (zh) 2020-03-31

Family

ID=46022694

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201611005691.XA Active CN107105229B9 (zh) 2011-04-14 2012-04-13 图像解码方法、视频解码器和非暂态计算机可读存储介质
CN201280018070.9A Active CN103563372B (zh) 2011-04-14 2012-04-13 多颜色通道多元回归预测算子
CN201611027011.4A Active CN106878707B (zh) 2011-04-14 2012-04-13 多颜色通道多元回归预测算子

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201280018070.9A Active CN103563372B (zh) 2011-04-14 2012-04-13 多颜色通道多元回归预测算子
CN201611027011.4A Active CN106878707B (zh) 2011-04-14 2012-04-13 多颜色通道多元回归预测算子

Country Status (11)

Country Link
US (5) US8811490B2 (zh)
EP (3) EP3324622B1 (zh)
JP (4) JP5744318B2 (zh)
CN (3) CN107105229B9 (zh)
DK (1) DK3324622T3 (zh)
ES (2) ES2659961T3 (zh)
HK (1) HK1193688A1 (zh)
HU (1) HUE046186T2 (zh)
PL (2) PL2782348T3 (zh)
TR (1) TR201802291T4 (zh)
WO (1) WO2012142471A1 (zh)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2659961T3 (es) * 2011-04-14 2018-03-20 Dolby Laboratories Licensing Corporation Predictor de regresión múltiple de múltiples canales de color
US8971408B2 (en) 2011-04-14 2015-03-03 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
EP2697972B1 (en) 2011-04-14 2015-01-14 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
WO2012148883A1 (en) 2011-04-25 2012-11-01 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
CN103535038B (zh) 2011-05-16 2017-10-13 杜比实验室特许公司 用于分层vdr编码的有效架构
WO2012173745A1 (en) 2011-06-13 2012-12-20 Dolby Laboratories Licensing Corporation Fused region-based vdr prediction
US8873877B2 (en) 2011-11-01 2014-10-28 Dolby Laboratories Licensing Corporation Adaptive false contouring prevention in layered coding of images with extended dynamic range
EP2807823B1 (en) * 2012-01-24 2018-03-28 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
US9420302B2 (en) 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
JP5905610B2 (ja) 2012-03-12 2016-04-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ３ｄ視覚的ダイナミックレンジ符号化
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
ES2702614T3 (es) 2013-01-02 2019-03-04 Dolby Laboratories Licensing Corp Codificación retrocompatible para señales de vídeo de ultra alta definición con dominio dinámico aumentado
US11146803B2 (en) 2013-03-11 2021-10-12 Dolby Laboratories Licensing Corporation Distribution of multi-format high dynamic range video using layered coding
PL2936814T3 (pl) 2013-03-26 2018-07-31 Dolby Laboratories Licensing Corporation Kodowanie percepcyjnie kwantyzowanej treści wideo podczas wielowarstwowego kodowania VDR
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
US9712834B2 (en) * 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
JP6355345B2 (ja) * 2014-01-29 2018-07-11 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示方法、及び、プログラム
EP3105926B1 (en) * 2014-02-13 2018-04-11 Dolby International AB Piecewise inter-layer prediction for signals with enhanced dynamic range
EP2958075A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and apparatus for dynamic range expansion of LDR video sequence
US9911179B2 (en) 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
US9866734B2 (en) 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US10542265B2 (en) 2014-09-09 2020-01-21 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
US9936199B2 (en) * 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
US10015525B2 (en) 2014-10-27 2018-07-03 Dolby Laboratories Licensing Corporation Content mapping using extended color range
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
WO2016123001A1 (en) 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
CN107409210B (zh) * 2015-01-30 2021-01-12 交互数字Vc控股公司 匹配不同动态范围的彩色图片之间的色彩的方法和设备
EP3259917B1 (en) 2015-02-17 2019-07-17 Dolby Laboratories Licensing Corporation Inter-layer prediction for signals with enhanced dynamic range
BR112017017792A2 (pt) 2015-02-27 2018-04-10 Sony Corporation dispositivos e métodos de transmissão e de recepção.
KR102531489B1 (ko) * 2015-08-28 2023-05-11 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
JP6581862B2 (ja) * 2015-09-18 2019-09-25 日本放送協会 Ｈｄｒ−ｓｄｒ一体化制作用ビデオカメラ
FR3042327B1 (fr) * 2015-10-07 2019-08-02 Guillemot Corporation Systeme de refroidissement d'un moteur electrique
US9693011B2 (en) * 2015-11-02 2017-06-27 Barco N.V. Upgraded image streaming to legacy and upgraded displays
WO2017100359A1 (en) 2015-12-09 2017-06-15 Dolby Laboratories Licensing Corporation Low-complexity lookup table construction with reduced interpolation error
JP6233424B2 (ja) * 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6237797B2 (ja) 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
JP2017184220A (ja) * 2016-03-24 2017-10-05 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
WO2017163685A1 (ja) * 2016-03-24 2017-09-28 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
WO2018039665A1 (en) 2016-08-26 2018-03-01 Dolby Laboratories Licensing Corporation Chroma reshaping based on just noticeable differences
EP3504875B1 (en) * 2016-08-26 2020-06-24 Dolby Laboratories Licensing Corporation Chroma reshaping based on just noticeable differences
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
EP3507981B1 (en) 2016-08-30 2023-11-29 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
WO2018044803A1 (en) 2016-08-30 2018-03-08 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
WO2018049335A1 (en) 2016-09-09 2018-03-15 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
WO2018064591A1 (en) * 2016-09-30 2018-04-05 Deepmind Technologies Limited Generating video frames using neural networks
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
EP3306563B1 (en) 2016-10-05 2022-01-12 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
CN107995497B (zh) 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
JP6684971B2 (ja) 2017-01-18 2020-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成
WO2018136432A1 (en) * 2017-01-18 2018-07-26 Dolby Laboratories Licensing Corporation Segment-based reshaping for coding high dynamic range video
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
US11288781B2 (en) 2017-06-16 2022-03-29 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
JP6753386B2 (ja) * 2017-10-25 2020-09-09 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム
WO2019169174A1 (en) 2018-02-28 2019-09-06 Dolby Laboratories Licensing Corporation Linear encoder for image/video processing
US10609424B2 (en) 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
CN110351509B (zh) * 2018-04-03 2021-12-14 北京小鸟科技股份有限公司 一种基于fpga堆叠的多通道高带宽数据交换方法
WO2019199701A1 (en) 2018-04-09 2019-10-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
WO2019245876A1 (en) * 2018-06-18 2019-12-26 Dolby Laboratories Licensing Corporation Image capture methods and systems
JP7094451B2 (ja) 2018-12-03 2022-07-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 再構成関数の補間
TWI734059B (zh) * 2018-12-10 2021-07-21 財團法人工業技術研究院 動態預測模型建立方法、電子裝置及使用者介面
US20220058783A1 (en) 2018-12-18 2022-02-24 Dolby Laboratories Licensing Corporation Machine learning based dynamic composing in enhanced standard dynamic range video (sdr+)
US11895416B2 (en) 2019-07-30 2024-02-06 Dolby Laboratories Licensing Corporation Electro-optical transfer function conversion and signal legalization
EP4014487A1 (en) 2019-08-15 2022-06-22 Dolby Laboratories Licensing Corporation Efficient user-defined sdr-to-hdr conversion with model templates
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
US11838531B2 (en) 2019-12-06 2023-12-05 Dolby Laboratories Licensing Corporation Cascade prediction
JP7329155B2 (ja) 2020-04-21 2023-08-17 ドルビー ラボラトリーズ ライセンシング コーポレイション 連続性及び可逆性を備えたｈｄｒ画像化のためのリシェーピング関数
EP4173297A1 (en) 2020-06-24 2023-05-03 Dolby Laboratories Licensing Corporation Image prediction for hdr imaging in open-loop codecs
EP4179730A1 (en) 2020-07-09 2023-05-17 Dolby Laboratories Licensing Corporation Workload allocation and processing in cloud-based coding of hdr video
WO2022061089A1 (en) 2020-09-18 2022-03-24 Dolby Laboratories Licensing Corporation Recursive segment to scene segmentation for cloud-based coding of hdr video
CN116261854A (zh) 2020-09-18 2023-06-13 杜比实验室特许公司 用于hdr视频的基于云的编码的修整处理校正
US20230368344A1 (en) 2020-10-14 2023-11-16 Dolby Laboratories Licensing Corporation Color transformation for hdr video with a coding-efficiency constraint
WO2022103902A1 (en) 2020-11-11 2022-05-19 Dolby Laboratories Licensing Corporation Wrapped reshaping for codeword augmentation with neighborhood consistency
WO2022164929A1 (en) 2021-01-27 2022-08-04 Dolby Laboratories Licensing Corporation Image enhancement via global and local reshaping
EP4341903A1 (en) 2021-05-21 2024-03-27 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
EP4352964A1 (en) 2021-06-08 2024-04-17 Dolby Laboratories Licensing Corporation Chained reshaping function optimization
WO2023022956A1 (en) 2021-08-16 2023-02-23 Dolby Laboratories Licensing Corporation Applying minimum and average distance constraint in video streaming
WO2023033991A1 (en) 2021-08-30 2023-03-09 Dolby Laboratories Licensing Corporation Reshaper for learning-based image/video coding
CA3231530A1 (en) 2021-09-09 2023-03-16 Dolby Laboratories Licensing Corporation Tensor-product b-spline prediction for hdr video in mobile applications
WO2023072121A1 (en) * 2021-11-01 2023-05-04 Mediatek Singapore Pte. Ltd. Method and apparatus for prediction based on cross component linear model in video coding system
WO2023177873A2 (en) 2022-03-18 2023-09-21 Dolby Laboratories Licensing Corporation Image optimization in mobile capture and editing applications
WO2023177863A1 (en) 2022-03-18 2023-09-21 Dolby Laboratories Licensing Corporation Image optimization in mobile capture and editing applications
WO2023229898A1 (en) 2022-05-24 2023-11-30 Dolby Laboratories Licensing Corporation Neutral color preservation for single-layer backward compatible codec

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082692A1 (en) * 2009-01-19 2010-07-22 Sharp Kabushiki Kaisha Methods and systems for enhanced dynamic range images and video from multiple exposures

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560285B1 (en) 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US7149262B1 (en) 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US6771311B1 (en) 2000-12-11 2004-08-03 Eastman Kodak Company Automatic color saturation enhancement
WO2003083773A2 (en) 2002-03-27 2003-10-09 The Trustees Of Columbia University In The City Of New York Imaging method and system
US7035460B2 (en) 2002-05-31 2006-04-25 Eastman Kodak Company Method for constructing an extended color gamut digital image from a limited color gamut digital image
US7522774B2 (en) * 2004-03-10 2009-04-21 Sindhara Supermedia, Inc. Methods and apparatuses for compressing digital image data
CA2563520C (en) 2004-04-15 2014-12-16 The University Of British Columbia Methods and systems for converting images from low dynamic range to high dynamic range
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US8050512B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
JP5116208B2 (ja) 2004-11-19 2013-01-09 株式会社ジャパンディスプレイイースト 画像信号表示装置
WO2006113583A2 (en) * 2005-04-15 2006-10-26 Mississippi State University Remote sensing imagery accuracy analysis method and apparatus
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
EP1989882B1 (en) 2006-01-23 2015-11-11 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
JP2007208736A (ja) * 2006-02-02 2007-08-16 Canon Inc 色処理方法および装置
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8331637B2 (en) * 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
KR101267178B1 (ko) 2006-09-30 2013-05-24 톰슨 라이센싱 비디오에 대하여 색 인핸스먼트 계층을 인코딩 및 디코딩하기 위한 방법 및 디바이스
WO2008049445A1 (en) 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
EP3484154A1 (en) 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
US8289412B2 (en) 2006-11-27 2012-10-16 Dolby Laboratories Licensing Corporation Apparatus and methods for boosting dynamic range in digital images
CA2570090C (en) 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8014613B2 (en) 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
US7983496B2 (en) 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
ATE484155T1 (de) 2007-06-29 2010-10-15 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert- verfeinerungsskalierbarkeit unterstützt
KR101365596B1 (ko) 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
CN101822059B (zh) 2007-10-15 2012-11-28 汤姆森许可贸易公司 可缩放视频的层间残差预测的方法和设备
US8391353B2 (en) 2007-10-16 2013-03-05 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
KR101365597B1 (ko) 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
US8165395B2 (en) 2008-04-15 2012-04-24 Sony Corporation Automatic image color tone correction
PL2835976T3 (pl) 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
US8270759B2 (en) 2008-06-16 2012-09-18 International Business Machines Corporation Transformation of a video image from a high dynamic range image to a low dynamic range image
EP2144444B1 (en) 2008-07-10 2012-06-27 The University Of Warwick HDR video data compression devices and methods
EP2441267A1 (en) 2008-10-17 2012-04-18 Trellis Management Co., Ltd. High dynamic range texture and video coding
US8290295B2 (en) * 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
EP2406943B1 (en) 2009-03-10 2016-06-15 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
US8139857B2 (en) * 2009-03-18 2012-03-20 Xerox Corporation Local regression methods and systems for image processing systems
US8358839B2 (en) * 2009-11-30 2013-01-22 Xerox Corporation Local regression methods and systems for image processing systems
US8654141B2 (en) * 2009-12-29 2014-02-18 Intel Corporation Techniques for adapting a color gamut
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
WO2011126272A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US8611655B2 (en) * 2011-02-04 2013-12-17 Apple Inc. Hue-based color matching
ES2659961T3 (es) 2011-04-14 2018-03-20 Dolby Laboratories Licensing Corporation Predictor de regresión múltiple de múltiples canales de color
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082692A1 (en) * 2009-01-19 2010-07-22 Sharp Kabushiki Kaisha Methods and systems for enhanced dynamic range images and video from multiple exposures

Also Published As

Publication number Publication date
EP2782348A1 (en) 2014-09-24
US8811490B2 (en) 2014-08-19
CN106878707B (zh) 2018-05-08
ES2750234T3 (es) 2020-03-25
EP2782348B1 (en) 2017-12-27
US10021390B2 (en) 2018-07-10
JP6246255B2 (ja) 2017-12-13
CN107105229B9 (zh) 2020-03-31
US20140307796A1 (en) 2014-10-16
JP2016167834A (ja) 2016-09-15
US20140029675A1 (en) 2014-01-30
WO2012142471A1 (en) 2012-10-18
TR201802291T4 (tr) 2018-03-21
JP5921741B2 (ja) 2016-05-24
CN103563372A (zh) 2014-02-05
HUE046186T2 (hu) 2020-02-28
CN107105229A (zh) 2017-08-29
PL3324622T3 (pl) 2020-01-31
CN106878707A (zh) 2017-06-20
EP2697971A1 (en) 2014-02-19
EP3324622B1 (en) 2019-09-11
EP2697971B1 (en) 2015-07-08
PL2782348T3 (pl) 2018-04-30
WO2012142471A8 (en) 2013-11-07
US10237552B2 (en) 2019-03-19
US9386313B2 (en) 2016-07-05
EP3324622A1 (en) 2018-05-23
JP5744318B2 (ja) 2015-07-08
JP2015165665A (ja) 2015-09-17
US9699483B2 (en) 2017-07-04
US20180278930A1 (en) 2018-09-27
DK3324622T3 (da) 2019-10-14
CN103563372B (zh) 2017-05-24
JP6490178B2 (ja) 2019-03-27
JP2014520414A (ja) 2014-08-21
JP2018057019A (ja) 2018-04-05
HK1193688A1 (zh) 2014-09-26
US20160269756A1 (en) 2016-09-15
ES2659961T3 (es) 2018-03-20
US20170264898A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN107105229B (zh) 图像解码方法、视频解码器和非暂态计算机可读存储介质
EP2697972B1 (en) Image prediction based on primary color grading model
US9264681B2 (en) Extending image dynamic range
CN103535038B (zh) 用于分层vdr编码的有效架构
EP2945377A1 (en) Piecewise cross color channel predictor
TW202116072A (zh) 張量乘積之b平滑曲線預測子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1241609

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Description

Correct: Correct

False: error

Number: 42-01

Page: ??

Volume: 35

CI03 Correction of invention patent
CI03 Correction of invention patent

Correction item: Description

Correct: Gong Shixianshizhengque

False: Incomplete formula display in [0142] [0143] [0145]

Number: 50-02

Page: ??

Volume: 35

CI03 Correction of invention patent