CN109274975B - 编码方法和设备、重建方法和设备及非临时性存储介质 - Google Patents

编码方法和设备、重建方法和设备及非临时性存储介质 Download PDF

Info

Publication number
CN109274975B
CN109274975B CN201811105437.6A CN201811105437A CN109274975B CN 109274975 B CN109274975 B CN 109274975B CN 201811105437 A CN201811105437 A CN 201811105437A CN 109274975 B CN109274975 B CN 109274975B
Authority
CN
China
Prior art keywords
video
ldr
view
hdr
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811105437.6A
Other languages
English (en)
Other versions
CN109274975A (zh
Inventor
Y.奥利维尔
D.图泽
P.博德斯
F.希伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN109274975A publication Critical patent/CN109274975A/zh
Application granted granted Critical
Publication of CN109274975B publication Critical patent/CN109274975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明人意识到使用LDR内容和HDR残差表示HDR内容并非是没有问题的。因此，本发明提出代替地使用LDR内容、LDR残差和全局照度数据表示HDR内容。也就是说，提出一种用于将高动态范围的HDR视频和LDR视频编码在一起的方法，LDR视频提供HDR视频内容的更低动态范围描绘，所述方法包括使用处理装置用于对LDR视频的一个视频以及与LDR视频的其他视频和HDR视频独立的从HDR视频提取的另一LDR视频进行编码，并且使用一个视频作为参考对另一视频进行预测编码，并且对从HDR视频进一步提取的全局照度数据进行无损编码。这具有预测更稳定并且更容易找到全局最优预测值的优点。

Description

编码方法和设备、重建方法和设备及非临时性存储介质
技术领域
本发明在对高动态范围的视频进行编码的领域中做出。具体地，本发明在对高动态范围的视频和描绘与高动态范围的视频相同内容的低动态范围视频编码在一起的领域中做出。
背景技术
视频通常表示在有限数量的比特(例如，8、10、12或更多比特)上，对应于表示亮度信号的有限范围的值。以这种方式表示的视频被称为低动态范围的视频，或简而言之，LDR视频。然而，人类视觉系统能够感知更宽范围的亮度。有限的表示通常不允许正确地重建具体地在极其黑暗或明亮的视频图像区域(即高或低亮度区域)中较小的信号变化。HDR(高动态范围)格式在于将信号表示的比特深度显著扩展到具有更多比特(例如20到64比特)的整数表示或甚至浮点表示，以便保持信号在其整个亮度范围上的高精度。
HDR图像或视频可以以各种方式捕捉。例如，数字单反相机可以使用包围技术(bracketing technique)来以不同曝光捕捉相同场景的连续图像，其中曝光是在拍摄图像的过程期间允许落在成像介质(感光底片或图像传感器)上的总的光密度。那些不同曝光的图像被表示为LDR图像。如在图1中对于不同曝光值EV示例性描绘的，曝光不足的图像捕捉明亮区域中的细节，而过度曝光的图像捕捉黑暗区域中的细节。
通过融合这些不同曝光的LDR图像，可以以浮点表示产生HDR图像/视频，所产生的HDR图像/视频包含在黑暗区域中的细节以及明亮区域中的细节的全部细节。
在指定用于LDR图像的设备中，例如机顶盒、PVR和传统设备，HDR图像/视频不能以其源格式使用。无论如何，被称为色调映射的过程允许具体地在高和低强度范围中表示图像同时确保不同信号强度部分的良好恢复。色调映射从HDR图像创建LDR图像，其中全部元素被正确地曝光。LDR图像在黑暗区域和白光区域两者中都具有更多细节。这在图2中示例性描绘。
具体地，HDR在后期制作中使用。大多数(若非全部)特效工具处理以浮点表示的HDR图像。自然场景和特效的混合也在HDR表示中实现。在后期制作过程结束时，色调映射通常应用于在摄影导演的控制下创建标准的(例如8/10/12-比特)原版(master)。
在后期制作中应用的色调映射通常是已知的色调映射。
在美国专利申请2008/0175494中描述了用于预测高动态范围图像元素的方法，所述方法包括：接收低动态范围图像数据；接收包括预测数据和HDR残差图像元素的高动态范围图像数据；从所述LDR图像数据提取LDR图像值；基于所述预测数据修改所述LDR图像值；以及结合所述修改后的LDR图像值和所述HDR残差图像元素以形成HDR图像元素。
发明内容
本发明人意识到使用LDR内容和HDR残差表示HDR内容并非是没有问题的。因此，本发明提出代替地使用LDR内容、LDR残差和全局照度数据表示HDR内容。
也就是说，提出一种用于将高动态范围的HDR视频和LDR视频编码在一起的方法和设备，LDR视频提供HDR视频内容的更低动态范围描绘。所提出的方法包括使用处理装置用于对LDR视频的一个视频以及与LDR视频的其他视频和HDR视频独立的从HDR视频提取的另一LDR视频进行编码，并且使用一个视频作为参考对另一视频进行预测编码，并且对从HDR视频进一步提取的全局照度数据进行无损编码。编码设备包括所述处理装置。
这具有各种优点。例如，由于参考和预测内容的比特深度相同，因此预测更稳定并且更容易找到全局最优预测值。此外，该方式允许对该HDR内容进行二次采样而不引入像例如高梯度上的光晕的伪影。此外，采用该方式以高效使用像例如AVC的经典8比特编码方案。
在从属权利要求中详细说明编码方法和编码设备的其他有利实施例的特征。
进一步提出一种用于重建高动态范围的HDR视频的方法和设备。所述重建方法包括使用处理装置用于解码LDR视频，LDR视频提供HDR视频内容的更低的动态范围描绘，使用LDR视频和残差用于解码另一LDR视频，另一LDR视频提供HDR视频内容的另一更低的动态范围描绘，解码全局照度数据并使用全局照度数据以及LDR视频和另一LDR视频中的一个用于重建HDR视频。重建设备包括所述处理装置。
在从属权利要求中详细说明重建方法和重建设备的其他有利实施例的特征。
本发明还提出一种携带与LDR视频编码在一起的HDR视频的数据流和/或非临时性存储介质，LDR视频提供HDR视频内容的更低的动态范围描绘，根据所提出的编码方法或其实施例将HDR视频与LDR视频编码在一起。
附图说明
本发明的示例性实施例在附图中示出并且在下列描述中更详细地解释。对示例性实施例进行解释仅用于说明本发明，而非用于限制本发明的公开或在权利要求中限定的范围。
在附图中：
图1描绘以不同曝光捕捉的相同内容的示例性图像；
图2在左侧描绘具有过度曝光区域的示例性低动态范围图像，在右侧描绘全部区域良好曝光的从对应的高动态范围图像的色调映射得到的另一示例性低动态范围图像；
图3描绘本发明的第一示例性框架；
图4描绘本发明的第一示例性框架；
图5描绘全局照度数据提取器的第一示例性实施例；
图6描绘与图5中描绘的全局照度数据提取器的示例性实施例对应的HDR视频重建器的第一示例性实施例；
图7描绘全局照度数据提取器的第二示例性实施例；以及
图8描绘与图7中描绘的全局照度数据提取器的示例性实施例对应的HDR视频重建器的第二示例性实施例。
具体实施方式
本发明可以在包括对应地适配的处理设备的任何电子设备上实现。例如，本发明可以在电视、视频电话、机顶盒、网关、个人计算机或数字视频相机中实现。
本发明的一些示例性实施例基于多视图(MVC)编码方案，其中例如根据H.264/AVC对主视图进行视图内预测编码。主视图可以独立于解码器是否可以进一步解码MVC方案的辅助视图地由任何AVC解码器解码。在这些实施例中，LDR视频在主视图中编码。辅助视图包含全局照度数据GID或LDR视频残差。如果全局照度数据GID未包含在辅助视图中，则其作为MVC码的无损编码元数据不同地传递。
在其中辅助视图包含全局照度数据GID的示例性实施例中，主视图的LDR视频图像可以基于所述全局照度数据GID来修改用于形成HDR视频图像。
在其中辅助视图包含LDR视频残差的第一示例性实施例中，主视图的LDR视频图像可以基于全局照度数据GID来修改用于形成HDR视频图像。主视图的LDR视频图像可以进一步与辅助视图中的LDR残差视频图像结合用于形成另一LDR视频图像。
在其中辅助视图包含LDR视频残差的第二示例性实施例中，主视图的LDR视频图像可以与辅助视图中的LDR残差视频图像结合用于形成另一LDR视频图像，其中另一LDR视频图像可以基于全局照度数据GID来修改用于形成HDR视频图像。
在所述第二示例性实施例中，LDR视频图像可以是HDR视频图像的色调映射版本，其中使用的色调映射UTM是无关的(例如未知的)。存在可以在后期制作中或在实时直播产品中使用的多种不同的色调映射技术。
然后，如在图3中示例性描绘的，在编码器侧ENC，使用适当色调映射技术的另一色调映射KTM可以应用于HDR视频以创建另一LDR视频，其是HDR视频的第二LDR色调映射版本。优选地但不一定地，HDR视频的第二LDR色调映射版本接近原始色调映射版本以便使相对于原始色调映射版本的残差最小化。
在所述第二示例性实施例中，MVC编码装置MVCENC用于将HDR视频的原始LDR色调映射版本编码为主视图，即AVC视频，并且将HDR视频的另一LDR色调映射版本视图间预测编码为辅助视图。因为两个版本相对类似，所以MVC应非常高效地对第二视图进行编码，导致较小的开销比特流。
在编码器侧ENC，从第二LDR色调映射版本和原始HDR视频进一步提取场景的全局照度GID。该信息不需要非常精确，因为人眼不具有区分大的照度区别的能力。在编码装置LLE中也将对该信息进行优选地无损地编码。例如，因为用于两个LDR版本的视图间预测不需要运动向量，所以对全局照度数据GID而非运动向量进行编码。另一示例是被编码为元数据的全局照度数据GID。
得到的数据流的主视图可以由已经部署的AVC解码器读取和解码以产生原始LDR色调映射视频。
根据本发明修改的解码器DEC可以通过在全局照度结合器GIC中结合原始LDR色调映射视频和第二视图中的残差并根据全局照度数据GID处理结合结果，来再现原始LDR色调映射视频和HDR视频两者。
这种解码器DEC包括MVC解码装置MVCDEC，其解码进入的流以重新获得主视图和可以与主视图一起用于重建第二视图的第二视图的残差。主视图或第二视图可以输出到LDR显示器。在全局照度结合器GIC中主视图或第二视图可以进一步与使用解码装置LLD解码的全局照度数据GID一起使用以重新获得HDR视频。使用哪一个视图取决于用于提取全局照度数据GID的LDR视频是否被编码为主视图或第二视图。
存在用于提取全局照度数据GID和/或色调映射KTM HDR视频的许多可能实现方式以创建第二LDR色调映射版本。下面将详细描述一些示例性情况。
例如，可以使用原始LDR色调映射版本和原始HDR视频提取全局照度GID。这在图4中示例性描绘。
在图5中描绘的另一示例性情况中，HDR视频的标准化亮度相对于原始LDR色调映射版本的标准化亮度之比可以用于提取全局照度数据GID。在该情况下，第二LDR色调映射版本与原始LDR色调映射版本相同，因此不存在残差并且全局照度数据可以被编码在第二视图中。
可选地，对原始LDR色调映射版本和HDR视频在提取之前进行二次采样SSP。
在图3中描绘的第二示例性情况下，HDR视频的标准化亮度相对于第二LDR色调映射版本的标准化亮度之比可以用于提取全局照度数据，其中第二LDR色调映射版本由原始HDR视频的已知色调映射KTM获得。
再次，存在对第二LDR色调映射版本和HDR视频在提取之前进行下采样SSP的选择。
在第一和第二示例性情况下，相对于从HDR视频提取的最小和最大值执行标准化NRM。亮度比被二进制化BIN。全局照度数据GID从二进制化数据和元数据得出。元数据通知在亮度比二进制化BIN之前的最小-最大值以及HDR亮度在标准化NRM之前的最小-最大值。如果应用二次采样，则元数据还通知二次采样的参数数据。
在第二示例性情况下，第二LDR色调映射版本可以通过任何色调映射技术确定。
在第三示例性情况下，应用粗糙(coarse)照明提取器。这在图7中示例性描绘。原理在于将原始HDR视频分解为两个成分：第一成分粗糙地通知每一个图像的照明，并且第二成分是从原始HDR视频移除粗糙照明的结果，即原始HDR视频的第二色调映射版本。
首先，应用原始HDR视频的分解计算DEC。用于该分解的示例是平方根，但其他分解是可能的。然后，对得到的视频进行二次采样SSP，使得每一个数据表示区域(像素组)的亮度。该视频表示作为向解码器发送的全局照度数据GID的一部分的全局照度视频。然后，该全局照度视频使用对每一个点的照度进行建模的点扩散函数PSF进行卷积。例如，对于LED，这表示其空间照度。结果是格式与原始格式相同的视频，因为卷积用作过采样过滤器。得到的视频使用原始HDR视频和全局照度视频进行计算以形成第二LDR色调映射视频。例如，计算HDR亮度与全局照度比。
全局照度数据GID由全局照度视频和某些元数据组成。组成元数据使得解码器能够单独根据元数据或与编码标准相结合地确定原始HDR视频的分解模型、每一个照度点的点扩散函数PSF和二次采样结构。在其中用于计算第二LDR视频的方法可以改变的实施例中，进一步用信号通知(signal)最终计算(例如除法)。
在解码器侧，如图8中示例性描绘的，全局照度结合器GIC用于使用点扩散函数PSF对全局照度数据进行卷积。然后，结果与解码的第二LDR色调映射视频一起使用以通过倒转(invert)在编码器侧进行的计算而形成重建的HDR视频。因此，如果在编码器侧执行了除法运算，则在解码器侧执行乘法运算。
这对为使用在显示器中实现的双调制技术的显示器提供源(source)尤其有用，即如果用于编码的二次采样和PSF与显示器的二次采样和LED PSF对应，则第二LDR色调映射视频可以直接为LCD面板提供源并且全局照度数据GID可以直接为LED面板提供源。
在本发明的多个优点中，能够对具有与标准HDTV系统的向后兼容性(retro-compatibility)的HDR数据进行高效编码。此外，本发明具有灵活性并且可以容易地适配用于具体显示器技术。
因此，本发明可应用于许多不同工业领域。
在本发明的示例性实施例中，在编码器侧使用像素亮度比确定全局照度数据GID。这在图5中示例性描绘。全局照度提取装置GIE接收HDR视频和所述HDR视频的LDR色调映射版本作为输入，并且从所述HDR视频及其色调映射版本提取亮度视频Y。可选地，得到的亮度视频被二次采样SUB并标准化NOR为值范围(n_min；n_max)，其中例如n_min＝0并且n_max＝1。可替换地，得到的亮度视频未被二次采样而仅被标准化。然后，发生对标准化的亮度视频进行逐个像素的除法运算，它是在不进行二次采样的情况下逐个元素的除法运算。然后，使用b_min和b_max将得到的亮度比二进制化BIN。然后，二进制化的亮度比以及n_min、n_max、b_min和b_max一起表示全局照度数据GID。
在解码器侧，如图6中示例性描绘的，全局照度数据GID可以与HDR视频的LDR色调映射版本一起用于重建所述HDR视频。
也就是说，在解码器侧，b_min、b_max、n_min和n_max用于对全局照度数据GID进行去二进制化DBN和去标准化DNM。如果全局照度数据GID的分辨率小于要重建的HDR视频的LDR色调映射版本的分辨率，则去标准化的数据被上采样为所述LDR色调映射版本的分辨率。使用n_min和n_max对要重建的HDR视频的LDR色调映射版本进行标准化。然后，标准化的LDR视频与相同分辨率的去标准化的数据逐个像素相乘，其导致重建HDR。
在该示例性实施例中使用的HDR视频的LDR色调映射版本可以是其中色调映射未知的LDR色调映射版本。在该情况下，不执行二次采样可能是有利的，因为这可能导致重建的HDR图像中的伪影。
在HDR视频的LDR色调映射版本的色调映射已知并传递到解码侧的情况下，可以移除在重建的HDR中可能出现的伪影。
在本发明的另一示例性实施例中，也使用像素亮度比在编码器侧确定全局照度数据GID。但在该另一示例性实施例中，点扩散函数用于从HDR视频生成全局照度数据。也就是说，应用分解。
这在图7中示例性描绘。全局照度提取装置GIE接收HDR视频，并且使用HDR视频的分解DEC、分解的HDR视频的二次采样SSP和使用点扩散函数PSF的二次采样的分解的HDR视频的卷积，从该HDR视频生成全局照度数据GID。然后，使用点扩散函数PSF对全局照度数据GID进行卷积，并且HDR视频逐个像素除以卷积结果，以便生成所述HDR视频的LDR色调映射版本。然后，全局照度数据GID和LDR色调映射版本被编码和传送到编码器或存储。
在图8中示例性描绘对应的HDR视频的重建。接收全局照度数据GID和要重建的HDR视频的LDR色调映射版本。然后，使用与在编码器侧相同的点扩散函数PSF对全局照度数据GID进行卷积，并且LDR色调映射版本逐个像素乘以卷积结果，以便重建所述HDR视频。
在本发明的示例性实施例中，存在携带使用LDR视频作为参考预测编码的高动态范围的HDR视频的非临时性存储介质，LDR视频提供HDR视频内容的更低的动态范围描绘。LDR视频被进一步编码。非临时性存储介质携带关于作为参考的LDR视频和无损编码的全局照度数据的另一LDR视频的编码的残差，其中另一LDR视频提供HDR视频内容的另一更低的动态范围描绘，并且全局照度数据允许使用另一LDR视频重建HDR视频。
在示例性实施例中，还存在用于预测高动态范围图像元素的方法。所述方法包括接收低动态范围图像数据和接收包括全局照度数据和LDR残差图像元素的高动态范围图像数据。所述方法还包括从所述LDR图像数据提取LDR图像值；以及将所述LDR图像值与所述LDR残差图像元素结合以形成LDR图像元素。最后，基于所述全局照度数据修改所述LDR图像元素以形成HDR图像元素。
在示例性实施例中，还存在用于预测高动态范围图像元素的另一方法。所述方法包括接收低动态范围图像数据；接收包括预测数据和HDR残差图像元素的高动态范围图像数据；从所述LDR图像数据提取LDR图像值；基于所述预测数据修改所述LDR图像值；以及将所述修改后的LDR图像值与所述HDR残差图像元素结合以形成HDR图像元素。
并且存在通过使用处理装置从HDR视频提取另一LDR视频和对应的全局照度数据，独立地对第一LDR视频进行编码并且使用第一LDR视频作为参考对第二LDR视频进行预测编码，以及对全局照度数据进行编码来实现高动态范围的HDR视频以及LDR视频的编码的示例性实施例，其中LDR视频提供HDR视频内容的更低的动态范围描绘，其中第一LDR视频是LDR视频且第二LDR视频是另一LDR，或者第一LDR视频是另一LDR视频且第二LDR视频是LDR视频。

Claims (28)

1.一种用于在多视图编码数据流中将高动态范围HDR视频和第一低动态范围LDR视频编码在一起的方法，第一LDR视频由HDR视频的第一色调映射得出，所述方法包括：
将第一LDR视频编码为多视图编码数据流的主视图；
参考所述主视图通过视图间预测编码第二LDR视频，所述第二LDR视频由HDR视频的第二色调映射得出，其中，编码所述第二LDR视频包括将从所述视图间预测得到的视图间预测残差编码为多视图编码数据流的辅助视图；以及
在多视图编码数据流中无损编码从第二LDR视频和HDR视频得出的全局照度数据。
2.如权利要求1所述的方法，其中提取全局照度数据包括：
从HDR视频和第二LDR视频提取照度视频；
标准化所述照度视频；
使用所述照度视频逐个像素计算原始照度数据；
通过二进制化原始照度数据来计算所述全局照度数据；
其中，所述方法还包括编码一个或多个参数，以允许去标准化和去二进制化中的至少一个。
3.如权利要求2所述的方法，其中所述照度视频在标准化之前被二次采样，并且其中一个或多个上采样参数被编码，所述上采样参数允许反转二次采样。
4.如权利要求1所述的方法，其中所述全局照度数据是通过对HDR视频应用分解计算并对分解的视频进行二次采样来提取的，并且其中第二LDR图像是通过将二次采样的视频与点扩散函数卷积并使用卷积的视频和HDR视频逐个像素计算第二LDR视频来提取的。
5.一种用于在多视图编码数据流中将高动态范围HDR视频和第一低动态范围LDR视频编码在一起的设备，第一LDR视频由HDR视频的第一色调映射得出，所述设备包括用于以下的装置：
将第一LDR视频编码为多视图编码数据流的主视图；
参考所述主视图通过视图间预测编码第二LDR视频，所述第二LDR视频由HDR视频的第二色调映射得出，其中，编码所述第二LDR视频包括将从所述视图间预测得到的视图间预测残差编码为多视图编码数据流的辅助视图；以及
在多视图编码数据流中无损编码从第二LDR视频和HDR视频得出的全局照度数据。
6.如权利要求5所述的设备，其中提取全局照度数据包括：
从HDR视频和第二LDR视频提取照度视频；
标准化所述照度视频；
使用所述照度视频逐个像素计算原始照度数据；
通过二进制化原始照度数据来计算所述全局照度数据；
其中，所述设备还包括用于以下的装置：编码一个或多个参数，以允许去标准化和去二进制化中的至少一个。
7.如权利要求6所述的设备，其中所述照度视频在标准化之前被二次采样，并且其中一个或多个上采样参数被编码，所述上采样参数允许反转二次采样。
8.如权利要求5所述的设备，其中所述全局照度数据是通过对HDR视频应用分解计算并对分解的视频进行二次采样来提取的，并且其中第二LDR图像是通过将二次采样的视频与点扩散函数卷积并使用卷积的视频和HDR视频逐个像素计算第二LDR视频来提取的。
9.一种从多视图编码数据流重构高动态范围HDR视频的方法，所述方法包括：
从多视图编码数据流的主视图解码第一低动态范围LDR视频，所述第一LDR视频提供HDR视频的第一较低动态范围描绘；
从多视图编码数据流的辅助视图解码视图间预测残差；
从第一LDR视频和视图间预测残差解码第二LDR视频，所述第二LDR视频提供HDR视频的第二较低动态范围描绘；
使用第二LDR视频和通过从多视图编码数据流无损解码编码的全局照度数据而获得的全局照度数据来重建所述HDR视频。
10.如权利要求9所述的方法，其中一个或多个参数被解码并用于以下中的至少一个：去标准化、去二进制化和上采样全局照度数据。
11.如权利要求9所述的方法，其中全局照度数据在解码后与点扩散函数卷积。
12.一种用于从多视图编码数据流重构高动态范围HDR视频的设备，所述设备包括用于以下的装置：
从多视图编码数据流的主视图解码第一低动态范围LDR视频，所述第一LDR视频提供HDR视频的第一较低动态范围描绘；
从多视图编码数据流的辅助视图解码视图间预测残差；
从第一LDR视频和视图间预测残差解码第二LDR视频，所述第二LDR视频提供HDR视频的第二较低动态范围描绘；
使用第二LDR视频和通过从多视图编码数据流无损解码编码的全局照度数据而获得的全局照度数据来重建所述HDR视频。
13.如权利要求12所述的设备，其中一个或多个参数被解码并用于以下中的至少一个：去标准化、去二进制化和上采样全局照度数据。
14.如权利要求12所述的设备，其中全局照度数据在解码后与点扩散函数卷积。
15.一种用于在多视图编码数据流中将高动态范围HDR视频和第一低动态范围LDR视频一起发送的方法，第一LDR视频由HDR视频的第一色调映射得出，所述方法包括：
将第一LDR视频编码为多视图编码数据流的主视图；
参考所述主视图通过视图间预测编码第二LDR视频，所述第二LDR视频由HDR视频的第二色调映射得出，其中，编码所述第二LDR视频包括将从所述视图间预测得到的视图间预测残差编码为多视图编码数据流的辅助视图；以及
在多视图编码数据流中无损编码从第二LDR视频和HDR视频得出的全局照度数据。
16.如权利要求15所述的方法，其中提取全局照度数据包括：
从HDR视频和第二LDR视频提取照度视频；
标准化所述照度视频；
使用所述照度视频逐个像素计算原始照度数据；
通过二进制化原始照度数据来计算所述全局照度数据；
其中，所述方法还包括编码一个或多个参数，以允许去标准化和去二进制化中的至少一个。
17.如权利要求16所述的方法，其中所述照度视频在标准化之前被二次采样，并且其中一个或多个上采样参数被编码，所述上采样参数允许反转二次采样。
18.如权利要求15所述的方法，其中所述全局照度数据是通过对HDR视频应用分解计算并对分解的视频进行二次采样来提取的，并且其中第二LDR图像是通过将二次采样的视频与点扩散函数卷积并使用卷积的视频和HDR视频逐个像素计算第二LDR视频来提取的。
19.一种在多视图编码数据流中将高动态范围HDR视频和第一低动态范围LDR视频一起接收的方法，第一LDR视频由HDR视频的第一色调映射得出，所述方法包括：
从多视图编码数据流的主视图解码第一LDR视频，所述第一LDR视频提供HDR视频的第一较低动态范围描绘；
从多视图编码数据流的辅助视图解码视图间预测残差；
从第一LDR视频和视图间预测残差解码第二LDR视频，所述第二LDR视频提供HDR视频的第二较低动态范围描绘；
使用第二LDR视频和通过从多视图编码数据流无损解码编码的全局照度数据而获得的全局照度数据来重建所述HDR视频。
20.如权利要求19所述的方法，其中一个或多个参数被解码并用于以下中的至少一个：去标准化、去二进制化和上采样全局照度数据。
21.如权利要求19所述的方法，其中全局照度数据在解码后与点扩散函数卷积。
22.一种用于在多视图编码数据流中将高动态范围HDR视频和第一低动态范围LDR视频一起发送的设备，第一LDR视频由HDR视频的第一色调映射得出，所述设备包括用于以下的装置：
将第一LDR视频编码为多视图编码数据流的主视图；
参考所述主视图通过视图间预测编码第二LDR视频，所述第二LDR视频由HDR视频的第二色调映射得出，其中，编码所述第二LDR视频包括将从所述视图间预测得到的视图间预测残差编码为多视图编码数据流的辅助视图；以及
在多视图编码数据流中无损编码从第二LDR视频和HDR视频得出的全局照度数据。
23.如权利要求22所述的设备，其中提取全局照度数据包括：
从HDR视频和第二LDR视频提取照度视频；
标准化所述照度视频；
使用所述照度视频逐个像素计算原始照度数据；
通过二进制化原始照度数据来计算所述全局照度数据；
其中，所述设备还包括用于以下的装置编码一个或多个参数，以允许去标准化和去二进制化中的至少一个。
24.如权利要求23所述的设备，其中所述照度视频在标准化之前被二次采样，并且其中一个或多个上采样参数被编码，所述上采样参数允许反转二次采样。
25.如权利要求22所述的设备，其中所述全局照度数据是通过对HDR视频应用分解计算并对分解的视频进行二次采样来提取的，并且其中第二LDR图像是通过将二次采样的视频与点扩散函数卷积并使用卷积的视频和HDR视频逐个像素计算第二LDR视频来提取的。
26.一种用于在多视图编码数据流中将高动态范围HDR视频和第一低动态范围LDR视频一起接收的设备，第一LDR视频由HDR视频的第一色调映射得出，所述设备包括用于以下的装置：
从多视图编码数据流的主视图解码第一LDR视频，所述第一LDR视频提供HDR视频的第一较低动态范围描绘；
从多视图编码数据流的辅助视图解码视图间预测残差；
从第一LDR视频和视图间预测残差解码第二LDR视频，所述第二LDR视频提供HDR视频的第二较低动态范围描绘；
使用第二LDR视频和通过从多视图编码数据流无损解码编码的全局照度数据而获得的全局照度数据来重建所述HDR视频。
27.如权利要求26所述的设备，其中一个或多个参数被解码并用于以下中的至少一个：去标准化、去二进制化和上采样全局照度数据。
28.如权利要求26所述的设备，其中全局照度数据在解码后与点扩散函数卷积。
CN201811105437.6A 2012-01-06 2012-12-18 编码方法和设备、重建方法和设备及非临时性存储介质 Active CN109274975B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP12305020.5 2012-01-06
EP12305020.5A EP2613532A1 (en) 2012-01-06 2012-01-06 Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
CN201280066103.7A CN104041046B (zh) 2012-01-06 2012-12-18 将高动态与低动态范围视频一起编码的方法和设备、重构高动态范围视频的方法和设备
PCT/EP2012/076010 WO2013102560A1 (en) 2012-01-06 2012-12-18 Method of and device for encoding an hdr video together with an ldr video, method of and device for reconstructing one of an hdr video and an ldr video coded together and non-transitory storage medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280066103.7A Division CN104041046B (zh) 2012-01-06 2012-12-18 将高动态与低动态范围视频一起编码的方法和设备、重构高动态范围视频的方法和设备

Publications (2)

Publication Number Publication Date
CN109274975A CN109274975A (zh) 2019-01-25
CN109274975B true CN109274975B (zh) 2023-02-28

Family

ID=47358500

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811105437.6A Active CN109274975B (zh) 2012-01-06 2012-12-18 编码方法和设备、重建方法和设备及非临时性存储介质
CN201280066103.7A Active CN104041046B (zh) 2012-01-06 2012-12-18 将高动态与低动态范围视频一起编码的方法和设备、重构高动态范围视频的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280066103.7A Active CN104041046B (zh) 2012-01-06 2012-12-18 将高动态与低动态范围视频一起编码的方法和设备、重构高动态范围视频的方法和设备

Country Status (12)

Country Link
US (2) US10110921B2 (zh)
EP (2) EP2613532A1 (zh)
JP (1) JP6111266B2 (zh)
KR (1) KR101993945B1 (zh)
CN (2) CN109274975B (zh)
AU (1) AU2012364389B2 (zh)
BR (1) BR112014016417B1 (zh)
ES (1) ES2710379T3 (zh)
HK (1) HK1204177A1 (zh)
PL (1) PL2801191T3 (zh)
TR (1) TR201901751T4 (zh)
WO (1) WO2013102560A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129388B2 (en) * 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
WO2015036358A1 (en) * 2013-09-13 2015-03-19 Thomson Licensing Method and apparatus for decomposing and reconstructing an high-dynamic-range picture
US9344638B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
JP6617142B2 (ja) * 2014-10-07 2019-12-11 トレリス・ユーロプ・ソチエタ・ア・レスポンサビリタ・リミタータＴＲＥＬＬＩＳ ＥＵＲＯＰＥ ＳｒＬ 改善されたビデオおよび画像符号化プロセス
EP3026912A1 (en) 2014-11-27 2016-06-01 Thomson Licensing Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information
WO2016123001A1 (en) 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
US9979895B2 (en) * 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
JP6233424B2 (ja) 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6237797B2 (ja) 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
WO2017152398A1 (zh) * 2016-03-09 2017-09-14 华为技术有限公司 一种高动态范围图像处理方法及装置
US10699391B2 (en) 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
US11356633B2 (en) 2016-09-20 2022-06-07 Sony Corporation Video signal processing apparatus, video signal processing method, and video signal processing system
CN109691117B (zh) 2017-07-07 2022-05-27 松下知识产权经营株式会社 影像处理系统及影像处理方法
US10546554B2 (en) * 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images
US20240078635A1 (en) * 2022-09-02 2024-03-07 Qualcomm Incorporated Compression of images for generating combined images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200833106A (en) * 2007-01-29 2008-08-01 Ind Tech Res Inst Tone mapping method for dynamic range image
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
WO2011031331A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Interactive tone mapping for high dynamic range video

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5249784B2 (ja) 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
US8237865B2 (en) * 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US9830691B2 (en) 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
US20090317017A1 (en) 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
KR101571573B1 (ko) 2007-09-28 2015-11-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 부가적인 정보 역량을 이용한 멀티미디어 코딩 및 디코딩
US8175158B2 (en) 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
JP5188356B2 (ja) 2008-02-28 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 復号器において画像を逆トーンマッピングする方法
US8406569B2 (en) 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
KR101642034B1 (ko) 2009-12-08 2016-07-25 한양대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
CN102986214A (zh) 2010-07-06 2013-03-20 皇家飞利浦电子股份有限公司 从低动态范围图像生成高动态范围图像
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200833106A (en) * 2007-01-29 2008-08-01 Ind Tech Res Inst Tone mapping method for dynamic range image
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
WO2011031331A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Interactive tone mapping for high dynamic range video

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RafałMantiuk等.Backward Compatible High Dynamic Range MPEG Video Compression.《ACM Transactions on Graphics (TOG)》.2006,全文. *
Using temporal correlation for fast and highdetailed video tone mapping;Lino Coria等;《2010 IEEE International Conference on Imaging Systems and Techniques》;20100816;全文 *
基于概率模型的高动态范围图像色调映射;宋明黎等;《软件学报》;20090315;全文 *

Also Published As

Publication number Publication date
WO2013102560A1 (en) 2013-07-11
US20190104320A1 (en) 2019-04-04
KR20140111270A (ko) 2014-09-18
KR101993945B1 (ko) 2019-06-27
CN104041046A (zh) 2014-09-10
JP6111266B2 (ja) 2017-04-05
BR112014016417B1 (pt) 2022-06-21
BR112014016417A2 (pt) 2017-06-13
HK1204177A1 (zh) 2015-11-06
PL2801191T3 (pl) 2019-04-30
US10708620B2 (en) 2020-07-07
BR112014016417A8 (pt) 2017-07-04
JP2015506623A (ja) 2015-03-02
CN104041046B (zh) 2018-10-16
CN109274975A (zh) 2019-01-25
US10110921B2 (en) 2018-10-23
TR201901751T4 (tr) 2019-02-21
ES2710379T3 (es) 2019-04-24
EP2613532A1 (en) 2013-07-10
EP2801191A1 (en) 2014-11-12
EP2801191B1 (en) 2018-11-07
AU2012364389B2 (en) 2017-03-09
AU2012364389A1 (en) 2014-07-03
US20140369410A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
US10708620B2 (en) Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
JP6349053B2 (ja) Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体
US20140177706A1 (en) Method and system for providing super-resolution of quantized images and video
KR101498535B1 (ko) 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법
KR101654750B1 (ko) 3d 시각적 다이나믹 레인지 코딩
US20160127736A1 (en) Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
US20220038721A1 (en) Cross-component quantization in video coding
Lee et al. Camera-aware multi-resolution analysis for raw image sensor data compression
US10630973B2 (en) Generation and encoding of residual integral images
Lauga et al. Segmentation-based optimized tone mapping for high dynamic range image and video coding
EP2632162A1 (en) Method and device for encoding an HDR video image, method and device for decoding an HDR video image
JP2016201800A (ja) 第１のダイナミックレンジを有する画像を生成、符号化、または復号するための方法およびデバイス、ならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体
US20210400295A1 (en) Null tile coding in video coding
Sharma et al. A Novel Unified Model for Multi-exposure Stereo Coding Based on Low Rank Tucker-ALS and 3D-HEVC
RU2587986C2 (ru) Создание изображений с расширенным динамическим диапазоном из изображений с суженным динамическим диапазоном

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190919

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holdings

Address before: Icelemulino, France

Applicant before: THOMSON LICENSING

GR01 Patent grant
GR01 Patent grant