CN105338361B - 用于视频编码和解码中的受指导滤波的方法、装置和存储介质 - Google Patents

用于视频编码和解码中的受指导滤波的方法、装置和存储介质 Download PDF

Info

Publication number
CN105338361B
CN105338361B CN201510809673.6A CN201510809673A CN105338361B CN 105338361 B CN105338361 B CN 105338361B CN 201510809673 A CN201510809673 A CN 201510809673A CN 105338361 B CN105338361 B CN 105338361B
Authority
CN
China
Prior art keywords
image
filter
color component
color
cti
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510809673.6A
Other languages
English (en)
Other versions
CN105338361A (zh
Inventor
苏冠铭
曲晟
尹鹏
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105338361A publication Critical patent/CN105338361A/zh
Application granted granted Critical
Publication of CN105338361B publication Critical patent/CN105338361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Abstract

本发明公开了视频编码中的受指导图像上采样。编码器接收第一空间分辨率的第一图像和第二空间分辨率的第二图像，其中，所述第一图像和所述第二图像两者都表示相同场景，所述第二空间分辨率高于所述第一空间分辨率。选择滤波器以将所述第一图像上采样为具有与所述第二空间分辨率相同的空间分辨率的第三图像。通过使得所述第二图像与所述第三图像的像素值之间的误差度量(例如MSE)最小化来计算用于所述上采样滤波器的滤波系数。计算的滤波系数的集合被信传到接收机(例如，作为元数据)。解码器接收所述第一图像(或其近似)和所述元数据，并且可以使用与所述编码器推导出的相同的滤波器和优化选择的滤波系数来对所述第一图像进行上采样。

Description

用于视频编码和解码中的受指导滤波的方法、装置和存储 介质
本申请是基于申请号为201210281757.3、申请日为2012年8月9日、发明名称为“视频编码中的受指导图像上采样”的专利申请的分案申请。
相关申请的交叉引用
本发明要求2011年8月9日提交的美国临时专利申请No.61/521,685以及2012年5月30日提交的美国临时专利申请No.61/653,234的优先权，出于所有目的通过引用将它们并入此。
技术领域
本发明总体上涉及图像。更特别地，本发明实施例涉及视频编码中的数字图像的受指导上采样(guided up-sampling)。
背景技术
如在此使用的那样，术语“动态范围”(dynamic range，DR)可以与用于感知图像中的强度(例如辉度、亮度)的范围(例如从最暗的暗到最亮的亮)的人类心理视觉系统(humanpsychovisual system，HVS)的能力有关。在此意义上，DR与“场景相关的(scenereferred)”强度有关。DR也可以与显示设备足够地或近似地呈现特定宽度(breadth)的强度范围的能力有关。在此意义上，DR与“显示相关的”强度有关。除非在此描述中的任何点明确地指定特定意义具有特定重要性，否则应推断其可以例如可互换地用于任何意义。
如在此使用的那样，术语“高动态范围(high dynamic range，HDR)”与跨越人类视觉系统(human visual system，HVS)的一些14-15个量级的DR宽度有关。例如，具有基本正态(例如在统计、生物计量或眼科(opthamological)意义中的一个或多个中)的良好适应的人具有跨越大约15个量级的强度范围。适应的人可以感知少至仅少数光子的昏暗光源。然而，这些相同的人可以感知沙漠、海洋或雪中的正午阳光的近乎灼目的明亮强度(或甚至对太阳的扫视，然而，短暂地扫视防止损伤)。这样的跨度对于“适应的”人(例如其HVS具有重置并且调整的时间段的人)可用。
作为对比，相对于HDR，在其上人可以同时感知强度范围中的宽的宽度的DR可以被稍微截断。如在此使用的那样，术语“视觉动态范围”或“可变动态范围(variable dynamicrange，VDR)”可以单独地或互换地与HVS同时可感知的DR有关。如在此使用的那样，VDR可以与跨越5-6个量级的DR有关。因此，尽管相对于真实场景相关的HDR稍微更窄，但VDR表示宽的DR宽度。如在此使用的那样，术语“同时动态范围”可以与VDR有关。
直到最近，显示器已经具有比HDR或VDR明显更窄的DR。使用具有恒定荧光的白色背光或等离子体屏幕技术的典型阴极射线管(cathode ray tube，CRT)、液晶显示器(liquid crystal display，LCD)的电视(Television，TV)和计算机监视器装置可能在它们的DR呈现能力方面被约束为大约三个数量级。这些传统的显示器因此作为相对于VDR和HDR的低动态范围(low dynamic range，LDR)，又称为标准动态范围(standard dynamicrange，SDR)的代表。
至于可缩放视频编码和HDTV技术，扩展图像DR典型地涉及分叉(bifurcate)方法。例如，以现代的能够HDR的相机捕获的场景相关HDR内容可以用于生成该内容的VDR版本或SDR版本，其可以显示在VDR显示器或传统SDR显示器上。在一种方法中，从捕获的VDR版本生成SDR版本可以涉及将全局色调映射算子(global tone mapping operator，TMO)应用于HDR内容中的强度(例如辉度、亮度)有关的像素值。在第二方法中，如在W.Gish等人2011年8月23提交的PCT申请PCT/US 2011/048861中“Extending Image Dynamic Range”中描述的那样，生成SDR图像可以涉及对于VDR数据应用可逆算子(或预测器)。为了保留带宽或出于其它考虑，同时发送实际捕获的VDR内容和SDR内容两者可能不是最佳方法。
因此，相对于初始TMO被反转的逆色调映射算子(iTMO)或相对于初始预测器的逆算子可以应用于生成的SDR内容版本，这允许预测初始VDR内容的版本。可以将预测的VDR内容版本和生成的VDR内容进行比较。例如，从初始VDR版本减去预测的VDR版本可以生成残差图像。编码器可以发送作为基本层(base layer，BL)的生成的SDR内容、作为增强层(EL)的任何残差图像，并且封装iTMO或其它预测器等作为元数据。
在比特流中将EL和元数据与其SDR内容、残差和预测器一起发送典型地消耗比将HDR和SDR内容都直接发送到比特流中的情况所消耗的带宽更少的带宽。接收编码器发送的比特流的兼容解码器可以解码并且在传统显示器上呈现SDR。然而，兼容解码器也可以使用残差图像、iTMO预测器或元数据来从其计算HDR内容的预测版本，以用于更有能力的显示器上。
在这样的分层VDR编码中，图像可以按不同空间分辨率、比特深度、颜色空间和色度子采样格式来表示，这些都可迫使进行从第一颜色格式到第二颜色格式的各种计算机密集变换。
如在此使用的那样，术语“颜色格式”与包括以下两个变量的颜色表示有关：a)颜色空间变量(例如RGB、YUV、YCbCr等)和色度子采样变量(例如4∶4∶4、4∶2∶0等)。例如，VDR信号可以具有RGB 4∶4∶4颜色格式，而SDR信号可以具有YCbCr 4∶2∶0颜色格式。
如在此使用的那样，术语“上采样”或“尺度上推”与将图像的一个或多个颜色分量从一个空间分辨率变换到更高的第二空间分辨率的处理有关。例如，可以将视频信号从4∶2∶0格式上采样为4∶4∶4格式。
该部分中描述的方法是可以贯彻实施的方法，但不一定是先前已被构思或贯彻实施的方法。因此，除非另外指示，否则不应假设该部分中描述的任何方法仅仅由于它们包含在该部分中而被当作现有技术。相似地，除非另外指示，否则相对于一个或多个方法标识的问题不应基于该部分而被假定在任何现有技术中已经被认识到。
附图说明
在附图中通过示例的方式而不是限制的方式示出本发明实施例，并且其中，相似标号指代相似元件，并且其中：
图1描述根据本发明实施例的用于分层编码系统的示例数据流；
图2描述根据本发明实施例的示例分层解码系统；
图3描述根据本发明实施例的分层编解码器中对残差信号进行编码中的受指导图像上采样的示例；
图4描述根据本发明实施例的示例单层视频编码系统；
图5描述根据本发明实施例的用于使用2D滤波器以因子2进行上采样的示例输入和输出像素阵列；
图6描述根据本发明实施例的用于使用3D滤波器以因子2进行上采样的示例输入和输出像素阵列；
图7描述根据本发明实施例的受指导图像上采样的示例处理；
图8描述根据本发明实施例的受指导颜色瞬时改进滤波的示例处理。
具体实施方式
在此描述视频编码中的受指导图像上采样和颜色瞬时改进滤波。在以下描述中，为了解释，阐述大量细节以提供本发明的透彻理解。然而，应理解，在没有这些具体细节的情况下仍可以实践本发明。在其它情况下，不详尽地描述公知结构和设备，以避免不必要地封闭、模糊或混乱本发明。
概述
在此描述的示例实施例与视频编码中的受指导图像上采样和CTI滤波有关。编码器接收第一空间分辨率的第一图像和第二空间分辨率的指导图像(guide image)，其中，所述第一图像和所述指导图像两者都表现相同场景，所述第二空间分辨率高于所述第一空间分辨率。选择滤波器以将所述第一图像上采样为具有与所述第二空间分辨率相同的空间分辨率的第三图像。通过使得所述指导图像与第三图像的像素值之间的误差度量(例如均方误差(mean sqHare error，MSE))最小化来计算用于上采样滤波器的滤波系数。计算出的滤波系数集合被信传(signal)到接收机(例如，作为元数据)。解码器接收所述元数据和第一图像或所述第一图像的近似，并且可以使用与所述编码器推导出的优化滤波器和滤波系数相同的优化滤波器和滤波系数来对所接收的图像进行上采样。
在另一实施例中，编码器接收待编码的目标图像，所述目标图像包括第一目标颜色分量图像和第二目标颜色分量图像。对所述图像进行编码和解码，以生成编码的图像和解码的图像，所述解码的图像包括解码的第一颜色分量图像和解码的第二颜色分量图像。选择颜色瞬时改进(color transient improvement，CTI)滤波器以对所述解码的第二颜色分量图像的像素进行滤波，以生成输出颜色分量图像。至少部分地基于通过使得所述输出颜色分量图像的像素值与所述目标图像中的第二颜色分量图像的对应像素值之间的误差度量最小化而计算用于所述CTI滤波器的CTI滤波系数。CTI滤波系数被信传到接收机(例如，作为元数据)。解码器接收所述元数据和所述编码的图像。在对所述编码的图像进行解码之后，其可以使用与所述编码器推导出的CTI滤波系数相同的CTI滤波系数来对所述解码的图像进行滤波。
在受指导图像上采样的情况下的示例系统
由于图像下采样和上采样变换不仅影响编码效率而且还影响总体图像质量，所以其在视频编码中扮演关键角色。不当的空间尺度变换(spatial scaling transformation)可能导致错误的颜色，沿着图像的边缘尤其如此。不同于传统“盲”图像上采样技术，其中，给定具有经子采样的颜色分量(例如YCbCr 4∶2∶0格式下的色度)的输入图像，仅使用图像自身内的可用信息来对颜色分量进行上采样，本发明实施例还可以利用来自视频处理通道(pipeline)中的其它图像的信息。
图1描述根据本发明实施例的实现受指导图像上采样的示例图像处理系统100。系统100表示分层编码器的实施例，其中，使用两个层(基本层135和增强或残差层175)来对输入信号V 105进行编码。
在实施例中，输入信号V 105可以表示为4∶4∶4颜色格式(例如RGB 4：4：4)的每颜色分量16或更多个比特所表示的输入VDR信号。动态范围减少处理110可以处理该VDR信号，以生成信号S’112。信号S’可以具有与信号V相同的或低于信号V的空间分辨率。可以通过比V更低的比特深度分辨率(例如每颜色分量12比特)来表示信号S’。信号S’可以处于与V相同的颜色格式，或在其它实施例中，其可以处于不同颜色格式。
在实施例中，颜色变换120可以在编码130之前，其中，S’可以变换为另一颜色格式(例如YCbCr)。变换120也可以结合一个或多个颜色分量的子采样(例如从4∶4∶4到4∶2∶0)。编码信号135可以作为基本层发送。在实施例中，可以通过任何现有视频编码器(例如运动图像专家组(motion pictures expert group，MPEG)规范指定的MPEG-2或MPEG-4视频编码器)来实现编码130。
可以通过对信号135进行解码、生成初始VDR信号V的预测值(165)并且从其预测值(165)减去初始V(105)以生成残差信号175，来生成增强层175。在实施例中，可以使用如G-MSu等人2012年4月13日提交的PCT申请PCT/US 2012/033605中描述的多变量多回归模型来实现预测器160。由于编码信号135和输入信号105具有不同颜色格式和分辨率，因此颜色变换处理150将解码器140的输出变换为匹配输入V 105的颜色格式和分辨率的颜色格式和分辨率。例如，单元150可以将输入数据143从YCbCr4∶2∶0变换为RGB4∶4∶4。
在传统采样方法中，可以仅基于子采样输入143和具有固定滤波系数的内插滤波器而推导上采样输出153。反之，在实施例中，150中的上采样处理可以利用来自子采样输入143的数据和具有已知的全空间分辨率的数据(例如输入S’112或V105)来执行上采样。在实施例中，该受指导图像上采样处理150可以将上采样有关参数(例如内插滤波系数)信传到其余系统通道(例如作为元数据信号155或167)。
如在此使用的那样，术语“元数据”可以与作为编码比特流的一部分被发送并且协助解码器呈现解码的图像的任何辅助信息有关。所述元数据可以包括，但不限于如下信息：颜色空间或色域信息、动态范围信息、色调映射信息、或其它预测器、尺度上推(upscaling)和量化器算子，例如在此描述的那些。
在实施例中，通过使得预测上采样值(例如颜色变换150的输出153)与全空间分辨率的输入指导图像(例如S’112或V 105)之间的误差度量(例如均方误差(MSE))最小化来估计用于将YCbCr 4∶2∶0数据转换为YCbCr 4∶4∶4数据的滤波器系数。也可以在解码器中的上采样处理期间应用相同滤波器。
图2描述了根据实施例的分层视频解码器的示例实现。解码系统200接收编码比特流202，其包括在解复用220之后被提取的基本层227、增强层(或残差)222和元数据225。例如，在VDR-SDR系统中，基本层227可以表示编码信号的SDR表示，元数据225可以包括编码器中使用的与预测(160)和颜色变换操作(150)有关的信息。可以使用基本层解码器210对编码的基本层227进行解码，以输出解码器SDR信号S212。编码的残差222可以被解码(240)、解量化(250)，并且相加到预测器290的输出295，以生成输出VDR信号V 270。
颜色变换单元230可以结合上采样(例如从4∶2∶0到4∶4∶4)。作为使用仅依赖于输入数据212的“盲”上采样技术的替代，230中的上采样处理器可以提取并且应用编码器使用元数据225(或155)信传的上采样有关参数(例如内插滤波器系数)。在解码期间的这样的受指导上采样可以在没有额外计算成本的情况下获得具有改进的视觉质量的视频信号。
受指导图像上采样技术同样也可以应用于视频编码通道中的其它处理步骤。图3描述根据本发明实施例实现的分层编码中的残差层的编码-解码系统。残差信号R 305(175)可以为RGB 4∶4∶4颜色格式。颜色变换单元310位于典型地在YCbCr 4∶2∶0格式下操作的(例如使用MPEG-4视频编码器的)残差编码330之前，其中，可以将输入305颜色变换并且下采样为YCbCr 4∶2∶0。并行地，根据本发明实施例，可通过输入R 305指导上采样处理器320以计算优化的上采样滤波系数。可以例如使用元数据322将这些滤波系数信传到解码器。在接收机上，颜色变换单元350可以从元数据322提取优化的上采样滤波系数，并且在将解码的YCbCr 4∶2∶0数据342上采样到RGB 4∶4∶4数据355的处理期间应用它们。
图4描述根据本发明实施例的示例单层视频编码系统。如图4中描述的那样，处理器410可以对输入信号VI 405的至少一个颜色分量进行下采样。经下采样的输出412由视频编码器430(例如MPEG-4编码器)进行编码，并且发送到包括视频解码器440(例如MPEG-4解码器)和上采样处理器450的接收机(400-D)。在编码器(400-E)上，上采样单元420可以根据本发明实施例中描述的方法执行受指导上采样，并且可以使用来自全分辨率输入VI 405和子采样信号412的信息来推导出优化的上采样滤波系数。可以例如使用元数据422将优化的滤波器系数信传到解码器(400-D)。因此，可以使用与上采样单元420生成的优化系数集合相同的优化系数集合在处理单元450中对视频编码器(430)的输出442进行上采样。
用于受指导图像上采样的滤波器设计
普通2D不可分离滤波器
为了简单而不失一般性，给定包括多个颜色分量(例如YCbCr或RGB)的输入图像，我们考虑单个颜色分量(例如Cb或R)的受指导图像上采样处理。可以根据需要对于需要上采样的任何图像颜色分量重复在此描述的方法。
在用于使用2D内插或上采样滤波器以因子2进行上采样的示例实施例中，图5描述要被以因子2上采样并且生成如方形510描述的6×6像素阵列的由圆圈520表示的已知输入像素的3×3阵列。输入像素表示为cj，，并且预测的或上采样的像素表示为然后对于每个输入像素(例如520-11)生成四个新的估计的像素(例如510-22、510-23、510-32和510-33)。在实施例中，上采样处理可以表示为不可分离有限冲激响应(finite impulseresponse，FIR)滤波器：
对于i＝0，1，2，3，， (1)
其中，(对于从0到2的x和y)表示滤波系数。例如，在图5中，表示为方形510-22。
现考虑与上采样处理的输出具有相同目标分辨率的指导图像D，其中，像素数据在此表示为例如，如图4中描述的那样，指导图像可以是输入图像VI 405的颜色分量。推导滤波器系数的问题可以表示为误差最小化问题。在实施例中，生成滤波器系数，从而使得指导像素数据与预测的上采样像素数据之间的最小均方误差(MSE)最小化。这可以公式化为：
其中，p表示上采样的图像中的总输出像素。例如，如果输出上采样的图像具有m行和n列的分辨率，则对于每个颜色分量，p＝mn。
可以使用各种已知数值技术(例如″Applied Multivariate StatisticalAnalysis，”R.A.Johnson，and D.W.Wichern，5th Edition，Prentice Hall，2001中描述的技术)来求解公式(2)。在示例实施例中，滤波系数表示为
对于3×3滤波器，给定输入像素数据矢量(520)
可以从输入子采样数据形成p×9矩阵C为
相似地，p×4指导数据矩阵R可以形成为
其中
然后，估计的(上采样的)像素可以表示为
其中
从公式(1-9)，估计的像素可以表示为
在实施例中，优化目标是使得指导输入数据与估计的输出上采样的数据之间的估计的误差最小化，其从公式(2)可以表示为：
可以经由以下来获得在最小二乘方意义上优化的解。
M＝(CTC)-1CTR. (12)
从公式(3)，对于要被上采样的每个颜色分量(例如Cb和Cr)，该实施例可以计算4＊9＝36个系数，其可以通过使用元数据或其它手段而被信传到解码器。可以根据需要来更新滤波器系数集合(M)。在一些实施例中，对于给定的颜色分量，可以对于每个帧计算一次M。在其它实施例中，可以基于各图像区域而更新M。在一些其它实施例中，可以基于各场景而更新M。在其它实施例中，对于一个颜色分量(例如Cb)计算的M值同样可以应用于相同图像的其它颜色分量(例如Cr)。
关于图1的实施例，颜色变换单元150中的上采样可以使用来自输入图像S’112或输入图像V 105的R像素作为指导图像。
如图5描述并且由公式(1)表示的那样，1∶2像素上采样滤波的实施例利用3×32D滤波器。在此描述的方法可以容易地扩展为支持其它滤波器大小(例如2×2、5×5、7×7等)和其它上采样比率(例如1∶3、1∶4等)。所述方法还可应用于更简单的1D滤波器。在实施例中，在公式(1)和(3)中，可以通过设置和并且仅对于(对于y＝0，1和2)求解来定义3抽头1D滤波器。
对称2D不可分离滤波器
在公式(1)中，每个上采样的图像像素被使用其自身的滤波系数集合来预测。为了减少需要信传到解码器的系数的数量，可以通过在上采样的像素之间共享滤波器系数来减少滤波器系数的总数。在示例实施例中，可以使用相同滤波器系数来估计上采样的图像数据的奇数和偶数行。
返回图5，在实施例中，可以如下公式化上采样处理。对于每个输入采样cj，在奇数行中估计两个采样(510-22和510-23)，在偶数行中估计两个采样(510-32和510-33)。对于每个上采样的像素可以使用共享它们的滤波系数的两个2D FIR滤波器来表示上采样处理。
对于i＝0，1，(13)以及
对于i＝2，3(14)
与先前实施例相似，设
表示公式(13)和(14)中使用的滤波器系数的9x2矩阵。
设
以及
并且设输入指导数据
然后，估计的上采样的像素可以表示为
并且从公式(11)和公式(16-26)，可以经由以下来获得最小二乘方意义上的优化的解M
M＝(CTC)-1CTR. (27)
普通3D不可分离滤波器
在特定实施例中，至少一个颜色分量(例如YCbCr中的Y(亮度)分量或RGB中的绿色(G)分量)可能不经受任何下采样，因此保留重要边缘有关信息。如果先前描述的2D上采样滤波器扩展为变为如在此描述的3D滤波器，则可以进一步改进剩余颜色分量(例如YCbCr中的Cb和Cr)的上采样处理。
图6描述根据本发明实施例的用于通过应用3D滤波器以因子2进行上采样的示例输入和输出像素阵列。如前，待上采样的颜色分量(例如Cb)的输入像素表示为cj，预测的或上采样的像素表示为相同指导图像的但来自可以全分辨率得到的另一颜色分量(例如Y)的像素表示为yj(630)。在实施例中，不失一般性地假设在输入数据(cj)上使用3×3 2D滤波器并且在输入指导数据(例如yj像素)的分离分量上使用4×2滤波器来计算每个上采样的像素，可以使用以下描述的3D滤波器对于每个输入像素生成四个新的估计的像素：
对于i＝0，1，2，3， (28)
其中，和表示滤波器系数。可以如前所述地通过求解优化问题推导这些滤波器系数
其中，R是公式(6)中定义的指导图像数据的矩阵，并且
其中，给定为具有系数的9×4矩阵(与公式(3)中表示的矩阵相似)和为具有系数的8×4矩阵，
矩阵C表示观测的像素数据。给定
以及
则
并且如前，均方意义上的优化解可以定义为
M＝(CTC)-1CTR. (37)
对称3D不可分离滤波器
先前描述的方法可以容易地扩展到可以应用具有不同数量的像素系数和不同上采样比率的2D和3D滤波器的实施例。
如在2D滤波器的情况下描述的那样，在公式(28)中，如果使用相同滤波器系数来估计上采样的图像数据的偶数和奇数行，则可以减少需要信传到解码器的系数的数量。在实施例中，预测公式可以表示为
对于i＝0和1
对于i＝2和3
使用公式(38)和(39)以及先前应用的相同方法，可以推导优化滤波器系数和
用于受指导上采样的示例处理
图7示出根据本发明示例实现的受指导图像上采样的示例处理。处理开始于步骤710，其中，上采样处理器(例如处理器150、320或420)接收待上采样的输入图像(例如图像143、312或412)以及输入指导图像(例如输入112、305或405)，其中，指导图像具有高于输入图像的空间分辨率的空间分辨率。给定这两个输入，在步骤720中，确定上采样滤波器(例如普通2D不可分离滤波器或对称3D不可分离滤波器)。上采样滤波器可以是固定的并且由编码器和解码器两者可知，或如前文所述，上采样处理可以在包括(但不一定限于)1D上采样滤波器、普通2D上采样滤波器、对称2D上采样滤波器、普通3D上采样滤波器或对称3D上采样滤波器的各种上采样滤波器当中选择滤波器。可以使用可以考虑多个准则(包括可用计算和存储器资源、使用特定滤波器的MSE预测误差以及目标编码效率)的各种方法来执行上采样滤波器的选择。
给定上采样滤波器模型，可以根据预先定义的优化准则来推导滤波器系数集合M。例如，在MSE准则下，可以使用在此描述的使得受指导图像采样与上采样的图像的预测采样之间的MSE最小化的MSE优化技术来推导对于M的优化解。
在对于滤波器系数M求解之后，在一些实施例中，上采样滤波器的系数和(可选的)特性(identity)可以发送到接收机(例如作为元数据)。
可以按被视为在使用可用计算资源的同时保持编码效率所必需的各种间隔来重复上采样处理700。例如，当对视频信号进行编码时，可以对于每个帧、一组帧、帧的一部分或每当指导图像与上采样的图像之间的预测残差超过特定阈值时重复处理700。
受指导颜色瞬时改进(CTI)滤波
如在此使用的那样，术语“颜色瞬时赝像”表示图像或视频处理中的颜色有关赝像。例如，在视频和图像编码中，可以通过解码的图像(例如跨对象的边缘)中的假色的存在来识别这些赝像。这些赝像也可以被称为“颜色渗透”。当使用不同压缩水平来分别地处理图像的每个颜色平面时，颜色瞬时赝像可能产生。例如，在RGB图像中，红色和蓝色平面可被与绿色平面不同地量化。相似地，在YCbCr图像中，Cb与Cr平面可被与Y平面不同地处理。
用于减少颜色瞬时赝像的一种方法是将后处理滤波应用于解码的图像的色度或次要颜色分量。与前文描述的受指导上采样处理相似，受指导CTI滤波推导编码器中的优化滤波系数，并且将它们作为元数据发送到解码器。此外，颜色平面中的像素(例如YCbCr中的Cb或RGB中的B)的滤波可以考虑相同颜色平面中的邻近像素和另一颜色平面中的对应像素(例如、YCbCr中的辉度Y平面，或RGB中的G)的邻近像素两者。
在实施例中，可以基于原始未压缩的数据而在编码器中推导优化滤波器系数。可以根据可用资源和带宽基于各块、帧或场景而估计滤波器系数。在解码器中，滤波器可以应用为后处理(循环之外)滤波器，以改进整体图片质量。
CTI滤波器中的滤波器系数的示例推导
待使用CTI滤波器滤波的图像颜色分量(例如Cb、Cr、R或B)的输入像素表示为cij，并且输出的经滤波的像素表示为相同图像的待滤波的但来自第二颜色分量(例如亮度Y或G)的像素表示为yij。在实施例中，不失一般性地假设使用对于第一颜色分量应用(2N+1)×(2N+1)内核和对于第二颜色分量应用(2M+1)×(2M+1)内核(例如，当N＝M＝1时，3×3和3×3)的通用3D滤波器对每个颜色像素进行滤波，则滤波的输出可以表示为：
其中，mxy和nxy表示滤波器系数。
可以认识到，公式(40)与公式(28)描述的通用3D上采样滤波器十分相似；因此，可以如前所述那样通过求解优化问题来推导公式(40)中的滤波器系数
其中，dij表示基准或指导图像(例如输入V105)的像素。
如前，公式(40)可以通过矩阵形式表示为
并且对于公式(41)的解可以表示为优化问题
其中，R表示包括指导图像数据(dij)的矢量，是具有mxy系数的(2N+1)2×1矢量，是具有nxy系数的(2M+1)2×1矢量，从而
矩阵C表示观测的像素数据(cij和yij)。
如上所述，均方意义上的公式(43)的优化解可以表示为
M＝(CTC)-1CTR. (46)
可以对于需要CIT滤波的颜色分量(例如Cb和Cr或R和B)中的每一个重复该处理。
图8描述根据本发明实施例的用于受指导颜色瞬时改进滤波的示例处理。在步骤810中，编码器(例如图1中描述的系统100)可以首先重构解码的图像(例如V 270)的估计，其会由接收机(例如图2中描述的系统200)接收。例如，可以通过将预测器160的输出(例如信号165)与残差175的编码并且然后解码的版本相加来估计解码器上的重构的图片(例如270)。
在步骤820中，使用公式(46)，其中R基于输入V 105，解码器可以推导优化CTI滤波器系数M。在步骤830中，可以将这些系数和其它滤波参数发送到解码器作为元数据比特流的一部分。在解码器上，在重构信号V270之后，单独的后处理过程可以将CTI滤波器应用于信号V 270，以通过减少颜色有关赝像来改进整体质量。
可以按被视为在使用可用计算资源的同时保持编码效率所必需的各种间隔来重复处理800。例如，当对视频信号进行编码时，可以对于每个帧、一组帧、帧的一部分或每当指导图像与CTI滤波的图像之间的预测残差超过特定阈值时重复处理800。也可以对于可能需要CTI滤波的颜色分量中的每一个重复处理800。
示例计算机系统实现
可以通过计算机系统、电子电路和部件中配置的系统、集成电路(IC)设备(例如微控制器、现场可编程门阵列(FPGA))或另一可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这些系统、设备或部件中的一个或多个的装置来实现本发明实施例。这些计算机和/或IC可以执行、控制或运行与例如在此描述的受指导上采样或CTI滤波有关的指令。计算机和/或IC可以计算与在此描述的受指导图像上采样有关的各种参数或值中的任一个。可以在硬件、软件、固件和其各种组合中实现图像和视频实施例。
本发明特定实现包括执行使得处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、译码器等中的一个或多个处理器可以通过执行处理器可存取的程序存储器中的软件指令来实现上述受指导图像上采样或CTI滤波方法。还以程序产品的形式提供本发明。程序产品可以包括承载包括指令的计算机可读信号集合的任何介质，所述指令当由数据处理器执行时使得数据处理器执行本发明的方法。根据本发明的程序产品可以是各种形式中的任一个。程序产品可以包括例如物理介质(例如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光数据存储介质、包括ROM、闪RAM等的电子数据存储介质等)。可以可选地压缩或加密程序产品上的计算机可读信号。
在以上引述部件(例如软件模块、处理器、组件、设备、电路等)的情况下，除非另外指示，对该部件的引用(包括对“手段”的引用)应理解为作为该部件的等同物包括执行所描述的部件的功能的任何部件(例如功能上等同)，包括结构上不等同于执行本发明所示示例实施例中的功能的所公开的结构的部件。
等同物、扩展、替换和杂项
因此描述了与受指导图像上采样和CTI滤波有关的示例实施例。在前面的说明书中，已经参照可以根据实现方式而变化的大量特定细节描述了本发明实施例。因此，本发明的唯一和排他的指示以及申请人意图认为是本发明的是以发出权利要求的包括任何后续校正的特定形式从本申请发出的权利要求。对于这些权利要求中包含的术语的在此明确地阐述的任何定义应掌控权利要求中所使用的这些术语的意义。因此，权利要求中未明确地陈述的限制、元件、性质、特征、优点和属性不应以任何方式限制该权利要求的范围。相应地，说明书和附图被看作是说明性的而不是限制性的。

Claims (17)

1.一种用于编码器的受指导滤波的方法，该方法包括：
接收指导图像和要由编码器进行编码的目标图像，其中，所述目标图像和指导图像两者都表示相似场景并且各自包括第一颜色分量和第二颜色分量；
利用编码器对所述目标图像进行编码，以生成编码的图像；
利用解码器对所述编码的图像进行解码，以生成解码的图像，所述解码的图像包括解码的第一颜色分量和解码的第二颜色分量；
选择颜色瞬时改进CTI滤波器以对所述解码的图像的像素进行滤波，以生成输出颜色分量图像；
计算用于所述颜色瞬时改进CTI滤波器的CTI滤波系数，其中，滤波系数计算基于使得所述输出颜色分量图像的像素值与所述指导图像中的第二颜色分量的对应像素值之间的误差度量最小化，其中，CTI滤波系数包括第一滤波系数集合和第二滤波系数集合，其中，生成所述输出颜色分量图像包括组合利用所述第一滤波系数集合对所述解码的图像的第一颜色分量进行滤波的结果与利用所述第二滤波系数集合对所述解码的图像的第二颜色分量进行滤波的结果；以及
将CTI滤波系数发送到解码器。
2.如权利要求1所述的方法，还包括：将所述CTI滤波系数与所述编码的图像组合在编码比特流中并将所述编码比特流发送到解码器。
3.如权利要求1所述的方法，其中，从多个可用的滤波器中选择CTI滤波器。
4.如权利要求3所述的方法，其中，所述多个可用的滤波器包括普通3D滤波器和对称3D滤波器。
5.如权利要求3所述的方法，还包括：将所选择的CTI滤波器的特性信传给解码器。
6.如权利要求1所述的方法，其中，所述误差度量包括均方误差(MSE)计算。
7.如权利要求1所述的方法，其中，所述目标图像、指导图像、或解码的图像的第一颜色分量是亮度(Y)分量，而所述目标图像、指导图像、或解码的图像的第二颜色分量是色度颜色分量。
8.如权利要求7所述的方法，其中，所述色度颜色分量是Cb或Cr颜色分量。
9.如权利要求1所述的方法，其中，所述目标图像、指导图像、或解码的图像的第一颜色分量是绿色(G)分量，而所述目标图像、指导图像、或解码的图像的第二颜色分量是红色(R)或蓝色(B)颜色分量。
10.如权利要求1所述的方法，其中，所述指导图像具有比所述目标图像高的动态范围。
11.如权利要求10所述的方法，其中，所述指导图像具有视觉动态范围(VDR)，而所述目标图像具有标准动态范围(SDR)。
12.一种用于解码器中的受指导滤波的方法，该方法包括：
通过解码器接收编码的图像和用于颜色瞬时改进CTI滤波器的CTI滤波系数，其中，CTI滤波系数包括第一滤波系数集合和第二滤波系数集合；
对所述编码的图像进行解码，以生成包括第一颜色分量和第二颜色分量的解码的图像；以及
利用CTI滤波器对所述解码的图像进行滤波，以生成滤波后的颜色分量图像，其中，生成所述滤波后的颜色分量图像包括组合利用所述第一滤波系数集合对所述解码的图像的第一颜色分量进行滤波的结果与利用所述第二滤波系数集合对所述解码的图像的第二颜色分量进行滤波的结果，
其中，所述CTI滤波系数由编码器生成并且通过以下操作来生成：
在所述编码器中对所述编码的图像进行解码，以在所述编码器中生成解码的图像；以及
使得所述编码器中利用所述CTI滤波器滤波后的解码的图像的像素值与通过所述编码器接收的指导图像的对应像素值之间的误差度量最小化，其中，所述指导图像与在所述编码器中生成的解码的图像表示相同的场景。
13.如权利要求12所述的方法，其中，所述误差度量包括均方误差(MSE)计算。
14.如权利要求12所述的方法，其中，所述解码的图像的第一颜色分量是亮度(Y)分量，而所述解码的图像的第二颜色分量是色度(Cb或Cr)颜色分量。
15.一种图像处理装置，包括处理器，并且被配置为执行如权利要求12所述的方法。
16.一种非暂时性计算机可读存储介质，其上存储有用于根据权利要求1所述的方法利用一个或多个处理器执行方法的计算机可执行指令。
17.一种非暂时性计算机可读存储介质，其上存储有用于根据权利要求12所述的方法利用一个或多个处理器执行方法的计算机可执行指令。
CN201510809673.6A 2011-08-09 2012-08-09 用于视频编码和解码中的受指导滤波的方法、装置和存储介质 Active CN105338361B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161521685P 2011-08-09 2011-08-09
US61/521,685 2011-08-09
US201261653234P 2012-05-30 2012-05-30
US61/653,234 2012-05-30
CN201210281757.3A CN102957912B (zh) 2011-08-09 2012-08-09 视频编码中的受指导图像上采样

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201210281757.3A Division CN102957912B (zh) 2011-08-09 2012-08-09 视频编码中的受指导图像上采样

Publications (2)

Publication Number Publication Date
CN105338361A CN105338361A (zh) 2016-02-17
CN105338361B true CN105338361B (zh) 2019-01-04

Family

ID=46754875

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210281757.3A Active CN102957912B (zh) 2011-08-09 2012-08-09 视频编码中的受指导图像上采样
CN201510809673.6A Active CN105338361B (zh) 2011-08-09 2012-08-09 用于视频编码和解码中的受指导滤波的方法、装置和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201210281757.3A Active CN102957912B (zh) 2011-08-09 2012-08-09 视频编码中的受指导图像上采样

Country Status (4)

Country Link
US (2) US9100660B2 (zh)
EP (1) EP2557789B1 (zh)
CN (2) CN102957912B (zh)
HK (1) HK1215771A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901124B1 (ko) * 2013-01-02 2018-09-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 동적 범위를 갖는 초고화질 비디오 신호들에 대한 하위 호환가능한 코딩
CN109064433B (zh) * 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
WO2014168928A1 (en) * 2013-04-08 2014-10-16 General Instrument Corporation Derivation of resampling filters for scalable video coding
GB2516424A (en) * 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
WO2015073377A1 (en) 2013-11-13 2015-05-21 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of edr video
JP2015144423A (ja) * 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
EP2890129A1 (en) * 2013-12-27 2015-07-01 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
US10225624B2 (en) * 2014-01-03 2019-03-05 Interdigital Ce Patent Holdings Method and apparatus for the generation of metadata for video optimization
KR20160103012A (ko) * 2014-01-03 2016-08-31 톰슨 라이센싱 비디오 컨텐츠를 렌더링할 때 초고선명 해상도로의 업스케일링을 최적화하는 방법, 장치, 및 컴퓨터 프로그램 제품
CN105917281B (zh) * 2014-01-22 2018-11-02 西门子公司 电气自动化设备的数字测量输入端以及电气自动化设备
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) * 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US9560330B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
WO2016132153A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Offline training of hierarchical algorithms
WO2016145243A1 (en) * 2015-03-10 2016-09-15 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
WO2017083784A1 (en) 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
WO2017178808A1 (en) 2016-04-12 2017-10-19 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
EP3794828A1 (en) 2018-05-16 2021-03-24 Isize Limited Encoding and decoding image data
US20210084291A1 (en) * 2019-03-11 2021-03-18 Alibaba Group Holding Limited Inter coding for adaptive resolution video coding
US11445222B1 (en) 2019-09-30 2022-09-13 Isize Limited Preprocessing image data
US11223833B2 (en) 2020-01-05 2022-01-11 Isize Limited Preprocessing image data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543228A (zh) * 2003-04-28 2004-11-03 ���ǵ�����ʽ���� 彩色过渡改良中调整彩色边缘中心的方法和装置
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
CN1939048A (zh) * 2004-03-25 2007-03-28 皇家飞利浦电子股份有限公司 用于数字视频处理的利用视频编码量度的亮度瞬态改进

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI88238C (fi) 1991-05-27 1993-04-13 Salora Oy Behandling av en flerdimensionell videosignal
US6510242B1 (en) 1999-10-26 2003-01-21 Sharp Laboratories Of America, Inc. Color image enhancement during YCbCr to RGB color conversion
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7170529B2 (en) 2003-10-24 2007-01-30 Sigmatel, Inc. Image processing
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7724949B2 (en) 2004-06-10 2010-05-25 Qualcomm Incorporated Advanced chroma enhancement
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CA2570090C (en) 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8149336B2 (en) 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
KR101256030B1 (ko) 2009-03-10 2013-04-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 확장된 동적 범위 및 확장된 차수 이미지 신호 변환
EP2406959B1 (en) 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543228A (zh) * 2003-04-28 2004-11-03 ���ǵ�����ʽ���� 彩色过渡改良中调整彩色边缘中心的方法和装置
CN1939048A (zh) * 2004-03-25 2007-03-28 皇家飞利浦电子股份有限公司 用于数字视频处理的利用视频编码量度的亮度瞬态改进
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Content-adaptive resolution enhancement of compressed video with encoder-generated side information;Fei Zuo et al.;《IEEE SECOND INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING, ICEE 2008》;20080325;全文 *
Steffen Wittmann.SEI message on post-filter hints.《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 no.JCTVC-U035》.2006, *

Also Published As

Publication number Publication date
CN102957912B (zh) 2016-01-20
EP2557789B1 (en) 2017-09-27
CN105338361A (zh) 2016-02-17
EP2557789A2 (en) 2013-02-13
US20130039430A1 (en) 2013-02-14
CN102957912A (zh) 2013-03-06
US20150319450A1 (en) 2015-11-05
HK1215771A1 (zh) 2016-09-09
EP2557789A3 (en) 2013-04-17
US9100660B2 (en) 2015-08-04
US9338470B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
CN105338361B (zh) 用于视频编码和解码中的受指导滤波的方法、装置和存储介质
JP6490178B2 (ja) 複数色チャネル多重回帰予測器
CN103535038B (zh) 用于分层vdr编码的有效架构
CN103493489B (zh) 基于原色分级模型的图像预测
JP5589006B2 (ja) 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
CN105580369B (zh) 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
JP4875162B2 (ja) 画像強調
US8743291B2 (en) Quality assessment for images that have extended dynamic ranges or wide color gamuts
US8897581B2 (en) Guided post-prediction filtering in layered VDR coding
US7876323B2 (en) Display apparatus and display method, learning apparatus and learning method, and programs therefor
KR20210023158A (ko) 초고선명 텔레비전 영상 제공 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1215771

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant