CN103210648B - 使用基于块的混合分辨率数据修剪的视频解码 - Google Patents

使用基于块的混合分辨率数据修剪的视频解码 Download PDF

Info

Publication number
CN103210648B
CN103210648B CN201180053976.XA CN201180053976A CN103210648B CN 103210648 B CN103210648 B CN 103210648B CN 201180053976 A CN201180053976 A CN 201180053976A CN 103210648 B CN103210648 B CN 103210648B
Authority
CN
China
Prior art keywords
block
picture
trimmed
blocks
version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180053976.XA
Other languages
English (en)
Other versions
CN103210648A (zh
Inventor
张冬青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103210648A publication Critical patent/CN103210648A/zh
Application granted granted Critical
Publication of CN103210648B publication Critical patent/CN103210648B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

公开了一种用于恢复视频序列中画面的修剪版本的方法和装置。一种装置包括用于识别画面的修剪版本中一个或多个被修剪的块的被修剪块识别器（610）。该装置还包括用于对用来恢复画面的修剪版本的元数据进行解码的元数据解码器（615）。元数据包括一个或多个替换块的位置信息。该装置还包括用于分别生成一个或多个被修剪的块的一个或多个替换块的块还原器（620）。

Description

使用基于块的混合分辨率数据修剪的视频解码
相关申请的交叉引用
本申请要求提交于2010年9月10日的美国临时专利申请序列号第61/403087号（Technicolor公司案卷号第PUl00194号）标题为《BLOCK-BASED MIXED-RESOLUTION DATAPRUNING FOR IMPROVING VIDEO COMPRESSION EFFICIENCY》的权益。
本申请涉及下列共同未决、共同拥有的专利申请：
（1）提交于2011年1月20日标题为《A SAMPLING-BASED SUPER-RESOLUTIONAPPROACH FOR EFFICIENT VIDEO COMPRESSION》的国际（PCT）专利申请序列号第PCT/US11/000107号（Technicolor公司案卷号第PUl00004号）；
（2）提交于2011年1月21日标题为《DATA PRUNING FOR VIDEO COMPRESSION USINGEXAMPLE-BASED SUPERRE-SOLUTION》的国际（PCT）专利申请序列号第PCT/US11/000117号（Technicolor公司案卷号第PUl00014号）；
（3）提交于2011年9月XX日标题为《METHODS AND APPARATUS FOR ENCODING VIDEOSIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEOCOMPRESSION》的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00190号）；
（4）提交于2011年9月XX日标题为《METHODS AND APPARATUS FOR DECODING VIDEOSIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEOCOMPRESSION》的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00266号）；
（5）提交于2011年9月XX日标题为“METHODS AND APPARATUS FOR ENCODING VIDEOSIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00193号）；
（6）提交于2011年9月XX日标题为“METHODS AND APPARATUS FOR DECODING VIDEOSIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00267号）；
（7）提交于2011年9月XX日标题为“METHODS AND APPARATUS FOR ENCODING VIDEOSIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00194号）；
（8）提交于2011年9月XX日标题为“METHODS AND APPARATUS FOR EFFICIENTREFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCHAND RANKING”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00195号）；
（9）提交于2011年9月XX日标题为“METHOD AND APPARATUS FOR EFFICIENTREFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCHAND RANKING”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl10106号）；
（10）提交于2011年9月XX日标题为“METHOD AND APPARATUS FOR ENCODING VIDEOSIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00196号）；
（11）提交于2011年9月XX日标题为“METHOD AND APPARATUS FOR DECODING VIDEOSIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl00269号）；以及
（12）提交于2011年9月XX日标题为“PRUNING DECISION OPTIMIZATION INEXAMPLE-BASED DATA PRUNING COMPRESSION”的国际（PCT）专利申请序列号第XXXX号（Technicolor公司案卷号第PUl0197号）。
技术领域
本发明的原理一般地涉及视频编码和解码，更具体地涉及用于提升视频压缩效率的基于块的混合分辨率数据修剪（pruning）的方法和装置。
背景技术
目前已经存在若干种不同的用于数据修剪以提升视频编码效率的方法。例如，第一种方法是垂直和水平线去除。第一种方法在编码之前除去视频帧中的垂直和水平线，并在解码之后通过非线性内插恢复这些线。除去哪条线通过该条线是否包括高频信号确定。第一种方法的问题在于第一种方法缺乏选择性地除去像素的灵活性。也就是说，第一种方法可能除去包括不容易恢复的重要像素的线，尽管整体上该线包括少量的高频信号。
相对于上述第一种方法的另一类方法是基于块去除，这种方法除去并恢复块而不是线。然而，这些其他类的方法使用环内（in-loop）方法，意味着必须对编码器结构进行修改以适应块去除。因此，由于必须对编码器进行修改，其他类的方法并不是严格基于预处理的方法。
发明内容
本发明的原理针对这些方法的这些和其他的缺陷和不利因素，提出了用于提升视频压缩效率的基于块的混合分辨率数据修剪的方法和装置。
根据本发明的原理的一个方面，提供了一种用于对视频序列中的画面进行编码的装置。所述装置包括用于识别画面的原始版本中待修剪的一个或多个原始块的待修剪块识别器。所述装置还包括用于通过分别生成一个或多个待修剪的原始块的一个或多个替换块来生成画面的修剪版本的块替换器。所述装置还包括用于生成用于对画面的修剪版本进行恢复的元数据的元数据生成器。所述元数据包括一个或多个替换块的位置信息。所述装置附加地包括用于对画面的修剪版本和元数据进行编码的编码器。
根据本发明的原理的另一个方面，提供了一种用于对视频序列中的画面进行编码的方法。所述方法包括识别画面的原始版本中待修剪的一个或多个原始块。所述方法还包括通过分别生成一个或多个待修剪的原始块的一个或多个替换块来生成画面的修剪版本。所述方法还包括生成用于对画面的修剪版本进行恢复的元数据。所述元数据包括一个或多个替换块的位置信息。所述方法附加地包括使用至少一个编码器对画面的修剪版本和元数据进行编码。
根据本发明的原理的另一个方面，提供了一种用于恢复视频序列中画面的修剪版本的装置。所述装置包括用于识别画面的修剪版本中一个或多个被修剪的块的被修剪块识别器。所述装置还包括用于对用来恢复画面的修剪版本的元数据进行解码的元数据解码器。所述元数据包括一个或多个替换块的位置信息。所述装置还包括用于分别生成一个或多个被修剪的块的一个或多个替换块的块恢复器。
根据本发明的原理的另一个方面，提供了一种用于对视频序列中画面的修剪版本进行恢复的方法。所述方法包括识别画面的修剪版本中一个或多个被修剪的块。所述方法还包括使用解码器对用于对画面的修剪版本进行恢复的元数据进行解码。所述元数据包括一个或多个替换块的位置信息。所述方法还包括分别生成一个或多个被修剪的块的一个或多个替换块。
根据本发明的原理的另一个方面，提供了一种用于对视频序列中的画面进行编码的装置。所述装置包括用于识别画面的原始版本中待修剪的一个或多个原始块的部件。所述装置还包括用于通过分别生成一个或多个待修剪的原始块的一个或多个替换块来生成画面的修剪版本的部件。所述装置还包括用于生成用于对画面的修剪版本进行恢复的元数据的部件。所述元数据包括一个或多个替换块的位置信息。所述装置附加地包括用于对画面的修剪版本和元数据进行编码的部件。
根据本发明的原理的另一个方面，提供了一种用于对视频序列中画面的修剪版本进行恢复的装置。所述装置包括用于识别画面的修剪版本中一个或多个被修剪的块的部件。所述装置还包括用于对用来恢复画面的修剪版本的元数据进行解码的部件。所述元数据包括一个或多个替换块的位置信息。所述装置还包括用于分别生成一个或多个被修剪的块的一个或多个替换块的部件。
附图说明
结合附图阅读以下示例性实施例的详细说明，本发明的原理的这些和其他方面、特征和优点将变得明显。
参照以下示例性附图可以更好地理解本发明的原理，附图中：
图1是示出根据本发明的原理的实施例的基于块的混合分辨率的数据修剪系统/方法的高级框图的框图；
图2是示出根据本发明的原理的实施例的可以应用本发明的原理的示例性视频编码器的框图；
图3是示出根据本发明的原理的实施例的可以应用本发明的原理的示例性视频解码器的框图；
图4是示出根据本发明的原理的实施例的用于基于块的混合分辨率数据修剪的示例性系统的框图；
图5是示出根据本发明的原理的实施例的用于进行基于块的混合分辨率数据修剪以压缩视频的示例性方法的流程图；
图6是示出根据本发明的原理的实施例的用于基于块的混合分辨率数据修剪的数据恢复示例性系统的框图；
图7是示出根据本发明的原理的实施例的用于基于块的混合分辨率数据修剪以压缩视频的数据恢复示例性方法的流程图；
图8是示出根据本发明的原理的实施例的示例性混合分辨率帧的图；
图9是示出在空间频率空间中示出的根据本发明的原理的实施例的基于块的混合分辨率数据修剪过程的实例的图；
图10是示出根据本发明的原理的实施例的用于元数据编码的示例性方法的流程图；
图11是示出根据本发明的原理的实施例的用于元数据解码的示例性方法的流程图；以及
图12是示出根据本发明的原理的实施例的示例性块ID的图。
具体实施方式
本发明的原理主要涉及用于基于块的混合分辨率数据修剪以提升视频压缩效率的方法和装置。
本说明书对本发明的原理进行了说明。因此，应该理解的是，本领域的技术人员能够设计出虽然没有在本说明书中明确描述或示出但是体现了本发明的原理并被包括在本发明的精神和范围之内的各种布置。
本说明书中详述的所有的示例和条件性语言都旨在用作帮助读者理解本发明的原理以及发明人所贡献的促进本技术领域发展的想法的教导目的，并应该被解释为不限于这些具体陈述的示例和条件。
此外，本说明书中所有详述的本发明的原理、方面和实施例以及其特定例子的陈述都旨在同时包括其结构和功能的等价物。并且，这些等价物旨在包括当前已知的等价物和将在未来开发的等价物，即任何被开发出来执行相同功能而不论其结构如何的元件。
因此，例如，本领域的技术人员应该理解的是，本说明书中出现的框图表示实施本发明原理的示例性电路系统的概念图。类似地，应该理解的是，任何流程表、流程图、状态转换图、伪码等表示可在计算机可读介质中被实质性表示并由计算机或处理器执行的各种过程，不论这些计算机或处理器是否明确地显示出来。
图中所示的各种元件的功能可以通过使用专用硬件和能够联合合适的软件执行软件的硬件提供。当由处理器提供时，该功能可以由单个专用的处理器或单个共用的处理器或其中有一些可以共用的多个独立的处理器提供。并且，明确的使用术语“处理器”或“控制器”不应该被解读为排他性地专指能够执行软件的硬件，而应该被解读为没有限制地、隐含地包括数字信号处理器（DSP）硬件、用于存储软件的只读存储器（ROM）、随机存储器（RAM）和非易失性存储器。
还可以包括其他常规和/或定制的硬件。相似地，图中示出的任何开关都只是概念性的。它们的功能可以通过执行程序逻辑、专用逻辑、程序控制和专用逻辑交互或者甚至手动进行，实施者可以根据对上下文更加详细的理解来选择特定的技术。
在本说明书的权利要求中，任何被表达为执行特定功能的部件的元件都旨在包括执行该功能的任何方式，包括例如a）执行该功能的电路元件的组合或b）包括与合适的用于执行软件以完成该功能的电路组合在一起的固件、微码等的任何形式的软件。这些权利要求所限定的本发明的原理在于各列举部件所提供的功能以权利要求要求保护的方式组合并放置在一起的事实。因此，人们认为任何能够提供这些功能的部件与那些在本说明书中示出的部件都是等效的。
本说明书中提及本发明的原理的“一个实施例”或“实施例”以及其他变型的意思是指与实施例联系在一起描述的特定特征、结构或特性等被包括在本发明原理的至少一个实施例内。因此，出现在整篇说明书的各个地方的用语“在一个实施例中”或“在实施例中”以及其他变型不一定都是指同一个实施例。
应该理解的是，使用“/”、“和/或”以及“之中的至少一个”中的任何一个或多个，例如，在“A/B”、“A和/或B”以及“A和B中的至少一个”的情形中，旨在包括只选择列出的第一选项（A），或只选择列出的第二选项（B），或同时选择这两个选项（A和B）。作为进一步的例子，在“A、B和/或C”以及“A、B和C中的至少一个”的情形中，这种用语旨在包括只选择列出的第一选项（A），或只选择列出的第二选项（B），或只选择列出的第三选项（C），或只选择列出的第一和第二选项（A和B），或只选择列出的第一和第三选项（A和C），或只选择列出的第二和第三选项（B和C），或选择全部的三个选项（A、B和C）。本技术领域和相关技术领域中的一个普通技术人员可以非常轻易地将其推广至列出更多项目。
并且，词语“画面”和“图像”在本说明书中可以可交换地使用，是指静态的图像或视频序列中的画面。众所周知，画面可以是一帧或半帧。
此外，应该理解的是，词语“恢复”和“复原”在本说明书中可以可交换地使用。
如以上所提到的，本发明的原理主要涉及用于提升视频压缩效率的基于块的混合分辨率数据修剪。数据修剪是通过在对输入视频数据进行编码之前除去输入视频数据中的一部分以获得更佳的视频编码效率的视频预处理技术。被除去的视频数据通过在解码器侧根据已解码数据推算来恢复。数据修剪的一个实例是图像线去除，它除去输入视频中的某些水平和垂直扫描线。
根据本发明的原理公开了一种用于对视频进行修剪的混合分辨率数据修剪方案的框架，其中使用低分辨率（low-res）块或平坦块（flat block）替代视频中的高分辨率（high-res）块。根据本发明的原理还公开了一种对被修剪的块的位置进行编码的元数据编码方案，它使用图像处理技术和熵编码的组合。
根据本发明的一个实施例，一个视频帧被划分成若干个不重叠的块，并使用低分辨率块或简单平坦块替代这些块中的某一些块。然后将修剪后的视频发送到视频编码器以供压缩。修剪处理有望实现更加高效的视频编码，因为视频帧中的某些块被具有更少高频信号的低分辨率或平坦块替代。被替代的块可以通过各种现有算法（如，图像修补（inpainting）、纹理合成等）恢复。根据本发明的原理，我们公开了如何编码和发送恢复处理所需的元数据。
与先前提及的其它类的用来改善视频压缩的数据修剪方法不同，本发明的原理提供了一种严格的环外（out-of-loop）方法，其中编码器和解码器保持完整（intact），并被视为黑箱，可以用任何编码（或解码）标准或实施方式替代。这种环外方法的优点在于，用户不需要改变编码或解码工作流程，而改变编码或解码工作流程在某些情况下可能是不可行的。
转到图1，标号100整体表示基于块的混合分辨率数据修剪系统/方法的高级框图。提供输入视频，并在步骤110（通过编码器侧预处理器151）进行编码器侧预处理以获得预处理过的帧。在步骤115，（通过编码器152）对预处理过的帧进行编码。在步骤120，（通过解码器153）对已编码帧进行解码。在步骤125，（通过解码器侧后处理器154）对已解码帧进行后处理以提供输出视频。
数据修剪处理在编码器侧预处理器151中进行。随后将修剪过的视频发送到编码器152。然后将已编码视频连同恢复所需的元数据发送到解码器153。解码器153对修剪后的视频进行解压缩，解码器侧后处理器154在有或没有接收到的元数据的情况下从被修剪的视频中恢复原始视频（因为在某些情况下，恢复可能不需要，并因此不使用元数据）。
转到图2，标号200整体表示可以应用本发明的原理的示例性视频编码器。视频编码器200可以用作例如图1中所示的视频编码器152。视频编码器200包括具有与组合器285的非反相输入端信号通信的输出端的帧排序缓冲器210。组合器285的输出端与变换器和量化器225的第一输入端信号通信连接。变换器和量化器225的输出端与熵编码器245的第一输入端和逆变换器和逆量化器250的第一输入端信号通信连接。熵编码器245的输出端与组合器290的第一非反相输入端信号通信连接。组合器290的输出端与输出缓冲器235的第一输入端信号通信连接。
编码器控制器205的第一输出端与帧排序缓冲器210的第二输入端、逆变换器和逆量化器250的第二输入端、画面类型判定模块215的输入端、宏块类型（MB类型）判定模块220的第一输入端、帧内预测模块260的第二输入端、去块滤波器265的第二输入端、运动补偿器270的第一输入端、运动估计器275的第一输入端以及参考画面缓冲器280的第二输入端信号通信连接。
编码器控制器205的第二输出端与辅助增强信息（SEI）插入器230的第一输入端、变换器和量化器225的第二输入端、熵编码器245的第二输入端、输出缓冲器235的第二输入端以及序列参数集（SPS）和画面参数集（PPS）插入器240的输入端信号通信连接。
SEI插入器230的输出端与组合器290的第二非反相输入端信号通信连接。
画面类型判定模块215的第一输出端与帧排序缓冲器210的第三输入端信号通信连接。画面类型判定模块215的第二输出端与宏块类型判定模块220的第二输入端信号通信连接。
序列参数集（SPS）和画面参数集（PPS）插入器240的输出端与组合器290的第三非反相输入端信号通信连接。
逆量化器和逆变换器250的输出端与组合器219的第一非反相输入端信号通信连接。组合器219的输出端与帧内预测模块260的第一输入端和去块滤波器265的第一输入端信号通信连接。去块滤波器265的输出端与参考画面缓冲器280的第一输入端信号通信连接。参考画面缓冲器280的输出端与运动估计器275的第二输入端和运动补偿器270的第三输入端信号通信连接。运动估计器275的第一输出端与运动补偿器270的第二输入端信号通信连接。运动估计器275的第二输出端与熵编码器245的第三输入端信号通信连接。
运动补偿器270的输出端与开关297的第一输入端信号通信连接。帧内预测模块260的输出端与开关297的第二输入端信号通信连接。宏块类型判定模块220的输出端与开关297的第三输入端信号通信连接。开关297的第三输入端确定开关的“数据”输入（与控制输入相对，即第三输入端）是由运动补偿器270提供，还是由帧内预测模块260提供。开关297的输出端与组合器219的第二非反相输入端和组合器285的反相输入端信号通信连接。
帧排序缓冲器210的第一输入端和编码器控制器205的输入端可用作编码器200的输入端，用于接收输入画面。此外，辅助增强信息（SEI）插入器230的第二输入端可以用作编码器200的输入端，用于接收元数据。输出缓冲器235的输出端可以用作编码器200的输出端，用于输出比特流。
转到图3，标号300整体表示可以应用本原理的示例性视频解码器。视频解码器300可以被用作例如图1中所示的视频解码器153。视频解码器300包括具有与熵解码器345的第一输入端信号通信连接的输出端的输入缓冲器310。熵解码器345的第一输出端与逆变换器和逆量化器350的第一输入端信号通信连接。逆变换器和逆量化器350的输出端与组合器325的第二非反相输入端信号通信连接。组合器325的输出端与去块滤波器365的第二输入端和帧内预测模块360的第一输入端信号通信连接。去块滤波器365的第二输出端与参考画面缓冲器380的第一输入端信号通信连接。参考画面缓冲器380的输出端与运动补偿器370的第二输入端信号通信连接。
熵解码器345的第二输出端与运动补偿器370的第三输入端、去块滤波器365的第一输入端和帧内预测器360的第三输入端信号通信连接。熵解码器345的第三输出端与解码器控制器305的输入端信号通信连接。解码器控制器305的第一输出端与熵解码器345的第二输入端信号通信连接。解码器控制器305的第二输出端与逆变换器和逆量化器350的第二输入端信号通信连接。解码器控制器305的第三输出端与去块滤波器365的第三输入端信号通信连接。解码器控制器305的第四输出端与帧内预测模块360的第二输入端、运动补偿器370的第一输入端和参考画面缓冲器380的第二输入端信号通信连接。
运动补偿器370的输出端与开关397的第一输入端信号通信连接。帧内预测模块360的输出端与开关397的第二输入端信号通信连接。开关397的输出端与组合器325的第一非反相输入端信号通信连接。
输入缓冲器310的输入端可用作解码器300的输入端，用于接收输入比特流。去块滤波器365的第一输出端可用作解码器300的输出端，用于输出输出画面。
转到图4，标号400整体表示基于块的混合分辨率数据修剪的示例性系统。系统400包括具有与待修剪块识别器410的输入端信号通信连接的输出端的划分器405。待修剪块识别器410的第一输出端与块替换器415的输入端信号通信连接。待修剪块识别器410的第二输出端与元数据编码器420的输入端信号通信连接。划分器405的输入端可用作系统400的输入端，用于接收要划分成若干非重叠块的原始视频。块替换器415的输出端可用作系统400的输出端，用于输出混合分辨率视频。元数据编码器的输出端可用作系统400的输出端，用于输出已编码元数据。
转到图5，标号500整体表示用于视频压缩的基于块的混合分辨率数据修剪的示例性方法。在步骤505，输入视频帧。在步骤510，将视频帧划分成若干非重叠块。在步骤515，对每个块执行循环。在步骤520，确定是否修剪当前块。如果是，那么方法前进到步骤525。否则，方法返回步骤515。在步骤525，对块进行修剪，并保存对应的元数据。在步骤530，确定是否已经完成（正在被处理的）所有块。如果是，那么将控制权传递到功能块535。否则，方法返回到步骤515。在步骤530，输出已修剪帧和对应的元数据。
参照图4和图5，在修剪处理期间，首先将输入帧划分成若干非重叠块。然后进行待修剪块识别处理以识别可以修剪的、可恢复的块。将被修剪的块的坐标保存为元数据，将元数据编码并发送到解码器侧。使用低分辨率块或简单平坦块来替代准备被修剪的块。结果是视频帧的某些块具有高分辨率，某些块具有低分辨率（即，混合分辨率帧）。
转到图6，标号600整体表示用于基于块的混合分辨率数据修剪的数据恢复的示例性系统。系统600包括具有与被修剪块识别器610的第一输入端信号通信连接的输出端的划分器605。元数据解码器615的输出端与被修剪块识别器610的第二输入端和块还原器620的第二输入端信号通信连接。被修剪块识别器610的输出端与块还原器620的第一输入端信号通信连接。划分器605的输入端可用作系统600的输入端，用于接收要划分成若干非重叠块的被修剪混合分辨率视频。元数据编码器615的输入端也可用作系统600的输入端，用于接收已编码元数据。块还原器620的输出端可用作系统600的输出端，用于输出恢复的视频。
转到图7，标号700整体表示用于用来视频压缩的基于块的混合分辨率数据修剪的数据恢复的示例性方法。在步骤705，输入已修剪的混合分辨率帧。在步骤710，将帧划分成若干非重叠块。在步骤715，对每个块执行循环。在步骤720，确定当前块是否是被修剪的块。如果是，那么方法前进到步骤725。否则，方法返回到步骤715。在步骤725，对块进行还原。在步骤730，确定是否已经完成（正在被处理的）所有块。如果是，那么方法前进到步骤735。否则，方法返回到步骤715。在步骤715，输出恢复的帧。
参照图6和图7，在恢复处理期间，借助于元数据识别被修剪的块。并且，使用各种算法（如，修补）借助于或不借助于元数据使用块还原处理恢复被修剪的块。块还原和识别可以用不同的插入（plug-in）方法替换，而这些方法并非本发明的原理的焦点所在。也就是说，本发明的原理不以任何特定的块还原和识别处理为基础，因此，根据本发明的原理的教导，在保持本发明的原理的精神的同时，可以使用任何合适的块还原和识别处理。
修剪处理
首先将输入视频帧划分成若干非重叠块。块大小可以变化，例如16乘16像素或8乘8像素。然而，人们希望此处的块划分与编码器所使用的块划分相同，从而可以获得最高压缩效率。例如，在根据国际标准化组织/国际电工委员会（ISO/IEC）移动画面专家组4（MPEG-4）第10部分高级视频编码（AVC）标准/国际电信联盟电信标准化部门（ITU-T）H.264建议书（下文中“MPEG-4AVC标准”）的编码中，宏块为16乘16像素。因此，在涉及MPEG-4AVC标准的实施例中，用于数据修剪的块大小优选地选择为16乘16像素。
对于每个块，块识别处理将确定该块是否应该被修剪。虽然这可以基于各种标准，但应该根据还原处理确定该标准。例如，如果使用修补方法来还原块，那么该准则应该是该块是否可以使用特定的修补处理来还原。如果该块可以通过修补处理恢复，那么将该块标记为待修剪块。
在待修剪块被识别出来之后，待修剪块将会用低分辨率块或平坦块来替代，得到混合分辨率帧。转到图8，标号800整体表示示例性混合分辨率帧。从图8中可以看出，帧的某些部分具有高分辨率，而帧的某些部分以平坦块替代。低分辨率或平坦块中的高频信号在修剪过程中被除去。因此，可以更加高效地对低分辨率或平坦块进行编码。转到图9，标号900整体表示在空间频率空间中示出的基于块的混合分辨率数据修剪处理的实例。平坦块基本上是仅保留其DC分量的块，而低分辨率块是除去了某些AC分量的块。在实践中，如果决定以平坦块替代被修剪的块，那么首先可以计算输入块的平均颜色，然后将块内的所有像素的颜色设置成平均颜色。此处理相当于仅保留块的DC分量。如果决定以低分辨率块替代被修剪的块，那么对输入块应用低通滤波器，并用经过低通滤波后的版本替代该块。无论使用平坦块还是低分辨率块，低通滤波器的参数都应该根据使用的还原算法的类型来确定。
元数据编码和解码
为了在恢复处理中正确地还原被修剪的块，必须将块的位置（用元数据表示）发送到解码器侧。一种简单方法是使用通用无损数据压缩算法来压缩位置数据。然而，对于本系统，由于以下事实，可以获得更佳的压缩效率，即：被修剪的块为低分辨率或平坦块，并且可以通过检测被修剪的块是否包括高频信号来识别这些低分辨率和平坦块。
假设被修剪的块的最高频率是Fm，该频率通过修剪和还原算法预先确定，然后可以计算出高于最高频率Fm的信号分量的能量。如果该能量小于阈值，那么该块是潜在的被修剪的块。这可以通过首先对块图像应用低通滤波器，然后从输入块图像中减去滤波过的块图像，接着计算高频信号的能量实现。在数学上，存在下式：
E=|B-HB| （1）
其中，E是高频信号的能量，B是输入块图像，H是具有带宽Fm的低通滤波器，HB是B经过低通滤波后的版本。|.|是计算图像的能量的函数。
然而，上述过程并不是百分之百可靠的，因为未被修剪的块也可能是平坦或平滑的。因此，还有必要向解码器发送“残差”，即假阳性（false positive）块的坐标和识别处理遗漏的块的坐标。
理论上，可以向解码器侧发送3个分量，即阈值、假阳性块的坐标和遗漏的块的坐标。然而，为了简化处理，在编码器侧，阈值可以变化以识别出所有被修剪的块。因此，不存在遗漏的块。这种处理可能会导致一些假阳性块，它们是具有较低的高频能量的未被修剪的块。因此，如果假阳性块的数量大于被修剪的块的数量，那么只发送所有被修剪的块的坐标，并将信令标志设置为0。否则，发送假阳性块的坐标，并将信令标志设置为1。
转到图10，标号1000整体表示用于对元数据进行编码的示例性方法。在步骤1005，输入已经修剪过的帧。在步骤1010，进行低分辨率块识别。在步骤1015，确定在低分辨率块识别中是否存在任何遗漏。如果是，那么方法前进到步骤1020。否则，方法前进到步骤1050。在步骤1020，确定假阳性是否比修剪过的块多。如果是，那么方法前进到步骤1040。否则，方法前进到步骤1045。在步骤1040，使用被修剪的块的序列，并将标志设置为零。在步骤1025，进行差分计算。在步骤1030，进行无损编码。在步骤1035，输出已编码元数据。在步骤1045，使用假阳性序列，并将标志设置为一。在步骤1050，调整阈值。
因此，提供了下列示例性的元数据序列：
“标志”分段是指示接下来的序列是假阳性块还是被修剪过的块的坐标的二进制数。数值“阈值”用于使用等式（1）进行的低分辨率或平坦块识别。
转到图11，标号1100整体表示用于对元数据进行解码的示例性方法。在步骤1105，输入已编码元数据。在步骤1110，进行无损解码。在步骤1115，进行逆差分。在步骤1120，确定标志是否等于0。如果是，那么方法前进到步骤1125。否则，方法前进到步骤1130。在步骤1125，输出坐标序列。在步骤1130，进行低分辨率块识别。在步骤1135，除去假阳性。在步骤1140，输出坐标序列。
继续参照图11，使用块坐标而非像素坐标以发送块坐标到解码器侧。如果帧中有M个块，那么坐标序号的范围应该从1到M。此外，如果块在还原处理过程中不存在相关性，那么可以对块的坐标序号进行排序以使得其成为序号递增序列，使用差分编码方案首先计算某个坐标序号与其前一个序号之间的差，并对该差序列进行编码。例如，假设坐标序列是3、4、5、8、13、14，差分序列变成3、1、1、3、5、1。差分处理使得数值更接近1，从而使得数值分布具有更小的熵。如果数据具有更小的熵，那么根据信息论，该数据可以被编码具有更短的码长。得到的差分序列可以进一步使用无损压缩方案（如，霍夫曼编码）编码。如果块在还原处理过程中存在相关性，那么可以简单地跳过差分处理。是否存在块相关性实际由还原算法的性质确定。
在元数据解码处理过程中，解码器侧处理器将首先使用接收到的阈值进行低分辨率块识别处理。根据接收到的“标志”分段，元数据解码处理确定接下来的序列是假阳性块序列还是被修剪的块的序列。如果块在还原处理过程中不存在相关性，那么接下来的序列将首先进行逆差分以生成坐标序列。如果（根据“标志”）序列是被修剪的块的序列的坐标，那么处理将该序列作为结果直接输出。如果是假阳性序列，那么解码器侧的处理将首先处理（take）由低分辨率块识别处理识别得到的块序列，然后除去假阳性序列中包括的所有坐标。
应该理解的是，可以使用不同的元数据编码方案，例如，直接发送块ID到解码器侧。本领域一般技术人员在给予在本说明书中提供的本发明的原理的教导的情况下可以容易地设想出这些和其他的变型。
还原处理
在对被修剪的视频解码之后进行还原处理。在还原之前，如在本说明书中描所述的，通过解码元数据来获得被修剪的块的位置。
对于每个块，还原处理被用来恢复被修剪的块中的内容。还原可以使用各种算法。还原的一个示例是图像修补，它通过根据相邻像素内插来还原缺失的像素。在我们提出的方法中，由于每个被修剪的块都被低分辨率块或平坦块替代，并且低分辨率块或平坦块传递的信息可以用作边信息以方便恢复处理，因此可以获得更高的恢复精度。块恢复模块可以用任何恢复方案替代，如，基于传统修补和纹理合成的方法。转到图12，标号1200整体表示一个示例性的块ID。
基于本说明书中的教导，相关领域中的一个普通的技术人员可以容易地确定本发明的原理的这些和其他特征及优点。应该理解的是，本发明的原理的教导可以实施在各种形式的硬件、软件、固件、专用处理器或其组合中。
最优选地，本发明的原理的教导实施为硬件和软件的组合。并且，软件可以实施为有形地实施在程序存储单元上的应用程序。应用程序可以被上载到包括任何合适的架构的机器上，并由其执行。优选地，机器实施在具有如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口的硬件的计算机平台上。计算机平台还可以包括操作系统和微指令代码。在本说明书中描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序一部分或其任何组合。此外，各种其他的外围单元可以连接到该计算机平台，如附加的数据存储单元和打印单元。
还应该理解的是，由于附图中示出的某些组成系统的组件和方法优选地实施为软件，因此这些系统组件或处理功能块之间的实际连接可能随着本发明的原理被编程的方式的不同而有所不同。给出本说明书中的教导，相关领域中的一个普通技术人员将能够设想本发明的原理的这些和类似的实现或配置。
尽管在本说明书中已经参照附图对示例性实施例进行了说明，但是应该理解的是，本发明的原理不限于这些精确的实施例，相关领域的一个普通技术人员在不背离本发明的原理的范围或精神的情况下可以对其进行各种改变和修改。所有这些改变和修改都旨在被包括在如所附权利要求陈述的本发明的原理的范围之内。

Claims (27)

1.一种用于恢复视频序列中画面的修剪版本的装置，包括：
用于识别所述画面的所述修剪版本中一个或多个替换块的被修剪块识别器(610)，其中，在频域中，将所述画面的原始版本划分为若干块，从所述一个或多个替换块中除去高频信号以获得一个或多个经处理的替换块，并且分别利用所述一个或多个经处理的替换块来替换一个或多个待修剪块以获得一个或多个被修剪的块，由此产生所述画面的所述修剪版本；
用于对用来恢复所述画面的所述修剪版本的元数据进行解码的元数据解码器(615)，所述元数据包括所述一个或多个替换块的位置信息；以及
用于分别生成所述一个或多个被修剪的块的恢复版本的块还原器(620)。
2.如权利要求1所述的装置，其中所述一个或多个被修剪的块中的至少一个给定的块中的所有像素都具有相同的颜色值或较低的分辨率中的一种，所述较低的分辨率相对于所述一个或多个替换块确定。
3.如权利要求2所述的装置，其中所述相同的颜色值等于所述至少一个给定的块内的所述像素的颜色值的平均值。
4.如权利要求2所述的装置，其中所述画面的所述修剪版本是混合分辨率画面。
5.如权利要求2所述的装置，其中所述一个或多个被修剪的块在特定频率之上包括比所述一个或多个替换块中的各个块更少的信息。
6.如权利要求1所述的装置，其中所述位置信息包括所述一个或多个替换块的坐标信息。
7.如权利要求1所述的装置，其中所述被修剪块识别器(610)进行识别处理以识别出所述画面的所述修剪版本中的所述一个或多个被修剪的块，其中所述识别处理基于所述一个或多个被修剪的块中给定的一个块的大于特定频率的信号分量的能量的量来识别所述一个或多个被修剪的块中所述给定的一个块。
8.如权利要求7所述的装置，其中所述元数据还包括涉及所述识别处理的假阳性块和遗漏块的位置信息。
9.如权利要求1所述的装置，其中当在恢复所述画面的所述修剪版本时未使用所述元数据时，使用修补和纹理合成中的至少一种来恢复所述画面的所述修剪版本。
10.一种用于对视频序列中画面的修剪版本进行恢复的方法，包括：
识别(720)所述画面的所述修剪版本中一个或多个替换块，其中，在频域中，将所述画面的原始版本划分(710)为若干块，从所述一个或多个替换块中除去高频信号以获得一个或多个经处理的替换块，并且分别利用所述一个或多个经处理的替换块来替换一个或多个待修剪块以获得一个或多个被修剪的块，由此产生所述画面的所述修剪版本；
使用解码器对用来恢复所述画面的所述修剪版本的元数据进行解码(1100)，所述元数据包括一个或多个替换块的位置信息；以及
分别生成(725)一个或多个被修剪的块的恢复版本。
11.如权利要求10所述的方法，其中所述一个或多个被修剪的块中的至少一个给定的块中的所有像素都具有相同的颜色值或较低的分辨率中的一种，所述较低的分辨率相对于所述一个或多个替换块确定。
12.如权利要求11所述的方法，其中所述相同的颜色值等于所述至少一个给定的块内的所述像素的颜色值的平均值。
13.如权利要求11所述的方法，其中所述画面的所述修剪版本是混合分辨率画面(800)。
14.如权利要求11所述的方法，其中所述一个或多个被修剪的块在特定频率之上包括比所述一个或多个替换块(900)中的各个块更少的信息。
15.如权利要求10所述的方法，其中所述位置信息包括所述一个或多个替换块的坐标信息。
16.如权利要求10所述的方法，其中所述识别步骤进行识别处理以识别出所述画面的所述修剪版本中的所述一个或多个被修剪的块，其中所述识别处理基于所述一个或多个被修剪的块中给定的一个块的大于特定频率的信号分量的能量的量来识别所述一个或多个被修剪的块中所述给定的一个块。
17.如权利要求16所述的方法，其中所述元数据还包括涉及所述识别处理(1135)的假阳性块和遗漏块的位置信息。
18.如权利要求10所述的方法，其中当在恢复所述画面的所述修剪版本时未使用所述元数据时，使用修补和纹理合成中的至少一种来恢复所述画面的所述修剪版本。
19.一种用于对视频序列中画面的修剪版本进行恢复的装置，包括：
识别部件(610)，用于识别所述画面的所述修剪版本中一个或多个替换块，其中，在频域中，将所述画面的原始版本划分为若干块，并且分别利用所述一个或多个替换块的被除去了高频信号的版本来替换一个或多个待修剪块以获得一个或多个被修剪的块，由此产生所述画面的所述修剪版本；
解码部件(615)，用于对用来恢复所述画面的所述修剪版本的元数据进行解码，所述元数据包括所述一个或多个替换块的位置信息；以及
生成部件(620)，用于分别生成所述一个或多个被修剪的块的恢复版本。
20.如权利要求19所述的装置，其中所述一个或多个被修剪的块中的至少一个给定的块中的所有像素都具有相同的颜色值或较低的分辨率中的一种，所述较低的分辨率相对于所述一个或多个替换块确定。
21.如权利要求20所述的装置，其中所述相同的颜色值等于所述至少一个给定的块内的所述像素的颜色值的平均值。
22.如权利要求20所述的装置，其中所述画面的所述修剪版本是混合分辨率画面。
23.如权利要求20所述的装置，其中所述一个或多个被修剪的块在特定频率之上包括比所述一个或多个替换块中的各个块更少的信息。
24.如权利要求19所述的装置，其中所述位置信息包括所述一个或多个替换块的坐标信息。
25.如权利要求19所述的装置，其中所述识别部件(610)进行识别处理以识别出所述画面的所述修剪版本中的所述一个或多个被修剪的块，其中所述识别处理基于所述一个或多个被修剪的块中给定的一个块的大于特定频率的信号分量的能量的量来识别所述一个或多个被修剪的块中所述给定的一个块。
26.如权利要求25所述的装置，其中所述元数据还包括涉及所述识别处理的假阳性块和遗漏块的位置信息。
27.如权利要求19所述的装置，其中当在恢复所述画面的所述修剪版本时未使用所述元数据时，使用修补和纹理合成中的至少一种来恢复所述画面的所述修剪版本。
CN201180053976.XA 2010-09-10 2011-09-09 使用基于块的混合分辨率数据修剪的视频解码 Expired - Fee Related CN103210648B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40308710P 2010-09-10 2010-09-10
US61/403,087 2010-09-10
PCT/US2011/050920 WO2012033967A1 (en) 2010-09-10 2011-09-09 Video decoding using block- based mixed - resolution data pruning

Publications (2)

Publication Number Publication Date
CN103210648A CN103210648A (zh) 2013-07-17
CN103210648B true CN103210648B (zh) 2017-06-09

Family

ID=44652033

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180043595.3A Expired - Fee Related CN103098468B (zh) 2010-09-10 2011-09-09 使用基于块的混合分辨率数据修剪的视频编码
CN201180053976.XA Expired - Fee Related CN103210648B (zh) 2010-09-10 2011-09-09 使用基于块的混合分辨率数据修剪的视频解码

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201180043595.3A Expired - Fee Related CN103098468B (zh) 2010-09-10 2011-09-09 使用基于块的混合分辨率数据修剪的视频编码

Country Status (7)

Country Link
US (2) US20130182776A1 (zh)
EP (2) EP2614640A1 (zh)
JP (2) JP6071001B2 (zh)
KR (2) KR101885633B1 (zh)
CN (2) CN103098468B (zh)
BR (1) BR112013005316A2 (zh)
WO (2) WO2012033966A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5805665B2 (ja) 2010-01-22 2015-11-04 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Ｅｘａｍｐｌｅ−ｂａｓｅｄ超解像を用いたビデオ圧縮のためのデータプルーニング
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP2645712A1 (en) * 2012-03-26 2013-10-02 Siemens Aktiengesellschaft Image downsampling
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
US9947071B2 (en) * 2014-06-27 2018-04-17 Samsung Electronics Co., Ltd. Texture pipeline with online variable rate dictionary compression
US10115177B2 (en) 2014-06-27 2018-10-30 Samsung Electronics Co., Ltd. Online texture compression and decompression in hardware
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
WO2016133293A1 (ko) * 2015-02-16 2016-08-25 삼성전자 주식회사 메타데이터 기반 영상 처리 방법 및 장치
US10623775B1 (en) * 2016-11-04 2020-04-14 Twitter, Inc. End-to-end video and image compression
EP3583777A4 (en) * 2017-02-16 2020-12-23 Nokia Technologies Oy VIDEO PROCESSING PROCESS AND TECHNICAL EQUIPMENT
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
US10713997B2 (en) * 2018-03-23 2020-07-14 Valve Corporation Controlling image display via mapping of pixel values to pixels
US10776957B2 (en) 2018-10-02 2020-09-15 Samsung Electronics Co., Ltd. Online image compression in hardware
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
US11432009B2 (en) * 2019-07-02 2022-08-30 Intel Corporation Techniques for encoding and decoding immersive video
US11477429B2 (en) 2019-07-05 2022-10-18 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1401211A2 (en) * 2002-09-04 2004-03-24 Microsoft Corporation Multi-resolution video coding and decoding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446806A (en) * 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
DE69815251T2 (de) * 1997-04-02 2004-04-29 Koninklijke Philips Electronics N.V. Bildbearbeitungssystem und -verfahren
CN1133327C (zh) * 1997-12-23 2003-12-31 汤姆森特许公司 低噪声编码解码装置和方法
US7623706B1 (en) * 2000-09-29 2009-11-24 Hewlett-Packard Development Company, L.P. Reduction of chromatic bleeding artifacts in images containing subsampled chrominance values
JP3759932B2 (ja) * 2003-01-15 2006-03-29 ティーオーエー株式会社 画像圧縮方法及び伸張方法
JP3944738B2 (ja) * 2003-03-18 2007-07-18 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4205008B2 (ja) * 2004-04-08 2009-01-07 三菱電機株式会社 画像データ通信方法
JP2006203744A (ja) * 2005-01-24 2006-08-03 Victor Co Of Japan Ltd 静止画生成装置及び静止画生成方法
US8391368B2 (en) * 2005-04-08 2013-03-05 Sri International Macro-block based mixed resolution video compression system
AU2006201210A1 (en) * 2006-03-23 2007-10-11 Canon Information Systems Research Australia Pty Ltd Motion characterisation
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
JP4829836B2 (ja) * 2007-04-26 2011-12-07 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、コンピュータプログラム、復号装置、及びコンピュータ可読記憶媒体
CA2689634C (en) * 2007-06-14 2016-08-23 Thomson Licensing Modifying a coded bitstream
US8081842B2 (en) * 2007-09-07 2011-12-20 Microsoft Corporation Image resizing for web-based image search
US8204325B2 (en) * 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US9571857B2 (en) * 2008-09-18 2017-02-14 Thomson Licensing Methods and apparatus for video imaging pruning
KR20110065997A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
JP5457853B2 (ja) * 2010-01-20 2014-04-02 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
US20110210960A1 (en) * 2010-02-26 2011-09-01 Google Inc. Hierarchical blurring of texture maps

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1401211A2 (en) * 2002-09-04 2004-03-24 Microsoft Corporation Multi-resolution video coding and decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
image completion using efficient belief propagation via priority scheduling and dynamic pruning;Nikos Komodakis and Georgios Tziritas;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20071101;第16卷(第11期);2649-2661 *
Reduced Resolution Residual Coding for 1.264-based;Hui Cheng, Arkady Kopansky, and Michael A. Isnardi;《proceeding of the 2006 IEEE international symposium on circuits and systems》;20060521;3486-3489 *

Also Published As

Publication number Publication date
JP6067563B2 (ja) 2017-01-25
JP2013539934A (ja) 2013-10-28
EP2614646A1 (en) 2013-07-17
US20130170558A1 (en) 2013-07-04
JP2013541276A (ja) 2013-11-07
CN103210648A (zh) 2013-07-17
US20130182776A1 (en) 2013-07-18
WO2012033967A1 (en) 2012-03-15
CN103098468A (zh) 2013-05-08
KR101869459B1 (ko) 2018-06-20
JP6071001B2 (ja) 2017-02-01
KR20130139238A (ko) 2013-12-20
BR112013005316A2 (pt) 2016-08-16
KR20130139261A (ko) 2013-12-20
KR101885633B1 (ko) 2018-08-06
EP2614640A1 (en) 2013-07-17
CN103098468B (zh) 2017-02-15
WO2012033966A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
CN103210648B (zh) 使用基于块的混合分辨率数据修剪的视频解码
CN103202017B (zh) 使用基于样本的数据修剪的视频解码的方法和装置
US9338477B2 (en) Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
JP2013541276A5 (zh)
CN102792690B (zh) 基于分类环路滤波器的方法和装置
CN103210645B (zh) 使用运动补偿的基于实例的超分辨率的视频解码
CN105432083A (zh) 混合向后兼容的信号编码和解码
US20110091120A1 (en) Methods and apparatus for texture compression using patch-based sampling texture synthesis
CN106068650A (zh) 用于修改二进制视频流的方法
CN107241597B (zh) 一种结合四叉树自适应编码的可逆信息隐藏方法
CN112042194B (zh) 一种编码/解码的方法及电子装置
Guo et al. Motion matters: A novel framework for compressing surveillance videos
Erfurt et al. Multiple feature-based classifications adaptive loop filter
US7197078B2 (en) Video coding/decoding buffering apparatus and buffering method thereof
US9049432B1 (en) Motion differential set partition coding for color image sequence compression
KR20170044028A (ko) 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치
US10034007B2 (en) Non-subsampled encoding techniques
KR20240024921A (ko) 이미지 또는 비디오를 인코딩/디코딩하기 위한 방법들 및 장치들

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190201

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190201

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170609

Termination date: 20190909

CF01 Termination of patent right due to non-payment of annual fee