CN103210645A - 使用运动补偿的基于实例的超分辨率的视频解码 - Google Patents

使用运动补偿的基于实例的超分辨率的视频解码 Download PDF

Info

Publication number
CN103210645A
CN103210645A CN2011800432758A CN201180043275A CN103210645A CN 103210645 A CN103210645 A CN 103210645A CN 2011800432758 A CN2011800432758 A CN 2011800432758A CN 201180043275 A CN201180043275 A CN 201180043275A CN 103210645 A CN103210645 A CN 103210645A
Authority
CN
China
Prior art keywords
resolution
video sequence
input video
pictures
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800432758A
Other languages
English (en)
Other versions
CN103210645B (zh
Inventor
张冬青
M.G.雅各布
S.布哈加瓦赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103210645A publication Critical patent/CN103210645A/zh
Application granted granted Critical
Publication of CN103210645B publication Critical patent/CN103210645B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了使用用于视频压缩的运动补偿的基于实例的超分辨率解码视频信号的方法和装置。一种装置包括基于实例的超分辨率处理器（820），用于接收从带有运动的输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面，并执行基于实例的超分辨率以从一个或多个高分辨率替换补丁画面中生成输入视频序列的静态版本的重建版本，所述输入视频序列的所述静态版本的所述重建版本包括多个画面。该装置进一步包括逆图像卷绕器（830），用于接收输入视频序列的运动参数，并基于运动参数执行逆画面卷绕处理以对多个画面中的一个或多个进行变换以生成带有运动的输入视频序列的重建。

Description

使用运动补偿的基于实例的超分辨率的视频解码
相关申请的交叉引用
本申请要求提交于2010年9月10日的美国临时专利申请序列号第61/403086号（Technicolor公司案卷号第PUl00190号）标题为“MOTIONCOMPENSATED EXAMPLE-BASED SUPERRESOLUTION FOR VIDEOCOMPRESSION”的优先权。
本申请涉及下列共同未决、共同拥有的专利申请：
（1）提交于2011年1月20日标题为“A SAMPLING-BASEDSUPER-RESOLUTION APPROACH FOR EFFICIENT VIDEOCOMPRESSION”的国际专利申请（PCT）序列号第PCT/US11/000107号（Technicolor公司案卷号第PUl00004号）；
（2）提交于2011年1月21日标题为“DATA PRUNING FOR VIDEOCOMPRESSION USING EXAMPLE-BASED SUPERRE-SOLUTION”的国际专利申请（PCT）序列号第PCT/US11/000117号（Technicolor公司案卷号第PUl00014号）；
（3）提交于2011年9月XX日标题为“METHODS AND APPARATUSFOR ENCODING VIDEO SIGNALS USING MOTIONCOMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FORVIDEO COMPRESSION”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00190号）；
（4）提交于2011年9月XX日标题为“METHODS AND APPARATUSFOR ENCODING VIDEO SIGNALS USING EXAMPLE-BASEDDATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00193号）；
（5）提交于2011年9月XX日标题为“METHODS AND APPARATUSFOR DECODING VIDEO SIGNALS USING EXAMPLE-BASEDDATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00267号）；
（6）提交于2011年9月XX日标题为“METHODS AND APPARATUSFOR ENCODING VIDEO SIGNALS FOR BLOCK-BASEDMIXED-RESOLUTION DATA PRUNING”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00194号）；
（7）提交于2011年9月XX日标题为“METHODS AND APPARATUSFOR DECODING VIDEO SIGNALS FOR BLOCK-BASEDMIXED-RESOLUTION DATA PRUNING”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00268号）；
（8）提交于2011年9月XX日标题为“METHODS AND APPARATUSFOR EFFICIENT REFERENCE DATA ENCODING FOR VIDEOCOMPRESSION BY IMAGE CONTENT BASED SEARCH ANDRANKING”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00195号）；
（9）提交于2011年9月XX日标题为“METHOD AND APPARATUSFOR EFFICIENT REFERENCE DATA DECODING FOR VIDEOCOMPRESSION BY IMAGE CONTENT BASED SEARCH ANDRANKING”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl10106号）；
（10）提交于2011年9月XX日标题为“METHOD AND APPARATUSFOR ENCODING VIDEO SIGNALS FOR EXAMPLE-BASEDDATA PRUNING USING INTRA-FRAME PATCH SIMILARITY”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00196号）；
（11）提交于2011年9月XX日标题为“METHOD AND APPARATUSFOR DECODING VIDEO SIGNALS WITH EXAMPLE-BASEDDATA PRUNING USING INTRA-FRAME PATCH SIMILARITY”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl00269号）；
（12）提交于2011年9月XX日标题为“PRUNING DECISIONOPTIMIZATION IN EXAMPLE-BASED DATA PRUNINGCOMPRESSION”的国际专利申请（PCT）序列号第XXXX号（Technicolor公司案卷号第PUl0197号）。
技术领域
本发明一般地涉及视频编码和解码，更具体地涉及用于视频压缩的运动补偿的基于实例的超分辨率的方法和装置。
背景技术
在以前的方法中——如在2010年1月22日提交的共同未决、共同拥有的美国临时专利申请（序列号61/336516）（Technicolor案卷号PU100014）Dong-Qing Zhang,Sitaram Bhagavathy和Joan Llach的《Data pruning for videocompression using example-based super-resolution》中公开的方法中——提出了使用基于实例的超分辨率（SR）对视频数据进行修剪以实现压缩。用于数据修剪的基于实例的超分辨率将高分辨率（high-res）的实例补丁（patch）和低分辨率（low-res）的帧发送给解码器。解码器通过使用实例高分辨率补丁替换低分辨率补丁来恢复高分辨率的帧。
转到图1，它对前面的方法的一个方面进行了说明。更具体地说，编码器侧基于实例的超分辨率的处理的高级框图整体用参考标号100表示。在步骤110，对输入视频进行补丁提取和聚类处理（通过补丁提取和聚类器151）以获得聚类补丁。并且，在步骤115，对输入的视频进行缩减（downsize）处理（通过缩减器153）以从其中输出缩减帧。在步骤120，聚集的补丁被打包成补丁帧（由补丁打包器152）以从其中输出（打包的）补丁帧。
转到图2，它对前面的方法的另一个方面进行了说明。更具体地说，解码器侧基于实例的超分辨率的处理的高级框图整体用参考标号200表示。在步骤210，对已解码的补丁帧进行补丁提取和处理（通过补丁提取和处理器251）以获得处理过的补丁。在步骤215，存储处理过的补丁（使用补丁库252）。在步骤220，对已解码的缩减帧进行扩增（upsize）处理（通过扩增器253）以获得扩增帧。在步骤225，对扩增帧进行补丁搜索和替换处理（通过补丁搜索器和替换器254）以获得替换补丁。在步骤230，对替换补丁进行后处理（通过后处理器255）以获得高分辨率的帧。
以前提出的方法非常适用于静态的视频（没有显著的背景或前景物体运动的视频）。例如，实验表明，对于某些类型的静态视频，使用基于实例的超分辨率与使用独立视频编码器（例如，按照标准化国际组织/国际电工委员会（ISO/IEC）运动图像专家组-4（MPEG-4）第10部分高级视频编码（AVC）标准/国际电信联盟电信标准化部门（ITU-T）的H.264建议书（以下简称“MPEG-4AVC标准”）的编码器）相比，可以提升压缩效率。
然而，对于具有显著的对象或背景运动的视频，使用基于实例的超分辨率的压缩效率通常低于使用独立MPEG-4AVC编码器的压缩效率。这是因为对于具有显著的运动的视频，用来提取代表补丁的聚类处理由于补丁移位（patch shifting）和其他变换（例如，缩放、旋转等等）通常会产生明显更多的冗余代表补丁，从而增加补丁帧的数量，降低补丁帧的压缩效率。
转到图3，前面基于实例的超分辨的方法中使用的聚类处理整体用参考标号300表示。在图3的实例中，聚类处理涉及到6个帧（标示为帧1到第帧6）。图3中用曲线表示（运动中的）对象。图3将聚类处理300显示为上面部分和下面部分。在上面部分，示出了来自输入视频序列的连续帧的同一位置的输入补丁310（co-located input patch）。在下面部分，示出了与聚类对应的代表补丁320。具体地说，下面部分示出了聚类1的代表补丁321和聚类2的代表补丁322。
总之，用于数据修剪的基于实例的超分辨率将高分辨率（本说明书中也称为“high-res”）的实例补丁和低分辨率（本说明书中也称为“low-res”）的帧发送到解码器（参见图1）。解码器通过用实例高分辨率的补丁替换低分辨率的补丁恢复高分辨率的帧（参见图2）。然而，正如上文所述，对于带有运动的视频，用于提取代表补丁的聚类过程由于补丁移位（pitch shifting）（参见图3）和其他变换（如缩放、旋转等）通常会产生明显更多的冗余代表补丁，从而增加补丁帧的数量，降低了补丁帧的压缩效率。
发明内容
本申请公开了用于具有改善的压缩效率的视频压缩的运动补偿的基于实例的超分辨率的方法和装置。
根据本发明的原理的一个方面，提供了一种用于基于实例的超分辨率的装置。该装置包括用于估计带有运动的输入视频序列的运动参数的运动参数估计器。输入视频序列包括多个画面。该装置还包括图像卷绕器（warper），用于进行画面卷绕（warping）处理，对多个画面中的一个或多个进行变换以基于运动参数通过降低运动量提供输入视频序列的静态版本。该装置还包括基于实例的超分辨率处理器，用于执行基于实例的超分辨率以从视频序列的静态版本生成一个或多个高分辨率替换补丁画面。一个或多个高分辨率替换补丁画面用于在重建输入视频序列的过程中替换一个或多个低分辨率补丁画面。
根据本发明的原理的另一个方面，提供了一种基于实例的超分辨率的方法。该方法包括估计带有运动的输入视频序列的运动参数。输入视频序列包括多个画面。该方法还包括进行画面卷绕处理，对多个画面中的一个或多个进行变换以基于运动参数通过降低运动量提供输入视频序列的静态版本。该方法进一步包括执行基于实例的超分辨率以从视频序列的静态版本生成一个或多个高分辨率的替换补丁画面。一个或多个高分辨率替换补丁画面用于在重建输入视频序列的过程中替换一个或多个低分辨率补丁画面。
根据本发明的原理的又一个方面，提供了一种基于实例的超分辨率的装置。该装置包括基于实例的超分辨率处理器，用于接收从带有运动的输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面，并执行基于实例的超分辨率以从一个或多个高分辨率替换补丁画面中生成输入视频序列的静态版本的重建版本。输入视频序列的静态版本的重建版本包括多个画面。该装置还包括逆图像卷绕器，用于接收输入视频序列的运动参数，并基于运动参数执行逆图像卷绕处理，以对多个画面中的一个或多个进行变换以生成带有运动的输入视频序列的重建。
根据本发明的原理的再一个方面，提供了一种基于实例的超分辨率的方法。该方法包括接收带有运动的输入视频序列的运动参数以及从输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面。该方法还包括执行基于实例的超分辨率以从一个或多个高分辨率替换补丁画面生成输入视频序列的静态版本的重建版本。输入视频序列的静态版本的重建版本包括多个画面。该方法还包括基于运动参数执行逆画面卷绕处理，以对多个画面中的一个或多个进行变换以生成带有运动的输入视频序列的重建。
根据本发明的原理的再一个方面，提供了一种基于实例的超分辨率的装置。该装置包括用于估计带有运动的输入视频序列的运动参数的部件。输入视频序列包括多个画面。该装置还包括用于基于运动参数执行对多个画面中的一个或多个进行变换以通过降低运动量提供输入视频序列的静态版本的画面卷绕处理的部件。该装置还包括执行基于实例的超分辨率以从视频序列的静态版本生成一个或多个高分辨率的替换补丁画面的部件。一个或多个高分辨率替换补丁画面用于在重建输入视频序列的过程中替换一个或多个低分辨率补丁画面。
根据本发明的原理的一个附加的方面，提供了一种基于实例的超分辨率的装置。该装置包括用于接收带有运动的输入视频序列的运动参数以及从输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面的部件。该装置还包括用于执行基于实例的超分辨率以从一个或多个高分辨率替换补丁画面生成输入视频序列的静态版本的重建版本的部件。输入视频序列的静态版本的重建版本包括多个画面。该装置还包括用于基于运动参数执行逆画面卷绕处理以对多个画面中的一个或多个进行变换以生成带有运动的输入视频序列的重建。
附图说明
结合附图阅读下面详细描述的示例性实施例，本发明的原理的这些和其他方面、特征和优点将变得显而易见。
根据下面示例性的附图，可以更好地理解本发明的原理，附图中：
图1是示出根据以前的方法的编码器侧基于实例的超分辨率的处理的高级框图；
图2是示出根据以前的方法的解码器侧基于实例的超分辨率的处理的高级框图；
图3是示出根据以前的方法的基于实例的超分辨率的聚类处理的图；
图4是示出根据本发明的原理的一个实施例的将带有物体运动的视频变换成静态视频的示例性变换的图；
图5是示出根据本发明的原理的一个实施例的供在编码器中使用的带有帧卷绕的用于运动补偿的基于实例的超分辨率处理的示例性装置的框图；
图6是示出根据本发明的原理的一个实施例的可以应用本发明的原理的示例性视频编码器的框图；
图7是示出根据本发明的原理的一个实施例的编码器侧的用于运动补偿的基于实例的超分辨率的示例性方法的流程图；
图8是示出根据本发明的原理的一个实施例的解码器中的带有逆帧卷绕的用于运动补偿的基于实例的超分辨率处理的示例性装置的框图；
图9是示出根据本发明的原理的一个实施例的可以应用本发明的原理的示例性视频解码器的框图；以及
图10是示出根据本发明的原理的一个实施例的解码器侧的用于运动补偿的基于实例的超分辨率的示例性方法的流程图。
具体实施方式
本发明的原理主要涉及用于视频压缩的运动补偿的基于实例的超分辨率的方法和装置。
本说明书示出了本发明的原理。因此，可以理解的是，本领域的技术人员能够设计出各种布置，这些布置虽然没有在本说明书中明确描述或示出，但是体现了本发明的原理并被包括在本发明的精神和范围之内。
本说明书中列举的所有的示例和条件性语言都旨在用于教导的目的，以帮助读者理解本发明的原理和发明者贡献的促进本技术领域发展的概念，并应该解释为不限于这些具体陈述的示例和条件。
此外，本说明书中所有详述的本发明原理的原理、方面和实施例以及其特定例子的陈述都旨在同时包括其结构和功能的等价物。并且，这些等价物旨在包括当前已知的等价物和将在未来开发的等价物，即任何被开发出来执行相同功能而不论其结构如何的元件。
因此，例如，本领域的技术人员将会理解的是，本说明书中出现的框图表示实施本发明原理的示例性电路系统的概念图。类似地，将会理解的是，任何流程表、流程图、状态转换图、伪码等表示可在计算机可读媒体中被实质性表示并由计算机或处理器执行的各种过程，不论这些计算机或处理器是否明确地显示出来。
图中所示的各种元件的功能可以通过使用专用硬件和能够联合合适的软件执行软件的硬件提供。当由处理器提供时，该功能可以由单个专用的处理器或单个共用的处理器或其中有一些可以共用的多个独立的处理器提供。并且，明确的使用术语“处理器”或“控制器”不应该被解读为排他性地专指能够执行软件的硬件，而应该被解读为没有限制地、隐含地包括数字信号处理器（DSP）硬件、用于存储软件的只读存储器（ROM）、随机存储器（RAM）和非易失性存储器。
还可以包括其他传统和/或常规的硬件。相似地，图中示出的任何开关都只是概念性的。它们的功能可以通过执行程序逻辑、专用逻辑、程序控制和专用逻辑交互或者甚至手动进行，可以根据上下文更加详细地理解可被实施者选择的特定技术。
在本说明书的权利要求中，任何被表达为执行特定功能的部件的元件都旨在包括执行该功能的任何方式，该功能包括例如a）执行该功能的电路元件的组合或b）包括与合适的用于执行软件以完成该功能的电路组合在一起的固件、微码等的任何形式的软件。这些权利要求限定的本发明原理的主要特征在于由各个被列举部件提供的功能以权利要求要求保护的方式组合并放置在一起的事实。因此，任何能够提供这些功能的部件都被视为与这些在本说明书中示出的部件是等价的。
本说明书中引用的本发明原理的“一个实施例”或“实施例”以及其他变型是指与实施例联系在一起描述的特定特征、结构或特性等被包括在本发明原理的至少一个实施例内。因此，出现在说明书中各个位置的词语“在一个实施例中”或“在实施例中”以及其他变型并不一定都是指同一个实施例。
应该理解的是，使用以下任何一个的“/”、“和/或”以及“之中的至少一个”，例如，在“A/B”、“A和/或B”以及“A和B中的至少一个”情形中旨在包括只选择列出的第一选项（A），或只选择列出的第二选项（B），或同时选择这两个选项（A和B）。作为进一步的例子，在“A、B和/或C”以及“A、B和C中的至少一个”的情形中，这样的措辞旨在包括只选择列出的第一选项（A），或只选择列出的第二选项（B），或只选择列出的第三选项（C），或只选择列出的第一和第二选项（A和B），或只选择列出的第一和第三选项（A和C），或只选择列出的第二和第三选项（B和C），或选择所有的三个选项（A、B和C）。如本领域和相关领域普通技术人员容易认识到的，这可以被扩展用于很多列出的项目。
并且，如此处使用的，在本说明书中可交换地使用词语“画面”和“图像”，它们是指静态的图像或视频序列中的画面。众所周知，画面可以是一帧或半帧。
正如上面所述，本发明的原理主要涉及运动补偿的基于实例的超分辨率视频压缩的方法和装置。本发明的原理有利地提供了一种减少冗余代表补丁的数目并提升压缩效率的方法。
根据本发明的原理，本申请公开了一种将带有显著背景和物体运动的视频片段转换成相对静态的视频片段的构思。更具体地说，在图4中，将带有物体运动的视频转换成静态视频的示例性转换整体用参考标号400表示。转换400涉及应用于带有对象运动的视频410的第1帧、第2帧和第3帧以获得静态视频420的第1帧、第2帧和第3帧的帧卷绕变换。变换400在聚类处理（即，编码器侧基于实例的超分辨率方法的处理组件）和编码处理之前进行。然后，将变换参数发送到解码器侧以用于恢复。由于基于实例的超分辨率方法会导致获得较高的静态视频压缩效率，并且变换参数数据的大小通常非常小，因此通过将带有运动的视频变换成静态视频，可能在带有运动的视频的压缩效率方面潜在地获得收益。
转到图5，供在编码器中使用的带有帧卷绕的用于运动补偿的基于实例的超分辨率处理的示例性装置整体用参考标号500表示。装置500包括运动参数估算器510，其具有与图像卷绕器520的输入端信号通信的第一输出端。图像卷绕器520的输出端与基于实例的超分辨率编码器侧处理器530的输入端信号通信连接。基于实例的超分辨率编码器侧处理器530的第一输出端与编码器540的输入端信号通信连接，并向其提供缩减帧。基于实例的超分辨率编码器侧处理器530的第二输出端的与编码器540的输入端信号通信连接，并向其提供补丁帧。运动参数估计器510的第二输出端可用作装置500的输出端以用于提供运动参数。运动参数估计器510的输入端可用作装置500的输入端以用于接收输入视频。编码器540的输出端（未示出）可用作装置500的第二输出端以用于输出比特流。比特流可以包括例如已编码的缩减帧、编码器补丁帧和运动参数。
可以理解的是，可以省略由编码器540执行的功能，即编码，将缩减帧、补丁帧和运动参数不经任何压缩发送到解码器侧。然而，为了节省比特率，优选地在被发送到解码器侧之前对缩减帧和补丁帧进行压缩（通过编码器540）。此外，在另一个实施例中，运动参数估计器510、图像卷绕器520和基于实例的超分辨率编码器侧处理器530可以被包括在视频编码器中，成为视频编码器的一部分。
因此，在编码器侧，在进行聚类处理之前，进行运动估计（通过运动参数估算器510）并应用帧卷绕处理（通过图像卷绕器520）以将带有活动物体或背景的帧变换成相对静态的视频。从运动估计处理中提取的参数通过单独的信道被发送到解码器侧。
转到图6，可以应用本发明的原理的示例性视频编码器整体用参考标号600表示。视频编码器600包括帧排序缓冲器610，帧排序缓冲器610具有与组合器685的非反相输入端信号通信的输出端。组合器685的输出端与变换器和量化器625的第一输入端信号通信连接。变换器和量化器625的输出端与熵编码器645的第一输入端以及逆变换器和逆量化器650的第一输入端信号通信连接。熵编码器645的输出端与组合器690的第一非反相输入端信号通信连接。组合器690的输出端与输出缓冲器635的第一输入端信号通信连接。
编码器控制器605的第一输出端与帧排序缓冲器610的第二输入端、逆变换器和逆量化器650的第二输入端、画面类型判定模块615的输入端、宏块类型（MB类型）判定模块620的第一输入端、帧内预测模块660的第二输入端、去块滤波器665的第二输入端、运动补偿器670的第一输入端、运动估计器675的第一输入端和参考画面缓冲器680的第二输入端信号通信连接。
编码器控制器605的第二输出端与补充增强信息（SEI）插入器630的第一输入端、变换器和量化器625的第二输入端、熵编码器645的第二输入端、输出缓冲器635的第二输入端以及序列参数集（SPS）和画面参数集（PPS）插入器640的输入端信号通信连接。
SEI插入器630的输出端与组合器690的第二非反相输入端信号通信连接。
画面类型判定模块615的第一输出端与帧排序缓冲器610的第三输入端信号通信连接。画面类型判定模块615的第二输出端与宏块类型判定模块620的第二输入端信号通信连接。
序列参数集（SPS）和画面参数集（PPS）插入器640的输出端与组合器690的第三非反相输入端信号通信连接。
逆量化器和逆变换器650的输出端与组合器619的第一非反相输入端信号通信连接。组合器619的输出端与帧内预测模块660的第一输入端和去块滤波器665的第一输入端信号通信连接。去块滤波器665的输出端与参考画面缓存器680的第一输入端信号通信连接。参考画面缓冲器680的输出端与运动估计器675的第二输入端和运动补偿器670的第三输入端信号通信连接。运动估计器675的第一输出端与运动补偿器670的第二输入端信号通信连接。运动估计器675的第二输出端与熵编码器645的第三输入端信号通信连接。
运动补偿器670的输出端与开关697的第一输入端信号通信连接。帧内预测模块660的输出端与开关697的第二输入端信号通信连接。宏块类型判定模块620的输出端与开关697的第三输入端信号通信连接。开关697的第三输入端确定开关的“数据”输入是（与控制输入端比较，即，第三输入端）由运动补偿器670提供还是由帧内预测模块660提供。开关697的输出端与组合器619第二非反相输入端和组合器685的反相输入端信号通信连接。
帧排序缓冲器610的第一输入端和编码器控制器605的输入端可用作编码器600的输入端以用于接收输入画面。并且，补充增强信息（SEI）插入器630的第二输入端可用作输入编码器600的输入端以用于接收元数据。输出缓冲器635的输出端的可用作编码器100的输出端以用于输出比特流。
可以理解的是，可以将图5中的编码器540实施为编码器600。
转到图7，编码器中使用的用于运动补偿的基于实例的超分辨率的示例性方法整体用参考标号700表示。方法700包括将控制权传递到功能块710的开始块705。功能块710输入带有物体运动的视频，并将控制权传递到功能块715。功能块715估计并保存带有物体运动的输入视频的运动参数，并将控制权传递到循环限制块720。循环限制块720对每个帧执行循环，并将控制权传递到功能块725。功能块725使用估计的运动参数对当前帧进行卷绕处理，并将控制权传递到判定块730。判定块730确定是否所有帧的处理都已经完成。如果所有帧的处理都已经完成，那么将控制权传递到功能块735。否则，控制权返回到功能块720。功能块735执行基于实例的超分辨率编码器侧的处理，并将控制权传递到功能块740。功能块740输出缩减帧、补丁帧和运动参数，并将控制权传递到结束块799。
转到图8，解码器中带有逆帧卷绕的用于运动补偿的基于实例的超分辨率处理的示例性装置整体用参考标号800表示。装置800包括解码器810，对由包括如上所述的编码器540的装置500产生的信号进行处理。装置800包括具有与基于实例的超分辨率的解码器侧处理器820的第一输入端和第二输入端信号通信的输出端的解码器810，并向其分别提供（已解码的）缩减帧和补丁帧。基于实例的超分辨率的解码器侧处理器820的输出端也与逆帧卷绕器830的输入端信号通信连接以用于向其提供超分辨的视频。逆帧卷绕器830输出端可用作装置800的输出端以用于输出视频。逆帧卷绕器830的输入端可用于接收运动参数。
可以理解的是，可以省略由解码器810执行的功能，即解码，在解码器侧接收未经任何压缩的缩减帧和补丁帧。然而，为了节省比特率，优选地在被发送到解码器侧之前对缩减帧和补丁帧进行压缩。此外，在另一个实施例中，基于实例的超分辨率解码器侧处理器820和逆帧卷绕器可以被包括在视频解码器中，成为视频解码器的一部分。
因此，在解码器侧，在帧通过基于实例的超分辨率恢复之后，进行逆卷绕处理将恢复的视频片段变换到原始视频的坐标系。逆卷绕处理使用在编码器侧估计并从编码器侧发送的运动参数。
转到图9，可以应用本发明的原理的示例性视频解码器整体用参考标号900表示。视频解码器900包括输入缓冲器910，输入缓冲器910具有与熵解码器945的第一输入端信号通信连接的输出端。熵解码器945的第一输出端与逆变换器和逆量化器950的第一输入端信号通信连接。逆变换器和逆量化器950的输出端与组合器925的第二非反相输入端信号通信连接。组合器925的输出端与去块滤波器965的第二输入端和帧内预测模块960的第一输入端信号通信连接。去块滤波器965的第二输出端与参考画面缓冲器980的第一输入端信号通信连接。参考画面缓冲器980的输出端与运动补偿器970的第二输入端信号通信连接。
熵解码器945的第二输出端与运动补偿器970的第三输入端、去块滤波器965的第一输入端和帧内预测器960的第三输入端信号通信连接。熵解码器945的第三输出端与解码器控制器905的输入端信号通信连接。解码器控制器905的第一输出端与熵解码器945的第二输入端信号通信连接。解码器控制器905的第二输出端与逆变换器和逆量化器950的第二输入端信号通信连接。解码器控制器905的第三输出端与去块滤波器965的第三输入端信号通信连接。解码器控制器905的第四输出端与帧内预测模块960的第二输入端、运动补偿器970的第一输入端和参考画面缓冲器980的第二输入端信号通信连接。
运动补偿器970的输出端与开关997的第一输入端信号通信连接。帧内预测模块960的输出端与开关997的第二输入端信号通信连接。开关997的输出端与组合器925的第一非反相输入端信号通信连接。
输入缓冲器910的输入端可用作解码器900的输入端以用于接收输入比特流。去块滤波器965的第一输出端可用作解码器900的输出端以用于输出输出画面。
可以理解的是，可以将图8中的解码器810实施为解码器900。
转到图10，解码器中使用的运动补偿的基于实例的超分辨率的示例性方法整体用参考标号1000表示。方法1000包括将控制权传递到功能块1010的开始块1005。功能块1010输入缩减帧、补丁帧和运动参数，并将控制权传递到功能块1015。该功能块1015执行基于实例的超分辨率解码器侧的处理，并将控制权传递到循环限制块1020。循环限制块1020对每个帧执行循环，并将控制权传递到功能块1025。功能块1025使用接收到的运动参数进行逆帧卷绕处理，并将控制权传递到判定块1030。判决块1030确定是否所有帧的处理都已经完成。如果所有帧的处理都已经完成，那么将控制权传递到功能块1035。否则，控制权返回到功能块1020。功能块1035输出恢复的视频，并将控制权传递到结束块1099。
输入视频被划分成若干帧组（GOF）。每个GOF是运动估计、帧卷绕和基于实例的超分辨率的一个基本单元。GOF中的一个帧（例如，在中间或开头的帧）被选择作为运动估计的参考帧。GOF可以具有固定或可变的长度。
运动估计
运动估计用于估计某一帧中的像素相对于参考帧的位移。由于运动参数必须被发送到解码器装置侧，因此运动参数的数目应尽可能小。因此，优选地选择受较少数目的参数控制的特定的参数化运动模型。例如，在本说明书中公开的当前系统中，采用了可由8个参数描述的平面运动模型。这种参数运动模型能够模拟在许多不同类型的视频中常见的帧与帧之间的全局运动，如平移（translation）、旋转、仿射卷绕(affine warp)、投影变换等等。例如，当摄影机摇摄时，摄影机摇摄会导致平移运动。该模型可能不能很好地捕获前景物体的运动，但如果前景物体较小，而背景运动是比较显著，那么变换后的视频仍将保持大多静态。当然，使用能够用8个参数描述的参数化运动模型仅是示例性的，因此，也可以根据本发明的原理的教导使用其他能够用多于8个参数、小于8个参数或甚至是8个参数（其中一个或更多不同于上述模型）描述的参数化运动模型，与此同时保持本发明原理的精神。
不失一般性地，假定参照帧是H1，GOF中其余的帧是Hi（i=2，3，...，N）。两帧Hi和Hj之间的全局运动实际上可以用将Hi中的像素移动到它们在Hj中对应的像素位置的变换来表征，或反之亦然。从Hi到Hj的变换用Θij表示，其参数用θij表示。然后，可以使用变换Θij将Hi对准（或卷绕）到Hj（或反之亦然，使用逆模型Θji=Θij -1）。
可以使用各种模型和方法估计全局运动，因此，本发明的原理不限于任何特定的估计全局运动的方法和/或模型。作为一个实例，一个常用的模型（在本说明书中涉及的当前系统中使用的模型）是投影变换，由下式给出：
x ′ = a 1 x + a 2 y + a 3 c 1 x + c 2 y + 1 , y ′ = b 1 x + b 2 y + b 3 c 1 x + c 2 y + 1 ,
上面的方程给出了Hi中（x，y）处的像素移动到的Hj中的新位置（x'，y'）。因此，8个模型参数θij={a1，a2，a3，b1，b2，b3，c1，c2}描述了从Hi到Hj的运动。参数通常通过首先确定两帧之间一组点的对应关系，然后使用鲁棒（robust）估计框架（如随机抽样一致（RANSAC）或它的变型——例如，M.A.Fischler和R.C.Bolles在《Random Sample Consensus:A Paradigm forModel Fitting with Applications to Image Analysis and Automated Cartography》（Communications of the ACM，第24卷，1981年,第381-395页），以及P.H.S.Torr和A.Zisserman在《MLESAC:A New Robust Estimator with Applicationto Estimating Image Geometry》（Journal of Computer Vision and ImageUnderstanding,第78卷,第1号，2000年,第138-156页）中描述的框架）来估计。帧之间的点对应关系可以通过许多方法确定，例如，提取和匹配SIFT（尺度不变特征变换）特征——如D.G.Lowe在《Distinctive image featuresfrom scale-invariant keypoints》（International Journal of Computer Vision，第2卷，第60号,2004年,第91-110页）中描述的方法——或者使用光流——如M.J.Black和P.Anandan在《The robust estimation of multiple motions:Parametric and piecewise-smooth flow fields》（Computer Vision and ImageUnderstanding,第63卷,第1号,1996年,第75-104页）中描述的方法。
全局运动参数被用来对GOF中的帧（除去参照帧）进行卷绕处理以对准参考帧。因此，必须对每个帧Hi（i=2,3，...，N）到参照帧（H1）之间的运动参数进行估计。该变换是可逆的，逆变换Θji=Θij -1描述了从Hj到Hi的运动。逆变换被用来对获得的帧进行卷绕处理以回到原始帧。逆变换在解码器侧使用以恢复原始视频片段。对变换参数进行压缩，并通过侧信道（side channel）发送到解码器侧以方便进行视频恢复处理。
除了全局运动模型，还可以根据本发明的原理使用其他的运动估计方法（如基于块的方法）以获得更高的精度。基于块的方法将帧划分成若干块，并估计每个块的运动模型。然而，使用基于块的模型需要使用明显更多的比特来描述运动。
帧卷绕和逆帧卷绕
在估计完运动参数之后，在编码器侧，进行帧卷绕处理以将非参考帧对准参考帧。然而，视频帧中的某些区域可能不服从上述的全局运动模型。通过应用帧卷绕，这些区域将和帧内的其余区域一起变换。然而，如果这些区域较小，那么这样做不会产生大的问题，因为这些区域的卷绕只会在卷绕后的帧中产生这些区域的人工运动（artificial motion）。只要这些带有人工运动的区域较小，就不会导致代表补丁的显著增加，因此，从整体上说，卷绕处理仍能够减少代表补丁的总数。并且，可以使用逆卷绕处理逆转小区域的人造运动。
在解码器侧进行逆帧卷绕处理以对恢复的帧进行卷绕处理，从基于实例的超分辨率分量回到原始坐标系。
基于本说明书中的教导，相关领域中的一个一般的技术人员可以容易地弄清楚本发明原理的这些和其他的特征和优点。应该理解的是，本发明原理的教导可以被实施成硬件、软件、固件、专用处理器或其组合的各种形式。
最优选地，本发明原理的教导被实施为硬件和软件的组合。并且，软件优选地被实施为有形地实施在程序存储单元上的应用程序。应用程序可以被上载到或者由包括任何合适的体系结构的机器执行。优选地，机器可以被实施在具有硬件（如一个或多个中央处理单元（CPU）、随机存取存储器（RAM）和输入/输出（I/O）接口）的计算机平台上。计算机平台还包括操作系统和微指令代码。本说明书中描述的各个过程和功能可以要么是微指令代码的一部分，要么是应用程序（或它们的组合）的一部分，或者是它们的任何组合，可以由CPU执行。另外，可以将各种其他的外围装置连接到计算机平台上，如附加的数据存储单元和打印装置。
还应该理解的是，由于附图中描述的一些组成系统的组件和方法优选地被实施为软件，因此系统组件或过程功能块之间的实际连接可能随着本发明原理被编程的方式的不同而有所不同。参考本说明书中的教导，相关领域中的一个普通技术人员能够设想出本发明原理的这些以及类似的实施或配置。
尽管在本说明书中已经参照附图描述了本发明的示例性实施例，但是应该理解的是，本发明的原理并不限于这些精确的实施例，相关领域的一个普通的技术人员可以在不偏离本发明原理的范围和精神的情况下对其做出各种变化和修改。所有这些变化和修改都旨在被包括在所附权利要求陈述的本发明原理的范围内。

Claims (14)

1.一种装置，包括：
基于实例的超分辨率处理器（820），用于接收从带有运动的输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面，并执行基于实例的超分辨率以从所述一个或多个高分辨率替换补丁画面中生成所述输入视频序列的所述静态版本的重建版本，所述输入视频序列的所述静态版本的所述重建版本包括多个画面；以及
逆图像卷绕器（830），用于接收所述输入视频序列的运动参数，并基于所述运动参数执行逆画面卷绕处理，以对所述多个画面中的一个或多个进行变换以生成带有所述运动的所述输入视频序列的重建。
2.如权利要求1所述的装置，其中所述基于实例的超分辨率处理器（820）进一步用于接收来自所述输入视频序列的一个或多个缩减画面，所述一个或多个缩减画面用于生成带有所述运动的所述输入视频序列的所述重建。
3.如权利要求1所述的装置，进一步包括解码器（810），用于解码比特流中的所述运动参数和所述一个或多个高分辨率替换补丁画面。
4.如权利要求1所述的装置，其中所述装置被包括在视频解码器模块（810）中。
5.如权利要求1所述的装置，其中所述逆画面卷绕处理将来自被包括在所述多个画面中的画面组之中的参考画面对准来自所述画面组之中的非参考画面。
6.一种方法，包括：
接收（1010）带有运动的输入视频序列的运动参数以及从所述输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面；
执行（1015）基于实例的超分辨率以从所述一个或多个高分辨率替换补丁画面生成所述输入视频序列的所述静态版本的重建版本，所述输入视频序列的所述静态版本的所述重建版本包括多个画面；以及
基于所述运动参数执行（1025）逆画面卷绕处理，以对所述多个画面中的一个或多个进行变换以生成带有所述运动的所述输入视频序列的重建。
7.如权利要求6所述的方法，其中执行所述基于实例的超分辨率（1015）包括接收来自所述输入视频序列的一个或多个缩减画面，所述一个或多个缩减画面用于生成带有所述运动的所述输入视频序列的所述重建。
8.如权利要求6所述的方法，进一步包括解码比特流中的所述运动参数和所述一个或多个高分辨率替换补丁画面。
9.如权利要求6所述的方法，其中所述方法在视频解码器中执行。
10.如权利要求6所述的方法，其中所述逆画面卷绕处理将来自被包括在所述多个画面中的画面组之中的参考画面对准来自所述画面组之中的非参考画面。
11.一种装置，包括：
用于接收带有运动的输入视频序列的运动参数以及从所述输入视频序列的静态版本中生成的一个或多个高分辨率替换补丁画面的部件（820）；
用于执行基于实例的超分辨率以从所述一个或多个高分辨率替换补丁画面生成所述输入视频序列的所述静态版本的重建版本的部件（820），所述输入视频序列的所述静态版本的所述重建版本包括多个画面；以及
用于基于所述运动参数执行逆画面卷绕处理以对所述多个画面中的一个或多个进行变换以生成带有所述运动的所述输入视频序列的重建的部件（830）。
12.如权利要求11所述的装置，其中所述用于执行所述基于实例的超分辨率的部件（820）进一步用于接收来自所述输入视频序列的一个或多个缩减画面，所述一个或多个缩减画面用于生成带有所述运动的所述输入视频序列的所述重建。
13.如权利要求11所述的装置，进一步包括用于解码比特流中的所述运动参数和所述一个或多个高分辨率替换补丁画面的部件（810）。
14.如权利要求11所述的装置，其中所述逆画面卷绕处理将来自被包括在所述多个画面中的画面组之中的参考画面对准来自所述画面组之中的非参考画面。
CN201180043275.8A 2010-09-10 2011-09-09 使用运动补偿的基于实例的超分辨率的视频解码 Expired - Fee Related CN103210645B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40308610P 2010-09-10 2010-09-10
US61/403,086 2010-09-10
PCT/US2011/050915 WO2012033963A2 (en) 2010-09-10 2011-09-09 Methods and apparatus for decoding video signals using motion compensated example-based super-resolution for video compression

Publications (2)

Publication Number Publication Date
CN103210645A true CN103210645A (zh) 2013-07-17
CN103210645B CN103210645B (zh) 2016-09-07

Family

ID=44652031

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180043723.4A Expired - Fee Related CN103141092B (zh) 2010-09-10 2011-09-09 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备
CN201180043275.8A Expired - Fee Related CN103210645B (zh) 2010-09-10 2011-09-09 使用运动补偿的基于实例的超分辨率的视频解码

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201180043723.4A Expired - Fee Related CN103141092B (zh) 2010-09-10 2011-09-09 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备

Country Status (7)

Country Link
US (2) US20130163676A1 (zh)
EP (2) EP2614642A2 (zh)
JP (2) JP2013537381A (zh)
KR (2) KR101878515B1 (zh)
CN (2) CN103141092B (zh)
BR (1) BR112013004107A2 (zh)
WO (2) WO2012033963A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056540A (zh) * 2016-07-08 2016-10-26 北京邮电大学 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
CN110226329A (zh) * 2017-01-27 2019-09-10 阿帕里奥全球咨询股份有限公司 用于将物理显示器的替代图像内容发送到不同观看者的方法和系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011090790A1 (en) 2010-01-22 2011-07-28 Thomson Licensing Methods and apparatus for sampling -based super resolution vido encoding and decoding
CN102726044B (zh) * 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
WO2013105946A1 (en) * 2012-01-11 2013-07-18 Thomson Licensing Motion compensating transformation for video coding
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
US9774865B2 (en) * 2013-12-16 2017-09-26 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution
JP6986721B2 (ja) * 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
CN111882486B (zh) * 2020-06-21 2023-03-10 南开大学 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法
CN118283201A (zh) * 2024-06-03 2024-07-02 上海蜜度科技股份有限公司 视频合成方法、系统、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218834A1 (en) * 2003-04-30 2004-11-04 Microsoft Corporation Patch-based video super-resolution
US20080107346A1 (en) * 2006-10-17 2008-05-08 Chao Zhang Scene-based non-uniformity correction and enhancement method using super-resolution
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11711A (en) 1854-09-19 William h
US10711A (en) 1854-03-28 Improvement in furnaces for zinc-white
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7397858B2 (en) * 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
AU2002951574A0 (en) * 2002-09-20 2002-10-03 Unisearch Limited Method of signalling motion information for efficient scalable video compression
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
CN100413316C (zh) * 2006-02-14 2008-08-20 华为技术有限公司 一种视频图像超分辨率重构方法
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
US8989519B2 (en) * 2009-04-20 2015-03-24 Yeda Research & Development Co. Ltd. Super resolution from a single signal
CN101551903A (zh) * 2009-05-11 2009-10-07 天津大学 步态识别中的超分辨率图像恢复方法
CN102726044B (zh) * 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218834A1 (en) * 2003-04-30 2004-11-04 Microsoft Corporation Patch-based video super-resolution
US20080107346A1 (en) * 2006-10-17 2008-05-08 Chao Zhang Scene-based non-uniformity correction and enhancement method using super-resolution
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D.BARRETO: "Region-Based Super-Resolution for Compression", 《MULTIDIMENSIONAL SYSTEMS AND SIGNAL PROCESSING》, vol. 18, 8 March 2007 (2007-03-08), XP019506574, DOI: doi:10.1007/s11045-007-0019-y *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056540A (zh) * 2016-07-08 2016-10-26 北京邮电大学 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
CN110226329A (zh) * 2017-01-27 2019-09-10 阿帕里奥全球咨询股份有限公司 用于将物理显示器的替代图像内容发送到不同观看者的方法和系统

Also Published As

Publication number Publication date
WO2012033963A3 (en) 2012-09-27
CN103210645B (zh) 2016-09-07
KR20130105827A (ko) 2013-09-26
CN103141092B (zh) 2016-11-16
JP2013537380A (ja) 2013-09-30
US20130163676A1 (en) 2013-06-27
KR20130143566A (ko) 2013-12-31
WO2012033962A3 (en) 2012-09-20
KR101906614B1 (ko) 2018-10-10
WO2012033963A8 (en) 2012-07-19
CN103141092A (zh) 2013-06-05
EP2614642A2 (en) 2013-07-17
US20130163673A1 (en) 2013-06-27
BR112013004107A2 (pt) 2016-06-14
WO2012033962A2 (en) 2012-03-15
JP6042813B2 (ja) 2016-12-14
KR101878515B1 (ko) 2018-07-13
WO2012033963A2 (en) 2012-03-15
JP2013537381A (ja) 2013-09-30
EP2614641A2 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
CN103210645A (zh) 使用运动补偿的基于实例的超分辨率的视频解码
CN102687511B (zh) 运动信息的自适应编解码的方法和装置
EP1659532A2 (en) Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method
JP2013537381A5 (zh)
CN102823242A (zh) 基于取样超分辨率视频编码和解码的方法和装置
US9420291B2 (en) Methods and apparatus for reducing vector quantization error through patch shifting
CN103202017A (zh) 使用基于样本的数据修剪的视频解码
JP5313326B2 (ja) 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
CN101867821B (zh) 基于稀疏采样和纹理重建的视频编码系统
CN112601095B (zh) 一种视频亮度和色度分数插值模型的创建方法及系统
KR20240024921A (ko) 이미지 또는 비디오를 인코딩/디코딩하기 위한 방법들 및 장치들
US20230164337A1 (en) Method and apparatus for adaptive image preprocessing and reconstruction
Wu et al. Deep video compression based on Long-range Temporal Context Learning
CN117813634A (zh) 用于对图像或视频进行编码/解码的方法和装置
KR20230157975A (ko) 딥러닝 기반 yuv 비디오 압축을 위한 모션 흐름 코딩
CN117956178A (zh) 视频编码方法和装置、视频解码方法和装置
CN116546153A (zh) 图像处理设备、图像处理方法和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190524

Address after: American Delaware

Patentee after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing SA

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160907

Termination date: 20200909

CF01 Termination of patent right due to non-payment of annual fee