CN103141092B - 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备 - Google Patents

针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备 Download PDF

Info

Publication number
CN103141092B
CN103141092B CN201180043723.4A CN201180043723A CN103141092B CN 103141092 B CN103141092 B CN 103141092B CN 201180043723 A CN201180043723 A CN 201180043723A CN 103141092 B CN103141092 B CN 103141092B
Authority
CN
China
Prior art keywords
picture
resolution
video sequence
input video
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180043723.4A
Other languages
English (en)
Other versions
CN103141092A (zh
Inventor
张冬青
米修·乔治·雅各布
锡塔哈姆·伯哈加瓦西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103141092A publication Critical patent/CN103141092A/zh
Application granted granted Critical
Publication of CN103141092B publication Critical patent/CN103141092B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种针对视频压缩使用运动估计的基于示例的超分辨率来编码视频信号的方法和设备。该设备包括：运动参数估计器(510)，用于估计具有运动的输入视频序列的运动参数。输入视频序列包括多个画面。该设备还包括：图像翘曲器(520)，用于执行画面翘曲处理，画面翘曲处理基于运动参数通过减少运动的量来变换多个画面中的一个或多个，以提供输入视频序列的静态版本。该设备还包括：基于示例的超分辨率处理器(530)，执行基于示例的超分辨率，来根据视频序列的静态版本产生一个或多个高分辨率替换补片画面。一个或多个高分辨率替换补片画面用于在输入视频序列的重构期间替换一个或多个低分辨率补片画面。

Description

针对视频压缩使用运动补偿的基于示例的超分辨率来编码视 频信号的方法和设备
本申请要求2010年9月10日递交的题为MOTION COMPENSATED EXAMPLE-BASEDSUPER-RESOLUTION FOR VIDEO COMPRESSION的美国临时申请序号No.61/403086(Technicolor案卷号No.PU100190)的权益。
本申请涉及以下共同未决的共有专利申请：
(1)2011年1月20日递交的题为A SAMPLING-BASED SUPER-RESOLUTION APPROACHFOR EFFICENT VIDEO COMPRESSION的国际专利申请(PCT)序号No.PCT/US11/000107(Technicolor案卷号No.PU100004)；
(2)2011年1月21日递交的题为DATA PRUNING FOR VIDEO COMPRESSION USINGEXAMPLE-BASED SUPER-RESOLUTION的国际专利申请(PCT)序号No.PCT/US11/000117(Technicolor案卷号No.PU100014)；
(3)2011年9月XX日递交的题为METHODS AND APPARATUS FOR DECODING VIDEOSIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEOCOMPRESSION的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100266)；
(4)2011年9月XX日递交的题为METHODS AND APPARATUS FOR ENCODING VIDEOSIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100193)；
(5)2011年9月XX日递交的题为METHODS AND APPARATUS FOR DECODING VIDEOSIGNALS USING EXAMPLE-B A SED DATAPRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100267)；
(6)2011年9月XX日递交的题为METHODS AND APPARATUS FOR ENCODING VIDEOSIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100194)；
(7)2011年9月XX日递交的题为METHODS AND APPARATUS FOR DECODING VIDEOSIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100268)；
(8)2011年9月XX日递交的题为METHODS AND APPARATUS FOR EFFICIENTREFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCHAND RANKING的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100195)；
(9)2011年9月XX日递交题为METHOD AND APPARATUS FOR EFFICIENT REFERENCEDATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU110106)；
(10)2011年9月XX日递交的题为METHOD AND APPARATUS FOR ENCODING VIDEOSIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100196)；
(11)2011年9月XX日递交的题为METHOD AND APPARATUS FOR DECODING VIDEOSIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU100269)；以及
(12)2011年9月XX日递交题为PRUNING DECISIONOPTIMIZATION IN EXAMPLE-BASED DATA PRUNING COMPRESSION的国际专利申请(PCT)序号No.XXXX(Technicolor案卷号No.PU10197)。
本发明原理总体上涉及视频编码和解码，更具体地涉及针对视频压缩的运动补偿的基于示例的超分辨率方法和设备。
在先前方法(例如，Dong-Qing Zhang、Sitaram Bhagavathy和Joan Llach的2010年1月22日作为共同未决、共有美国临时专利申请(序号61/336516)″Data pruning forvideo compression using example-based super-resolution″(Technicolor案卷号PU100014)这公开的一个方法)，提出了针对使用基于示例的超分辨率(SR)的压缩的视频数据精简(pruning)。用于数据精简的基于示例的超分辨率向解码器发送高分辨率(high-res)示例补片(patch)和低分辨率(low-res)帧。解码器通过用示例high-res补片替换low-res补片来恢复high-res帧。
转向图1，描述了先前方法的一个方面。更具体地，基于示例的超分辨率的编码器侧处理的高级框图总体上由附图标记100指示。在步骤110对输入视频进行补片提取并且聚类分析(通过补片提取器和聚类分析器151)，来获得聚类的补片。此外，在步骤115还对输入视频进行尺寸缩减(通过尺寸缩减器153)，来从中输出尺寸缩减的帧。在步骤120出将经聚类分析的补片打包成补片帧(通过补片打包器152)，以从中输出(打包的)补片帧。
转向图2，描述了先前方法的另一方面。更具体地，基于示例的超分辨率的解码器侧处理的高级框图总体上由附图标记200指示。在步骤210对已解码的补片帧进行补片提取和处理(通过补片提取器和处理器251)，来获得经处理的补片。在步骤215尺寸经处理的补片(通过补片库252)。在步骤220对已解码的尺寸缩减帧进行尺寸增大(通过尺寸增大器253)来获得尺寸增大的帧。在步骤225对尺寸增大的帧进行补片搜索和替换(通过补片搜索器和替换器254)，来获得替换补片。在步骤230对替换补片进行后处理(通过后处理器255)，来获得高分辨率帧。
先前方法中提出的方法非常适合于静态视频(没有显著背景或前景对象运动的视频)。例如，实验表明对于特定类型的静态视频，与使用独立视频编码器(例如，根据国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐标准(下文称作“MPEG-4AVC标准”))相比，使用基于示例的超分辨率能够提高压缩效率。
然而，对于具有显著对象或背景运动的视频，使用基于示例的超分辨率的压缩效率通常比使用独立MPEG-4AVC编码器的压缩效率差。这是因为对于具有显著运动视频而言，典型地用于提取代表补片的聚类分析处理由于补片移位和其他变换(例如，缩放、旋转等)产生实质上更多冗余的代表补片，因此增多了补片帧的数目，并且降低了补片帧的压缩效率。
转向图3，基于示例的超分辨率的先前方法中使用的聚类分析处理总体上由附图标记300指示。在图3的示例中，聚类分析处理涉及六个帧(指定为帧1到帧6)。对象(运动对象)由图3中曲线指示。关于图3的上部和下部示出聚类分析处理300。在上部，示出了来自输入视频序列的连续帧的位置相同的输入补片310。在下部，示出了与聚类相对应地代表补片320。具体地，下部示出了聚类1的代表补片321和聚类2的代表补片322。
总之，用于数据精简的基于示例的超分辨率向解码器发送高分辨率(这里也被称作“high-res”)示例补片和低分辨率(这里也被称作“low-res”)帧(参见图1)。解码器通过用示例高分辨率补片替换低分辨率补片来恢复高分辨率帧(参见图2)。然而，如上所述，对于具有运动的视频，用于提取代表补片的聚类分析处理产生实质上更冗余的代表补片，这是因为补片移位(参见图3)和其他变换(例如，缩放、旋转等)，因此增多了补片帧的数目，并且降低了补片帧的压缩效率。
本申请公开了针对视频压缩的运动补偿的基于示例的超分辨率方法和设备，提高了压缩效率。
根据本发明原理的一个方面，提供了一种针对基于示例的超分辨率的设备。该设备包括：运动参数估计器，用于估计具有运动的输入视频序列的运动参数。输入视频序列包括多个画面。该设备还包括：图像翘曲器，用于执行画面翘曲处理，画面翘曲处理基于运动参数通过减少运动的量来变换多个画面中的一个或多个，以提供输入视频序列的静态版本。该设备还包括：基于示例的超分辨率处理器，执行基于示例的超分辨率，来根据视频序列的静态版本产生一个或多个高分辨率替换补片画面。一个或多个高分辨率替换补片画面用于在输入视频序列的重构期间替换一个或多个低分辨率补片画面。
根据本发明原理的另一方面，提供了一种针对基于示例的超分辨率的方法。该方法包括：估计具有运动的输入视频序列的运动参数。输入视频序列包括多个画面。该方法还包括：执行画面翘曲处理，画面翘曲处理基于运动参数通过减少运动的量来变换多个画面中的一个或多个，以提供输入视频序列的静态版本。该方法还包括：执行基于示例的超分辨率，来根据视频序列的静态版本产生一个或多个高分辨率替换补片画面。一个或多个高分辨率替换补片画面用于在输入视频序列的重构期间替换一个或多个低分辨率补片画面。
根据本发明的又一方面，提供了一种针对基于示例的超分辨率的设备。该设备包括：基于示例的超分辨率处理器，用于接收根据具有运动输入视频序列的静态版本产生的一个或多个高分辨率替换补片画面，并且执行基于示例的超分辨率，来根据一个或多个高分辨率替换补片画面产生输入视频序列的静态版本的重构版本。输入视频序列的静态版本的重构版本包括多个画面。该设备还包括：逆图像翘曲器，用于接收输入视频序列的运动参数，并且基于运动参数执行逆画面翘曲处理，来变换多个画面中的一个或多个，从而产生具有运动的输入视频序列的重构。
根据本发明原理的另一方面，提供了一种针对基于示例的超分辨率的方法。该方法包括：接收具有运动的输入视频序列的运动参数，以及根据输入视频序列的静态版本产生的一个或多个高分辨率替换补片画面。该方法还包括：执行基于示例的超分辨率，来根据一个或多个高分辨率替换补片画面产生输入视频序列的静态版本的重构版本。输入视频序列的静态版本的重构版本包括多个画面。该方法还包括：基于运动参数执行逆画面翘曲处理，来变换多个画面中的一个或多个，从而产生具有运动的输入视频序列的重构。
根据本发明的再一方面，提供了一种针对基于示例的超分辨率的设备。该设备包括：用于估计具有运动的输入视频序列的运动参数的装置。输入视频序列包括多个画面。该设备还包括：用于执行画面翘曲处理的装置，画面翘曲处理基于运动参数通过减少运动的量来变换多个画面中的一个或多个，以提供输入视频序列的静态版本。该设备还包括：执行基于示例的超分辨率来根据视频序列的静态版本产生一个或多个高分辨率替换补片画面的装置。一个或多个高分辨率替换补片画面用于在输入视频序列的重构期间替换一个或多个低分辨率补片画面。
根据本发明的附加方面，提供了一种针对基于示例的超分辨率的设备。该设备包括：用于接收具有运动的输入视频序列的运动参数以及根据输入视频序列的静态版本产生的一个或多个高分辨率替换补片画面的装置。该设备还包括：用于执行基于示例的超分辨率来根据一个或多个高分辨率替换补片画面产生输入视频序列的静态版本的重构版本的装置。输入视频序列的静态版本的重构版本包括多个画面。该设备还包括：用于基于运动参数执行逆画面翘曲处理来变换多个画面中的一个或多个从而产生具有运动的输入视频序列的重构的装置。
根据结合附图阅读的示例性实施例的以下详细描述，本发明原理的这些和其他方面、特征和优点将变得显而易见。
根据以下示例性附图可以更好地理解本发明原理。
图1是示出了根据先前方法的基于示例的超分辨率的编码器侧处理的高级框图；
图2是示出了根据先前方法的基于示例的超分辨率的解码器侧处理的高级框图；
图3是示出了根据先前方法用于基于示例的超分辨率的聚类分析处理的图；
图4是示出了根据本发明原理实施例的具有对象运动的视频到静态视频的示例变换的图；
图5是示出了根据本发明原理实施例的在编码器中使用的具有帧翘曲的运动补偿的基于示例的超分辨率的示例性设备的框图；
图6是示出了根据本发明原理的可以应用本发明原理的示例性视频编码器的框图；
图7是示出了根据本发明原理的编码器处针对运动补偿的基于示例的超分辨率的示例性方法的流程图；
图8是示出了根据本发明原理的解码器中具有逆帧翘曲的运动补偿的基于示例的超分辨率处理的示例性设备的框图；
图9是示出了根据本发明原理的可以应用本发明原理的示例性视频解码器的框图；以及
图10是示出了根据本发明原理的解码器处运动补偿的基于示例的超分辨率的示例性方法的流程图。
本发明原理涉及针对视频压缩的运动补偿的基于示例的超分辨率的方法和设备。
本说明书示意了本发明原理。因此将理解的是，尽管这里没有明确描述或示出，本领域的技术人员将能够设想体现本发明原理并包括在本发明精神和范围内的各种布置。
这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明原理以及发明人对现有技术做出贡献的构思，应看作不会被限制为这里具体引述的示例和条件。
此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。
因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否明确示出该计算机或处理器。
可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而实现图中所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。
还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。
在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限定的本发明原理在于如下事实：将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。
在说明书中涉及本发明原理的“一个实施例”或“实施例”是指：结合实施例描述的特定特征、结构、特性等包括在本发明的至少一个实施例中。因此，贯穿说明书在不同地方出现的短语“在一个实施例中”或“在实施例中”不必均指相同的实施例。此外短语“在另一实施例中”不排除与另一实施例全部或部分组合的所描述实施例的主题。
应当理解的是，以下“/”、“和/或”和“至少一个”中任意的使用，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，意在包括只选择第一所列项目(A)、或只选择第二所列项目(B)、或选择两个项目(A和B)。作为另一示例，在“A、B和/或C”以及“A、B和C中的至少一个”的情况下，这样的表示意在包括只选择第一所列项目(A)、只选择第二所列项目(B)、只选择第三所列项目(C)、选择第一和第二所列项目(A和B)、选择第一和第三所列项目(A和C)、选择第二和第三所列项目(B和C)、或选择所有三个项目(A和B和C)。对于本领域和相关领域的普通技术人员来说显而易见的是，对于所列的许多项目，上述是可以扩展的。
同样如这里所使用的，词语“画面”和“图像”可互换使用，并且指代的是来自视频序列的静止图像或画面。如已知的，画面可以是帧或场。
如上所述，本发明原理涉及运动补偿的基于示例的超分辨率视频压缩方法和设备。有利地，本发明原理提供了一种减少冗余代表补片的数目并且提高压缩效率的方式。
根据本发明原理，本申请公开了将具有显著背景和对象运动的视频片段变换到相对静态的视频片段的构思。更具体地，在图4中，具有对象运动的视频到静态视频的示例性变换总体上由附图标记400指示。变换400涉及应用于具有对象运动410的视频的帧1、帧2和帧3的帧翘曲变换，以获得静态视频420的帧1、帧2和帧3。在聚类分析处理(即，基于示例的超分辨率方法的编码器侧处理组件)和编码处理之前执行变换400。然后将变换参数发送到解码器侧进行恢复。由于通过将具有运动视频变换到静态视频，基于示例的超分辨率方法会获得静态视频的更高压缩效率，并且变换参数的尺寸通常非常小，因此能够潜在地获得具有运动的视频的压缩效率。
转向图5，在编码器中使用的具有帧翘曲的运动补偿的基于示例的超分辨率的示例性设备总体上由附图标记500指示。设备500包括：运动参数估计器510，具有与图像翘曲器520的输入进行信号通信的第一输出。图像翘曲器520的输出与基于示例的超分辨率解码器侧处理器530的输入信号通信连接。基于示例的超分辨率解码器侧处理器530的第一输出与编码器540的输入信号通信连接，并且向编码器540提供尺寸缩减的帧。基于示例的超分辨率解码器侧处理器530的第二输出与编码器540的输入信号通信连接，并且向编码器540通过补片帧。运动参数估计器510的第二输出可用作设备500的输出，以提供运动参数。运动参数估计器510的输入可用作装置500的输入，以接收输入视频。编码器540的输出(未示出)可用作设备500的第二输出，以输出比特流。比特流例如可以包括已编码的尺寸缩减帧、编码器补片帧和运动参数。
应当认识到，可以省略编码器540执行的功能(即，编码)，因为将没有压缩的尺寸缩减的帧、补片帧和运动参数发送到解码器侧。然而，为了节省比特率，优选地，尺寸缩减的帧、补片帧和运动参数在被发送到解码器侧之前对其进行压缩(通过编码器540)。此外，在另一示例中，运动参数估计器510、图像翘曲器520和基于示例的超分辨率解码器侧处理器530可以包括在视频编码器中，并且是视频编码器的部件。
因此，在编码器侧处，在执行聚类分析处理之前，执行运动估计(通过运动参数估计器510)，并且应用帧翘曲处理(通过图像翘曲器520)来将具有运动对象或背景的帧变换为相对静态视频。通过分离通道将从运动估计处理提取的参数发送到解码器侧。
转向图6，可以应用本发明原理的示例性视频编码器总体上由附图标记600指示。视频编码器600包括：帧排序缓冲器610，具有与组合器685的非反相输入进行信号通信的输出。组合器685的输出与变换和量化器625的第一输入信号通信连接。变换和量化器625的输出与熵编码器645的第一输入以及逆变换和逆量化器650的第一输入信号通信连接。熵编码器645的输出与组合器690的第一非反相输入信号通信连接。组合器690的输出与输出缓冲器635的第一输入信号通信连接。
编码器控制器605的第一输出与帧排序缓冲器610的第二输入、逆变换和逆量化器650的第二输入、画面型判定模块615的输入、宏块型(MB-型)判定模块620的第一输入、帧内预测模块660的第二输入、解块滤波器665的第二输入、运动补偿器670的第一输入、运动估计器675的第一输入以及参考画面缓冲器680的第二输入信号通信连接。
编码器控制器605的第二输出与补充增强信息(SEI)插入器630的第一输入、变换和量化器625的第二输入、熵编码器645的第二输入、输出缓冲器635的第二输入以及序列参数集(SPS)和画面参数集(PPS)插入器640的输入信号通信连接。
SEI插入器630的输出与组合器690的第二非反相输入信号通信连接。
画面型判定模块615的第一输出与帧排序缓冲器610的第三输入信号通信连接。画面型判定模块615的第二输出与宏块型判定模块620的第二输入信号通信连接。
序列参数集(SPS)和画面参数集(PPS)插入器640的输出与组合器690的第三非反相输入信号通信连接。
逆量化和逆变换器650的输出与组合器619的第一非反相输入信号通信连接。组合器619的输出与帧内预测模块660的第一输入以及解块滤波器665的第一输入信号通信连接。解块滤波器665的输出与参考画面缓冲器680的第一输入信号通信连接。参考画面缓冲器680的输出与运动估计器675的第二输入和运动补偿器670的第三输入信号通信连接。运动估计器675的第一输出与运动补偿器670的第二输入信号通信连接。运动估计器675的第二输出与熵编码器645的第三输入信号通信连接。
运动补偿器670的输出与开关697的第一输入信号通信连接。帧内预测模块660的输出与开关697的第二输入信号通信连接。宏块型判定模块620的输出与开关697的第三输入信号通信连接。开关697的第三输入确定开关的“数据”输入(与控制输入相比较，即与第三输入相比较)是由运动补偿器670还是帧内预测模块660提供。开关697的输出与组合器619的第二非反相输入和组合器685的反相输入信号通信连接。
帧排序缓冲器610的第一输入和编码器控制器105的输入可用作编码器600的输入，以接收输入画面。此外，补偿增强信息(SEI)插入器630的第二输入可用作编码器600的输入，以接收元数据。输出缓冲器635的输出可用作编码器600的输出，以输出比特流。
应当认识到来自图5的编码器540可以实现为编码器600。
转向图7，编码器处针对运动补偿的基于示例的超分辨率的示例性方法总体上由附图标记700指示。方法700包括开始块705，开始块将控制传给功能块710。功能块710输入具有对象运动的视频，并且将控制传给功能块715。功能块715估计并保存具有对象运动的输入视频的运动参数，并且将控制传给循环限制块720。循环限制块720针对每个帧执行循环，并且将控制传给功能块725。功能块725使用估计的运动参数对当前帧进行翘曲，并且将控制传给判定块730。判定块730确定是否完成所有帧的处理。如果完成所有帧的处理，则将控制传给功能块735。否则，控制返回到功能块720。功能块735执行基于示例的超分辨率编码器侧处理，并且将控制传给功能块740。功能块74输出尺寸缩减的帧、补片帧和运动参数，并且将控制传给结束块799。
转向图8，解码器中具有逆帧翘曲的运动补偿的基于示例的超分辨率示例性设备总体上由附图标记800指示。包括解码器810的设备800对上述包括编码器540的设备500产生的信号进行处理。设备800包括解码器810，解码器810具有与基于示例的超分辨率解码器侧处理器820的第一输入和第二输入进行信号通信的输出，并且分别向第一输入和第二输入提供(已解码的)尺寸缩减帧和补片帧。基于示例的超分辨率解码器侧处理器820的输出还与逆帧翘曲器830的输入通信信号连接，以向逆帧翘曲器830提供超分辨率的视频。逆帧翘曲器830的输出可用作设备800的输出，以输出视频。逆帧翘曲器830的输入可用于接收运动参数。
应当认识到，可以省略解码器810执行的功能(即，编码)，其中解码器侧接收没有压缩的尺寸缩减的帧和补片帧。然而，为了节省比特率，优选地，尺寸缩减的帧和补片帧在被发送到解码器侧之前对其进行压缩。此外，在另一示例中，基于示例的超分辨率解码器侧处理器820和逆帧翘曲器830可以包括在视频解码器中，并且是视频解码器的部件。
因此，在解码器侧处，在通过基于示例的超分辨率恢复帧之前，执行逆翘曲处理，来将恢复的视频片段变换到原始视频的坐标系统。逆翘曲处理使用在编码器侧处估计并且从编码器侧发送的运动参数。
转向图9，可以应用本发明原理的示例性视频解码器总体上由附图标记900指示。视频解码器900包括输入缓冲器910，具有与熵解码器945的第一输入信号通信连接的输出。熵解码器945的第一输出与逆变换和逆量化器950的第一输入信号通信连接。逆变换和逆量化器950的输出与组合器925的第二非反相输入信号通信连接。组合器925的输出与解块滤波器965的第二输入以及帧内预测模块960的第一输入信号通信连接。解块滤波器965的第二输出与参考画面缓冲器980的第一输入信号通信连接。参考画面缓冲器980的输出与运动补偿器970的第二输入信号通信连接。
熵解码器945的第二输出与运动补偿器970的第三输入、解块滤波器965的第一输入以及帧内预测器960的第三输入信号通信连接。熵解码器945的第三输出与解码器控制器905的输入信号通信连接。解码器控制器905的第一输出与熵解码器945的第二输入信号通信连接。解码器控制器905的第二输出与逆变换和逆量化器950的第二输入信号通信连接。解码器控制器905的第三输出与解块滤波器965的第三输入信号通信连接。解码器控制器905的第四输出与帧内预测模块960的第二输入、运动补偿器970的第一输入和参考画面缓冲器980的第二输入信号通信连接。
运动补偿器970的输出与开关997的第一输入信号通信连接。帧内预测模块960的输出与开关997的第二输入信号通信连接。开关997的输出与组合器925的第一非反相输入信号通信连接。
输入缓冲器910的输入可用作解码器900的输入，以接收输入比特流。解块滤波器965的第一输出可用作解码器900的输出，以输出输出画面。
应当认识到，来自图8的解码器810可以实现为解码器900。
转向图10，解码器处针对基于运动补偿的基于示例的超分辨率示例性方法总体上由附图标记1000指示。方法1000包括开始块1001，开始块并且将控制传给功能块1010。功能块1010输入尺寸缩减的帧、补片帧和运动参数，并且将控制传给功能块1015。功能块1015执行基于示例的超分辨率解码器侧处理，并且将控制传给循环限制块1020。循环限制块1020针对每个帧执行循环，并且将控制传给功能块1025。功能块1025使用接收到的运动参数执行逆帧翘曲，并且将控制传给判定块1030。判定块1030确定所有帧的处理是否完成。如果完成所有帧的处理，则将控制传给功能块1035。否则，控制返回到功能块1020。功能块1035输出恢复的视频，并且将控制传给结束块1099。
将输入视频划分成帧组(GOF)。每个GOF是针对运动估计、帧翘曲和基于示例的超分辨率的基本单元。选择GOF中的一个帧(例如，中间帧或开始帧)作为用于运动估计的参考帧。GOF可以具有固定或可变长度。
运动估计
运动估计用于估计帧中像素相对于参考帧的移位。由于运动参数必须被发送到解码器侧，因此运动参数的数目应当尽可能少。因此，优选地选择由少数参数管理的特定参数运动模型。例如，在这里公开的当前系统中，采用可以由8个参数表征的面运动模型。这样的参数运动模型能够对帧之间的全局运动(例如，许多不同类型视频中公共的平移、旋转、仿射翘曲、投影变换等)进行建模。例如，当摄像机摇摄时，摄像机摇摄引起平移运动。前景对象运动不能极好地被该模型捕获，但是如果前景对象较小，并且背景运动显著，则变换的视频大多数情况下保持静态。当然，能够由8个参数表征的参数运动模式的使用仅是示意性的，并因此根据本发明原理的教导也可以使用能够由多于8个参数、少于8个参数或者甚至其中一个或多个与上述模型不同的8个参数表征的其他参数运动模型，而同时保持本发明原理的精神。
不失一般性地，假定参考帧是H1，并且GOF中的其余帧是Hi＝(i＝2，3，...，N)。两个帧Hi和Hj之间的全局运动实际上由将Hi中的像素移至Hj中它们对应像素的位置的变换来表征，或反之亦然。从Hi到Hj的变换由Θij表示，并且其参数由θij表示。然后变换Θij可以用于将Hi对准(或翘曲)到Hj(或反之亦然，使用逆模型Θji＝Θij -1)。
可以使用各种模型和方法来估计全局运动，并且因此本发明原理不限于估计全局运动的任何特定方法和/或模型。作为示例，一个通常使用的模型(本文引用的当前系统中使用的模型)是由以下给出的投影变换：
x ′ = a 1 x + a 2 y + a 3 c 1 x + c 1 y + 1 , y ′ = b 1 x + b 2 y + b 3 c 1 x + c 2 y + 1 - - - ( 1 )
上述方程给出Hj中的新位置(x′，y′)，Hi中的像素已经移至该新位置(x′，y′)。因此，八个模型参数θij＝{a1，a2，a3，b1，b2，b3，c1，c2}描述了从Hi到Hj的运动。这些参数通常通过首先确定两个帧之间的点对应关系集合，然后使用鲁棒的估计架构来估计，鲁棒的估计架构例如是随机采样一致(RANSAC)或其变型，例如，在M.A.Fischler和R.C.Bolles的″Random Sample Consensus：A Paradigm for Model Fitting with Applications toImage Analysis and Automated Cartography，″Communications of the ACM，vol.24，1981，pp.381-395以及P.[Eta].S.Torr和A.Zisserman的″MLESAC：A New RobustEstimator with Application to Estimating Image Geometry，″Journal of ComputerVision and Image Understanding，vol.78，no.1，2000，pp.138-156中描述的。帧之间的点对应关系可以通过多种方法来确定，例如提取和匹配SIFT(缩放不变特征变换)特征(例如在D.G.Lowe的″Distinctive image features from scale-invariant keypoints，″International Journal of Computer Vision，vol.2，no.60，2004，pp.91-110中描述的)，或者使用光学流(例如在M.J.Black和P.Anandan的″The robust estimation of multiplemotions：Parametric and piecewise-smooth flow fields，″Computer Vision andImage Understanding，vol.63，no.1，1996，pp.75-104中描述的)。
全局运动参数用于对GOF中的帧(除了参考帧)进行翘曲，以与参考帧对准。因此，必须估计每个帧Hi＝(i＝2，3，...，N)与参考帧(H1)之间的运动参数。变换是可逆的，并且逆变换Θji＝Θij-1描述了从Hj到Hi的运动。逆变换用于将生成的帧翘曲回到原始帧。在解码器侧处使用逆变换来恢复原始视频帧。压缩变换参数，并且通过辅助通道向解码器侧发送，以便于视频恢复处理。
除了全局运动模型以外，可以根据本发明原理使用其他运动估计方法(例如，基于块的方法)，来实现更高精度。基于块的方法将帧划分成块，并且估计每个块的运动模型。然而，使用基于块的模型花费明显更多的比特来描述运动。
帧翘曲和逆帧翘曲
在编码器侧处估计运动参数之后，执行帧翘曲处理，以将非参考帧与参考帧对准。然而，可能地，视频帧中的一些区域并不服从上述全局运动模型。通过应用帧翘曲，将这些区域连同帧中剩余的区域一起变换。然而，如果这些区域较小上述不会产生大问题，因为对这些区域的翘曲仅在翘曲的帧中创建这些区域的伪像运动。只要具有伪像运动的这些区域较小，就不会导致代表补片的显著增多，因此总体上翘曲处理仍能够降低代表补片的总数。同样，逆翘曲处理会对小区域的伪像运动进行反转。
在解码器侧处执行逆帧翘曲处理，以将恢复的帧从基于示例的超分辨率分量翘曲回到原始坐标系统。
基于这里的教导，本领域的普通技术人员可以容易地确定本发明的这些以及其它特征和优点。应理解的是，本发明的教导可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现。
最优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将软件实现为在程序存储单元上具体体现的应用程序。可将该应用程序上载到包括任何适合架构在内的机器并由该机器执行。优选地，在具有硬件(如，一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)以及输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分或其组合。此外，可将其它各种外围单元连接到计算机平台，如附加的数据存储单元和打印单元。
还应理解的是，由于在附图中描述的一些构成系统组件和方法优选地以软件来实现，系统组件或处理功能块之间的实际连接可以根据对本发明原理编程的方式而有所不同。在这里给出教导的情况下，本领域的普通技术人员将能够想到本发明的这些以及类似的实现方式或配置。
虽然这里参考附图描述了示意性的实施例，但是应理解的是，本发明并不限于这些确定的实施例，在不背离本发明的范围或精神的情况下，本领域的普通技术人员可以实现各种变化和修改。所有这些变化和修改旨在包括在如所附权利要求中所阐述的本发明的范围内。

Claims (20)

1.一种编码视频信号的设备，包括：
运动参数估计器(510)，用于确定具有运动的输入视频序列的运动参数，所述输入视频序列包括多个画面；
图像翘曲器(520)，用于执行画面翘曲处理，画面翘曲处理基于所述运动参数，通过减少所述运动的量来变换所述多个画面中的一个或多个，以提供所述输入视频序列的静态版本；以及
基于示例的超分辨率处理器(530)，执行基于示例的超分辨率，来根据所述视频序列的所述静态版本产生一个或多个高分辨率替换补片画面，所述一个或多个高分辨率替换补片画面用于在所述输入视频序列的重构期间替换一个或多个低分辨率补片画面。
2.根据权利要求1所述的设备，其中，所述基于示例的超分辨率处理器(530)还用于根据所述输入视频序列产生一个或多个尺寸缩减的画面，所述一个或多个尺寸缩减的画面分别对应于所述多个画面中的一个或多个，并且用于重构所述输入视频序列。
3.根据权利要求1所述的设备，其中，所述设备包括在视频编码器模块(540)中。
4.根据权利要求1所述的设备，其中，使用面运动模型来确定所述运动参数，所述面运动模型对所述多个画面之中的参考画面与至少一个其他画面之间的全局运动进行建模，所述全局运动包括将所述参考画面中的像素移至所述至少一个其他画面中的相应像素或者将所述至少一个其他画面中的所述相应像素移至所述参考画面中的所述像素的一个或多个可逆变换。
5.根据权利要求1所述的设备，其中，基于画面组来确定所述运动参数。
6.根据权利要求1所述的设备，其中，使用基于块的运动方法来确定所述运动参数，所述基于块的运动方法将所述多个画面分为多个块，并且确定所述多个块中的每个块的相应运动模型。
7.根据权利要求1所述的设备，其中，所述画面翘曲处理将所述多个画面中包括的画面组之中的参考画面与所述画面组之中的非参考画面对准。
8.一种编码视频信号的方法，包括
确定(715)具有运动的输入视频序列的运动参数，所述输入视频序列包括多个画面；
执行(725)画面翘曲处理，画面翘曲处理基于所述运动参数，通过减少所述运动的量来变换所述多个画面中的一个或多个，以提供所述输入视频序列的静态版本；并且
执行(735)基于示例的超分辨率，来根据所述视频序列的所述静态版本产生一个或多个高分辨率替换补片画面，所述一个或多个高分辨率替换补片画面用于在所述输入视频序列的重构期间替换一个或多个低分辨率补片画面。
9.根据权利要求8所述的方法，其中，执行(735)所述基于示例的超分辨率包括：根据所述输入视频序列产生一个或多个尺寸缩减的画面，所述一个或多个尺寸缩减的画面分别对应于所述多个画面中的一个或多个，并且用于重构所述输入视频序列。
10.根据权利要求8所述的方法，其中，所述方法在视频编码器中执行。
11.根据权利要求8所述的方法，其中，使用面运动模型来确定所述运动参数，所述面运动模型对所述多个画面之中的参考画面与至少一个其他画面之间的全局运动进行建模，所述全局运动包括将所述参考画面中的像素移至所述至少一个其他画面中相应的相同位置像素或者将所述至少一个其他画面中所述相同位置像素移至所述参考画面中的所述像素的一个或多个可逆变换。
12.根据权利要求8所述的方法，其中，基于画面组来确定所述运动参数。
13.根据权利要求8所述的方法，其中，使用基于块的运动方法来确定所述运动参数，所述基于块的运动方法将所述多个画面分为多个块，并且确定所述多个块中的每个块的相应运动模型。
14.根据权利要求8所述的方法，其中，所述画面翘曲处理将所述多个画面中包括的画面组之中的参考画面与所述画面组之中的非参考画面对准。
15.一种编码视频信号的设备，包括：
用于确定具有运动的输入视频序列的运动参数的装置，所述输入视频序列包括多个画面；
用于执行画面翘曲处理的装置，画面翘曲处理基于所述运动参数通过减少所述运动的量来变换所述多个画面中的一个或多个，以提供所述输入视频序列的静态版本；以及
用于执行基于示例的超分辨率的装置，根据所述视频序列的所述静态版本产生一个或多个高分辨率替换补片画面，所述一个或多个高分辨率替换补片画面用于在所述输入视频序列的重构期间替换一个或多个低分辨率补片画面。
16.根据权利要求15所述的设备，其中，所述用于执行所述基于示例的超分辨率的装置(530)还用于根据所述输入视频序列产生一个或多个尺寸缩减的画面，所述一个或多个尺寸缩减的画面分别对应于所述多个画面中的一个或多个，并且用于重构所述输入视频序列。
17.根据权利要求15所述的设备，其中，使用面运动模型来确定所述运动参数，所述面运动模型对所述多个画面之中的参考画面与至少一个其他画面之间的全局运动进行建模，所述全局运动包括将所述参考画面中的像素移至所述至少一个其他画面中相应的相同位置像素或者将所述至少一个其他画面中的所述相同位置像素移至所述参考画面中的所述像素的一个或多个可逆变换。
18.根据权利要求15所述的设备，其中基于画面组来确定所述运动参数。
19.根据权利要求15所述的设备，其中，使用基于块的运动方法来确定所述运动参数，所述基于块的运动方法将所述多个画面分为多个块，并且确定所述多个块中的每个块的相应运动模型。
20.根据权利要求15所述的设备，其中，所述画面翘曲处理将所述多个画面中包括的画面组之中的参考画面与所述画面组之中的非参考画面对准。
CN201180043723.4A 2010-09-10 2011-09-09 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备 Expired - Fee Related CN103141092B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40308610P 2010-09-10 2010-09-10
US61/403,086 2010-09-10
PCT/US2011/050913 WO2012033962A2 (en) 2010-09-10 2011-09-09 Methods and apparatus for encoding video signals using motion compensated example-based super-resolution for video compression

Publications (2)

Publication Number Publication Date
CN103141092A CN103141092A (zh) 2013-06-05
CN103141092B true CN103141092B (zh) 2016-11-16

Family

ID=44652031

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180043723.4A Expired - Fee Related CN103141092B (zh) 2010-09-10 2011-09-09 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备
CN201180043275.8A Expired - Fee Related CN103210645B (zh) 2010-09-10 2011-09-09 使用运动补偿的基于实例的超分辨率的视频解码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180043275.8A Expired - Fee Related CN103210645B (zh) 2010-09-10 2011-09-09 使用运动补偿的基于实例的超分辨率的视频解码

Country Status (7)

Country Link
US (2) US20130163673A1 (zh)
EP (2) EP2614642A2 (zh)
JP (2) JP2013537381A (zh)
KR (2) KR101906614B1 (zh)
CN (2) CN103141092B (zh)
BR (1) BR112013004107A2 (zh)
WO (2) WO2012033963A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011090798A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
EP2526698A1 (en) 2010-01-22 2012-11-28 Thomson Licensing Methods and apparatus for sampling -based super resolution video encoding and decoding
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2013105946A1 (en) * 2012-01-11 2013-07-18 Thomson Licensing Motion compensating transformation for video coding
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
US9774865B2 (en) * 2013-12-16 2017-09-26 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution
JP6986721B2 (ja) * 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
CN106056540A (zh) * 2016-07-08 2016-10-26 北京邮电大学 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
CA3049732C (en) * 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
CN111882486B (zh) * 2020-06-21 2023-03-10 南开大学 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法
CN118283201B (zh) * 2024-06-03 2024-10-15 上海蜜度科技股份有限公司 视频合成方法、系统、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1128097A (zh) * 1994-04-29 1996-07-31 摩托罗拉公司 对视频序列运动估值的方法
CN1863272A (zh) * 2006-02-14 2006-11-15 华为技术有限公司 一种视频图像超分辨率重构方法
CN101551903A (zh) * 2009-05-11 2009-10-07 天津大学 步态识别中的超分辨率图像恢复方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10711A (en) 1854-03-28 Improvement in furnaces for zinc-white
US11711A (en) 1854-09-19 William h
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7386049B2 (en) * 2002-05-29 2008-06-10 Innovation Management Sciences, Llc Predictive interpolation of a video signal
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
AU2002951574A0 (en) * 2002-09-20 2002-10-03 Unisearch Limited Method of signalling motion information for efficient scalable video compression
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
US7933464B2 (en) * 2006-10-17 2011-04-26 Sri International Scene-based non-uniformity correction and enhancement method using super-resolution
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
WO2010122502A1 (en) * 2009-04-20 2010-10-28 Yeda Research And Development Co. Ltd. Super-resolution from a single signal
WO2011090798A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1128097A (zh) * 1994-04-29 1996-07-31 摩托罗拉公司 对视频序列运动估值的方法
CN1863272A (zh) * 2006-02-14 2006-11-15 华为技术有限公司 一种视频图像超分辨率重构方法
CN101551903A (zh) * 2009-05-11 2009-10-07 天津大学 步态识别中的超分辨率图像恢复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Region-based super-resolution for compression";BARRETO D ET AL;《MULTIDIMENSIONAL SYSTEMS AND SIGNAL PROCESSING》;20070308;第18卷(第2-3期);第59-81页 *
"Super-Resolution Image Reconstruction:A Technical Overview";PARK S C ET AL;《IEEE SIGNAL PROCESSING MAGAZINE》;20030531;第20卷(第3期);第21-36页 *

Also Published As

Publication number Publication date
KR20130143566A (ko) 2013-12-31
JP2013537381A (ja) 2013-09-30
EP2614642A2 (en) 2013-07-17
BR112013004107A2 (pt) 2016-06-14
KR101878515B1 (ko) 2018-07-13
WO2012033963A8 (en) 2012-07-19
KR20130105827A (ko) 2013-09-26
US20130163673A1 (en) 2013-06-27
CN103210645A (zh) 2013-07-17
WO2012033962A2 (en) 2012-03-15
CN103141092A (zh) 2013-06-05
JP6042813B2 (ja) 2016-12-14
WO2012033963A2 (en) 2012-03-15
EP2614641A2 (en) 2013-07-17
CN103210645B (zh) 2016-09-07
JP2013537380A (ja) 2013-09-30
KR101906614B1 (ko) 2018-10-10
WO2012033962A3 (en) 2012-09-20
WO2012033963A3 (en) 2012-09-27
US20130163676A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN103141092B (zh) 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备
Liu et al. Neural video coding using multiscale motion compensation and spatiotemporal context model
CN102823242B (zh) 基于取样超分辨率视频编码和解码的方法和装置
CN101540926B (zh) 基于h.264的立体视频编解码方法
CN102217314A (zh) 用于视频图像删减的方法和装置
JP2013537381A5 (zh)
CN107105278A (zh) 运动矢量自动生成的视频编解码框架
RU2509439C2 (ru) Способ и устройство кодирования и декодирования, сигнал, носитель данных и продукты компьютерной программы
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN105474642A (zh) 使用频域差对图像集合进行重新编码
CN101883284B (zh) 基于背景建模和可选差分模式的视频编/解码方法及系统
Xia et al. An emerging coding paradigm VCM: A scalable coding approach beyond feature and signal
CN104704826B (zh) 两步量化和编码方法和装置
JP5844745B2 (ja) パッチシフティングを通じてベクトル量子化誤差を低減する方法および装置
CN106688234A (zh) 具有改善的转置缓冲器的可缩放变换硬件架构
WO2024083100A1 (en) Method and apparatus for talking face video compression
CN115643406A (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN106063268A (zh) 将视频数据从h.264转码成h.265的方法和设备
CN113902000A (zh) 模型训练、合成帧生成、视频识别方法和装置以及介质
CN106791864A (zh) 一种基于hevc标准下提高视频转码速率的实现方法
KR102127212B1 (ko) 다시점 영상 정보의 복호화 방법 및 장치
Ebrahim et al. Multi-phase joint reconstruction framework for multi-view video compression using block-based compressive sensing
Zhang et al. Conditional random field based side-information fusion for distributed multi-view video coding
US20130215965A1 (en) Video encoding and decoding using an epitome
Thirumalai et al. Motion estimation from compressed linear measurements

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190211

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190211

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161116

Termination date: 20190909