CN101491099A - 使用虚拟参考画面的方法及装置 - Google Patents

使用虚拟参考画面的方法及装置 Download PDF

Info

Publication number
CN101491099A
CN101491099A CNA2007800264188A CN200780026418A CN101491099A CN 101491099 A CN101491099 A CN 101491099A CN A2007800264188 A CNA2007800264188 A CN A2007800264188A CN 200780026418 A CN200780026418 A CN 200780026418A CN 101491099 A CN101491099 A CN 101491099A
Authority
CN
China
Prior art keywords
reference pictures
virtual reference
picture
virtual
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800264188A
Other languages
English (en)
Other versions
CN101491099B (zh
Inventor
苏野平
尹澎
珀文·B·潘迪特
克里斯蒂纳·戈米拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38923830&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101491099(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101491099A publication Critical patent/CN101491099A/zh
Application granted granted Critical
Publication of CN101491099B publication Critical patent/CN101491099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

提供了使用虚拟参考画面的方法及装置。该装置包括用于使用至少一个虚拟参考画面来编码至少一个画面从而形成作为结果的比特流的编码器(100)。所述至少一个虚拟参考画面不同于之前解码的画面。

Description

使用虚拟参考画面的方法及装置
相关申请的交叉引用
本申请要求2006年7月11日提交的美国临时申请序列号第60/830195号的权益，通过引用将其全部内容并入于此。
技术领域
本原理一般涉及视频编码与解码，并具体地涉及使用虚拟参考画面的方法及装置。
背景技术
在诸如国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部门(ITU-T)H.264建议(下文中“MPEG-4AVC标准”)之类的现有视频压缩系统和标准中，之前重构/解码的画面被用作将来画面的参考，为了补偿那些画面之间的任何运动行为(motion activity)而采用运动估计与补偿。在多视图视频编码(MVC)中，来自相邻视图的重构/解码画面也可以被用作预测的源，其中包括不一致(disparity)估计及补偿。
存在以下情况：如果将诸如例如MPEG-4AVC标准中的加权预测和自适应参考生成的现有技术之类的某种处理应用于解码画面，则可以增强预测。通过处理解码画面，可以增强预测信号的质量，并且因此可以改进编码效率。在加权预测的情况下，在当前画面和解码画面之间解决整体照度(globalillumination)失配。在自适应参考生成的情况下，通过自适应参考生成来抑制不同种类的噪声，从而提供更相关的参考信号。
发明内容
通过本原理来解决现有技术的这些和其他缺点和劣势，本原理针对使用虚拟参考画面的方法与装置。
根据本原理的一方面，提供了一种装置。该装置包括编码器，该编码器使用至少一个虚拟参考画面来对至少一个画面进行编码以便形成作为结果的比特流。该至少一个虚拟参考画面与之前解码的画面不同。
根据本原理的另一方面，提供了一种方法。该方法包括：使用至少一个虚拟参考画面来对至少一个画面进行编码以便形成作为结果的比特流。该至少一个虚拟参考画面与之前解码的画面不同。
根据本原理的另一方面，提供了一种装置。该装置包括解码器，该解码器使用至少一个虚拟参考画面来对来自比特流的至少一个画面进行解码。该至少一个虚拟参考画面与之前解码的画面不同。
根据本原理的另一方面，提供了一种方法。该方法包括：使用至少一个虚拟参考画面来对来自比特流的至少一个画面进行解码。该至少一个虚拟参考画面与之前解码的画面不同。
结合附图阅读示例实施例的以下详细描述，本原理的这些和其他方面、特征及优点将变得明显。
附图说明
根据以下示例附图可以更好地理解本原理，在附图中：
图1是依据本原理的实施例的、可以应用本原理的支持虚拟参考画面的示例视频编码器的框图；
图2是依据本原理的实施例的、可以应用本原理的支持虚拟参考画面的示例视频解码器的框图；
图3是依据本原理的实施例的、用于在解码画面缓冲器(DPB)中使用虚拟参考画面(VPR)管理来对视频内容进行编码的示例方法的流程图；
图4是依据本原理的实施例的、用于在解码画面缓冲器(DPB)中使用虚拟参考画面(VPR)管理来对视频内容进行解码的示例方法的流程图；
图5是依据本原理的实施例的、用于在本地存储器中使用虚拟参考画面(VPR)管理来对视频内容进行编码的示例方法的流程图；以及
图6是依据本原理的实施例的、用于在解码画面缓冲器(DPB)中使用虚拟参考画面(VPR)管理来对视频内容进行解码的示例方法的流程图。
具体实施方式
本原理针对使用虚拟参考画面的方法及装置。
本描述说明本原理。因此，应理解本领域技术人员能够设计出体现本原理并被包括在本原理精神和范围之内的各种布置，尽管这些布置并未在这里被明确描述或示出。
这里叙述的所有例子和条件语句意图用于教学目的以便帮助读者理解本原理以及由发明人所贡献以促进本领域的构思，并且这里叙述的所有例子和条件语句应被解释为不限于这样具体引用的例子和条件。
此外，这里叙述本原理的原理、方面和实施例以及本原理的具体例子的所有陈述意图包含其结构上的以及功能上的等效物。此外，意图使这样的等效物包括当前已知的等效物以及将来开发的等效物，即，不论结构如何而被开发来执行相同功能的任何元件。
因此，例如本领域技术人员将理解这里呈现的框图表示体现本原理的图示性电路的概念性视图。类似地，将理解任何流程图、流程图示、状态转换图、伪代码等表示可以被实质表示在计算机可读介质中并且因此可以由计算机或处理器执行的各种处理，而不论是否明确示出了这样的计算机或处理器。
可以通过使用专用硬件以及与适当软件相关的、能够执行软件的硬件来提供图中所示的各种元件的功能。当通过处理器提供时，该功能可以通过单个专用处理器、通过单个共享处理器、或者通过多个单独的处理器来提供，所述多个单独的处理器的一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用应被解释为排外地指代能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储装置。
还可以包括传统的和/或定制的其他硬件。类似地，图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑电路的交互作用、或者甚至是手动地执行它们的功能，如从上下文中具体理解的，实施者可以选择具体技术。
在本申请权利要求书中，被表达为用于执行特定功能的部件的任何元件意图包括执行该功能的任何方式，包括例如：a)执行该功能的电路元件的组合，b)与用于执行软件的适当电路相结合以执行该功能的任何形式的软件，因此包括固件、微代码等。由这样的权利要求书限定的本原理在于以下事实：以权利要求书要求的方式将由各种所叙述的装置提供的功能组合并结合在一起。因此，认为可以提供那些功能的任何部件等效于这里示出的那些部件。
说明书中对本原理的“一个实施例”或“实施例”的引用意味着与本实施例相关地描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。因此，出现在贯穿说明书的各位置的短语“在一个实施例中”或“在实施例中”的出现不必都指代同一实施例。
如这里所使用的，“高级语法(high level syntax)”指代在分级体系中位于宏块层之上的比特流中存在的语法。例如，如这里所使用的高级语法可以指代但不限于在码片报头级(slice header level)、补充增强信息(SEI)级、画面参数设置级、序列参数设置级以及NAL单元报头级处的语法。
转到图1，通过参考标号100总地指示可以应用本原理的、支持虚拟参考画面的示例视频编码器。
视频编码器100的输入端以信号通信方式与组合器110的同相输入端和运动估计器(ME)180的第一输入端连接。组合器110的输出端以信号通信方式与离散余弦变换器120的输入端连接。离散余弦变换器120的输出端以信号通信方式与量化器130的输入端连接。量化器130的输出端以信号通信方式与可变长度编码器(VLC)140的输入端和逆量化器150的输入端连接。可变长度编码器(VLC)140的输出端可用作编码器100的输出端。
逆量化器150的输出端以信号通信方式与逆离散余弦变换器155的输入端连接。逆余弦变换器155的输出端以信号通信方式与组合器165的第一同相输入端连接。组合器165的输出端以信号通信方式与环路滤波器160的输入端连接。环路滤波器160的输出端以信号通信方式与解码画面缓冲器175的输入端连接。解码画面缓冲器175的第一输出端以信号通信方式与虚拟参考画面缓冲器170的输入端连接。
开关195的输出端以信号通信方式与运动估计器180的第二输入端和运动补偿器190的第二输入端连接。开关195的输入端以信号通信方式与解码画面缓冲器175的第二输出端或虚拟参考画面缓冲器170的输入端连接。运动估计器180的输出端以信号通信方式与运动补偿器190的第一输入端连接。运动补偿器190的输出端以信号通信方式与组合器165的第二同相输入端和组合器110的反相输入端连接。
转到图2，通过参考标号200总地指示可以应用本原理的、支持虚拟参考画面的示例视频解码器。
视频解码器200包括用于接收比特流的可变长度解码器210。可变长度解码器210的第一输出端以信号通信方式与运动补偿器260的第一输入端连接。可变长度解码器210的第二输出端以信号通信方式与逆量化器220的输入端连接。逆量化器220的输出端以信号通信方式与逆离散余弦变换器230的输入端连接。离散余弦变换器的输出端以信号通信方式与组合器240的第一同相输入端连接。组合器240的输出端以信号通信方式与环路滤波器290的输入端连接。环路滤波器290的输出端以信号通信方式与解码画面缓冲器250的输入端连接。解码画面缓冲器250的第一输出端以信号通信方式与虚拟参考画面缓冲器255的输入端连接。解码画面缓冲器250的第二输出端可用作解码器200的输出端。
开关265的输出端以信号通信方式与运动补偿器260的第二输入端连接。运动补偿器260的输出端以信号通信方式与组合器240的第二同相输入端连接。
开关265的输入端以信号通信方式与虚拟参考画面缓冲器255的输出端或解码画面缓冲器250的第二输出端连接。
解码画面缓冲器250包括长期存储器部分250A和短期存储器部分250B。
依据本原理，提供了用于在视频编码器和/或视频解码器中管理虚拟参考画面(VRP)的方法和装置。在实施例中，虚拟参考画面是从已经解码的画面创建的，并且不要求用于显示目的。在实施例中，虚拟参考画面可以被用于预测，而不要求用于显示目的。在实施例中，VRP在视频编码器和/或解码器中的使用包括以下实施元素中的一个或多个：语法支持；VRP的存储装置/存储器模型；以及在预测环路中包括VRP的标准例程。
为了说明而非限制，所提出的管理方法和装置的一些可能应用包括多视图视频编码(MVC)中的视图内插预测、滤波后的参考预测、参考变形(reference warping)、以及涉及所生成的虚拟参考的其它方法。取决于施加在解码画面上的处理的类型，在局部(1ocal)基础上获得处理后的参考信号可能是不可能的或不便的。无限脉冲响应(IIR)滤波和画面变形是两个这类的示例，其中，更好的是在帧的基础上而不是在块的基础上施加处理。另一例子是视图合成预测。在多视图视频编码中，通过视图合成可以开发相邻照相机视图之间的冗余。通过使用照相机参数和/或深度信息将相邻的视图画面变形和混合，可以创建视图合成画面。合成画面可以被用作用于预测当前视图画面的参考画面，与不一致补偿预测相比，该合成画面可以提供更好的预测源。应注意虚拟参考画面(VRP)的概念还可以被应用于可以局部地进行处理的情形，诸如例如样本加权或有限脉冲响应(FIR)滤波的情况。
应理解尽管之前已经提出了自适应参考生成的概念，并且在MPEG-4AVC标准中已经采用加权预测作为滤波后参考画面的特定情况，然而对于管理所生成的虚拟参考画面却不存在已知的现有技术。在之前提出的方法中，通过在补偿处理中对编码/解码画面进行简单处理/滤波，可以处理所生成的参考的管理。换句话说，对于之前的方法不需要完整的所生成的参考画面。在如何管理全部生成的参考画面方面，没有现有技术。
合并了本原理的实施例可以包括这里下面进一步详细描述的以下方面的一个或多个：虚拟参考画面的信令、用于虚拟参考画面的存储器管理、以及虚拟生成的帧在预测中的使用。
虚拟参考画面的信令
希望支持一种用信号通知所生成的参考画面的灵活方式，该方式随后可以在存储和参考方面在那些画面的管理中使用。为了这样做，在一个实施例中，提出以下语法。
在实施例中，在序列级上用信号通知是否使能了VRP。这可以例如通过引入高级语法vrp_present_flag来实现。
在实施例中，在画面级上用信号通知有多少虚拟参考存在以及创建它们的方法。例如，在该实施例的一个实现中，在用于每个编码画面的语法中将出现生成虚拟参考画面所需的使用和参数。对于可能的基于MPEG-4 AVC标准的实现，可以引入码片报头语法num_vrps。然后将给每个虚拟参考画面分配vrp_id，其对应于虚拟参考画面参数语法在码片报头中出现的顺序。用于生成每个虚拟参考画面的参数将取决于确切的生成方法。在多视图视频编码中的视图合成预测的例子中，可以包括照相机参数和深度信息。在规则视频编码中的变形参考的例子中，可以用信号通知变形参数(诸如，例如，同形(homograph)矩阵元素)。自适应参考滤波情况下更具体的例子是用信号通知FIR滤波器系数，其中，如果要应用不可分的两维滤波器，则将需要量化并传输n2个系数。
用于虚拟参考画面的存储器管理
由于在编码器和解码器两处都需要生成和存储虚拟参考画面，因此应考虑相关的存储存储器。有若干种提供用于虚拟参考画面的存储器管理模型的方法：(1)在第一方法中，将所生成的虚拟参考画面存储在解码画面缓冲器中；以及(2)在第二方法中，将虚拟生成的帧存储在临时生成画面缓冲器中，该临时生成画面缓冲器仅在当前帧的编码/解码期间有效。
关于提供依据上述第一方法的存储器管理模型，由于仅对于当前画面的编码/解码需要虚拟参考画面，因此应当适当地定义解码画面缓冲器插入和删除过程。在一个可能的实现中，将在构建参考列表之前在解码画面缓冲器中插入所生成的参考画面，并且将在当前帧的编码/解码完成之后立即移除所生成的参考画面。
当虚拟参考画面存储在解码画面缓冲器中时，将需要将它们与非虚拟解码画面区分开，存在若干种如何在基于MPEG-4AVC的实现中进行该区分的选择。一些用于将存储在解码画面缓冲器中的虚拟参考画面与非虚拟参考画面区分开的示例选择包括例如：(1)将虚拟参考画面存储为短期参考画面并且使用未使用的frame_num/picture_order_count；(2)将虚拟参考画面存储为长期参考画面并且使用长期存储器中的未使用的longterm_id’s；以及(3)由于虚拟参考画面在属性(nature)上不同于之前解码的画面，因此，在解码画面缓冲器中可以分配专用的存储器位置(slot)来存储虚拟参考画面。在该VRP存储器中，将通过虚拟参考画面的vrp_id来标识它们，该vrp_id对于每个虚拟参考画面是唯一的。
关于提供依据上述第二方法的存储器管理模型，通过将虚拟生成的帧存储在仅在当前帧的编码/解码期间有效的临时生成画面缓冲器中，该临时生成画面缓冲器将能够存储所有的虚拟生成的画面。将通过虚拟参考画面的vrp_id来标识它们，该vrp_id对于每个虚拟参考画面是唯一的。
虚拟生成的帧在预测中的使用
为了使虚拟生成的画面对于当前画面的预测是可参考的，需要一种在预测过程中包括虚拟参考画面的灵活方式。依据本原理，提出了用于实现该方式的两个示例实施例，尽管应理解给出在此提供的本原理的教导，本领域和相关领域的普通技术人员将预期这些和其它方式来在预测过程中包括虚拟参考画面，且同时保持本原理的范围。
在用于在预测过程中包括虚拟参考画面的一个实施例中，直接参考虚拟参考画面。在该方法中，使用reference_vrp_id语法来用信号通知在预测过程中使用哪个虚拟参考画面。通过这样做，将保持不涉及传统的参考列表，并且语法reference_vrp_id仅当在预测中涉及VRP时才出现。
在用于在预测过程中包括虚拟参考画面的另一实施例中，通过参考列表来参考虚拟参考画面。相应地，如果虚拟参考画面存在，则可以修改默认的参考列表标记过程(marking process)以便包括所述虚拟参考画面，并且可以使用一般的RPLR命令来支持参考列表的构建，或者可以定义VRP专用的参考画面列表重新排序(RPLR)命令来支持参考列表的构建。具体地，如果在解码画面缓冲器中分配了VRP专用位置，或者使用了临时VRP缓冲器，将引入VRP专用的RPLR命令来将由reference_vrp_id指示的虚拟参考画面放置到正在构建的参考列表中。此外，可以在码片报头中引入附加的语法元素，对于每个参考索引，其将用信号通知该参考索引是否参考虚拟参考画面。如果参考，则可以使用相关联的reference_vrp_id来用信号通知该虚拟参考画面。在该方法中，不需要引入新的VRP专用的RPLR命令，这是因为可以使用一般的RPLR命令来使不同的参考索引参考解码画面缓冲器中的同一解码画面。然后，通过reference_vrp_id，可以用信号通知该参考画面是否是原始的解码参考画面，或者是否是从解码参考画面生成的虚拟参考画面。
转到图3，通过参考标号300总地指示用于在解码画面缓冲器(DPB)中使用虚拟参考画面(VRP)管理来对视频内容进行编码的示例方法。方法300包括开始块305，其将控制传到功能块310。功能块310将vrp_present_flag设置为等于零，并将控制传到判定块315。判定块315确定是否使能了VRP。如果使能VRP，则将控制传到功能块320。否则，将控制传到功能块370。
功能块320将vrp_present_flag设置为等于一，并将控制传到功能块325。功能块325设置num_vrps以及VRP参数语法，并将控制传到功能块330。功能块330执行VRP生成以便生成一个或多个VRP(下文中称为“VRP”)，并将控制传到功能块335。功能块335将VRP插入在解码画面缓冲器(DPB)中，设置frame_num/画面顺序计数(POC)或long_term_frame_idx或vrp_id，并将控制传到功能块340。功能块340在参考列表构建中包括VRP，并将控制传到功能块345。功能块345在参考列表重新排序中包括VRP，并将控制传到功能块350。功能块350将高级语法写入到比特流中，并将控制传到功能块355。功能块355编码当前画面，如果VRP出现则通过ref_idx参考VRP，并将控制传到功能块360。功能块360从DPB中移除VRP，并将控制传到功能块365。功能块365将低级语法写入到比特流中，并将控制传到结束块399。
功能块370利用VRP执行参考列表构建，并将控制传到功能块350。
转到图4，通过参考标号400总地指示用于在解码画面缓冲器(DPB)中使用虚拟参考画面(VRP)管理来对视频内容进行解码的示例方法。方法400包括开始块405，其将控制传到功能块410。功能块410从比特流中读取高级语法，其包括例如vrp_present_flag、num_vrps、以及其它VRP参数语法，并将控制传到判定块415。判定块415确定vrp_present_flag是否等于一。如果是，则将控制传到功能块420。否则，将控制传到功能块460。
功能块420解码VRP参数，并将控制传到功能块425。功能块425执行VRP生成以便生成一个或多个VRP(下文中称为“VRP”)，并将控制传到功能块430。功能块430将VRP插入到DPB中，设置frame_num/画面顺序计数或long_term_frame_idx或vrp_id，并将控制传到功能块435。功能块435在默认的参考列表构建中包括VRP，并将控制传到功能块440。功能块440在参考列表重新排序中包括VRP，并将控制传到功能块445。功能块445从比特流读取低级语法，并将控制传到功能块450。功能块450解码当前画面，如果VRP出现则通过ref_idx参考VRP，并将控制传到功能块455。功能块455从DPB中移除VRP，并将控制传到结束块499。
功能块460利用VRP执行参考列表构建，并将控制传到功能块445。
转到图5，通过参考标号500总地指示用于在本地存储器(local memory)中使用虚拟参考画面(VRP)管理来对视频内容进行编码的示例方法。方法500包括开始块505，其将控制传到功能块510。功能块510将vrp_present_flag设置为等于零，并将控制传到判定块515。判定块515确定是否使能了VRP。如果使能了VRP，则将控制传到功能块520。否则，将控制传到功能块540。
功能块520将vrp_present_flag设置为等于一，并将控制传到功能块525。功能块525设置num_vrps以及VRP参数语法，并将控制传到功能块530。功能块530执行VRP生成以便生成一个或多个VRP(下文中称为“VRP”)，并将控制传到功能块535。功能块535将VRP存储在本地存储器中，设置vrp_id，并将控制传到功能块540。功能块540利用VRP执行参考列表构建，并将控制传到功能块545。功能块545将高级语法写入到比特流中，并将控制传到功能块550。功能块550编码当前画面，如果VRP出现则通过vrp_id参考VRP，并将控制传到功能块555。功能块555释放被分配给VRP的存储器，并将控制传到功能块560。功能块560将低级语法写入到比特流中，并将控制传到结束块599。
转到图6，通过参考标号600总地指示用于在解码画面缓冲器(DPB)中使用虚拟参考画面(VRP)管理来对视频内容进行解码的示例方法。方法600包括开始块605，其将控制传到功能块610。功能块610从比特流读取高级语法，其包括例如vrp_present_flag、num_vrps、以及其它VRP参数语法，并将控制传到判定块620。判定块620确定vrp_present_flag是否等于一。如果是，则将控制传到功能块625。否则，将控制传到功能块645。
功能块625解码VRP参数，并将控制传到功能块630。功能块630执行VRP生成以便生成一个或多个VRP(下文中称为“VRP”)，并将控制传到功能块640。功能块640将VRP存储在本地存储器中，设置vrp_id，并将控制传到功能块645。功能块645不利用VRP而执行参考列表构建，并将控制传到功能块650。功能块650从比特流读取低级语法，并将控制传到功能块660。功能块660解码当前画面，如果VRP出现则通过vrp_id参考VRP，并将控制传到功能块665。功能块665释放被分配给VRP的存储器，并将控制传到功能块670。功能块670从DPB中移除VRP，并将控制传到结束块699。
现在将给出本发明的许多伴随优点/特征中的一些的描述，其中的一些已经在上面提及。例如，一个优点/特征是一种装置，其包括用于使用至少一个虚拟参考画面来编码至少一个画面、从而形成作为结果的比特流的编码器。所述至少一个虚拟参考画面不同于之前解码的画面。
另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个画面对应于多视图视频内容的至少两个视图中的至少一个。
又一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
此外，另一优点/特征是具有以下编码器的装置，如上所述在该编码器中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的，其中，所述编码器以被包括在所述作为结果的比特流中的至少一个高级语法用信号通知所述信号处理变换的变形参数。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的。
而且，另一优点/特征是具有以下编码器的装置，如上所述在该编码器中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的，其中，所述编码器在被包括在所述作为结果的比特流中的至少一个高级语法中用信号通知用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面。
此外，另一优点/特征是具有以下编码器的装置，如上所述在该编码器中，所述至少一个画面对应于多视图视频内容，其中，所述编码器以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于所述至少一个视图内插画面的参数。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述编码器在所述作为结果的比特流中用信号通知所述至少一个虚拟参考画面的存在。
而且，另一优点/特征是具有如上所述的编码器的装置，其中，所述编码器以所述作为结果的比特流的高级语法用信号通知所述至少一个虚拟参考画面的存在。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个。
此外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器中。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，所述至少一个虚拟参考画面存储在解码画面缓冲器中，其中，所述编码器相对于所述解码画面缓冲器对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
而且，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，所述至少一个虚拟参考画面存储在解码画面缓冲器中，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的短期存储器部分中。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，所述至少一个虚拟参考画面存储在解码画面缓冲器中，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的长期存储器部分中。
此外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面存储在从解码画面缓冲器分离的临时画面缓冲器中。
而且，另一优点/特征是具有如上所述的编码器的装置，其中，所述编码器使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，所述编码器在至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面，其中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面。
此外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面，其中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面，其中，将预先规定的参考列表重新排列命令与高级语法结合以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
而且，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考。
另一优点/特征是具有用于使用至少一个虚拟参考画面从比特流解码至少一个画面的解码器的装置。所述至少一个虚拟参考画面不同于之前解码的画面。
又一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个画面对应于多视图视频内容的至少两个视图中的至少一个。
此外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
此外，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的，其中，所述解码器从被包括在比特流中的至少一个高级语法确定所述信号处理变换的变形参数。
另外，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的。
而且，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的，其中，所述解码器从被包括在比特流中的至少一个高级语法确定用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面。
此外，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中，所述至少一个画面对应于多视图视频内容，其中，所述解码器从被包括在所述作为结果的比特流中的至少一个高级语法元素确定用于所述至少一个视图内插画面的参数。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述解码器在比特流中确定所述至少一个虚拟参考画面的存在。
而且，另一优点/特征是具有如上所述的解码器的装置，其中，所述解码器从比特流中的高级语法确定所述至少一个虚拟参考画面的存在。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，从被包括在比特流中的至少一个高级语法元素确定用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个。
此外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器中。
另外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器中，所述至少一个虚拟参考画面存储在解码画面缓冲器中，其中，所述解码器相对于所述解码画面缓冲器对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
而且，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器中，所述至少一个虚拟参考画面存储在解码画面缓冲器中，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的短期存储器部分中。
另外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器中，所述至少一个虚拟参考画面存储在解码画面缓冲器中，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的长期存储器部分中。
此外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个虚拟参考画面存储在从解码画面缓冲器分离的临时画面缓冲器中。
而且，另一优点/特征是具有如上所述的解码器的装置，其中，所述解码器使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面。
另外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器中，所述解码器在至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面，其中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面。
此外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面，其中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考。
基于这里的教导，本相关领域普通技术人员可以容易确定本原理的这些和其它特征和优点。应理解本原理的教导可以以硬件、软件、固件、专用处理器、或其组合的各种形式来实现。
最优选地，本原理的教导被实现为硬件与软件的组合。此外，软件可以实现为有形地体现在程序存储单元上的应用程序。应用程序可以被上载到包括任何适当结构的机器并由该机器执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口的硬件的计算机平台上实现该机器。计算机平台还可以包括操作系统和微指令代码。这里描述的各种过程与功能可以要么是微指令代码的部分要么是应用程序的部分、或者是可以由CPU执行的它们的任何组合。另外，各种其它外设单元可以连接到计算机平台，诸如，附加数据存储单元以及打印单元。
还应理解，由于在附图中示出的一些组成系统组件和方法优选地以软件实现，因此这些系统组件或处理功能块之间的实际连接可以依赖于本原理被编程的方式而有所不同。给出这里的教导，本相关领域普通技术人员将能够预期本原理的这些和类似的实现方式或配置。
尽管这里已经参考附图描述了示例实施例，应理解本原理不限于那些确切的实施例，并且本相关领域普通技术人员可以在其中进行各种改变和修改，而不偏离本原理的范围和精神。所有这些改变和修改意在被包括在所附权利要求所提出的本原理的范围之内。

Claims (88)

1.一种装置，包括：
编码器(100)，用于使用至少一个虚拟参考画面来编码至少一个画面、从而形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解码的画面。
2.如权利要求1所述的装置，其中，所述至少一个画面对应于多视图视频内容的至少两个视图中的至少一个。
3.如权利要求1所述的装置，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
4.如权利要求3所述的装置，其中，所述编码器(100)以被包括在所述作为结果的比特流中的至少一个高级语法用信号通知所述信号处理变换的变形参数。
5.如权利要求1所述的装置，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的。
6.如权利要求5所述的装置，其中，所述编码器(100)以被包括在所述作为结果的比特流中的至少一个高级语法用信号通知用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数。
7.如权利要求1所述的装置，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面。
8.如权利要求7所述的装置，其中，所述编码器(100)以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于所述至少一个视图内插画面的参数。
9.如权利要求1所述的装置，其中，所述编码器(100)以所述作为结果的比特流用信号通知所述至少一个虚拟参考画面的存在。
10.如权利要求1所述的装置，其中，所述编码器(100)以所述作为结果的比特流的高级语法用信号通知所述至少一个虚拟参考画面的存在。
11.如权利要求1所述的装置，其中，以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个。
12.如权利要求1所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器中。
13.如权利要求12所述的装置，其中，相对于所述解码画面缓冲器所述编码器(100)对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
14.如权利要求12所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的短期存储器部分中。
15.如权利要求12所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的长期存储器部分中。
16.如权利要求1所述的装置，其中，所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中。
17.如权利要求1所述的装置，其中，所述至少一个虚拟参考画面存储在从解码画面缓冲器分离的临时画面缓冲器中。
18.如权利要求1所述的装置，其中，所述编码器(100)使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面。
19.如权利要求18所述的装置，其中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面。
20.如权利要求19所述的装置，其中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
21.如权利要求19所述的装置，其中，将预先规定的参考列表重新排列命令与高级语法结合以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
22.如权利要求1所述的装置，其中，所述至少一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考。
23.一种方法，包括：
使用至少一个虚拟参考画面来编码至少一个画面，从而形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解码的画面(300，500)。
24.如权利要求23所述的方法，其中，所述至少一个画面对应于多视图视频内容的至少两个视图中的至少一个(330，530)。
25.如权利要求23所述的方法，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的(330，530)。
26.如权利要求25所述的方法，其中，所述编码步骤包括：以被包括在所述作为结果的比特流中的至少一个高级语法用信号通知所述信号处理变换的变形参数(325，525)。
27.如权利要求23所述的方法，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的(330，530)。
28.如权利要求27所述的方法，其中，所述编码步骤包括：以被包括在所述作为结果的比特流中的至少一个高级语法用信号通知用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数(325，525)。
29.如权利要求23所述的方法，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面(330，530)。
30.如权利要求29所述的方法，其中，所述编码步骤包括：以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于所述至少一个视图内插画面的参数(325，525)。
31.如权利要求23所述的方法，其中，所述编码步骤包括：以所述作为结果的比特流用信号通知所述至少一个虚拟参考画面的存在(320，520)。
32.如权利要求23所述的方法，其中，所述编码步骤包括：以所述作为结果的比特流中的高级语法用信号通知所述至少一个虚拟参考画面的存在(320，520)。
33.如权利要求23所述的方法，其中，所述编码步骤包括：以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个(325，525)。
34.如权利要求23所述的方法，还包括：将所述至少一个虚拟参考画面存储在解码画面缓冲器中(335)。
35.如权利要求34所述的方法，还包括：相对于所述解码画面缓冲器对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
36.如权利要求34所述的方法，还包括：将所述至少一个虚拟参考画面存储在解码画面缓冲器的短期存储器部分中。
37.如权利要求34所述的方法，还包括：将所述至少一个虚拟参考画面存储在解码画面缓冲器的长期存储器部分中。
38.如权利要求23所述的方法，还包括：将所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中(535)。
39.如权利要求23所述的方法，还包括：将所述至少一个虚拟参考画面存储在从解码画面缓冲器分离的临时画面缓冲器中(535)。
40.如权利要求23所述的方法，其中，所述编码步骤使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面(355，550)。
41.如权利要求40所述的方法，还包括：执行包括所述至少一个虚拟参考画面的默认的参考列表构建过程(340)。
42.如权利要求41所述的方法，还包括：定义至少一个参考画面列表重新排序命令以便在所述默认的参考列表构建过程中包括所述至少一个虚拟参考画面(345)。
43.如权利要求41所述的方法，其中，所述执行所述默认的参考列表构建过程的步骤包括：将预先规定的参考列表重新排列命令与高级语法结合以便在所述默认的参考列表构建中包括所述至少一个虚拟参考画面。
44.如权利要求23所述的方法，其中，所述至少一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考(355)。
45.一种装置，包括：
解码器(200)，用于使用至少一个虚拟参考画面从比特流中解码至少一个画面，其中，所述至少一个虚拟参考画面不同于之前解码的画面。
46.如权利要求45所述的装置，其中，所述至少一个画面对应于多视图视频内容的至少两个视图中的至少一个。
47.如权利要求45所述的装置，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
48.如权利要求47所述的装置，其中，所述解码器(200)从被包括在比特流中的至少一个高级语法中确定所述信号处理变换的变形参数。
49.如权利要求45所述的装置，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的。
50.如权利要求49所述的装置，其中，所述解码器(200)从被包括在比特流中的至少一个高级语法中确定用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数。
51.如权利要求45所述的装置，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面。
52.如权利要求51所述的装置，其中，所述解码器(200)从被包括在作为结果的比特流中的至少一个高级语法元素中确定用于所述至少一个视图内插画面的参数。
53.如权利要求45所述的装置，其中，所述解码器(200)在比特流中确定所述至少一个虚拟参考画面的存在。
54.如权利要求45所述的装置，其中，所述解码器(200)从比特流中的高级语法中确定所述至少一个虚拟参考画面的存在。
55.如权利要求45所述的装置，其中，从被包括在比特流中的至少一个高级语法元素中确定用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个。
56.如权利要求45所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器中。
57.如权利要求56所述的装置，其中，相对于所述解码画面缓冲器所述解码器(200)对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
58.如权利要求56所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的短期存储器部分中。
59.如权利要求56所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面缓冲器的长期存储器部分中。
60.如权利要求45所述的装置，其中，所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中。
61.如权利要求45所述的装置，其中，所述至少一个虚拟参考画面存储在从解码画面缓冲器分离的临时画面缓冲器中。
62.如权利要求45所述的装置，其中，所述解码器(200)使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面。
63.如权利要求62所述的装置，其中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面。
64.如权利要求63所述的装置，其中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
65.如权利要求45所述的装置，其中，所述至少一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考。
66.一种方法，包括：
使用至少一个虚拟参考画面从比特流中解码至少一个画面，其中，所述至少一个虚拟参考画面不同于之前解码的画面(400，600)。
67.如权利要求66所述的方法，其中，所述至少一个画面对应于多视图视频内容的至少两个视图中的至少一个(425，630)。
68.如权利要求66所述的方法，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的(425，630)。
69.如权利要求68所述的方法，其中，所述解码步骤包括：从被包括在比特流中的至少一个高级语法确定所述信号处理变换的变形参数(420，625)。
70.如权利要求66所述的方法，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的(425，630)。
71.如权利要求70所述的方法，其中，所述解码步骤包括：从被包括在比特流中的至少一个高级语法确定用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数(420，625)。
72.如权利要求66所述的方法，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面(425，630)。
73.如权利要求72所述的方法，其中，所述解码步骤包括：从被包括在作为结果的比特流中的至少一个高级语法元素确定用于所述至少一个视图内插画面的参数(420，625)。
74.如权利要求66所述的方法，其中，所述解码步骤包括：在比特流中确定所述至少一个虚拟参考画面的存在(410，610)。
75.如权利要求66所述的方法，其中，所述解码步骤包括：从比特流中的高级语法中确定所述至少一个虚拟参考画面的存在。
76.如权利要求66所述的方法，其中，所述解码步骤包括：从被包括在比特流中的至少一个高级语法元素确定用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个(410，610)。
77.如权利要求66所述的方法，还包括：将所述至少一个虚拟参考画面存储在解码画面缓冲器中(430)。
78.如权利要求77所述的方法，还包括：相对于所述解码画面缓冲器对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
79.如权利要求77所述的方法，还包括：将所述至少一个虚拟参考画面存储在所述解码画面缓冲器的短期存储器部分中。
80.如权利要求77所述的方法，还包括：将所述至少一个虚拟参考画面存储在所述解码画面缓冲器的长期存储器部分中。
81.如权利要求66所述的方法，还包括：将所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中(640)。
82.如权利要求66所述的方法，还包括：将所述至少一个虚拟参考画面存储在从解码画面缓冲器分离的临时画面缓冲器中(640)。
83.如权利要求66所述的方法，其中，所述编码步骤使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面(450，660)。
84.如权利要求83所述的方法，还包括：执行包括所述至少一个虚拟参考画面的默认的参考列表构建过程(435)。
85.如权利要求84所述的方法，还包括：定义至少一个参考画面列表重新排序命令以便在所述默认的参考列表构建过程中包括所述至少一个虚拟参考画面(440)。
86.如权利要求66所述的方法，其中，所述至少一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考(450)。
87.一种用于视频编码的视频信号结构，包括：
至少一个画面，使用至少一个虚拟参考画面编码所述至少一个画面，以便形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解码的画面。
88.一种在其上对视频信号数据进行编码的存储介质，包括：
至少一个画面，使用至少一个虚拟参考画面编码所述至少一个画面，以便形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解码的画面。
CN2007800264188A 2006-07-11 2007-07-10 使用虚拟参考画面的方法及装置 Active CN101491099B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US83019506P 2006-07-11 2006-07-11
US60/830,195 2006-07-11
PCT/US2007/015719 WO2008008331A2 (en) 2006-07-11 2007-07-10 Methods and apparatus using virtual reference pictures

Publications (2)

Publication Number Publication Date
CN101491099A true CN101491099A (zh) 2009-07-22
CN101491099B CN101491099B (zh) 2011-09-21

Family

ID=38923830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800264188A Active CN101491099B (zh) 2006-07-11 2007-07-10 使用虚拟参考画面的方法及装置

Country Status (7)

Country Link
US (1) US8363724B2 (zh)
EP (1) EP2041982A2 (zh)
JP (1) JP5351020B2 (zh)
KR (1) KR101378185B1 (zh)
CN (1) CN101491099B (zh)
BR (1) BRPI0714119B1 (zh)
WO (1) WO2008008331A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
CN107197313A (zh) * 2011-10-13 2017-09-22 杜比国际公司 在电子设备上基于选定画面跟踪参考画面
CN111770332A (zh) * 2020-06-04 2020-10-13 Oppo广东移动通信有限公司 插帧处理方法、插帧处理装置、存储介质与电子设备
US11102500B2 (en) 2011-10-13 2021-08-24 Dolby International Ab Tracking a reference picture on an electronic device

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
WO2009111007A1 (en) * 2008-03-04 2009-09-11 Thomson Licensing Virtual reference view
KR101423655B1 (ko) 2008-03-18 2014-07-29 삼성전자주식회사 필드 픽쳐 부호화/복호화 장치 및 그 방법
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5680283B2 (ja) 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
US8179960B2 (en) * 2008-11-12 2012-05-15 Alcatel Lucent Method and apparatus for performing video coding and decoding with use of virtual reference data
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8824560B2 (en) * 2010-07-07 2014-09-02 Netzyn, Inc. Virtual frame buffer system and method
CN103155568B (zh) 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的系统和方法
CN105847780B (zh) 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
EP2675163A1 (en) * 2010-07-21 2013-12-18 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
JP5255045B2 (ja) * 2010-12-01 2013-08-07 シャープ株式会社 画像処理装置、画像処理方法
US8842723B2 (en) * 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
US20140003521A1 (en) * 2011-03-11 2014-01-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding images and method and apparatus for decoding
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
KR20130005167A (ko) * 2011-07-05 2013-01-15 삼성전자주식회사 영상 신호 디코딩 장치 및 그것의 디코딩 방법
US8902976B2 (en) 2011-07-08 2014-12-02 Dolby Laboratories Licensing Corporation Hybrid encoding and decoding methods for single and multiple layered video coding systems
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
WO2013069933A1 (ko) * 2011-11-07 2013-05-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
US9131217B2 (en) 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US9729870B2 (en) 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
TWI488502B (zh) * 2012-12-06 2015-06-11 Acer Inc 視訊編修方法與視訊編修裝置
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
CN108632629B9 (zh) * 2014-03-19 2021-06-15 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CA2986613C (en) 2015-05-21 2020-04-28 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2016200043A1 (ko) * 2015-06-10 2016-12-15 엘지전자 주식회사 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
US10136194B2 (en) * 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system
EP3422722A1 (en) 2017-06-30 2019-01-02 Thomson Licensing Method for encoding a matrix of image views obtained from data acquired by a plenoptic camera
FR3075540A1 (fr) 2017-12-15 2019-06-21 Orange Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100421833B1 (ko) * 1996-06-26 2004-06-11 엘지전자 주식회사 엠펙2비디오디코더의화면스킵장치및방법
EP0898427A4 (en) 1997-02-13 2004-04-28 Mitsubishi Electric Corp ANIMATED IMAGE ESTIMATION SYSTEM
DE19855038A1 (de) 1998-11-28 2000-05-31 Thomson Brandt Gmbh Verfahren zur Bildcodierung und -decodierung sowie Verfahren zum Aufbau einer Teilbilddateneinheit für ein elektronisches Gerät und elektronisches Gerät
JP2000209589A (ja) * 1999-01-11 2000-07-28 Matsushita Electric Ind Co Ltd ビデオデ―タの適応的後処理装置および方法
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US20020176507A1 (en) * 2001-03-26 2002-11-28 Mediatek Inc. Method and an apparatus for reordering a decoded picture sequence using virtual picture
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
EP1642465A1 (en) * 2003-07-09 2006-04-05 THOMSON Licensing Video encoder with low complexity noise reduction
EP3554076B1 (en) 2003-07-24 2020-11-25 Nippon Telegraph And Telephone Corporation Image decoding method with hierarchical reference picture selection
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
BRPI0506370A8 (pt) * 2004-04-28 2016-12-06 Matsushita Electric Ind Co Ltd Aparelho de geração de fluxo contínuo, método de geração de fluxo contínuo, mídia de gravação, método de gravação, aparelho de reprodução de fluxo contínuo, método de reprodução de fluxo contínuo e sistema de reprodução
JP2006129177A (ja) 2004-10-29 2006-05-18 Victor Co Of Japan Ltd 記録装置及び記録媒体
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
CN101102503A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 视频分层编码层间运动矢量的预测方法
US8179960B2 (en) * 2008-11-12 2012-05-15 Alcatel Lucent Method and apparatus for performing video coding and decoding with use of virtual reference data

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197313A (zh) * 2011-10-13 2017-09-22 杜比国际公司 在电子设备上基于选定画面跟踪参考画面
CN107197313B (zh) * 2011-10-13 2020-01-07 杜比国际公司 对视频流编码/解码的方法以及对视频流解码的装置
US11102500B2 (en) 2011-10-13 2021-08-24 Dolby International Ab Tracking a reference picture on an electronic device
US11943466B2 (en) 2011-10-13 2024-03-26 Dolby International Ab Tracking a reference picture on an electronic device
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
CN111770332A (zh) * 2020-06-04 2020-10-13 Oppo广东移动通信有限公司 插帧处理方法、插帧处理装置、存储介质与电子设备
CN111770332B (zh) * 2020-06-04 2022-08-09 Oppo广东移动通信有限公司 插帧处理方法、插帧处理装置、存储介质与电子设备

Also Published As

Publication number Publication date
US20110243224A1 (en) 2011-10-06
WO2008008331A3 (en) 2008-09-12
KR20090037888A (ko) 2009-04-16
JP5351020B2 (ja) 2013-11-27
JP2009543521A (ja) 2009-12-03
BRPI0714119B1 (pt) 2020-09-15
EP2041982A2 (en) 2009-04-01
WO2008008331A2 (en) 2008-01-17
CN101491099B (zh) 2011-09-21
BRPI0714119A2 (pt) 2013-01-01
KR101378185B1 (ko) 2014-03-26
US8363724B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
CN101491099B (zh) 使用虚拟参考画面的方法及装置
TWI753356B (zh) 用於編碼或解碼轉換塊的方法與裝置
CN102484709B (zh) 用于视频编码器和解码器的对大块的帧内预测进行信令的方法和装置
JP5474546B2 (ja) 低減された解像度の分割の方法及び装置
JP5666293B2 (ja) ビデオ・エンコーディング、およびデコーディングのためのスキップ／ダイレクトモードのコンテクストに依存するマージのための方法と装置
CN101518086B (zh) 在多视图视频编码中用信号通知视图可分级性的方法和装置
KR101361896B1 (ko) 멀티-뷰 비디오 코딩 방법 및 디바이스
CN105247863B (zh) 三维或多视图视频编码或解码的方法
CN101822059B (zh) 可缩放视频的层间残差预测的方法和设备
CN101529921B (zh) 无显式信令的局部照明和色彩补偿
CN102308580B (zh) 用于自适应模式视频编码和解码的方法和装置
CN101496407B (zh) 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
CN102812706A (zh) 用于视频编码和解码的隐式自适应运动向量预测值选择的方法和装置
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
KR20100080792A (ko) 기하학적으로 분할된 쌍방 예측 모드 분할들을 비디오 인코딩 및 디코딩하기 위한 방법 및 장치
CN105791864A (zh) 解码多视图视频编码信息中使用码片组的方法和装置
CN102090062A (zh) 用于位移帧内预测和模板匹配的去块滤波
CN101653000A (zh) 用于包含多视点视频编码的参考图像管理的方法
CN103329535B (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法以及程序
CN101754016B (zh) 用于插入数据的方法、用于读取所插入的数据的方法
WO2008024345A1 (en) Adaptive region-based flipping video coding
CN102577382A (zh) 用于视频编码器和解码器的有效自适应滤波的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Billancourt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190527

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right