CN101810007A - 具有附加信息容量的多媒体编码和解码 - Google Patents

具有附加信息容量的多媒体编码和解码 Download PDF

Info

Publication number
CN101810007A
CN101810007A CN200880108809.9A CN200880108809A CN101810007A CN 101810007 A CN101810007 A CN 101810007A CN 200880108809 A CN200880108809 A CN 200880108809A CN 101810007 A CN101810007 A CN 101810007A
Authority
CN
China
Prior art keywords
coding
side information
type
signal
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880108809.9A
Other languages
English (en)
Other versions
CN101810007B (zh
Inventor
A·多拉佩斯
A·莱昂塔佩斯
K·J·斯泰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN101810007A publication Critical patent/CN101810007A/zh
Application granted granted Critical
Publication of CN101810007B publication Critical patent/CN101810007B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种多媒体编码和解码系统及方法，其中在考虑并提供编码性能与元数据容量之间的折衷的同时，该系统和方法使用特定预测模式用信号通告补充信息，例如元数据。预测模式可以依照将模式与比特相关的模式表并通过考虑编码影响而被编码。起始和停止码可以用于用信号通告消息，与此同时还给出了如何恰当设计模式比特表的各种技术。

Description

具有附加信息容量的多媒体编码和解码
相关申请的交叉引用
本申请要求根据2007年9月28日提交的名为“MULTIMEDIACODING AND DECODING WITH ADDITIONAL INFORMATIONCAPABILITY”的美国临时申请60/976,185而享有优先权，其中该申请的公开内容通过引用合并在此。
背景技术
多媒体信号编码和解码(例如视频和/或声音的编码和解码)可以依靠极端压缩来减少经由信道发送的信息量。编码器通常会执行全面优化例程，以便选择对信号执行最有效编码的压缩参数。
发明内容
本申请描述的是用于将辅助信息连同视频信号一起传送的技术，其中该辅助信息可以通过所使用的具体编码处理的限制而被编码。
这里的实施例可以具有预测类型的限制。这里的实施例还可以包括起始码和结束码。一些实施例可以包括将多种辅助信息嵌入独立于传输层的视频比特流。辅助信息可以是一系列由编码器编码并且随后被解码的比特。对旧有系统来说，编码处理可以是完全透明的。这里的一些实施例可以显示编码决定(例如次最优编码决定)如何通过后续的编码决定而被至少部分地补偿。无论旧有系统是否支持辅助信息，这里的一些实施例都可以与旧有系统结合使用。
附图说明
现在将参考附图来详细描述这些和其他方面，在附图中：
图1描述的是AVC视频编码标准中的不同的宏块和子宏块分区的示例；
图2描述的是AVC标准中的不同的4×4帧内预测模式的示例；
图3描述的是AVC标准中的不同的16×16帧内预测模式的示例；
图4和图5分别示出的是AVC内部的帧内预测组块和4×4组块扫描的示例；
图6描述的是示出了编码和解码序列示例的框图；
图7示出的是起始码/结束码和信令的示例；
图8描述的是例示的视频编码器的框图；
图9描述的是例示的视频解码器的框图；
图10示出的是消息定位器实施例的示例；以及
图11示出的是视频编码内部的标记处理的示例。
具体实施方式
在这里将会描述例示的实施例。出于说明目的，在以下描述中将会阐述众多具体细节，以便全面理解本发明。然而非常明显，本发明的实施例是可以在没有这些具体细节的情况下实现的。在其他实例中，众所周知的结构和设备会以框图的形式显示，以免不必要地与本发明相混淆。
综述
在一些方面中，一些实施例表征了一种用于编码离散时间媒体信号的方法。该方法包括接收媒体信号，获取将被编码在媒体信号内的补充信息，使用该补充信息从多种不同编码类型中选择一种编码类型，以及使用该编码类型来编码媒体信号。该编码类型代表所述补充信息。
这些和其他实施例可以可选地包含一个或多个下列特征。媒体信号可以是视频信号。编码类型可以包括用于视频信号的多种预测模式中的至少一种。该方法可以包括将预测模式集合成信令群组，并且这些信令群组将会被选择以减小对编码性能的影响。该方法可以包括定义起始码和/或结束码和/或长度码中的至少一个，并且在与补充信息相邻的视频信号位置内使用编码类型代表起始码和/或结束码和/或长度码中的至少一个。所述起始码和/或结束码可以代表不太可能在真实视频中出现的编码决定序列。补充信息可能与视频信号内容相关，并且可能在时间上与视频信号的不同部分同步。该补充信息也可能与视频信号不相关。
该方法可以包括确定性能大致相似的编码类型，并且集合编码方案以形成群组，这些群组可以减小使用步骤对编码性能的影响。该方法可以包括检测基于辅助信息而被选择的第一编码类型。所述方法可以包括：基于所述检测来覆盖(override)该选项。所述第一编码类型有可能导致视频降级。覆盖该编码类型的步骤可以包括：延迟对辅助信息的编码直至接收到视频的不同区域。该检测可以包括：以检测视频信号内变化的步骤为基础。所述覆盖步骤可以包括：在用于表示补充信息的帧间编码与帧内编码之间变化。该方法可以包括在视频信号内使用外部信令来指示补充信息的开端和/或末端中的至少一个。用于对补充信息进行编码的不同编码类型可以包括帧内-帧间预测(intra-versus inter-prediction)、预测定向(prediction direction)、子分区、参考索引、运动和照明变化参数、变换和/或量化参数。
在一些方面，一些实施例表征了一种方法，包括：对编码媒体信号执行解码，并且确定用于编码媒体信号的编码类型是多种不同编码类型中的一种。该方法包括：使用该编码类型来访问媒体编码类型与信息比特之间的关系，以及从解码处理中获取作为补充信息的信息比特。
这些和其他实施例可以可选地包括一个或多个下列特征。媒体信号可以是视频信号，并且媒体编码类型可以包括视频编码模式。该编码类型可以包括用于视频信号的多种预测模式中的至少一种。该方法可以包括从信息比特中确定起始码和/或结束码中的至少一个，以及检测与起始码和/或结束码相邻的补充信息。该方法可以包括检测在时间上与视频信号的不同部分同步的补充信息。该方法还可以包括检测出补充信息与视频信号不相关。所述编码类型可以包括用于表示补充信息的帧间编码和帧内编码处理。该方法可以包括在视频信号内部检测用于表示补充信息的开端和/或末端中的至少一个的外部信令。用于对补充信息进行编码的不同编码类型可以包括帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换和/或量化参数。
在一些方面，一些实施例包含了一种设备，该设备包括：采用多种不同预测模式中的一种预测模式来对媒体信号进行编码的媒体编码器，用于将被编码成媒体信号的一部分的补充信息的输入，以及决定部分，其包括通过使用补充信息来根据所述补充信息选择多种预测模式中的一种预测模式，以及表示该补充信息。
这些和其他实施例可以可选地包含一个或多个下列特征。媒体信号可以包括视频信号和/或音频信号。该媒体编码器可以是语音编码器。决定部分可以包括将预测模式与补充信息的比特相关的预测表，其中所述表可以将预测模式集中成信令群组，选择该信令群组以减小对编码性能的影响。由于补充信息对编码性能的影响，决定部分可以故意不用信号通告补充信息。该补充信息可以预先用纠错方案编码。该方法可以包括保存起始码和/或结束码中的至少一个，以及在与补充信息相邻的视频信号位置内使用编码器类型来表示起始码和/或结束码中的至少一个。
这些和其他实施例可以可选地包括一个或多个下列特征。起始码和/或结束码可以表示不太可能在实际视频中出现的编码决定序列。补充信息可能与视频信号的内容相关，并且在时间上有可能与视频信号的不同部分同步。该补充信息也可能与视频信号不相关。决定部分可以包括用于表示具有大致相似性能的编码方案以及减小了所述使用步骤对编码性能的影响的编码方案群组的信息。视频编码器可以检测基于辅助信息选择的第一编码类型，其中所述第一编码类型将会导致视频降级。该视频编码器可以根据所述检测来覆盖使用第一编码类型的步骤。视频编码器的覆盖操作步骤可以包括：延迟对辅助信息的编码直至所述视频的不同区域。视频编码器的覆盖步骤可以包括：在用于表示补充信息的帧间编码与帧内编码之间变化。
这些和其他实施例可以可选地包括一个或多个下列特征。该设备可以包括与外部信令的连接，以便在视频信号内指示补充信息的开端和/或末端中的至少一项。用于编码补充信息的不同编码类型可以包括帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换和/或量化参数。
在一些方面，一些实施例表征了一种设备，该设备包括：用于对经编码的媒体信号进行解码并且确定用于解码的编码类型的解码器。该解码器确定用于解码所述媒体信号的多种不同编码类型中的一种编码类型。所述设备包括逻辑部分，逻辑部分用于接收编码类型，并且使用该编码类型访问视频编码类型与信息比特之间的关系并输出来自解码处理的信息比特作为补充信息。
这些和其他实施例可以可选地包括一个或多个下列特征。该媒体信号可以是视频信号和/或音频信号。媒体解码器可以是语音解码器。逻辑部分可以存储用于媒体信号的多种预测模式以及与预测模式相关联的比特。该逻辑部分可以从信息比特中检测起始码和/或结束码中的至少一个，并且可以检测与起始码和/或结束码相邻的补充信息。该逻辑部分可以检测并纠正嵌入在媒体信号中的比特信息的差错。该逻辑部分可以检测在时间上与媒体信号的不同部分同步的补充信息。该逻辑部分还可以检测出补充信息与媒体信号不相关。该逻辑部分可以检测在媒体信号内表示补充信息的开端和/或末端中的至少一个的外部信令。用于编码补充信息的不同编码类型可以包括帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换和/或量化参数。
这里描述的任何方法和技术还可以在系统、装置或设备、机器、计算机程序产品中实施，或者在软件、硬件或软硬件组合中实施。例如，计算机程序产品可以被有形地编码在计算机可读介质上(例如数据存储单元)，并且可以包括用于促使数据处理设备(例如数据处理器)执行用于这里描述的任何方法的一个或多个操作。
带有附加信息容量的多媒体编码和解码
发明人认识到，有些时候较为理想的是将辅助信息连同所传送媒体信息一起传送，其中该媒体可以包括视频、音频、静止图像或其他多媒体信息。这些实施例可以仅仅涉及视频。但是应该理解，同样旨在涵盖包括音频在内的其他形式。这个辅助信息可以代表信息，并且可以用于这里描述的某些功能。
第一类别的辅助信息可以包括与诸如视频之类的媒体自身相关联的信息。与媒体自身相关联的辅助信息通常被称为元数据。这种辅助信息可以提供关于所传送的内容的附加信息。例如，元数据在视频传输系统中的不同用途可以包括：关于版权通知的信息，可以用于帮助或增强解码处理的信息，或是关于视频的补充信息。这些信息可用于各种应用。
当辅助信息是元数据时，很重要的一点是要将元数据与媒体同步，例如与视频馈送同步。此外，即便在执行传输层变化的时候也要保持元数据同步，这一点同样是非常重要的。举个例子，如果元数据信号内部的比特与视频信号内部的画面的组块或宏块相关联，那么将会是非常理想的。
作为替换，辅助信息也可以是非元数据信息，该信息是与媒体部分或者完全不相关的信息。举例来说，它可以是保密通信，或是用于支持旧有系统的信息。在一个实施例中，除非解码器专门配备了特殊的解码部分，否则补充通信信道对解码器而言是透明的。
辅助信息的应用可以包括3D图像重建，高动态范围图像生成，降噪，时间内插，超分辨率图像生成以及差错隐蔽。在技术中可以使用上述应用来向最终用户提供保密消息或其他信息。该系统可以用于数字签名，例如，该信息可以用于用信号通告加密或非加密消息，由此可以用于专有的后处理系统以增强解码视频的质量。其他应用包括：信息隐藏(steganography)，密码加密，后处理或速率整形信令，转码提示，差错隐藏，诸如当前场景中的演员或位置之类的视频内容信息，广告信息，频道指南信息，不同类型的视频加扰，其中所述视频加扰包括在没有解扰码的情况下完全禁止观看的第一类型，或是在没有扰码时允许观看较低质量图像以及在提供扰码时改善图像的第二类型。该辅助信息可以是BIOS或其他软件更新信息等等。技巧模式功能同样是得到支持的，在该模式中可以提供关于当前与即将到来的画面之间的关系的提示。然后，该信息可以供解码器使用，以便提供快进或回退功能。该系统还可以用于比特速率扩缩目的。
这里公开的多个实施例中的任一实施例均可用于上述应用的任何组合。
一个实施例描述的是与编码系统结合工作的系统的运用，其中举例来说，该编码系统可以是在第一实施例中使用的MPEG-4AVC标准。这些编码系统代表了使用多种不同编码模式的组块划分。具体的模式通常是由编码器以一种尽可能有效压缩组块中信息的方式选择的。不同的模式使用了不同的预测技术来预测视频信号内的纹理、运动和照明变化。例如，该预测可以包括帧内预测和帧间预测。子分区方法同样是可以使用的。例如，组块的帧内编码处理可以是针对4×4、8×8、或16×16的预测组块来预测的。对帧间预测来说，一种模式可以用信号通告在宏块或组块之类的当前位置内的子分区方法。每一个子分区可以进一步与一个参考画面索引相关联，以便实施帧间预测。除了运动矢量之外，其他信息同样是可以使用的，这其中包括变换大小，可以是平移、仿射或其他类型的运动矢量自身，以及诸如加权、偏移参数、不同的变换和量化参数之类的照明参数。
通常，这其中每一种不同的信号编码方法都被称为预测信息，其示例包括帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换和/或量化参数。
一个实施例使用了特定类型的预测信息，以便根据代表了预测信息与某些数据比特之间的关系的信息来编码补充信息。该信息可以是查找表，或是其他那些将模式与信息相关的类似表格。
图1-5示出的是编解码器(诸如基于MPEG-4AVC/H.264标准的编解码器)如何可以使用多种不同的模式来表示宏块。作为例示，考虑图1所示的宏块。如果将其设想成是16×16的宏块，那么可以采用多种不同的方式来预测整个宏块。100显示的是被预测成具有单个运动矢量的单一16×16分区的宏块。102显示的是16×8分区，而104显示的则是8×16分区。106显示的是正在使用的四个独立的8×8分区。
以类似的方式，每一个分区都可以具有不同的运动矢量。对双向预测而言，可以为每一个组块传送两组运动矢量。对于运动补偿预测而言，参考帧有可能高达16个，并且在这里可以为这些帧向下指定8×8的组块大小。所执行的运动补偿还可以向下精确到四分之一像素的精度。加权预测方法可以用于提高性能，在存在照明变化的情况下尤其如此。
对帧内编码而言，可以使用将会提高编码性能的帧内预测。例如，图2显示了多个不同的4×4组块大小以及如何可以在这些组块大小中使用帧内编码来产生一种模式，其中该模式在200中是垂直的，在202中是水平的，在204中是DC，在206中是朝着左下方的对角线，在208中是朝着右下方的对角线，在210中是垂直向右，在212中是水平向下，在214中是垂直向左以及在216中是水平向上。这些预测模式为每一个4×4组块都提供了九种预测模式。
预测还可以结合其他的组块大小来执行。例如，图3示出了AVC如何可以考虑将16×16的帧内预测模式用于预测。400示出的是垂直预测模式，402示出的是水平预测模式，404示出的是DC预测模式，以及406示出的是平面预测模式。所述预测还可以在使用8×8模式的AVC内部执行，而当前或未来的其他编解码器则可以考虑其他预测组块大小或模式。
图4和图5分别示出的是4×4组块大小的帧内预测组块及其在AVC内部的相应扫描顺序。
这些图示出了一些可以用于编码的不同预测处理。编码器通常会选择提供优选操作模式的编码模式。在大多数情况中，该选择是以编码预测为基础的，其中该预测在预定质量量度、比特数量和/或复杂度方面提供了最佳质量。发明人认识到，该选择处理可以用于其自身对信息进行编码，以使所述特定模式编码该信息。
根据一个实施例，用于编码的特定模式是以一种确定的方式选择的。所述特定选择将被执行，以便代表补充信息。
图6示出的是使用这种确定性编码器600来编码视频流内的附加信息的实施例。该确定性编码器600是在图6中显示的，它接收将要被编码的视频605，并且产生经编码的视频610。如上所述，这种编码器既可以使用MPEG-4AVC标准，也可以使用允许采用多种不同编码技术之一编码的其他任何编码方案。但是，图6的确定性编码器使用了模式表620来确定使用哪一种预测或编码方案。该补充信息625被输入到编码器。模式表620规定了不同预测/编码方案之间的关系，以及将要由这些编码方案代表的补充信息的数字比特。在操作中，编码器600根据补充信息来执行操作，以便从模式表620中选择代表该补充信息的模式。
已经根据补充信息625对经编码的视频610进行了编码。但是，由于该视频是根据该标准编码的，并且在其内并未添加特殊部分，因此，诸如650之类的特殊解码器和诸如690之类的旧有解码器都可以解码该视频610。旧有解码器690解码该视频并产生输出视频699。补充信息将会丢失，但是解码处理不会受到影响。
从专门被配置成解码模式信息的解码器650中可以检索到辅助信息。该解码器650包括模式表621，其中所述模式表与编码器600使用的模式表可以是相同的。该模式表621受解码器做出的使用哪一种编码模式的决定所驱动，从而有效解码那些被编码在所用编码方案选项中的补充信息。解码器内的逻辑模块651确定视频610是用该信息专门编码的，它从视频和模式表中检索补充信息652，并且将其输出。输出的补充信息可以与视频区域在时间上同步，其中举例来说，该视频区域可以是包含该补充信息的帧。
模式表可以通过建立信息比特或字节与特定编码组块类型之间的关系来形成。例如，表1示出了帧内宏块类型及其与补充数据符号的指派关系。
表1-帧内宏块类型及其与元数据符号的指派关系
mb_type   mb_type的名称   MbPartPredMode(mb_type，0) 16×16PredMode CSPChroma CBPLuma   Sec DataSymbolA  Sec DataSymbolB
0 I_4×4 Intra_4×4 na na na 0000  多达918种可能的组合
  1   I_16×16_0_0_0   Intra_16×16   0   0   0   0001  根据mb_type 0
  2   I_16×16_1_0_0   Intra_16×16   1   0   0   0010  ＞＞
  3   I_16×16_2_0_0   Intra_16×16   2   0   0   0011  ＞＞
  4   I_16×16_3_0_0   Intra_16×16   3   0   0   0100  ＞＞
  5   I_16×16_0_1_0   Intra_16×16   0   1   0   0101  ＞＞
  6   I_16×16_1_1_0   Intra_16×16   1   1   0   0110  ＞＞
  7   I_16×16_2_1_0   Intra_16×16   2   1   0   0111  ＞＞
  8   I_16×16_3_1_0   Intra_16×16   3   1   0   1000  ＞＞
  9   I_16×16_0_2_0   Intra_16×16   0   2   0   1001  ＞＞
  10   I_16×16_1_2_0   Intra_16×16   1   2   0   1010  ＞＞
  11   I_16×16_2_2_0   Intra_16×16   2   2   0   1011  ＞＞
mb_type   mb_type的名称   MbPartPredMode(mb_type，0) 16×16PredMode CSPChroma CBPLuma   Sec DataSymbolA  Sec DataSymbolB
  12   I_16×16_3_2_0   Intra_16×16   3   2   0   1100  ＞＞
  13   I_16×16_0_0_1   Intra_16×16   0   0   15   1101  ＞＞
  14   I_16×16_1_0_1   Intra_16×16   1   0   15   1110  ＞＞
  15   I_16×16_2_0_1   Intra_16×16   2   0   15   1111  ＞＞
  16   I_16×16_3_0_1   Intra_16×16   3   0   15   忽略  ＞＞
  17   I_16×16_0_1_1   Intra_16×16   0   1   15   忽略  ＞＞
  18   I_16×16_1_1_1   Intra_16×16   1   1   15   忽略  ＞＞
  19   I_16×16_2_1_1   Intra_16×16   2   1   15   忽略  ＞＞
  20   I_16×16_3_1_1   Intra_16×16   3   1   15   忽略  ＞＞
  21   I_16×16_0_2_1   Intra_16×16   0   2   15   忽略  ＞＞
  22   I_16×16_1_2_1   Intra_16×16   1   2   15   忽略  ＞＞
  23   I_16×16_1_2_1   Intra_16×16   2   2   15   忽略  ＞＞
  24   I_16×16_3_2_1   Intra_16×16   3   2   15   忽略  ＞＞
mb_type   mb_type的名称   MbPartPredMode(mb_type，0) 16×16PredMode CSPChroma CBPLuma   Sec DataSymbolA  Sec DataSymbolB
  25   I_PCM   Na   na   na   na   忽略  ＞＞
当然，这仅仅是一个示例，并且不同比特可以与不同的模式相关联。
表1显示了如何可以使用帧内编码模式来用信号通告来自辅助信息数据串的比特。不同的宏块类型代表了不同的辅助数据信号。对使用AVC的实施例来说，即便在没有考虑色度预测的情况下，不同的帧内4×4预测模式的不同可能组合也会多达169种。附加组合可以使用8×8或16×16的帧内预测以及用于色度预测的模式导出。在本实施例中，预测是由补充信息而不是最有效的编码方案规定的。而其他的标准或未来的标准也可以使用更多或更少的模式。
但是，如果强加某种特定的视频预测，那么也有可能产生次最优的编码系统。在一个实施例中，由于不恰当的预测造成的任何伪影都可以通过后续的残余编码来补偿。这种处理可以减轻质量影响。
根据一些实施例，预测信号是以一种尝试将性能损害减至最小的方式分组的。例如，一个实施例可以根据模式在预测方面的相似性来分离各个模式。
在诸如AVC之类的视频压缩中，任何一次的编码决定都有可能影响未来的决定和性能。特别地，使用模式A0来编码图像组块有可能导致值为cost0的速率失真成本。然而这个第一编码决定还有可能影响到相邻组块的压缩性能。特别地，如果相邻组块是用模式B0编码的，那么它有可能导致cost1。因此，使用模式A0和B0的这两个组块的总成本是cost0+cost1。
一种替换的决定可以在将模式A1用于第一组块以及将模式B1用于第二组块的情况下编码这些组块。然后，A1、B1有可能导致产生用于第一组块的cost2以及用于第二组块的cost3。总的成本是cost2+cost3。
虽然cost0有可能小于cost2，但是cost2+cost3也有可能与cost0+cost1相类似(两个组块的联合失真)。当出现这种情况时，在模式B0之后使用模式A1据说与在模式B1之后使用模式A1是等价的。
本实施例将不同的二进制签名指派给每一种模式，在本范例中则是指派给模式配对。举例来说，这样做将会允许将“0”指派给A0B0，以及将“1”指派给A1B1。由于它们具有等价的性能，因此，信息可以在没有编码方面的相应成本的情况下通过选择而被用信号通告。
这种分离处理可以确保存在相同性能方面的组块对，并且还可以确保发现用于压缩的优良模式。
这种技术可以推广到更多的组块、模式和用信号通告的比特。例如，图4显示了16个不同的4×4组块，并且这些组块可以产生若干种模式组合。这其中的某些组合可以导致产生等价的性能，其中如果经过测量，则会允许确定如何将元数据二进制签名指定给模式组合。
据此，表1显示了用A和B标记的两个不同的辅助信息符号。表1显示了用于组块a00的模式0与用于组块a01的模式1的组合如何平均提供与分别用于组块a00和a01的模式2和模式0相似的性能。在没有开销信令信息的情况下，解码器使用了相同的确定规则来检测和解码辅助信息。在实施例中，起始和结束码可以用区别辅助信息的区段。其他开销信令信息也可以用于帮助解码处理或者为其提供提示。
一个实施例使用这样一种技术，其中该技术采取了最小化效率影响的方式来分类那些可以集中在一起用于信令目的的预测模式。
在本实施例中使用了一组预测采样Pi来产生所有或大多数预测组块，这其中用到了所有或某些可用的帧内预测模式。
对每一种预测模式j来说，Pi将会导致产生预测组块Bij。
对每一个Bij来说，与所有其他预测模式相对的绝对距离被确定成是Dijk，模式j与k之间的距离是距离(Bij-Bik)。
与模式k相对的模式j的累积平均距离是如下计算的： CD jk = Σ i dis tan ce ( B ij - B ik ) - - - ( 1 ) .
该距离是使用图形理论并且通过将累积距离选定成是两种预测模式之间的成本来评估的。然后，通过将这些预测模式视为最短路径问题(例如，旅行推销员问题)来对其进行排序。根据所述解，所有或某些预测模式可以分段，以便实现最佳的编码性能。
更具体地说，该图表中的每个节点都是根据最短路径解扫描的，并且每个节点都会根据该次序而被指派给一个不同的群集/符号。如果有N个符号和M个有序节点，并且M＞N，则将节点M指派给符号S(M％N)，其中％是模运算符。
通过首先将问题拆分成多个子问题，也可以考虑次最优但却更为简单的解决方案，其中每一个子问题只考虑帧内预测模式的一个子集以便使用相似的技术来进行优化。这些子集可以使用预先已经定义的规则来确定，例如已经知道相反预测方向的两个模式非常不同并且由此可以将其一起考虑的事实。
另一个实施例信令为编码其他大小的当前宏块而进行的变换，例如所述大小可以是得到诸如VC-1、AVS、VP-6或VP-7之类的其他编解码器支持的4×4、4×8、8×4或其他任何宏块大小。
另一个实施例可以为诸如P和B时间片(slice)之类的帧间时间片执行该处理。即使所有可能的帧内编码模式都可以用于信令信息，但与帧内/运动补偿编码模式相比，它们也还是具有相对较低的编码效率。相应地，使用帧内编码模式有可能导致编码效率受到影响。而帧间模式则可以用于时间片类型内部的信令。
图1示出的是AVC标准如何支持四种不同的分区类型，从而使用分别被显示为100、102、104和106的帧间预测来编码宏块，以便实施运动补偿，其中所述被显示为100、102、104和106的帧间预测分别支持16×16、16×8、8×16和8×8分区。每一个8×8分区可以进一步分成4个较小的8×8子分区，例如在图1中被显示成108的8×8分区，在图1中被显示为110的8×4分区，在图1中被显示成112的4×8分区，以及在图1中被显示成114的4×4分区。即使忽略了用于检测可用宏块的等级和配置文件的限制，这样做也仍旧允许44＝256种可能的组合(对于8×8的子分区而言)或是每个宏块具有八个比特。
每一个8×8分区还可以考虑多达16种的不同参考索引。这些组合乃至信令所代表的签名的数量将会变得很多。举个例子，如果使用16个索引，则允许多达412＝16777216种可能的组合或是每个宏块具有24比特。
这些模式还可以被聚集在一起，以便减小编码开销以及性能影响。如果将帧间模式用于比特信令，那么有可能对视觉质量具有相对较小的影响。
另一个实施例可以仅仅将有限数量的模式用于信令目的，以便在容量与压缩效率之间提供折衷。根据该实施例，只有帧间宏块分区才被用于信令，这样做忽略了8×8子宏块分区中的参考索引。但是这样做仍旧允许具有每一个宏块两个比特的信令。编码器通过使用与该组合相关联的模式同时禁止其他模式来用信号通告某种比特组合。然后，运动估计和参考索引选择可以采用与正常编码器相同的方式来执行。对于包含了396个宏块的CIF分辨率(352×288)来说，这意味着每个帧有能力传送396×2＝792个比特或是99字节的信息。
表2示出的是用于P时间片的帧间宏块类型以及与符号的指派关系。
表2-用于时间片的帧内MB类型以及与补充信息符号的可能指派关系
mb_type mb_type的名称   NumMbPart(mb_type)   MbPartWidth(mb_type)   MbPartHeight(mb_type)  Metadata Symbol(元数据符号)
  0 P_L0_16×16   1   16   16   00
  1 P_L0_L0_16×8   2   16   8   01
  2 P_L0_L0_8×16   2   8   16   10
  3 P_8×8   4   8   8   11
  4 P_8×8ref0   4   8   8   11
  推断 P_Skip   1   16   16   00
该方法可以扩展到B时间片。
表3示出了如何将B时间片中下至8×8宏块分区的每一个帧间模式指定给四比特消息。以与P时间片相似的方式，如果给出了某个四比特消息，那么编码器将会选择要通告的恰当模式。而选择处理则会对辅助信息进行编码。
表3-用于B时间片的帧间MB类型以及针对元数据符号的可能指派考虑到模式的增多，可以通过扩展信令来覆盖更多比特。
mb_type mb_type的名称   NumMbPart(mb_type)  MbPartWidth(mb_type)   MbPartHeight(mb_type)   MetadataSymbolA   MetadataSymbolB
  0   B_Direct_16×16   Na   8   8   00   0000
  1   B_L0_16×16   1   16   16   00   0000
  2   B_L1_16×16   1   16   16   00   0001
  3   B_Bi_16×16   1   16   16   00   0010
  4   B_L0_L0_16×8   2   16   8   01   0011
  5   B_L0_L0_8×16   2   8   16   10   0100
  6   B_L1_L1_16×8   2   16   8   01   0101
  7   B_L1_L1_8×16   2   8   16   10   0110
从元数据信令可以排除一些模式，以便提供性能或是减轻质量降级。假设采用了这样一种情况，与当前的辅助信息符号SYMj规定的模式相比，宏块j可以通过使用被排除的模式之一而以相对较好的质量和性能来编码宏块j，然后可以选择被排除的模式以进行编码。符号SYMj则改为用于编码宏块j+1或是第一后续宏块，其中与符号j指示的模式相比，被排除的模式并没有在群组编码性能方面为第一后续宏块提供显著改进。
举个例子，如果新区域未被覆盖或者在视频场景内部出现了新的对象，那么可以在不影响质量并且没有损失辅助信息信号的任何比特的情况下安全地使用帧内编码。单个帧的嵌入容量有可能会减小，但是对于压缩效率以及后续质量的相应影响有可能会降低。
与选择关联于辅助信息符号的模式相比较，在出于压缩效率目的而对排除的模式进行选择之间，还可以在编码器中调整容限。该处理可以在嵌入容量与编码性能之间提供折衷。
过多的辅助信息有可能会影响压缩效率。某些场景中有可能需要仅仅将辅助信息插入视频序列内部的某些帧或画面。该辅助信息将会附加在一些画面(帧)上，或者仅仅处于比特流内部的某些画面中。
其中举例来说，这种处理可以采用周期性或伪随机方式来完成。例如，这种处理可以用来提供启用诸如快进和回退或随机访问之类的视频技巧模式的辅助信息。虽然可以在已知/预定位置插入消息，但是出于各种原因，消息也可以在任意位置插入。因此，在此类情况中，非常重要的一点是能够检测存在性，并且由此能够充分解码该消息。
根据一个实施例，解码器650应该能够检测消息，并且应该能够确保其正在检测故意编码的消息，从而避免检测当时不存在的消息。同样重要的是避免错误否定，例如即便在消息存在的情况下也没有检测到消息。在一个实施例中，在用信号通告辅助信息之前和之后会在视频流内部嵌入起始码和结束码。该起始码和结束码可以通过使用与用于实际辅助信息的技术相同的技术来运用嵌入到视频流内部的预定比特序列。例如，该处理可以通过将序列的比特映射到宏块和/或块编码模式来完成。
这些码是作为在真实视频中极少或者从不出现的编码决定序列选择的，由此可以避免错误肯定。举个例子，通常不太可能遭遇到分别将三个相邻宏块先编码到16×8分区、再编码到8×16分区、以及随后编码到16×8分区的情形。由于这些模式与水平边缘中的对象边缘具有很强的关系，因此，这种组合是不太可能出现的。出现这种情况的唯一时刻是对象具有处于垂直方向的左和右宏块内部的水平边缘的时刻。
另一个实施例可以保留那些只能用于该目的而不能用于比特流内部的其他任何目的的起始码和结束码。该实施例可以改进检测。
一种替换的起始码可以使用四个宏块以及序列0110011来通告，其中该序列可以依次使用模式16×16、8×8、16×16以及8×8来表示。
相应地，增加起始码序列的长度可以减小错误肯定的概率。但是，这么做的代价是减小了视频流的嵌入容量。因此，应该结合预定应用来仔细检查起始码长度与错误肯定之间的折衷。例如，用于低分辨率视频的应用可以使用较短的起始码，而较高清晰度的材料则有可能需要较长的起始码以便提高鲁棒性。
辅助信息可以紧跟在起始码之后。在一个实施例中，消息数据的大小可以是固定数字M。动态长度信息同样可以在起始码之后立即在辅助信息的比特或字节中通告。
图7显示的是依照表2的信令方法来放置补充信息的实施例。诸如图7的700的每一个框表示一个宏块、帧或画面。跟随在起始码705之后的是长度码710，该长度码由来自四个宏块的八个比特组成，以便指示辅助信息的长度。跟随在该长度码之后的是以715为开始的消息。720标记通告消息结束的结束码。如果在预期位置没有遭遇到结束码签名，则意味着信息不代表有效消息或者遭遇到了某些其他错误。正如本文所说明的那样，检查处理是作为图11的一部分显示的。
在一个实施例中，起始码和结束码消息可以跨越序列内部的多个相邻画面。
另一个实施例使用了外部信令方法来用信号通告消息的存在和位置，从而取代起始和停止码。例如，一个实施例允许使用现有的补充增强(SEI)消息来执行该处理。
错误肯定可以通过在相同画面内部或是序列内部的多个画面中重复该消息来降低。例如，假设未被重复的消息是噪声或差错。如果可能的起始码/消息/结束码由此在后续画面中不具有起始码/消息/结束码的确切时间序列，则可以将其丢弃。
起始码和结束码在画面之间没有必要是不变的。
使用奇偶性方案的数据验证和差错校正技术也可用于编码该消息，以便减小错误肯定并且提高消息的鲁棒性。
此外，某些宏块对于辅助信息信号而言未必是良好的候选者，并且较为优选的有可能是用已排除的模式来编码。在用信号通告实际消息的比特数量时，并不需要考虑已排除模式的宏块。
在一个实施例中，较为优选的是为了压缩效率允许在消息内部引入差错。如上所述，为宏块辅助编码选择的模式有可能对编码效率产生负面影响。如果在将消息比特嵌入比特流之前使用纠错技术，那么可以在不影响消息可恢复性的情况下故意添加消息差错。
图8显示了使用本申请的技术的视频编码器。输入视频800由变换设备802变换并由量化设备804量化。作为环路过滤器810形成的环路的一部分，反馈结构806与运动补偿和帧内预测模块808以及运动评估模块868一起使用的。还使用了画面参考存储器812。这其中的每个装置一起被用于执行预测和压缩，并产生比特流815。消息820被输入到可选的加密单元822以及可选纠错编码器824中。如上所述，模式映射826执行消息820与视频编码模式之间的模式映射。
图9显示的是例示解码器，其中该解码器接收比特流815，并且使用逆量化、逆变换、运动补偿以及参考画面缓冲器来解码比特流，其中所述缓冲器还用于存储用于参考的画面。消息传递检测器和模式映射设备900执行检测消息处理，其中举例来说，该处理是通过检测起始和停止比特来完成的，此外，该设备还结合纠错解码器902来解码纠错信息，并且结合解密设备904来执行解密，如有必要还输出消息820。
另一个实施例描述的是对其中已经具有元数据的比特流执行代码转换的代码转换单元，其中该比特流以不同的比特率、不同的分辨率或是使用不同的编解码器编码的，但是在其内保留了辅助信息。
图10所示的另一个实施例包括首先对一个名为消息定位器的单独消息进行编码。该消息定位器提供了关于在后续帧和视频内部如何以及从哪里能够解码实际消息的准确信息。例如，该消息定位器可以提供与用来嵌入消息的一个或多个位置相关的路线图，比特映射模式，加密方法，以及关于信号一般重建的其他信息。
在图10中，消息定位器1000直接跟在起始码1002之后。这样做允许在时间和空间上检测到消息的实际位置以及实际消息的大小。如图10所示，在不同的时间，消息定位器1000指向处于不同宏块的位置1010。画面中的消息定位器处于时刻t，而该消息定位器所引用的宏块则在时刻t+1处于该画面。
由此，初始消息的时间和空间可以采用这种方式来编码。如果加密了消息定位器，那么侵入者很难实际检测到始于1010的消息。
图11示出的是标记示例的流程图。在1100，视频编码处理开始，并且在1102、1104为每一个帧确定该位置是否要被标记。如果是，则在1106将分别代表起始码起始位置、以比特为单位的大小、消息大小和结束码大小的scpos、scsize、mdsize和ecsize设置成其初始值。1108示出的是确定那些代表了不同的值的大小和位置的值，其后跟随的是在1110进行的模式决定。1112代表的是根据该模式决定来编码宏块。
在上文中已经描述了使用视频压缩的实施例。但是，这里公开的技术同样适用于其他媒体，包括音频和语音编解码器。ISO/MEPG-4AAC压缩标准包含了使用这里公开的技术可以用于信令补充信息的众多音频编码模式。例如，编解码器使用11个可选霍夫曼码本来对经量化的变换系数进行无损编码。在给出了音频采样的输入帧的情况下，AAC编码器会选择一组将编码变换系数所需要的比特数量减至最少的霍夫曼码本。该实施例的AAC编码器可以接收要传送的元数据比特，然后对霍夫曼码本的选择进行相应的变更。编码模式同样是可用的，在被设置成次最优状态时，可以通过后续编码决定来至少部分弥补所述设置。其示例包括变换窗口类型(sine/KBD)、联合立体声编码决定(Mid/侧编码(side coding))以及TNS过滤器长度、顺序、分辨率和方向。在AMR NB语音编解码器内部，经编码的脉冲的位置和符号、LPC模型系数(矢量量化的线频谱对)以及基音滞后将会充当可以被本实施例使用的编码模式。
在这里描述了一般的结构和技术，以及可以用于影响更常见目标的不同执行方式的更具体的实施例。
虽然在上文中仅仅详细公开了少量实施例，但是其他实施例同样是可行的，并且发明人旨在将这些实施例包含在本说明书以内。本说明书描述了用于完成可能采用别的方式完成的更常见目标的具体实施例。本公开是例示性的，并且权利要求旨在覆盖本领域普通技术人员能够预见到的任何修改或变更。例如，可以使用其他编码处理。该系统可以与其他媒体一起使用。此外，虽然在上文中将特征描述成是在某些组合中产生作用的，并且在一开始是以相同的方式要求保护的，但是在一些情况下，来自要求保护的组合的一个或多个特征是可以从该组合中排除的，并且要求保护的组合有可能针对的是子组合或是子组合变体。
此外，发明人还意图依照35USC 112第六段来解释那些使用了单词“用于......的装置”的权利要求。此外，除非在权利要求中明确包含了来自说明书的限制，否则在任何权利要求中都不应该加入来自说明书的限制。这里描述的计算机可以是任何类型的计算机，该计算机既可以是通用计算机，也可以是工作站或机顶盒之类的专用计算机。该计算机可以是运行Windows XP或Linux的Pentium级计算机，或者也可以是Macintosh计算机。编码和/或解码处理同样可以在FPGA或芯片之类的硬件中实施。程序可以用C、Java或其他任何编程语言来编写。这些程序可以驻留在磁性或光学存储介质之类的存储介质上，例如计算机硬盘驱动器、可移除碟片或其他可移除介质。此外，该程序还可以在网络上运行，例如使用服务器或是其他那些向本地机发送信号的机器来执行，这样做允许本地机执行这里描述的操作。在这里描述了本公开的特定实施例，但是其他实施例也处于后续权利要求的范围以内。

Claims (52)

1.一种用于编码离散时间媒体信号的方法，包括：
接收媒体信号；
获取要在所述媒体信号内编码的补充信息；
使用所述补充信息从多种不同的编码类型中选择一种编码类型；以及
使用所述一种编码类型来编码所述媒体信号，其中该编码类型代表补充信息。
2.根据权利要求1所述的方法，其中所述媒体信号是视频信号。
3.根据权利要求2所述的方法，其中所述编码类型包括用于视频信号的多种预测模式中的至少一种。
4.根据权利要求3所述的方法，还包括：将预测模式集中成被选择以减小对编码性能的影响的信令群组。
5.根据权利要求2所述的方法，还包括：定义起始码、结束码、或长度码中的至少一个，以及在与补充信息相邻的视频信号位置内使用所述编码类型来表示所述起始码、结束码、或长度码中的所述至少一个。
6.根据权利要求5所述的方法，其中所述起始码或结束码代表不太可能在真实视频中出现的编码决定序列。
7.根据权利要求2所述的方法，其中所述补充信息与视频信号的内容相关，并且在时间上与视频信号的不同部分同步。
8.根据权利要求2所述的方法，其中所述补充信息与视频信号不相关。
9.根据权利要求3所述的方法，还包括：确定具有大致相似性能的编码类型，以及分组所述编码方案以形成减小所述使用对编码性能的影响的群组。
10.根据权利要求2所述的方法，还包括：检测根据辅助信息选择的第一编码类型，其中第一编码类型导致视频降级，以及根据所述检测来覆盖所述选择。
11.根据权利要求10所述的方法，其中所述覆盖所述编码类型的处理包括延迟辅助信息的编码直至接收到视频的不同区域。
12.根据权利要求10所述的方法，其中所述检测包括以视频信号内部的变化为基础来执行所述检测。
13.根据权利要求12所述的方法，其中所述覆盖包括在用于表示补充信息的帧间编码与帧内编码之间变化。
14.根据权利要求2所述的方法，还包括：使用外部信令来指示补充信息在视频信号内部的开端和末端中的至少一个。
15.根据权利要求2所述的方法，其中用于编码所述补充信息的所述不同编码类型包括：帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换和/或量化参数。
16.一种方法，包括：
对经编码的媒体信号进行解码，并且将用于编码该媒体信号的编码类型确定为多种不同编码类型中的一种编码类型；
使用所述一种编码类型访问媒体编码类型与信息比特之间的关系；以及
从所述解码中获取所述信息比特作为补充信息。
17.根据权利要求16所述的方法，其中所述媒体信号是视频信号，并且所述媒体编码类型包括视频编码模式。
18.根据权利要求17所述的方法，其中所述编码类型包括用于视频信号的多种预测模式中的至少一种。
19.根据权利要求18所述的方法，还包括：从所述信息比特确定起始码或结束码中的至少一个，以及检测与所述起始码或所述结束码相邻的补充信息。
20.根据权利要求17所述的方法，还包括：检测在时间上与视频信号的不同部分同步的所述补充信息。
21.根据权利要求17所述的方法，还包括检测所述补充信息与视频信号不相关。
22.根据权利要求17所述的方法，其中所述编码类型包括用于表示补充信息的帧间编码和帧内编码。
23.根据权利要求17所述的方法，还包括：检测用于指示视频信号内的补充信息开端或末端中的至少一个的外部信令。
24.根据权利要求17所述的方法，其中用于编码所述补充信息的所述不同编码类型包括：帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换、或量化参数。
25.一种设备，包括：
媒体编码器，操作以便以多种不同的预测模式中的一种预测模式来编码媒体信号；
用于将被编码成媒体信号一部分的补充信息的输入；以及
决定部分，使用所述补充信息以便根据所述补充信息来选择所述多种预测模式中的一种预测模式，以及表示所述补充信息。
26.根据权利要求25所述的设备，其中所述媒体信号是视频信号。
27.根据权利要求25所述的设备，其中所述媒体信号是音频信号。
28.根据权利要求27所述的设备，其中所述媒体编码器是语音编码器。
29.根据权利要求25所述的设备，其中所述决定部分包括将预测模式与补充信息比特相关的预测表，以及所述表将预测模式集中成被选择以减小对编码性能的影响的信令群组。
30.根据权利要求25所述的设备，其中由于补充信息对编码性能的影响，所述决定部分故意不用信号通告补充信息。
31.根据权利要求30所述的设备，其中补充信息已在之前使用纠错方案编码。
32.根据权利要求26所述的设备，其中还包括：存储起始码或结束码中的至少一个，以及使用所述编码器类型在与补充信息相邻的视频信号位置内表示所述起始码或结束码中的所述至少一个。
33.根据权利要求32所述的设备，其中所述起始码或结束码代表不太可能在真实视频中出现的编码决定序列。
34.根据权利要求26所述的设备，其中所述补充信息与视频信号的内容相关，并且在时间上与视频信号的不同部分同步。
35.根据权利要求26所述的设备，其中所述补充信息与视频信号不相关。
36.根据权利要求26所述的设备，其中所述决定部分包括用于指示具有大致相似性能的编码方案的信息，以及用于减小所述使用对编码性能的影响的编码方案的群组。
37.根据权利要求26所述的设备，其中所述视频编码器检测基于辅助信息选择的会导致视频降级的第一编码类型，并且根据所述检测来覆盖所述第一编码类型的所述使用。
38.根据权利要求37所述的设备，其中所述视频编码器的所述覆盖操作包括延迟对辅助信息的编码直至该视频的不同区域。
39.根据权利要求37所述的设备，其中所述视频编码器的所述覆盖操作包括在用于表示补充信息的帧间编码与帧内编码之间变化。
40.根据权利要求26所述的设备，还包括与外部信令的连接，所述外部信令指示视频信号内的补充信息的开端或末端中的至少一个。
41.根据权利要求26所述的设备，其中用于编码所述补充信息的所述不同编码类型包括帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换、或量化参数。
42.一种设备，包括：
解码器，解码经编码的媒体信号，并且确定用于解码的编码类型，所述解码器确定多种不同编码类型中用于解码媒体信号的一种编码类型；
逻辑部分，接收所述编码类型，并且使用所述编码类型来访问视频编码类型与信息比特之间的关系，以及从所述解码中输出信息比特作为补充信息。
43.根据权利要求42所述的设备，其中所述媒体信号是视频信号。
44.根据权利要求42所述的设备，其中所述媒体信号是音频信号。
45.根据权利要求44所述的设备，其中所述媒体解码器是语音解码器。
46.根据权利要求41所述的设备，其中所述逻辑部分存储了用于媒体信号的多种预测模式，以及与所述预测模式相关的比特。
47.根据权利要求41所述的设备，其中所述逻辑部分还从所述信息比特中检测起始码或结束码中的至少一个，以及检测与所述起始码或所述结束码相邻的补充信息。
48.根据权利要求46所述的设备，其中所述逻辑部分检测并纠正嵌入在媒体信号中的比特信息的差错。
49.根据权利要求41所述的设备，其中所述逻辑部分检测在时间上与媒体信号的不同部分同步的所述补充信息。
50.根据权利要求41所述的设备，其中所述逻辑部分检测所述补充信息与媒体信号不相关。
51.根据权利要求41所述的设备，其中所述逻辑部分检测用于指示媒体信号内的补充信息开端或末端中的至少一个的外部信令。
52.根据权利要求43所述的设备，其中用于编码所述补充信息的所述不同编码类型包括帧内-帧间预测、预测定向、子分区、参考索引、运动和照明变化参数、变换、或量化参数。
CN200880108809.9A 2007-09-28 2008-08-08 具有附加信息容量的多媒体编码和解码 Expired - Fee Related CN101810007B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97618507P 2007-09-28 2007-09-28
US60/976,185 2007-09-28
PCT/US2008/072616 WO2009045636A2 (en) 2007-09-28 2008-08-08 Multimedia coding and decoding with additional information capability

Publications (2)

Publication Number Publication Date
CN101810007A true CN101810007A (zh) 2010-08-18
CN101810007B CN101810007B (zh) 2013-03-06

Family

ID=40404963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880108809.9A Expired - Fee Related CN101810007B (zh) 2007-09-28 2008-08-08 具有附加信息容量的多媒体编码和解码

Country Status (6)

Country Link
US (2) US8229159B2 (zh)
EP (1) EP2204044B1 (zh)
JP (1) JP5306358B2 (zh)
KR (1) KR101571573B1 (zh)
CN (1) CN101810007B (zh)
WO (1) WO2009045636A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104145440A (zh) * 2012-02-29 2014-11-12 三菱电机研发中心欧洲有限公司 用于增加符号中包括的信息比特的量的方法和装置
CN112822537A (zh) * 2015-11-09 2021-05-18 交互数字Vc控股公司 使视频内容适应到显示特性的方法、设备及介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
WO2012122423A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
WO2010021691A1 (en) * 2008-08-19 2010-02-25 Thomson Licensing Luminance evaluation
KR101611375B1 (ko) 2008-08-19 2016-04-11 톰슨 라이센싱 압축된 비디오에서 구문 요소의 ｃａｂａｃ/ａｖｃ 준수 워터마킹
WO2010021700A1 (en) 2008-08-19 2010-02-25 Thomson Licensing A propagation map
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9667365B2 (en) * 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
CA2760677C (en) 2009-05-01 2018-07-24 David Henry Harkness Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
BR112012019745B1 (pt) 2010-02-09 2020-11-10 Contentarmor Método de detecção de marca dágua utilizando um mapa de propagação
WO2011126283A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
WO2011126282A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
US20120243606A1 (en) * 2010-09-24 2012-09-27 Nokia Corporation Methods, apparatuses and computer programs for video coding
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
KR101292091B1 (ko) * 2010-10-26 2013-08-08 (주)휴맥스 적응적 화면내 예측 부호화 및 복호화 방법
KR101824241B1 (ko) * 2011-01-11 2018-03-14 에스케이 텔레콤주식회사 인트라 부가정보 부호화/복호화 장치 및 방법
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
EP2613532A1 (en) 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
EP2959479B1 (en) 2013-02-21 2019-07-03 Dolby International AB Methods for parametric multi-channel encoding
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
EP3078023B1 (en) 2013-12-02 2019-12-25 Dolby International AB Method for bitrate signaling and bitstream format enabling such method
CN106233331B (zh) 2014-02-24 2019-11-29 惠普发展公司，有限责任合伙企业 使用辅助图像对主图像进行解码的介质、计算设备和方法
GB201414204D0 (en) 2014-08-11 2014-09-24 Advanced Risc Mach Ltd Data processing systems
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
EP3335422B1 (en) * 2015-12-23 2021-12-01 Huawei Technologies Co., Ltd. Method and apparatus for transform coding with block-level transform selection and implicit signaling within hierarchical partitioning
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
US12114003B2 (en) * 2022-07-15 2024-10-08 Shrinivas KUDEKAR System and method for managing encoded information in a real-time screen-to-camera communication environment

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4433207A (en) * 1981-09-10 1984-02-21 Best Robert M Cryptographic decoder for computer programs
US4969041A (en) * 1988-09-23 1990-11-06 Dubner Computer Systems, Inc. Embedment of data in a video signal
NL8901032A (nl) * 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
US5327237A (en) * 1991-06-14 1994-07-05 Wavephore, Inc. Transmitting data with video
US5319735A (en) * 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
JP3210082B2 (ja) * 1992-07-14 2001-09-17 キヤノン株式会社 符号化装置及びその方法
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US6424725B1 (en) * 1996-05-16 2002-07-23 Digimarc Corporation Determining transformations of media signals with embedded code signals
US5530751A (en) * 1994-06-30 1996-06-25 Hewlett-Packard Company Embedded hidden identification codes in digital objects
US5646997A (en) * 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
GB2306833B (en) * 1995-10-30 2000-03-29 Sony Uk Ltd Video data compression
US5689587A (en) * 1996-02-09 1997-11-18 Massachusetts Institute Of Technology Method and apparatus for data hiding in images
US7930546B2 (en) * 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US6046748A (en) * 1996-06-27 2000-04-04 Peerless Systems Corporation Cooperative filter and raster operation evaluation model
US6031914A (en) * 1996-08-30 2000-02-29 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible images
AU728966B2 (en) * 1997-01-13 2001-01-25 Koninklijke Philips Electronics N.V. Embedding supplemental data in a digital video signal
US6192138B1 (en) * 1997-05-08 2001-02-20 Kabushiki Kaisha Toshiba Apparatus and method for embedding/unembedding supplemental information
WO1999004570A1 (fr) * 1997-07-18 1999-01-28 Ecole Polytechnique Federale De Lausanne Procede de marquage d'un signal numerique video compresse
JP3794646B2 (ja) 1997-08-26 2006-07-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 内容情報とそれに関する補足情報とを転送するシステム
US6064748A (en) 1998-01-16 2000-05-16 Hewlett-Packard Company Method and apparatus for embedding and retrieving additional data in an encoded data stream
US6233347B1 (en) * 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6701062B1 (en) * 1998-06-06 2004-03-02 Macrovision Corporation Generational copy control of a video signal
JP2001061052A (ja) * 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
JP4254003B2 (ja) * 2000-04-04 2009-04-15 ソニー株式会社 埋め込み装置および埋め込み方法、復号装置および復号方法、並びに記録媒体
US6859877B2 (en) * 2000-06-12 2005-02-22 Canon Kabushiki Kaisha Image processing apparatus and method, and computer readable memory medium storing program for executing image processing
JP2002076905A (ja) * 2000-06-12 2002-03-15 Canon Inc 画像符号化装置、画像符号化方法、画像符号化プログラムを記録したコンピュータ可読記録媒体及び画像符号化プログラム
US7006631B1 (en) * 2000-07-12 2006-02-28 Packet Video Corporation Method and system for embedding binary data sequences into video bitstreams
KR100898879B1 (ko) * 2000-08-16 2009-05-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템
US7421729B2 (en) * 2000-08-25 2008-09-02 Intellocity Usa Inc. Generation and insertion of indicators using an address signal applied to a database
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
JP2003134330A (ja) * 2001-10-30 2003-05-09 Sony Corp 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム
JP3952939B2 (ja) * 2001-11-28 2007-08-01 日本ビクター株式会社 可変長符号化データ受信方法及び可変長符号化データ受信装置
EP2860978B1 (en) * 2002-05-28 2020-04-08 Dolby International AB Method and systems for image intra-prediction mode estimation, communication, and organization
EP1636995B1 (en) * 2003-06-25 2010-06-02 Thomson Licensing Encoding method and apparatus for insertion of watermarks in a compressed video bitstream
JP4124366B2 (ja) * 2004-09-17 2008-07-23 大日本印刷株式会社 電子透かしの埋め込み方法および抽出方法
FR2894739A1 (fr) 2005-12-12 2007-06-15 Thomson Licensing Sa Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
KR100653643B1 (ko) 2006-01-26 2006-12-05 삼성전자주식회사 하모닉과 비하모닉의 비율을 이용한 피치 검출 방법 및피치 검출 장치
US20070268406A1 (en) * 2006-05-22 2007-11-22 Broadcom Corporation, A California Corporation Video processing system that generates sub-frame metadata
US7953315B2 (en) * 2006-05-22 2011-05-31 Broadcom Corporation Adaptive video processing circuitry and player using sub-frame metadata
US7893999B2 (en) * 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
US20080007651A1 (en) * 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Sub-frame metadata distribution server
US20080007650A1 (en) 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Processing of removable media that stores full frame video & sub-frame metadata
US20080007649A1 (en) * 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Adaptive video processing using sub-frame metadata

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104145440A (zh) * 2012-02-29 2014-11-12 三菱电机研发中心欧洲有限公司 用于增加符号中包括的信息比特的量的方法和装置
CN112822537A (zh) * 2015-11-09 2021-05-18 交互数字Vc控股公司 使视频内容适应到显示特性的方法、设备及介质
US11711569B2 (en) 2015-11-09 2023-07-25 Interdigital Vc Holdings, Inc. Method and device for adapting the video content decoded from elementary streams to the characteristics of a display

Also Published As

Publication number Publication date
JP2010541383A (ja) 2010-12-24
JP5306358B2 (ja) 2013-10-02
US20090087110A1 (en) 2009-04-02
US8571256B2 (en) 2013-10-29
EP2204044B1 (en) 2014-07-30
US8229159B2 (en) 2012-07-24
WO2009045636A3 (en) 2009-05-22
WO2009045636A2 (en) 2009-04-09
CN101810007B (zh) 2013-03-06
KR101571573B1 (ko) 2015-11-24
US20120281751A1 (en) 2012-11-08
EP2204044A2 (en) 2010-07-07
KR20100080916A (ko) 2010-07-13

Similar Documents

Publication Publication Date Title
CN101810007B (zh) 具有附加信息容量的多媒体编码和解码
US20230283791A1 (en) Hierarchical data structure
CN104272745B (zh) 具有对流调适及拼接的增强支持的视频译码
CN101669370B (zh) 具有下采样参考图片的视角间预测
US9124891B2 (en) Method for modeling coding information of a video signal to compress/decompress the information
CN102656890B (zh) 用于视频编码的方法和设备
TWI568271B (zh) 用於視訊編碼之延伸空間可縮放性之改良式層間預測技術
US20090161762A1 (en) Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
CN104012092A (zh) 高效变换单元编码的方法和设备
CN101204094A (zh) 可缩放地编码和解码视频信号的方法
CN100568970C (zh) 用于发信号通知和解码视频流中的有效入口点的方法
US20090041130A1 (en) Method of transmitting picture information when encoding video signal and method of using the same when decoding video signal
US7480252B2 (en) Method and system for improving transmission efficiency using multiple-description layered encoding
CN1973545A (zh) 用于可缩放媒体编码和传输的多个互操作性点
CN1795679A (zh) 对多媒体传输的辅助信息进行编码和解码的方法、装置和系统
CN1848956A (zh) 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
CN103843342A (zh) 图像解码方法及使用其的装置
KR20060122664A (ko) 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
CN102124495A (zh) 用于对数字化图像序列进行编码的方法
US20060159352A1 (en) Method and apparatus for encoding a video sequence
US7242812B2 (en) Coding and decoding of video data
CN103747258A (zh) 一种高性能视频编码标准的加密处理方法
CN101754016A (zh) 用于插入数据的方法、用于读取所插入的数据的方法
JPH08111870A (ja) 画像情報の再符号化方法及び装置
CN102870416A (zh) 运动图像编码装置以及运动图像解码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130306

Termination date: 20170808