CN1617593A - 发信号通知视频流中的有效入口点 - Google Patents

发信号通知视频流中的有效入口点 Download PDF

Info

Publication number
CN1617593A
CN1617593A CNA200410095789XA CN200410095789A CN1617593A CN 1617593 A CN1617593 A CN 1617593A CN A200410095789X A CNA200410095789X A CN A200410095789XA CN 200410095789 A CN200410095789 A CN 200410095789A CN 1617593 A CN1617593 A CN 1617593A
Authority
CN
China
Prior art keywords
frame
field
entrance
interlacing
designator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200410095789XA
Other languages
English (en)
Other versions
CN100568970C (zh
Inventor
R·J·克里能
S·L·雷古纳杉
S·斯里尼瓦杉
T·E·昂德斯
T·W·赫尔科姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1617593A publication Critical patent/CN1617593A/zh
Application granted granted Critical
Publication of CN100568970C publication Critical patent/CN100568970C/zh
Anticipated expiration legal-status Critical
Active legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

描述了用于数字视频的编码/解码，尤其是用于确定、发信号通知并检测视频流中的入口点的技术和工具。本发明所描述的技术和工具用于在比特流中嵌入入口点指示符信息，接收器、编辑系统、插入系统和其它系统可使用该信息来检测压缩视频中的有效入口点。

Description

发信号通知视频流中的有效入口点
相关申请信息
本申请要求2003年11月13日提交的美国临时专利申请序列号60/520,543的优先权，其揭示通过引用结合于此。
版权授权
本申请文档的揭示的一部分包含服从版权保护的资料。版权所有者不反对本申请揭示的任何人的传真复制，如它在专利商标事务所的专利文件或记录中所出现的，但是无论如何都保留所有的版权。
技术领域
描述了用于编码/解码数字视频的技术和工具。例如，视频编码器使用所描述的技术和工具来定义和发信号通知视频流中的有效入口点。
背景技术
数字视频消耗大量的存储和传输容量。典型的原始数字视频序列包括每秒15或30帧。每一帧可包括数万或数十万个像素(也称为pel)。每一像素表示图片的一个微小元素。在原始形式中，计算机通常将像素表示为一组三个样值，总共有24比特。由此，典型的原始数字视频序列每秒的比特数，即比特率可达5百万比特/秒或更多。
许多计算机和计算机网络缺乏处理原始数字视频的资源。为此，工程师使用压缩(也称为编码或构码)来降低数字视频的比特率。压缩通过将视频转换成一种较低比特率的形式，降低了储存和传输视频的成本。解压缩(也称为解码)从压缩形式重构原始视频的版本。“编解码器(codec)”是一种编码/解码系统。压缩可以是无损的，其中，视频质量不受损失，然而比特率的降低受视频数据的内在可变性量(有时称为熵)的限制。或者，压缩可以是有损的，其中，视频的质量受到损失，但是可以获得的比特率的降低更显著。有损压缩通常结合无损压缩一起使用-在一种系统设计中，有损压缩建立信息的近似，而应用无损压缩技术来表示该近似。
一般而言，例如，当图片是逐行扫描的视频帧时，视频压缩技术包括“图内”压缩和“图间”压缩。对于逐行的视频帧，帧内压缩技术压缩单独的帧(通常称为I帧或主帧)。帧间压缩技术参考先前的帧和/或以后的帧(通常称为参考帧或锚帧)来压缩帧(通常称为预测帧、P帧或对于双向预测而言为B帧)。
I.隔行视频和逐行视频
典型的隔行视频帧包括在不同的时刻开始扫描的两个半帧。例如，隔行视频帧包括上半帧和下半帧。通常，在一个时刻(如，时刻t)开始扫描偶数行(上半帧)，而在不同的(通常稍后)时刻(如，时刻t+1)开始扫描奇数行(下半帧)。这一定时可在存在运动的隔行视频帧中形成锯齿状特征，因为在不同的时刻开始扫描两个半帧。为此，隔行视频帧可依照半帧结构来重排列用于编码，令奇数行分组在一起用于编码成一个半帧，偶数帧被分组在一起用于编码成另一半帧。这一被称为半帧编码的排列在高运动图片中是有用的，用于减少这一锯齿边缘人为因素。不同的半帧编码的隔行帧中的半帧可被不同地编码。例如，半帧编码的隔行帧中的一个半帧可被帧内编码(如，隔行I半帧)或帧间编码(如，隔行P帧或隔行B帧)。
另一方面，在静止区域，隔行视频帧中的图像细节可被更有效地保存，而无需这一编码重排列。因此，帧编码通常用于静止或低运动隔行视频帧，其中，保存了原始的交替半帧行排列。不同的帧编码隔行帧也可被不同地编码。例如，这类帧可被帧内编码(如，隔行I帧)或帧间编码(如，隔行P帧或隔行B帧)。
一个典型的逐行视频帧包括没有非交替行的内容的一个帧。与隔行帧相反，逐行视频不将视频帧划分成单独的半帧，而在单个时刻开始从左到右、从上到下扫描整个帧。逐行帧可被帧内编码(如，逐行I帧)或帧间编码(如，逐行P帧或逐行B帧)。
II.视频压缩和解压的标准
若干国际标准涉及视频压缩和解压。这些标准包括运动图像专家组[″MPEG″]1、2和4标准，以及国际电信同盟[″ITU″]的H.261、H.262(MPEG 2另一称法)、H.263和H.264(也称为JVT/AVC)标准。这些标准指定了视频解码器的各方面以及压缩视频信息的格式。它们也直接或含蓄地指定了某些编码器细节，但是未指定其它编码器细节。这些标准使用帧内和帧间压缩和解压的不同组合(或支持其使用)。具体地，它们使用解码器和/或编码器的不同“接入点”或支持其使用。
MPEG 2/H.262标准描述了帧内编码图像(如，已编码的I帧)和图像组(GOP)标题。在MPEG 2中，帧内编码图像不参考其它图像来编码，并向已编码帧序列提供可开始解码的接入点。帧内编码图像可在视频序列中的不同位置上使用。例如，帧内编码图像可被周期性地插入，或可在诸如场景改变或运动补偿无效的位置上使用。已编码的I帧是I帧图像或一对半帧图像，其中，第一半帧图像是I图像，第二半帧图像是I图像或P图像。MPEG 2标准不允许其中第一半帧图像为P图像，第二半帧图像为I图像的已编码I帧。
GOP标题是MPEG 2比特流中的结构，它发信号通知图像组的开始。图像组通常用于发信号通知都参考同一I帧编码的一组视频帧/半帧的边界。GOP标题是可任选标题，它可在已编码I帧之前立即发信号通知，以指示在随机接入的情况下，比特流中紧跟所编码的I帧的第一连续B图像(如果有的话)(但通常在显示顺序上在已编码I帧之前)是否能够被正确地重构。对于这类B图像，如果在当前编码的I帧之前没有参考图像可用，则B图像无法被正确地重构，除非它们仅使用从当前编码的I帧的后向预测或帧内编码。解码器可使用该信息来避免显示无法被正确解码的B图像。由此，对于解码器，GOP标题指出解码器能够如何根据GOP标题执行解码，即使GOP标题位于视频序列的中间。GOP标题包括起始码，称为group_start_code。GOP标题开始码包括一24位的起始码前缀(23个0之后一个1)，其后为GOP标题起始码值(十六进制的B8)。MPEG 2中的起始码是字节对齐的；在起始码前缀的开始之前插入0以确保字节对齐。对于额外的信息，见H.262标准。
MPEG 4标准描述了帧内编码视频对象平面(I-VOP)和视频对象平面组标题。I-VOP是使用仅来自其本身的信息编码的VOP。非帧内编码VOP可从逐行或隔行帧中所得。在MPEG 4中，I-VOP不参考其它图像来编码，并向编码序列提供可开始解码的接入点。VOP组标题是可任选标题，用于已编码I-VOP之前，以向解码器指出，在随机接入的情况下，紧跟已编码I帧的第一连续B-VOP是否能够被正确地重构。VOP组标题后必须跟随已编码I-VOP。VOP组起始码包括24位的起始码前缀(23个0之后一个1)，其后是VOP组起始码值(十六进制的B3)。MPEG4的起始码是字节对齐的，该标准提供了位填充以实现字节对齐。例如，为了填充1到8个比特，在起始码之前插入一个0以及之后的1到7个1，只要前一码不是起始码。对于额外的信息，见MPEG 4标准。
依照JVT/AVC视频标准的草案JVT-d157，I图像向已编码序列提供可开始解码的接入点，并在网络抽象层(“NAL”)单元中发信号通知解码中使用的各种信息。NAL单元指出NAL单元中期望何种类型的数据，随后是该数据本身，与防竞争(emulation prevention)数据交错。辅助增强信息(“SEI”)NAL单元是一种NAL单元类型。SEI NAL单元包含一个或多个SEI消息。每一SEI消息包括SEI标题和SEI有效负载。SEI有效负载的类型和大小使用可扩充句法来编码。SEI负载可具有SEI有效负载标题。例如，有效负载标题可指出该特定数据属于哪一图像。
草案JVT-d157的附录C建立了用于处理假设参考解码器(“HRD”)缓冲器的规则。例如，在每一解码器刷新点，缓冲周期SEI消息应当在解码器刷新之前的最后一个图像的最后一个NAL单元之后，并在解码器刷新之后的第一个图像的第一个NAL单元之前。HRD图像SEI消息必须在每一图像的最后一个NAL单元之后，并在下一图像的第一个NAL单元之前。这些SEI消息的每一个从属于跟随它的图像。
草案JVT-d157的附录D描述了用于随机接入点SEI消息的句法。随机接入点SEI消息包含解码器的随机接入入口点的指示符。入口点被表示为与SEI消息在当前图像的帧号之前的已编码帧号的单元中的位置有关的计数。附录D规定缓冲周期SEI消息应当在随机接入点SEI消息中指出的随机接入入口点的位置处发送，以建立HRD缓冲器模型的初始化。
这些国际标准在若干重要方面都有限制。例如，在MPEG 2中，GOP标题之后的第一编码帧必须是“已编码I帧”-帧内编码帧图像或半帧图像对，其中，第一半帧图像为I帧且第二半帧图像为I帧或P帧。在MPEG 4中，VOP组标题之后必须是已编码I-VOP。
给出了数字视频的视频压缩和解压的关键重要性，视频压缩和解压是富于开发的领域并不令人惊奇。然而，不论现有的视频压缩和解压技术是什么，它们都没有以下技术和工具的优点。
发明内容
总之，本详细描述针对用于数字视频的编码/解码的各种技术和工具。具体地，描述的实施例包括用于确定并发信号通知视频流中的入口点的技术和工具。
视频压缩通常依赖于跨越视频半帧或视频帧的时间相关，以有效地压缩视频内容。结果，视频半帧/帧的压缩引入了跨越这些半帧和帧的时间依赖性。本发明描述的技术和工具用于在视频流中嵌入入口点指示符信息，接收器、编辑系统或插入系统可使用它们来检测压缩视频中的有效入口点。例如，嵌入的信息通过允许视频解码器从一个入口点或关键帧跳至另一个，可用于实现“技巧”模式(如，快进、快倒等)。各种技术和工具可组合使用或单独使用。
参考附图阅读以下不同实施例的详细描述，可以更清楚另外的特征和优点。
附图说明
图1是可在其中实现本发明的若干描述的实施例的合适的计算环境的框图。
图2是在若干描述的实施例中使用的一般化视频编码器系统的框图。
图3是在若干描述的实施例中使用的一般化视频解码器系统的框图。
图4所示是用于确定并指出比特流中的入口点的技术的流程图。
图5所示是用于处理具有入口点指示符的压缩视频比特流的技术的流程图。
图6所示是用于发信号通知逐行I帧之前的入口点的比特流句法的图表。
图7所示是用于发信号通知I/P帧之前的入口点的比特流句法的图表。
图8所示是用于发信号通知P/I帧之前的入口点的比特流句法的图表。
图9所示是用于发信号通知I/I帧之前的入口点的比特流句法的图表。
图10所示是用于发信号通知隔行I帧之前的入口点的比特流图表。
具体实施方式
本发明涉及用于确定并发信号通知压缩视频中的有效入口点的技术和工具。在本上下文中，例如，“确定”可以意味着检测一旦被压缩，视频帧是否为比特流中的有效入口点，或实施规则或政策以确保压缩时有效入口点的生成。比特流格式或句法包括结合该技术的标志或其它码。比特流格式包括不同的层或级(如，序列级、帧/图片/图像级、宏块级和/或块级)。
描述的技术和工具引入视频帧或视频半帧成为比特流中的有效入口点的条件。这些条件表示，视频编码器在编码视频序列的过程中实施的政策，以产生比特流中的入口点(例如，为启用“技巧”模式)。政策可在比特流中的不同位置处产生入口点。例如，政策可指导当场景改变时提供入口点，或指导入口点指出何处可插入广告以分别方便诸如视频叠加和视频拼接等活动。支配入口点在比特流中的插入的政策也可被设计成使得以规则的间隔和以特定的时间间隔提供入口点(例如，为在转向服务时最小化等待时间)。描述的技术和工具也针对可用于在元素流中明确地发信号通知入口点的机制。这可由在进入标题前的特殊起始码来实现。
各种技术和工具可组合使用或单独使用。不同的实施例实现所描述的技术和工具的一个或多个。
I.计算环境
图1示出了可在其中实现所描述的若干实施例的合适的计算环境100的一般化示例。计算环境100并非建议对使用或功能的范围的任何局限，这些技术和工具可在各种通用或专用计算环境中实现。
参考图1，计算环境100包括至少一个处理单元110和存储器120。在图1中，这一最基本的配置130包括在虚线内。处理单元110执行计算机可执行指令，并可以是真实或虚拟的处理器。在多处理系统中，多个处理单元执行计算机可执行指令，以提高处理能力。存储器120可以是易失存储器(如，寄存器、高速缓存、RAM)、非易失存储器(如，ROM、EEPROM、闪存等)，或两者的某一组合。存储器120储存实现具有入口点处理的视频编码器或解码器的软件180。
计算环境可具有额外的特征。例如，计算环境100包括存储140、一个或多个输入设备150、一个或多个输出设备160以及一个或多个通信连接170。诸如总线、控制器或网络等互连机制(未示出)将计算环境100的组件互连。通常，操作系统软件(未示出)提供计算环境100中执行的其它软件的操作环境，并协调计算环境100的组件的活动。
存储140可以是可移动或不可移动的，并包括磁盘、磁带或磁盒、CD-ROM、DVD或可用于储存信息并可在计算环境100内访问的任一其它媒质。存储140储存软件180用于实现视频编码器或解码器的指令。
输入设备150可以是诸如键盘、鼠标、输入笔或跟踪球等触摸输入设备、语音输入设备、扫描设备或向计算环境100提供输入的其它设备。对于音频或视频编码，输入设备150可以是声卡、视频卡、TV调谐卡、或以模拟或数字形式接受音频或视频输入的类似设备、或将音频或视频样值读入计算环境100的CD-ROM或CD-RW。输出设备160可以是显示器、打印机、扬声器、CD书写器或从计算环境100提供输出的其它设备。
通信连接170启用了通过通信媒质到另一计算实体的通信。通信媒质在已调制数据信号中传送诸如计算机可执行指令、音频或视频输入或输出或其它数据等信息。已调制数据信号是以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限，通信媒质包括用电学、光学、RF、红外、声学或其它载体实现的有线或无线技术。
本发明的技术和工具可在计算机可读媒质的一般上下文中描述。计算机可读媒质是可在计算机环境内访问的任一可用媒质。作为示例而非局限，在计算环境100内，计算机可读媒质包括存储器120、存储140、通信媒质以及上述任一个的组合。
本发明的技术和工具可在诸如在计算环境内在目标真实或虚拟处理器上执行的包括在程序模块中的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括例程、程序、库、对象、类、组件、数据结构等，执行特定的任务或实现特定的抽象数据类型。如各种实施例中所期望的，程序模块的功能可组合或在程序模块之间拆分。程序模块的计算机可执行指令可在本地或分布式计算环境中执行。
为说明的目的，详细描述使用了诸如“确定”、“实施”和“提供”等术语，来描述计算环境中的计算机操作。这些术语是计算机执行的操作的高级抽象，并且不应当与人类执行的动作混淆。对应于这些术语的实际的计算机操作根据实现变化。
II.一般化视频编码器和解码器
图2是一般化视频编码器200的框图，图3是一般化视频解码器300的框图。
编码器和解码器内的模块之间示出的关系表明编码器和解码器中主要的信息流；为简化目的，未示出其它关系。具体地，图2和3一般不示出表明用于视频序列、帧、宏块、块等的编码器设置、模式、表等的辅助信息。这类辅助信息在输出流中发送，通常在辅助信息的熵编码之后。输出流的格式可以是Windows媒体视频格式或另一格式。
编码器200和解码器300是基于块的，并使用4:2:0宏块格式。可选地，编码器200和解码器300是基于对象的，或使用不同的宏块或块格式。
根据所期望的实现和压缩类型，编码器和解码器的模块可被添加、省略、拆分成多个模块、与其它模块组合和/或用类似的模块替换。在可选的实施例中，具有不同模块和/或模块的其它配置的编码器或解码器执行所期望的技术的一个或多个。
A.视频编码器
图2是一般化视频编码器系统200的框图。编码器系统200接受包括当前帧205的视频帧序列，并生成压缩的视频信息295作为输出。视频编码器的具体实施例通常使用一般化编码器200的变化或补充版本。
编码器系统200压缩预测帧和关键帧。为说明的目的，图2示出了关键帧通过编码器系统200的路径以及预测帧的路径。编码器系统200的许多组件用于压缩关键帧和预测帧。这些组件执行的确切操作可根据要压缩的信息类型而变化。
预测帧(也称为P帧、对双向预测为B帧、或帧间编码帧)按照根据一个或多个参考(或锚)帧的预测来表示。预测余量是所预测的帧和原始帧之间的差异。相反，关键帧(也称为I帧、帧内编码帧)不参考其它帧来压缩。帧内编码帧包括逐行I帧、隔行I帧(帧隔行模式)以及I/I帧(半帧隔行模式)。部分其它帧也可不参考其它帧来压缩。例如，I/P帧和P/I帧的I半帧不参考其它帧来压缩，这在下文详细描述。在某些情况下，I/P帧的P半帧不参考其它帧来压缩，这在下文详细描述。
如果当前帧205是前向预测帧，则运动估计器210参照参考帧来估计当前帧205的宏块或其它像素组的运动，参考帧是在帧存储(如，帧存储220)中缓存的重构的前一帧225。如果当前帧205是双向预测帧(B帧)，则运动估计器210参照两个重构的参考帧来估计当前帧205中的运动。通常，运动估计器参照时间上的先前参考帧和时间上的未来参考帧来估计B帧中的运动。
运动估计器210将运动信息215，如运动矢量作为辅助信息输出。运动补偿器230向重构的帧225应用运动信息215以形成经运动补偿的当前帧235。然而，预测很少是完美的，经运动补偿的当前帧235和原始当前帧205之间的差异是预测余量245。可选地，运动估计器和运动补偿器应用另一类型的运动估计/补偿。
频率变换器260将空间域视频信息转换成频域(如，频谱)数据。量化器270然后量化谱数据系数块。除量化之外，编码器200可使用帧丢弃、自适应滤波或其它技术，用于速率控制。
当随后的运动估计/补偿需要重构的当前帧时，反向量化器276在经量化的谱数据系数上执行反向量化。反向频率变换器266然后执行频率变换器260的反向操作，生成重构的预测余量(对预测帧)或重构的关键帧。如果当前帧205是关键帧，则重构的关键帧被用作重构的当前帧(未示出)。如果当前帧205是预测帧，则重构的预测余量被添加到经运动补偿的当前帧235，以形成重构的当前帧。帧存储(如，帧存储220)缓存重构的当前帧，用于预测另一帧。
熵编码器280压缩量化器270的输出以及某些辅助信息(如，运动信息215、量化步长)。典型的熵编码技术包括算术编码、差分编码、哈夫曼(Huffman)编码、行程编码、LZ编码、词典编码以及上述的组合。
熵编码器280将经压缩的视频信息295放入缓冲器290中。缓冲器级别指示符被反馈到比特率自适应模块。以恒定或相对恒定的比特率从缓冲器290中减少经压缩的视频信息295，并以该比特率储存它用于随后的流。因此，缓冲器290的级别主要是经滤波、量化的视频信息的熵的函数，它影响熵编码的效率。可选地，编码器系统200在压缩后即流出经压缩的视频信息，缓冲器290的级别也取决于从缓冲器290中减少信息用于传输的速率。
在缓冲器290之前或之后，经压缩的视频信息295可被信道编码，用于在网络上传输。信道编码可向经压缩的视频信息295应用误差检测和纠正数据。
B.视频解码器
图3是一般化视频解码器300的框图。解码器系统300接受用于视频帧的压缩序列的信息395，并生成包括重构帧305的输出。视频解码器的具体实施例通常使用一般化解码器300的变化或补充版本。
解码器系统300解压预测帧和关键帧。为说明的目的，图3示出了关键帧通过解码器系统300的路径以及预测帧的路径。解码器系统300的许多组件用于解压关键帧和预测帧。这些组件执行的确切操作可根据被解压的信息的类型变化。
缓冲器390接收压缩视频序列的信息395，并令所接收的信息对熵解码器380可用。缓冲器390通常以随时间变化相对恒定的速率接收信息，并包括一抖动缓冲器以平滑带宽或传输中的短期变化。缓冲器390可包括回放缓冲器以及其它缓冲器。可选地，缓冲器390以变化的速率接收信息。在缓冲器390之前或之后，压缩视频信息可被信道解码，并被处理用于误差检测和纠正。
熵解码器380熵解码经熵编码的量化数据以及经熵编码的辅助信息(如，运动信息315、量化步长)，通常应用编码器中执行的熵编码的反向操作。
运动补偿器300向一个或多个参考帧325应用运动信息315，以形成要重构的帧305的预测335。例如，运动补偿器330使用宏块运动矢量来找出参考帧325中的宏块。帧缓冲器(如，帧缓冲器320)储存先前重构的帧用作参考帧。通常，B帧具有一个以上参考帧(如，时间上的先前参考帧和时间上的未来参考帧)。运动补偿器的预测很少是完美的，因此解码器300也重构预测余量。
当解码器需要重构的帧用于随后的运动补偿时，帧缓冲器(如，帧缓冲器320)缓存重构的帧用于预测另一帧。
反向量化器370反向量化经熵解码的数据。反向频率变换器360将经量化的频域数据转换成空间域视频信息。
III.确定并发信号通知有效入口点
比特流中的有效入口点是基本比特流中的位置，系统(如，接收器、视频拼接器、广告插入工具、视频编辑器、概括引擎等等)可根据该位置在不需要比特流中的任何先前的信息(比特)的情况下解码或处理比特流。可不参考先前的帧来解码的帧通常被称为“关键”帧。
在比特流中由入口点指示符发信号通知入口点。入口点指示符的目的是发信号通知比特流中特殊位置的存在，以开始或重新进行解码(如，在过去解码的视频半帧或帧上没有以来关系来解码紧跟入口点指示符之后的视频帧)。入口点指示符能以规则或不规则的间隔插入到比特流中。因此，编码器可采用不同的政策来支配入口点指示符在比特流中的插入。
图4所示是用于确定并指出比特流中的入口点的技术400的流程图。在410，基于入口点政策确定比特流中的入口点。然后，在420，在已编码的比特流中包括入口点指示符。图5所示是用于处理(如，在视频解码器中)具有入口点指示符的压缩视频流的技术500的流程图。在510，接收(如，由视频解码器、视频编辑器、拼接器等等)具有一个或多个入口点指示符的经压缩的视频。然后，在520，至少部分地基于一个或多个入口点指示符处理经压缩的视频。
作为示例，入口点指示符可包括入口点起始码和入口点标题。
在某些实现中，入口点起始码发信号通知比特流中的入口点。入口点起始码可包括不在比特流中任何其它地方仿真的特殊的32位码。例如，入口点起始码可采用唯一的32位序列的形式，其中，前三个字节是0x000001，最后一个字节标识起始码为入口点的起始码。然而，如果基础传输包括足够的信令来提供类似的信息，则可允许起始码的更紧凑的表示。例如，入口点起始码可以是足以将入口点起始码与视频流中其它类型的起始码区别开来的缩略起始码(如，1字节或几个比特)。在某些实现中，入口点起始码位于一个视频帧的最后，并在下一视频帧的开始之前。
入口点起始码可结合比特流中的其它起始码一起使用，如序列起始码、帧起始码、半帧起始码、片段起始码以及用户数据起始码。每一类型的起始码可以是一32位的字段。各种类型的起始码可具有不同的结束字节，它们将起始码标识为序列起始码、帧起始码、半帧起始码、片段起始码、用户数据起始码等。
起始码可在任意数量个“0”值比特之后，这些“0”值比特在一个“1”值比特之后。在前一结构的最后和起始码的开始之间使用“10...0”流比特序列允许连续的起始码由整数个字节分隔，由此便于接收器分析起始码。在起始码之前和最后一个“0”值流比特之后，也可以添加任意数目0x00值的字节。
在某些实现中，入口点起始码之后紧跟一个入口点标题。如果需要在两个连续的视频帧之间已有序列起始码和序列标题的比特流中一个位置上插入入口点起始码和入口点标题，则入口点起始码和入口点标题在序列起始码和序列标题之后。
由于入口点起始码和入口点标题能以规则或不规则的间隔插入到比特流中，编码器可采用不同的政策来支配入口点起始码和关联的标题的插入。
IV.示例
在某些实现中，入口点起始码和关联的标题发信号通知比特流中的有效入口点。由于被不同地放置，入口点起始码和/或标题发信号通知比特流中特殊位置的存在，在该特殊位置上，对在关键帧之前(时间顺序上)、入口点起始码和标题之后的已解码的视频半帧或帧没有以来关系，来解码在入口点起始码和标题之后的关键帧之前(在时间顺序上)的视频帧。由此，入口点关键帧之后的帧可包括其本身可以为入口点帧的帧(如，逐行I帧、帧隔行I帧、半帧隔行I/I帧、半帧隔行I/P帧、半帧隔行P/I帧等等)，以及预测帧，它们服从下文描述的某些条件。达到这一结果的条件在下文参考图6-10的示例中列出。视频帧和/或半帧必须满足某些条件，取决于图像类型。这些条件仅为示例。也可使用其它条件。
这些条件取决于入口点之后的第一个帧/半帧的类型。在这些示例中，如果图像编码类型被设为逐行或帧隔行，则入口点起始码标题之后的第一帧的类型为I。如果图像编码类型被设为半帧隔行，则入口点起始码和标题之后的前两个半帧的类型为I/P(I和P)、P/I(P和I)或I/I(I和I)。
图6-10引用了某些比特流构造，其定义可以在以下列表中找到：
SEQ_SC：序列起始码
SEQ_HDR：序列标题
ENTRY_SC：入口点起始码
ENTRY_HDR：入口点标题
FRAME_SC：帧起始码
FRAME_HDR：帧标题
FIELD_SC：半帧起始码
FIELD_HDR：半帧标题
UD_SC：用户数据起始码
UD_BYT：用户数据字节
另外，图6-10涉及一种FCM字段。FCM是表示用于视频帧的图像编码类型的可变大小字段。值“0”指出图像编码类型为“逐行”。值“10”指出帧被编码为“半帧隔行”。在半帧隔行图像中，帧包括两个相异的视频半帧，上半帧和下半帧，它们通常约为15毫秒间隔。值“11”表示“帧隔行”类型图像。在帧隔行图像中，隔行视频帧包括半帧模式或帧模式的宏块。这对于图像中缩减区域中有大量前景运动(在半帧模式中被编码为宏块内的单独半帧)而背景是静止的(在帧模式中被编码为宏块内的隔行)情况是有用的。FCM值与每一相应的图的标题相关。有效入口点的条件不同于依赖图像被如何编码(逐行、半帧隔行或帧隔行)。可在帧和半帧的相应的标题中发信号通知帧和半帧的I、P或B类型。例如，对于半帧隔行模式帧，在第一半帧数据之前的帧或半帧标题中发信号通知第一半帧的图像类型，在第二半帧数据之前的半帧标题中发信号通知第二半帧的图像类型。可选地，帧标题中的字段表明对半帧对的帧类型的组合，例如I/I、P/I或I/P。
以下图表和讨论结合了用于参考半帧和帧的位置的某些规则。一般而言，逐行P帧的参考帧是该帧之前的第一个I或P帧，逐行B帧的参考帧还可包括该帧之后的第一个I或P帧。类似的规则应用到帧隔行模式P帧和B帧。例如，对于半帧隔行帧，P半帧的参考半帧是该半帧之前的第一个I或P半帧的其中之一或两者。例如，B半帧的参考半帧是时间上在该半帧之前的两个半帧和时间上在该半帧之后的两个半帧。
A.逐行模式的I帧
图6示出了当图像编码类型(FCM字段)被设为二进制值“0”(逐行模式)时，入口点起始码和标题如何出现在I帧之前。图6也示出了入口点起始码之前的序列起始码和序列标题，但是这并非必需。入口点起始码不需要总是在这类结构之后。
由于帧是帧内编码的，因此不需要额外的条件来令该I帧为比特流中的有效入口点。入口点应用到入口点起始码和标题之后的I帧。它不应用到比特流中该I帧之后，且其出现时间早于该I帧的出现时间的任何B帧数据或B半帧数据。
B.半帧隔行模式的I/P帧
图7示出了当图像编码类型(FCM)字段被设为二进制值“10”(半帧隔行模式)时，入口点起始码和标题如何在I/P帧之前存在。图7在入口点起始码之前未示出序列起始码和序列标题，但是情况可能是这一结构在入口点起始码之前。
由于帧由P半帧及其后的I半帧构成，必须满足以下条件以令该I/P帧为比特流中的有效入口点：
·入口I/P帧的P半帧的半帧标题中的“numref”字段的值应当为二进制值“0”。
·入口I/P帧的P半帧的半帧标题中的“reffield”字段的值应当为二进制值“0”。
这些条件确保P半帧仅根据I半帧预测，并因此对在入口点之前的帧或半帧没有依赖性。(换言之，“numref”(参考数量)字段表明该P半帧的参考半帧的数量为1(numref＝0)，并且“reffield”(参考半帧)字段表明该P半帧的一个参考半帧是时间上最接近的半帧-I半帧(reffield＝0))。
入口点应用到入口点起始码和标题之后的I/P帧，但不应用到比特流中I/P帧之后，且其出现时间早于该I/P帧的出现时间的任何B帧数据或B半帧数据。
C.半帧隔行模式的P/I帧
图8示出了当图像编码类型(FCM字段)被设为二进制值“10”(半帧隔行模式)时入口点起始码和标题如何出现在P/I帧之前。图8未在入口点起始码之前示出序列起始码和序列标题，但是情况可以是这类结构在入口点起始码之前。
由于帧由I半帧及其后的P半帧构成，必须满足以下条件以令该P/I帧为比特流中的有效入口点：
·在该P/I帧的入口I帧之后，在出现逐行或帧隔行模式的P帧之前在比特流中应当存在半帧隔行模式的P/P帧。
·入口P/I帧后的第一P半帧的半帧标题中的“numref”字段的值应当为二进制值“0”。
·入口P/I帧的第一P半帧的半帧标题中的“reffiled”字段的值应当为二进制值“0”。
·比特流中在入口P/I帧之后，且其出现时间晚于该入口P/I帧的出现时间的任何B帧不应当被编码为依赖于该P/I帧。
·比特流中入口P/I帧之后，且其出现时间晚于该P/I帧的出现时间的任何B/B帧的第一(时间顺序)B半帧不应当被编码为依赖于该入口P/I帧的P半帧。
这些条件确保比特流中下一P/P帧和B/B帧可根据该入口I帧而非紧靠其之前的P半帧来预测。还注意到，如果有根据P/I帧预测的P帧，则不能具有有效入口点，因为这将创建该入口P/I帧的P半帧上的依赖性。
入口点应用到入口点起始码和标题之后的I帧，但是不应用到比特流中I帧之后，且其出现时间早于该I帧的出现时间的任何B帧数据。此外，入口点不应用到位于入口点起始码和入口P/I帧后的下一个I半帧之间的P半帧数据。
D.半帧隔行模式的I/I帧
图9示出了当图像编码类型(FCM字段)被设为二进制值“10”(半帧隔行模式)时入口点起始码和标题如何能出现在I/I帧之前。图9未在入口点起始码之前示出序列起始码和序列标题，但是情况可以是这类结构在入口起始码之前。
由于I/I帧由两个I半帧构成，不需要满足额外的条件以令该帧为比特流中的有效入口点。
入口点应用到入口点起始码和标题之后的I/I帧，但是不应用到比特流中该I/I帧之后，且其出现时间早于该I/I帧的出现时间的任何B帧数据或B半帧数据。
E.帧隔行模式的I帧
图10示出了当图像编码类型(FCM字段)被设为二进制值“11”(帧隔行模式)时入口点起始码和标题如何能出现在I帧之前。图10也示出了入口点起始码之前的序列起始码和序列标题，但是入口点起始码并非必须总是在这类结构之后。
由于该帧是帧内编码的，因此不需要额外的条件以令该I帧为比特流中的入口点。入口点应用到入口点起始码和标题之后的I帧，但是不应用到比特流中该I帧之后，且其出现时间早于该I帧的出现时间的任何B帧数据。
V.扩充
结合上述各种替换方案或除其之外，编码器和解码器可如下操作。
政策评估比特流中的一点是否为有效入口点。编码器可使用将场景变化定义为有效入口点的政策(并因此确保压缩引擎生成上述约束之一)。在这一情况下，可通过可与编码器实时接口(通信)的场景改变检测器组件来检测场景变化。编码器另外可使用用于以特定的时间间隔生成I帧或I半帧的政策。
编码器也可监控它所生成的压缩视频的类型和属性，并检测比特流中核实诸如上述I帧、I/P帧、P/I帧和I/I帧的示例中描述的条件之一的点。在检测到这一事件之后，编码器可在最终的比特流中插入入口点起始码和入口点标题。
在诸如快进或快倒等模式中，视频解码器可通过搜索入口点起始码来搜索并呈现入口点帧。
入口点可由应用程序用于从压缩的比特流直接生成并显示视频序列的概括版本(缩略图)。这一应用程序可以是视频编辑应用程序或数字电视电子节目指南。
对于执行视频拼接，视频拼接器可搜索入口点以找出适合拼接处的场景变化。
入口点标题可包含缓冲器状态信息。该信息表明需要达到以避免缓冲器下溢或上溢的缓冲器状态。缓冲器状态信息储存在入口标题的一个字段中。例如，将缓冲器满需求信息放入入口标题令解码器知道在开始解码之前需要达到缓冲器满的哪一最小程度。
在上述若干示例中，入口点不应用到比特流中入口I帧或I半帧之后，且其出现时间早于该I帧或I半帧的出现时间的B帧和B半帧。可选地，如果B帧或B半帧数据是帧内编码或仅根据入口点I帧或I半帧预测的，则入口点确实应用到这样的B帧或B半帧。
参考各种实施例描述并说明了本发明的原理之后，可以认识到，可在不脱离这一原理的情况下在排列和细节上修改各种实施例。应当理解，本发明所描述的程序、过程或方法不涉及或限于任何特定类型的计算环境，除非另外指明。各种类型的通用或专用计算环境可用于或执行依照本发明描述的教导的操作。以软件示出的实施例的元件可以硬件实现，反之亦然。
鉴于可应用本发明的许多可能的实施例，要求本发明为落入所附权利要求书及其等效技术方案的范围和精神之内的所有这样的实施例。

Claims (47)

1.一种方法，其特征在于，它包括：
至少部分地基于一入口点政策为包括多个视频帧的序列确定一个或多个入口点；以及
在比特流中插入一入口点指示符，该指示符表明所述多个帧的第一帧是所述一个或多个入口点的之一，其中，所述第一帧具有从包括半帧隔行P/I帧的类型组中选择的类型。
2.如权利要求1所述的方法，其特征在于，所述类型组还包括：帧隔行I帧、半帧隔行I/P帧、半帧隔行I/I帧以及逐行I帧。
3.如权利要求1所述的方法，其特征在于，所述一个或多个入口点包括以不同的间隔设置的多个入口点。
4.如权利要求1所述的方法，其特征在于，所述入口点指示符包括一入口点标题。
5.如权利要求4所述的方法，其特征在于，所述入口点标题包括缓冲器满信息。
6.如权利要求1所述的方法，其特征在于，所述入口点指示符包括一入口点起始码
7.如权利要求6所述的方法，其特征在于，所述入口点起始码是足以将所述入口点起始码与比特流中其它起始码区别开来的缩略起始码。
8.如权利要求1所述的方法，其特征在于，所述比特流具有多个句法级别，并且其中，所述入口点指示符包括在序列级别之下的句法级别上。
9.如权利要求1所述的方法，其特征在于，序列级别之下的所述句法级别是入口点级别。
10.如权利要求1所述的方法，其特征在于，所述入口点指示符紧跟所述比特流中的序列标题之后。
11.如权利要求1所述的方法，其特征在于，所述入口点指示符表明一广告插入点以便于视频拼接。
12.一种储存了用于促使计算机系统在视频编码过程中执行权利要求1所述的方法的计算机可执行指令的计算机可读媒质。
13.一种方法，其特征在于，它包括：
接收包括多个视频帧的序列的比特流；
检测所述比特流中的入口点指示符，其中，所述入口点指示符令所述多个帧的第一帧为用于解码的入口点，并且所述入口点指示符依照一入口点政策在所述比特流中设置；以及
至少部分地基于所述入口点指示符解码所述比特流的至少一部分；
其中，所述入口点政策包括用于入口点指示符定位的一个或多个条件，所述一个或多个条件包括将所述第一帧限制到从包括半帧隔行P/I帧的类型组中选择的一类型。
14.如权利要求13所述的方法，其特征在于，所述类型组还包括帧隔行I帧、半帧隔行I/P帧、半帧隔行I/I帧和逐行I帧。
15.如权利要求13所述的方法，其特征在于，所述比特流包括多个句法级别，并且其中，所述入口点指示符在序列级别之下的句法级别上。
16.如权利要求15所述的方法，其特征在于，序列级别之下的所述句法级别是入口点级别。
17.如权利要求13所述的方法，其特征在于，所述入口点指示符包括一入口点起始码和一入口点标题。
18.如权利要求13所述的方法，其特征在于，所述第一帧是帧隔行I帧，所述一个或多个条件还包括没有其它限制。
19.如权利要求13所述的方法，其特征在于，所述第一帧是逐行I帧，所述一个或多个条件还包括没有其它限制。
20.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行I/I帧，所述条件还包括没有其它限制。
21.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行I/P帧，其中，所述半帧隔行I/P帧包含一隔行I半帧及其后的一隔行P半帧，所述一个或多个条件还包括：
所述隔行P半帧仅根据所述隔行I半帧预测。
22.如权利要求21所述的方法，其特征在于，所述隔行P半帧的半帧标题中的numref字段设为0，并且其中，所述隔行P半帧的半帧标题中的reffield字段设为0。
23.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行P/I帧，并且其中，所述半帧隔行P/I帧包含一隔行P半帧及其后的隔行I半帧，所述一个或多个条件还包括：
所述半帧隔行P/I帧之后的半帧隔行P/P帧的P半帧不根据所述半帧隔行P/I帧的所述隔行P半帧来预测。
24.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行P/I帧，并且其中，所述半帧隔行P/I帧包含一隔行P半帧及其后的隔行I半帧，所述一个或多个条件还包括：
所述半帧隔行P/I帧之后的半帧隔行B/B帧的B半帧不根据所述半帧隔行P/I帧的所述隔行P半帧来预测。
25.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行P/I帧，并且其中，所述半帧隔行P/I帧包含一隔行P半帧及其后的所述隔行I半帧，所述一个或多个条件还包括：
所述半帧隔行P/I帧之后的帧隔行B帧不根据所述半帧隔行P/I帧来预测。
26.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行P/I帧，并且其中，所述半帧隔行P/I帧包含一隔行P半帧及其后的一隔行I半帧，所述一个或多个条件还包括：
所述半帧隔行P/I帧之后的帧隔行P帧不根据所述半帧隔行P/I帧来预测。
27.如权利要求13所述的方法，其特征在于，所述第一帧是半帧隔行P/I帧，其中，所述半帧隔行P/I帧包含一隔行P半帧及其后的一隔行I半帧，并且其中，所述半帧隔行P/I帧之后的帧是选自以下组的帧：帧隔行I帧、半帧隔行I/P帧、半帧隔行I/I帧、逐行I帧和半帧隔行P/I帧。
28.如权利要求13所述的方法，其特征在于，所述第一帧之后的帧是选自以下组的帧：帧隔行I帧、半帧隔行I/P帧、半帧隔行I/I帧、逐行I帧以及半帧隔行P/I帧。
29.如权利要求13所述的方法，其特征在于，它还包括至少部分地基于所述入口点生成所述序列的概括版本。
30.如权利要求29所述的方法，其特征在于，所述生成概括版本通过一视频编辑应用程序来执行。
31.如权利要求13所述的方法，其特征在于，所述解码在一技巧模式中执行。
32.如权利要求31所述的方法，其特征在于，所述技巧模式是快倒模式。
33.如权利要求31所述的方法，其特征在于，所述技巧模式是快进模式。
34.一种方法，其特征在于，它包括：
接收包括多个视频帧的序列的比特流；
检测一用于解码的入口点，其中，所述入口点是半帧隔行P/I帧；以及
至少部分地基于所述入口点指示符解码所述比特流的至少一部分。
35.如权利要求34所述的方法，其特征在于，检测所述入口点包括检测入口点起始码。
36.如权利要求34所述的方法，其特征在于，检测所述入口点包括检测包括一入口点起始码和一入口点标题的入口点指示符。
37.如权利要求36所述的方法，其特征在于，所述入口点标题包括缓冲器满信息。
38.一种方法，其特征在于，它包括：
接收包括多个视频帧的序列的比特流；以及
从由所述比特流中的一入口点指示符发信号通知的入口点开始解码，其中，所述入口点是所述多个视频帧的半帧隔行帧，并且其中，在所述入口点指示符之后，所述比特流包括所述入口点的以下元素：帧标题、第一半帧标题、第一半帧数据、第二半帧标题、第二半帧数据。
39.如权利要求38所述的方法，其特征在于，所述比特流还包括紧靠所述帧标题之前的帧起始码以及紧靠所述第二半帧标题之前的半帧起始码。
40.如权利要求38所述的方法，其特征在于，所述入口点指示符包括一入口点起始码和一入口点标题。
41.如权利要求38所述的方法，其特征在于，所述第一半帧数据用于I半帧，所述第二半帧数据用于P半帧。
42.如权利要求38所述的方法，其特征在于，所述第一半帧数据用于I半帧，所述第二半帧数据用于I半帧。
43.如权利要求38所述的方法，其特征在于，所述第一半帧数据用于P半帧，所述第二半帧数据用于I半帧。
44.一种方法，其特征在于，它包括：
接收包括多个视频帧的序列的比特流；
检测用于解码的入口点，其中，所述入口点是半帧隔行I/P帧，并且其中，所述半帧隔行I/P帧的I半帧在所述比特流中被发信号通知为用于所述半帧隔行I/P帧的P半帧的单个参考半帧；以及
至少部分地基于所述入口点指示符解码所述比特流的至少一部分。
45.如权利要求44所述的方法，其特征在于，检测所述入口点包括检测一入口点起始码。
46.如权利要求44所述的方法，其特征在于，检测所述入口点包括检测包括一入口点起始码和一入口点标题的入口点指示符。
47.如权利要求44所述的方法，其特征在于，所述P半帧的半帧标题中的numref字段被设为0，并且其中，所述P半帧的半帧标题中的reffield字段被设为0。
CNB200410095789XA 2003-11-13 2004-11-12 用于发信号通知和解码视频流中的有效入口点的方法 Active CN100568970C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US52054303P 2003-11-13 2003-11-13
US60/520,543 2003-11-13
US10/882,739 2004-06-30
US10/882,739 US7839930B2 (en) 2003-11-13 2004-06-30 Signaling valid entry points in a video stream

Publications (2)

Publication Number Publication Date
CN1617593A true CN1617593A (zh) 2005-05-18
CN100568970C CN100568970C (zh) 2009-12-09

Family

ID=34556570

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200410095789XA Active CN100568970C (zh) 2003-11-13 2004-11-12 用于发信号通知和解码视频流中的有效入口点的方法

Country Status (5)

Country Link
US (1) US7839930B2 (zh)
EP (1) EP1549064B1 (zh)
JP (1) JP4928726B2 (zh)
KR (1) KR101122898B1 (zh)
CN (1) CN100568970C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104661025A (zh) * 2005-07-13 2015-05-27 诺基亚公司 可缩放视频编码中的编码依赖指示
CN104754332A (zh) * 2015-03-24 2015-07-01 深圳第一蓝筹科技有限公司 一种智能穿戴设备的视频图片传输方法
CN108600753A (zh) * 2011-12-29 2018-09-28 Lg 电子株式会社 视频编码和解码方法和使用该方法的装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US20050169376A1 (en) * 2004-01-30 2005-08-04 Pai Ramadas L. Motion vector address computer error detection
US9208824B2 (en) * 2004-05-18 2015-12-08 Broadcom Corporation Index table generation in PVR applications for AVC video streams
US8150232B2 (en) * 2004-09-03 2012-04-03 Panasonic Corporation Recording medium, recording device, program, and recording method
FR2888424A1 (fr) * 2005-07-07 2007-01-12 Thomson Licensing Sas Dispositif et procede de codage et de decodage de donnees video et train de donnees
KR100723507B1 (ko) * 2005-10-12 2007-05-30 삼성전자주식회사 Ｉ-프레임 움직임 예측을 이용한 동영상 압축 장치의 적응양자화 제어기 및 적응 양자화 제어 방법
JP4871598B2 (ja) * 2006-01-19 2012-02-08 キヤノン株式会社 画像処理装置および画像処理装置の起動方法およびプログラム
US8094997B2 (en) * 2006-06-28 2012-01-10 Cyberlink Corp. Systems and method for embedding scene processing information in a multimedia source using an importance value
JP4997243B2 (ja) * 2006-08-08 2012-08-08 パナソニック株式会社 画像符号化装置、その方法およびその集積回路
US20080240227A1 (en) * 2007-03-30 2008-10-02 Wan Wade K Bitstream processing using marker codes with offset values
EP2137972A2 (en) * 2007-04-24 2009-12-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
JPWO2010092740A1 (ja) * 2009-02-10 2012-08-16 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
EP2568704A4 (en) 2010-05-06 2013-12-18 Nippon Telegraph & Telephone METHOD AND DEVICE FOR CONTROLLING VIDEO CODING
KR101389919B1 (ko) * 2010-05-07 2014-04-30 니폰덴신뎅와 가부시키가이샤 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
JP5286581B2 (ja) 2010-05-12 2013-09-11 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
US9866861B2 (en) 2011-02-09 2018-01-09 Lg Electronics Inc. Method for encoding and decoding image and device using same
CN107257475B (zh) 2011-10-17 2020-04-21 株式会社Kt 利用解码装置解码视频信号的方法
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
KR102424431B1 (ko) 2012-07-02 2022-07-22 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
US10187680B2 (en) * 2014-11-11 2019-01-22 Cisco Technology, Inc. Adaptive bit rate system architectures using named domain networking

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3437182A1 (de) * 1984-10-10 1986-04-10 Telefunken Fernseh Und Rundfunk Gmbh, 3000 Hannover Verfahren zur aufzeichnung und/oder wiedergabe digital kodierter signale
US4847877A (en) * 1986-11-28 1989-07-11 International Business Machines Corporation Method and apparatus for detecting a predetermined bit pattern within a serial bit stream
DE68925011T2 (de) * 1988-09-16 1996-06-27 Philips Electronics Nv Hochauflösungs-Fersehsystem.
US5023727A (en) * 1989-10-12 1991-06-11 Ian A. R. Boyd Method and device for producing a substantially continuous composite video signal
EP0424026B1 (en) 1989-10-14 1997-07-23 Sony Corporation Video signal transmitting system and method
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
CA2335403C (en) * 1990-06-05 2002-03-19 Koninklijke Philips Electronics N.V. Optical readable disc storing full-motion video scene
EP0683615B1 (en) * 1990-10-31 1999-05-19 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
US5621578A (en) * 1992-02-06 1997-04-15 Matsushita Electric Industrial Co., Ltd. Method of transmitting digital video and audio signals between bit rate reduction encoded signal recording and reproducing systems
US5168356A (en) * 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
JP3119888B2 (ja) * 1991-04-18 2000-12-25 松下電器産業株式会社 信号処理方法及び記録再生装置
US5212549A (en) * 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
US5428396A (en) * 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
JP2803693B2 (ja) * 1991-10-16 1998-09-24 インターナショナル・ビジネス・マシーンズ・コーポレイション アクチユエータ固定解除方法及びその装置
US6188428B1 (en) * 1992-02-11 2001-02-13 Mark Koz Transcoding video file server and methods for its use
US5293229A (en) * 1992-03-27 1994-03-08 Matsushita Electric Corporation Of America Apparatus and method for processing groups of fields in a video data compression system
US5325126A (en) * 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US5365552A (en) * 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Ｍｐｅｇ信号記録方法およびｍｐｅｇ信号再生方法
US5477397A (en) * 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
KR100330292B1 (ko) * 1993-09-21 2002-03-27 이데이 노부유끼 데이타 기록 매체
EP0656729B1 (en) * 1993-12-01 2000-02-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for editing or mixing compressed pictures
US5586200A (en) * 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
US5864368A (en) * 1995-02-28 1999-01-26 Sony Corporation Picture signal editing and encoding method and apparatus, signal recording medium and picture signal decoding method and apparatus
KR100268546B1 (ko) * 1995-03-20 2000-10-16 모리시타 요이찌 영상 정보 기록 장치 및 그 방법
EP0847198B1 (en) * 1995-09-29 1999-04-28 Matsushita Electric Industrial Co., Ltd. Method, device and disc for recording and reproducing interleaved bit stream on and from the disk
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US6018765A (en) * 1996-01-23 2000-01-25 Storage Concepts, Inc. Multi-channel multimedia data server
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5838823A (en) * 1996-02-29 1998-11-17 Electronic Arts, Inc. Video image compression and decompression
KR20070086741A (ko) 1996-03-18 2007-08-27 가부시끼가이샤 도시바 복호화 장치 및 복호화 방법
US5870444A (en) * 1996-04-23 1999-02-09 Scientific-Atlanta, Inc. Method and apparatus for performing very fast message synchronization
US5835636A (en) * 1996-05-28 1998-11-10 Lsi Logic Corporation Method and apparatus for reducing the memory required for decoding bidirectionally predictive-coded frames during pull-down
JPH1070717A (ja) 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US5661665A (en) * 1996-06-26 1997-08-26 Microsoft Corporation Multi-media synchronization
JP3186775B2 (ja) * 1996-07-05 2001-07-11 松下電器産業株式会社 Ｖｏｐの時刻復号化方法
JPH1066036A (ja) * 1996-08-15 1998-03-06 Oki Electric Ind Co Ltd Ｔｖ方式変換装置
US5898897A (en) * 1996-10-18 1999-04-27 Samsung Electronics Company, Ltd. Bit stream signal feature detection in a signal processing system
JP4013286B2 (ja) * 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
US6201927B1 (en) * 1997-02-18 2001-03-13 Mary Lafuze Comer Trick play reproduction of MPEG encoded signals
US6442604B2 (en) * 1997-03-25 2002-08-27 Koninklijke Philips Electronics N.V. Incremental archiving and restoring of data in a multimedia server
US5955977A (en) * 1997-03-31 1999-09-21 Sharp Laboratories Of America, Inc. System for avoiding start code emulation and long carry-over propagation
EP0922360A4 (en) 1997-04-07 1999-12-29 At & T Corp ADAPTIVE CONTROL ENABLING SYSTEM AND METHOD FOR INTERFACING WITH MPEG-CODED AUDIOVISUAL OBJECTS
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6061399A (en) * 1997-05-28 2000-05-09 Sarnoff Corporation Method and apparatus for information stream frame synchronization
US6169573B1 (en) * 1997-07-03 2001-01-02 Hotv, Inc. Hypervideo system and method with object tracking in a compressed digital video environment
KR100604631B1 (ko) * 1997-07-25 2006-07-28 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법
JPH11110915A (ja) * 1997-09-30 1999-04-23 Sony Corp 信号記録再生装置及び方法
JP3665456B2 (ja) * 1997-11-19 2005-06-29 株式会社東芝 映像情報の記録再生システム及び同システムに適用する映像編集方法
US6154496A (en) * 1997-11-25 2000-11-28 Philips Electronics N.A. Corp. Video buffer for seamless splicing of MPEG streams
US5973743A (en) * 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
US6198773B1 (en) 1997-12-18 2001-03-06 Zoran Corporation Video memory management for MPEG video decode and display system
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
US6414998B1 (en) * 1998-01-27 2002-07-02 Sony Corporation Method and apparatus for inserting an image material
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
GB9807208D0 (en) 1998-04-03 1998-06-03 Nds Ltd Method and apparatus for detecting a sequence in a bitstream
WO1999056472A1 (en) 1998-04-24 1999-11-04 Rockwell Science Center, Llc N-bit video coder and method of extending an 8-bit mpeg video coder
KR100658201B1 (ko) * 1998-05-08 2006-12-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 압축된 디지털 오디오 및 비디오를 기록하는 방법,장치 및 재생장치
EP1034656A2 (en) 1998-06-11 2000-09-13 Koninklijke Philips Electronics N.V. Trick play signal generation for a digital video recorder
GB9813831D0 (en) * 1998-06-27 1998-08-26 Philips Electronics Nv Frame-accurate editing of encoded A/V sequences
WO2000001160A2 (en) * 1998-06-29 2000-01-06 Limt Technology Ab Method and apparatus for splicing data streams
US6415326B1 (en) * 1998-09-15 2002-07-02 Microsoft Corporation Timeline correlation between multiple timeline-altered media streams
US6912251B1 (en) * 1998-09-25 2005-06-28 Sarnoff Corporation Frame-accurate seamless splicing of information streams
FR2784845B1 (fr) * 1998-10-14 2001-02-23 France Telecom Procede de basculement de la ou des composantes video d'un premier programme audiovisuel sur la ou les composantes video d'un second programme audiovisuel numerique
KR100345235B1 (ko) * 1998-11-08 2005-07-29 엘지전자 주식회사 디지털데이터스트림기록방법및그장치
US6380991B1 (en) * 1998-11-19 2002-04-30 Tektronix, Inc. Method for splicing MPEG-2 transport streams
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
EP1018840A3 (en) 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP4292654B2 (ja) 1999-03-19 2009-07-08 ソニー株式会社 記録装置および方法、再生装置および方法、並びに記録媒体
JP2002542549A (ja) 1999-04-01 2002-12-10 ラヴィセント テクノロジーズ インコーポレイテッド コンピュータにおける高速ストリーミング媒体の処理装置及び方法
GB2353655B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
GB2353653B (en) 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
CN100361521C (zh) 1999-11-10 2008-01-09 汤姆森特许公司 在可记录媒体上识别和跳越视频信号的片段的方法和设备
US6985188B1 (en) * 1999-11-30 2006-01-10 Thomson Licensing Video decoding and channel acquisition system
JP3694888B2 (ja) 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
US7164844B1 (en) * 2000-03-02 2007-01-16 The Directv Group, Inc. Method and apparatus for facilitating reverse playback
KR100698106B1 (ko) * 2000-03-07 2007-03-26 엘지전자 주식회사 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법
GB2365647A (en) 2000-08-04 2002-02-20 Snell & Wilcox Ltd Deriving parameters for post-processing from an encoded signal
US6453115B1 (en) * 2000-08-31 2002-09-17 Keen Personal Media, Inc. Digital video recording system which generates an index data structure for displaying a video stream in trickplay mode
AU2002239237A1 (en) * 2000-10-10 2002-06-03 Broadcom Corporation System and method for special reproduction modes of a digitally encoded video data stream
US6920175B2 (en) * 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US7143353B2 (en) * 2001-03-30 2006-11-28 Koninklijke Philips Electronics, N.V. Streaming video bookmarks
US6593392B2 (en) * 2001-06-22 2003-07-15 Corning Incorporated Curable halogenated compositions
US7646816B2 (en) 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7149247B2 (en) 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7289663B2 (en) * 2002-07-24 2007-10-30 Eastman Kodak Company Producing an extended color gamut luminance-chrominance digital image from a captured image
US7970056B2 (en) * 2003-06-26 2011-06-28 Lsi Corporation Method and/or apparatus for decoding an intra-only MPEG-2 stream composed of two separate fields encoded as a special frame picture
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104661025A (zh) * 2005-07-13 2015-05-27 诺基亚公司 可缩放视频编码中的编码依赖指示
CN108600753A (zh) * 2011-12-29 2018-09-28 Lg 电子株式会社 视频编码和解码方法和使用该方法的装置
US10742985B2 (en) 2011-12-29 2020-08-11 Lg Electronics Inc. Video encoding and decoding method based on entry point information in a slice header, and apparatus using same
CN108600753B (zh) * 2011-12-29 2020-10-27 Lg 电子株式会社 视频编码和解码方法和使用该方法的装置
US11240506B2 (en) 2011-12-29 2022-02-01 Lg Electronics Inc. Video encoding and decoding method based on entry point information in a slice header, and apparatus using same
US11711549B2 (en) 2011-12-29 2023-07-25 Lg Electronics Inc. Video encoding and decoding method based on entry point information in a slice header, and apparatus using same
CN104754332A (zh) * 2015-03-24 2015-07-01 深圳第一蓝筹科技有限公司 一种智能穿戴设备的视频图片传输方法

Also Published As

Publication number Publication date
KR20050046623A (ko) 2005-05-18
JP4928726B2 (ja) 2012-05-09
EP1549064A3 (en) 2011-06-08
KR101122898B1 (ko) 2012-03-20
EP1549064B1 (en) 2014-06-25
CN100568970C (zh) 2009-12-09
JP2005151570A (ja) 2005-06-09
US7839930B2 (en) 2010-11-23
EP1549064A2 (en) 2005-06-29
US20050105883A1 (en) 2005-05-19

Similar Documents

Publication Publication Date Title
CN1617593A (zh) 发信号通知视频流中的有效入口点
CN110677677B (zh) 视频解码方法、装置、设备和计算机可读介质
CN1208971C (zh) 运动图像的预测编码方法和译码方法
CN1258928C (zh) 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
US9338475B2 (en) Tone mapping for bit-depth scalable video codec
JP4981927B2 (ja) Ｓｖｃｃｇｓ拡張層コーディングに関するｃａｖｌｃ拡張
CN111989918A (zh) 用于视频压缩中多线帧内预测的方法及装置
JP7128953B2 (ja) ピクチャの復号のための方法、機器及びコンピュータプログラム
CN1278550C (zh) 用于再现图像的方法和装置以及图像记录装置
US20060153294A1 (en) Inter-layer coefficient coding for scalable video coding
CN111492659A (zh) 视频编码的方法和装置
CN1781315A (zh) 用于编码图像序列的方法
KR20060109278A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN1819661A (zh) 视频编码中的图像帧编组
CN1633185A (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
CN113632471A (zh) 视频编解码的方法和装置
US20100074341A1 (en) Method and system for multiple resolution video delivery
CN1922884A (zh) 视频解码方法
CN113711586A (zh) 简化的最可能模式列表生成方案
CN113826387A (zh) 在编码视频流中进行分层随机访问的方法
CN1650629A (zh) 编码设备和方法、解码设备和方法、编辑设备和方法、记录介质及程序
CN113678378A (zh) 用于减少用于变换系数有效标志的熵编解码的上下文模型的方法和装置
KR101171149B1 (ko) 멀티 쓰레드 부호화 및 복호화 방법 및 이를 적용한 인코더, 디코더 및 컴퓨터로 읽을 수 있는 기록매체
CN112399186A (zh) 视频解码方法、装置及存储介质
CN113841412A (zh) 基于cu的插值滤波器选择的信令

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.