CN101035277A - 产生压缩的代码转换提示元数据的方法和设备 - Google Patents

产生压缩的代码转换提示元数据的方法和设备 Download PDF

Info

Publication number
CN101035277A
CN101035277A CNA2007100917557A CN200710091755A CN101035277A CN 101035277 A CN101035277 A CN 101035277A CN A2007100917557 A CNA2007100917557 A CN A2007100917557A CN 200710091755 A CN200710091755 A CN 200710091755A CN 101035277 A CN101035277 A CN 101035277A
Authority
CN
China
Prior art keywords
code conversion
frame
content
prompting
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007100917557A
Other languages
English (en)
Inventor
彼得·库恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101035277A publication Critical patent/CN101035277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

一种音频/视频(或视听即“A/V”)信号处理设备和方法，用于提取多媒体描述的压缩表示和代码转换提示元数据，用于在不同的(例如，MPEG)压缩内容表示之间进行代码转换，操作(例如，MPEG压缩的)位流参数如帧频、位速率、对话尺寸、量化参数、以及图像编码类型结构(例如，图像组或“GOP”)，将A/V内容分类，以及检索多媒体信息。按照本发明的将第一格式的第一内容转换成第二格式的第二内容的装置包括：内容接收部分，用于接收所述第一内容；代码转换提示接收部分，用于接收指示代码转换的提示的代码转换提示；代码转换部分，用于基于所述代码转换提示将所述第一内容代码转换为所述第二内容，以及其中所述代码转换提示指示预定帧之间的距离，所述预定帧是从根据其中进行预测的帧。

Description

产生压缩的代码转换提示元数据的方法和设备
本申请是2001年11月30日提交的申请号为01800759.7的发明专利申请的分案申请。
技术领域
本发明涉及音频/视频(或视听“A/V”)信号处理方法和A/V信号处理设备，用于提取多媒体描述的压缩表示和不同(例如MPEG)压缩内容表示之间进行代码转换的代码转换提示元数据，操作(例如MPEG压缩的)位流参数如帧频、位速率、对话大小、量化参数以及图像编码类型结构如图像组或“GOP”，分类A/V内容，以及检索多媒体信息。
背景技术
A/V内容越来越多地经过光纤、无线和有线网络来传送。因为这些网络由不同的网络带宽约束来表征，所以需要由导致不同主观视觉质量的不同位速率来表示A/V内容。对于A/V内容压缩表示的其他要求通过A/V终端的屏幕大小、计算性能和存储器约束来产生。
因此，以如活动图像专家组(“MPEG”)规定的压缩格式存储的A/V内容必须转换为例如不同的位速率、帧频、屏幕大小，并且适应不同的译码复杂性和不同A/V终端的存储约束。
为了避免对不同的网络带宽和不同的A/V终端存储相同A/V内容的多个压缩的表示，以压缩的MPEG格式存储的A/V内容可以被代码转换为不同的MPEG格式。
对于视频代码转换，可以参照下面的内容：
W009838800A1：O.H.Werner，N.D.Wells，M.J.Knee：采用改进量化的数字压缩编码，1999，提出了一种自适应量化方案；
US5870146：Zhu；Qin-Fan：用于数字视频代码转换的装置和方法，1999；
W009929113A1：Nilsson，Michael，Erling；Ghanbari，Mohammed：代码转换，1999；
US5805224：Keesman；Gerrit J，Van Otterloo；Petrus J.：用于代码转换视频信号的方法和装置，1998；
W009943162ALGolin，Stuart，Jay：用于代码转换视频序列的运动向量外插，1999；
US5838664：Polomski；Mark D.：采用数字代码转换的视频电话会议系统，1998；
W009957673A2：Balliol，Nicolas：数据流的代码转换，1999；
US5808570：Bakhmutsky；Michael：用于双匹配霍夫曼代码转换的装置和方法以及具有利用它们的两个码字位流分段的高性能变量长度译码器，1998；
W009905870A2：Lemaguet，Yann：在视频序列和相应装置之间转换的方法，1999；以及
W009923560A1：LUDWIG，Lester；BROWN，William；YUL，Inn，J.；VUONG，Anh，T.，VANDERLIPPE，Richard；BURNETT，Gerald；LAUWERS，Chris；LUI，Richard；APPLEBAUM，Daniel：可伸缩的网络多媒体系统和应用，1999。
然而，在视频代码转换方面，这些专利中没有一个揭示或建议使用代码转换提示元数据信息以便于A/V代码转换。
电影电视工程师协会(“SMPTE”)推荐了一种用于MPEG-2视频记录数据集的电视标准(327M-2000)，它对于源格式的每个宏块提供使用256位的重新编码的元数据。但是，这种代码转换提示元数据的提取和表示具有一些缺点。例如，根据推荐的标准，对于A/V源内容的每单个帧和宏块提取代码转换提示元数据(如GOP结构、量化器设置、运动向量等)。这种方法的优点是提供详细的和内容自适应的代码转换提示，便于代码转换，同时大大地保留了主观A/V质量。然而，代码转换提示元数据的尺寸是非常大的。在推荐标准的一种特定实施方式中，MPEG视频的每个宏块存储256位代码转换提示元数据。这样大的代码转换提示元数据量不便于到本地(例如住家)A/V内容服务器的广播分配。因此。关于代码转换提示元数据的推荐标准只限于广播制作室应用。
用于代码转换提示元数据提取和表示的另一种技术包括收集通用的代码转换提示元数据，用于以特定的位速率将压缩的A/V源内容代码转换到另一个压缩格式和位速率。然而，这种技术的缺点是不考虑代码转换内容的特有特性。例如，在源内容中，A/V特性可以从具有有限运动量和很少细节(例如新闻锚固场景)的A/V段改变为描述快速运动和许多细节(例如运动事件场景)的另一个A/V段。根据这种技术，可能选择错误引导代码转换提示元数据，它不适用于表示两种视频段不同的特性，因此，导致不好的A/V质量和错误的位速率分配。
发明内容
根据前面所述，本发明的目的是提供一种用于提取压缩和A/V内容自适应多媒体描述和代码转换提示元数据表示的方法和设备。
本发明的另一个目的是提供一种代码转换方法和设备，代码转换方法的一个要求是允许实时执行而没有明显的延迟，并且抑制计算复杂性。对于代码转换方法的第二个要求是尽可能多地保留主观A/V质量。为了便于代码转换方法对于不同的压缩目标格式达到这两个要求，可以提前产生并且分开存储或与压缩的A/V内容一起存储代码转换提示元数据。本发明的另一个目的是提供一种高度压缩的表示，以减少存储尺寸并且便于多媒体描述和代码转换提示元数据的分配(例如，到本地A/V内容服务器的广播)。
因此，本发明的目的是为代码转换系统提供：1)经过代码转换处理保持A/V质量，以及2)限制计算复杂性以便使得实时应用以最小的延迟进行。根据本发明的实施例，包括代码转换提示的附加的数据(元数据)可以与压缩的A/V内容相关。
按照本发明的一个方面，提供一种将第一格式的第一内容转换成第二格式的第二内容的装置，该装置包括：内容接收部分，用于接收所述第一内容；代码转换提示接收部分，用于接收指示代码转换的提示的代码转换提示；代码转换部分，用于基于所述代码转换提示将所述第一内容代码转换为所述第二内容，以及其中所述代码转换提示指示预定帧之间的距离，所述预定帧是根据其进行预测的帧。
按照本发明的一个方面，提供一种内容处理方法，包括下列步骤：在第一存储器中存储关于终端的终端信息；在第二存储器中存储内容和用于处理内容的内容信息；根据内容信息和终端信息，提取代码转换提示；以及根据代码转换提示来转换内容。
按照本发明的另一方面，提供一种内容处理设备，包括：第一存储器，用于存储关于终端的终端信息；第二存储器，用于存储内容和用于处理内容的内容信息；提取装置，用于根据内容信息和终端信息，提取代码转换提示；以及转换装置，用于根据代码转换提示来转换内容。
通过说明书和附图的描述，本发明的其它目的和优点将会变得更加明显。
本发明的设备和方法提供自动代码转换提示元数据的提取和压缩表示。
本发明的领域是通过使用支持的代码转换元数据，将一种压缩格式的压缩的A/V内容代码转换为另一种格式的A/V内容。术语“代码转换”包括但不限于改变压缩的格式(例如，从MPEG-2格式转换为MPEG-4格式)、帧频转换、位速率转换、对话尺寸转换、屏幕尺寸转换、画面编码类型转换等。
本发明也可以应用于自动的视频分类，使用前面所述的代码转换提示状态作为视频的不同场景活动的类别。
因此，本发明包括若干个步骤并且这些步骤的一个或多个相关于其它步骤中的每一个，以及体现结构特征的设备，适用于实现这些步骤的元件组合和部件配置，所有这些都作为下面公开的详细内容进行示范。
附图说明
为了更全面地理解本发明，可以参照下面的描述和附图，其中：
图1根据本发明实施例，描述了具有不同A/V终端的家网中代码转换系统的系统概况；
图2根据本发明实施例，说明了代码转换提示提取(图像组，“GOP”)；
图3根据本发明实施例，说明了基于每帧新特性点数量选择代码转换状态的例子；
图4根据本发明实施例，示出具有3个状态的代码转换提示状态图的例子；
图5根据本发明实施例，说明了从压缩和未压缩源内容提取代码转换提示元数据；
图6根据本发明实施例，示出视频段和代码转换提示状态选择处理；
图7根据本发明实施例，示出确定新的视频段(或新的GOP)的边界的方法；
图8根据本发明实施例，示出如何选择代码转换提示状态的算法；
图9根据本发明实施例，提供代码转换提示元数据的结构组织的概况；
图10根据本发明实施例，描述通用代码转换提示元数据描述方案的结构组织；
图11根据本发明实施例，描述了用于源格式定义的代码转换提示元数据；
图12根据本发明实施例，描述了用于目标格式定义的代码转换提示元数据；
图13根据本发明实施例，描述了通用代码转换提示元数据表示；
图14根据本发明实施例，描述了基于段的代码转换提示元数据表示；
图15根据本发明实施例，描述了编码复杂性代码转换提示元数据；以及
图16根据本发明实施例，描述了代码转换提示状态元数据。
具体实施方式
图1根据本发明实施例，描述了用于家网环境下代码转换的系统100的一般概况。如图1所示，A/V内容服务器102包括A/V内容存储器103、A/V代码转换单元106、代码转换提示元数据提取单元104、以及A/V代码转换提示元数据存储缓冲器105。A/V内容存储器103存储来自不同源的压缩的A/V内容，这些源具有不同的位速率和不同的主观质量。例如，A/V内容存储器103可以包含来自便携式数字视频(“DV”)摄像机111的家庭视频，来自MPEG-4互联网络摄像机112的具有非常低位速率(比如说10kbit/s)的MPEG-4压缩视频，以及来自广播服务101的大约5Mbit/s的MPEG-2MainProfile at Main Level(“MP@ML”)压缩广播视频，在某些情况下它已经与代码转换提示元数据相关联。A/V内容服务器102也可以包含以相当高位速率的高清晰度压缩MPEG视频。
如图1所示，A/V内容服务器102连接到网络113，该网络可以是有线或无线家网。一些具有不同特性的A/V终端也可以连接到网络113，包括但不限于：无线MPEG-4 A/V个人数字助理(“PDA”)107、用于高清晰度电视娱乐的高分辨率A/V终端108、A/V游戏控制台109、以及基于国际电信联盟技术标准组(“ITU-T”)的可视电话110。A/V终端107、108、109和110可以采用不同的位速率传输性能(取决于有线电视或无线电链路)连接到家网113。
另外，根据计算功率、存储器、屏幕尺寸、视频帧频、以及网络位速率可以限制无线视频PDA 107。因此，A/V代码转换单元106可以将例如欧洲5Mbit/s MPEG-2广播电视的每秒钟25帧(“fps”)和包含在A/V内容服务器102中的720×480像素代码转换为MPEG-4 500kbit/s 15fps视频用于无线传输，并且通过无线MPEG-4视频PDA 107显示在352×240像素显示器上。A/V代码转换单元106可以使用来自缓存器105的代码转换提示元数据，实时地将A/V内容的压缩的源位速率代码转换为每个特定的目标A/V终端107、108、109和110的性能。代码转换提示元数据在代码转换提示元数据提取单元104中产生，或者它们可以由广播服务程序101分配。
如图1所示，采用源格式的压缩位流(以后称为“第一位流”)116从A/V内容缓存器103传送到A/V代码转换单元106。采用目标格式的位流(以后称为“第二位流”)115在代码转换单元106的代码转换之后传送到家网113。来自家网113的例如采用压缩DV格式的内容经过链路114存储在A/V内容存储器103中。
图2根据本发明实施例，说明代码转换提示提取、代码转换提示存储以及代码转换处理。如图2所示，缓存器201包含采用源格式的A/V内容。缓存器202包含源格式的描述，如位速率、压缩方法、GOP结构、屏幕尺寸、隔行或逐行的格式等。缓存器203包含目标格式的描述，如位速率、压缩方法、GOP结构、屏幕尺寸、隔行或逐行的格式等。代码转换提示提取单元207从A/V缓存器201读出采用压缩源格式的A/V内容，以及来自缓存器202的源格式描述和来自缓存器203的代码转换目标格式描述。在代码转换提示提取单元207计算代码转换提示之后，代码转换提示存储在代码转换提示元数据缓存器206中。A/V代码转换单元205从A/V内容缓存器201读出采用源格式的第一位流204，并且借助于存储在缓存器206的代码转换提示元数据将源格式转换为目标格式。A/V代码转换单元205输出采用新的压缩目标格式的第二位流208到A/V目标格式缓存器209用于存储。
图3和图4根据本发明实施例，说明代码转换提示元数据组织的原理。基于MPEG的视频压缩使用可预测的方法，这里相邻帧之间的变化被编码。从一个帧到下一个帧具有许多变化的视频内容与帧之间具有较小变化的视频内容相比，要求(为了保持主观质量同时限制位速率)不同的重新编码参数设置。因此，重要的是事先决定重新编码参数。代码转换提示元数据选择主要取决于不可预测的视觉内容的量和特性。新的视觉内容不能由先前帧预测并且可以是使用DCT系数密集编码的位速率。这样，本发明方法使用新特征点数量来确定每帧新的内容量，该新特征点的数量不是从先前帧到当前帧跟踪的。
图3根据视频的帧数量，描述了每帧新特征点数量的图形(水平轴，时间轴)。部分301是一部分视频段，这里在连续帧之间只出现了非常少量的新内容，因此可以选择相应的代码转换提示元数据(例如，大GOP尺寸，低帧频，低位速率)。部分302包括每帧稍微高一些的新特征点的数量，这意味着选择了描述代码转换提示元数据的状态，它提供了这种情况下最佳的代码转换参数(例如，稍微小一些GOP尺寸，较高位速率)。部分303描述了每帧具有较大的新特征点数量的代码转换元数据提示状态，因此，每个场景具有较高的新内容量。这样，选择了较小M值(I/P帧距离)和较高位速率。
图4描述了包括三个离散的代码转换提示元数据状态的代码转换提示元数据状态图的基本组织的例子。每个离散的代码转换状态可以包含用于GOP结构的元数据、量化器参数、位速率、屏幕尺寸等。这些代码转换提示参数可以具有一个固定值或可以是另一个参数的函数。例如，GOP长度可以是每帧新特征点数量的离散函数，量化器参数可以是从DCT系数获得的边缘和纹理活动性的函数。在这个例子中可以选择三个代码转换提示元数据状态的每一个来适应三种不同的编码情况。如图4所示，状态“3”403被选择用于每帧高运动量和低新内容量，并且表示对这种内容的代码转换提示元数据的最佳状态。状态“2”402被选择用于具有高边缘活动性的低运动量和高内容量，它可能需要使用许多位。例如，状态“1”401被选择适用于具有低场景活动性的A/V内容的代码转换处理。还提供其它特别的代码转换提示元数据状态用于视频编辑效果，如不同的交叉衰落效果、突然的场景变化、或者两个场景之间的黑图像。视频编辑效果的位置可以手工地、半自动地或全自动地检测。
图5根据本发明实施例，说明了从压缩和未压缩的源内容提取的代码转换提示元数据。如图5所示，系统500包括A/V源内容缓存器501、源格式描述缓存器502、以及目标格式描述缓存器503。
存储器504用于存储运动向量、DCT系数以及来自压缩和未压缩区域的特征点提取。在压缩区域中，来自P和B宏块的运动向量可以直接从位流中提取。然而，宏块内不存在运动向量。因此，对于B和P宏块获得的运动向量可以内插用于I宏块(见Roy Wang，Thomas Huang：“在MPEG区域的快速摄像运动分析”，IEEE图像处理国际会议(International Conference on ImageProcessing)，ICIP 99，Kobe，Japan，Oct 1999)。用于宏块内的块的DCT系数可以直接从位流中提取。对于P和B宏块，限定数量的DCT系数(DC和2个AC系数)可以通过下面描述的方法来获得，即Shih-Fu Chang，DavidG.Messerschmid：“MC-DCT压缩视频的操作和合成”，IEEE选择通信区域杂志(Journal on Selected Areas in Communications)，Vol.8，1996。在Peter Kuhn1999年12月的PCT专利“用于压缩区域特征点登记和运动估计的方法和设备”中，公开了压缩区域特征点提取和运动估计的示范方法，它在此作为参考。在某些情况下，A/V源内容可以仅仅以未压缩的格式或以不基于DCT和运动补偿原理的压缩格式获得，它由MPEG-1、MPEG-2、MPEG-4、ITU-T H.261和ITU-T H.263使用。对于DV格式，可能只有DCT系数可以获得。在这些情况下，运动向量可以通过运动估计方法来获得，参照例如Peter Kuhn“用于MPEG-4运动估计的算法、复杂性分析和VLSI体系结构”，Kluwer AcademicPublishers，1999。DCT系数可以通过完成基于块的DCT变换来获得，参照K.R.Rao，P.Yip：“离散余弦变换-算法，优点、应用”，学院出版社(AcademicPress)1990。在像素区域(未压缩区域)的特征点可以通过例如下面描述的方法获得，即Bruce D.Lucas，Takeo Kanade“应用于立体视觉的迭代登记技术”，人工智能国际联合会议(International Joint Conference on ArtificialIntelligence)，pp.674-679，1981。
运动分析部分505从存储器504的运动向量表示中提取参数运动模型的参数。参数运动模型可以具有6个和8个参数，参数运动估计可以通过下面描述的方法获得，即M.Tekalp：“数字视频处理”，Prentice Hall，1995。使用运动表示的目的是去除由于延迟和速度原因在代码转换器中的运动估计。因此，来自源位流的运动输入表示可以用于获得输出表示(目标位流)。例如，对屏幕尺寸重定尺寸、隔行-逐行转换等可以主要地取决于运动表示。运动表示的参数也可以根据GOP结构进行编码判定。纹理/边缘分析部件506可以基于从位流提取的DCT系数，可以参照例如K.R.Rao，P Yip“离散余弦变换-算法、优点、应用”，学院出版社(Academic Press)1990，或者K.W.Chun，K.W.Lim，H.D.Cho，J.B.Ra“用于视频编码的自适应感觉量化算法”，IEEE消费电子文集(Transactions on Consumer Electronics)，Vol.39，No.3，August 1993。
用于压缩区域的特征点跟踪部件507可以使用Peter Kuhn描述的技术，即“用于压缩区域特征点登记和运动估计的方法和设备”，PCT专利，1999年12月，它在此作为参考。处理器508计算每帧新特征点的数量。处理器509计算时间的视频段，处理器510计算每段的代码转换提示状态。下面参照附图6、图7和图8详细地描述根据本发明实施例用于这些计算的方法。
存储器511包含运动相关的代码转换提示元数据。存储器512包含纹理/边缘相关的代码转换提示元数据，而存储器513包含特征点代码转换提示元数据，下面参照图15对它们进行详细描述。存储器514包含视频段代码转换提示选择元数据，参照图16来描述它们。现在描述代码转换提示元数据的自动提取、压缩表示以及用途。
图6根据本发明实施例，公开了视频段和代码转换提示状态选择处理。在步骤601，初始化一些变量。变量“帧”是源位流的当前帧数量，“n帧(nframes)”是新视频段(或GOP，即图像组)内帧的数量。其它的变量仅用于这个子程序。在步骤602，GOP内帧的数量加1。在步骤603，确定是否新的段/GOP在帧内开始，参照图7将讨论它的详细内容。如果是这样(“是”)，控制进入到步骤604，否则，进入步骤615。在步骤604，变量“last_gop_start”采用“new_gop_start”值初始化。在步骤608和609，如果变量“帧”大于1则变量“last_gop_stop”设置为“frame-1”。否则，在步骤610，“last_gop_stop”设置为1。接着，将在图8中详细描述的步骤611，根据运动参数605、纹理/边缘参数606、以及特征点数据607确定代码转换提示状态。在步骤612，代码转换提示元数据输出到代码转换提示元数据缓存器。根据本发明优选实施例，代码转换提示元数据包括“n帧”(GOP内帧的数量)，具有所有参数的代码转换提示状态，以及新GOP的开始帧数量(“new_gop_start”)。在这以后，变量“n帧”被设置为0，并且当前帧数量“帧”被给予变量“new_gop_start”。然后，在步骤615，检测以确定是否源位流的所有帧已经被处理。如果不是(“否”)，控制转到步骤614，这里帧数量被加1并且从步骤602开始重复该处理。否则，该处理终止。
图7根据本发明实施例，说明确定新视频段或GOP的开始帧和结束帧的方法。在步骤701，确定是否来自图6的变量“n帧(nframes)”是M(它是I/P帧距离)的整数倍。如果是这样，则选择“否”并且在步骤702，确定是否当前帧号码是第一帧。如果是这样(“否”)，控制转到步骤703，这里确定是否“n帧”大于GOP内帧“gop_min”的最小数。在步骤702的结果是“是”的情况下，新GOP在步骤705开始。在步骤703的结果是“是”的情况下，新GOP在步骤705开始。在步骤703的结果是“否”的情况下，控制转到步骤704，这里确定是否“n帧”大于GOP内帧“gop_max”的最大数。在步骤704的结果是“是”的情况下，GOP在步骤706关闭，否则该处理终止。
图8根据本发明实施例，说明选择代码转换提示状态用于特定的GOP或A/V段的处理，仅考虑每帧新特征点的数量。根据说明的基本构思，可以使用来自参数运动估计的上述的运动参数以及从DCT系数获得的纹理/边缘参数来实现类似的判定结构。应该注意描述的类别和算法也可用于根据运动、边缘活动性、每帧新内容等将A/V内容分类，使得有更高级别的A/V分类。在这种情况下，代码转换提示状态将表示不同内容材料的特定分类。现在参照图8，在步骤801，变量“frame_no”、“last_gop_start”、“sum”和“new_seg”被初始化。变量“frame no”被给予“last_gop_start”参数的内容，变量“sum”和“new_seg”被初始化为零。然后，在步骤802，变量“sum”的内容加上当前帧的新特征点的数量(“frame_no”)。在步骤803，确定是否变量“frame_no”小于变量“last_gop_stop”。如果是这样(“是”)，重复步骤802，否则，控制转到步骤804。在步骤804，确定是否变量“sum”的值小于预定参数“summax”的八分之一。参数“summax”是一个常数，它表示可以逐帧跟踪的最大特征点数量乘以帧“last_gop_start”和“last_gop_stop”之间的帧数量。本发明实施例中它可以具有值200。如果在步骤804的结果是“是”，在步骤806选择代码转换提示状态1，它用于图8的表1所示的参数。否则，在步骤805，确定是否变量“sum”的值小于预定参数“summax”的四分之一。如果是这样(“是”)，则为代码转换提示状态2，如步骤807选择的表1所示。如果不是(“否”)，则在步骤808选择代码转换提示状态3(如表1所示)并且该处理终止。应该注意步骤804和805的判定门限值取决于代码转换提示状态的规定和数量。
代码转换提示元数据描述
为了解释元数据，可以使用伪C编码形式。可以使用如MPEG-7元数据标准中规定的描述的缩写D和描述方案的缩写DS。
图9根据本发明实施例，描述了通用的A/V DS 901内代码转换提示元数据的结构组织。如图9所示，段DS 904和媒体信息DS 902从通用的A/V DS901中获得。段分解906从段DS 904中获得，视频段DS 907和移动区域DS907从段分解906中获得。基于段的代码转换提示DS 909从视频段DS 907中获得，将参照图14详细描述909。视频段DS 907存取一个或多个代码转换提示状态DS 911，它参照图16被详细地描述。参照图14详细描述的基于段的代码转换提示DS 910由移动区域DS 908获得用于移动区域，它存取一个或多个代码转换提示状态DS 912，它参照图16被详细地描述。从媒体信息DS 902获得媒体分布(Media Profile)DS 903。从媒体分布DS 903获得通用的代码转换提示DS 905，它将参照图10描述。
图10描述了代码转换提示DS 1001的结构组织，它包括参照图11描述的源格式规定DS 1002中一个实例，目标格式规定DS 1003的一个或多个实例将参照图12进行描述。另外，代码转换提示DS 1001包括参照图13描述的通用的代码转换提示DS 1004的一种选择实例，以及参照图15描述的一个选择代码转换编码复杂性DS 1005。
图11根据本发明实施例，描述了与整个A/V内容或与特定的A/V段相关的源格式规定代码转换提示元数据(例如图10的源格式规定DS 1002)。如图11所示，相关的描述符和描述方案可以包括：
·bitrate是<int>类型并且描述源A/V数据流的每秒位速率。
·size_of_pictures是<2*int>类型并且描述在x和y方向上源A/V格式的图像大小。
·number_of_frames_per_second是<int>类型并且描述源内容的每秒帧数量。
·pel_aspect_ratio是<float>类型并且描述像素宽高比。
·pel_colour_depth是<int>类型并且描述颜色深度。
·usage_of_progressive_interlaced_format是<1位>大小并且描述源格式是逐行还是隔行格式。
·usage_of_frame_field_pictures是<1位>大小并且描述使用帧还是字段图像。
·compression method是<int>类型并且规定用于源格式的压缩方法，可以从包括：MPEG-1、MPEG-2、MPEG-4、DV、H.263、H.261等的列表中选择。对于每种压缩方法，可以在这里规定其他的参数。
·GOP_structure是I、P、B状态的行程编码的数据字段。例如，在MPEG-2视频中只有I帧的情况下，直接变换到压缩区域的DV格式是可能的。
图12根据本发明实施例，描述了目标格式规定代码转换提示元数据，它可以与整个A/V内容或与特定的A/V段相关。如图12所示，相关的描述符和描述方案可以包括：
·bitrate是<int>类型并且描述目标A/V数据流的每秒位速率。
·size_of_pictures是<2*int>类型并且描述在x和y方向上目标A/V格式的图像大小。
·number_of_frames_per_second是<int>类型并且描述目标内容的每秒帧数量。
·pel_aspect_ratio是<float>类型并且描述像素宽高比。
·pel_colour_depth是<int>类型并且描述颜色深度。
·usage_of_progressive_interlaced_format是<1位>大小并且描述目标格式需要逐行还是隔行。
·usage_of_frame_field_pictures是<1位>大小并且描述使用帧还是字段图像。
·compression_method是<int>类型并且规定用于目标格式的压缩方法，可以从包括：MPEG-1、MPEG-2、MPEG-4、DV、H.263、H.261等的列表中选择。对于每种压缩方法，可以在这里规定其他的参数。
·GOP_structure是I、P、B状态的可选的行程编码数据字段。借助于这个可选参数，可以强迫一个固定的GOP结构。固定的GOP结构可以例如将I帧强迫在某一位置以便于视频编辑。
图13根据本发明实施例，描述了通用的代码转换提示元数据(例如，图11的通用代码转换提示DS 1004)，它可以与整个A/V内容或与特定的A/V段相关。如图13所示，相关的描述符和描述方案可以包括：
·use_region_of_interest_DS具有<1位>的长度并且表示是否感兴趣的描述方案的区域可用于代码转换提示。
·在使用region_of_interest_DS的情况下，shape_D(它可以例如是下面的一个：boundary_box_D，MB_shape_D或任何其它的shape_D)与motion_trajectory_D一起可以用于在空间上和时间上描述感兴趣的区域。MB_shape_D可以使用宏块(16×16)大小的块用于目标形状描述。Motion_traiectory_D已经包括时间的概念，使得可以规定region_of_interes_DS的开始帧和结束帧。region_of_interest_DS可以具有相应的shape_D和相应的motion_trajectory_D的大小。对于代码转换应用，例如可以使用region_of_interest_DS，以对于感兴趣区域内的块比背景花费更多的位(或相应地修改量化器)。对于MPEG-4的另一个代码转换应用可以通过分开MPEG-4目标来描述感兴趣的区域，并且对于感兴趣的区域比其它的MPEG-4目标如背景花费更高的位速率和更高的帧频。region_of_interest_DS的提取可以自动地或手工地完成。
·use_editing_effects_transcoding_hints_DS具有<1位>的长度并且指示是否信息可以根据基于编辑效果的代码转换提示来获得。
·camera_flash是项目的列表，这里每个项目描述摄像机闪光产生的帧数量。因此，描述符的长度是摄像机闪光事件的数量乘以<int>。对于代码转换应用，camera_flash描述符是非常有用的，因为大多数视频(重新)编码器/代码转换器使用的运动估计方法基于亮度差别，参照Peter Kuhn“用于MPEG-4运动估计的算法、复杂性分析和VLSI结构”，Kluwer Academic Publishers，1999。在基于亮度的运动估计的情况下，两个相邻帧(一个具有闪光，一个不具有闪光)的两个宏块之间的平均绝对误差对于预测来说太高，具有摄像机闪光的帧必须作为具有高位速率成本的帧内编码。因此，表示代码转换提示描述方案(“DS”)内的摄像机闪光允许例如使用亮度校正运动估计方法或其它手段从具有适当位成本的锚帧预测具有摄像机闪光的帧。
·cross_fading是项目列表，这里每个项目描述交叉衰落的开始帧和结束帧。因此，这个描述符的长度是交叉衰落事件数量的<int>的两倍。在交叉衰落期间表示代码转换提示元数据中的交叉衰落事件对于控制位速率/量化器是非常有用的。在交叉衰落期间，预测一般被限制使用，使得用于预测误差编码的位速率增加。因为在交叉衰落期间，场景通常变得模糊，通过分别调节量化器比例、位速率或速率控制参数可以限制位速率增加。
·black_pictures是项目的列表，这里每个项目描述了一个黑画面序列的开始帧和结束帧。在场景之间，特别的在家庭视频中，可能产生黑色画面。根据经验，这种结果表示一系列黑画面增加了运动补偿DCT编码器的位速率，因为预测仅仅被有限地使用。因此，通过分别调节量化器比例、位速率或速率控制参数，这个代码转换提示描述符可以用于限制黑画面期间的位速率。
·fade_in类似于cross_fading，并且被描述为确定渐显的开始帧和结束帧的许多项目。与交叉衰落相比，渐显从黑图像开始，因此，通过分别调节量化器比例、位速率或速率控制参数，一种眼睛的屏蔽效果可以用于限制在渐显期间的位速率。
·fade_out类似于fade_in，除了在场景之后的，描述一系列黑色画面。
·abrupt_change通过<int>类型的单个帧数量的列表描述，表示突然的场景或拍摄变化而没有衰落出现。这些事件通过例如图3的非常高和非常陡的峰值来表示。这些峰值表示新的摄像或场景的开始。abrupt_change编辑效果与衰落效果相反。当两个视频段之间的突然变化出现时，人的视觉需要几毫秒来适应和识别新的A/V段的细节。人眼的这种慢慢适应的效果对于视频代码转换是有益的，例如用于为在场景或摄像突然变化之后的视频段的那些开始帧，减少位速率或修改量化器比例参数。
·use_motion_transcoding_hints_DS具有<1位>的长度并且表示运动相关的代码转换提示元数据的使用。
·number of regions表示下面运动相关的代码转换提示元数据有效的区域数量。
·for_every_region用<1位>长度字段来表示该区域是矩形还是任意形状。在区域是任意形状的情况下，使用区域描述符(包括例如形状描述符和运动轨迹描述符)。在矩形区域的情况下，使用矩形区域的大小。这个区域内的运动字段用参数运动模型来描述，对于每个帧或帧序列，它由若干个参数确定。对于代码转换，源视频的实时运动的这个运动表示可以用于限制(重新)编码部分的计算复杂性运动估计的搜索区域，也可以用于快速和有效的隔行/去隔行(帧/字段)转换并且根据视频内的运动量确定GOP(画面组)结构。运动表示也可以有益地用于视频的大小转换。
图14根据本发明实施例，描述了基于段的代码转换提示元数据(例如，图9的基于段的代码转换提示DS 909和910)，它可以用于确定描述恒定特性的A/V段的(重新)编码器/代码转换器。如图14所示，相关的描述符和描述方案可以包括：
·start_frame是<int>类型并且描述A/V段的代码转换提示元数据开始的帧号码。
·nframe是<int>类型并且描述A/V段的长度。
·I_frame_location给出描述A/V段内I帧位置的几种可能。
·select_one_out_of_the_following是<2位>大小并且选择下面四个I帧位置描述方法中的一个。
·first frame是<1位>大小并且是缺省的I帧位置。这种方法描述A/V段，这里只有第一帧是A/V段的内部帧并且用作进一步预测的锚，A/V段内所有的其它帧是P或B帧。
·List of frame给出A/V段内内部帧的帧数量列表。这种方法允许任意地描述A/V段内内部帧的位置。对于这个列表中的k帧，这个描述符大小是<k*int>。
·first_frame_and_every_k_frames是<int>类型，这里段内第一帧是内部的并且k描述了A/V段内I帧的间隔。
·no_I_frame是<1位>大小并且描述在A/V段内不使用I帧的情况，当A/V段的编码基于先前段的地锚(内部帧)时它是有用的。
·quantizer_scale是<int>类型并且描述用于A/V段的初始量化器比例值。
·target_bitrate是<int>类型并且描述用于A/V段的每秒目标位速率。
·target_min_bitrate是<int>类型并且描述用于A/V段的每秒最小目标位速率(可选)。
·target_max_bitrate是<int>类型并且描述用于A/V段的每秒最大目标位速率(可选)。
·use_transcoding_states是<1位>大小并且描述代码转换提示状态是否用于A/V段。
·transcoding_state_nr是<int>类型并且给出用于段的代码转换提示元数据状态。代码转换提示元数据状态是到代码转换提示状态表中的一项的指针。代码转换提示状态表可以具有若干个项目，这里通过代码转换提示参数可以加上或减去新的项目。下面参照图16描述单个代码转换提示状态的代码转换提示元数据。
·add_new_transcoding_state是<1位>大小并且描述具有相关信息的新代码转换状态是否必须加到代码转换提示表上。在add_new_transcoding_state发出信号“是”的情况下，给出新代码转换提示状态的参数列表。参数列表的大小由代码转换提示状态的参数数量和代码转换提示状态的数量确定。
·remove_transcoding_state是<1位>大小的标记，表示代码转换状态是否可以去除。在可以去除代码转换状态的情况下，给出去除的代码转换状态的状态数量(类型：<int>)。
·use_encoding_complexity_description是<1位>大小并且发出是否必须使用如图15规定的更详细的编码复杂性描述方案的信号。
图15根据本发明实施例，描述了编码复杂性代码转换提示元数据，它可以与整个A/V内容或与特定的A/V段相关。编码复杂性元数据可以用于速率控制并且确定量化器和位速率设置。
·use_feature_points是<1位>大小并且表示基于特征点的复杂性估计数据的使用。
·select_feature_point_method是<2位>大小并且选择特征点方法。
·number_of_new_feature_points每帧描述如图3说明的每帧新特征点数量的列表，并且它们是<nframes*int>大小。这个度量表示每帧的新内容量。
·feature_point_metrics描述了基于一个段内每帧新特征点的度量列表。该度量被表示为具有下面意义的<int>值的有序列表：平均值、最大值、最小值、变量、每帧新特征点数量的标准偏差。
·use_equation_description是到每帧编码复杂性的基于方程式描述的<int>指针。
·use_motion_description是<1位>大小并且表示基于运动的复杂性描述的使用。
·select_motion_method是<4位>大小并且选择运动描述方法。
·param_k_motion是<nframes*k*int>大小并且描述用于全局参数运动模型的每单个帧的k个参数。
·motion_metrics描述了度量列表，用于基于整个段的运动向量的大小。度量被表示为具有下面意义的<int>值的有序列表：平均值、最大值、最小值、变量、宏块运动向量的标准偏差(stddev)。
·block_motion_field描述了m*m块大小的运动字段的每个向量并且是<nframes*int*size_x*size_y/(m*m)>的大小。
·use_texture_edge_metrics是当纹理或边缘度量被使用并且它是<1位>大小时设置的标记。
·select_texture_edge_metrics是<4位>大小并且它确定来自下面的哪个纹理度量被使用。
·DCT_block_energy是一个块的所有DCT系数的总和并且被定义用于帧内每个块。它是<size_y_size*-X*nframes*int/64>的大小。
·DCT_block_activity被定义为一块的所有DCT系数的总和，但没有DC系数。它被定义用于帧内的每个块并且是<size_y*size_x*nframes*int/64>的大小。
·DCT_energy_metric描述了基于每块的各个DCT能量的整个段的度量列表。该度量被表示为具有下面意义的<int>值的有序列表：平均值、最大值、最小值、变量、所有各个DCT能量度量的标准偏差。该描述符的大小是<6*int>。这个描述符的另一种实现是描述用于视频段的每单个帧的DCT能量度量。
·DCT_activity_metric描述了基于每块的各个DCT活动性的整个段的度量列表。该度量被表示为具有下面意义的<int>值的有序列表：平均值、最大值、最小值、变量、所有各个DCT活动性度量的标准偏差。该描述符的大小是<6*int>。这个描述符的另一种实现是描述用于视频段的每单个帧的DCT活动性度量。
图16根据本发明实施例，描述了代码转换提示状态元数据，它可以与整个视听内容或与特定的A/V段相关。相关的描述符和描述方案可以包括：
·M是<int>类型并且描述I帧/P帧距离。
·bitrate_fraction_for_I是<float>类型并且描述可用于I帧的A/V段规定的位速率的分数。
·bitrate_fraction_for_P是<float>类型并且描述可用于P帧的A/V段规定的位速率的分数。用于B帧的位速率分数是到100％的剩余百分比。
·quantizer_scale_ratio_I_P是<float>类型并且表示I和P帧之间的量化器比例(如为这个段规定的)关系。
·quantizer_scale_ratio_I_B是<float>类型并且表示I和B帧之间的量化器比例(如为这个段规定的)关系。应该注意位速率描述符(bitrate_fraction_for_I<bitrate_fraction_for_P)，quantizer_scale_ratio描述符(quantizer_scale_ratio_I_P，quantizer_scale_ratio_I_B)或下面的速率控制参数可以是强制的。
·X_I，X_P，X_B是frame_vbv_complexities，每个是<int>类型并且在基于帧的压缩目标格式的情况下规定(参照图12)。根据源内容特征和目标格式规定，这些和下面的虚拟缓存器检验器(“VBV”)复杂性调节是可选的并且可以用于修改速率控制方案。
·X_I top，X_P top，X_B top是用于顶部字段的field_vbv_complexities，每个是<int>类型并且在基于字段的压缩目标格式的情况下规定(参照图12)。
这样从前面的描述可以有效地达到本发明的目的，因为在实现上面的方法和结构中可以有一些变化但不会背离本发明的精神和范围，上面的描述和附图中包含的内容只用于说明的目的，而没有限制的意思。
还应该理解所附权利要求书涵盖了这里描述的本发明的一般和特定的特征以及本发明范围内的所有描述。

Claims (7)

1.一种将第一格式的第一内容转换成第二格式的第二内容的装置，该装置包括：
内容接收部分，用于接收所述第一内容；
代码转换提示接收部分，用于接收指示代码转换的提示的代码转换提示；
代码转换部分，用于基于所述代码转换提示将所述第一内容代码转换为所述第二内容，以及
其中所述代码转换提示指示预定帧之间的距离，所述预定帧是根据其进行预测的帧。
2.如权利要求1所述的装置，其中所述预定帧是I帧或P帧。
3.如权利要求1所述的装置，其中所述第一格式包括位速率、压缩方法、GOP结构、屏幕尺寸、隔行或逐行的格式。
4.如权利要求1所述的装置，其中所述第二格式包括位速率、压缩方法、GOP结构、屏幕尺寸、隔行或逐行的格式。
5.如权利要求1所述的装置，其中所述代码转换包括改变压缩格式、帧频转换、位速率转换、对话尺寸转换、屏幕尺寸转换、画面编码类型转换。
6.如权利要求1所述的装置，其中所述代码转换提示状态与所述第一内容的运动信息、段的纹理和边缘信息、所述第一内容的特征点和相关的运动信息相关联。
7.如权利要求1所述的装置，其中所述基于所述代码转换提示将所述第一内容代码转换为所述第二内容包括：利用所述代码转换提示来外插所述第二内容的运动信息。
CNA2007100917557A 2000-03-13 2001-03-13 产生压缩的代码转换提示元数据的方法和设备 Pending CN101035277A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000068720 2000-03-13
JP68720/00 2000-03-13
US60/204,729 2000-05-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB018007597A Division CN100338956C (zh) 2000-03-13 2001-03-13 产生压缩的代码转换提示元数据的方法和设备

Publications (1)

Publication Number Publication Date
CN101035277A true CN101035277A (zh) 2007-09-12

Family

ID=18587734

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007100917557A Pending CN101035277A (zh) 2000-03-13 2001-03-13 产生压缩的代码转换提示元数据的方法和设备

Country Status (3)

Country Link
US (1) US7738550B2 (zh)
CN (1) CN101035277A (zh)
DE (1) DE60143927D1 (zh)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
JP2003534741A (ja) * 2000-05-23 2003-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｐｅｇ−４リモートアクセス端末を有する通信システム
US20020120780A1 (en) * 2000-07-11 2002-08-29 Sony Corporation Two-staged mapping for application specific markup and binary encoding
KR20020064776A (ko) * 2000-07-13 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-4 인코더 및 그 인코더의 출력 코딩된 신호
US20020039149A1 (en) * 2000-10-02 2002-04-04 Eduardo Perez System and method for streaming video over a network
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
CA2428946C (en) 2000-11-14 2010-06-22 Scientific-Atlanta, Inc. Networked subscriber television distribution
US8127326B2 (en) 2000-11-14 2012-02-28 Claussen Paul J Proximity detection using wireless connectivity in a communications system
US6628709B2 (en) * 2000-12-21 2003-09-30 Matsushita Electric Corporation Of America Bit number prediction for VLC coded DCT coefficients and its application in DV encoding/transcoding
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
FR2825633B1 (fr) * 2001-06-11 2005-12-16 Bio Veto Tests Bvt Complexe vaccinal therapeutique destine a la prevention et au traitement des leishmanioses et des infections a microorganismes pathogenes intracellulaires chez le mammifere
JP2003087785A (ja) * 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
US20030005455A1 (en) * 2001-06-29 2003-01-02 Bowers J. Rob Aggregation of streaming media to improve network performance
US20040237104A1 (en) * 2001-11-10 2004-11-25 Cooper Jeffery Allen System and method for recording and displaying video programs and mobile hand held devices
JP2003173625A (ja) * 2001-12-04 2003-06-20 Hitachi Ltd ファイル変換方法、ファイル変換装置、及びファイル生成装置
WO2003051031A2 (en) 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
US7274857B2 (en) * 2001-12-31 2007-09-25 Scientific-Atlanta, Inc. Trick modes for compressed video streams
US8582031B2 (en) * 2002-01-22 2013-11-12 Broadcom Corporation System and method of transmission and display of progressive video with hints for interlaced display
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US7516470B2 (en) 2002-08-02 2009-04-07 Cisco Technology, Inc. Locally-updated interactive program guide
US7908625B2 (en) 2002-10-02 2011-03-15 Robertson Neil C Networked multimedia system
US7360235B2 (en) 2002-10-04 2008-04-15 Scientific-Atlanta, Inc. Systems and methods for operating a peripheral record/playback device in a networked multimedia system
US8046806B2 (en) 2002-10-04 2011-10-25 Wall William E Multiroom point of deployment module
EP1586045A1 (en) 2002-12-27 2005-10-19 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
US8094640B2 (en) 2003-01-15 2012-01-10 Robertson Neil C Full duplex wideband communications system for a local coaxial network
US7487532B2 (en) 2003-01-15 2009-02-03 Cisco Technology, Inc. Optimization of a full duplex wideband communications system
JP4078645B2 (ja) * 2003-01-21 2008-04-23 日本ビクター株式会社 撮像装置
EP1599043A4 (en) * 2003-02-04 2011-08-10 Panasonic Corp CODING METHOD AND DEVICE THEREFOR
JP2004272563A (ja) * 2003-03-07 2004-09-30 Fujitsu Ltd 通信制御プログラム、コンテンツ配信プログラム、端末装置、およびコンテンツサーバ
KR101009629B1 (ko) * 2003-03-13 2011-01-21 한국전자통신연구원 디지털 방송 프로그램 서비스를 제공하기 위한 확장메타데이터의 데이터 구조와 이를 이용한 적응적 프로그램서비스 제공 시스템 및 그 방법
US9612965B2 (en) * 2003-06-24 2017-04-04 Hewlett-Packard Development Company, L.P. Method and system for servicing streaming media
TW200601300A (en) * 2003-06-30 2006-01-01 Matsushita Electric Ind Co Ltd Apparatus and computer-readable program for generating volume image
US8135261B1 (en) 2003-12-09 2012-03-13 Apple Inc. Insertion and usage of metadata in digital video
US8064752B1 (en) * 2003-12-09 2011-11-22 Apple Inc. Video encoding
US7797454B2 (en) * 2004-02-13 2010-09-14 Hewlett-Packard Development Company, L.P. Media data transcoding devices
WO2005088973A1 (en) * 2004-03-01 2005-09-22 Koninklijke Philips Electronics N.V. A video signal encoder, a video signal processor, a video signal distribution system and methods of operation therefor
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
US20140071818A1 (en) 2004-07-16 2014-03-13 Virginia Innovation Sciences, Inc. Method and system for efficient communication
US7899492B2 (en) 2004-07-16 2011-03-01 Sellerbid, Inc. Methods, systems and apparatus for displaying the multimedia information from wireless communication networks
US7957733B2 (en) 2004-07-16 2011-06-07 Sellerbid, Inc. Method and apparatus for multimedia communications with different user terminals
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US20060109900A1 (en) * 2004-11-23 2006-05-25 Bo Shen Image data transcoding
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
JP2006295586A (ja) * 2005-04-12 2006-10-26 Hitachi Ltd コンテンツ変換装置及びトランスコードシステム
US20060235883A1 (en) * 2005-04-18 2006-10-19 Krebs Mark S Multimedia system for mobile client platforms
US20060239563A1 (en) * 2005-04-25 2006-10-26 Nokia Corporation Method and device for compressed domain video editing
US8482614B2 (en) * 2005-06-14 2013-07-09 Thx Ltd Content presentation optimizer
WO2007037726A1 (en) * 2005-09-28 2007-04-05 Telefonaktiebolaget Lm Ericsson (Publ) Media content management
US7876998B2 (en) 2005-10-05 2011-01-25 Wall William E DVD playback over multi-room by copying to HDD
KR100703801B1 (ko) * 2005-10-21 2007-04-06 삼성전자주식회사 Ａｖ 태스크 계산 방법, ａｖ 태스크 계산을 위한 요약정보 제공 방법 및 이를 위한 장치
DE112005003791T5 (de) * 2005-12-28 2008-09-25 Intel Corporation, Santa Clara Ein neues, auf benutzersensitive Informationen anpassungsfähiges Videotranscodierungsrahmenwerk
FR2897227B1 (fr) * 2006-02-03 2008-03-14 Sagem Comm Procede de transmission de programmes multimedias et appareils impliques dans cette transmission
US8056103B2 (en) * 2006-02-28 2011-11-08 Sony Corporation System and method for transcoding signal content
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
US20080091713A1 (en) * 2006-10-16 2008-04-17 Candelore Brant L Capture of television metadata via OCR
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
JP5774817B2 (ja) 2006-12-21 2015-09-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ディスプレイのカラー・グレーディングを提供する方法、装置及びシステム
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
US8438589B2 (en) 2007-03-28 2013-05-07 Sony Corporation Obtaining metadata program information during channel changes
KR101594190B1 (ko) * 2007-06-28 2016-02-15 톰슨 라이센싱 네트워크 아키텍처를 통해 디스플레이 장치 특정 콘텐트를 제공하는 방법, 장치 및 시스템
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
CN101785308B (zh) * 2007-08-31 2013-02-06 富士通株式会社 信号输出装置和信号输出方法
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
TW200923780A (en) * 2007-11-26 2009-06-01 Realtek Semiconductor Corp System and method for remote live pause
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
CA2721522C (en) 2008-04-18 2021-03-16 Erik Van De Pol System and method for condensed representation of long video sequences
GB0809631D0 (en) * 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
EP2321969A4 (en) * 2008-09-09 2012-05-09 Onmobile Global Ltd METHOD AND APPARATUS FOR VIDEO TRANSMISSION
US20100128181A1 (en) * 2008-11-25 2010-05-27 Advanced Micro Devices, Inc. Seam Based Scaling of Video Content
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
JP5278059B2 (ja) * 2009-03-13 2013-09-04 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
US8687685B2 (en) 2009-04-14 2014-04-01 Qualcomm Incorporated Efficient transcoding of B-frames to P-frames
US9774818B2 (en) * 2009-04-24 2017-09-26 Level 3 Communications, Llc Media resource storage and management
US20100309975A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and transcoding system
JP2011081457A (ja) * 2009-10-02 2011-04-21 Sony Corp 情報処理装置および方法
JP5553140B2 (ja) * 2009-10-02 2014-07-16 ソニー株式会社 情報処理装置および方法
JP2011082628A (ja) * 2009-10-02 2011-04-21 Sony Corp 情報処理装置および方法
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
US9014471B2 (en) 2010-09-17 2015-04-21 I.C.V.T. Ltd. Method of classifying a chroma downsampling error
US9042670B2 (en) * 2010-09-17 2015-05-26 Beamr Imaging Ltd Downsizing an encoded image
US9131276B2 (en) 2010-11-18 2015-09-08 Rpx Corporation System and method for providing network access to antenna feeds
WO2012112928A2 (en) * 2011-02-18 2012-08-23 Aereo, Inc. Fast binding of a cloud based streaming server structure
CA2827505A1 (en) 2011-02-18 2012-08-23 Aereo, Inc. Cloud based location shifting service
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
EP2756684A4 (en) * 2011-06-21 2015-06-24 Nielsen Co Us Llc METHOD AND DEVICE FOR MEASURING THE EXPOSURE OF STREAMING MEDIA
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9148674B2 (en) 2011-10-26 2015-09-29 Rpx Corporation Method and system for assigning antennas in dense array
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
US9282348B2 (en) * 2012-08-13 2016-03-08 Disney Enterprises, Inc. Content based partitioning of digital media content
US9282366B2 (en) 2012-08-13 2016-03-08 The Nielsen Company (Us), Llc Methods and apparatus to communicate audience measurement information
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US9332035B2 (en) 2013-10-10 2016-05-03 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9292705B2 (en) 2014-02-21 2016-03-22 Lens Ventures, Llc Management of drone operations and security in a pervasive computing environment
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US9699499B2 (en) 2014-04-30 2017-07-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
JP6565922B2 (ja) 2014-10-10 2019-08-28 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
WO2017080927A1 (en) * 2015-11-09 2017-05-18 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
JP6495834B2 (ja) * 2016-01-05 2019-04-03 日本電信電話株式会社 映像符号化方法、映像符号化装置及び映像符号化プログラム
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
US10219014B2 (en) 2016-06-02 2019-02-26 Biamp Systems, LLC Systems and methods for bandwidth-limited video transport
US11146608B2 (en) 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
US11120293B1 (en) * 2017-11-27 2021-09-14 Amazon Technologies, Inc. Automated indexing of media content
US20190200079A1 (en) * 2017-12-21 2019-06-27 Facebook, Inc. Predictive Analysis for Media Encodings
US11509949B2 (en) * 2019-09-13 2022-11-22 Disney Enterprises, Inc. Packager for segmenter fluidity

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69535553T2 (de) 1994-06-17 2007-12-06 Snell & Wilcox Ltd., Havant Videokompression
US5838664A (en) 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
DE69607696T2 (de) 1995-02-15 2000-10-19 Koninkl Philips Electronics Nv Vorrichtung und verfahren zur transkodierung von videosignalen
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
US5808570A (en) 1996-06-28 1998-09-15 Philips Electronics North America Corp. Device and method for pair-match Huffman transcoding and high-performance variable length decoder with two-word bit stream segmentation which utilizes the same
US5870146A (en) 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
JP2001518247A (ja) 1997-02-25 2001-10-09 ブリティッシュ ブロードキャスティング コーポレーション 改良された量子化処理を用いたデジタル信号圧縮符号化方法
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
JP2001526859A (ja) 1997-05-16 2001-12-18 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア
EP0927495A4 (en) 1997-07-22 2001-05-30 Koninkl Philips Electronics Nv METHOD AND DEVICE FOR SWITCHING BETWEEN VIDEO SEQUENCES
DE69837887T2 (de) 1997-11-04 2008-02-14 Collaboration Properties, Inc., San Mateo Einteilbare, vernetzte multimediale systeme und anwendungen
WO1999029113A1 (en) 1997-11-27 1999-06-10 British Telecommunications Public Limited Company Transcoding
US6028639A (en) 1997-12-19 2000-02-22 Thomson Consumer Electronics, Inc. Process and apparatus for converting an MPEG-2 bitstream into SMPTE-259 compatible bitstream
US6100940A (en) 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
JP3724205B2 (ja) 1998-03-10 2005-12-07 ソニー株式会社 復号装置および方法、並びに記録媒体
EP0993644A2 (en) 1998-04-30 2000-04-19 Koninklijke Philips Electronics N.V. Transcoding of a data stream
US6728083B2 (en) * 2001-06-26 2004-04-27 Hitachi Global Storage Technologies Netherlands B.V. Method of making a spin valve sensor with a controlled ferromagnetic coupling field

Also Published As

Publication number Publication date
US7738550B2 (en) 2010-06-15
DE60143927D1 (de) 2011-03-10
US20020157112A1 (en) 2002-10-24

Similar Documents

Publication Publication Date Title
CN100338956C (zh) 产生压缩的代码转换提示元数据的方法和设备
CN101035277A (zh) 产生压缩的代码转换提示元数据的方法和设备
Chen et al. An overview of coding tools in AV1: The first video codec from the alliance for open media
CN1294764C (zh) 用于编码双向预测视频对象面的方法及其解码装置
TWI578757B (zh) 場景形式之視訊串流編碼
CN1926884A (zh) 视频编码方法和装置
CN1647541A (zh) 用于在视频编码系统中指示量化器参数的方法与设备
CN1574970A (zh) 使用图像残余预测编码/解码图像的方法和设备
CN1684518A (zh) 高保真代码转换
CN1366775A (zh) 压缩视频的代码转换方法
CN1372759A (zh) 用于客户机顶设备储存应用的转码
CN102986211A (zh) 视频编码中的速率控制
CN1728830A (zh) 运动图像的预测编码装置和译码装置
CN1656690A (zh) 在图像/视频编码器和/或解码器中将变换系数编码
CN1643912A (zh) 用于在视频序列中对运动进行编码的方法
CN1726709A (zh) 利用基于图像的超前查看窗口进行速率控制
CN1191718C (zh) 运动图象编码器及其方法
US20180302634A1 (en) Advanced video coding method, system, apparatus, and storage medium
JP2006524460A (ja) 符号化されたビデオデータのコンテンツ分析
CN1290335C (zh) 对被编码的视频信号同时进行格式压缩和解码的方法
Pourazad et al. Comparison of Emerging Video Compression Schemes for Efficient Transmission of 4K and 8K HDR Video
CN101035284A (zh) 一种流式视频像素域转码的方法
JP4749508B2 (ja) 画像復号方法
De Neve et al. Assessment of the compression efficiency of the MPEG-4 AVC specification
CN1898963A (zh) 运动图像再现方法、装置以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20070912