CN1230790C - 处理dvd视频的方法和装置 - Google Patents

处理dvd视频的方法和装置 Download PDF

Info

Publication number
CN1230790C
CN1230790C CNB988030667A CN98803066A CN1230790C CN 1230790 C CN1230790 C CN 1230790C CN B988030667 A CNB988030667 A CN B988030667A CN 98803066 A CN98803066 A CN 98803066A CN 1230790 C CN1230790 C CN 1230790C
Authority
CN
China
Prior art keywords
digital
image
yuv4
pixel
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB988030667A
Other languages
English (en)
Other versions
CN1249836A (zh
Inventor
A·J·赫尔雷拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=25507913&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1230790(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1249836A publication Critical patent/CN1249836A/zh
Application granted granted Critical
Publication of CN1230790C publication Critical patent/CN1230790C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

对3D图形加速器(84)进行修改,使之在回放DVD数据流的计算机系统中能够支持MPEG-2的视频解码。本方法和装置对3D图形加速器(84)进行修改以实现运动补偿和/或YUV4∶2∶0到YUV4∶2∶2的转换。3D图形加速器(84)还能支持子码混合。

Description

处理DVD视频的方法和装置
技术领域
本发明涉及计算机,特别涉及用计算机处理数字通用盘(DVD)(Digital Versatile disk)数据流的装置和方法。
背景技术
DVD(数字通用盘)的出现为个人计算机(PC)提供了一个巨大的市场发展机遇。它也为价格竞争非常激烈的PC市场提出了技术挑战,即要提供一种具有价格优势的PC结构,该结构既要能提供用户需要的性能和质量,又要为其它的PC应用保持充裕的灵活性。
众所周知,DVD技术代表了当今多媒体PC环境中一个重要的前沿。除了能后向兼容CD-ROM之外,目前DVD提供的存储容量在4.7GB到17GB之间,这至少是普通CD存储容量的8倍。为了能支持增大的存储容量,DVD设备(例如DVD-ROM驱动器)通常要提供超过10Mb/s的带宽。如果将DVD技术同视频压缩技术(例如MPEG-2视频压缩技术)和音频压缩技术(例如MPEG-2和AC-3音频技术)结合起来,PC就能向视频显示设备和音频再生设备提供质量优于广播电视(TV)的音视频信号。
DVD还为PC技术向其它新的市场领域发展提供了一种途径。DVD不仅得到了PC行业的支持,它还得到了娱乐业和消费电子行业的的支持。正因为如此,很多PC生产厂商和软件开发商都将DVD看作是将桌面PC转化为装备齐备的娱乐设施的一个重要步骤。举例来说,被称为娱乐PC、顶置PC和PC-TV的这类新产品都正在开发过程之中。与此同时,生产商如Gateway和Compaq也正在为在家庭中传送视频和基于计算机的娱乐节目而定制生产相应的的产品。此外,Philips最近也宣布了它的DVX8000多媒体家庭影院产品,该产品专为居室设计并且采用了基于PC的结构。Microsoft认识和推动了这种趋势,并正在为适应这种新的“娱乐PC”的发展制定统一的平台。
尽管不同PC平台上的DVD的前途是一片光明,但在现有计算机结构的约束以及PC市场极端激烈的价格竞争面前如何使这项技术发挥其应有作用是必须立即解决的问题。MPEG-2呈现了一个非常困难的问题,这是因为要将典型的5Mb/秒的MPEG-2视频信号解码和解压缩为可显示的视频信号所需要的处理量很大。此外,伴音信号也需要解码和解压缩。因此,具有DVD功能的PC结构在主流市场上就显得太昂贵,或是不能充分达到其性能指标。
为了达到质量、存储容量和数据比特速率的要求,DVD采用了几种现有的视频标准音视频压缩和传输的标准,包括MPEG-2视频以及AC-3和MPEG-2音频。举例来说,图1给出了典型的DVD处理流水线,这个流水线接收来自如DVD-ROM驱动器和/或远端设备的DVD数据流,并将其解码和解压缩为数字视频信号及相应的数字音频信号。
DVD数据流由连续的数据包组成,每个包通常包括各种各样的系统信息、视频信息和音频信息。图1中所示的DVD视频解码流水线10被分为三个高级处理步骤,即系统流解析步骤12、视频处理步骤14和音频处理步骤16。与这些处理步骤相关的信息和其它信息、以及DVD和MPEG-2标准均可在DVD规范(标题为DVD规范,版本为1.0,通过时间为1996年8月)和MPEG-2视频规范ISO/IEC 13818-1,2,3中找到,它们可从ISO/IEC版权局Case Postale 56,CH111,Geneve 20,(瑞士)得到,这里将它们结合于此以供读者参考。
系统流解析步骤12对输入的DVD数据流进行解析或解复接和/或解扰,比如用CSS解扰技术,使之变为三个独立的流:MPEG-2视频流15,MPEG-2(或AC-3)音频流17以及一个子图象流13。就这个例子而言,在某些实施方式中,MPEG-2视频流15的比特速率可能高达9Mb每秒,而音频流17(MPEG-2或AC-3)的比特流可能高达约384Kb每秒。子图象流13的比特速率相对比较低,它包含了可以和最终的数字视频信号叠加并在屏幕上显示(OSDs)的子图象信息,比如菜单或紧密的字幕数据(closect captioning data)。接着,MPEG-2视频流15和子图象流13将送给视频处理步骤14做进一步的处理。与此类似,音频流17将送给音频处理步骤16做进一步处理。
正如图1所示,视频处理步骤14包括三个子步骤。第一个子步骤是DVD子图象解码步骤18,这个步骤中将根据DVD规范对子图象流13解码。比如说,DVD允许多达32个子图象流,这些子图象流将被解码为一个位图序列,这些位图由从一个16色调色板中选出的颜色构成。正如上面所述的一样,解码后的子图象通常为OSDs,如菜单、紧密的字幕和子标题。依照DVD规范,这些子图象将以真实半透明的方式同视频信号叠加在一起形成最终的数字视频信号。
视频处理步骤14的第二个子步骤是MPEG-2解码子步骤20,在这个步骤中MPEG-2视频流将被解码和解压缩,并且被转换为YUV4:2:2的数字视频信号。根据MPEG-2规范,MPEG-2解码子步骤20将进行变长解码(VLD)22、反量化(IQUANT)24、反离散余弦变换(IDCT)26、运动补偿28、以及平面YUV4:2:0到隔行4:2:2的转换30。这些处理子步骤是必须的,因为MPEG-2规定称为I帧或I图象的图象应采用“帧内”编码,从而使整个图象被分为8×8的块,这些块将通过离散余弦变换(DCT)对它进行处理并量化为一个压缩系数的集合,这些系数单独表示原始图象。MPEG-2规范也允许中间图象,即在“I”图象之间的图象,这些图象被称为预测(“P”图象)和/或双向内插图象(“B”图象)。这些中间图象并不用DCT来对所有的块进行编码,而是用运动补偿来去除在大多数电影胶片中均能发现的时间冗余度。通过采用运动补偿,MPEG-2能极大地减少所需的数据存储空间和相应的比特速率而有不会对图象质量造成大的损伤。举例来说,运动补偿允许用在前面图象或后面图象中的参考宏块来对“B”或“P”图象中16×16的“宏块”进行预测。通过对被称为运动矢量+的预测指针+进行编码,MPEG-2就能获得很高的压缩比同时保持高的质量。
得到的YUV4:2:2和解码后的子图象数字视频信号将被送给视频处理步骤14的第三个子步骤21,在这个子步骤中YUV4:2:2和解码后的子图象数字视频信号将在一个阿尔法混合处理器32中进行混合以得到半透明的叠加,详细内容参见DVD规范。接下来,混合后的数字视频信号将送给YUV到RGB转换处理器34,在转换处理器34中混合后的数字视频信号要从YUV格式转换为相应的红-绿-蓝(RGB)格式。得到的RGB数字视频信号接下来将被送给图象定标处理器36,在图象定标处理器中RGB信号将被伸缩到一个特定的用于显示的大小。最终得到的数字视频信号将可以用于在显示设备上显示,或是送给其它的设备,比如视频记录或转发设备。举例来说,通过将最终的数字视频信号(RGB格式)转换为模拟RGB视频信号,就使最终的数字视频信号可以在监视器或CRT上显示。
与DVD处理流水线10有关的处理步骤/子步骤需要极大的计算量。在DVD技术中之所以要选用在流水线10中计算量最大的MPEG-2视频格式,是因为它在多种不同的显示方式下能提供最好的回放质量并且适合DVD较高的比特速率及存储容量。举例来说,MEPG-2视频很灵活并能定标,还能支持多种显示方式和宽高比,从标准的隔行NTSC到高清晰度、16:9的运行扫描。MPEG-2显示方式计算复杂度的一个例子是主型、主级(MPML(即,Main-Profile,Main-Level))的MPEG-2格式,它支持720×480象素显示,每秒60场或30帧每秒(fps)。
参考前面的图1,音频流由系统流解析步骤12提供给音频处理步骤16。音频处理步骤16可对杜比AC-3解码,AC-3有6个声道(比如5.1声道),适合高质量立体环绕声的再生,它用于NTSC的兼容设备;音频处理步骤16还可对MPEG-2(多达7.1声道)进行解码,MPEG-2用于PAL和SECAM的兼容设备。最终得到的数字音频信号可以被再生,比如说,通过转换为送给如声音产生设备这样的音频再生设备的模拟信号来实现再生,再生设备能将数字音频信号转化为模拟信号,对其放大或对模拟信号进行调整,然后将信号送给一个或多个扬声器。正如我们所期望的一样,解码音频流的计算量要比解码视频流的计算量小很多。
在提供DVD功能方面,PC制造商和用户喜欢考虑的一个重要因素是价格。通过上面的分析我们知道由于DVD的处理过程需要很大的计算量,这就需要有一种有成本效益的解决方案,它能减少与DVD处理流水线各个步骤/子步骤关联部分的价格。目前可用的方案可以分为三种基本类型。
第一类解决方案将所有DVD的处理任务全部交给计算机中的处理器,因此是一种纯软件的解决方案。由于整个DVD流水线全部由运行在PC的处理器上的软件(如计算机指令)来完成,因此在绝大部分计算机中不需要添加任何与“DVD”有关的硬件设备。但是,为了完成DVD的处理,PC的处理器需要有足够强大的功能(比如:运算速度)。目前,最新的基于Intel奔腾II处理器的平台所提供的帧速率也只能达到每秒24帧(fps)。如果要超过24fps,基于奔腾II的平台通常需要附加的硬件支持来完成运动补偿处理28。虽然这样,但由于处理器的性能在过去得到了很大的提高,在将来还会进一步提高,似乎很快就有可能用PC的处理器来实现全帧速率的DVD解码。但与这种先进处理器相关的价格很可能使用户望而止步。此外,DVD回放将给PC的处理器、相关的总线和存储器带来沉重的负担,这将使PC在进行回放时几乎不能做任何事情。对大多数用户而言,这种方式证明是不可接受的。最新的证据表明,纯软件方案可能采用了一些不符合DVD规范的简化处理。比如说,某些纯软件的解决方案通过简化处理方案来简化阿尔法混合处理36,这简化的处理方案只是简单地逐个象素地选择将子图象象素或将来自MPEG的象素送给显示器,而并不真正地将它们混合以提供半透明效果。这种简化处理方案会降低DVD的性能并且还会导致设备不兼容。
第二类解决方案不需要处理器,所有DVD的处理任务全部交给PC的硬件来完成。这种纯硬件的方案解放了处理器。但由于采用专用电路(比如DVD解码器)很昂贵,使得价格大幅度上升,这将导致在竞争激烈的PC市场上的失败。在某些计算机中由于专用电路需要访问PC的总线、接口和存储器,这将降低PC的性能。
第三类解决方案是前两类方案的混合方案,它要求由PC的处理器(即软件)和完成部分处理的专用电路(比如解码器)来分担DVD的处理任务。这种混合方案比较灵活,它允许有不同的配置,这些配置可以针对给定的PC计算机结构/应用程序来精心调试和调整。当然,这种方案仍然需要与专用电路有关的费用,这也会增加用户的花费。
为了在计算机比如PC中提供DVD的回放功能,需要有成本效益的改进了的兼容的方法和装置。
发明概要
本发明提供了一种改进的、具有优良的成本效益的混合方案,采用这种装置和方法能在计算机系统中回放DVD数据流。根据本发明,这些装置和方法通过在能根据命令信号产生图形的图形引擎中实施特殊的解码过程来完成兼容DVD和/或MEPG-2的视频回放。
这样,依据本发明的一个实施方式,能为具有支持图形生成和数字视频处理功能的处理器的计算机系统提供可使用的装置。该装置包括设置引擎、变换引擎和纹理映像引擎。设置引擎至少能对一个来自处理器的命令做出响应,并将命令信号中的顶点信息转换为对应的三角信息。三角信息描述了三维空间中的三角形。变换引擎依据三角信息确定三角形的数字象素数据。纹理映像引擎根据三角信息和至少一个数字纹理映象对数字象素数据进行调整。这样就使该装置能支持图形生成。纹理映像引擎还要根据至少一个数字图象映像和至少一个运动矢量产生经过运动补偿的数字图象数据,以便能支持数字视频处理。
依据本发明的某些实施方式,数字图象映像是一个包括由MPEG产生的I和/或P图象构成的数字象素数据的宏块。根据本发明的其它实施方式,纹理映像引擎至少包括一个双线性内插器,该内插器根据第一和第二数字象素数据确定内插的数字象素数据。双线性内插器用来对位于子象素样点上的宏块进行双线性滤波,以便产生一个位于象素样点位置上的预测宏块。同样,在其它的实施方式中,纹理映像引擎根据第一个运动矢量执行第一次双线性滤波和根据第二个运动矢量执行第二次双线性滤波,然后对第一次双线性滤波的结果和第二次双线性滤波的结果进行平均以产生一个预测宏块。在某些实施方式中,该装置还能将IDCT系数加到由纹理映像引擎生成的数字象素数据上去。这样,本发明的某些实施方式就能支持MPEG-2的运动补偿处理。
根据本发明的其它一些实施方式,该装置还能通过对YUV4:2:0格式的图象进行垂直向上定标及隔行处理来生成YUV4:2:2格式的图象。
根据本发明的一种实施方式,还能使计算机满足为在计算机系统中实现编码数据流的视频回放而对计算机提出的上述需求及其它需求。该计算机系统包括一个处理器、数据总线结构、主存储器,显示设备、以及图形引擎,该图形引擎能根据至少一个来自处理器的命令生成数字图象数据,能根据至少一个数字图象和至少一个运动矢量生成经过运动补偿的数字图象数据,能将YUV4:2:0格式的图象转换为YUV4:2:2格式的的图象,将YUV4:2:2格式的图象转换为RGB格式的图象,能定标RGB格式的图象,以及能将RGB格式的图象转换为能在显示装置上显示的模拟信号。
本发明为在计算机系统中生成图形和处理数字视频信号提供了一种方法。该方法包括根据至少一个命令信号利用图形引擎来生成数字图象数据,这需要将命令信号中的顶点信息转换为相应的三角信息,需要根据三角信息确定三角形的数字象素数据,还需要根据三角信息和至少一个数字纹理映像调整数字象素数据。该方法还包括使用同一个图形引擎来生成运动补偿后的数字图象数据,这需要根据至少一个数字图象映像和至少一个运动矢量来生成经过运动补偿的数字图象数据。
根据本发明的某些实施方式,该方法还包括使用同一图形引擎将YUV4:2:0格式的图象转换为YUV4:2:2格式的图象,这需要对至少一部分YUV4:2:0格式的图象移位然后有选择地将YUV4:2:0格式图象的样点映像到相应的目标图象上去以便实现垂直向上定标,接下来要有选择地对目标图象的字节数据进行排列以形成隔行的字节数据并生成YUV4:2:2格式的图象。
前面所述的有关本发明的特征以及本发明的其它特征、优点,通过本发明的后面部分结合附图进行的详细描述将变得更加明显。
附图简述
本发明将通过附图中的图形例子来说明,而不用限制来说明,在附图中,相同的参考数字表示相似部件,其中:
图1是描述现有技术计算机使用的DVD处理流水线的框图。
图2a和图2b是描述现有技术计算机体系结构的框图,它能完成图1所示的DVD处理流水线的全部和部分工作。
图3是一个表,根据本发明的一个实施方式,图3给出的表描述了对一个举例的计算机系统的分析结果,该计算机只对图1的DVD处理流水线特定部分进行处理,表中给出了在与单独采用硬件设备实现同一种或类似的与DVD相关的处理所得到的有关估计的测量值相比的情况下,对计算机系统带来的相对工作负担(百分比)。
图4是一个方框图,象如图2a一样,图4给出了根据本发明在计算机中使用的采用了3D图形引擎的举例的图形加速器的框图。
图5给出了根据本发明在图4的图形加速器中使用的可实现的3D图形处理流水线的框图。
图6给出了根据本发明在图4的图形加速器中使用的具有光栅化装置(rasterizer)的举例的3D图形引擎的框图。
图7给出了根据本发明在图6的3D图形引擎中使用的举例的光栅化装置的框图,光栅化装置具有一个扫描纹理映像引擎、光栅操作和象素包装逻辑。
图8给出了根据本发明的一种实施方式的、具有一个处理器、一个经过修改的图形加速器和一个帧缓冲器的计算机系统的框图。
图9给出了根据本发明的一种实施方式的图8的计算机系统中帧缓冲器内部的存储器分配的框图。
图10a到图10c给出了根据本发明的一种实施方式的Y,U和V图象数据被图7的光栅化装置的象素包装逻辑映像后的映像顺序的框图。
图11给出了根据本发明的一种实施方式的图7中光栅化装置的光栅操作的框图。
图12给出了根据本发明的一种实施方式的图7的具有多个用于映像Y,U和V图象数据的复接器的象素包装逻辑的框图。
举例的实施方案详述
本发明的方法和装置的详细描述是建立在上述背景技术一节中已经介绍过的信息之上的,并被分成了几个有标题的小节。
现有的能支持DVD回放的PC体系结构
为了进一步阐明上面所述的解决方案,图2a画出了有一个处理器42的典型PC系统40,该系统被配置为纯软件的解决方案,并由DVD流水线计算机指令集44来表示。处理器42表示一个或多个处理器,比如Intel奔腾系列处理器或Motorola的PowerPC处理器。处理器42与芯片组46相连。芯片组46提供了对处理器42的访问,对主存储器的访问,比如动态随机访问存储器(DRAM)48,以及对一个或多个数据总线的访问,比如辅助设备接口(PCI)总线50和/或ISA总线52。
正如图中所示,图形加速器54也连接在PCI总线50上,并且被设置为通过PCI总线50和芯片组46与处理器42接口与/或DRAM48或与其它在PCI总线50和/或ISA总线52上的设备(图中没有画出)接口。图形加速器54连接到一个双缓冲区,即帧缓冲区56并将图形加速器54输出的模拟视频信号送给显示器58。通常情况下ISA总线52的比特速率比PCI总线50的低,可以有一个或多个设备同它相连,并通过它与处理器42、DRAM48或其它在PCI总线50或ISA总线52上的设备接口。比如说,声音再生设备60就与ISA总线52连接着。在该实施方式中的声音再生设备60可以从处理器42接收最终的数字音频信号并输出相应的音频音调或声音。图中还显示至少有一个存储设备62连接在ISA总线52上。存储设备62代表了多种存储设备,包括比如磁盘驱动器、磁带驱动器、以及/或光存储设备(比如只读存储器(ROM)和/或RAM)如CD,或DVD驱动器。
在图2a中,比如说,如果存储设备62是一个DVD-ROM,那么在回放时DVD数据流将通过ISA总线52和芯片组46送给处理器42。存储设备62输出的DVD数据流通常是从DVD上获得的,并可能送给处理器42之前由存储器设备62进行了解码或做别的处理。在纯软件的实施方式中,处理器42将根据DVD处理流水线计算机指令集44完成DVD的处理。这种处理通常包括通过芯片组46访问DRAM48,比如在处理过程中存储或获得中间数据。接下来处理器42要将最终的数字视频信号通过芯片组46和PCI总线50送给图形加速器54。图形加速器54将最终的数字视频信号存储在缓冲器56中,并从缓冲器56中顺序读出最终的视频信号,用比如说数字到模拟的变换器(DAC)将最终的数字视频信号转换为最终的模拟视频信号。接下来,最终的的模拟视频信号将会送给显示设备28。处理器42还要将最终的数字音频信号提供给声音再生设备60,该再生设备能将最终的数字音频信号转换为声音。
图2b与图2a类似,相同的参考数字表示了相似的部件。图2b画出的PC系统40’可以设置为纯硬件的解决方案或混合方案。正如图中所示,在图2b中增加了专门的处理/电路,它用解码器64来表示。
当系统40’设置为纯硬件解决方案时,图1中整个DVD处理流水线均在解码器64中完成。当设置为一种混合解决方案时,系统40’先将一部分DVD处理流水线(比如:见图1)交由处理器42完成,和/或然后再将部分任务交给解码器64完成。比如说可以设置让解码器64来完成运动补偿处理28。
对DVD相关处理的分析
考虑这三种类型的解决方案,显然,纯软件方案优势是有成本效益(忽略处理器42的价格)。纯软件方案利用了已有的处理能力(并且用户也已付费)来实现DVD回放因而不会增加成本。它的不足之处是由于目前常用的处理器的速度达不到要求,所以纯软件方案的帧速率达不到标准,质量和功能也受到限制。比如说,即便是采用最新的MMXTM技术,无论是1997年的主流奔腾机还是1998年的主流奔腾IITM机都不能达到每秒30帧广播质量DVD的连续回放。
用芯片来实现所有DVD处理流水线的纯硬件方案能减轻处理器的负担,并且可以对通常5Mb/s的DVD视频提供无缝的全帧速率的高质量视频,它能忠实地再现原始的内容而不会增加任何损伤。当然,简单地添加硬件会带来一个价格的问题。竞争激烈的PC图形控制器市场历来就排斥高价格的图形控制器和附加的解码器。事实上,尽管性能在提高,而图形控制器的价格却一直非常平稳,甚至在下降。这就要求图形加速器和其它类似芯片的生产厂商极其关注硬件能实现多少功能。
举例来说,据估计在纯硬件解决方案中使用的解码器64很可能至少需要约72,000个逻辑门(或相当)才能有效地处理MPEG-2的系统、视频和音频解码。此外,在现有的图形加速器上增加解码器64的功能也是不现实的,这是因为在当今讲究成本效益的CMOS生产中,从价格上考虑如果要在主流PC的图形加速器芯片上增加如此规模的逻辑门数是不现实的。由此可见,用纯硬件方案来支持DVD回放在将来的巨大的PC市场上能维持其生存的可能性不大。
理想的情况应是使主流桌面PC既能提供纯硬件方案的质量和性能又能实现纯软件方案的成本效益。这就要求采用一种有成本效益的混合方案。本发明提供了一种有成本效益的混合方案的方法和装置,该方案综合了硬件方案的性能和软件方案的价格和简单性。
根据本发明找到最优混合方案是我们对DVD处理流水线进行全面分析的结果,在分析中确定了影响性能的瓶颈并对硬件实现中流水线不同步骤的复杂性和开销进行了评估。依据本发明的一个方面,一个重要的目标是让硬件来完成那些需要很多处理时间而又不需要增加特别多的价格的任务。另一个重要的目标是利用图形加速器芯片的优势,即几乎所有的PC平台都需要它来支持图形的显示。
图3的表给出了对一个可实现的系统结构的分析结果,该表有三列,从左到右分别显示处理任务、处理器负担、和硬件开销(硬件开销编码为:H=高,M=一般,L=低,而E=有可能用现有的硬件)。基于这些分析,我们可以确定系统和安全层的高级解码以及MPEG-2的VLD不需要考虑用硬件来实现,因为这些任务不会过多地增加计算的强度,并且更适合于处理器42(而不是例如修改过的图形加速器)的普通应用编程能力。
与此类似,IDCT和IQUANT的处理也不需要考虑,因为处理器的额外开销相对较小,并且对硬件的影响将很大。举例来说,IDCT和IQUANT主要倾向于依赖于乘法、加法和乘法-累加(MAC)操作,这些工作象奔腾IITM系列处理器(特别是那些采用了MMXTM技术的处理器)之类的处理器能很好地完成。
AC-3的音频也不需要考虑,这有几个原因。首先,它不需要绝对地共享处理器时间,部分原因是在某些处理器中有MMXTM协处理器。音频处理也倾向于不需要增加特别大的硬件和复杂性。由于在目前的主流计算机中音频和图形/视频在物理上通常是分离的,这样就可以将AC-3的处理交给处理器42或音频子系统,而不需要试图让修改过的图形加速器来完成。
这样一来,根据本发明的一种实施方式可以确定,如果将运动补偿处理(Mot.28),YUV4:2:0到YUV4:2:2的变换处理30以及阿尔法混合处理32去掉,那么将会将实现的成本降到最低。因此这些工作将交给修改过的图形加速器84(见图8)。事实上,通过将运动补偿28,平面YUV4:2:0到YUV4:2:2的变换处理30交给图形加速器84,就能在266MHz的奔腾IITM平台上最终获得60场/秒(每秒30帧)的回放效果。
如果将阿尔法混合处理32交给硬件处理,那么就可能真正实现子图象的半透明显示,这不同于先有技术的纯软件方案,即便它运行在将来平台上,这是因为典型的阿尔法混合处理32对每个象素需要有一个表的查找和两次加法与两次乘法(或移位和加法)。对于这种计算量大的处理,绝大部分纯软件的方案被迫对OSD的功能进行折衷,在视频上采用不透明“色键”的子图象叠加来代替,而并不是DVD规范要求的半透明显示。
至于运动补偿,YUV4:2:0到YUV4:2:2的变换以及阿尔法混合处理,它们被认为最需要用芯片来处理,在已公开的实施方式中提供了一种简单的、性能优越且有成本效益的实现。通过对目前图形加速器体系结构同这些处理的比较可以发现:可以通过用很低的价格对现有的硬件进行修改使之能完成与DVD有关的处理。
利用修改过的图形加速器的混合方案综述
公开的实施方式中的这些方法和装置表示了一种独特的混合方案,这种方案通过对现有的图形加速器硬件和软件驱动程序进行修改能在几乎不增加用户开销的情况下获得与DVD兼容的全帧速率。根据本发明,某些三维(3D)纹理映像处理与运动补偿和YUV4:2:0到YUV4:2:2变换处理非常类似,这些三维(3D)纹理映像处理通常情况下能为普通的图形加速器中绝大部分现有的3D引擎所支持。
这些处理几乎可以由现有3D图形引擎所支持的操作来完全实现。完成这些处理所需要的是增加一些电路,这些电路扩展了为实现MPEG-2解码而需要图形加速器处理的方式。其结果是能在基本不增加每台PC价格的条件下得到修改过的性能优越的图形加速器,它可以同适当的编程后的处理器42相结合,在配置了相应的软件条件下为DVD回放提供了最优的混合方案。
根据本发明的一种实施方式,与图1a相似的图8给出了改进的计算机系统80,该系统有一个能对DVD处理流水线的一部分44’进行处理的处理器42和一个修改过的图形加速器84。
根据公开的实施方式,为了理解修改过的图形加速器84中的3D图形引擎如何完成运动补偿,YUV4:2:0到YUV4:2:2的变换以及阿尔法混合处理,下面将更详细地介绍一个可实现的3D图形引擎/处理。
举例的图形加速器
图4是一个举例的图形加速器54的框图。从图可以看到,图形加速器包括一个与PCI总线50或是芯片组46上的高级图形端口(AGP)相连的系统接口90。系统接口90提供了一个到PCI总线50(或AGP)的接口,通过该接口可以接收来自如处理器42的图形生成命令。与系统接口90相连的是3D图形引擎92。3D图形引擎92将根据3D模型信息生成2D图象。来自3D图形引擎92的2D图象通常是RGB格式的数字图象。来自3D图形引擎92的2D图象通过存储器控制器94存入帧缓冲器56。存储器控制器94为帧缓冲器56提供了一个接口。在2D图象被存入帧缓冲器56之后,它最终将由存储控制器94读出并提供给数字到模拟的转换器(DAC)99。DAC99将数字RGB信号转换为对应的模拟RGB信号,该模拟信号接下来将送给显示设备并在显示设备上显示。
此外,图形加速器54还有一个YUV变换器95,它用于回放YUV4:2:2格式的数字图象。YUV4:2:2变换器95包括一个RGB变换器96,它与存储控制器94相连,负责将YUV4:2:2格式的数字图象转换为相应的RGB数字图象。RGB变换器96的输出将送给定标器98,该定标器与RGB变换器96相连并负责将RGB数字图象定标到与所选择的显示装置58相适应的大小。DAC99连接到定标器98的输出,它负责将定标后的数字图象转换为对应的适合驱动显示装置58的RGB模拟信号。
图5画出了在处理器42和3D图形引擎92的软件中常见的3D图形流水线200。3D图形流水线200的开始是一个由一组顶点或相应坐标所确定的目标的3D模型202。比如说,一座房屋就可以用表示房屋的多边形或轮廓的一组顶点来表示。3D模型202的顶点通常是运行在处理器42上的应用软件的输出。该应用软件还要定义与该对象的光照204和可应用观察视点206有关的附加信息。比如说,房屋可以被太阳照亮以及从与太阳及房屋有关的一个特殊的观察位置上来观察。几何处理208主要是将3D模型调整(比如位置定标)到观察点206所在的位置。接下来,光照处理210将考虑光源204和视点206相对于3D模型的表面的位置,从而相应地调整这些表面的阴影和/或颜色。
接下来,映像到视点的处理212要将3D目标可见区域的多边形或顶点映射到一个二维(2D)平面上去,生成2D图象。一个典型的映像到视点的处理212通常包括一种2D的透视算法,该算法生成的图象在显示设备上观察时会有深度感。
三角建立处理214要确定如何用具有如位置、颜色以及纹理坐标等特殊特征的三角形来表示这些连续的轮廓。三角建立过程214还要向三角光栅化过程216提供相对于视点206而言有关三角形取向的信息。
由于绝大部分显示设备(如58)都是基于2D象素阵列的,这就需要将三角形转换为离散的象素。三角光栅化过程216通过将每个由三角建立过程定义的三角形转换为有特殊颜色的对应象素来实现这个功能。为了实现这个功能,三角光栅化过程216通常包括扫描变换处理(没有画出)和纹理映像处理(没有画出)。扫描变换处理标识所需要的象素,而纹理映像处理为每个象素确定特定的颜色。
与此同时,对主流PC市场来说,几何208处理、光照处理210和映像到视点处理212是由运行在处理器42上的应用软件来完成的,而三角建立处理214和光栅化处理216是由图形加速器54内的硬件、特别是在3D图形引擎92内的硬件来完成的。
图6画出了在举例的3D图形引擎92中实现的三角建立处理214和光栅扫描处理216。如图所示,命令是由与系统接口90相连的命令接口100接收的。命令包括3D图形命令和相应的参数,比如处理器42通过系统接口90提供的顶点信息。举例来说,一个命令可能是“画一个三角形”。这些命令可以直接送给一个特殊的部件或存储在命令寄存器102中。
建立引擎104与命令接口100相连,并对其做出响应。比如说,三角形建立引擎104可以从命令接口100接收与要画的三角形有关的顶点信息。顶点信息通常包括位置坐标(比如X,Y和Z)、颜色、纹理坐标(U和V,注意U和V参数并不是表示在该位置上的色度)、相似参数(W)、以及其它可能的参数。三角形建立引擎104对顶点信息进行处理以得到三角形信息,三角形信息可能包括与三个角有关的信息(比如:顶点1,顶点2,顶点3),三角的边(比如:边1,边2,边3)和斜率(比如,dX/dY,dU/dY,dV/dY)。
光栅化装置106与三角建立引擎104相连,并负责将由三角形信息确定的三角形转换为相应的数字RGB象素信息。比如说,纹理和那些坐标的斜率将应用于绘制三角形表面的特殊纹理类型。为了完成这项工作,光栅化装置106通常扫描三角形将其变换为相应数目的象素,并根据特殊纹理到每个象素的映像来为每个象素确定颜色。举例来说,房屋的墙面可能具有木材的纹理,而要显示的图象也需要采用这种的纹理,因此,表示墙面的一个或多个三角形也需要有对应的纹理坐标以实现墙面所需要的木材纹理和方向。这样,每一个表示房屋墙面的有纹理(比如木材纹理)的三角形将被扫描变换为相应数目的RGB象素,每个象素都有一个映像到该象素的纹理值(texel)(即:纹理颜色值)以设置一个特定的颜色。光栅扫描器106还要通过如存储器控制器94将得到的数字RGB象素信息保存到帧缓冲器56的选定地址。
该公开的实施方式的一个独特的优点是光栅化装置106和它的纹理映像功能。图7是可实现的光栅化装置106的框图。光栅化装置106通常有一个扫描变换器108和一个纹理映像引擎110。扫描变换器108与三角形建立引擎104相连并接收包括如位置坐标、边和斜率信息在内的三角形信息。扫描变换器108要判定哪个象素在三角形之内,并确定“屏幕上”部分(见图9)在帧缓冲区56中的地址,这个地址将用于显示三角形。
图9中画出的帧缓冲器56被细分为“屏幕内”部分120和“屏幕外”部分122,“屏幕内”部分包含了由光栅化装置106建立的当前图象,而“屏幕外”部分包括了中间数据,比如各种各样的纹理映像124a-n,它们将用来创建/修改存储在屏幕内部分120中的当前图象。
扫描变换器108在图7中所确定的地址可以由扫描变换器108通过存储器控制器94保存到帧缓冲器56中的屏幕外部分122。纹理映像引擎110将会使用这些三角形地址。
参看前面的图7,纹理映像引擎110和扫描变换器108连接在一起,负责接收与纹理有关的信息,包括比如:U,V,W和相应的斜率信息。纹理映像引擎110要为每个象素确定纹理地址,并从位于帧缓冲器56的屏幕外部分122的纹理映像(比如,124a)中得到纹理颜色。纹理映像引擎110通常包括多个内插器112,它根据U,V及W的起点和斜率递增地计算中间的纹理值。依据内插器112的结果,可以从纹理映像124a中得到一个纹理值并将其赋给每个象素。纹理映像引擎110将通过存储器控制器94将每个象素的纹理值保存到帧缓冲器56的屏幕内部分122的对应地址(或多个地址)中去。
用修改过的图形加速器完成MPEG-2的运动补偿
依据MPEG-2规范,对于B和P图象,编码器可以为每个宏块选用运动补偿,通常这将会极大地减缩比特流。对运动补偿宏块的解码包括由计算来自一个或多个源的预测宏块并将预测宏块与来自IDCT(最好是由处理器42计算的)的宏块系数数据输出相加,每个象素对应一个系数。这个过程将对每个Y,U和V样点平面重复进行。
根据MEPG-2规范,有多个编码模式允许对两个参考宏块进行平均以生成一个预测宏块,并且这些参考宏块的每一个还可以与1/2象素的边界对齐。此外,MPEG-2允许每个象素的误差系数在+256到255之间。这显然就达到了9比特的精度,这将比字节对齐的8比特数据更难处理。最后,MPEG-2支持为一个宏块指定两个预测的模式,也就是对P图象的双基预测和对B图象的双向预测。在这些情况下,必须对两个预测进行平均以生成组合预测。
总而言之,下面简化的等式1要根据两个参考值为每个坐标{x,y}计算预测象素值。等式2将每个象素的IDCT输出加入到位于坐标{x,y}的每个宏块象素的经过运动补偿的输出中。
Fpred(x,y)=[Fpred1(x,y)+Fpred2(x,y)]/2            (1)
Fmc(x,y)=Fpred(x,y)+FIDCT(x,y)                    (2)
商用的Philips 9727图形加速器代表了典型的现有技术的图形加速器,它能依据来自如处理器42(如图4-7所示)的控制信号生成3D图形。这里使用Philips 9727仅仅是做为一个例子来说明本发明的方法和装置。熟练的技术人员将会意识到根据本发明可以对其它现有的或将来的图形加速器和/或3D图形引擎(不管它的位置)进行修改或利用以便能提供与DVD和/或MPEG-2相关的处理。
可以看到运动补偿处理与现有的3D纹理映像是非常相似的。事实上可以确定前者只是后者的一个子集。通过利用这些公共特性,本发明的方法和装置就只需做很小的修改,就能利用9727的3D纹理映像引擎来实现运动补偿。
特别是人们认识到:纹理映象引擎110在对三角形进行纹理处理时所实施的操作与MPEG-2视频解码中运动补偿处理28所需要完成的操作几乎相同。回想MPEG-2的运动补偿要利用运动矢量来识别在用于生成当前B或P图象的前面和/或后面图象中的正方形象素宏块(或图象元素(pels))。这些预测宏块主要是纹理,按照这样,由这些预测宏块聚集成的I和/或P图象的纹理映像与纹理映像124a-n基本相似。这样,MPEG-2预测宏块类型和在光栅化装置中使用的三角形的唯一差别是它们的形状。但是,众所周知,一个四边形可以分为两个相等的三角形,因此,光栅化装置106中的纹理映像引擎110也可以用来判定这种作为运动补偿处理28一部分的预测宏块类型。在图9中,I图象126和P图象128同纹理映像124a-n一同画在了帧缓冲器56的屏幕外部分122中。
目前常用的纹理映像引擎110具有双线性滤波能力(比如:内插器112),它用于在比如视点非常靠近有纹理的表面时(比如放大)增强纹理颜色。举例来说,如果房屋木纹墙面的视点非常靠近墙面,对纹理映像124a-n来说,当被映像到墙面时就有一种使最终的图象呈现小颗粒的趋势。这是因为绝大部分纹理映像124a-n的清晰度大约为128×128纹理值。通过提供一种主要在相邻纹理值之间进行内插的双线性滤波能力就能减少可能的颗粒性。因此,双线性滤波是纹理的简单双线性内插。因此,很多MPEG-2运动矢量所需要的1/2象素采样可以利用纹理映像引擎110的双线性滤波能力来支持。
MPEG-2运动补偿的另一个复杂之处在于要确定两个运动矢量,其中每个均位于1/2象素位置。这样,纹理映像引擎110将需要对这些运动矢量中的每一个进行双线性滤波并对结果进行平均以生成预测块。现有纹理映像引擎110的一个特点是混合能力(比如纹理值平均)和将两个纹理映像为一个三角形。举例来说,房屋的木纹墙面可能包括了由木纹纹理映像和光映像经过映像而得到的混合纹理,从而生成既有较亮区域又有较暗区域的木纹墙面。因此,可以利用纹理映像引擎110的这种多纹理能力来实现MPEG-2的运动补偿,这可以通过简单地对每个运动矢量的双线性滤波后的象素进行平均以确定运动补偿象素的过程来实现。
正如上面所述,根据MPEG-2规范,作为IDCT26处理的输出,运动补偿后的宏块也可以与每个纹理值一个的一组误差系数一起被规定。每个误差系数(或宏块系数)需要与相应的象素相加。但是,通常的3D图形引擎92没有进行有符号加的能力,而这在对宏块系数(其值的范围为-256到255)进行相加时是需要的。
因此需要对3D图形引擎92进行修改以提供这种能力。这可以利用普通3D图形引擎92具有的称为读-修改-写的能力来实现,这种能力同它的名称一样意味着:可以根据存储器以前的值向存储器存入新的或修改过的值。这种类型的操作通常取决于选择的光栅操作(ROPs)114。典型的3D图形引擎92能支持几种ROPs(比如:115a-115n),比如逻辑与、逻辑或。通过向3D图形引擎92增加一种新的ROP(比如,有符号的加法ROP)、特别是在光栅化装置106中的光栅操作114,就能提供MPEG-2宏块系数所需要的有符号的加法ROP。这样,依照本发明的一种实施方式就能在修改过的图形加速器84中提供“8比特的有符号加法ROP”,以解决宏块系数的有符号加操作。
图11画出了一种举例的光栅操作114,它具有现有的ROPs 115a-n和一个8比特的有符号加法器130。现有的ROPs 115a-n和8比特有符号加法器130的输出送给复接器132,复接器受控制寄存器102的控制从而选择需要的ROPs。
正如上面所述,通过对常用的图形引擎92进行修改(即提供有符号的加法ROP)并根据需要修改图形加速器的驱动软件82以实现处理(如上面所述),使得到的经过修改的图形加速器84能提供MPEG-2的运动补偿。这是运动补偿处理28的非常有成本效益的实现方式。
由此可见,只需要很小的硬件修改就能实现等式2。8比特的有符号加法器ROP130将用于对纹理映像引擎110的输出和从存储器或DRAM48或帧缓冲器56中获取的IDCT系数进行相加。此外,还可以对修改过的图形加速器84进行编程以便采用另一条路径用另一个的有符号8比特集合来支持MPEG-2所允许的完全的9比特误差系数范围。用修改过的图形加速器实现解平面化(deplanarization)
另一个需要清除的由图形加速器完成的与DVD有关的处理是平面YUV4:2:0到YUV4:2:2的变换处理。尽管通常的图形加速器能够接受YUV4:2:2的图象并将其转变为相应的RGB图象,但通常它不支持从YUV4:2:0到YUV4:2:2的变换,因此这个功能也需要依据本发明添加到修改过的图形加速器中去。
正如上面所述,运动补偿处理28产生的最终宏块象素有三个分量,亮度(Y)和色度(U和V),并且通常是以被称为YUV4:2:0的平面格式输出。遗憾的是,目前的图形加速器(包括9727)要将隔行的YUV4:2:2转换为RGB,其中U和V平面在X方向(水平方向)的大小是亮度矩阵的一半,而在Y方向(垂直方向)大小相同。另一方面,YUV420的U,V平面在X方向和Y方向的清晰度都是Y平面的一半。因此,从YUV4:2:0格式到YUV4:2:2格式的变换需要在Y方向对色度分量进行上采样。
将平面YUV4:2:0转换为隔行的4:2:2格式需要从平面源中读出一个字节的数据并将这一字节的数据写入4:2:2目标面的不同位置。遗憾的是,这需要多次的读写象素,对一幅图象来说,就可能极大地降低纯软件方案的性能,图3表中的处理器利用率图就是一个证明。
更复杂的是,MPEG-2的4:2:0平面方案并没有指定色度样点在垂直方向要位于象素的中心(象它在水平方向那样)。这样,为了对隔行的视频数据进行上采样,在技术上需要一个2抽头的垂直滤波器,该滤波器使用一对加权值,其每一个用于一对垂直相邻的象素中一个,这对权值为{1/4,3/4},{1/2,1/2},或{3/4,1/4},这要取决于图象是奇数还是偶数场以及该行在一场中是奇数还是偶数行。这要求对每个象素至少要有2个样点的一次读,一次或二次加和一次移位,可以再次看到,这对纯软件的方案而言负担太重。因此,纯软件的方案通常被迫对最佳质量进行折中,而采取一种简略方法,即选取最近的色度样点并按垂直方向重复,如所需要的那样。这样一种近似使得颜色不能与亮度准确对齐而影响图象质量。
所幸的是从平面YUV4:2:0到隔行YUV4:2:2的转换也可以通过3D图形引擎92中纹理映像引擎110来实现。在这种情况下,Y,U和V图象(或平面)将分为多个正方形,其每边为一个2的幂次。每个正方形变成源纹理,并将映像到目标4:2:2图象;至于U和V,纹理映像引擎110将在Y方向放大(向上定标)2倍。要完成这项任务需要为Y,U和V图象各提供一条路径。
在9727中只需要做一个修改就能实现对隔行的支持。纹理映像引擎110的输出数据路径将做修改使得所生成的纹理值能够按指定的偏移和增量而被引导到指定字节通道(lane)的指定位置,而其它的字节通道在对目标写入时将被屏蔽。这使得Y,U和V的值能写入到适当的字节位置而不会改写前面路径的结果。依据公开的实施方式,这总共需要在现有的数据路径上增加4个8比特的寄存器149a-d,正如图12所示,加入在象素包装设备116中以接收来自光栅操作114的输出。图12给出了一个象素包装设备116的例子,它将4个8比特的字节包装为一个32比特的字。8比特的字节在装载控制允许信号LE的控制下将光栅操作单元114的输出顺序装入寄存器140a-d。来自控制寄存器的信号确定顺序载入的字节将存入哪个寄存器。每个寄存器对应于将被存入存储器的32比特字中的一个不同的位置。不同字中对应位置形成一个字节平面。
图10a,10b以及10c分别画出了Y,U和V的字节通道排列。在图10a中,Y的值(Y0-4)将会有选择地进行映像(分别通过寄存器140b,140d,140b和140d),从而得到一种偏移模式150a,在这个模式中每2个字节放置一个Y值。在图10b中,U的值(U0-4)将会有选择地进行映像(通过寄存器140c),得到一种偏移模式150b,在这个模式中每4个字节放置一个U值。在图10c中,V的值(V0-4)将会有选择地进行映像(通过寄存器140a),得到一种偏移模式150c,在这个模式中每4个字节放置一个V值。
就通过2阶垂直滤波器支持“适当”上采样的难题而言,可以看出这种操作可以看成是双线性滤波的一种简单变化,因而能被纹理映像引擎110所完全支持。通过对指向源4:2:0图象的起始纹理地址与{1/4,1/2,或3/4}偏移的简单加(或减),纹理映像引擎110将所有以后的纹理样点进行加权,以便能模仿垂直滤波的效果。这样,与竞争方案不同,本发明的方法和装置能提供符合MPEG-2规范要求的合适的高质量的上取样。
采用修改过的图形加速器以实现OSD混合
在最后阶段,解码后的MEPG-2视频需要同子图象进行阿尔法混合。对图象中的每个象素而言,视频部分和子图象部分必须利用下面的等式进行混合以便产生最后输出的象素,其中“a”(阿尔法)在视频颜色和子图象颜色之间提供了16级混合(16种可能的颜色之一):
Fout(x,y)=FYUV422(x,y)*a+Fsubpict(x,y)*(1-a)       (3)
依据已公开的实施方式,子图象阿尔法混合处理是通过对3D图形引擎92的现有结构的微小改变来提供的,它实际上是扩展了显示刷新电路(未画出)。如9727之类的3D图形引擎92中的显示刷新电路已经能支持两层位图数据的混合,一层为YUV4:2:2而另一层为各种RGB格式。因此,YUV4:2:2将被转化为RGB并通过色键以每个象素为单位与第二层的RGB相混合。这样,比如,通过增加两个4比特的并行乘法器和一个16入口的查找表,就能把现有的混合能力扩展到支持子图象在视频上真正的半透明叠加。子图象的每个象素由该表的四比特索引和相应四比特混合值来表示。对每一个在屏幕上画出的象素,3D图形引擎将YUV4:2:2视频象素转换为RGB,通过查表获得子图象的RGB值然后通过如等式3中所示的两次乘法和一次加法来完成混合。
因此,本发明的方法和装置提供了一种能与处理器一起完成DVD回放的、修改过的图形加速器84。作为例子,我们对9727进行了修改(如上面所述)以便用硬件实现了运动补偿、YUV4:2:0到YUV4:2:2的转换以及阿尔法混合,从而能在266MHz的奔腾IITM平台上提供对一般内容及比特速率的DVD提供高达30帧/秒的回放。
尽管已经对本发明做了详尽的描述和说明,但需要清楚地明白这些仅仅是通过图和例子来说明的,而不是用限制来说明,本发明的思想和范围只能由所附的权利要求来限制。

Claims (18)

1.一种用于具有处理器的计算机系统以支持图形生成和数字视频处理的装置,所述装置包括:
建立引擎,响应于来自处理器的至少一个命令信号并且被配置成将所述命令信号中的纹理信息变换成对应的三角形信息,其中所述三角形信息说明三维空间中的三角形。
变换器,连接到所述建立引擎并且被配置成基于所述三角形信息来确定所述三角形的数字像素数据,
纹理映像引擎,连接到所述变换器,所述纹理映像引擎包括被配置成基于所述三角形信息和至少一个数字纹理映象来修改所述数字像素数据的部件,
其中所述纹理映象引擎被进一步配置成通过使用所述被配置来修改所述数字像素数据的部件,来产生基于至少一个数字图像映象和至少一个从所述处理器中接收的一个运动矢量的运动补偿数字图像数据。
2.权利要求1中的所述装置,其中所述数字图像映象是一个包括来自数字图像的数字像素数据的宏块。
3.权利要求2中的所述装置,其中所述数字图像是MPEG产生的I图像。
4.权利要求2中的所述装置,其中所述数字图像是MPEG产生的P图像。
5.权利要求2中的所述装置,其中所述数字图像是YUV格式的图像。
6.权利要求2中所述的装置,其中纹理映像引擎(110)还包括至少一个根据第一和第二个数字像素数据来确定内插数字像素数据的双线性内插器(112),其中双线性内插器(112)用来完成具有子像素坐标的块的双线性滤波以生成一个具有像素对齐坐标的预测块。
7.权利要求6中所述的装置,其中纹理映像引擎(110)还要根据第一运动矢量进行第一双线性滤波以及根据第二运动矢量进行第二双线性滤波,并且要对第一双线性滤波的结果和第二双线性滤波的结果进行平均以生成一个具有像素对齐坐标的预测宏块。
8.权利要求1中所述的装置,还包括至少一个与纹理映像引擎(110)相连接的光栅操作(115),其中光栅操作(115)把一个有符号的整数值添加到由纹理映像引擎(110)产生的数字像素数据上。
9.权利要求8中所述的装置,其中有符号的整数是IDCT的系数。
10.权利要求8中所述的装置,其中所述光栅操作包括8比特加法器。
11.权利要求1中所述的装置,其中所述装置可以被连接到一个存储器并且使用读出-修改-写入操作来访问该存储器。
12.权利要求1中所述的装置,其中数字图象信息流是从MPEG-2数据流中产生的。
13.一种支持图形生成和数字视频处理的装置,这种装置包括
用于计算三维空间中三角形图象的纹理映像引擎(110),该图象具有映像到三角形的数字纹理;
用于接收压缩的二维数字图象信息的装置,这些信息对数字图象映像进行了编码,其特征在于纹理映像引擎能由YUV4:2:0格式的图象生成YUV4:2:2格式的图象,这是通过使用至少一部分YUV4:2:0做为三维空间中的三角形的纹理映像对该至少一部分YUV4:2:0进行移位和放大来实现的;
像素包装设备(116),其与纹理映像引擎(110)相连并且被配置来有选择地排列YUV4:2:2格式的图象的字节数据以便能对来自YUV4:2:0格式图象的字节数据和YUV4:2:0格式图象的位移进行交织。
14.权利要求13中所述的装置,其中该装置还能与存储器(56)相连并访问存储器(56),其中纹理映像引擎(110)通过用算术方式修改存储在存储器(56)中的YUV4:2:0格式图象的起始地址对YUV4:2:0格式图象的至少一部分进行移位。
15.权利要求13中所述的装置,其中纹理映像引擎(110)还包括至少一个用于根据第一和第二个数字像素数据来确定内插数字像素数据的双线性内插器(112),其中双线性内插器(112)被配置来将通过提供2倍的垂直向上定标有选择地将YUV4:2:0格式图象的U平面和V平面上的多个样点映像到对应的目标图象。
16.权利要求13中所述的装置,其中像素包装设备包括至少一个寄存器(140),它被配置来根据相应的偏移值和相应的增量值有选择地提供目标图象的特定的Y,U和V字节数据,以生成交织的YUV4:2:2格式的图象,其中4:2:2格式的图象有多个字节通道,每个字节通道有多个字节位置。
17.权利要求16中所述的装置,其中目标图象的Y字节数据的增量值使得该像素包装设备(116)根据相应的偏移值每隔一个字节位置插入Y字节数据,目标图象的U字节数据的增量值使得该像素包装设备根据相应的偏移值每隔三个字节位置插入U字节数据,并且目标图象的V字节数据的增量值使得该像素包装设备根据相应的偏移值每隔三个字节位置插入V字节数据。
18.一种在计算机系统中用于生成图形和处理数字视频信号的方法,所述方法包括:
(1)基于至少一个命令信号,有选择地使用图形引擎的部件以生成数字图像数据,包括:
(a)将所述命令信号内的纹理信息变换成对应的三角形信息,其中所述三角形信息说明在三维空间中的三角形,
(b)基于所述三角形信息,确定所述三角形的数字像素数据,
(c)基于所述三角形信息和至少一个数字纹理映象来修改所述数字像素数据,
(2)基于至少一个数字图像映象和至少一个运动矢量,通过生成运动补偿数字图像数据来有选择地使用所述图形引擎的部件以生成运动补偿数字图像数据。
CNB988030667A 1997-11-04 1998-11-02 处理dvd视频的方法和装置 Expired - Lifetime CN1230790C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/963,931 US6208350B1 (en) 1997-11-04 1997-11-04 Methods and apparatus for processing DVD video
US08/963931 1997-11-04
US08/963,931 1997-11-04

Publications (2)

Publication Number Publication Date
CN1249836A CN1249836A (zh) 2000-04-05
CN1230790C true CN1230790C (zh) 2005-12-07

Family

ID=25507913

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB988030667A Expired - Lifetime CN1230790C (zh) 1997-11-04 1998-11-02 处理dvd视频的方法和装置

Country Status (6)

Country Link
US (2) US6208350B1 (zh)
EP (1) EP1002428A2 (zh)
JP (1) JP2001508631A (zh)
KR (1) KR100604102B1 (zh)
CN (1) CN1230790C (zh)
WO (1) WO1999023831A2 (zh)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100254609B1 (ko) * 1997-01-06 2000-05-01 구자홍 광디스크재생장치
EP1365385B1 (en) * 1998-11-09 2012-06-13 Broadcom Corporation Graphics display system with processing of graphics layers, alpha blending and composition with video data
US6552749B1 (en) * 1999-01-29 2003-04-22 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
TW413794B (en) * 1999-02-26 2000-12-01 Sunplus Technology Co Ltd A 3D graphics processor based on horizontal scan lines as processing unit and the drawing method therefor
US6577320B1 (en) * 1999-03-22 2003-06-10 Nvidia Corporation Method and apparatus for processing multiple types of pixel component representations including processes of premultiplication, postmultiplication, and colorkeying/chromakeying
JP3409734B2 (ja) * 1999-04-20 2003-05-26 日本電気株式会社 画像合成システム及び方法
JP3725368B2 (ja) * 1999-05-17 2005-12-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の表示択方法、コンピュータ・システムおよび記録媒体
US7212250B1 (en) * 1999-07-15 2007-05-01 Thomson Licensing Method and apparatus for providing on-screen displays for a multi-colorimetry receiver
US6518974B2 (en) * 1999-07-16 2003-02-11 Intel Corporation Pixel engine
US6658399B1 (en) * 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US6912350B1 (en) 1999-12-08 2005-06-28 Intel Corporation DVD subpicture rendering without loss of color resolution
US7158178B1 (en) * 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6628827B1 (en) * 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US6674479B2 (en) * 2000-01-07 2004-01-06 Intel Corporation Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion
US7414632B1 (en) * 2000-01-07 2008-08-19 Intel Corporation Multi-pass 4:2:0 subpicture blending
DE10001369A1 (de) 2000-01-14 2001-07-19 Infineon Technologies Ag Verfahren und Schaltungsanordnung zur Grafikdarstellung, insbesondere in einem digitalen Fernsehgerät
US6421067B1 (en) * 2000-01-16 2002-07-16 Isurftv Electronic programming guide
US6621490B1 (en) * 2000-03-03 2003-09-16 Ati International, Srl Method and apparatus for motion compensation using hardware-assisted abstraction layer
US6970206B1 (en) * 2000-04-20 2005-11-29 Ati International Srl Method for deinterlacing interlaced video by a graphics processor
US6310659B1 (en) * 2000-04-20 2001-10-30 Ati International Srl Graphics processing device and method with graphics versus video color space conversion discrimination
US6961063B1 (en) * 2000-06-30 2005-11-01 Intel Corporation Method and apparatus for improved memory management of video images
US6967659B1 (en) * 2000-08-25 2005-11-22 Advanced Micro Devices, Inc. Circuitry and systems for performing two-dimensional motion compensation using a three-dimensional pipeline and methods of operating the same
WO2002037857A2 (en) * 2000-10-31 2002-05-10 Koninklijke Philips Electronics N.V. Method and device for video scene composition including graphic elements
JP3529759B2 (ja) * 2001-01-26 2004-05-24 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法
US7885336B2 (en) * 2001-02-05 2011-02-08 Ati Technologies Ulc Programmable shader-based motion compensation apparatus and method
JP4050472B2 (ja) * 2001-02-06 2008-02-20 株式会社モノリス 画像生成方法、装置およびシステム
US7236204B2 (en) * 2001-02-20 2007-06-26 Digeo, Inc. System and method for rendering graphics and video on a display
EP1286540B1 (en) * 2001-08-22 2005-06-29 Thomson Licensing S.A. Consumer electronics appliances with shared memory
US6741263B1 (en) * 2001-09-21 2004-05-25 Lsi Logic Corporation Video sampling structure conversion in BMME
US6803922B2 (en) * 2002-02-14 2004-10-12 International Business Machines Corporation Pixel formatter for two-dimensional graphics engine of set-top box system
US6963613B2 (en) * 2002-04-01 2005-11-08 Broadcom Corporation Method of communicating between modules in a decoding system
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US7202907B2 (en) 2002-04-09 2007-04-10 Zoran Corporation 2:2 and 3:2 pull-down detection techniques
US7219352B2 (en) * 2002-04-15 2007-05-15 Microsoft Corporation Methods and apparatuses for facilitating processing of interlaced video images for progressive video displays
US7451457B2 (en) 2002-04-15 2008-11-11 Microsoft Corporation Facilitating interaction between video renderers and graphics device drivers
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7010046B2 (en) * 2002-05-02 2006-03-07 Lsi Logic Corporation Method and/or architecture for implementing MPEG frame display using four frame stores
JP4464599B2 (ja) 2002-05-13 2010-05-19 株式会社マイクロネット 3次元コンピュータ画像放送用テロップ装置およびその方法
US7634668B2 (en) * 2002-08-22 2009-12-15 Nvidia Corporation Method and apparatus for adaptive power consumption
AU2003223169A1 (en) * 2002-09-09 2004-03-29 Metav, Inc. System and method to transcode and playback digital versatile disc (dvd) content and other related applications
US20070008431A1 (en) * 2002-10-15 2007-01-11 Ulrich Englert Method and circuit for displaying graphics in a digital television receiver
US6952211B1 (en) * 2002-11-08 2005-10-04 Matrox Graphics Inc. Motion compensation using shared resources of a graphics processor unit
US7589788B1 (en) * 2003-02-28 2009-09-15 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
US7646817B2 (en) * 2003-03-28 2010-01-12 Microsoft Corporation Accelerating video decoding using a graphics processing unit
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7158668B2 (en) 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
US7139002B2 (en) * 2003-08-01 2006-11-21 Microsoft Corporation Bandwidth-efficient processing of video images
US7474355B2 (en) * 2003-08-06 2009-01-06 Zoran Corporation Chroma upsampling method and apparatus therefor
JP2005077501A (ja) * 2003-08-28 2005-03-24 Toshiba Corp 情報処理装置、表示制御用半導体装置およびビデオストリームデータの表示制御方法
JP2005107780A (ja) * 2003-09-30 2005-04-21 Sony Corp 画像混合方法および混合画像データ生成装置
US8063916B2 (en) * 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US7511714B1 (en) * 2003-11-10 2009-03-31 Nvidia Corporation Video format conversion using 3D graphics pipeline of a GPU
JP4044069B2 (ja) * 2004-04-23 2008-02-06 株式会社ソニー・コンピュータエンタテインメント テクスチャ処理装置、テクスチャ処理方法および画像処理装置
WO2005115015A1 (ja) * 2004-05-20 2005-12-01 Matsushita Electric Industrial Co., Ltd. 画像処理装置及びデータ処理方法
US7463819B2 (en) * 2004-10-29 2008-12-09 Ati Technologies Ulc Video playback method and apparatus
ITRM20040562A1 (it) * 2004-11-12 2005-02-12 St Microelectronics Srl Metodo di vettorializzazione di una immagine digitale.
WO2006113057A2 (en) * 2005-04-15 2006-10-26 Thomson Licensing Down-sampling and up-sampling processes for chroma samples
WO2007148355A1 (en) * 2006-06-22 2007-12-27 Stmicroelectronics S.R.L. A method and system for video decoding by means of a graphic pipeline, computer program product therefor
US8207978B2 (en) * 2006-06-29 2012-06-26 Intel Corporation Simplification of 3D texture address computation based on aligned, non-perspective objects
KR20080045516A (ko) * 2006-11-20 2008-05-23 삼성전자주식회사 Rgb 영상의 부호화 및 복호화 방법과 그 장치
US20080239152A1 (en) * 2007-03-29 2008-10-02 Kabushiki Kaisha Toshiba Sub picture reproducing device, sub picture reproducing method, and sub picture reproducing program
US8964117B2 (en) 2007-09-28 2015-02-24 Ati Technologies Ulc Single-pass motion adaptive deinterlacer and method therefore
US8300987B2 (en) * 2007-09-28 2012-10-30 Ati Technologies Ulc Apparatus and method for generating a detail-enhanced upscaled image
US8259228B2 (en) * 2007-12-10 2012-09-04 Ati Technologies Ulc Method and apparatus for high quality video motion adaptive edge-directional deinterlacing
CA2644379C (en) * 2007-12-19 2015-01-06 Sony Corporation Visually lossless video data compression
US8396129B2 (en) * 2007-12-28 2013-03-12 Ati Technologies Ulc Apparatus and method for single-pass, gradient-based motion compensated image rate conversion
US20100046917A1 (en) * 2008-08-21 2010-02-25 David Naranjo 3d enabled player/recorder
KR20110100640A (ko) * 2008-12-01 2011-09-14 노오텔 네트웍스 리미티드 3차원 컴퓨터 생성 가상 환경의 비디오 표시를 제공하는 방법 및 장치
US9218792B2 (en) 2008-12-11 2015-12-22 Nvidia Corporation Variable scaling of image data for aspect ratio conversion
US8860781B2 (en) * 2009-06-30 2014-10-14 Qualcomm Incorporated Texture compression in a video decoder for efficient 2D-3D rendering
US8826048B2 (en) * 2009-09-01 2014-09-02 Nvidia Corporation Regulating power within a shared budget
US8700925B2 (en) * 2009-09-01 2014-04-15 Nvidia Corporation Regulating power using a fuzzy logic control system
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
US8878996B2 (en) * 2009-12-11 2014-11-04 Motorola Mobility Llc Selective decoding of an input stream
US9256265B2 (en) 2009-12-30 2016-02-09 Nvidia Corporation Method and system for artificially and dynamically limiting the framerate of a graphics processing unit
US9830889B2 (en) 2009-12-31 2017-11-28 Nvidia Corporation Methods and system for artifically and dynamically limiting the display resolution of an application
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US9723216B2 (en) 2014-02-13 2017-08-01 Nvidia Corporation Method and system for generating an image including optically zoomed and digitally zoomed regions
CN105389776B (zh) 2014-09-02 2019-05-03 辉达公司 图像缩放技术
AU2015345649A1 (en) * 2014-11-12 2017-06-08 Hfi Innovation Inc. Methods of escape pixel coding in index map coding
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
CN107770472B (zh) * 2017-10-31 2020-07-28 中国电子科技集团公司第二十九研究所 一种secam制式模拟电视信号数字化解调方法及数字信号图像恢复方法
BR112022004606A2 (pt) * 2019-09-12 2022-05-31 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4945500A (en) * 1987-11-04 1990-07-31 Schlumberger Technologies, Inc. Triangle processor for 3-D graphics display system
US5341318A (en) * 1990-03-14 1994-08-23 C-Cube Microsystems, Inc. System for compression and decompression of video data using discrete cosine transform and coding techniques
US5333245A (en) * 1990-09-07 1994-07-26 Modacad, Inc. Method and apparatus for mapping surface texture
US5327509A (en) * 1992-04-27 1994-07-05 Star Technologies, Inc. Compressed image system for texture patterns
US5469535A (en) * 1992-05-04 1995-11-21 Midway Manufacturing Company Three-dimensional, texture mapping display system
US6101313A (en) * 1992-06-29 2000-08-08 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
CA2144253C (en) * 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
JPH07282292A (ja) * 1994-04-05 1995-10-27 Toshiba Corp テクスチャマッピング方法及び画像処理装置
US5719599A (en) * 1995-06-07 1998-02-17 Seiko Epson Corporation Method and apparatus for efficient digital modeling and texture mapping
US5870097A (en) * 1995-08-04 1999-02-09 Microsoft Corporation Method and system for improving shadowing in a graphics rendering system
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
US5831624A (en) * 1996-04-30 1998-11-03 3Dfx Interactive Inc Level of detail texture filtering with dithering and mipmaps
US5905500A (en) * 1997-02-19 1999-05-18 Seiko Epson Corporation Method and apparatus for adaptive nonlinear projective rendering
US6333743B1 (en) * 1997-10-23 2001-12-25 Silicon Graphics, Inc. Method and apparatus for providing image and graphics processing using a graphics rendering engine

Also Published As

Publication number Publication date
KR100604102B1 (ko) 2006-07-26
CN1249836A (zh) 2000-04-05
WO1999023831A3 (en) 1999-07-08
EP1002428A2 (en) 2000-05-24
US6208350B1 (en) 2001-03-27
KR20000069892A (ko) 2000-11-25
US6538658B1 (en) 2003-03-25
JP2001508631A (ja) 2001-06-26
WO1999023831A2 (en) 1999-05-14

Similar Documents

Publication Publication Date Title
CN1230790C (zh) 处理dvd视频的方法和装置
US8204324B2 (en) Method and apparatus for compressing and decompressing data
JP5722761B2 (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US6483521B1 (en) Image composition method, image composition apparatus, and data recording media
JP6472429B2 (ja) Luma値を決定するための方法、装置、およびシステム
US6046773A (en) Apparatus and method for decoding video images
US20100066762A1 (en) Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes
CN116647655A (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
WO2011013283A1 (ja) 画像合成装置、符号化装置、プログラム、媒体
CN1960495A (zh) 图像编码装置、方法及程序
US10019814B2 (en) Method, apparatus and system for determining a luma value
US7733355B2 (en) Apparatus and method of transforming three color signals into multi-color signal
US8837842B2 (en) Multi-mode processing of texture blocks
US20110002553A1 (en) Compressive coding device and decoding device
JP2007522732A (ja) スクリーンに表示される画像のアスペクト比の変更
JP2007158703A (ja) 動画生成装置、動画生成方法、及びプログラム
JP2007158706A (ja) 動画生成装置、動画生成方法、及びプログラム
CN1324886C (zh) 数字视频数据的处理装置及方法
JPH11317909A (ja) 画像合成方法,画像合成装置,及びデ―タ記録媒体
WO2024018239A1 (en) Video encoding and decoding
JP2007158705A (ja) 動画生成装置、動画生成方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20070831

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20070831

Address after: Holland Ian Deho Finn

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) INC.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100914

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, HOLLAND TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TR01 Transfer of patent right

Effective date of registration: 20100914

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130220

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130220

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

TR01 Transfer of patent right

Effective date of registration: 20180703

Address after: American Minnesota

Patentee after: Dynamic data technology limited liability company

Address before: American California

Patentee before: Entropic Communications, Inc.

TR01 Transfer of patent right
CX01 Expiry of patent term

Granted publication date: 20051207

CX01 Expiry of patent term