CN101042854A - 信息再现设备和信息再现方法 - Google Patents

信息再现设备和信息再现方法 Download PDF

Info

Publication number
CN101042854A
CN101042854A CNA2007100869267A CN200710086926A CN101042854A CN 101042854 A CN101042854 A CN 101042854A CN A2007100869267 A CNA2007100869267 A CN A2007100869267A CN 200710086926 A CN200710086926 A CN 200710086926A CN 101042854 A CN101042854 A CN 101042854A
Authority
CN
China
Prior art keywords
data
graph
processing
video data
hybrid processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007100869267A
Other languages
English (en)
Inventor
久野真司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101042854A publication Critical patent/CN101042854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Abstract

根据一个实施例，提供了一种信息再现方法，其包括步骤：执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加的混合处理；以及执行控制以保证当视频数据(80)和画面数据(70)随时间变化并且图形数据(61a、61b、61c、61d)不随时间变化时，处在除围绕在叠加到图形数据(61a、61b、61c、61d)中的视频数据(80)或画面数据(70)上的一部分周围的特定区域(63)之外的区域中的数据不用于混合处理，而处在所述特定区域(63)中的数据用于混合处理。

Description

信息再现设备和信息再现方法
技术领域
本发明的一个实施例涉及一种诸如HD DVD(高清数字多功能盘)播放器的信息再现设备和一种信息再现方法。
背景技术
近年来，随着对电影图像的数字压缩和编码技术的进步，已经开发出了一种能够基于HD(高清)标准来处理高清画面的再现设备(播放器)。
在这种播放器中，为了提高交互性，需要一种以更高阶混合多个图像数据集的功能。
例如，日本专利申请205092-1996中公开了这样一种系统，其通过使用显示控制器来使图形数据和视频数据结合。在该系统中，显示控制器捕获视频数据并将所捕获的视频数据结合到图形屏幕中的一部分区域。
同时，在包括了上述参考文献中公开的系统的传统系统中，假定以一个相对较低的分辨率来处理视频数据，并且不考虑对基于HD标准的如视频数据之类的高清图像的处理。而且，并没有计划要叠加多组图像数据。
另一方面，在HD标准中，达到5组图像数据都必须被适当地相互叠加。从而，吞吐量超过了实际处理能力。因此，对于叠加多组图像数据的这一处理，需要考虑负荷来适当地提高效率。
发明内容
本发明的目的是提供一种信息再现设备和信息再现方法，其能够实现叠加多组图像数据的处理效率的提高。
一般地，根据本发明的一个实施例，提供了一种信息再现方法，包括步骤：执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加的混合处理；以及执行控制，以保证当视频数据和画面数据随时间变化并且图形数据不随时间变化时，处在除围绕在叠加到所述图形数据中的视频数据或画面数据上的一部分周围的特定区域之外的区域中的数据不用于所述混合处理，而处在所述特定区域中的数据用于所述混合处理。
附图说明
下面将参考附图来描述能实现本发明各种特征的一般体系结构。提供附图及其相关描述是为了举例说明本发明实施例而并不限制本发明的范围。
图1是示出根据本发明实施例的再现设备结构的示例框图；
图2是示出在图1所描述的再现设备中所使用的播放器应用程序结构的示例图；
图3是说明由图2所描述的播放器应用程序实现的软件解码器的功能结构的示例图；
图4是说明由提供在图1所描述的再现设备中的混合处理部分来执行的混合处理的示例图；
图5是说明由提供在图1所描述的再现设备中的GPU来执行的混合处理的示例图；
图6是示出如何将副视频数据叠加到主视频数据上并将其显示在图1所描述的再现设备中的示例图；
图7是示出如何在图1所描述的再现设备中将主视频数据显示在副视频数据上的部分区域中的示例图；
图8是示出在图1所描述的再现设备中根据HD标准来叠加AV内容中多个图像数据集的进程的示例概念图；
图9是示出实现了进一步提高混合处理多组图像数据的效率的功能结构的示例框图；
图10是说明由图9中所描述的部分混合控制部分实现的部分混合处理的示例图；
图11是说明由图9中所描述的差分混合控制部分实现的差分混合处理的示例图；
图12是说明由图9所描述混合模式控制部分实现的流水线模式的示例图；
图13是示出在流水线模式中如何执行混合处理的示例图；
图14是示在顺序混合模式中如何执行混合处理的示例图；
图15是示出根据叠加了单个图像数据集的面积来对整个图像动态地切换混合模式的示例图；
图16是示出如何叠加单个图像数据集的示例图；以及
图17是示出根据叠加了单个图像数据集的面积来对每个图像部分切换混合模式的示例图。
具体实施方式
下面将参考附图描述根据本发明的各个实施例。
图1示出了根据本发明实施例的再现设备的结构实例。该再现设备是一个再现音频视频(AV)内容的介质播放器。将该再现设备实现为能够基于例如HD DVD(高清数字多功能盘)标准来对存储在DVD介质中的音频视频(AV)内容进行再现的HD DVD播放器。
如图1所示，该HD DVD播放器由以下部分组成：中央处理器(CPU)11、北桥12、主存储器13、南桥14、非易失性存储器15、通用串行总线(USB)控制器17、HD DVD驱动器18、图形总线20、外围元件互连(PCI)总线21、视频控制器22、音频控制器23、视频解码器25、混合处理部分30、主音频解码器31、副音频解码器32、音频混频器(音频混频)33、视频编码器40、诸如高清多媒体接口(HDMI)之类的AV接口(HDMI-TX)41等等。
在该HD DVD播放器中，将播放器应用程序150和操作系统(OS)151预先安装在非易失性存储器15中。播放器应用程序150是在OS151上操作的软件，并用来控制对从HD DVD驱动器18中读出的AV内容的再现。
存储在由HD DVD驱动器18驱动的如HD DVD介质之类的存储介质中的AV内容包括：经压缩和编码的主视频数据、经压缩和编码的主音频数据、经压缩和编码的副视频数据、经压缩和编码的子画面数据、包括alpha数据的图形数据、经压缩和编码的副音频数据、控制AV内容和其他内容再现的导航数据。
经压缩和编码的主视频数据是通过在基于H.264/AVC标准的压缩和编码模式中对用作主画面(主屏幕图像)的运动图像数据进行压缩和编码而获得的数据。主视频数据是由基于HD标准的高清视频数据形成的。而且，还可使用基于标准清晰度(SD)标准的主视频数据。经压缩和编码的主音频数据是对应于主视频数据的音频数据。对主音频数据的再现与对主视频数据的再现同步执行。
经压缩和编码的副视频数据是一种子画面，其在叠加到主视频的状态下被显示，并由对主视频数据进行补充的运动图像(如采访电影导演的场景)形成。经压缩和编码的副音频数据是对应于副视频数据的音频数据。对副音频数据的再现与对副视频数据的再现同步执行。
图形数据同样也是一种子画面(子屏幕图像)，其在叠加到主视频的状态下被显示，并由例如显示菜单对象之类的操作引导所需的各种数据(高级元素)形成。每个高级元素都由静止图像、运动图像(包括动画)或文本组成。播放器应用程序150具有画图功能，可以根据用户的鼠标操作来画图。由该画图功能所画的图像也被用作图形数据，并可在叠加到主视频上的状态下被显示。
经压缩和编码的子画面数据包括字幕之类的文本。
导航数据包括用来控制内容的再现次序的播放列表以及用来控制副视频、图形(高级元素)等的再现的脚本。用XML之类的标记语言写入脚本。
基于HD标准的主视频数据具有例如1920×1080象素或1280×720象素的分辨率。而且，副视频数据、子画面数据和图形数据的每一个都具有例如720×480象素的分辨率。
在该HD DVD播放器中，将主视频数据、主音频数据、副视频数据、副音频数据和子画面数据从读出自HD DVD驱动器18的HD DVD流中分离出来的分离处理以及对副视频数据、子画面数据和图形数据进行解码的解码处理是通过软件(播放器应用程序150)来执行的。另一方面，需要很大吞吐量的处理，即解码主视频数据的处理、解码主音频数据和副音频数据等的解码处理都是由硬件执行的。
CPU 11是一个被提供来控制该HD DVD播放器的操作的处理器，并且其用来执行从非易失性存储器15装载到主存储器13的OS 151和播放器应用程序150。主存储器13中的一部分存储区域被用作视频存储器(VRAM)131。应当注意，并不是主存储器13中的一部分存储区域必须被用作VRAM 131，可将一个独立于主存储器13的专用存储装置用作VRAM 131。
北桥12是连接CPU 11的局域总线与南桥14的桥装置。用来控制对主存储器13的访问的存储器控制器被包括在北桥12中。此外，图形处理单元(GPU)120也包括在该北桥12中。
GPU 120是一个图形控制器，其通过CPU 11由写入视频存储器(VRAM)131的数据来生成形成了图形屏幕图像的图形信号，该视频存储器(VRAM)131位于主存储器13的一部分存储区域中。GPU 120使用诸如位块传送之类的图形算法函数来生成图形信号。例如，当由CPU 11将图像数据(副视频、子画面、图形和光标)写入VRAM 131中四个平面的每一个时，GPU 120通过使用位块传送来执行针对每一象素将对应于这四个平面的图像数据进行叠加的混合处理，从而生成图形信号，该图形信号是形成具有与主视频相同分辨率(如1920×1080象素)的图形屏幕图像所需的。通过使用与副视频、子画面和图形的每一个相对应的alpha数据来执行该混合处理。alpha数据是指示与该alpha数据对应的图像数据的每个象素透明度(或不透明度)的系数。与副视频、子画面和图形的每一个相对应的alpha数据与副视频、子画面和图形的图像数据一起存储在HD DVD介质中。即，副视频、子画面和图形的每一个是由图像数据和alpha数据形成的。
由GPU 120生成的图形信号具有RGB彩色空间。该图形信号的每个象素都使用数字RGB数据来表现。
GPU 120不仅具有生成图形信号来形成图形屏幕图像的功能，还具有将对应于所生成图形数据的alpha数据向外输出的功能。
具体地说，GPU 120将所生成的图形信号作为数字RGB视频信号向外输出，并且还输出与所生成的图形信号对应的alpha数据。alpha数据是指示所生成的图形信号的每个象素透明度(或不透明度)的系数(8位)。GPU 120输出具有由图形信号(由24位组成的数字RGB视频信号)形成的alpha数据(由32位组成的RGBA数据)和具有对应于每个象素的alpha数据(8位)的图形输出数据。通过专用图形总线20来将具有alpha数据(由32位组成的RGBA数据)的图形输出数据提供给混合处理部分30。该图形总线20是连接GPU 120和混合处理部分30的传输线。
如上所述，在该HD DVD播放器中，具有alpha数据的图形输出数据通过图形总线20从GPU 120直接传送到混合处理部分30。结果，不必将该alpha数据从VRAM 131通过PCI总线21等传送到混合处理部分30，因此避免了由于alpha数据的传送而造成的PCI总线21的通信量的增加。
如果将alpha数据从VRAM 131通过PCI总线21等传送到混合处理部分30，则从GPU 120输出的图形信号和通过PCI总线21传送的alpha数据必须在混合处理部分30中被同步，由此使得混合处理部分30的结构变得复杂。在该HD DVD播放器中，GPU 120使图形信号与alpha数据依照每个象素而彼此同步，并将所获结果输出。因此，可稳定的实现图形信号与alpha数据的同步。
南桥14控制PCI总线21中的每个装置。而且，南桥14包括用来控制HD DVD驱动器18的IDE(集成驱动电子设备)控制器。另外，南桥14还具有控制非易失性存储器15和USB控制器17的功能。USB控制器17控制鼠标装置171。用户可操作鼠标装置171来选择例如菜单。当然，可使用遥控器来代替鼠标装置171。
HD DVD驱动器18是一个用来驱动存储介质的驱动单元，该存储介质诸如在其中存储了与HD DVD标准对应的音频视频(AV)内容的HD DVD介质之类。
视频控制器22与PCI总线21相连。该视频控制器22是一个执行与视频解码器25的连接的LSI。用软件从HD DVD流中分离出来的主视频数据流通过PCI总线21和视频控制器22来提供给视频解码器25。另外，从CPU 11输出的解码控制信息也通过PCI总线21和视频控制器22而反馈给了视频解码器25。
视频解码器25是对应于H.264/AVC标准的解码器，并根据HD标准对主视频数据进行解码以生成用于形成具有例如1920×1080象素分辨率的视频屏幕图像的数字YUV视频信号。该数字YUV视频信号被发送到混合处理部分30。
混合处理部分30与GPU 120和视频解码器25分别耦合，并且执行将GPU 120输出的图形输出数据与视频解码器25解码的主视频数据叠加在一起的混合处理。在该混合处理中，根据与图形数据(RGB)一起从GPU 120输出的alpha数据来执行以象素为单位将构成图形数据的数字RGB视频信号与构成主视频数据的数字YUV视频信号进行叠加的混合处理(alpha混合处理)。在这种情况下，主视频数据被用作下层屏幕图像，而图形数据被用作叠加在主视频数据上的上层屏幕图像。
通过混合处理获得的输出图像数据被提供到视频编码器40和AV接口(HDMI-TX)41的每一个来作为例如数字YUV视频信号。视频编码器40把通过混合处理获得的输出图像数据(数字YUV视频信号)转换成成分视频信号或S-视频信号，并将转换的信号输出到诸如TV接收器之类的外部显示装置(监视器)。AV接口(HDMI-TX)41把包括数字YUV视频信号和数字音频信号的数字信号组输出到外部HDMI装置。
音频控制器23与PCI总线21相连。该音频控制器23是一个与主音频解码器31和副音频解码器32的每一个执行连接的LSI。用软件从HD DVD流中分离出来的主音频数据流通过PCI总线21和音频控制器23来提供给主音频解码器31。另外，从HD DVD流中分离出来的副音频数据流通过PCI总线21和音频控制器23来提供给副音频解码器32。从CPU 11输出的解码控制信息也通过音频控制器23而被提供给主音频解码器31和副音频解码器32的每一个。
主音频解码器31对主音频数据进行解码以生成I2S(内置集成电路声音)格式的数字音频信号。该数字音频信号被提供给音频混频器33。通过使用多种预定压缩和编码模式(即多种类型的音频压缩扩展装置)中的任意一种来对主音频数据进行压缩和编码。因此，主音频解码器31应具有对应多种类型压缩和编码模式的解码功能。即，主音频解码器31对通过多种压缩和编码模式中的任意一种而压缩和编码了的主音频数据进行解码，以生成数字音频信号。通过来自CPU11的解码控制信息来将对应于主音频数据的压缩和编码模式通知给主音频解码器31。
副音频解码器32对副音频数据进行解码以生成I2S(内置集成电路声音)格式的数字音频信号。该数字音频信号被发送到音频混频器33。副音频数据也通过使用多种预定压缩和编码模式(即多种类型的音频压缩扩展装置)中的任意一种来被压缩和编码。因此，副音频解码器32也应具有对应多种类型压缩和编码模式的解码功能。即，副音频解码器32对通过多种压缩和编码模式中的任意一种而压缩和编码了的副音频数据进行解码，以生成数字音频信号。通过来自CPU11的解码控制信息来将对应于副音频数据的压缩和编码模式通知给副音频解码器32。
音频混频器33用来执行把由主音频解码器31解码的主音频数据和由副音频解码器32解码的副音频数据进行混频以生成数字音频输出信号的混频处理。该数字音频输出信号被提供到AV接口(HDMI-TX)41，并被转换成模拟输出信号而随后被输出到外部。
现在将参考图2来描述由CPU 11执行的播放器应用程序150的功能结构。
播放器应用程序150包括多路分离(多路分离器)模块、解码控制模块、子画面解码模块、副视频解码模块、图形解码模块等。
多路分离模块是用来执行从读取自HD DVD驱动器18的流中分离主视频数据、主音频数据、子画面数据、副视频数据和副音频数据的多路分离处理的软件。解码控制模块是用来控制与主视频数据、主音频数据、子画面数据、副视频数据、副音频数据和基于导航数据的图形数据有关的解码处理的软件。
子画面解码模块解码子画面数据。副视频解码模块解码副视频数据。图形解码模块解码图形数据(高级元素)。
图形驱动器是用来控制GPU 120的软件。通过图形驱动器将解码的子画面数据、解码的副视频数据和解码的图形数据提供给GPU120。另外，图形驱动器向GPU 120发出各种类型的画图命令。
PCI流传送驱动器是用来通过PCI总线21传送流的软件。由PCI流传送驱动器将主视频数据、主音频数据和副音频数据通过PCI总线21分别传送到视频解码器25、主音频解码器31和副音频解码器32。
现在将参考图3来描述通过由CPU 11执行的播放器应用程序150来实现的软件解码器的功能结构。
如图所示，软件解码器提供有：数据读取部分101、编码中断处理部分102、多路分离(多路分离器)部分103、子画面解码器104、副视频解码器105、图形解码器106、导航控制部分201等。
通过数据读取部分101把存储在HD DVD驱动器18的HD DVD介质中的内容(主视频数据、副视频数据、子画面数据、主音频数据、副音频数据、图形数据和导航数据)从HD DVD驱动器18中读出。分别对主视频数据、副视频数据、子画面数据、主音频数据、副音频数据、图形数据和导航数据进行编码。将主视频数据、副视频数据、子画面数据、主音频数据、和副音频数据多路复用到HD DVD流中。由数据读取部分101从HD DVD介质中读出的主视频数据、副视频数据、子画面数据、主音频数据、副音频数据、图形数据和导航数据被分别输入到内容编码中断处理部分102中。编码中断处理部分102执行对每个数据中断编码的处理。中断了编码的导航数据被发送到导航控制部分201。另外，中断了编码的HD DVD流被提供到多路分离部分103。
导航控制部分201对导航数据所包括的脚本(XML)进行分析以控制图形数据(高级元素)的再现。将图形数据提供给图形解码器106。图形解码器106由播放器应用程序150的图形解码模块构成，并用来解码图形数据。
另外，导航控制部分201还执行根据用户对鼠标装置171的操作而移动光标的处理，以及响应菜单选择来再现音效的处理等。用画图功能来画图像是通过以下方式实现的，即由当航控制部分201获取来自用户的鼠标装置171的操作，在GPU 120中生成包括轨迹(即，光标轨迹)的画面的图形数据，并且随后将该数据作为与基于通过图形解码器106解码的导航数据的图形数据相等同的图形数据而再次输入给GPU 120。
多路分离器103是由播放器应用程序150的多路分离模块实现的。多路分离器103将主视频数据、主音频数据、副音频数据、子画面数据、副视频数据等从HD DVD流中分离出来。
通过PCI总线21将主视频数据提供给视频解码器25。由视频解码器25对主视频数据进行解码。经解码的主视频数据具有基于HD标准的例如1920×1080象素的分辨率，并作为数字YUV视频信号被发送到混合处理部分30。
通过PCI总线21将主音频数据提供给主音频解码器31。由主音频解码器31对主音频数据进行解码。经解码的主音频数据作为具有I2S格式的数字音频信号被提供给音频混频器33。
通过PCI总线21将副音频数据提供给副音频解码器32。由副音频解码器32对副音频数据进行解码。经解码的副音频数据作为具有I2S格式的数字音频信号被提供给音频混频器33。
子画面数据和副视频数据被分别发送到子画面解码器104和副视频解码器105。子画面解码器104和副视频解码器105分别对子画面数据和副视频数据进行解码。子画面解码器104和副视频解码器105分别由播放器应用程序150的子画面解码模块和副视频解码模块来实现。
子画面数据、副视频数据和图形数据分别由子画面解码器104、副视频解码器105和图形解码器106来解码，并由CPU 11写入VRAM131。另外，对应于光标图像的光标数据也被CPU 11写入VRAM 131。子画面数据、副视频数据、图形数据和光标数据的每一个都包括对应每一象素的RGB数据和alpha数据(A)。
GPU 120由被CPU 11写入VRAM 131的副视频数据、图形数据、子画面数据和光标数据来生成用来形成例如1920×1080象素图形屏幕图像的图形输出数据。在此情况下，通过由GPU 120的混频器(MIX)部分121执行的alpha混合处理来将副视频数据、图形数据、子画面数据和光标数据按照每个象素叠加。
该alpha混合处理使用与写入VRAM 131的副视频数据、图形数据、子画面数据和光标数据的每一个相对应的alpha数据。也就是说，被写入VRAM 131中的副视频数据、图形数据、子画面数据和光标数据的每一个都由图像数据和alpha数据形成。混频器(MIX)部分121根据对应于副视频数据、图形数据、子画面数据和光标数据每一个的dcalpha数据以及由CPU 11指定的副视频数据、图形数据、子画面数据和光标数据每一个的位置信息来执行混合处理，从而生成一个将副视频数据、图形数据、子画面数据和光标数据叠加到例如1920×1080象素的背景图像上的图形屏幕图像。
对应背景图像每个象素的alpha值是指示该象素是透明的值，即0。考虑一个其中将各个图像数据集叠加在图形屏幕图像上的区域，由混频器(MIX)部分121来计算与该区域对应的新alpha数据。
以此方法，GPU 120由副视频数据、图形数据、子画面数据和光标数据生成了用来形成1920×1080象素图形屏幕图像的图形输出数据(RGB)和对应于该图形数据的alpha数据。应当注意，对于其中显示了与副视频数据、图形数据、子画面数据和光标数据对应的图像之一的屏幕，生成了与一个图形屏幕图像对应的图形数据和对应于该图形数据的alpha数据，其中在所述图形屏幕图像中，只有该图像(如720×480)被布置在1920×1080象素的背景图像上。
通过图形总线20来把GPU 120生成的图形数据(RGB)和alpha数据提供给混合处理部分30。
现在将参考图4来描述由混合处理部分30执行的混合处理(alpha混合处理)。
alpha混合处理是根据附加到图形数据(RGB)上的alpha数据(A)来将图形数据与主视频数据以象素为单位进行叠加的混合处理。在此情况下，图形数据(RGB)被用作上层表面并被叠加到视频数据上。从GPU 120输出的图形数据的分辨率与从视频解码器25输出的主视频数据的分辨率相同。
假设将分辨率为1920×1080象素的主视频数据(视频)作为图像数据C输入到了混合处理部分30，并将分辨率为1920×1080象素的图形数据作为图像数据G输入到了混合处理部分30。混合处理部分30执行算法操作来根据分辨率为1920×1080象素的alpha数据(A)将图像数据G以象素为单位叠加到图像数据C上。该算法操作根据以下表达式(1)来执行：
V＝α×G+(1-α)C               ...(1)
这里，V是通过alpha混合处理获得的输出图像数据中每个象素的颜色，α是对应于图形数据G中每个象素的alpha值。
现在将参照图5来描述由GPU 120的MIX部分121执行的混合处理(alpha混合处理)。
这里，假设由写入到VRAM 131中的子画面数据和副视频数据来生成分辨率为1920×1080象素的图形数据。子画面数据和副视频数据的每一个都具有例如720×480象素的分辨率。在此情况下，分辨率为例如720×480象素的alpha数据也与子画面数据和副视频数据的每一个相关联。
例如，对应于子画面数据的图像被用作上层表面，并且对应于副视频数据的图像被用作下层表面。
对于一个其中把对应于子画面数据的图像和对应于副视频数据的图像相叠加的区域，在该区域中每个象素的颜色都是由以下的表达式(2)来获得的：
G＝Go×αo+Gu(1-αo)αu        ...(2)
这里，G是叠加了图像的区域中每个象素的颜色，Go是用作上层表面的子画面数据中每个象素的颜色，αo是用作上层表面的子画面数据中每个象素的alpha值，并且Gu是用作下层表面的副视频数据的每个象素的颜色。
而且，对于一个其中把对应于子画面数据的图像和对应于副视频数据的图像相叠加的区域，在该区域中每个象素的alpha数据都是由以下的表达式(3)来获得的：
α＝αo+αu×(1-αo)           ...(3)
这里，α是叠加了图像的区域中每个象素的alpha值，并且αu是用作下层表面的副视频数据中每个象素的alpha值。
以此方式，GPU 120的MIX部分121利用被用作与子画面数据对应的alpha数据的上层表面和与副视频数据对应的alpha数据的上层表面的alpha数据来将子画面数据与副视频数据叠加起来，从而生成了用来形成1920×1080象素的屏幕图像的图形数据。另外，GPU 120的MIX部分121由对应于子画面数据的alpha数据和对应于副视频数据的alpha数据来计算在用来形成1920×1080象素的屏幕图像的图形数据中每个象素的alpha值。
具体地说，GPU 120的MIX部分121执行将1920×1080象素的表面(所有象素的颜色＝黑，所有象素的alpha值＝0)、具有720×480象素的副视频数据的表面和具有720×480象素的子画面数据的表面叠加在一起的混合处理，从而来计算用来形成1920×1080象素的屏幕图像的图形数据和具有1920×1080象素的alpha数据。1920×1080象素的表面被用作最底面，副视频数据的表面被用作第二最底面，并且子画面数据的表面被用作最高表面。
在具有1920×1080象素的屏幕图像中，在子画面数据和副视频数据都不存在的区域中每个象素的颜色都是黑色。另外，在子画面数据单独存在的区域中每个象素的颜色与在子画面数据中每个对应象素的原始颜色相同。类似地，在副视频数据单独存在的区域中每个象素的颜色与在副视频数据中每个对应象素的原始颜色相同。
另外，在具有1920×1080象素的屏幕图像中，与子画面数据和副视频数据都不存在的区域中的每个象素对应的alpha值为0。在子画面数据单独存在的区域中的每个象素的alpha值与在子画面数据中每个对应象素的原始alpha值相同。类似地，在副视频数据单独存在的区域中每个象素的alpha值与在副视频数据中每个对应象素的原始alpha值相同。
图6示出了如何将具有720×480象素的副视频数据叠加到具有1920×1080象素的主视频数据上并显示。
在图6中，通过将1920×1080象素的表面(全部象素的颜色＝黑色，全部象素的alpha值＝0)与具有720×480象素的副视频数据的表面按照每个象素进行叠加的混合处理来生成图形数据。
如上所述，输出到显示装置的输出图像数据(视频+图形)是通过将图形数据和主视频数据混合来生成的。
对于具有1920×1080象素的图形数据，其在不存在720×480象素副视频数据的区域中每个象素的alpha值都为0。因此，具有720×480象素的副视频数据的区域变得透明，并因此将主视频数据100％不透明地显示在该区域中。
将720×480象素的副视频数据中的每个象素以通过对应于该副视频数据的alpha数据所指定的透明度来显示在主视频数据上。例如，在具有alpha值＝1的副视频数据中的一个象素被100％不透明地显示，并且在该象素所对应的主视频数据中的象素不被显示。
另外，如图7所示，分辨率减小到720×480象素的主视频数据也可被显示在分辨率扩展到1920×1080象素的副视频数据的一部分区域中。
通过使用GPU 120的缩放功能和视频解码器25的缩放功能来实现图7的显示结构。
具体地说，GPU 120根据来自CPU 11的指令来执行逐渐增加副视频数据的分辨率直到副视频数据的分辨率达到1920×1080象素的缩放处理。通过使用象素插入来执行该缩放处理。由于副视频数据的分辨率增加，在1920×1080象素的图形数据中，不存在720×480象素副视频数据的区域(alpha值＝0的区域)将逐渐减小。结果，在被叠加到主视频数据上时所显示的副视频数据的大小将逐渐增加，并且相反alpha值＝0的区域将逐渐减小。当副视频数据的分辨率(图像大小)达到1920×1080象素时，GPU 120执行将720×480象素的表面(全部象素的颜色＝黑色，全部象素的alpha值＝0)与具有1920×1080象素的副视频数据的表面按照每个象素进行叠加的混合处理，从而将alpha值＝0的一个720×480象素的区域布置在1920×1080象素的副视频数据上。
另一方面，视频解码器25根据来自CPU 11的指令来执行将主视频数据的分辨率减小到720×480象素的缩放处理。
减小到720×480象素的主视频数据被显示在alpha值＝0的一个720×480象素的区域中，该区域布置在1920×1080象素的副视频数据上。也就是说，从GPU 120输出的alpha数据也可被用作一个掩膜，用以限制其中显示了主视频数据的区域。
由于可以这种方式用软件自由地控制从GPU 120输出的alpha数据，所以可将图形数据有效地叠加到主视频数据上并显示，从而容易地实现对具有高交互性的画面的表现。另外，由于可将alpha数据与图形数据一起自动地从GPU 120传送到混合处理部分30，所以软件不必具有能够感知alpha数据像混合处理部分30传送的功能。
图8是示例概念图，其示出由如上所描述来操作的GPU 120和混合处理部分30来对由该HD DVD播放器所再现的基于HD标准的AV内容中多个图像数据集的每一个进行叠加的进程。
在HD标准中，定义了5个层，即层1到层5，并且上述光标、图形、子画面、副视频和主视频分别位于每个层。另外，如图8所示，该HD DVD播放器执行将层1到层5中的层1到层4的4个图像a1到a4进行叠加的处理来作为GPU 120的混频器部分121中的预处理，并且执行将该GPU 120的输出图像与层5的图像a5进行叠加的处理来作为混合处理部分30中的后处理，从而产生了目标图像a6。
当以这种方式把根据HD标准定义的层1到5的5组图像数据的叠加物分成两个阶段时，该HD DVD播放器将负荷适当地分配。另外，层5的主视频是一个高清画面，并且每个帧都必须以30帧/秒的速度更新。因此，在用来处理该主视频的混合处理部分30中，必须以30次/秒来执行叠加。另一方面，由于对于层1到层4的光标、图形、子画面和副视频来说不需要像主视频那么高的图像质量，所以在GPU120中的混频器部分121中以10次/秒来执行叠加就足够了。如果在混合处理部分30中与层5的主视频一起执行层1到4的光标、图形、子画面、副视频的叠加，则对于层1到4的每一个都以30次/秒来执行叠加，即超出必须执行20次/秒。其次，也就是说该HD DVD播放器适当地提高了效率。
虽然将层1到4的光标、图形、子画面和副视频从播放器应用程序150提供到了GPU 120，但是如图8所示，播放器应用程序150具有光标画图管理器107和表面管理/定时控制器108，以及具有上述子画面解码器104、副视频解码器105和图形解码器(元素解码器)106，从而将每个图像数据提供给该GPU 120。
光标画图管理器107作为导航控制部分201的一个功能来实现，并执行光标画图控制以响应于用户进行的鼠标装置171的操作来移动光标。另一方面，表面管理/定时控制器108执行定时控制来适当地显示由子画面解码器104解码的子画面数据的图像。
应当注意，画图中的光标控制表示了根据鼠标装置171的操作而从USB控制器17发出的用于光标移动的控制数据。ECMA脚本指定了一个脚本，其中写入了命令画点、画线、画图形符号等的画图API。iHD标记是以标记语言写入的文本数据，用来在适时的基础上显示各种高级元素。
另外，GPU 120具有缩放处理部分122、亮度键处理部分123和3D图形引擎124，以及混合器部分121。
缩放处理部分122执行关于图7中所描述的缩放处理。亮度键处理部分123执行将亮度值不大于阈值的象素的alpha值设置为0的亮度键处理，从而移除在图像中的背景(黑色)。3D图形引擎124执行图形数据的生成处理，包括产生一个用于画图功能的图像(包括光标轨迹的画面)。
如图8所示，该HD DVD播放器执行关于层2到4的图像a2到a4的缩放处理，并且另外还执行关于层4的图像a4的亮度键处理。另外，在该HD DVD播放器中，这些缩放处理和亮度键处理的每一个都不是通过GPU 120单独执行的，而是在(由混频器部分121)执行混合处理时与该混合处理同步执行的。对于播放器应用程序150，要求缩放处理和亮度键处理与混合处理同步。如果通过GPU 120单独地执行缩放处理或亮度键处理，则需要用来临时存储缩放处理后的图像或亮度键处理后的图像的中间缓冲器，并且必须在该中间缓冲器和GPU 120之间传送数据。另一方面，在执行所谓流水线处理的HD DVD播放器中，即通过所述流水线处理使缩放处理部分122、亮度键处理部分123和混频器部分121彼此相关联的启动，即在GPU 120中根据需要将缩放处理部分122的输出输入到亮度键处理部分123中、并根据需要将亮度键处理部分123的输出输入到混频器部分121中，该HD DVD中不需要中间缓冲器，并且也不会发生中间缓冲器与GPU 120之间的数据传送。即，在这一点上该HD DVD也实现了效率的适当提高。
应当注意，图8所示的象素缓冲器管理器153是一个用来对象素缓冲器的分配执行管理的中间设备，其中所述象素缓冲器被用作工作区，该工作区用于通过使用3D图像引擎124来由鼠标操作来画图像或用于画例如由元素解码器106进行操作指导的对象。为了进一步通过驱动器来优化分配管理，将象素缓冲器管理器153插入到该驱动器和使用该象素缓冲器的主机系统中，其中所述驱动器准备在软件中将象素缓冲器用作硬件。
如上所述，在该HD DVD播放器中，通过把以HD标准定义的层1到5的5个图像数据集的叠加分成两个阶段可以实现适当的负荷分配并实现效率提高，并且通过与混合处理同步地执行缩放处理或亮度键处理可以实现效率的进一步提高。
图9是示出实现了进一步提高混合处理多组图像数据的效率的功能结构的示例框图。应当注意，为了更好的理解技术概念，以下描述主要集中在对三种类型数据，即副视频数据、子画面数据和图形数据的描述，而不对光标数据等进行具体说明。
GPU控制功能50是由实现进一步提高GPU 120中混合处理效率的软件来形成的。该GPU控制功能50包括部分混合控制部分51、差分混合控制部分52、混合模式控制部分53等。使用这些功能可以实现效率的提高以及实现对提供给相同帧缓冲器的副视频数据、子画面数据和图形数据的高速混合处理速度的增加。
部分混合控制部分51是一个功能部分，其控制GPU 120，以保证在图形数据单独占用了例如整个平面的一部分时，处在除去围绕图形数据的特定区域之外的区域中的数据不用于混合处理，而处在该特定区域中的数据用于混合处理。应当注意，该控制部分51还提供有执行分组处理的功能，即在当图形数据被分割成多个数据集并且该多个数据集的排布满足确定的条件时用一个帧来围绕多个数据集以形成一个特定区域。
差分混合控制部分52是一个功能部分，其控制GPU 120，以保证在副视频数据和子画面数据随时间变化而图形数据不随时间变化时，处在除去围绕在叠加到图形数据中副视频数据或子画面数据上的一部分周围的特定区域之外的区域中的数据不用于混合处理，而处在该特定区域中的数据用于混合处理。该控制部分52还提供有实现分组功能的功能部分。
混合模式控制部分53是这样一个功能部分，其根据叠加了单个数据集的面积来确定使用第一数据处理模式(稍后所述的“流水线模式”)和第二数据处理模式(稍后所述的“顺序混合模式”)其中之一，并且其还控制GPU 120以保证在所确定的模式下执行混合处理。第一数据处理模式是通过使用彼此多级耦合的处理单元来实现的，从而可以分别读取副视频数据、子画面数据和图形数据。
图10是说明由图9中所描述的部分混合控制部分51实现的部分混合处理的示图。
例如，将考虑图形数据随时间变化并占用整个图形平面60中一部分的情况。这里，假设图形数据被分割为多个数据集61a、61b、61c和61d。
这里，当多个数据集61a、61b、61c和61d的排布满足确定的条件时，执行用一个帧来围绕多个数据集以形成一个特定区域62的分组处理。例如，当要被形成的特定区域62的面积与多个数据集61a、61b、61c和61d的总面积之间的差(即，多个数据集之间间隔的面积)小于一个预定值时，可能执行分组处理。
另外控制GPU 120以保证处在除去特定区域62之外区域中的数据不用于混合处理，而处在该特定区域62中的数据用于混合处理。即，未图示的副视频数据和子画面数据被提供给帧缓冲器，而另一方面在图形平面60中仅特定区域62中的数据被发送到与图形数据有关的帧缓冲器。
由于特定区域62之外的区域(背景部分)是例如透明(无色)数据并且不随时间变换，所以无需执行混合处理。对于该背景部分，由于未执行混合处理，所以实现了促进整个混合处理中的高效率/速度的增加。而且，对于背景部分无需进行alpha混合处理，因此实现了进一步促进整个混合处理中的高效率/速度的增加。另外，由于以分散的方式而存在的多个数据集61a、61b、61c和61d不是被单独处理而是通过分组处理所形成的一个区域被一起处理，所以可实现促进整个混合处理中的高效率/速度的增加。
图11是说明由图9中所描述的差分混合控制部分52实现的差分混合处理的示例图。
假设如图10所示示例那样图形数据独自占用了整个图形平面60中一部分的情况，并且多个数据集61a、61b、61c和61d以分散的方式而存在。这里，将考虑副视频数据80和子画面数据70随时间变化而图形数据61a、61b、61c和61d不随时间变化的情况。
首先，对叠加到副视频数据80或子画面数据70上的各个图形数据集61a、61b、61c和61d的(4个)部分进行检测。当4个叠加部分的排布满足确定的条件时，执行用一个帧来围绕这些部分以形成一个特定区域63的分组处理。
另外，控制GPU 120以保证处在特定区域63以外的区域中的数据不用于混合处理，而处在该特定区域63中的数据用于混合处理。即，副视频数据80和子画面数据70被提供给帧缓冲器，而另一方面在图形平面60中仅特定区域63中的数据被发送到与图形数据有关的帧缓冲器。
类似于图10中所描述的示例，由于透明(无色)数据不随时间变换，所以无需对这部分执行混合处理。而且在图形数据61a、61b、61c和61d中未重叠在副视频数据80和子画面数据70二者上的部分(数据61b的下部、61c的下部和61d的下部)内不会发生数据更新，并且无需对这部分执行混合处理。对于这样的区域不执行混合处理，而另一方面仅对在下层(副视频数据80和子画面数据70)发生了数据更新的区域执行混合处理，因此实现了进一步促进整个混合处理中的高效率/速度的增加。
图12是说明由图9所描述混合模式控制部分53实现的流水线模式的示例图。应当注意副视频数据、子画面数据和图形数据，以及光标数据都将作为说明的目标。
在GPU 120中提供的3D图形引擎124具有多级连接的处理单元90A、90B、90C和90D。这些处理单元可通过例如使用了微代码的程序来实现。
处理单元90A接收未图示的透明数据和副视频数据，并将它们集体发送到下一级处理单元90B。处理单元90A被提供有执行混合处理输入数据、缩放处理、亮度键处理等的功能。
处理单元90B接收从处理单元90A发送的数据和子画面数据，并将它们集体提供给下一级处理单元90C。处理单元90B被提供有执行混合处理输入数据、缩放处理等的功能。
处理单元90C接收从处理单元90B馈送的数据和图形数据，并将它们集体提供给下一级处理单元90D。处理单元90C被提供有执行混合处理输入数据(包括上述部分混合处理或差分混合处理)、缩放处理等的功能。
处理单元90D接收从处理单元90C发送的数据和光标数据，并将它们集体提供给帧缓冲器91。处理单元90C被提供有实现混合处理输入数据、缩放处理等的功能。
在本方式中，多级连接的处理单元90A、90B、90C和90D形成了一个流水线，该流水线把顺序输入的各种图像数据集体发送到帧缓冲器91。
混合模式控制部分53可被控制来确保流水线模式中的混合处理由GPU 120通过这样的处理单元90A、90B、90C和90D来执行。即，如图13所示，混合模式控制部分53可控制GPU 120以确保在流水线模式下执行混合处理，其中在流水线模式中：副视频数据被读取，子画面数据被读取，图形数据被读取，并且所读取的各个数据被集中写入帧缓冲器中。
应当注意混合模式控制部分53也可被控制来确保在以下要提到的存在的顺序混合模式中来执行混合处理。即，如图14所示，可控制混合模式控制部分53来确保在顺序混合模式下执行混合处理，其中在顺序混合模式中：首先对预定缓冲区执行清除写入处理，随后分别读取副视频数据和子画面数据，这些数据集被集体写入缓冲器中，分别读取被集体写入的数据和图形数据，把集体写入的这些数据集分别写入缓冲器，分别读取被集体写入的数据和光标数据，并且把通过结合这些数据集而获得的数据写入缓冲器中。
另外，混合模式控制部分53被提供有根据叠加了单个图像数据集的面积来确定流水线模式和顺序混合模式中要使用的一个的功能，以及提供有控制GPU 120以确保在所确定的模式下执行混合处理的功能。
图15是示出根据叠加了单个图像数据集的面积的整个图像来动态地切换与该整个图像相关的混合模式的示例图。
混合模式控制部分53可执行控制来在无图像数据叠加或这样的叠加很小的时候(当面积小于预定值时)采用顺序混合模式，并且在图像数据的叠加很大时(当面积不小于预定值时)采用流水线模式。
根据例如1/30来执行基于叠加了单个图像数据集的面积而进行的判断处理，从而实现动态切换控制。
图16是示出与图15所描述的技术不同，根据叠加了单个图像数据集的面积来针对每个图像部分切换混合模式的示例。
如图16所示，在混合副视频数据、子画面数据和图形数据的情况下，将考虑具有不存在叠加的部分、叠加了两个图像数据集的部分、和叠加了三个图像数据集的部分的结构。在此情况下，如图17所示，将无条件地对不存在叠加的部分应用顺序混合模式。另一方面，根据图像数据的叠加面积来对叠加了两个图像数据集的部分或叠加了三个图像数据集的部分确定应用顺序混合模式或流水线模式。
如上所述，根据本实施例，由于运用了独创性来尽可能多的减少包括混合处理的图形处理中过多的吞吐量，所以可消除多余负荷从而来实现数据传送或再现处理的速度的增加。
虽然对本发明的某些实施例进行了描述，但这些实施例只是通过举例的方式呈现，并不限制本发明的范围。事实上，可以以各种其他形式来实现这里所描述的新方法和系统；而且，在不超出本发明精神的情况下可对这里所描述的方法和系统作出各种省略、替换和改变。所附权利要求及其等同物意在覆盖落入本发明范围和精神内的形式和修改。

Claims (14)

1.一种信息再现设备，其特征在于包括：
图形处理单元(120)，其用来执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加以生成图形屏幕图像的混合处理；以及
部分混合控制部分(51)，其用于控制所述图形处理单元(120)，以保证当图形数据(61a、61b、61c、61d)随时间变化并只占用了整个平面的一部分时，处在除围绕所述图形数据(61a、61b、61c、61d)的特定区域(62)之外的区域中的数据不用于所述混合处理，而处在所述特定区域(62)中的数据用于所述混合处理。
2.如权利要求1所述的设备，其特征在于，当把所述图形数据(61a、61b、61c、61d)分割为多个数据集并且这多个数据集的排布满足确定的条件时，所述部分混合控制部分(51)执行用一个帧来围绕所述多个数据集以形成所述特定区域(62)的分组处理。
3.一种信息再现设备，其特征在于包括：
图形处理单元(120)，其用来执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加以生成图形屏幕图像的混合处理；以及
差分混合控制部分(52)，其用于控制所述图形处理单元(120)，以保证当视频数据(80)和画面数据(70)随时间变化并且图形数据(61a、61b、61c、61d)不随时间变化时，处在除围绕在叠加到所述图形数据(61a、61b、61c、61d)中的视频数据(80)或画面数据(70)上的一部分周围的特定区域(63)之外的区域中的数据不用于所述混合处理，而处在所述特定区域(63)中的数据用于所述混合处理。
4.如权利要求3所述的设备，其特征在于，当把所述叠加部分中的图形数据(61a、61b、61c、61d)分割为多个数据集并且这多个数据集的排布满足确定的条件时，所述差分混合控制部分(52)执行用一个帧来围绕所述多个数据集以形成所述特定区域(63)的分组处理。
5.一种信息再现设备，其特征在于包括：
图形处理单元(120)，其用来执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加以生成图形屏幕图像的混合处理；以及
混合模式控制部分(53)，其用于控制所述图形处理单元(120)在一个数据处理模式下执行混合处理，其中在所述数据处理模式中对视频数据进行读取、对画面数据进行读取、对图形数据进行读取并且将所读取的单个数据集集体写入缓冲器(91)中。
6.如权利要求5所述的设备，其特征在于通过用彼此多级连接的处理单元(90A、90B、90C)分别读取视频数据、画面数据和图形数据来实现所述数据处理模式。
7.一种信息再现设备，其特征在于包括：
图形处理单元(120)，其用来执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加以生成图形屏幕图像的混合处理；以及
混合模式控制部分(53)，其用于根据叠加了单个数据集的面积来确定数据处理模式中要使用的一个，并且其用于控制所述图形处理单元(120)在所确定的模式下执行混合处理，所述数据处理模式是：第一数据处理模式，其中对视频数据进行读取、对画面数据进行读取、对图形数据进行读取并且将所读取的单个数据集集体写入缓冲器(91)中；以及第二数据处理模式，其中把通过分别读取和结合所述视频数据与所述画面数据而获得的数据写入缓冲器(91)中并把通过分别读取和结合所述结合数据与所述图形数据而获得的数据写入缓冲器(91)中。
8.一种信息再现方法，其特征在于包括步骤：
执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加的混合处理；以及
执行控制以保证当图形数据(61a、61b、61c、61d)随时间变化并只占用了整个平面的一部分时，处在除围绕所述图形数据(61a、61b、61c、61d)的特定区域(62)之外的区域中的数据不用于所述混合处理，而处在所述特定区域(62)中的数据用于所述混合处理。
9.如权利要求8所述的方法，其特征在于所述执行控制步骤包括当把所述图形数据(61a、61b、61c、61d)分割为多个数据集并且这多个数据集的排布满足确定的条件时执行用一个帧来围绕所述多个数据集以形成所述特定区域(62)的分组处理。
10.一种信息再现方法，其特征在于包括步骤：
执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加的混合处理；以及
执行控制，以保证当视频数据(80)和画面数据(70)随时间变化并且图形数据(61a、61b、61c、61d)不随时间变化时，处在除围绕在叠加到所述图形数据(61a、61b、61c、61d)中的视频数据(80)或画面数据(70)上的一部分周围的特定区域(63)之外的区域中的数据不用于所述混合处理，而处在所述特定区域(63)中的数据用于所述混合处理。
11.如权利要求10所述的方法，其特征在于所述执行控制步骤包括当把所述叠加部分中的图形数据(61a、61b、61c、61d)分割为多个数据集并且这多个数据集的排布满足确定的条件时执行用一个帧来围绕所述多个数据集以形成所述特定区域(63)的分组处理。
12.一种信息再现方法，其特征在于包括步骤：
执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加的混合处理；以及
执行控制，从而在一个数据处理模式下执行混合处理，其中在所述数据处理模式中对视频数据进行读取、对画面数据进行读取、对图形数据进行读取并且将所读取的单个数据集集体写入缓冲器(91)中。
13.如权利要求12所述的方法，其特征在于通过用彼此多级连接的处理单元分别读取视频数据、画面数据和图形数据来实现所述数据处理模式。
14.一种信息再现方法，其特征在于包括步骤：
执行图形处理，该图形处理包括将至少视频数据、画面数据和图形数据各自的平面进行叠加的混合处理；以及
根据叠加了单个数据集的面积来确定数据处理模式中要使用的一个，以及执行控制以在所确定的模式下执行混合处理，所述数据处理模式是：第一数据处理模式，其中对视频数据进行读取、对画面数据进行读取、对图形数据进行读取并且将所读取的单个数据集集体写入缓冲器(91)中；第二数据处理模式，其中把通过分别读取和结合所述视频数据与所述画面数据而获得的数据写入缓冲器(91)中并把通过分别读取和结合所述结合数据与所述图形数据而获得的数据写入缓冲器(91)中。
CNA2007100869267A 2006-03-22 2007-03-22 信息再现设备和信息再现方法 Pending CN101042854A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006078221 2006-03-22
JP2006078221A JP2007258873A (ja) 2006-03-22 2006-03-22 再生装置および再生方法

Publications (1)

Publication Number Publication Date
CN101042854A true CN101042854A (zh) 2007-09-26

Family

ID=38532909

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007100869267A Pending CN101042854A (zh) 2006-03-22 2007-03-22 信息再现设备和信息再现方法

Country Status (5)

Country Link
US (1) US20070222798A1 (zh)
JP (1) JP2007258873A (zh)
KR (1) KR100845066B1 (zh)
CN (1) CN101042854A (zh)
TW (1) TW200822070A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002305A (zh) * 2009-04-03 2013-03-27 索尼公司 信息处理设备、信息处理方法和程序
CN103298530A (zh) * 2011-01-14 2013-09-11 索尼电脑娱乐公司 信息处理装置
CN104133647A (zh) * 2014-07-16 2014-11-05 三星半导体(中国)研究开发有限公司 用于生成电子终端的显示界面的显示驱动设备和方法
CN106447596A (zh) * 2016-09-30 2017-02-22 深圳云天励飞技术有限公司 图像处理中数据流的控制方法
US9898804B2 (en) 2014-07-16 2018-02-20 Samsung Electronics Co., Ltd. Display driver apparatus and method of driving display
CN111866408A (zh) * 2020-07-30 2020-10-30 长沙景嘉微电子股份有限公司 图形处理芯片及视频解码显示方法
CN112203124A (zh) * 2019-07-08 2021-01-08 三星电子株式会社 显示装置及其控制方法

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257114A (ja) * 2006-03-22 2007-10-04 Toshiba Corp 再生装置および再生装置のバッファ管理方法
JP4625781B2 (ja) * 2006-03-22 2011-02-02 株式会社東芝 再生装置
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
US8169449B2 (en) * 2007-10-19 2012-05-01 Qnx Software Systems Limited System compositing images from multiple applications
US20100066900A1 (en) * 2008-09-12 2010-03-18 Himax Technologies Limited Image processing method
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
KR101576969B1 (ko) 2009-09-08 2015-12-11 삼성전자 주식회사 영상처리장치 및 영상처리방법
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
CN102184720A (zh) * 2010-06-22 2011-09-14 上海盈方微电子有限公司 一种支持多层多格式输入的图像合成显示的方法及装置
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CN109618084B (zh) 2011-06-10 2021-03-05 菲力尔系统公司 红外成像系统和方法
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
CN103828343B (zh) 2011-06-10 2017-07-11 菲力尔系统公司 基于行的图像处理和柔性存储系统
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9633407B2 (en) 2011-07-29 2017-04-25 Intel Corporation CPU/GPU synchronization mechanism
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
JP6460783B2 (ja) * 2014-12-25 2019-01-30 キヤノン株式会社 画像処理装置及びその制御方法
KR102287400B1 (ko) 2015-02-03 2021-08-06 삼성전자주식회사 이미지 합성 장치와 이를 포함하는 디스플레이 시스템
TW202115478A (zh) * 2019-10-01 2021-04-16 華碩電腦股份有限公司 投影畫面校正系統及其電子設備和投影機
TWI757973B (zh) * 2019-12-06 2022-03-11 美商伊路米納有限公司 使用圖形檔案控制電子元件的方法和裝置以及相關的電腦程式產品和圖形檔案組

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0129581B1 (ko) * 1994-06-22 1998-04-17 배순훈 슈퍼임포즈 가능한 CDG(Ccompact Disk Graphios)디스크 및 그 재생장치
JP3135808B2 (ja) * 1995-01-24 2001-02-19 株式会社東芝 コンピュータシステムおよびこのコンピュータシステムに適用されるカード
JP3554477B2 (ja) 1997-12-25 2004-08-18 株式会社ハドソン 画像編集装置
US7483042B1 (en) * 2000-01-13 2009-01-27 Ati International, Srl Video graphics module capable of blending multiple image layers
US6903753B1 (en) * 2000-10-31 2005-06-07 Microsoft Corporation Compositing images from multiple sources
JP3548521B2 (ja) * 2000-12-05 2004-07-28 Ｎｅｃマイクロシステム株式会社 半透明画像処理装置及び方法
CN1700329B (zh) * 2004-01-29 2010-06-16 索尼株式会社 再现装置、再现方法、再现程序和记录介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002305A (zh) * 2009-04-03 2013-03-27 索尼公司 信息处理设备、信息处理方法和程序
CN103298530A (zh) * 2011-01-14 2013-09-11 索尼电脑娱乐公司 信息处理装置
CN103298530B (zh) * 2011-01-14 2015-04-01 索尼电脑娱乐公司 信息处理装置
CN104133647A (zh) * 2014-07-16 2014-11-05 三星半导体(中国)研究开发有限公司 用于生成电子终端的显示界面的显示驱动设备和方法
US9898804B2 (en) 2014-07-16 2018-02-20 Samsung Electronics Co., Ltd. Display driver apparatus and method of driving display
CN106447596A (zh) * 2016-09-30 2017-02-22 深圳云天励飞技术有限公司 图像处理中数据流的控制方法
CN112203124A (zh) * 2019-07-08 2021-01-08 三星电子株式会社 显示装置及其控制方法
CN111866408A (zh) * 2020-07-30 2020-10-30 长沙景嘉微电子股份有限公司 图形处理芯片及视频解码显示方法
CN111866408B (zh) * 2020-07-30 2022-09-20 长沙景嘉微电子股份有限公司 图形处理芯片及视频解码显示方法

Also Published As

Publication number Publication date
TW200822070A (en) 2008-05-16
KR100845066B1 (ko) 2008-07-09
KR20070095836A (ko) 2007-10-01
JP2007258873A (ja) 2007-10-04
US20070222798A1 (en) 2007-09-27

Similar Documents

Publication Publication Date Title
CN101042854A (zh) 信息再现设备和信息再现方法
CN101042849A (zh) 信息处理设备和信息处理方法
CN101043600A (zh) 重放设备和使用该重放设备的重放方法
CN1607819A (zh) 图像混合方法和混合图像数据生成装置
CN1162832C (zh) 图像显示装置
CN1860785A (zh) 再现设备、再现方法、再现程序、以及记录介质
CN1285059C (zh) 活动图像转换方法和设备、活动图像传输方法和设备、程序
US20060164437A1 (en) Reproducing apparatus capable of reproducing picture data
US8922622B2 (en) Image processing device, image processing method, and program
CN1864217A (zh) 包括基于文本的字幕信息的存储介质及其再现设备和再现方法
CN1703075A (zh) 视频数据处理装置
CN1620803A (zh) 图像处理设备
CN1739304A (zh) 图像数据生成装置和再生该数据的图像数据再生装置
CN1928985A (zh) 图像显示系统、显示装置、数据输出装置、处理程序及记录媒介物
CN101044755A (zh) 动画颤动补偿
CN1744684A (zh) 视频显示控制设备和视频显示控制方法
CN1933604A (zh) 图像声音输出系统、装置、声音处理程序和记录介质
CN101031057A (zh) 图像记录装置和图像显示方法
CN1181670C (zh) 叠加图像处理装置和叠加图像显示装置
CN1774759A (zh) 记录基于文本的字幕流的存储介质及再现其的设备和方法
CN1262108C (zh) 图像处理装置和照相机
JP2007257114A (ja) 再生装置および再生装置のバッファ管理方法
CN1756339A (zh) 信息处理装置、信息处理方法和程序
CN101031043A (zh) 影像输出装置、其控制方法及影像设备
CN1595974A (zh) 支援电影模式的数字电视系统及电影模式支援方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070926