CN101123003B - 具有频外背景的计算机图像处理方法及系统 - Google Patents

Abstract

一种具有频外背景的计算机图像处理方法及系统。该方法包括：提供一二维频外背景图像；提供一三维对象；通过绘制该三维对象以产生一二维前景图像；依据该二维频外背景图像及该二维前景图像产生一二维显示图像；于一显示装置上显示该二维显示图像。本发明的具有频外背景的计算机图像处理方法及系统，在绘制三维对象时，具有包括OOB背景的能力。

Description

具有频外背景的计算机图像处理方法及系统

技术领域

本发明有关于计算机图像处理，特别是有关于一种具有频外(out-of-band，OOB)背景的计算机图像处理的方法及系统(Method and system for computergraphics with out-of-band background)。

背景技术

传统的计算机图像系统处理并绘制三维对象(包含顶点坐标、纹理坐标等)于一帧缓冲器(frame buffer)中。三维图像程序使得对象可以产生于一X-Y-Z尺度(宽度、高度、深度)。三维对象可以任何角度被旋转及观看，并可以放大或缩小。三维对象也可以在绘制阶段(rendering stage)自动打光。然而，传统的三维图像在绘制三维对象时，不具有包括OOB背景的能力。

发明内容

本发明提供了一种可以解决以上技术问题的图像处理系统及方法。

本发明实施例提供一种具有频外(out-of-band，OOB)背景的计算机图像处理方法。该方法包括：提供一二维(two-dimensional，2D)频外背景图像；提供一三维(three-dimensional，3D)对象；通过绘制该三维对象以产生一二维前景图像；依据该二维频外背景图像及该二维前景图像产生一二维显示图像；于一显示装置上显示该二维显示图像。

本发明实施例也提供一种具有频外(out-of-band，OOB)背景的计算机图像处理系统，其包括：一显示装置；一加载单元，其取得一二维频外背景图像及一三维对象；一场景图片绘制器，其通过绘制该三维对象以产生一二维前景图像，并依据该二维频外背景图像及该二维前景图像产生一二维显示图像；以及一显示控制器，其指示该显示装置以显示产生的该二维显示图像。

本发明实施例提供一种具有频外(out-of-band，OOB)背景的计算机图像处理系统，其包括：一显示装置；一加载单元，其取得至少2幅二维频外背景图像及一三维对象；一场景图片绘制器，其通过绘制该三维对象以产生一二维前景图像，依据目前时间决定该二维频外背景图像中的一者，并依据决定的该二维频外背景图像及该二维前景图像产生一二维显示图像；以及一显示控制器，其指示该显示装置以显示产生的该二维显示图像。

本发明的具有频外背景的计算机图像处理方法及系统，在绘制三维对象时，具有包括OOB背景的能力。

附图说明

图1显示具有频外(out-of-band，OOB)背景的计算机图像处理的两个处理阶段的示意图。

图2显示参照上述处理阶段的产生显示图像的示意图。

图3显示依据本发明实施例的使用于加载阶段的具有频外背景的计算机图像处理系统的示意图。

图4显示依据本发明实施例的具有频外背景的计算机图像处理方法的流程图。

图5显示依据实施例的三维绘制文件的数据结构示意图。

图6显示依据本发明实施例的使用于绘制阶段的具有频外背景的计算机图像处理系统的示意图。

图7显示依据本发明实施例的具有频外背景的计算机图像处理方法的流程图。

图8显示依据本发明实施例的动画的频外背景图像。

图9显示依据本发明实施例的使用于绘制阶段的具有频外背景的计算机图像处理系统的示意图。

图10显示依据本发明实施例的具有频外背景的计算机图像处理方法的流程图。

主要组件符号说明：

加载阶段～11；      绘制阶段～13；

加载单元～31；      场景图片绘制器～33；

储存装置～35；      存储器～37；

帧缓冲器～39；      旗标(flag)～371；

频外背景图像～373； 三维绘制文件～5100；

三维对象结构～5111；色彩RGBA～5113；

模式～5115；        文件名～5117；

图像种类～5131；    图像宽度～5133；

图像高度～5135；    图像大小～5137；

图像数据补偿～5139；

图像数据～5151；    三维对象～375；

显示控制器～61；    显示装置～63；

第一动画频外背景图像～IMG810；

第二动画频外背景图像～IMG830；

第三动画频外背景图像～IMG850；

第一层帧缓冲器～91a；

第二层帧缓冲器～91b；

显示控制器～93；    显示装置～95。

具体实施方式

为了让本发明的目的、特征、及优点能更明显易懂，下文特举较佳实施例，并配合附图，做详细的说明。

本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各组件的配置为说明之用，并非用以限制本发明。且实施例中图式标号的部分重复，为了简化说明，并非意指不同实施例之间的关联性。

图1显示具有频外(out-of-band，OOB)背景的计算机图像处理的2个处理阶段的示意图。具有1张或复数张频外背景图像的频外背景并未包含于一般三维图片绘制的规格中。需了解的是，传统的计算机图片引擎是通过仅绘制三维对象来产生二维显示图像。在加载阶段(loading stage)11中，提供关于频外背景的信息，并依据提供的该信息产生或取得频外背景图像，并将之储存于存储器中以供后续绘制处理。该频外背景图像可以符合可携式网络图片(portable network graphics，PNG)、图片交换格式(graphics interchangeformat，GIF)、或JPEG规格，或其它格式。在绘制阶段(rendering stage)13，该频外背景图像撷取自该存储器，并复制到帧缓冲器中，并且，继之，通过绘制三维对象以产生前景图像，并将之储存于该帧缓冲器以形成显示图像。图2显示参照上述处理阶段以产生显示图像的示意图。在加载阶段11中，提供关于频外背景的信息，并据以产生频外背景图像IMG210，其描绘雪地景象，并将之储存于存储器中作为频外背景图像。在绘制阶段13中，撷取频外背景图像IMG210，并将之复制到帧缓冲器中，继之，通过绘制三维对象以产生描绘站立的企鹅的前景图像IMG230，并将之插入该帧缓冲器中的频外背景图像IMG210，以形成显示图像IMG250，其描绘站立于雪地中的企鹅。

图3显示依据本发明实施例的使用于加载阶段11(图1)的具有频外(out-of-band，OOB)背景的计算机图像处理系统的示意图，其包含：加载单元31、场景图片绘制器33、储存装置35、存储器37、帧缓冲器39。储存装置35可以为硬盘、磁盘、光盘、或其它非挥发性储存装置。储存装置35及相关的计算机可读取媒体(若有需要的话)提供非挥发储存能力以储存在三维图片绘制时所使用的三维绘制文件。该三维绘制文件记载的信息是关于频外背景、三维对象、实现于该三维对象的纹理图像、或其它。存储器37可以为动态随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、静态随机存取存储器(SRAM)、或其它，并提供挥发性储存装置以储存一或多张频外背景图像及前景图像。该帧缓冲器39具有用以输出至显示装置(例如，超扭转向列型液晶显示器(STN-LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光组件(OLED)等)的帧数据。该帧缓冲器的大小通常为在该显示器可以显示的最大图像的大小。当显示图像正被“描绘(painted)”于该显示器上时，帧缓冲器39暂存该显示图像。加载单元31及场景图片绘制器33的细节容后再叙，在此先简短说明。

图4显示依据本发明实施例的具有频外(out-of-band，OOB)背景的计算机图像处理方法的流程图，其于加载阶段11(图1)时实施于加载单元31(图3)中。在步骤S411中，从储存装置35(图3)中撷取三维绘制文件，并将撷取的文件储存在存储器37(图3)中。图5显示依据实施例的三维绘制文件5100的数据结构示意图。三维绘制文件5100的一频外背景区还包含10个字段：三维对象结构(三维object structure)5111；色彩RGBA(colorRGBA[4字节])5113；模式(mode[1字节])5115；文件名(filename[字符串])5117；图像种类(image type[1字节])5131；图像宽度(image width[4字节])5133；图像高度(image height[4字节])5135；图像大小(imagesize[4字节])5137；图像数据补偿(image data offset[4字节])5139及图像数据(image data[字节数组])5151。三维对象结构字段5111提供对象种类属性其包含一值“OOB_background”，用以表示该三维对象关于频外背景。该频外背景字段可以表示具有单一颜色值的频外背景，例如红色、蓝色、粉红等，一或多个频外背景图像或指向图像文件的外部连结，图像文件例如“.png”、“.gif”、“.jpg”等。当表示具有单一颜色值的频外背景图像时，该模式字段5115记载的数据表示具有内部频外背景的信息，而该色彩RGBA字段5113则记载该特定的颜色值。当表示具有一或多个频外背景图像的频外背景图像时，该模式字段5115记载的数据表示具有内部频外背景的信息，图像种类、宽度、高度及大小字段5131～5137则记录一或多张频外背景图像的基本数据，而图像数据5151记录实际的图像数据。当表示具有指向图像文件的外部连结的频外背景图像时，模式字段5115记载的数据表示具有外部频外背景图像的信息，而文件名5117记录储存频外背景的图像文件的文件名。

参见图4，在步骤S431中，决定该撷取的三维绘制文件是否包含表示采用频外背景的信息。该决定步骤可以通过检查对象种类属性是否为“OOB_background”来达成。若是，则该方法执行步骤S433，否则执行步骤S471。在步骤S471中，加载单元31(图3)通知场景图片绘制器33(图3)需要清空帧缓冲器39(图3)。该加载单元31可以将清空旗标371(图3)修改为“真值(true)”来表示要清空帧缓冲器39。继之，场景图片绘制器33当检测到清空旗标371具有真值时，清空帧缓冲器39。在步骤S433，决定是否有一或多张频外背景图像储存于该储存装置35(图3)中的图像文件，或存储器37中。该决定步骤可以通过检查该模式字段5115(图5)记载的信息是表示具有内部或外部频外背景来达成。当该模式字段5115(图5)中记载的数据表示具有外部频外背景时，判断一或多张频外背景图像储存于图像文件中。当模式字段5115(图5)记载的数据表示具有内部频外背景时，判断一或多张频外背景图像储存于存储器中。当该频外背景图像储存于图像文件中时，该方法执行步骤S437，否则该方法执行步骤S435。在步骤S435中，指定频外数据指针以指向储存该频外背景图像的区域的开头的地址，以供后续撷取频外背景图像之用。依据一实施例，频外数据指针指定为指向存储器37的图像数据域位5151(图5)开头的地址。依据另一实施例，频外数据指针指定为指向储存一或多张频外背景图像的只读存储器的区域的开头地址。在步骤S437中，依据文件名字段5117(图5)所记载的内容，从相应的图像文件中撷取一或多张频外背景图像，撷取后的频外背景图像储存于存储器37中，且指定一频外数据指针以指向该存储器37的一地址，其表示储存的该频外背景图像的区域的开头，以供后续撷取频外背景图像之用。在步骤S451中，依据该频外数据指针撷取一或多幅频外背景图像，并且依据需要处理。该频外背景图像可以被放大或缩小以配合帧缓冲器39(图3)的储存空间。当频外背景图像为压缩格式(如JPEG等)时，可以解压缩该频外背景图像。在步骤S453中，加载单元31通知场景图片绘制器33不需要清空帧缓冲器39。该加载单元31可以将清空旗标371(图3)修改为“伪值(false)”来表示不需要清空帧缓冲器39。需注意的是，该频外背景图像并非利用场景图片绘制器33所绘制的任何三维对象。

图6显示依据本发明实施例的使用于绘制阶段13(图1)的具有频外(out-of-band，OOB)背景的计算机图像处理系统的示意图，其包含：场景图片绘制器33、存储器37、帧缓冲器39、显示控制器61、及显示装置63。存储器37还储存三维对象375的数据，例如三角形、多边形、矩形等三维对象。显示控制器61指示该显示装置63(例如，超扭转向列型液晶显示器(STN-LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光组件(OLED)等)显示帧缓冲器39中的数据。场景图片绘制器33的细节容后再叙，在此先简短说明。

图7显示依据本发明实施例的具有频外(out-of-band，OOB)背景的计算机图像处理方法的流程图，其于绘制阶段13(图1)时实施于场景图片绘制器33(图3)中。需注意本实施例实现于具有单一帧缓冲器的硬件环境中。在步骤S711中，决定在三维图片绘制时是否需要频外背景。该决定步骤可以通过检查清空旗标371来达成。当检测到清空旗标371具有伪值时，判断为需要频外背景。当检测到清空旗标371具有真值时，判断为不需要频外背景。若是，则该方法执行步骤S731，否则执行步骤S751。在步骤S751中，清空帧缓冲器39(图6)以避免受到先前的显示图像所干扰。在步骤S731，判断频外背景是否包含复数动画的频外背景图像(animated OOB backgroundimages)。该决定步骤可以通过下列达成：检查图像种类字段5131(图5)是否储存动画图像文件的相关信息，例如GIF文件等，依据图像宽度、高度及大小字段5133～5137(图5)的值来决定动画的频外背景图像的数量。图8显示依据本发明实施例的动画的频外背景图像IMG810～IMG850。动画的频外背景图像连续地且周期性地复制于帧缓冲器39中，在一特定时间，动画的频外背景图像的一者被选取且复制于帧缓冲器39中，作为目前的频外背景图像。在步骤S733中，复数动画的频外背景中的一者被决定为一依据目前时间应复制的频外背景图像。在步骤S735中，决定的频外背景图像复制于帧缓冲器39中。在步骤S771中，通过绘制三维对象375(图6)来绘制前景图像，并将其储存于帧缓冲器39中。需了解的是，储存的该频外背景图像的一部份可以被产生的该前景图像的全部或一部份覆写，或者，储存的该前景图像的全部或一部份和该储存的频外背景图像的一部份进行混合处理(blending)以产生一输出至该显示装置63的一显示图像。熟悉此技艺的人士可实施已知的方法，例如顶点处理(vertex processing)、剪辑(clipping)、立体图素组合(primitive assembly)、三角形设定(triangle setup)、光栅化(rasterization)、遮蔽剔除(occlusion culling)、参数插补(parameter interpolation)、像素着色器(pixel shader)等以绘制三维对象375。在一些实施例中，在加载阶段中步骤S451(图4)的运作可以被省略，而如果需要的话，这些被省略的操作可以在绘制阶段中步骤S733和S735之间执行。

图9显示依据本发明实施例的使用于绘制阶段13(图1)的具有频外(out-of-band，OOB)背景的计算机图像处理系统的示意图，其包含：场景图片绘制器33、存储器37、第一及第二层帧缓冲器91a及91b、显示控制器93、及显示装置95。存储器37还储存三维对象375的数据，例如三角形、多边形、矩形等。第一层帧缓冲器91a具有一频外背景图像，而第二层帧缓冲器91b则具有一频外前景图像，用以输出至显示装置95(例如，超扭转向列型液晶显示器(STN-LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光组件(OLED)等)。第一层帧缓冲器91a及第二层帧缓冲器91b的大小通常为在该显示装置95可以显示的最大图像的大小。当一显示图像正透过显示控制器93而被“描绘(painted)”于该显示装置95上时，该第一层帧缓冲器91a及第二层帧缓冲器91b暂存该频外背景图像及频外前景图像。场景图片绘制器33的细节容后再叙，在此先简短说明。

图10显示依据本发明实施例的具有频外(out-of-band，OOB)背景的计算机图像处理方法的流程图，其于绘制阶段13(图1)时实施于场景图片绘制器33(图3)中。需注意本实施例实现于具有两个层帧缓冲器的硬件环境中。在步骤S1011中，决定在三维图片绘制时是否需要频外背景。该决定步骤可以通过检查清空旗标371来达成。该决定步骤的详细例子可以参见步骤S711(图7)的叙述。若是，则该方法执行步骤S1031，否则执行步骤S1051。在步骤S1051中，清空第一层帧缓冲器91a(图9)以避免被先前的背景图像所干扰。在步骤S1031中，判断频外背景是否包含复数动画的频外背景图像。该决定步骤的详细例子可以参见步骤S711(图7)的叙述。在步骤S1033中，依据目前时间将该复数动画的频外背景图像中的一者选取为欲复制的一频外背景图像。在步骤S1035中，该选取的频外背景图像被复制于第一层帧缓冲器91a中。在步骤S1071中，通过绘制三维对象375(图9)来绘制前景图像，并将之储存于该第二层帧缓冲器91b中。熟悉此技艺的人士可实施已知的方法，例如顶点处理、剪辑、立体图素组合、三角形设定、光栅化、遮蔽剔除、参数插补、像素着色器等以绘制三维对象375。需了解的是，当第一层帧缓冲器91a及第二层帧缓冲器91b都有图像要显示时，显示控制器93可以用第二层帧缓冲器91b的该前景图像的全部或一部份来覆写第一层帧缓冲器91a的频外背景图像的一部份，或者，将第二层帧缓冲器91b的储存的该前景图像的全部或一部份和第一层帧缓冲器91a的频外背景图像的一部份进行混合处理。需了解的是，当只有第二层帧缓冲器91b有图像要显示时，显示控制器93可以直接将该前景图像从第二层帧缓冲器91b输出至显示装置95。在一些实施例中，在加载阶段中步骤S451(图4)的运作可以被省略，而如果需要的话，这些被省略的操作可以在绘制阶段中步骤S1033和S1035之间执行。熟悉本领域技术的人士当可以知道上述的频外背景图像，该产生的前景图像和显示图像为二维位图图像。

本发明所提出的方法及装置，或者其中某些部份，可能以计算机程序(计算机指令)的方式加以实现，此计算机程序(计算机指令)可能建置于储存媒体中，如软盘(floppy diskettes)、光盘(CD-ROMS)、硬盘(hard drives)、韧体(firmware)或其它任何机器可辨读的储存媒体中。当前述的计算机程序(计算机指令)经由如计算机等机器加载并执行时，此加载计算机程序(计算机指令)的机器、即转换为用以实现本发明的装置。再者，本发明所揭示的方法及装置可以计算机程序(计算机指令)的方式进行传输，传输媒体如电线(electricalwire)、电缆(cable)、光纤(fiber optics)、以及其它任何可进行传输的传输媒体或无线传输(wireless communication)。当前述传输的计算机程序(计算机指令)经由如计算机等机器加载并执行时，此加载计算机程序(计算机指令)的机器即转换为用以实现本发明的装置。再者，本发明所揭示的方法及装置可以计算机程序(计算机指令)的型态应用于通用目的(general-purpose)处理器中，当前述应用于通用目的处理器的计算机程序(计算机指令)与该处理器相结合时，即提供用以实现本发明的装置，其功能相当于具有特定功能的逻辑电路(logic circuits)。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当以权利要求所界定者为准。

Claims (21)

1.一种具有频外背景的计算机图像处理方法，该方法包括以下步骤：

提供一二维频外背景图像；

提供一三维对象；

通过绘制所述三维对象以产生一二维前景图像；

依据所述二维频外背景图像及所述二维前景图像产生一二维显示图像；

于一显示装置上显示所述二维显示图像。

2.如权利要求1所述的具有频外背景的计算机图像处理方法，其中所述二维频外背景图像直接取自一图像文件或存储器。

3.如权利要求1所述的具有频外背景的计算机图像处理方法，其中所述二维频外背景图像被放大或缩小以符合一帧缓冲器的储存空间。

4.如权利要求1所述的具有频外背景的计算机图像处理方法，其中所述二维频外背景图像被解压缩。

5.如权利要求1所述的具有频外背景的计算机图像处理方法，其中所述方法还包括以下步骤：

取得一三维绘制文件；

从所述三维绘制文件取得所述二维频外背景图像。

6.如权利要求1所述的具有频外背景的计算机图像处理方法，其中所述方法还包括以下步骤：

取得一三维绘制文件；

从所述三维绘制文件取得包含所述二维频外背景图像的一图像文件的一文件名；以及

依据取得的所述文件名，从一储存装置取得所述二维频外背景图像。

7.如权利要求1所述的具有频外背景的计算机图像处理方法，其中以所述二维前景图像的全部或一部份覆写所述二维频外背景图像的一部份。

8.如权利要求1所述的具有频外背景的计算机图像处理方法，其中所述二维前景图像的全部或一部份和所述二维频外背景图像的一部份进行混合处理以产生所述二维显示图像。

9.一种具有频外背景的计算机图像处理系统，该系统包括：

一显示装置；

一加载单元，其取得一二维频外背景图像及一三维对象；

一场景图片绘制器，其通过绘制所述三维对象以产生一二维前景图像，并依据所述二维频外背景图像及所述二维前景图像产生一二维显示图像；以及

一显示控制器，其指示所述显示装置以显示产生的所述二维显示图像。

10.如权利要求9所述的具有频外背景的计算机图像处理系统，其中所述加载单元从一储存装置的一图像文件取得所述二维频外背景图像。

11.如权利要求9所述的具有频外背景的计算机图像处理系统，该系统还包含一帧缓冲器，其中所述加载单元于所述帧缓冲器中复制所述二维频外背景图像，所述场景图片绘制器于所述帧缓冲器中复制产生的所述二维前景图像，且所述显示控制器从所述帧缓冲器中取得所述二维显示图像。

12.如权利要求11所述的具有频外背景的计算机图像处理系统，其中所述场景图片绘制器以所述二维前景图像的全部或一部份覆写所述二维频外背景图像的一部份。

13.如权利要求11所述的具有频外背景的计算机图像处理系统，其中所述场景图片绘制器将所述二维前景图像的全部或一部份和所述二维频外背景图像的一部份进行混合处理。

14.如权利要求9所述的具有频外背景的计算机图像处理系统，该系统还包含：

一第一层帧缓冲器；及

一第二层帧缓冲器，

其中所述加载单元于所述第一层帧缓冲器中复制所述二维频外背景图像，所述场景图片绘制器于所述第二层帧缓冲器中复制产生的所述二维前景图像，且所述显示控制器从所述第一层帧缓冲器中取得所述二维频外背景图像，并从所述第二层帧缓冲器取得所述二维前景图像，并依据取得的所述二维频外背景图像及所述二维前景图像产生所述二维显示图像。

15.如权利要求9所述的具有频外背景的计算机图像处理系统，其中所述加载单元取得一三维绘制文件，将取得的所述三维绘制文件存入存储器中，并依据所述三维绘制文件的内容取得所述二维频外背景图像。

16.如权利要求15所述的具有频外背景的计算机图像处理系统，其中所述三维绘制文件的内容包含所述二维频外背景图像，且所述加载单元从所述三维绘制文件取得所述二维频外背景图像。

17.如权利要求15所述的具有频外背景的计算机图像处理系统，其中所述三维绘制文件的内容包含储存所述二维频外背景图像的一图像文件的文件名，且所述加载单元依据所述文件名从所述储存装置的所述图像文件取得所述二维频外背景图像。

18.如权利要求15所述的具有频外背景的计算机图像处理系统，其中所述二维频外背景图像储存于一只读存储器中，且所述加载单元从所述只读存储器中取得所述二维频外背景图像。

19.一种具有频外背景的计算机图像处理系统，该系统包括：

一显示装置；

一加载单元，其取得至少2幅二维频外背景图像及一三维对象；

一场景图片绘制器，其通过绘制所述三维对象以产生一二维前景图像，依据目前时间决定所述二维频外背景图像中的一者，并依据决定的所述二维频外背景图像及所述二维前景图像产生一二维显示图像；以及

一显示控制器，其指示所述显示装置以显示产生的所述二维显示图像。

20.如权利要求19所述的具有频外背景的计算机图像处理系统，其中决定的所述二维频外背景图像被放大或缩小以符合一帧缓冲器的储存空间。

21.如权利要求19所述的具有频外背景的计算机图像处理系统，其中所述二维频外背景图像被解压缩。

Images