CN1893564A - 图像特效设备、图形处理器和记录介质 - Google Patents

图像特效设备、图形处理器和记录介质 Download PDF

Info

Publication number
CN1893564A
CN1893564A CNA2006101011155A CN200610101115A CN1893564A CN 1893564 A CN1893564 A CN 1893564A CN A2006101011155 A CNA2006101011155 A CN A2006101011155A CN 200610101115 A CN200610101115 A CN 200610101115A CN 1893564 A CN1893564 A CN 1893564A
Authority
CN
China
Prior art keywords
information
relevant
video data
processing block
economy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101011155A
Other languages
English (en)
Other versions
CN100481890C (zh
Inventor
高岛彰博
志野雅昭
横山琢
清水英之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1893564A publication Critical patent/CN1893564A/zh
Application granted granted Critical
Publication of CN100481890C publication Critical patent/CN100481890C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种图像特效设备,包括:图形处理器和视频处理块;该图形处理器根据提供的有关虚拟三维空间中的模型的形状的信息,而将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标;计算粘贴在显示屏幕上的图像的纹理坐标、以及该显示屏幕上的模型的缩减率;以及从图像数据输出单元中输出有关纹理坐标和缩减率的信息;视频处理块在使用与从图形处理器提供的有关缩减率的信息相对应的前置滤波系数进行滤波之后,将输入视频数据YUV写入到存储器中,并且通过使用所提供的纹理坐标作为读取地址的信息,从存储器中读出该视频数据。

Description

图像特效设备、图形处理器和记录介质
相关申请的交叉引用
本发明包含与2005年7月4日在日本专利局提交的日本专利申请JP2005-195221相关的主题,这个专利申请的全部内容通过引用并入在此。
技术领域
本发明涉及用于通过纹理映射将视频数据变换成任意形状的图像特效设备、以及在该图像特效设备中使用的图形处理器等。
背景技术
图像特效设备(效应器)已知为构成用于广播和商业用途的非线性编辑系统的设备之一。用于广播和商业用途的图像特效设备是通过硬件电路执行诸如视频数据(活动图像数据)的扩展、缩减和旋转之类的变换处理的设备。
就相关技术领域的用于广播和商业用途的图像特效设备而言,可变换的模式由生产商预先限定为几种类型,以避免扩大硬件尺寸和增加成本,因此仅仅可以使用有限的模式执行变换。
另一方面,在计算机图形学领域,通过使用图形处理器来执行称为纹理映射的图像变换方法,该图形处理器是以相对低的成本专门用于图像处理的处理器。纹理映射是这样的方法,其中将图像(纹理)粘贴到通过在虚拟三维空间中组合多边形而准备的模型上。
已知的是,在图形处理器中安装了用于几何处理的顶点着色器(shader)和用于绘制处理的像素着色器。近来,其中这些着色器是可编程的图形处理器已经变为主流。
然而,在纹理映射中,取决于模型在显示屏幕上的尺寸(这个尺寸与从视点到模型的距离相对应地减少)而导致了混叠(aliasing),混叠是这样的现象,其中所粘贴纹理的边缘被看作为沿着显示屏幕中的像素的锯齿。在图形处理器中,采用了MIPMAP(小中见大映射:Multum In Parvo Mapping)方法来控制这个混叠。在MIPMAP方法中,预先将通过使用多个离散的缩减率(1,1/2,1/4,1/8...)缩减同一图像获得的纹理存储在存储器中,并且选择其缩减率接近于显示屏幕上的模型的缩减率的纹理(例如,参见日本公开的专利申请第2002-83316号(第0004段))。
发明内容
在相关技术领域用于广播和商业用途的图像特效设备中,如上所述,因为变换模式是受限的,所以用户很难任意地确定变换模式。
此外,如果将用于把视频数据变换为任意形状的硬件电路添加到该用于广播和商业用途的图像特效设备中,则可能扩大了硬件尺寸并且可能增加了成本。
相反,在计算机图形学领域使用的图形处理器中,可以通过纹理映射将图像变换为任意形状。然而,因为下列原因,图形处理器不适于处理广播和商业领域中的视频数据。
(1)MIPMAP方法导致的图像质量降级
在MIPMAP方法中,在其中显示屏幕上的模型的缩减率不对应于预先准备的纹理的缩减率的情况下,可能不能充分地控制混叠。因此,MIPMAP方法不能满足广播和商业领域可能要求的图像质量。
(2)色空间转换导致的图像质量降级
图形处理器被配置为在RGB(红、绿和蓝)色空间中处理图像数据。因此,为了对处于在广播和商业领域使用的YUV(亮度和色度差)空间中的视频数据执行纹理映射,当将视频数据输入到图形处理器或者从中输出时,必须执行色空间的转换处理(从YUV空间到RGB空间的转换以及从RGB空间到YUV空间的转换)。然而,因为能够表达的颜色范围在YUV空间和RGB空间之间是不同的,因此不能保证在执行了色空间转换之后获得与输入视频相同的图像。
(3)图像数据分辨率的限制
图形处理器仅仅能够处理高达8位分辨率的图像数据。因此,不能处理作为广播和商业领域主流的10位的高质量视频数据。
(4)处理速度的限制
在图形处理器中处理高分辨率视频数据的情况下,因为访问将视频数据存储为纹理的存储器的时段变长,所以实时处理视频数据变难。
本发明解决上述及其它与传统方法和设备相关联的问题。
满足广播和商业领域可能要求的图像质量和实时处理是所期望的,而且通过纹理映射将视频数据变换为任意形状而不会导致硬件尺寸扩大和成本增加也是所期望的。
根据本发明的实施例,提供了一种图像特效设备,其包括:图形处理器,其中安装了可编程着色器;以及视频处理块,其用硬件电路配置。该图形处理器被编程为执行以下处理:根据提供的有关虚拟三维空间中的模型的形状的信息,将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标;以及计算粘贴在显示屏幕上的图像的纹理坐标和该显示屏幕上的模型的缩减率。该图形处理器还被编程为执行从图像数据输出单元中输出有关纹理坐标和缩减率的信息的处理。该视频处理块包括:前置滤波器,其通过使用与所提供的有关缩减率的信息相对应的前置滤波器系数而执行输入视频数据的滤波;存储器,其中写入由这个前置滤波器滤波的视频数据;以及控制电路,其通过使用所提供的纹理坐标作为读取地址的信息来从存储器中读出视频数据。在这个图像特效设备中,从图形处理器输出的有关纹理坐标的信息和有关缩减率的信息分别被提供给该视频处理块的控制电路和该视频处理块的前置滤波器。
此外,根据本发明的实施例,提供了一种图像特效设备,其中将由图形处理器离线(处于其中视频处理块远离处理器的状态)计算的有关纹理坐标和缩减率的信息借助于记录介质或者网络提供给视频处理块。
此外,根据本发明的实施例,提供了一种其中记录了程序的记录介质,其中上述图形处理器根据该程序运行,而且安装了可编程着色器的现有图形处理器也和上述图形处理器一样根据该程序运行。
根据本发明的实施例,在纹理映射的处理当中,通过对现有的可编程图形处理器进行编程,来执行不与图像质量相关的、计算和输出有关图像的已变换形状(纹理坐标和缩减率)等的信息的处理。
换句话说,在相关技术的使用图形处理器的一般方法中,仅仅在图形处理器内使用有关纹理坐标和缩减率的信息,并且从该图形处理器中输出最终变换的图像数据。然而,根据本发明的实施例,这样进行编程以便将有关纹理坐标和缩减率的信息本身从图形处理器的图像数据输出单元中输出。
与视频数据的分辨率无关,有关这样的纹理坐标和缩减率的信息的计算和输出处理所需的时段是不变的,从而可以有利地执行实时处理。
另一方面,基于从图形处理器输出的信息,由利用硬件电路配置的视频处理块执行视频数据本身的处理(也就是与图像质量相关的处理)。
在该视频处理块中,根据从图形处理器提供的有关缩减率的信息执行输入视频数据的滤波(缩减)。然后,在将视频数据写入到存储器中之后,通过使用从图形处理器提供的有关纹理坐标的信息作为读取地址,而从存储器中读出该视频数据,然后将该视频数据粘贴到显示屏幕上的模型上。因此,对该视频数据适当地执行与显示屏幕上的模型的缩减率对应的滤波,并然后粘贴该视频数据,从而可以充分地控制混叠。
此外,如上所述,通过使用与图形处理器分离地提供的另一硬件电路来处理视频数据,直接处理YUV空间中的图像数据(而不用将它转换到RGB空间中)以及处理10位的高质量视频数据就变得有可能。
因此,可以通过纹理映射来变换视频数据,同时满足广播和商业领域中可能要求的图像质量和实时处理。
此外,因为通过使用相对低成本的图形处理器计算有关图像的已变换形状等的信息,所以可以将视频数据变换为任意形状,而不会导致硬件尺寸的扩大以及成本的增加。
此外,由图形处理器离线计算的信息借助于记录介质或者网络而提供给这个图像特效设备。因此,由例如在远离提供这个图像特效设备的位置的位置处的个人计算机中的图形处理器计算有关图像的已变换形状等的信息,并且在那之后,可以基于那个信息实际地粘贴视频数据。因此,可以改进纹理映射的工作流程。
根据本发明的实施例,获得了以下的效果:可以通过纹理映射将视频数据变换为任意形状,而不会导致硬件尺寸的扩大和成本的增加,同时满足了在广播和商业领域中可能要求的图像质量和实时处理。
此外,通过经由记录介质或者网络将由图形处理器离线计算的信息提供给图像特效设备,可以获得改进纹理映射的工作流程的效果。
附图说明
图1为示出根据本发明的实施例的图像特效设备的配置示例的框图;
图2为示意地示出图1中的图形处理器的配置的框图;
图3是示出通过使用过去的典型方法的图形处理器的处理的图示;
图4是示出图1的图像特效设备中的图形处理器的处理的图示;
图5是示出屏幕坐标上的模型以及粘贴到该模型上的图像的纹理坐标的示例的图示;
图6是示出其中在图4的处理中将纹理坐标分配为R、G和B位的示例的图示;以及
图7为示出图1中的视频处理块的配置的图示。
具体实施方式
在下文中,通过使用附图具体地说明本发明的实施例。图1为示出根据本发明的实施例的图像特效设备的配置示例的框图。这个图像特效设备1是用作电视广播台等中的非线性编辑系统的一部分的设备。该图像特效设备1包括:操作面板2、CPU 3、图形处理器4、缓冲存储器5、四个系统的视频处理块6、叠加电路7、小存储卡槽8和用于网络通信的通信接口9。图形处理器4安装在用于图形处理器的槽(未在图中示出)中,该槽在图像特效设备1的外壳表面上提供。视频处理块6中的每一个分别连接到一个VTR 51[51(1)到51(4)]。
使用3D(三维)计算机图形学的应用软件,操作面板2准备虚拟三维空间中的模型;指定用作纹理的视频数据(最大四个系统);以及执行各种参数的设置。这些参数包括:模型表面的属性、视点、光源、透明度、显示屏幕的分辨率、纹理空间、在其中叠加两个或更多系统的视频数据的情况下的景深方向的位置关系等。
基于操作面板2的操作等,CPU 3控制图像特效设备1中的每个单元以及每个VTR 51。
图形处理器4是其中安装了可编程着色器的现有(市场上可买到的)图形处理器。然而,这个图形处理器4具有被编程的关于处理内容的特征。
图2是示意地示出图形处理器4的配置的框图。图形处理器4包括:AGP接口11,用于将数据传送到外部CPU或者从外部CPU中接收数据;执行几何处理的顶点着色器12;执行绘制处理的像素着色器13;存储器接口14;以及用于输出图像数据(各自为8位的R、G和B信息、以及表示透明度的8位信息α)的显示接口15。
在说明在这个图像特效设备1中的图形处理器4的处理之前,将参考图3说明在过去的典型方法中使用图形处理器4的情况下、图形处理器4的处理。
当从外部CPU提供了有关构成已准备模型的多边形的顶点信息以及各种参数时,顶点着色器12将虚拟三维空间中的坐标转换为显示屏幕(屏幕坐标)上的2D(二维)坐标(步骤S1)。然后,为显示屏幕中的每个像素单元计算粘贴到显示屏幕上的模型上的图像的纹理坐标(X,Y)以及该显示屏幕上的模型的缩减率(s)(步骤S2)。此外,在步骤S2中,如果设置了光源,则还为每个像素单元计算用于光源处理的发光系数(L),以及如果指定了两个或更多系统的纹理,则还为每个像素单元计算指示纹理沿景深方向的位置关系的景深方向(Z)的信息。
随后,通过存储器接口14,像素着色器13通过使用坐标(X,Y)作为读取地址、使用MIPMAP方法从存储在外部存储器(DRAM)中的纹理当中读出具有接近该缩减率(s)的缩减率的纹理(步骤S3)。然后,从显示接口15输出有关该纹理的R、G和B的数据(步骤S4)。要注意到,在步骤S4中,如果将透明度设置为参数,则还从显示接口15输出有关透明度的信息(α)。
相反,图4示出了在这个图像特效设备1中的图形处理器4的处理。
当通过操作面板2的操作准备了模型并且设置了参数时,CPU 3将有关构成所准备模型的多边形的顶点信息、被设置的参数、以及指定要从图形处理器4输出的信息的ID提供给图形处理器4的AGP接口11(参见图2)。
要注意到,由这个ID指定的信息必定包括有关纹理坐标的信息以及有关显示屏幕上的模型的缩减率的信息。此外,如果将光源设置为参数,则这个信息包括用于光源处理的发光系数。此外,如果在其中叠加两个或更多系统的视频数据的情况下将景深方向的位置关系设置为参数,则这个信息包括指示位置关系的、有关景深的信息。
当从CPU 3提供了这些信息、参数和ID时,顶点着色器12将虚拟三维空间中的坐标转换为2D(二维)坐标(屏幕坐标)(步骤S11)。然后,为显示屏幕中的每个像素单元计算粘贴到显示屏幕上的模型上的图像的纹理坐标(X,Y)以及该显示屏幕上的模型的缩减率(s)(步骤S12)。此外,在步骤S12中,如果设置了光源,则还为每个像素单元计算用于光源处理的发光系数(L),以及如果指定了两个或更多系统的视频数据,则还为每个像素单元计算指示两个或更多视频数据在景深方向的位置关系的、景深方向(Z)的信息。
到这些步骤S11和S12为止的处理和图3中到步骤S1和S2为止的处理相同。图5是示出在步骤S11转换的(显示屏幕上的)屏幕坐标上的模型以及在步骤S12计算的纹理坐标的示例的图示。在这个示例中,将纹理空间中的阴影部分的纹理坐标的图像粘贴到显示屏幕上的波模型61的显示位置上。
随后,由像素着色器13将由ID指定的、有关纹理坐标和缩减率的信息从CPU 3分配给R、G、B和α中的位(步骤S13)。换句话说,必定将由顶点着色器12计算的、有关纹理坐标(X,Y)和缩减率(s)的信息分配给这些位。此外,如果由这个ID指定了发光系数和有关景深的信息,则还把发光系数(L)以及有关景深的信息(Z)分配给R、G、B和α中的位。
然后,从显示接口15输出分配给R、G、B和α中的位的信息(步骤S14)。
图6是示出其中分配了纹理坐标(X,Y)的步骤S13的示例的图示。在这个示例中,由32位浮点模式计算的纹理坐标(X,Y)被转换为18位的定点模式(14位用于整数,4位用于小数),然后分离这18位并且将其分配给R中的低阶2位、G中的8位以及B中的8位。类似地,还将缩减率(s)(以及,如果计算了的话,发光系数(L)和有关景深的信息(Z))分配给R中的剩余位或者α中的位。
如上所述,对图形处理器4进行编程以便从显示接口15输出有关显示屏幕中的像素单元的纹理坐标(X,Y)、缩减率(s)等的信息。此外,如果这个程序作为诸如CD-ROM等之类的封装介质被有偿或者无偿地分发,则用户可以使用用户早已拥有的图形处理器作为在这个图像特效设备1中的图形处理器4。
如图1所示,从图形处理器4输出的、有关像素单元的纹理坐标(X,Y)、缩减率(s)等的信息被传送到缓冲存储器5。
在缓冲存储器5中,作为CPU 3的初始化处理,已经把代表显示屏幕的背景部分(例如,图5中的背景62)的亮度和颜色的10位YUV(亮度和色度差)信号的值写入到对应于显示屏幕中的全部像素的存储区域中。然后,在这个初始化的缓冲存储器5中,重写来自图形处理器4的、有关纹理坐标(X,Y)、缩减率(s)等的信息。因此,在缓冲存储器5的存储区域当中的、与未重写有关纹理坐标(X,Y)、缩减率(s)等的信息的像素(即,显示屏幕上的背景部分中的像素)相对应的存储区域中,初始值的YUV信号的值保持不变。
此外,可以在缓冲存储器5中重写由槽8从小存储卡中读出的信息以及由通信接口9通过网络接收的信息。
图7是示出每个视频处理块6的配置的框图。视频处理块6用硬件电路配置,并且包括前置滤波器单元21、纹理控制器22、纹理存储器23、插值电路24、光源处理电路25和同步分离电路26。前置滤波器单元21被配置为具有滤波系数计算电路27、H(水平)方向前置滤波器28、HV扫描转换器29和V(垂直)方向前置滤波器30。
将由连接到每个视频处理块6的VTR 51(图1所示)再现的视频数据(10位的YUV(亮度和色度差)信号)提供给前置滤波器单元21和同步分离电路26。同步分离电路26从这个视频数据中分离出垂直同步信号(vs),并且将这个垂直同步信号(vs)传送给图1中的CPU 3。
与这个垂直同步信号(vs)同步地,CPU 3为视频数据的每帧而从缓冲存储器5中顺序地读出与显示屏幕中的全部像素相对应的、存储在存储区域中的信息。
对于从中读出不同于初始值(背景中的YUV信号的值)的值的像素,CPU 3通过使用CPU 3内部的RAM而重构纹理坐标(X,Y)、缩减率(s)、发光系数(L)和景深信息(z)。例如,在其中如图6所示、这样分配纹理坐标(X,Y)以便Y被划分成R中的低阶2位、G中的8位和B中的8位的情况下,从这些位中重构纹理坐标(X,Y)。
CPU 3将有关纹理坐标(X,Y)的信息提供给每个视频处理块6中的纹理存储控制器22(参见图7);将有关缩减率(s)的信息提供给每个视频处理块6中的前置滤波器单元21(参见图7);将发光系数(L)提供给每个视频处理块6中的光源处理电路25(参见图7);以及将景深信息(Z)提供给叠加电路7。
此外,对于其中读出了初始值(背景中的YUV信号的值)的像素,CPU3将初始值的数据按照原样提供给每个视频处理块6的纹理存储控制器22。
如图7所示,在每个视频处理块6的前置滤波器单元21中,滤波系数计算电路27计算与来自CPU 3(参见图1)的缩减率(s)相对应的、用于缩减视频数据的滤波系数(F),并且将该滤波系数(F)提供给H方向前置滤波器28和V方向前置滤波器30。
H方向前置滤波器28使用这个滤波系数(F)对从VTR 51(参见图1)提供的视频数据执行滤波(在屏幕水平方向的滤波),并且将结果传送到HV扫描转换器29。
在将一帧的视频数据写入到内部存储器中之后,HV扫描转换器29沿屏幕的垂直方向从存储器中读出每个像素的数据,以便对该视频数据进行扫描转换。然后,将扫描转换了的视频数据传送到V方向前置滤波器30。
V方向前置滤波器30使用滤波系数(F)执行这个视频数据的滤波(在屏幕垂直方向的滤波)。
由V方向前置滤波器30对其执行滤波的视频数据从前置滤波器单元21被传送到纹理存储控制器22。
在将这个视频数据写入到纹理存储器23中之后,纹理存储控制器22通过使用来自CPU 3(参见图1)的纹理坐标(X,Y)作为读取地址,而从纹理存储器23中读出显示屏幕中的每个像素的视频数据。(当显示屏幕的分辨率和视频数据的分辨率相等时,读出有关与显示屏幕中的像素相对应的像素位置的数据。当显示屏幕的分辨率高于视频数据的分辨率时,读出有关在该显示屏幕中的像素附近的多个(四个或者八个)像素位置的数据。)然后,将所读出的视频数据传送到插值电路24。
然而,在显示屏幕的像素当中,对于从CPU 3(参见图1)向其提供了初始值(背景中的YUV信号值)数据的像素,纹理存储控制器22不执行从纹理存储器23中的读出,而且没有任何改变地将这些初始值传送到插值电路24。
在其中相对于显示屏幕中的一个像素传送了有关多个像素位置的数据的情况下(如上所述,当显示屏幕的分辨率高于视频数据的分辨率时),插值电路24通过对多个数据执行线性插值来生成与显示屏幕中的像素相对应的数据。然后,将所生成的数据传送给光源处理电路25。在除此之外的其它情况下,插值电路24将从纹理存储器23传送过来的数据按照原样传送给光源处理电路25。
在显示屏幕的像素当中,对于从CPU 3(参见图1)向其提供了发光系数(L)的像素,由光源处理电路25对来自插值电路24的视频数据执行与这个发光系数(L)相对应的光源处理(反射光和阴影表示)。对于除此之外的其它像素,光源处理电路25按照原样输出从插值电路24传送过来的视频数据。
如图1所示,将从每个视频处理块6的光源处理电路25输出的视频数据提供给叠加电路7。在从CPU 3(参见图1)提供了景深信息(Z)的情况下,叠加电路7根据这个景深信息(Z)叠加从每个视频处理块6提供的两个或更多系统(最大为四个系统)的视频数据。在除此之外的其它情况下(换句话说,在仅仅从一个视频处理块6提供视频数据的情况下),叠加电路7按照原样输出所提供的视频数据。
将从叠加电路7输出的视频数据(10位的YUV信号)传送到与该图像特效设备1相连接的图像记录设备、监视器等(未在图中示出)。
如上所述,通过对现有的可编程图形处理器4进行编程,这个图像特效设备1执行纹理映射处理当中、不涉及图像质量的处理。不涉及图像质量的处理是计算和输出有关图像的已变换形状等(纹理坐标(X,Y)、缩减率(s)、发光系数(L)和景深信息(Z))的信息的处理。
换句话说,在相关技术的使用图形处理器的一般方法中,仅仅在图形处理器内使用有关纹理坐标、缩减率等的信息,并且从该图形处理器中输出最终变换的图像数据。相反,在这个图像特效设备1中,对图形处理器4进行编程,以便从图形处理器4的显示接口15输出有关纹理坐标、缩减率等的信息本身。
与视频数据的分辨率无关,有关该纹理坐标和缩减率等的信息的计算和输出处理所必需的时段是不变的,从而可以执行实时处理。
另一方面,由利用硬件电路配置的视频处理块6基于从图形处理器4输出的信息,而执行作为涉及图像质量的处理的、视频数据本身的处理。在视频处理块6中,根据从图形处理器4提供的、有关缩减率(s)的信息,在前置滤波器单元21中执行输入视频数据的滤波(缩减)。然后,在将视频数据写入到纹理存储器23中之后,通过使用从图形处理器4提供的、有关纹理坐标(X,Y)的信息作为读取地址,而从纹理存储器23中读出该视频数据。(当还从图形处理器4中输出发光系数(L)和景深信息(Z)时,根据上述信息执行光源处理以及在叠加电路7中的叠加处理。)然后,将该视频数据粘贴到显示屏幕上的模型上。因此,在对视频数据适当地执行与显示屏幕上的模型的缩减率相对应的滤波之后,粘贴该视频数据,从而可以充分地控制混叠。
此外,如上所述,因为通过使用与图形处理器4分离地提供的另一硬件电路来处理视频数据,所以直接处理YUV空间中的图像数据(不用将它转换到RGB空间中)以及处理10位的高质量视频数据就变得有可能。
因此,可以通过纹理映射来变换视频数据,同时还满足广播和商业领域可能要求的图像质量和实时处理。
此外,因为通过使用相对低成本的图形处理器4来计算有关图像的已变换形状等的信息,所以可以将视频数据变换为任意形状而不会导致硬件尺寸的扩大以及成本的增加。
此外,例如,使用安装有图形处理器并且执行与图形处理器4相同的程序的个人计算机,可以离线计算纹理坐标(X,Y)、缩减率(s)等(处于其中没有在附近提供图像特效设备1的状态)。随后,通过小存储卡或者网络将所计算的信息提供给图像特效设备1(即,由槽8从该小存储卡中读出以存储到缓冲存储器5中、或者由接口9接收以写入到缓冲存储器5中),并且可以基于该信息而在图像特效设备1的视频处理块6中实际地粘贴该视频数据。因此,还可以改进纹理映射的工作流程。
要注意到,虽然在上述实施例的图像特效设备1中提供了视频处理块6的四个系统,但是不用说,系统数目可被任意选择为诸如三个系统或更少、五个系统或更多等。
本领域技术人员应当理解:在所附权利要求及其等效的范围之内,取决于设计要求及其他因素,可以出现各种修改、组合、子组合以及改变。

Claims (14)

1、一种图像特效设备,包含:
图形处理器,其中安装了可编程着色器;以及
视频处理块,用硬件电路配置;
所述图形处理器被编程为执行:
根据提供的有关虚拟三维空间中的模型形状的信息而将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标、以及计算粘贴在显示屏幕上的图像的纹理坐标和该显示屏幕上的模型的缩减率的处理,以及
从图像数据输出单元输出有关所述纹理坐标以及有关所述缩减率的信息的处理;
所述视频处理块包括:
前置滤波器,其通过使用与所提供的有关缩减率的信息相对应的前置滤波系数而执行输入视频数据的滤波,
存储器,其中写入由所述前置滤波器滤波的视频数据,
控制电路,其通过使用所提供的纹理坐标作为读取地址的信息,来从所述存储器中读出视频数据;以及
其中,将从所述图形处理器输出的有关所述纹理坐标的信息提供给所述视频处理块中的所述控制电路,以及
将从所述图形处理器输出的有关所述缩减率的信息提供给所述视频处理块中的所述前置滤波器。
2、如权利要求1所述的图像特效设备,
其中所述图形处理器还被编程为执行:计算光源处理中的系数、并且同样从所述图像数据输出单元中输出有关所述系数的信息的处理,
所述视频处理块还包括光源处理电路,其对从所述存储器读出的视频数据执行与所提供的系数相对应的光源处理,以及
将从所述图形处理器输出的有关所述系数的信息提供给所述视频处理块中的所述光源处理电路。
3、如权利要求1所述的图像特效设备,
其中所述图形处理器还被编程为执行以下这样的处理,即在其中叠加两个或更多系统的视频数据以便显示的情况下,计算景深方向的信息并且同样从所述图像数据输出单元中输出所述景深方向的信息;
包含了所述前置滤波器、所述存储器和所述控制电路的两个或更多系统以便并行处理两个或更多系统中的视频数据,并且还包括了叠加电路,通过该电路,而与所提供的景深方向的信息相对应地叠加从每个系统的所述存储器读出的视频数据;以及
将从所述图形处理器输出的、所述景深方向的信息提供给所述叠加电路。
4、如权利要求1所述的图像特效设备,还包含:
存储单元,其存储从所述图形处理器的所述图像数据输出单元中输出的、有关所述纹理坐标的信息以及有关所述缩减率的信息,
其中与输入到所述视频处理块的视频数据同步地从所述存储单元中读出有关所述纹理坐标的信息以及有关所述缩减率的信息,并且将它们分别提供给所述视频处理电路中的所述控制电路和所述前置滤波器。
5、一种图像特效设备,包含:
读出装置,用于从记录介质中读出信息;以及
视频处理块,其用硬件电路配置;
所述视频处理块包括:
前置滤波器,其通过使用与提供的有关缩减率的信息相对应的前置滤波系数来执行输入视频数据的滤波;
存储器,其中写入由所述前置滤波器滤波的视频数据;以及
控制电路,其通过使用提供的纹理坐标作为读取地址的信息来从所述存储器中读出视频数据;以及
其中将由所述读出装置从记录介质中读取的、有关纹理坐标的信息以及有关缩减率的信息分别提供给所述视频处理块的所述控制电路和所述前置滤波器。
6、如权利要求5所述的图像特效设备,
其中所述记录介质存储有关光源处理中的系数的信息;
所述视频处理块还包括光源处理电路,其对从所述存储器中读出的视频数据执行与所提供的有关光源处理中的系数的信息相对应的光源处理;以及
将由所述读出装置从记录介质中读出的有关光源处理中的系数的信息提供给所述视频处理块中的所述光源处理电路。
7、如权利要求5所述的图像特效设备,
其中在叠加两个或更多系统的视频数据以便显示的情况下,所述记录介质存储景深方向的信息;
包含了所述前置滤波器、所述存储器和所述控制电路的两个或更多系统以便并行处理两个或更多系统中的视频数据,并且还包括了叠加电路,通过该电路,与所提供的景深方向的信息相对应地叠加从每个系统的所述存储器读出的视频数据;以及
将由所述读出装置从记录介质中读出的有关所述景深信息的信息提供给所述叠加电路。
8、一种图像特效设备,包含:
通信装置,用于执行通过网络的通信;以及
视频处理块,其用硬件电路配置;
所述视频处理块包括:
前置滤波器,其通过使用与提供的有关缩减率的信息相对应的前置滤波系数来执行输入视频数据的滤波;
存储器,其中写入由所述前置滤波器滤波的视频数据;以及
控制电路,其通过使用提供的纹理坐标作为读取地址的信息、来从所述存储器中读出视频数据;以及
其中将由所述通信装置接收的有关纹理坐标的信息以及有关缩减率的信息分别提供给所述视频处理块中的所述控制电路和所述前置滤波器。
9、如权利要求8所述的图像特效设备,
其中所述视频处理块还包括光源处理电路,其对从所述存储器中读出的视频数据执行与所提供的有关光源处理中的系数的信息相对应的光源处理;以及
将由所述通信装置接收的有关所述光源处理中的系数的信息提供给所述视频处理块中的所述光源处理电路。
10、如权利要求8所述的图像特效设备,还包含:
所述前置滤波器、所述存储器和所述控制电路的两个或更多系统,以便并行处理两个或更多系统中的视频数据,以及叠加电路,通过该电路,与所提供的景深方向的信息相对应地叠加从每个系统的所述存储器读出的视频数据,
其中将由所述通信装置接收的所述景深方向的信息提供给所述叠加电路。
11、一种包含可编程着色器安装在其中的图形处理器,被编程为执行:
根据提供的有关虚拟三维空间中的模型形状的信息而将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标、并且计算粘贴在所述显示屏幕上的图像的纹理坐标和所述显示屏幕上的模型的缩减率的处理;以及
从图像数据输出单元输出有关所述纹理坐标的信息以及有关所述缩减率的信息的处理。
12、一种记录介质,其中记录有程序,使得包含可编程着色器的图形处理器执行以下过程:
根据提供的有关虚拟三维空间中的模型形状的信息而将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标,以及计算粘贴在显示屏幕上的图像的纹理坐标和该显示屏幕上的模型的缩减率,以及
从图像数据输出单元中输出有关所述纹理坐标的信息以及有关所述缩减率的信息。
13、一种图像特效设备,包含:
读出单元,从记录介质中读出信息;以及
视频处理块,其用硬件电路配置;
所述视频处理块包括:
前置滤波器,其通过使用与要提供的有关缩减率的信息相对应的前置滤波系数来执行输入视频数据的滤波;
存储器,其中写入由所述前置滤波器滤波的视频数据;以及
控制电路,其通过使用提供的纹理坐标作为读取地址的信息,来从所述存储器中读出视频数据;以及
其中将由所述读出单元从记录介质中读出的有关纹理坐标的信息和有关缩减率的信息分别提供给所述视频处理块中的所述控制电路和所述前置滤波器。
14、一种图像特效设备,包含:
通信单元,执行通过网络的通信;以及
视频处理块,其用硬件电路配置;
所述视频处理块包括:
前置滤波器,其通过使用与提供的有关缩减率的信息相对应的前置滤波系数来执行输入视频数据的滤波;
存储器,其中写入由所述前置滤波器滤波的视频数据;以及
控制电路,其通过使用提供的纹理坐标作为读取地址的信息,来从所述存储器中读出视频数据;以及
其中将由所述通信单元接收的有关纹理坐标的信息和有关缩减率的信息提供给所述视频处理块中的所述控制电路和所述前置滤波器。
CNB2006101011155A 2005-07-04 2006-07-04 图像特效设备、图形处理器和记录方法 Expired - Fee Related CN100481890C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005195221A JP4462132B2 (ja) 2005-07-04 2005-07-04 画像特殊効果装置,グラフィックスプロセッサ,プログラム
JP195221/05 2005-07-04

Publications (2)

Publication Number Publication Date
CN1893564A true CN1893564A (zh) 2007-01-10
CN100481890C CN100481890C (zh) 2009-04-22

Family

ID=37588894

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101011155A Expired - Fee Related CN100481890C (zh) 2005-07-04 2006-07-04 图像特效设备、图形处理器和记录方法

Country Status (3)

Country Link
US (1) US7843461B2 (zh)
JP (1) JP4462132B2 (zh)
CN (1) CN100481890C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464569C (zh) * 2007-04-17 2009-02-25 北京中星微电子有限公司 对图像添加特效的方法和系统
CN101197945B (zh) * 2007-12-26 2010-06-02 北京中星微电子有限公司 一种生成视频特效的方法及装置
CN101479764B (zh) * 2006-07-03 2011-11-16 日本电信电话株式会社 图像处理方法及装置
CN106254877A (zh) * 2015-06-11 2016-12-21 Arm有限公司 视频处理系统
CN106537459A (zh) * 2014-07-24 2017-03-22 Arm有限公司 图形处理系统
CN107113396A (zh) * 2014-10-31 2017-08-29 微软技术许可有限责任公司 修改视频通话数据
CN108351864A (zh) * 2015-10-29 2018-07-31 索尼互动娱乐股份有限公司 成凹几何密铺
CN111028131A (zh) * 2019-11-18 2020-04-17 中国航空工业集团公司西安航空计算技术研究所 一种面向GPU硬件产生Mipmap多重细节层纹理算法的TLM微结构

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2682935C (en) 2007-04-11 2020-01-28 Thomson Licensing Method and apparatus for enhancing digital video effects (dve)
US7876329B2 (en) * 2007-09-10 2011-01-25 Via Technologies, Inc. Systems and methods for managing texture data in a computer
CN102263905A (zh) * 2011-07-22 2011-11-30 深圳市万兴软件有限公司 一种图像特效处理方法和装置
US8947449B1 (en) * 2012-02-21 2015-02-03 Google Inc. Color space conversion between semi-planar YUV and planar YUV formats
US9299127B2 (en) * 2012-09-21 2016-03-29 ImmerVision Splitting of elliptical images
US20150187126A1 (en) * 2013-12-31 2015-07-02 Nvidia Corporation Using indirection maps for rendering texture space effects
US9396585B2 (en) 2013-12-31 2016-07-19 Nvidia Corporation Generating indirection maps for texture space effects
US9438910B1 (en) 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
CN105245948B (zh) * 2014-06-26 2019-02-05 北京新媒传信科技有限公司 视频处理方法和装置
GB2536964B (en) 2015-04-02 2019-12-25 Ge Aviat Systems Ltd Avionics display system
US10559112B2 (en) * 2016-03-11 2020-02-11 Intel Corporation Hybrid mechanism for efficient rendering of graphics images in computing environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262965A (en) * 1988-10-31 1993-11-16 Bts-Broadcast Television Systems, Inc. System and method for high speed computer graphics image computation using a parallel connected, asynchronous multiprocessor ring coupled to a synchronous special purpose video processing ring
JP3223512B2 (ja) * 1990-12-19 2001-10-29 ソニー株式会社 画像表示方法及び装置
US5592599A (en) * 1991-12-18 1997-01-07 Ampex Corporation Video special effects system with graphical operator interface
TW348239B (en) * 1996-06-28 1998-12-21 Cirrus Logic Inc Embedding a transparency enable bit as part of a resizing bit block transfer operation
US6226012B1 (en) * 1998-04-02 2001-05-01 Nvidia Corporation Method and apparatus for accelerating the rendering of graphical images
US6778187B1 (en) * 1999-12-27 2004-08-17 Oak Technology, Inc. Methods and devices to process graphics and/or video data
JP3466173B2 (ja) 2000-07-24 2003-11-10 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、デバイス、方法及びコンピュータプログラム
US6791561B1 (en) * 2000-08-22 2004-09-14 Sony Corporation Method and apparatus for rendering video data
JP4487400B2 (ja) 2000-09-08 2010-06-23 ソニー株式会社 画像変形装置及びその画像変形方法
JP3775580B2 (ja) * 2001-11-21 2006-05-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP3972784B2 (ja) 2002-09-30 2007-09-05 ソニー株式会社 画像処理装置およびその方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479764B (zh) * 2006-07-03 2011-11-16 日本电信电话株式会社 图像处理方法及装置
CN100464569C (zh) * 2007-04-17 2009-02-25 北京中星微电子有限公司 对图像添加特效的方法和系统
CN101197945B (zh) * 2007-12-26 2010-06-02 北京中星微电子有限公司 一种生成视频特效的方法及装置
CN106537459A (zh) * 2014-07-24 2017-03-22 Arm有限公司 图形处理系统
CN106537459B (zh) * 2014-07-24 2020-08-18 Arm有限公司 图形处理系统、操作该系统的方法和计算机可读存储介质
CN107113396A (zh) * 2014-10-31 2017-08-29 微软技术许可有限责任公司 修改视频通话数据
US10750121B2 (en) 2014-10-31 2020-08-18 Microsoft Technology Licensing, Llc Modifying images from a camera
CN107113396B (zh) * 2014-10-31 2021-02-09 微软技术许可有限责任公司 视频通话期间在用户终端处实现的方法、用户终端及计算机可读存储介质
CN106254877A (zh) * 2015-06-11 2016-12-21 Arm有限公司 视频处理系统
CN108351864A (zh) * 2015-10-29 2018-07-31 索尼互动娱乐股份有限公司 成凹几何密铺
CN111028131A (zh) * 2019-11-18 2020-04-17 中国航空工业集团公司西安航空计算技术研究所 一种面向GPU硬件产生Mipmap多重细节层纹理算法的TLM微结构
CN111028131B (zh) * 2019-11-18 2023-06-13 中国航空工业集团公司西安航空计算技术研究所 一种面向GPU硬件产生Mipmap多重细节层纹理算法的TLM微结构

Also Published As

Publication number Publication date
US7843461B2 (en) 2010-11-30
JP4462132B2 (ja) 2010-05-12
CN100481890C (zh) 2009-04-22
US20070002048A1 (en) 2007-01-04
JP2007013874A (ja) 2007-01-18

Similar Documents

Publication Publication Date Title
CN1893564A (zh) 图像特效设备、图形处理器和记录介质
CN1136517C (zh) 图象数据处理方法、图象数据处理装置
EP0673524B1 (en) Polymorphic graphic device
US6226015B1 (en) Method of automatically producing sketches and cartoon images from movies
CN107256573B (zh) 基于图块的计算机图形
CN1773552A (zh) 计算机绘图之颜色资料的压缩系统及方法
US20190347757A1 (en) Graphics processing
CN1469240A (zh) 在图形系统内提供中间目标的系统和方法
JP5120987B2 (ja) 画像処理のための装置および方法、およびシステム
CN1150675A (zh) 用于纹理映射的方法和装置
CN101059760A (zh) Opengl到opengl│es翻译器和opengl│es仿真器
CN1339142A (zh) 使用通用3d图形管道进行成本低廉的数字图像和视频编辑的方法和装置
CN109584366B (zh) 一种地形渲染方法、装置、设备及可读存储介质
CN1560797A (zh) 减少z缓冲区流量的三维图形处理机制
CN1267859C (zh) 用于在二维屏幕上绘制图像的绘制方法
CN1969299A (zh) 图像生成装置及图像生成方法
CN1624723A (zh) 适用于非均质纹理的单层缩小过滤理论
US8698830B2 (en) Image processing apparatus and method for texture-mapping an image onto a computer graphics image
CN1816829A (zh) Mip贴图级别选择
JP4198087B2 (ja) 画像生成装置および画像生成方法
CN1132121C (zh) 图形处理器和应用该处理器的数据处理系统
CN1111301C (zh) 图象生成装置和方法
US20030001857A1 (en) Method and apparatus for determining logical texture coordinate bindings
CN1275225A (zh) 图象处理器及图象处理方法
CN1201269C (zh) 响应数据率受限三维图形数据迅速绘制图象的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090422

Termination date: 20120704