CN1835564A - 图像处理装置、图像处理过程以及记录介质 - Google Patents

Abstract

本发明涉及一种图像处理装置、图像处理过程以及记录介质，当将特殊效果应用于视频信号时，该图像处理装置执行预定的转换处理，而保持原来图像的颜色并消除色彩空间转换所需的处理时间。该图像处理装置包括：视频信号输入部分，用于接收具有以第一色彩空间表示的值的视频信号；信号转换部分，用于对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理；以及信号接口部分，用于将由该视频信号输入部分接收到的、具有以该第一色彩空间表示的值的该视频信号，作为对具有以该第二色彩空间表示的值的信号的替代，提供给该信号转换部分。

Description

图像处理装置、图像处理过程以及记录介质

技术领域

本发明涉及用于对视频信号执行预定信号处理的图像处理装置和图像处理过程，以及其上记录有使计算机能够执行该过程的程序的记录介质。本发明尤其涉及一种在将三维特殊图像效果应用于视频信号时采用计算机图形学中的纹理映射(texturemapping)技术的图像处理装置和图像处理过程，以及其上记录有使计算机能够执行该过程的程序的记录介质。

背景技术

在计算机图形学领域中，使用纹理映射技术可以将平移、旋转和变形等三维(3D)特殊效果容易地应用于目标图形中。

应用这种特殊效果的图像处理装置采用RGB色彩空间。这是因为：当采用RGB色彩空间时，由于颜色“黑色”在RGB色彩空间中被表示为(R，G，B)＝(0，0，0)，因此着色(shading)处理等用于亮度调整的计算变得更加容易。

日本特开平7-212695号、11-18005号和11-205754号公报公开了对视频信号执行的特殊效果等的图像处理技术。由数字照相机等捕获的视频信号具有以YUV色彩空间表示的值，该YUV色彩空间是一种均匀的色彩空间。当将与视频信号相对应的图像作为纹理映射到计算机图形上，然后执行预定的处理时，必须预先执行色彩空间转换(color space conversion，CSC)。更具体地，为了将特殊效果应用于该视频信号，在执行纹理映射等预定的处理之前，将该视频信号的色彩空间从YUV色彩空间转换为在计算机图形学中使用的RGB色彩空间。

发明内容

然而，以YUV色彩空间和RGB色彩空间表示的颜色的范围不同。因而，当处理从YUV色彩空间转换来的RGB色彩空间中的视频信号，并将RGB色彩空间转换回YUV色彩空间时，多个转换误差可能累积。这不仅使得难以在执行色彩空间转换(CSC)后保持原始图像的颜色，而且CSC处理还花费时间。

为了处理这些问题做出本发明的实施例。更具体来说，根据本发明的实施例，一种图像处理装置包括：视频信号输入部分，用于接收具有以第一色彩空间表示的值的视频信号；信号转换部分，用于对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理；以及信号接口部分，用于将由该视频信号输入部分接收到的、具有以该第一色彩空间表示的值的该视频信号，作为对具有以该第二色彩空间表示的值的信号的替代，提供给该信号转换部分。

在本实施例中，当对该视频信号执行该预定的处理时，将具有以该第一色彩空间表示的值的该视频信号，作为对具有以该第二色彩空间表示的值的信号的替代，提供给该信号转换部分，并且对该视频信号执行该处理。这有利地防止了由于从该第一色彩空间到该第二色彩空间的CSC而引起的颜色变化的出现，并消除了CSC所需的处理时间。

根据本发明的另一实施例，一种图像处理过程包括以下步骤：接收具有以第一色彩空间表示的值的视频信号；对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理，其中，对所接收到的作为对具有以该第二色彩空间表示的值的信号的替代的、具有以该第一色彩空间表示的值的视频信号执行该预定的转换处理。

在本实施例中，软件使计算机能够对作为对具有以该第二色彩空间表示的值的信号的替代的、具有以该第一色彩空间表示的值的视频信号执行该预定的转换处理。这有利地防止了由于从该第一色彩空间到该第二色彩空间的CSC而引起的颜色变化的出现，并消除了CSC所需的处理时间。

根据本发明的又一实施例，一种计算机可读的记录介质，其具有记录于其上的程序，该程序使计算机能够执行包括以下步骤的过程：接收具有以第一色彩空间表示的值的视频信号；以及对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理，其中，对所接收到的作为对具有以该第二色彩空间表示的值的信号的替代的、具有以该第一色彩空间表示的值的视频信号执行该预定的转换处理。

在本实施例中，可以分发其上记录有使上述图像处理过程能够在计算机上被执行的程序的记录介质。

作为表示视频信号的值的该第一色彩空间，使用YUV和L^*a^*b等均匀的色彩空间。作为该第二色彩空间，使用RGB色彩空间等在视频显示装置(监视器等)中采用的色彩空间。该信号转换部分不仅可以执行平移、旋转和变形等坐标转换处理，而且可以使用与该第一色彩空间相对应的系数执行着色处理。

因此，根据本发明的实施例，使用纹理视频信号的色彩空间执行该信号处理。这有利地消除了CSC所需的处理时间，并允许在保持原始图像的颜色的情况下执行该预定的转换处理。

附图说明

图1是示出利用纹理映射的视频转换处理的示意图；

图2A是示出根据相关技术的关于色彩空间转换的过程的示意图；

图2B是示出根据本发明的实施例的过程的示意图；

图3是示出缓冲器中的区域和视频数据的成分之间的关联的示意图；以及

图4是示出根据本发明的实施例的图像处理装置的典型结构的框图。

具体实施方式

下面参考附图来说明本发明的实施例。当将特殊效果应用于视频信号时，根据本发明实施例的图像处理装置采用计算机图形学中的纹理映射技术。该图像处理装置通过消除视频信号和计算机图形信号之间的色彩空间转换(CSC)，能够以高速实现特殊效果处理，而不改变颜色。

参考图1所示的示意图来说明利用纹理映射的视频转换处理。在计算机图形学中，当处理视频信号时，与该视频信号相对应的图像被作为纹理映射到多边形上。在对该多边形执行了平移和旋转等预定的转换处理之后，该多边形被绘制到帧缓冲器中。专用硬件设备的使用加快了上述处理的速度。

通常，使用对每个像素都具有R(红色)、G(绿色)、B(蓝色)、和A(透明)成分的RGBA数据格式，对该纹理以及帧缓冲器中的图像执行该处理。因此，在相关技术中，首先对具有Y(亮度)、U(蓝色色度)、以及V(红色色度)成分的YUV数据格式的视频信号执行YUV到RGB的CSC，然后进行绘制。在该绘制之后，将绘制结果的色彩空间转换回YUV色彩空间。

图2A是示出根据相关技术的关于CSC的过程的示意图。图2B是示出根据本发明的实施例的过程的示意图。如图2A所示，在该相关技术中，执行CSC以将例如YUV422数据格式的视频信号(YUV422信号)转换为RGB444数据格式的视频信号(RGB444信号)。在该YUV422数据格式中，从每四个像素采样四个“Y”成分、两个“U”成分、以及两个“V”成分。在该RGB444数据格式中，从每四个像素中的每一个像素采样“R”、“G”、和“B”成分。使用该RGB444信号执行预定的绘制，然后执行CSC以将该RGB444信号转换回该YUV422信号。由于至少执行两次CSC，因此色彩空间转换误差被累积。

另一方面，本发明的该实施例允许在不将色彩空间从YUV转换到RGB的情况下处理该视频信号，从而消除了CSC。更具体来说，如图2B所示，首先例如将YUV422视频信号上采样为YUV444信号，而不是执行CSC。使用该YUV444信号执行预定的绘制，然后将该YUV444信号下采样为YUV422信号。通常，由于使用YUV422数据格式来表示该视频信号，因此分别在绘制之前和绘制之后执行上采样和下采样操作。这有利地消除了CSC所需的处理时间，并防止了由于CSC而引起的颜色改变的出现。

通常，GPU(Graphics Processing Unit，图形处理单元)包括其中的缓冲器(GPU缓冲器)，该缓冲器具有分别与像素数据的“R”、“G”、“B”、以及“A”成分中的一个相对应的区域。视频数据的每个“Y”、“U”、“V”、以及“A”成分直接与GPU缓冲器中的对应区域相关联。图3是示出GPU缓冲器中的区域和视频数据的成分之间的关联的示意图。在该例子中，分别将“Y”、“U”、“V”、以及“A”成分的值直接提供给GPU缓冲器中的“R”、“G”、“B”、以及“A”区域。缓冲器的区域可以与任何成分相关联。

如上所述，YUV视频数据的每个成分被直接提供给所关联的原来被提供给对应的RGB成分的缓冲器区域，并作为RGB数据被处理。这有利地消除了CSC的必要性，因此消除了CSC所需的处理时间，并防止了由于CSC而引起的颜色改变的出现。

图4是示出根据本发明的实施例的图像处理装置的典型结构的框图。更具体来说，根据该实施例的图像处理装置1包括：视频信号输入部分2、信号接口部分3和信号转换部分4。视频信号输入部分2接收具有以YUV色彩空间等第一色彩空间表示的值的视频信号S。信号转换部分4对具有以不同于该第一色彩空间的RGB色彩空间等第二色彩空间表示的值的信号执行预定的转换处理。信号接口部分3将由视频信号输入部分2接收到的、具有以该第一色彩空间表示的值的视频信号S，作为对具有以该第二色彩空间表示的值的信号的替代，提供给信号转换部分4。

可以使用硬件或软件来实现上述所有结构。可选地，可以使用硬件来实现部分结构，而使用软件来实现剩余部分的结构。通过计算机的CPU来执行由软件实现的部分，并且可以通过其上记录有该软件的CD-ROM盘等记录媒体，或者通过预定的网络来分发该部分。

视频信号S具有以数字照相机等视频装置中所采用的均匀色彩空间(例如，YUV和L^*a^*b^*)表示的值。本实施例应用了YUV色彩空间，然而，也可以应用其它色彩空间。视频信号输入部分2接收YUV数据格式的视频信号S，并将该视频信号S提供给信号接口部分3。

在不执行CSC的情况下，信号接口部分3将YUV数据格式的视频信号S提供给信号转换部分4，使得YUV色彩空间的成分和信号转换部分4中所使用的色彩空间的成分具有一对一的对应关系。换句话说，信号接口部分3将YUV视频信号S的每个成分提供给由信号转换部分4使用的GPU缓冲器的相关联的区域。例如，当在信号转换部分4中采用RGB色彩空间时，YUV视频信号的每个成分被提供给所关联的原来被提供给对应的RGB成分的缓冲器区域，使得YUV成分和RGB成分具有一对一的对应关系。

缓冲器的区域可与任何成分相关联。例如，如图3所示，视频数据的“Y”、“U”、和“V”成分被分别提供给GPU缓冲器中的“R”、“G”、和“B”区域。此外，如果需要，视频数据的“A”成分也可被提供给GPU缓冲器中的“A”区域。

信号转换部分4对从信号接口部分3提供的视频信号S执行预定的转换处理。更具体来说，将YUV数据假定为RGB数据，信号转换部分4对视频信号S的YUV数据执行该预定的转换处理。该转换处理包括平移、旋转和变形等各种坐标转换。只对坐标而不对颜色数据执行这种坐标转换。因此，将YUV数据假定为RGB数据，对YUV数据执行计算不会产生任何问题。

在使用保持在GPU缓冲器中的YUV数据执行坐标转换等预定的转换处理之后，信号转换部分4输出转换后的视频信号S′。上述过程允许在无CSC的情况下执行坐标转换等预定的转换处理。此外，信号转换部分4可以使用RGB数据(包括从YUV数据转换来的数据)对颜色成分执行该预定的转换处理。

现在，对使用根据该实施例的图像处理装置和图像处理程序对视频信号执行的着色处理进行说明。当将YUV数据假定为RGB数据，对YUV数据执行着色等关于颜色校正的处理时，由于GPU处理RGB色彩空间中的视频信号，因此难以获得所期望的结果。因而，在本实施例中采用以下着色算法。

通常，在着色算法中所采用的绘制方程式被表示如下：

$I=\mathrm{La}\×\mathrm{ka}\×C+\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}\{\mathrm{Ld}\left(i\right)\×\mathrm{kd}\×\cos {\mathrm{\θ}}_d\×C+\mathrm{Ls}\left(i\right)\×\mathrm{ks}\×{\cos }^{\mathrm{kn}}{\mathrm{\θ}}_s\}$

ka：环境光系数          kd：扩散反射系数

ks：镜面反射系数        kn：加亮系数

La：环境光强度          Ld：扩散光强度

Ls：镜面光强度          C：纹理颜色

Θd：入射光线和物体表面法线之间的角度

Θs：正反射方向和视线方向之间的角度                 …(1)

将公式(1)关于“C”重新整理为公式(2)。

$I=(\mathrm{La}\×\mathrm{ka}+\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}\{\mathrm{Ld}\left(i\right)\×\mathrm{kd}\×\cos {\mathrm{\θ}}_d\left\}\right)\×C+\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}\{\mathrm{Ls}\left(i\right)\×\mathrm{ks}\×{\cos }^{\mathrm{kn}}{\mathrm{\θ}}_s\}$

$=K_0\×C+K_1---\left(2\right)$

由于对每个RGB成分执行公式(2)的计算，因此可将公式(2)表示为公式(3)。

$\left(\begin{array}{c}{I}_R\\ I_G\\ I_B\end{array}\right)=\left(\begin{array}{ccc}{K}_{0R}& 0& 0\\ 0& K_{0G}& 0\\ 0& 0& K_{0B}\end{array}\right)\left(\begin{array}{c}{C}_R\\ C_G\\ C_B\end{array}\right)+\left(\begin{array}{c}{K}_{1R}\\ K_{1G}\\ K_{1B}\end{array}\right)---\left(3\right)$

现在，使用RGB到YUV的CSC矩阵Tr和归一化的YUV矩阵，可得到公式(4)，其中RGB和YUV的每个成分的范围是[0.0，1.0]。

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)={\mathrm{Tr}}^{-1}\left(\begin{array}{c}Y\\ U-0.5\\ V-0.5\end{array}\right)---\left(4\right)$

当将公式(4)应用于公式(3)的“I”和“C”时，可得到公式(5)。

$\left(\begin{array}{c}{I}_Y\\ I_U\\ I_v\end{array}\right)=\mathrm{Tr}\left(\begin{array}{ccc}{K}_{0R}& 0& 0\\ 0& K_{0G}& 0\\ 0& 0& K_{0B}\end{array}\right){\mathrm{Tr}}^{-1}\left(\begin{array}{c}{C}_Y\\ C_U-0.5\\ C_V-0.5\end{array}\right)+\mathrm{Tr}\left(\begin{array}{c}{K}_{1R}\\ K_{1G}\\ K_{1B}\end{array}\right)+\left(\begin{array}{c}0\\ 0.5\\ 0.5\end{array}\right)---\left(5\right)$

因此，利用公式(5)执行计算允许对YUV纹理进行着色并输出该YUV数据。可以使用与视频信号格式相对应的CSC矩阵Tr。

各个RGB成分的亮度值经常是相同的。在这种情况下，可将公式(3)表示为公式(6)，该公式(6)允许以与对RGB纹理执行的方式相同的方式对YUV纹理执行着色处理，而不使用CSC矩阵。

$\left(\begin{array}{c}{I}_Y\\ I_U\\ I_V\end{array}\right)=\left(\begin{array}{ccc}{K}_{0Y}& 0& 0\\ 0& K_{0Y}& 0\\ 0& 0& K_{0Y}\end{array}\right)\left(\begin{array}{c}{C}_Y\\ C_U-0.5\\ C_V-0.5\end{array}\right)+\left(\begin{array}{c}{K}_{1Y}\\ 0.5\\ 0.5\end{array}\right)---\left(6\right)$

当将计算机图形学中的3D特殊图像效果应用于视频信号时，根据本发明的该实施例的图像处理装置和图像处理过程将YUV成分和RGB成分以一对一的对应关系进行关联，以处理该纹理。这有利地消除了CSC，因此防止了由于CSC而引起的图像质量的下降。CSC的消除不仅保持了与输入图像相同的图像质量，而且加快了处理速度。

通常，在RGB色彩空间中执行着色计算。然而，提供对应于YUV色彩空间的该计算所需的系数允许在不执行CSC的情况下进行着色。

本领域的技术人员应该理解，根据设计要求和其它因素可进行各种修改、组合、子组合、以及变化，只要它们在所附的权利要求书或其等同物的范围内即可。

Claims (9)

1.一种图像处理装置，其包括：

视频信号输入部分，用于接收具有以第一色彩空间表示的值的视频信号；

信号转换部分，用于对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理；以及

信号接口部分，用于将由该视频信号输入部分接收到的、具有以该第一色彩空间表示的值的该视频信号，作为对具有以该第二色彩空间表示的值的信号的替代，提供给该信号转换部分。

2.根据权利要求1所述的图像处理装置，其特征在于，该第一色彩空间是均匀的色彩空间，该第二色彩空间是视频显示装置中所采用的色彩空间。

3.根据权利要求1所述的图像处理装置，其特征在于，该信号转换部分执行坐标转换处理。

4.根据权利要求1所述的图像处理装置，其特征在于，该信号转换部分使用与该第一色彩空间相对应的系数来执行着色处理。

5.一种图像处理过程，其包括以下步骤：

接收具有以第一色彩空间表示的值的视频信号；

对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理，

其中，对所接收到的作为对具有以该第二色彩空间表示的值的信号的替代的、具有以该第一色彩空间表示的值的视频信号执行该预定的转换处理。

6.根据权利要求5所述的图像处理过程，其特征在于，该第一色彩空间是均匀的色彩空间，该第二色彩空间是视频显示装置中所采用的色彩空间。

7.根据权利要求5所述的图像处理过程，其特征在于，该执行预定的转换处理的步骤包括执行坐标转换处理。

8.根据权利要求5所述的图像处理过程，其特征在于，该执行预定的转换处理的步骤包括使用与该第一色彩空间相对应的系数执行着色处理。

9.一种计算机可读的记录介质，其具有记录于其上的程序，该程序使计算机能够执行过程，该过程包括以下步骤：

接收具有以第一色彩空间表示的值的视频信号；

对具有以不同于该第一色彩空间的第二色彩空间表示的值的信号执行预定的转换处理，

其中，对所接收到的作为对具有以该第二色彩空间表示的值的信号的替代的、具有以该第一色彩空间表示的值的视频信号执行该预定的转换处理。

Images