CN105513112A - 图像处理方法和装置 - Google Patents

Abstract

本发明公开了一种图像处理方法和装置。该图像处理方法包括：通过获取待处理图像中的背景物体的各个顶点的深度信息，创建背景物体的深度图；通过获取待处理图像中的目标对象的各个顶点的深度信息，创建目标对象的深度图；根据背景物体的深度图和目标对象的深度图，确定背景物体与目标对象之间的遮挡关系；以及根据遮挡关系，在显示屏幕上渲染待处理图像。

Description

图像处理方法和装置

技术领域

本发明涉及计算机领域，更具体地涉及一种图像处理方法和装置。

背景技术

网络游戏(OnlineGame，又称在线游戏或网游)指以互联网为传输媒介，以游戏运营商服务器和用户计算机为处理终端，以游戏客户端软件为信息交互窗口的旨在实现娱乐、休闲、交流和取得虚拟成就的具有可持续性的个体性多人在线游戏。

目前推出的网络游戏普遍分为二维(2D)游戏和三维(3D)游戏两大类。二维游戏是指二维交互式动画，也就是我们通常所说的“2D动画”。只不过在游戏方面，这种动画可以根据用户的需求而进行互动。二维游戏的场景处于平面图中，因而没有视角的概念，也就无法完成视角的转换。由2D游戏衍生出了2.5D游戏的概念，这样的游戏可以转动一定的视角，营造出一种3D游戏的感官，但是实际上看似立体的画面全由演算法构成，跟3D技术无关，所以2.5D游戏无法做到视角的无锁定。

三维游戏是使用空间立体计算技术实现操作的游戏，能够真正实现视角的自由转换。从编程实现角度来说，三维游戏的基础模型(游戏的人物、场景、基础地形)是使用三维立体模型实现的，并且三维游戏的人物角色控制是使用空间立体编程算法实现的。三维游戏中的位置由三个坐标(X，Y，Z)决定。三维游戏是相对于二维游戏而言的，因其采用了立体空间坐标的概念，所以更显真实，而且对空间操作的随意性也较强。

在2.5D图像中，由于视角被锁定而只能从特定的角度来观察图像，导致观察者不能精确地看到图像中的所有细节。而在3D图像中，尽管通过空间立体计算技术可以解决视角锁定的问题，但是一味的转动视角会造成体验者视觉上的不适以及操作上的不便。这意味着不论在2.5D图像还是在3D图像中，始终存在被遮挡对象，这使得对被遮挡的特定对象或重叠部分的观察和研究非常不便。

为了显示出被遮挡对象，以往使用的图像处理方法大致分为两种：一种是固定视角，使物体之间不可能存在遮挡关系。这种处理方法通常使用俯视视角，从而过分锁定了视角，使观察者无法看到完整的图像，造成观察和研究上的局限。另一种是拉近视点，即拉近镜头，使观察者的视线“越过”形成遮挡的背景物体而直接观察被遮挡对象，这种处理方法的优势在于能够一目了然地看到被遮挡对象的细节，同时也存在一些缺陷，例如无法同时看到被遮挡对象和背景物体、拉近视点的过程中容易造成像素的突变或者引起观察者视觉上的不适感以及无法突出遮挡部分的轮廓等。

发明内容

鉴于以上所述的一个或多个问题，本发明提出了一种新颖的图像处理方法和装置。

根据本发明实施例的图像处理方法，包括：通过获取待处理图像中的背景物体的各个顶点的深度信息，创建背景物体的深度图；通过获取待处理图像中的目标对象的各个顶点的深度信息，创建目标对象的深度图；根据背景物体的深度图和目标对象的深度图来确定背景物体与目标对象之间的遮挡关系；根据背景物体与目标对象之间的遮挡关系，在显示屏幕上渲染待处理图像。

根据本发明实施例的图像处理装置，包括：背景深度图创建单元，被配置为通过获取待处理图像中的背景物体的各个顶点的深度信息，创建背景物体的深度图；目标深度图创建单元，被配置为通过获取待处理图像中的目标对象的各个顶点的深度信息，创建目标对象的深度图；遮挡关系确定单元，被配置为根据背景物体的深度图和目标对象的深度图，确定背景物体与目标对象之间的遮挡关系；以及待处理图像渲染单元，被配置为根据背景物体与目标对象之间的遮挡关系，在显示屏幕上渲染待处理图像。

通过本发明，观察者能够更为清晰地看到遮挡区域的位置、轮廓以及属性，同时被遮挡对象和背景物体的细节纹理被保留，从而较大地改善了观察者的视觉体验。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1是示出根据本发明实施例的图像处理装置的框图；

图2是示出根据本发明实施例的图像处理方法的流程图；

图3A是示出根据本发明实施例的对背景物体进行坐标变换的处理的流程图；以及

图3B是示出根据本发明实施例的对目标对象进行坐标变换的处理的流程图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本发明造成不必要的模糊。

计算机3D图形学要解决的最基本问题就是将构建好的3D图像显示在2D屏幕上。3D图像中的物体是由一系列具有位置的顶点和图像组成的。因而，3D图像中的物体和现实世界中真实三维空间里的物体一样，不仅具有颜色、明暗还具有位置。物体的位置可以用不同坐标系(诸如，局部坐标系、世界坐标系、相机坐标系(观察坐标系)、投影坐标系、屏幕坐标系等等)中的位置信息(X，Y，Z)来描述。3D图像中的物体的位置由物体在世界坐标系中的位置和朝向、以及观察者的位置和观察方向决定。3D图像中的每一个物体都具有其自身的坐标系，即局部坐标系。局部坐标系通常以物体的中心为坐标原点，当对物体进行旋转或平移等操作时(即，对物体的每个顶点进行旋转或平移时)，局部坐标系也被相应地旋转或平移。世界坐标系是使用最广泛且最常见的坐标系，它是绝对坐标系。在世界坐标系中，通过定义坐标原点和X、Y、Z轴，任何物体都能够在世界坐标系中确定其自身的位置和每个顶点的坐标值。因而，世界坐标系主要用于计算机图形场景中的所有图形对象的空间定位和定义，以及表示多个物体之间的相对关系。

一般来说，观察者只对3D图像的一部分感兴趣，即观察者只需要看到虚拟摄像机指定的对观察者可见部分的场景。因而，可以依据这部分可视3D场景来创建图像，所创建的图像存在于相机坐标系中。在相机坐标系中，虚拟摄像机位于原点，X轴向右，Y轴向上(摄影机本身的上方)，Z轴向前(朝向屏幕内或摄像机方向)。通常，由于观察者具有移动性，所以需要实时构建相机坐标系。物体在相机坐标系中的Z值表示物体到虚拟摄像机的距离，用来描述物体之间的遮挡关系。

此外，为了将观察者看到的3D场景转换为2D屏幕图像，需要将所构建的图像从相机坐标系中转换到投影坐标系中来实现降维(即，将图像从N维变换为N-1维)。投影坐标系是一个简单的二维坐标系，X轴向右，Y轴向上。

根据本发明实施例的图像处理装置和方法主要是基于以下的在显示屏幕上显示3D图像的过程提出的：首先，通过建模软件(例如，3DMax、Maya等等)构建3D物体，这时生成了物体自身的局部坐标系。经过矩阵变换将物体上各个顶点转换到世界坐标系中。虚拟摄像机充当三维场景中的观察者。为了只显示场景的一部分，需要将物体转换到相机坐标系中，也就是计算物体相对于观察者的位置和朝向。通常情况下，由于观察者在三维场景中具有移动性，物体相对于观察者的位置和朝向是实时变化的，因此相较于世界坐标系和局部坐标系是提前定义完成的，相机坐标系是由实时构建的。其后，将相机坐标系中的图像透视投影到投影坐标系中以实现对3D图像的降维，降维后的图像具有2D坐标。在降维后，每个顶点的Z轴方向值经过归一化变为深度值(即，深度信息)被单独保存在深度图中。深度值被用于描述图像中各个物体与虚拟摄像机之间的距离关系。距离虚拟摄像机越近的位置，深度值越小；距离虚拟摄像机越远的位置，深度值越大。2D图像中的每个像素都与显示屏幕中的相同位置的像素相对应，这使得显示屏幕中的每个像素都被赋予了2D图像中的相应像素的深度值，并且这些深度值被与像素相对应地存储在了深度图中。在显示屏幕的同一个像素上可能存在一个或多个物体，这些物体之间可能存在遮挡关系。其中，对于显示屏幕上的任意一个像素，具有相对较小深度值的物体会遮挡具有相对较大深度值的物体，或者换句话说具有相对较小深度值的物体会覆盖在具有相对较大深度值的物体上。接下来，为了在显示屏幕上显示图像，需要将降维后的图像从投影坐标系转换到屏幕坐标系中。这是因为物体在投影坐标系中被表示为浮点坐标，而显示屏幕上的坐标范围由具体显示设备的分辨率来定义。显示屏幕上的坐标系中的一个点一般对应于一个像素。因而，从投影坐标系到屏幕坐标系的转换主要是为了实现将浮点坐标转化为像素坐标(即，屏幕坐标)。最后，对转换后的图像进行渲染即可在显示屏幕上显示最终图像。

下面结合附图，详细描述根据本发明实施例的图像处理装置和方法。图1是示出根据本发明实施例的图像处理装置的框图。图2是示出根据本发明实施例的图像处理方法的流程图。

如图1所示，根据本发明实施例的图像处理装置100包括背景深度图创建单元102、目标深度图创建单元104、遮挡关系确定单元106、和待处理图像渲染单元108。其中，背景深度图创建单元102被配置为通过获取待处理图像中的背景物体的各个顶点的深度信息，创建背景物体的深度图(即，执行步骤S102)；目标深度图创建单元104被配置为通过获取待处理图像中的目标对象的各个顶点的深度信息，创建目标对象的深度图(即，执行步骤S104)；遮挡关系确定单元106被配置为根据背景物体的深度图和目标对象的深度图，确定背景物体与目标对象之间的遮挡关系(即，执行步骤S106)；以及待处理图像渲染单元108被配置为根据背景物体与目标对象之间的遮挡关系，在显示屏幕上渲染待处理图像(即，执行步骤S108)。

具体地，背景深度图创建单元102对待处理图像中的背景物体的各个顶点进行坐标变换(即，执行步骤201)，然后创建背景物体的效果图(即，背景物体在显示屏幕上的投影图像)和深度图(即，执行步骤203)。目标深度图创建单元104对待处理图像中的目标对象的各个顶点进行坐标变换(即，执行步骤205)，然后创建目标对象的效果图(即，目标对象在显示屏幕上的投影图像)和深度图(即，执行步骤207)。遮挡关系确定单元106通过对比背景物体的深度图和目标对象的深度图中每一个像素上所存的深度值(即，执行步骤209)，来确定背景物体与目标对象之间的遮挡关系，即：如果对于同一像素，目标对象的深度值小于背景物体的深度值，则表明在该像素处目标对象未被背景物体遮挡；反之，如果对于同一像素，目标对象的深度值大于或等于背景物体的深度值，则表明在该对象处目标对象被背景物体遮挡。待处理图像渲染单元108根据遮挡关系确定单元106所确定的遮挡关系，在显示屏幕上渲染待处理图像。其中，待处理图像渲染单元108对目标对象未被背景物体遮挡的区域的所有像素进行光栅处理(即，执行步骤211)，并且对目标对象被背景物体遮挡的区域的所有像素进行alpha混合并渲染成半透明的效果(即，执行步骤213)。

这里，背景物体在显示屏幕上的投影图像是通过对背景物体进行坐标变换创建的。图3A是示出根据本发明实施例的对背景物体进行坐标变换的处理(即，步骤201)的流程图。如图3A中所示，根据本发明实施例的对背景物体进行坐标变换的处理包括：步骤303，获取背景物体的局部坐标，该局部坐标是构建3D物体时，通过建模软件(例如，3DMax、Maya等等)生成的；步骤305，利用第一矩阵将背景物体的局部坐标转换为世界坐标；步骤307，利用第二矩阵将背景物体的世界坐标转换为相机坐标；步骤309，利用第三矩阵将背景物体的相机坐标转换为投影坐标，从而实现背景物体从3D图像到2D图像的降维(降维后每个顶点的Z轴方向值经过归一化变为深度值被单独保存在背景物体的深度图中)；步骤311，利用第四矩阵将背景物体的投影坐标转换为屏幕坐标，以实现将浮点坐标转化为像素坐标(即，屏幕坐标)；步骤313，获取背景物体的深度图，并且通过对转换后的图像进行光栅化处理得到背景物体的效果图。

类似地，目标对象在显示屏幕上的投影图像也是通过对目标对象进行坐标变换创建的。图3B是示出根据本发明实施例的对目标对象进行坐标变换的处理(即，步骤205)的流程图。如图3B中所示，根据本发明实施例的对目标对象进行坐标变换的处理包括：步骤304，获取目标对象的局部坐标，该局部坐标是构建3D物体时，通过建模软件(例如，3DMax、Maya等等)生成的；步骤306，利用第五矩阵将目标对象的局部坐标转换为世界坐标；步骤308利用第六矩阵将目标对象的世界坐标转换为相机坐标；步骤310，利用第七矩阵将目标对象的相机坐标转换为投影坐标，从而实现目标对象从3D图像到2D图像的降维(降维后每个顶点的Z轴方向值经过归一化变为深度值被单独保存在目标对象的深度图中)；步骤312，利用第八矩阵将目标对象的投影坐标转换为屏幕坐标，以实现将浮点坐标转化为像素坐标(即，屏幕坐标)；步骤314，获取目标对象的深度图，并且通过对转换后的图像进行光栅化处理得到目标对象的效果图。

通过根据本发明实施例的图像处理方法和装置可使观察者同时看到背景物体和被遮挡的目标对象的情况，并且通过不同的alpha混合可实现对待处理图像中多个被遮挡的、属性不同的目标对象进行区分。

本领域技术人员将理解，还存在可用于实现本发明实施例的更多可选实施方式和改进方式，并且上述实施方式和示例仅是一个或多个实施例的说明。因此，本发明的范围仅由所附权利要求书限制。

Claims (14)

1.一种图像处理方法，包括：

通过获取待处理图像中的背景物体的各个顶点的深度信息，创建所述背景物体的深度图；

通过获取所述待处理图像中的目标对象的各个顶点的深度信息，创建所述目标对象的深度图；

根据所述背景物体的深度图和所述目标对象的深度图，确定所述背景物体与所述目标对象之间的遮挡关系；以及

根据所述遮挡关系，在显示屏幕上渲染所述待处理图像。

2.根据权利要求1所述的图像处理方法，其特征在于，确定所述遮挡关系的处理包括：

将所述背景物体和所述目标对象投影到所述显示屏幕上；以及

对于所述显示屏幕上的任意一个像素，通过比较所述背景物体的深度图中与所述一个像素相对应的深度值和所述目标对象的深度图中与所述一个像素相对应的深度值的大小来确定所述背景物体与所述目标对象之间在所述一个像素处的遮挡关系，其中

如果所述目标对象的深度图中与所述一个像素相对应的深度值小于所述背景物体的深度图中与所述一个像素相对应的深度值，则所述目标对象在所述一个像素处未被所述背景物体遮挡；

如果所述目标对象的深度图中与所述一个像素相对应的深度值大于或等于所述背景物体的深度图中与所述一个像素相对应的深度值，则所述目标对象在所述一个像素处被所述背景物体遮挡。

3.根据权利要求1所述的图像处理方法，其特征在于，对于所述待处理图像中所述目标对象被所述背景物体遮挡的区域，通过对所述目标对象和所述背景物体的颜色值进行混合来获取用于在所述显示屏幕上对所述区域进行渲染的最终颜色值。

4.根据权利要求2所述的图像处理方法，其特征在于，将所述背景物体和所述目标对象投影到所述显示屏幕上的处理包括：

通过坐标变换将所述背景物体的各个顶点和所述目标对象的各个顶点投影到所述显示屏幕上的相应像素上。

5.根据权利要求4所述的图像处理方法，其特征在于，将所述背景物体的各个顶点和所述目标对象的各个顶点投影到所述显示屏幕上的相应像素上的处理包括：

通过多次矩阵变换将所述背景物体的各个顶点和所述目标对象的各个顶点的三维局部坐标转化为二维投影坐标，然后通过不同于所述多次矩阵变换的另一矩阵变换将所述背景物体的各个顶点和所述目标对象的各个顶点的二维投影坐标转化为所述背景物体的各个顶点和所述目标对象的各个顶点在所述显示屏幕上的相应像素位置。

6.根据权利要求3所述的图像处理方法，其特征在于，通过对所述目标对象和所述背景物体的颜色值进行alpha混合来获取用于在所述显示屏幕上对所述区域进行渲染的最终颜色值。

7.根据权利要求6所述的图像处理方法，其特征在于，所述alpha混合处理包括：

分别设置用于所述目标对象的目标混合系数和用于所述背景物体的背景混合系数；

利用所述目标混合系数、所述背景混合系数、以及所述目标对象和所述背景物体的颜色值来计算用于在所述显示屏幕上对所述区域进行渲染的最终颜色值。

8.一种图像处理装置，包括：

背景深度图创建单元，被配置为通过获取待处理图像中的背景物体的各个顶点的深度信息，创建所述背景物体的深度图；

目标深度图创建单元，被配置为通过获取所述待处理图像中的目标对象的各个顶点的深度信息，创建所述目标对象的深度图；

遮挡关系确定单元，被配置为根据所述背景物体的深度图和所述目标对象的深度图，确定所述背景物体与所述目标对象之间的遮挡关系；以及

待处理图像渲染单元，被配置为根据所述遮挡关系，在显示屏幕上渲染所述待处理图像。

9.根据权利要求8所述的图像处理装置，其特征在于，所述遮挡关系确定单元通过以下处理来确定所述背景物体与所述目标对象之间的遮挡关系：

将所述背景物体和所述目标对象投影到所述显示屏幕上；以及

对于所述显示屏幕上的任意一个像素，通过比较所述背景物体的深度图中与所述一个像素相对应的深度值和所述目标对象的深度图中与所述一个像素相对应的深度值的大小来确定所述背景物体与所述目标对象之间在所述一个像素处的遮挡关系，其中

如果所述目标对象的深度图中与所述一个像素相对应的深度值小于所述背景物体的深度图中与所述一个像素相对应的深度值，则所述目标对象在所述一个像素处未被所述背景物体遮挡；

如果所述目标对象的深度图中与所述一个像素相对应的深度值大于或等于所述背景物体的深度图中与所述一个像素相对应的深度值，则所述目标对象在所述一个像素处被所述背景物体遮挡。

10.根据权利要求8所述的图像处理装置，其特征在于，对于所述待处理图像中所述目标对象被所述背景物体遮挡的区域，所述待处理图像渲染单元通过对所述目标对象和所述背景物体的颜色值进行混合来获取用于在所述显示屏幕上对所述区域进行渲染的最终颜色值。

11.根据权利要求9所述的图像处理装置，其特征在于，所述遮挡关系确定单元通过以下处理来将所述背景物体和所述目标对象投影到所述显示屏幕上：

通过坐标变换将所述背景物体的各个顶点和所述目标对象的各个顶点投影到所述显示屏幕上的相应像素上。

12.根据权利要求11所述的图像处理装置，其特征在于，所述遮挡关系确定单元通过多次矩阵变换将所述背景物体的各个顶点和所述目标对象的各个顶点的三维局部坐标转化为二维投影坐标，然后通过不同于所述多次矩阵变换的另一矩阵变换将所述背景物体的各个顶点和所述目标对象的各个顶点的二维投影坐标转化为所述背景物体的各个顶点和所述目标对象的各个顶点在所述显示屏幕上的相应像素位置。

13.根据权利要求10所述的图像处理装置，其特征在于，所述待处理图像渲染单元通过对所述目标对象和所述背景物体的颜色值进行alpha混合来获取用于在所述显示屏幕上对所述区域进行渲染的最终颜色值。

14.根据权利要求13所述的图像处理装置，其特征在于，所述待处理图像渲染单元进行所述alpha混合的处理包括：

分别设置用于所述目标对象的目标混合系数和用于所述背景物体的背景混合系数；

利用所述目标混合系数、所述背景混合系数、以及所述目标对象和所述背景物体的颜色值来计算用于在所述显示屏幕上对所述区域进行渲染的最终颜色值。