CN101179409A - 在即时通信中显示多方视频的方法及装置 - Google Patents

Abstract

本发明公开了一种在即时通信中显示多方视频的方法，该方法为：确定显示即时通信中多方视频的多个多边形视频显示区，其中，所述多个多边形视频显示区在显示空间中呈现立体形状；分别将需要显示的视频分割为三角形，以及将对应的视频显示区分割为相同数量的三角形，并根据映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系；根据三角形顶点之间的对应关系将视频纹理映射到对应的区域，并至少对视频显示区的视频纹理进行变换和/或缩放处理；以及显示所述多个多边形视频显示区的视频图像。本发明还同时公开了一种显示多方视频的装置。

Description

在即时通信中显示多方视频的方法及装置

技术领域

本发明涉及即时通信中的视频技术，尤其涉及在即时通信中显示多方视频的方法及装置。

背景技术

网络即时通讯工具发展到今天，已经被大多数的网络用户所接受，而且逐渐成为了用户日常生活中不可缺少的一部分。现有的即时通信系统能够提供视频聊天功能，多方用户之间不仅可以通过文本消息和语音进行通信，而且还可以传送和显示对方的图像。

现有即时通信中都采用矩形显示区域显示参与通信方的视频。图1A所示为在显示装置上显示通信对方的图像(图中的模糊处理用于保护隐私，并非显示效果，以下同)。图1B所示为在显示装置上显示参与通信的多方的图像。

从图1A和图1B可看出，虽然现有技术能够显示参与通信方的视频，但均采用单一的矩形方式显示，导致在显示多方视频时，显示的整体效果和给用户带来的体验欠佳。

发明内容

本发明提供一种在即时通信中显示多方视频的方法及装置，在即时通信中显示多方视频时提高显示效果和增强用户的体验。

一种在即时通信中显示多方视频的方法，包括如下步骤：

确定显示即时通信中多方视频的多个多边形视频显示区，其中，所述多个多边形视频显示区在显示空间中呈现立体形状；

分别将需要显示的视频分割为三角形，以及将对应的视频显示区分割为相同数量的三角形，并根据映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系；

根据三角形顶点之间的对应关系将视频纹理映射到对应的区域，并至少对视频显示区的视频纹理进行变换和/或缩放处理；以及

显示所述多个多边形视频显示区的视频图像。

其中：在确定所述多边形视频显示区时进一步确定倒影显示区；在分割视频和视频显示区时，进一步将对应的倒影显示区分割为相同数量的三角形，并根据倒影映射关系确定分割后三角形的视频纹理顶点与倒影显示区的三角形顶点之间的对应关系；在映射视频时，根据三角形顶点之间的对应关系，将视频纹理映射到对应的倒影显示区，并将映射后的视频纹理与背景纹理进行混合；以及在显示多边形视频显示区的视频图像时，显示所述多边形视频区图像的倒影。

一种显示多方视频的装置，包括：

用于确定显示即时通信中多方视频的多个多边形视频显示区的模块，其中，所述多个多边形视频显示区在显示空间中呈现立体形状；

用于分别将需要显示的视频分割为三角形，以及将对应的视频显示区分割为相同数量的三角形，并根据映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系的模块；

用于根据三角形顶点之间的对应关系将视频纹理映射到对应的区域，并至少对视频显示区的视频纹理进行变换和/或缩放处理的模块；

用于显示所述多边形视频显示区的视频图像的模块。

其中，所述装置还包括：

用于确定所述多边形视频显示区对应的倒影显示区的模块；

用于将所述倒影显示区分割为的三角形，并根据倒影映射关系确定分割后三角形的视频纹理顶点与倒影显示区的三角形顶点之间的对应关系的模块；

用于根据三角形顶点之间的对应关系，将视频纹理映射到对应的倒影显示区的模块；

用于将倒影显示区的视频纹理与背景纹理进行混合的模块；

用于显示所述多边形视频区图像的倒影的模块。

本发明有益效果如下：

1、本发明采用非直角的平行四边形显示视频，突破了现有技术中采用矩形区域显示视频的传统模式，在显示多方视频时能够形成面对面的立体效果，提高用户体验。

2、本发明通过增加视频的倒影，能够进一步提高显示的立体效果。

附图说明

图1A、图1B为现有技术中显示通信方视频的示意图；

图2为现有Direct3D显示技术中纹理坐标的示意图；

图3为现有Direct3D显示技术中三角形面的纹理映射的示意图；

图4为本发明实施例中采用非直角的平行四边形区域显示视频的流程图；

图5为本发明实施例中采用非直角的平行四边形区域显示视频及其倒影的流程图；

图6为本发明实施例中将矩形纹理映射到非直角的平行四边形区域的示意图；

图7为本发明实施例中将矩形纹理映射到倒影显示区域的示意图；

图8为本发明实施例中显示两方视频及倒影的效果示意图；

图9为本发明实施例中显示三方视频及倒影的效果示意图；

图10为本发明实施例中显示四方视频及倒影的效果示意图；

图11A为在六边形视频显示区中确定平行四边形视频纹理映射区的示意图；

图11B为本发明实施例中利用矩形、不规则多边形和六边形显示视频的效果示意图；

图12为本发明实施例中显示多方视频的装置结构示意图。

具体实施方式

本实施例在即时通信中显示参与通信的多方的视频中，突破原有的简单矩形显示模式，部分或全部采用矩形之外的其他多边形显示区来显示视频，以呈现视频之间的立体效果。例如，非直角的平行四边形、五边形、六边形等。进一步的，显示正视的视频的倒影，以增强立体效果。

本实施例中利用Direct3D显示技术，通过Direct3D的纹理映射将矩形模式的图像纹理映射到显示视频的矩形视频显示区和其他多边形视频显示区。下面对本实施例中使用的Direct3D显示技术作简要说明。

由于三维世界由点、线和面组成，分别对应到Direct3D中就是顶点、直线和三角形(因为三点确定一个平面，任何多边形都可以分割成三角形，比如圆也可以有三角形模拟)。三角形是Direct3D变换和渲染的核心元素。

视频处理中纹理的本质是贴图，纹理坐标又叫贴图坐标。在Direct3D中用两个0到1的浮点值(U，V)来设置一个点的纹理坐标，U表示横轴、V表示纵轴。纹理的左上角为(0，0)，右下角为(1，1)，纹理坐标的定义如图2所示。

Direct3D显示技术中的纹理映射就是将纹理的指定部分(一个三角形区域)映射到Direct3D的三角形表面上，如图3所示(图中的模糊处理用于保护隐私，并非显示效果，以下同)。纹理贴图的三角形区域和Direct3D的三角形表面可以形状不同和大小不同，此时显示处理装置(如显示卡)会自动对纹理进行变换和放缩处理。

Alpha混合是在纹理映射时将两个或多个纹理(也可以是纹理和背景)按照比例(又称Alpha系数)混合后映射到Direct3D的三角形表面，Alpha混合可以创造很多特效。

下面以矩形之外的其他多边形显示区为非直角的平行四边形为例进行说明。

参阅图4所示，采用非直角的平行四边形区域显示两方视频的主要处理流程如下：

步骤400、在即时通信用户所在客户端启动视频通信。

步骤410、即时通信客户端在视频窗口设定显示本方和对方视频的两个平行四边形区域。该两个平行四边形在显示空间中显现立体形状，如在水平上呈现“V”字形。

步骤420、将非直角的平行四边形区域和在该区域显示的视频分割为相同数量的三角形，并根据视频映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系。

一种较佳的分割方式是将平行四边形分割为两个三角形，当然也可以分割成两个以上的三角形。

步骤430、根据三角形顶点之间的对应关系将在非直角的平行四边形区域显示的视频纹理映射到对应的区域。在该过程中，对视频纹理进行适当扭曲，和拉伸。

步骤440、在两非直角平行四边形显示区显示即时通信双方的视频图像。

参阅图5所示，本实施例中采用非直角的平行四边形区域显示视频及其倒影的主要处理流程如下：

步骤500、在多个即时通信用户所在客户端之间启动视频通信。

步骤510、即时通信客户端在视频窗口设定显示本方和对方视频及视频的倒影的多个平行四边形区域，其中至少包括非直角的平行四边形区域，也可以包括矩形区域。

步骤520、将非直角的平行四边形区域和在该区域显示的视频分割为相同数量的三角形，并根据视频映射关系及倒影映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系。

步骤530、根据三角形顶点之间的对应关系，将在非直角的平行四边形区域显示的视频纹理映射到对应的区域，将在倒影显示区域显示的视频纹理映射到对应的区域。

如果存在矩形显示区域，其处理与现有处理方式相同，不再赘述。

步骤540、将倒影显示区域映射后的视频纹理与背景纹理进行混合，使图像纹理变暗，然后在多个平行四边形区域显示多方视频图像及其倒影。

下面以图示为例进行说明上述进行分割和映射的处理过程。

参阅图6所示，矩形ABCD中的视频图像需要在即时客户端采用非直角的平行四边形显示。首先，客户端确定待显示视频的平行四边形1234，并初始化其四个顶点1、2、3、4。

其次，将平行四边形分割成两个三角形面，即三角形123和三角形134；根据视频纹理的四个边界A、B、C、D点[其中纹理坐标为A(0.0，0.0)，B(1.0，0.0)，C(1.0，1.0)，D(0.0，1.0)]分成三角形ABC和三角形ACD，三角形顶点和纹理坐标之间映射的对应关系是1-A，2-B，3-C，4-D。

然后，根据对应关系，将三角形ABC的纹理映射到三角形123上，将三角形ACD的纹理映射到三角形134。当顶点三角形和纹理三角形大小相同时，映射只需将相应的纹理图像的像素点颜色值赋予相应的三角形顶点和内部各点即可；而当这两个三角形不相同时，映射时先将纹理图像插值到顶点三角形的大小，然后赋值。

如图7所示，在图6中还需要显示非直角平行四边形1234的倒影时，需要增加的处理为：在确定待显示视频的平行四边形1234时还确定相同的另一平行四边形1′2′3′4′，同时也初始化其四个顶点1′、2′、3′、4′。

其次，在分割时，将平行四边形1′2′3′4′分割成两个三角形面，即三角形1′2′3′和三角形1′3′4′；三角形顶点和纹理坐标的映射对应关系是1′-D，2′-C，3′-B，4′-A。

然后，对图像作水平方向的镜像处理(因为是倒影)；在映射时，将三角形DCB上的纹理映射到三角形1′2′3′上，将三角形DBA映射到三角形1′3′4′上；在映射完成后，将平行四边形1′2′3′4′上的纹理与背景纹理进行Alpha混合，使显示结果变暗以体现影子的效果(因为倒影图像比原始图像亮度低)。

本实施例中采用非直角的平行四边形区域显示两方视频及其倒影的效果如图8所示，在该图示中，两个非直角的平行四边形区域在水平面上呈现“V”字形，其呈现的立体空间形状效果较佳。

本实施例中采用非直角的平行四边形和矩形区域显示三方视频及其倒影的效果如图9所示，在该实施中，两个非直角的平行四边形区域呈现“V”字形，矩形显示区域设置在两个非直角的平行四边形区域的下方。

本实施例中采用非直角的平行四边形和矩形区域显示四方视频及其倒影的效果如图10所示，在该图示中，两个非直角的平行四边形区域和其中一个矩形区域呈现“U”字形，整个视频呈现多人坐在一起面对面交谈的立体空间效果。

对于显示区域为非平行四边形的其他多边形时，如六边形，在分割时可以先在该非平行边形显示区确定一个矩形或非直角的平行四边形，然后在该矩形或非直角的平行四边形内分割三角形，然后按照前述的方式在矩形或非直角的平行四边形区域映射和处理视频纹理，如图11A所示。对于所述非平行四边形的其他多边形中除矩形或非直角的平行四边形之外的区域，可以设置为黑色(当然也可以根据需要设置为其他色)。采用六边形显示视频的效果图如图11B所示。

图12所示给出了本实施例中一种显示多方视频的装置，包括：确定模块120、分割模块121、映射模块122、混合模块123和显示模块124。确定模块120确定显示即时通信中多方视频及其倒影的多边形显示区，所述多个多边形视频显示区在显示空间中呈现立体形状；分割模块121将显示视频及倒影的多边形区域和在该区域显示的视频分割为相同数量的三角形，并根据映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系；映射模块122根据各三角形顶点之间的对应关系将视频纹理映射到视频显示区，以及将需要显示倒影的视频纹理映射到对应的区域；混合模块123将映射后的倒影显示区域的视频纹理与背景纹理进行混合，使纹理形成倒影效果；显示模块124呈现多个多边形区域的视频及倒影图像，使其呈现前述的空间立体效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种在即时通信中显示多方视频的方法，其特征在于，包括如下步骤：

确定显示即时通信中多方视频的多个多边形视频显示区，其中，所述多个多边形视频显示区在显示空间中呈现立体形状；

分别将需要显示的视频分割为三角形，以及将对应的视频显示区分割为相同数量的三角形，并根据映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系；

根据三角形顶点之间的对应关系将视频纹理映射到对应的区域，并至少对视频显示区的视频纹理进行变换和/或缩放处理；以及

显示所述多个多边形视频显示区的视频图像。

2.如权利要求1所述的方法，其特征在于，在确定所述多边形视频显示区时进一步确定倒影显示区；

在分割视频和视频显示区时，进一步将对应的倒影显示区分割为相同数量的三角形，并根据倒影映射关系确定分割后三角形的视频纹理顶点与倒影显示区的三角形顶点之间的对应关系；

在映射视频时，根据三角形顶点之间的对应关系，将视频纹理映射到对应的倒影显示区，并将映射后的视频纹理与背景纹理进行混合；以及

在显示多边形视频显示区的视频图像时，显示所述多边形视频区图像的倒影。

3.如权利要求1所述的方法，其特征在于，所述变换处理为拉伸和/或扭曲。

4.如权利要求1所述的方法，其特征在于，所述多边形视频显示区包括非直角的平行四边形区域。

5.如权利要求4所述的方法，其特征在于，所述多边形视频显示区包括非平行边形显示区时，在分割时先在该非平行四边形显示区确定一个平行四边形，然后在该平行四边形内分割三角形。

6.如权利要求5所述的方法，其特征在于，在所述非平行四边形显示区中所述平行四边形之外的区域填充视频的背景纹理。

7.如权利要求4所述的方法，其特征在于，将平行四边形分割为三角形时，按对角线将其分割为两个三角形。

8.如权利要求4所述的方法，其特征在于，当显示两方视频时，采用两个非直角的平行四边形视频显示区。

9.如权利要求8所述的方法，其特征在于，所述两个非直角的平行四边形区域显示的视频呈现“V”字形的立体空间形状。

10.如权利要求4所述的方法，其特征在于，当显示三方或三方以上视频时，采用至少两个非直角的平行四边形显示区。

11.如权利要求10所述的方法，其特征在于，所述至少两个非直角的平行四边形视频显示区与其他视频显示区的视频图像呈现面对面的立体空间形状。

12.一种显示多方视频的装置，其特征在于，包括：

用于确定显示即时通信中多方视频的多个多边形视频显示区的模块，其中，所述多个多边形视频显示区在显示空间中呈现立体形状；

用于分别将需要显示的视频分割为三角形，以及将对应的视频显示区分割为相同数量的三角形，并根据映射关系确定分割后三角形的视频纹理顶点与显示区域的三角形顶点之间的对应关系的模块；

用于根据三角形顶点之间的对应关系将视频纹理映射到对应的区域，并至少对视频显示区的视频纹理进行变换和/或缩放处理的模块；

用于显示所述多边形视频显示区的视频图像的模块。

13.如权利要求12所述的装置，其特征在于，还包括：

用于确定所述多边形视频显示区对应的倒影显示区的模块；

用于将所述倒影显示区分割为的三角形，并根据倒影映射关系确定分割后三角形的视频纹理顶点与倒影显示区的三角形顶点之间的对应关系的模块；

用于根据三角形顶点之间的对应关系，将视频纹理映射到对应的倒影显示区的模块；

用于将倒影显示区的视频纹理与背景纹理进行混合的模块；

用于显示所述多边形视频区图像的倒影的模块。

Images