CN101662694B - 视频的呈现方法、发送、接收方法及装置和通信系统 - Google Patents

Abstract

本发明公开了一种视频的呈现方法、发送、接收方法及装置和通信系统，涉及视频处理技术，能够实现多种场景下三维视频的呈现，在节省成本的同时提高了用户体验。本发明方法实施例所提供的视频的呈现方法包括：获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；将所述呈现图像以三维的方式进行显示。本发明适用于进行视频呈现的场合。通过本发明实施例提供的技术方案能够实现三维视频的远程呈现。

Description

视频的呈现方法、发送、接收方法及装置和通信系统

技术领域

本发明涉及视频处理技术，尤其涉及一种视频的呈现方法、视频呈现的发送、接收方法、视频呈现的发送、接收装置和通信系统。

背景技术

在传统的呈现技术中，将要呈现的视频对象和呈现资料通过投影仪或计算机在大屏幕或LCD上进行显示。视频对象(即呈现者，例如，人)需要通过鼠标、键盘或遥控器等与呈现材料进行交互，控制大屏幕或LCD上显示的内容。

现有技术提供了一种交互式呈现系统，该系统主要包括：一个活动的红外摄像机、和与红外摄像机相连的命令识别单元和合成单元。现有技术中的呈现系统，首先利用活动的红外摄像机拍摄视频对象的图像，获取视频对象的信息；然后，命令识别单元，将该信息转化为输出命令信号，并发送给合成单元；其中，来自视频对象的信息可以包括红外摄像机拍摄得到识别视频对象手势的红外图像，或者接收到的视频对象的语音；最后，合成单元，将红外摄像机拍摄得到的视频对象的图像和呈现材料的图像进行合成，控制视频对象的位置，并且根据命令识别系统的输出命令信号控制呈现材料的屏幕显示。

在该系统中，为了提高红外图像的手势识别率，视频对象(呈现者)需要穿戴红外反射标志，该标志把红外摄像机发射的红外线反射回红外摄像机中。

在该系统中，为了能够使视频对象在呈现材料上合成的位置更加合适，该系统还进一步包括了一个立体摄像机集合和一个连接到立体摄像机集合的3D运动跟踪系统，该3D运动跟踪系统通过网络连接到上述合成单元上，发送视频对象的位置信息到该合成单元。

此外，该系统还包括一个连接到合成单元上的投影仪，用于在本地显示合成后的图像。该系统也能将合成后的呈现材料通过通信网络同步地发送到远端进行显示。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：现有技术提供的呈现系统只能支持二维视频的显示方式，不支持以三维视频的方式进行显示。

发明内容

为了解决现有技术中的呈现系统只能支持二维视频的呈现造成的问题，本发明的实施例提供了一种视频的呈现方法、视频呈现的发送、接收方法、视频呈现的发送、接收装置和通信系统。

为达到上述目的，本发明的实施例采用如下技术方案：

一种视频的呈现方法，包括：

获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

将所述呈现图像以三维的方式进行显示。

一种视频呈现的发送方法，包括：

获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

将所述呈现图像进行编码并发送。

一种视频呈现的发送方法，包括：

获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

将所述要呈现的视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行编码并发送。

一种视频呈现的接收方法，包括：

对获取到的编码图像进行解码，得到要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

将所述呈现图像以三维的方式进行显示。

一种视频的呈现装置，包括：

图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

显示单元，用于将所述呈现图像，以三维的方式进行显示。

一种视频呈现的发送装置，包括：

图像获取单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

编码单元，用于将所述要呈现的视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行编码，得到编码图像；

发送单元，用于发送所述编码图像。

一种视频呈现的接收装置，包括：

接收单元，用于接收编码图像；

解码单元，用于对获取到的所述编码图像进行解码，获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

合成单元，用于将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

显示单元，用于将所述呈现图像，以三维的方式进行显示。

一种视频呈现的发送装置，包括：

图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

编码单元，用于将所述呈现图像进行编码，得到编码图像；

发送单元，用于发送所述编码图像。

一种通信系统，包括：视频呈现的发送装置和视频呈现的接收装置，

所述视频呈现的发送装置包括：

图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

编码单元，用于将要所述呈现图像进行编码，得到编码图像；

发送单元，用于发送所述编码图像；

所述视频呈现的接收装置包括：

接收单元，用于接收所述编码图像；

解码单元，用于对获取到的编码图像进行解码，获取所述呈现图像；

显示单元，用于将所述呈现图像，以三维的方式进行显示。

本发明实施例提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

附图说明

图1为本发明方法实施例一提供的视频的呈现方法流程图；

图2为本发明方法实施例二提供的视频呈现的发送方法流程图；

图3为本发明方法实施例二提供的获取深度信息的摄像机原理示意图；

图4为本发明方法实施例二提供的获取深度信息和彩色/灰度图像的摄像机构造示意图；

图5为本发明方法实施例二提供的出现遮挡时的示意图；

图6为本发明方法实施例二提供的出现空洞时的示意图；

图7为本发明方法实施例三提供的视频呈现的发送方法流程图；

图8为本发明方法实施例三提供的视频呈现的接收方法流程图；

图9为本发明装置实施例一提供的视频的呈现装置示意图；

图10为本发明装置实施例二提供的视频呈现的发送装置示意图；

图11为本发明装置实施例二提供的视频呈现的接收装置示意图；

图12为本发明装置实施例三提供的视频呈现的发送装置示意图；

图13为本发明系统实施例提供的通信系统示意图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合附图对本发明的实施例进行详细的介绍，下面的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些实施例获得本发明的其他的实施方式。

方法实施例

方法实施例一

本发明方法实施例一提供的视频的呈现方法，如图1所示，包括如下步骤：

步骤11、获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

步骤12、将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

步骤13、将所述呈现图像以三维的方式进行显示。

本发明方法实施例一提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

为了更加清楚地说明本发明实施例提供的技术方案，下面对本发明方法实施例采用的立体视频(Stereo Video)/三维(3D)视频技术进行简要说明。

传统的视频技术只能提供二维信息，然而，本发明方法实施例通过采用三维视频技术，使作为观看者的用户不仅可以获知关于景物内容的信息，还可以获知关于景物的远近、位置等深度信息。

三维视频技术可以提供符合立体视觉原理的具有深度信息的画面，能够真实地重现客观世界景象，表现出场景的纵深感、层次感和真实性，是当前视频技术发展的重要方向。

三维视频技术的基本原理是模拟人眼成像原理，采用双摄像机得到左眼图像和右眼图像，在呈现时使人的左右眼分别看到左右眼图像，最后合成得到具有立体感的图像，使观察者能够感到场景的深度。因此，可以把双目立体视频看成是在现有2D视频上增加了对深度信息的扩展。

上述的获取要呈现的视频对象的至少两个视点的彩色/灰度图像部分，采用了多视点视频(Multi-Viewpoint Video MVV)/自由视点(Free ViewpointVideo，FVV)视频技术。多视点视频技术的基本思想是由多个摄像机同时拍摄场景，例如，体育或戏剧场景，不同的摄像机的拍摄角度不同，产生多个视频流；这些不同视点的视频流送到用户终端，用户可以选择任意的视点和方向观看场景。上述的视点可以是预定义的固定摄像机的拍摄视点，也可以是一个虚拟视点，其图像由周围真实的摄像机拍摄的图像合成得到。

方法实施例二

本发明方法实施例二提供的视频呈现的发送方法，如图2所示，包括如下步骤：

步骤21、获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

上述要呈现的视频对象包括自然场景分割后的作为前景的人和物体等对象，也可以是背景对象；上述呈现材料可以是要呈现的文档，图片，视频或是由计算机生成的图形等内容。

本发明方法实施例二提供的获取视频对象至少两个视点的彩色/灰度图像的方法包括如下步骤：

步骤210、获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像。

可以使用多台普通彩色摄像机，通过基于图像匹配的方法获取上述深度图像，考虑到该方法算法复杂度高，实时性能差等不足之处，优选的，本发明方法实施例二通过一个能够采集场景深度信息的摄像机获取上述深度信息，通过一个能够采集场景彩色/灰度图像的摄像机获取彩色/灰度图像。下面对这两种摄像机的工作原理进行简要说明。

如图3所示，为利用配备超高速快门的电荷耦合器件(Charge CoupledDevice，CCD)的摄像机和调强发光器获取深度图像的的原理示意图。场景中有物体a和物体b，物体a为方形物体，物体b为三角形物体。图中I₁和I₂分别为摄像机在快门打开时间内(图中c所示)获取到的物体a和b的光照强度，d₁和d₂分别表示强度递增的调制光和强度递减的调制光。

其中，较近物体a上的反射光线发射到摄像机的瞬时的光照强度I1被摄像机探测装置的超高速快门检测到，并得到在图像A中的方形分布；物体b反射光线得到图像A中的三角形分布。由于物体a距离摄像机较近，摄像机探测到的瞬时的光照强度I₁比I₂强，方形图像的亮度比三角形要亮，因此，可利用捕获到的图像A的亮度的差异来检测物体的深度。但是，物体反射光的亮度会受物体的反射率、物体到摄像机的距离、光源的调制指数和照度的空间不均匀性等参数的影响。此时，可利用与上述光照强度空间分布呈线性递减的方式获得图像B，将图像A和图像B相结合，并通过信号处理算法可消除不利的影响，得到精确的深度图，在该深度图中，物体b(图中的三角形物体)的深度比物体a(图中的方形物体)的深度大，即在视觉上，物体a距离摄像机较近，物体b距离摄像机较远。

可选的，本发明方法实施例二可采用上述摄像机获取深度信息，再配置一台获取彩色/灰度图像的摄像机，或者直接利用能够同时获取深度信息和彩色/灰度图像的摄像机。

如图4所示，为高清(High Definition，HD)Axi-视觉(Axi-Vision)摄像机的基本构造示意图，该摄像机能同时获取深度信息和彩色/灰度图像。在HD Axi-Vision摄像机系统中，包括深度图像处理单元和彩色图像处理单元。近红外LED阵列用于调强发光器，其具有快速直接调制的能力，该近红外LED阵列的发射光的波长为850nm，在可见光的范围之外，不会干扰可见光。可采用4个LED阵列环绕在摄像机镜头的周围，可均匀地照亮摄像的场景。同时还可以有一个可见光源，如荧光源，用于照射被摄像物体，该光源具有超过近红外光区域的频谱。

当物体的反射光经过摄像机镜头的二向棱镜时，可见光和近红外光被分离，其中，可见光进入彩色图像处理单元并由彩色图像处理单元进行处理后，获得物体的彩色图像，即二维(2D)图像，该彩色图像处理单元可为一个彩色高清摄像机；近红外光则经过深度图像处理单元处理后，获得物体的深度图像。在深度图像处理单元中，经上述二向棱镜分离出的近红外光被聚焦到光电阴极上的同时，在光电阴极和微通道板(Micro Channel Plate，MCP)之间施加短脉冲偏压，实现十亿分之一秒的快门，快门的开启和光线调制频率具有相同的频率，以获得更好的信噪比(Signal to Noise Ratio，SNR)。利用快门的开启在磷光体上获得物体的光学图像，该光学图像再经过中继镜头聚焦到高分辨率的逐行CCD摄像机上，转换为光电子图像，最后通过信号处理器形成物体的深度图。

上述描述给出了两种优选的获取深度信息和彩色/灰度图像的方法，但本发明方法实施例二并不限于此，其它相似和相关的获取深度信息和彩色/灰度图像的方法均属于本发明方法实施例二的保护范围之内。

步骤211、根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象。

可采用多种方法进行视频分割，将一副视频图像分成前景和背景。例如，色度键(chroma-key)分割技术、深度键(Depth-key)分割技术或是检测当前图像和预先拍摄的背景图像之间的差异进行分割的技术。其中第一种和第三种技术对场景的限制条件较多，优选的，本发明方法实施例二采用基于深度键分割技术进行视频分割，主要包括的技术要点：

根据深度图通过阈值生成一个二值化的深度掩模(mask)，根据该掩模对视频对象进行提取。例如，掩模值为1的像素为前景对象像素，掩模值为0的像素为背景对象像素，因此可以根据掩模值提取或去除视频对象。

对该深度掩模的边界构造出一个链码描述，根据该链码描述恢复前景对象的轮廓。以对象的轮廓定义一个处理区域作为Alpha合成的区域。

步骤212、根据所述一个视点的深度信息和所述同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像。

下面对本发明方法实施例二采用的多视点图像的生成技术作简单介绍。

空间中某像素点P＝[X，Y，Z]投影到摄像机2D图像平面上的点[x，y]，满足下列关系：

$x=F\frac{X}{Z};$ $y=F\frac{Y}{Z},$ 其中，F为摄像机焦距。

假设空间中的两个像素点P₁＝[X₁，Y₁，Z₁]和P₂＝[X₂，Y₂，Z₂]都投影到一个摄像机对上。一个摄像机的位于[0，0，0](左摄像机)，另一个摄像机位于[B，0，0](右摄像机)，两个摄像机的焦距相等，都为F，且处于平行位置。则满足：

$x_{L,1}=F\frac{X_1}{Z_1};$ $x_{L,2}=F\frac{X_2}{Z_2};$ $x_{R,1}=F\frac{X_1-B}{Z_1};$ $x_{R,2}=F\frac{X_2-B}{Z_2}$

其中，x_L，1和x_L，2分别为P₁和P₂点由左摄像机得到位置、x_R，1和x_R，2分别为P₁和P₂点由右摄像机得到位置，则P₁和P₂点的深度(即视差)满足：

$d_i=x_{\mathrm{Li}}-x_{\mathrm{Ri}}=\mathrm{Fi}\·[\frac{X_i}{Z_i}-\frac{X_i-B}{Z_i}]=\frac{F\·B}{Z_i}\⇒x_{\mathrm{Ri}}=x_{\mathrm{Li}}-d_i,$ 其中，i取1或2。

可以看出，只要知道x_L和d，就可以求出x_R的值。

在本发明方法实施例二中，x_L由深度摄像机的彩色/灰度图像得到，d可以通过深度图求出，从而可以生成上述视频对象在另一个视点的彩色/灰度图像。

由于深度往往不是整数，本发明方法实施例二对计算得到的像素位置采用亚像素级别。此时可以采用加权平均法，根据原始图像上某一像素邻近像素的亮度和色度值确定对应的新像素的亮度和色度值。

采用上述方法，可以生成该视频对象的多个不同视点的彩色/灰度图像。

为了保证获取到高质量的彩色/灰度图像，在多视点图像生成时，需要解决图像中因视点改变导致的“遮挡”和“空洞”问题。下面对本发明方法实施例二中对遮挡”和“空洞”的问题进行处理的方法给出简要说明。

如图5所示，显示了多视点图像生成时产生“遮挡”的情况，其中左边的图5(1)所示为在原图像视点O₁处观察场景的情况，右边的图5(2)所示为在需要重构图像的新视点O₂处观察场景的情况。在左边O₁处观察场景时，在前物体(图中A所示)遮挡住了在后物体(图中B所示)的一小部分，图中C所示表示遮挡区域；当在右边O₂处观察场景时，在前物体对在后物体的遮挡区域变大，导致O₁处得到的图像中的一部分在O₂处的图像中无法显示。因此在像素映射过程中，需要判定一个像素是否被遮挡，如果没有被遮挡，则进行上述的像素映射处理；如果该像素被遮挡，则跳过不做处理。

如图6所示，显示了多视点图像生成时产生“空洞”的情况，其中左边的图6(1)所示为在原图像视点O₁处观察场景的情况，右边的图6(2)所示为在需要重构图像的新视点O₂处观察场景的情况。在左边的O₁位置处，由于在前物体(图中A所示)对在后物体(图中B所示)的遮挡，在后物体的左边一部分是看不见的，因此在O₁处生成的图像中没有这部分的像素。在右边的新位置O₂处观察，在后物体的左边部分已经没有遮挡，但由于O₁处生成的图像中没有这部分的像素，导致在O₂处生成的图像中产生缺乏对应于O₁处图像像素的空洞区域(如图中C所示)。

为了处理空洞，可以在进行新图像生成前，先将新图像中所有的像素设置为特殊的颜色值。当上述映射过程完成后，图像中仍留有特殊颜色值的区域即为空洞区域。其中，对于小的空洞区域，可以根据空洞周围像素的深度和亮度、色度信息确定该空洞区域内像素相应的信息，并进行修补，例如，可采用线性或非线性插值的方法进行修补；对于较大的空洞，可以采用运动补偿的方式，在当前重构帧之前的视频帧序列中进行查找，找到对应于该空洞区域的像素信息并进行修补。

上述获取要呈现的视频对象的至少两个视点的彩色/灰度图像的方法，也适用于获取至少一个呈现材料的至少一个视点的彩色/灰度图像。

步骤22、将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

图像合成是将分割后的前景物体无缝集成到背景中去，可选的，这里的背景可以为呈现材料经多视点图像生成后的彩色/灰度图像，或者为该呈现材料一个视点的彩色/灰度图像。本发明方法实施例二采用的方法为基于深度图像对前景物体的边缘和背景进行alpha值合成，主要包括的技术要点有：

首先，定义需要处理的区域，该处理区域主要位于前景物体的边界附近，为以上述链码点的为中心的矩形区域。

该处理区域的大小和前景物体边缘的锐利程度有关。通过计算物体边缘的垂直方向的导数来得到前景物体边缘的锐利程度。较锐利的边缘前景到背景的过渡区域很小，因此需要的处理区域较小；模糊的区域前景到背景是逐步过渡的，因此需要较大的处理区域。

在定义的处理区域边界上，像素点被假定要么全部处于前景对象中(不透明的alpha值，纯的前景色)，要么全部位于前景对象之外(透明alpha值，纯的背景色)。在处理区域中，像素点是前后景的混合，具有半透明的alpha值，该像素点的颜色值I(i，j)是前景颜色F(i，j)和背景颜色B(i，j)的混合：

I(i，j)＝α*F(i，j)+(1-α)*B(i，j)

通过估算出alpha值α可以算出处理区域中某一像素点的颜色值I(i，j)。

上述给出了本发明方法实施例二采用的进行图像合成时的关键技术，但不限于此，可采用其它的方法进行图像合成。

可选的，在本发明方法实施例二中，可利用深度信息，获取到视频对象的位置信息和来自所述视频对象的控制命令信息，将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像。

该位置信息由上述深度图像获取，用于控制视频对象在呈现材料上的位置；该控制命令信息用于控制呈现材料的内容和视频对象在呈现材料上的位置。

本发明方法实施例二提供的获取所述控制命令信息的方法包括：

根据所述深度图像，对来自视频对象的手势进行识别，将手势识别信息转化为控制命令信息。

通过分析深度图像，可以得到视频对象在场景中手势特征点的三维坐标信息，通过这些特征点的三维坐标信息对视频对象的手势进行识别。由于深度图可以将视频对象的手势识别扩展到三维空间，因此对视频对象手势的前后运动也能准确识别。将识别信息转化为控制命令信息。

进一步的，本发明方法实施例二还可通过对不同时域空间上相同特征点的检测，得到视频对象深度的变化信息，将该变化信息转化为控制命令信息。

为了支持视频的远程呈现本发明方法实施例二还包括：

步骤23、将所述呈现图像进行编码并发送。

将获取的呈现图像进行压缩，例如，采用H.264协议或MPEG-4协议对上述呈现图像进行编码，以适用于有限的网络带宽，通过网络传输到远端的进行呈现。

在网络的接收端，相应的，对压缩后的图像进行解码，例如，在接收端根据H.264协议或MPEG-4协议对所述编码后的图像进行解码，得到上述呈现图像，以三维的方式进行显示。可以采用立体眼镜、自动立体显示器或投影仪等设备，将所述呈现图像以三维的方式显示出来。

本发明方法实施例二包括对所述呈现图像以二维(2D)的方式进行显示，使二维和三维的图像呈现方式兼容，这种情况下不需再对视频对象进行多视点图像生成，将直接获取的视频对象和呈现材料的彩色/灰度图像进行合成，以二维方式显示出来。

方法实施例三

本发明方法实施例三还提供了一种视频呈现的发送方法，如图7所示，以保证实现三维视频的远程呈现，包括：

步骤71、获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

步骤72、将所述要呈现的视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行编码并发送。

相应的，本发明方法实施例三还提供了一种视频呈现的接收方法，能够实现三维视频的远程呈现，如图8所示，包括：

步骤81、对获取到的编码图像进行解码，得到要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

步骤82、将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

步骤83、将所述呈现图像以三维的方式进行显示。

本发明方法实施例三包括对所述呈现图像以二维(2D)的方式进行显示，使二维和三维的图像呈现方式兼容，这种情况下不需再对视频对象进行多视点图像生成，将直接获取的视频对象和呈现材料的彩色/灰度图像进行合成，以二维方式显示出来。

本发明方法实施例三中步骤71和步骤72及步骤81至步骤83的具体方法可参考本发明方法实施例二，主要的区别在于：

为了进行远程呈现，考虑到网络带宽等因素，本发明方法实施例二主要由发送端对采集到的视频图像进行处理，例如，视频分割、多视点生成等，发送端对合成后的呈现图像编码，以进行网络传输，该呈现图像包括了视频对象和呈现材料，对解码后的图像(即呈现图像)进行三维呈现；而本发明方法实施例三，主要由发送端对采集到的视频图像进行相应处理，在发送端只对所述视频对象和呈现材料的深度信息和彩色/灰度图像进行编码，在接收端先对所述编码后的图像进行解码，再与呈现材料进行合成后，生成呈现图像，对该呈现图像进行三维显示。

本发明方法实施例提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

装置实施例

装置实施例一

本发明装置实施例一还提供了一种视频的呈现装置，如图9所示，包括：

图像获取和处理单元91，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

显示单元92，用于将所述呈现图像，以三维的方式进行显示。

上述图像获取和处理单元91包括：

图像获取模块，用于获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

视频分割模块，用于根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

多视点图像生成模块，用于根据所述获取到的一个视点的深度信息和同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像；

合成模块，用于将所述视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，得到呈现图像。

本发明装置实施例一提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

装置实施例二

为了支持远程视频呈现，如图10所示，本发明装置实施例二提供了一种视频呈现的发送装置，包括：

图像获取单元101，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

编码单元102，用于将所述要呈现的视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行编码，得到编码图像；

发送单元103，用于发送所述编码图像。

上述图像获取单元101包括：

图像获取模块，用于获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

视频分割模块，用于根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

多视点图像生成模块，用于根据所述获取到的一个视点的深度信息和同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像。

为了进一步实现远程视频的三维呈现，相应的，如图11所示，本发明装置实施例二还提供了一种视频呈现的接收装置，包括：

接收单元110，用于接收编码图像；

解码单元111，用于对获取到的所述编码图像进行解码，获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；

合成单元112，用于将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

显示单元113，用于将所述呈现图像，以三维的方式进行显示。

本发明装置实施例二中各功能模块的具体工作方式参见本发明方法实施例三。

本发明装置实施例二提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

装置实施例三

本发明装置实施例三还提供了一种视频呈现的发送装置，如图12所示，包括：

图像获取和处理单元121，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

编码单元122，用于将所述呈现图像进行编码，得到编码图像；

发送单元123，用于发送所述编码图像。

本发明装置实施例三中各功能模块的具体工作方式参见本发明方法实施例一。

本发明装置实施例三提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

系统实施例

本发明系统实施例提供了一种通信系统，如图13所示，包括：视频呈现的发送装置131和视频呈现的接收装置132，

所述视频呈现的发送装置131包括：

图像获取和处理单元1311，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

编码单元1312，用于将要所述呈现图像进行编码，得到编码图像；

发送单元1313，用于发送所述编码图像；

所述视频呈现的接收装置132包括：

接收单元1321，用于接收所述编码图像；

解码单元1322，用于对获取到的编码图像进行解码，获取所述呈现图像；

显示单元1323，用于将所述呈现图像，以三维的方式进行显示。

进一步的，在实现远程呈现时，上述的通信系统还能够实现将网络接收端的视频图像在发送端进行三维显示，发送端和接收端可具备相同视频图像处理和显示功能，这时上述视频呈现的发送装置131还包括：

第二解码单元，用于对获取的编码图像进行解码，得到解码后的呈现图像；

第二显示单元，用于对所述呈现图像进行三维显示。

所述视频呈现的接收装置132还包括：

第二图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

第二编码单元，用于将所述呈现图像进行编码，得到编码图像并发送。

本发明系统实施例提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

在本发明系统实施例中，在网络的发送端可以对包括视频对象和呈现材料的呈现图像进行编码，以通过网络进行传输。在网络的接收端解码单元对接收到的数据进行解码，然后显示单元将解码后的图像直接进行呈现，但不限于此，可选的，还包括在发送端只对视频对象的视频对象和呈现材料的深度信息和彩色/灰度图像进行编码，以通过网络进行传输。在网络的接收端，再将解码后的图像与呈现材料的立体图像进行合成，得到呈现图像后再由显示单元进行呈现。

在进行多视点图像的合成，获取呈现图像时，还可以根据所述深度信息计算所述视频对象的位置信息；对来自所述视频对象的手势生成识别信息，将该识别信息转化为控制命令信息，以对所述视频处理单元进行控制。

本发明系统实施例提供的通信系统，可以对二维呈现和三维呈现进行兼容，可以将解码后的图像以二维或者三维的方式进行显示。

本发明系统实施例提供的技术方案，通过获取的视频对象的多视点彩色/灰度图像及呈现材料的彩色/灰度图像，生成呈现图像，该呈现图像支持三维的显示方式，再将该呈现图像以三维的方式显示出来，解决了现有技术只能支持二维视频的呈现带来的问题，从而实现了三维视频的呈现。

本领域普通技术人员可以理解实现上述实施例中的全部或部分步骤，可以通过程序指令相关硬件完成。所述实施例对应的软件可以存储在一个计算机可存储读取的介质中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (19)

1.一种视频的呈现方法，其特征在于，包括：

获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

将所述呈现图像以三维的方式进行显示。

2.根据权利要求1所述的视频的呈现方法，其特征在于，所述获取要呈现的视频对象的至少两个视点的彩色/灰度图像的步骤包括：

获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

根据所述一个视点的深度信息和所述同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像。

3.根据权利要求1所述的视频的呈现方法，其特征在于，还包括：

获取所述视频对象的位置信息和控制命令信息；

根据所述位置信息和控制命令信息，将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像。

4.一种视频呈现的发送方法，其特征在于，包括：

获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

将所述呈现图像进行编码并发送。

5.根据权利要求4所述的视频呈现的发送方法，其特征在于，所述获取要呈现的视频对象的至少两个视点的彩色/灰度图像的步骤包括：

获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

根据所述一个视点的深度信息和所述同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像。

6.根据权利要求4所述的视频呈现的发送方法，其特征在于，还包括：

获取所述视频对象的位置信息和控制命令信息；

根据所述位置信息和控制命令信息，将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像。

7.一种视频呈现的发送方法，其特征在于，包括：

获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

将所述要呈现的视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行编码并发送。

8.根据权利要求7所述的视频呈现的发送方法，其特征在于，所述获取要呈现的视频对象的至少两个视点的彩色/灰度图像的步骤包括：

获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

根据所述一个视点的深度信息和所述同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像。

9.一种视频呈现的接收方法，其特征在于，包括：

对获取到的编码图像进行解码，得到要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

将所述呈现图像以三维的方式进行显示。

10.根据权利要求9所述的视频呈现的接收方法，其特征在于，还包括：

获取所述视频对象的位置信息和控制命令信息；

根据所述位置信息和控制命令信息，将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像。

11.一种视频的呈现装置，其特征在于，包括：

图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

显示单元，用于将所述呈现图像，以三维的方式进行显示。

12.根据权利要求11所述的视频的呈现装置，其特征在于，所述图像获取和处理单元包括：

图像获取模块，用于获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

视频分割模块，用于根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

多视点图像生成模块，用于根据所述获取到的一个视点的深度信息和同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像；

合成模块，用于将所述视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，得到呈现图像。

13.一种视频呈现的发送装置，其特征在于，包括：

图像获取单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

编码单元，用于将所述要呈现的视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行编码，得到编码图像；

发送单元，用于发送所述编码图像。

14.根据权利要求13所述的视频呈现的发送装置，其特征在于，所述图像获取单元包括：

图像获取模块，用于获取所述视频对象所处场景的同一视点的至少一个深度信息和至少一个彩色/灰度图像；

视频分割模块，用于根据所述获取到的一个视点的深度信息对同一视点的彩色/灰度图像进行视频分割，获取所述视频对象；

多视点图像生成模块，用于根据所述获取到的一个视点的深度信息和同一视点的彩色/灰度图像生成所述视频对象的至少一个其它视点的彩色/灰度图像。

15.一种视频呈现的接收装置，其特征在于，包括：

接收单元，用于接收编码图像；

解码单元，用于对获取到的所述编码图像进行解码，获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

合成单元，用于将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

显示单元，用于将所述呈现图像，以三维的方式进行显示。

16.一种视频呈现的发送装置，其特征在于，包括：

图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

编码单元，用于将所述呈现图像进行编码，得到编码图像；

发送单元，用于发送所述编码图像。

17.一种通信系统，其特征在于，包括：视频呈现的发送装置和视频呈现的接收装置，

所述视频呈现的发送装置包括：

图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；其中，所述视频对象包括自然场景分割后的作为前景的对象，或背景对象；所述呈现材料包括：要呈现的文档，图片，视频或由计算机生成的内容；

编码单元，用于将要所述呈现图像进行编码，得到编码图像；

发送单元，用于发送所述编码图像；

所述视频呈现的接收装置包括：

接收单元，用于接收所述编码图像；

解码单元，用于对获取到的编码图像进行解码，获取所述呈现图像；

显示单元，用于将所述呈现图像，以三维的方式进行显示。

18.根据权利要求17所述的通信系统，其特征在于，所述视频呈现的发送装置还包括：

第二解码单元，用于对获取的编码图像进行解码，得到解码后的呈现图像；

第二显示单元，用于对所述呈现图像进行三维显示。

19.根据权利要求17所述的通信系统，其特征在于，所述视频呈现的接收装置还包括：

第二图像获取和处理单元，用于获取要呈现的视频对象的至少两个视点的彩色/灰度图像和至少一个呈现材料的至少一个视点的彩色/灰度图像；将所述视频对象的至少两个视点的彩色/灰度图像和所述至少一个呈现材料的至少一个视点的彩色/灰度图像进行合成，获取呈现图像；

第二编码单元，用于将所述呈现图像进行编码，得到编码图像并发送。

Images