CN101668219B - 3d视频通信方法、发送设备和系统 - Google Patents

Abstract

本发明实施例涉及一种3D视频通信方法、发送设备和系统。该方法包括获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图；对所述视频图像数据进行编码处理并发送。系统包括发送设备和接收设备，发送设备可通过图像采集装置获取场景的至少一幅深度图和至少二幅彩色图，获得的深度图准确可靠，视频图像的采集具有较强的实时性，接收设备在进行视点重构时，可利用获得的多幅彩色图对重构的图像进行修补，提高了图像的重构效果，具有较强的实用性和实时性。

Description

3D视频通信方法、发送设备和系统

技术领域

本发明涉及视频技术领域，特别涉及一种3D视频通信方法、发送设备、和系统。 

背景技术

目前传统的视频是一种二维图像信息的载体，它只能表现出物体的内容而忽略了物体的远近、位置等深度信息，是不完整的。作为视频观察的主体，人类需要获取比一幅二维图像信息更多的画面来获取必需的空间信息，以获得符合人类两只眼睛观察世界视觉感受的画面。 

3D视频技术可以提供符合人类立体视觉原理的具有深度信息的画面，从而能够真实地重现客观世界的景象，表现出场景中物体的纵深感、层次感和真实性，也是当前视频技术发展的重要方向。获取场景的深度信息，即场景的深度是3D视频系统中一个非常重要的内容，场景深度图也称为场景的视差图。目前，现有技术中获取场景的深度图主要有以下方法： 

一种是利用立体图像匹配获取场景的深度图。立体图像匹配是利用摄像机拍摄获得场景的多幅彩色图像，该彩色图即为场景的2D图像，通过对彩色图像进行分析、计算获得场景的深度图。其基本原理为：找到场景中的某一点在多幅彩色图中对应的成像点，然后再根据该点在多幅彩色图中的坐标求出其在空间中的坐标，从而得到该点的深度信息。 

立体图像匹配技术主要包括基于窗口的匹配法和动态规划法，这两种方法均采用了基于灰度的匹配的算法。基于灰度的匹配的算法是将彩色图像分割成小的子区域，以其灰度值作为模版并在其它彩色图像中找到和其最相似灰度值分布的子区域，如果两个子区域满足相似性要求，就认为这两个子区 域中的点是匹配的。在匹配过程中，通常使用相关函数衡量两个区域的相似性。基于灰度的匹配的算法一般可得到场景密集的深度图。 

另外，也可以基于特征的匹配的算法进行立体图像匹配。基于特征的匹配的算法是利用由彩色图像的灰度信息导出的特征进行匹配，与利用简单的亮度和灰度变化信息进行匹配的算法相比，基于特征的匹配的算法更加稳定和准确。匹配的特征可认为是潜在的能够描述场景3D结构的重要特征，如边缘和边缘的角点。基于特征的匹配一般可先得到场景稀疏的深度图，然后利用内插值等方法得到场景密集的深度图。 

另一种是利用单台深度摄像机(Depth Camera)获取场景的深度图。 

深度摄像机的基本原理是通过发射红外线并检测场景中物体反射红外线的强度来判定物体的距离，因此，深度摄像机输出的深度图质量好，精度较高，应用前景好。目前深度摄像机主要用于手势识别、背景替换和合成等领域，在3D视频系统中的应用较少，且一般均采用单台深度摄像机进行场景视频图像的采集。 

在利用单台摄像机进行场景的视频图像采集中，获得场景的深度图比较精确，但是通过单台深度摄像机只可以获得一个视点的场景的一幅彩色图及对应的深度图。在重构小视差虚拟视点的图像时可能有较好的重构效果，但在进行重构大视差虚拟视点的图像时，由于获得的彩色图少，缺少足够多的彩色图像信息，重构出的虚拟视点的图像会产生较大的“空洞”，且无法进行修补，使得重构出的图像失真严重，重构效果较差。 

如图1所示，为现有技术中根据单台深度摄像机采集的视频图像进行虚拟视点图像重构时产生空洞的原理示意图。假如在o1视点处获得物体1a和物体1b的视频图，由于物体1b遮挡住物体1a的1a0部分，因此实际获得的视频图信息中只包括物体1a的部分图像信息和物体1b的图像信息，并没有物体1a的1a0部分的图像信息。若想要获得虚拟视点o2处物体4a和物体1b的视频图像，由于实际获得的视频图像信息中并未有物体1a的1a0部分的图像信息，在o2视点处重构获得的图像中就会缺少物体1a的1a0部分图像，因此在1a0部分会产生空洞，使得重构出的图像失真严重，重构效果差。 

发明人在实现本发明过程中，发现现有技术至少存在以下缺陷：现有技术中的立体匹配的算法必须依赖于场景的亮度和色度信息，极易受到光照的不均匀性、摄像机的噪声以及场景的重复纹理等的影响，因此，得到的视差/深度图错误较多，基于深度图进行虚拟视点重构时效果差，重构出的图像不准确，且立体匹配的算法复杂，获得视差/深度图的实时性不强，目前的技术还无法实现商用；而现有技术中利用单台深度摄像机获取深度信息进行重构大视差虚拟视点的图像时，会产生较大的“空洞”，且无法进行修补，重构的图像失真严重，重构效果差，实用性也不强。 

发明内容

本发明的目的是提供一种3D视频通信方法、发送设备、和系统，以提高虚拟视点图像的重构效果。 

本发明实施例提供了一种3D视频通信方法，包括： 

获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频图像数据由至少一台能采集并直接输出场景深度信息的图像采集装置和至少一台能输出场景彩色/灰度视频信息的图像采集装置，或由至少一台能采集并直接输出场景深度信息和能输出彩色/灰度视频信息的图像采集装置获得； 

对所述视频图像数据进行编码，获得视频图像编码数据； 

将所述视频图像编码数据发送出去； 

其中，根据图像采集装置输出的至少二幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补。 

本发明实施例提供了一种3D视频通信发送设备，包括： 

视频采集单元，用于获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频采集单元包括至少一台能采集并直接输出场景的深度信息的图像采集装置和至少一台 能输出场景的彩色/灰度视频信息的图像采集装置，或包括至少一台能采集并直接输出场景的深度信息和能输出彩色/灰度视频信息的图像采集装置； 

视频编码单元，用于对所述视频图像数据进行编码，获得视频图像编码数据； 

视频输出单元，用于将所述视频图像编码数据发送出去； 

其中，根据图像采集装置输出的至少二幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补。 

本发明实施例提供了一种3D视频通信系统，包括发送设备和接收设备，所述发送设备包括： 

视频采集单元，用于获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频采集单元包括至少一台能采集并直接输出场景的深度信息的图像采集装置和至少一台能输出场景的彩色/灰度视频信息的图像采集装置，或包括至少一台能采集并直接输出场景的深度信息和能输出彩色/灰度视频信息的图像采集装置； 

视频编码单元，用于对所述视频图像数据进行编码，获得视频图像编码数据； 

视频输出单元，用于将所述视频图像编码数据发送出去； 

其中，根据图像采集装置输出的至少二幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补 

所述接收设备包括： 

视频接收单元，用于接收所述视频输出单元发送来的所述视频图像编码数据； 

视频解码单元，用于对所述视频编码数据进行解码，获得视频图像解码数据。 

本发明实施例通过可直接输出场景深度图的图像采集装置采集场景的深度图，获得的深度图准确可靠，且深度图采集实时性强，根据深度图获得的各虚拟视点的视频图像效果好、准确，可反映场景的真实效果；同时根据图像采集装置获得的场景的多幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补，使得重构出的视频图像更加准确，提高了虚拟视点图像的重构效果，具有较强的实用性。 

附图说明

图1为现有技术中根据单台深度图像采集装置采集的视频图像进行虚拟视点图像重构时产生空洞的原理示意图； 

图2为平行双图像采集装置3D视频系统的原理示意图； 

图3为配备了超高速快门的CCD图像采集装置和调强发光器进行深度图像的获取的原理示意图； 

图4为HDTV Axi-Vision图像采集装置的基本构造图； 

图5为本发明3D视频通信方法实施例一的流程示意图； 

图6为本发明3D视频通信方法实施例二的流程示意图； 

图7为本发明3D视频通信发送设备实施例一的结构示意图； 

图8为本发明3D视频通信发送设备实施例二的结构示意图； 

图9为本发明3D视频通信发送设备实施例中视频采集单元的结构示意图； 

图10为本发明实施例中图像采集装置的组合形式及与采集控制模块的连接示意图； 

图11为本发明3D视频通信系统实施例的结构示意图； 

图12为本发明3D视频通信系统实施例中接收设备的结构示意图。 

具体实施方式

下面结合附图对本发明的具体实施例作进一步详细的说明。 

本发明实施例是基于3D视频的基本原理，通过获得场景的深度图和彩色图，并可通过重构获得各视点的3D视频图像。具体地，本发明主要通过图像采集装置获取场景的深度图和多幅彩色图，其中可利用能输出场景深度信息的深度图像采集装置获得场景的深度图，利用能输出场景彩色/灰度视频信息的普通图像采集装置获得场景的彩色或灰度视频图。

下面以平行摄像机系统为例说明3D视频的基本原理： 

如图2所示，为平行双摄像机3D视频系统的原理示意图。如图中所示，摄像机1d1和摄像机1d2水平放置，它们之间的距离为B，距离被拍摄空间点1c的距离为Z。那么水平方向的视差/深度d_x(m_l，m_r)满足公式： 

$d_x(m_l,m_r)=\left\{\begin{array}{c}\frac{x_l}{X_l}=\frac{f}{Z}\\ \frac{x_r}{X_r}=\frac{f}{Z}\end{array}\⇒x_l\right.\begin{array}{cc}& x_r=\frac{f}{Z}\left(\begin{array}{cc}{X}_l& X_r\end{array}\right)=\frac{\mathrm{fB}}{Z}\end{array}\begin{array}{c}\end{array}$

其中，f为焦距，Z为物体1c与成像平面的距离，B为两台摄像机光心的间距，d为视差/深度，是同一空间点在两台摄像机上成像像素的距离值，d包括水平方向的视差d_x和垂直方向的视差d_y，对于平行摄像机系统，d_y＝0。可以看出，3D图像的视差和观察者的距离Z有关。因此只要知道某个空间点在一个图像上的成像位置和该点对应的视差/深度，就可以求出其在另一个图像上的成像位置，只要获得场景足够多的深度图和彩色图，就可以重构出各种视点下场景的3D视频图像。 

多视点(Multi-Viewpoint，MV)/自由视点(Free Viewpoint，FV)视频是当前视频领域研究的另一个热点。可通过多个摄像机同时拍摄场景，不同的摄像机的拍摄角度不同，产生多个视频流；这些不同视点的视频流送到用户终端，用户可以选择任意的视点和方向观看场景。用户选择的视点可以是预定义的固定的摄像机拍摄视点，也可以是一个虚拟视点，其图像由周围真实的摄像机拍摄的图像合成得到。 

此外，3D视频和多视点/自由视点视频不是互相排斥的，可以融合为一个系统。多视点/自由视点视频系统中的每一个视点可以采用2D方式，也可以采用3D方式观看。 

目前3D视频/多视点视频/自由视点视频系统中，采用彩色图+深度图的方式进行视频图像的编码和传输是一种通用方式。采用深度图的主要作用是(1)使用深度图能够有效地进行3D视频图像的编解码；(2)使用 深度图能够有效地进行虚拟视点的重构，该虚拟视点即没有物理摄像机的视点。使用深度图可以重构其它视点的图像，因此可采用传输一幅彩色图+深度图的方式即可解码得到多个视点的图像，且深度图为灰度图像，可以进行高效压缩，可以显著减少码流。此外，立体/多视点显示器往往需要同时显示多个不同位置的图像，还可以利用彩色图+深度图的方式根据一个视角的图像生成其它视角的图像，而不必要同时传输多个不同视点的2D图像，有效节约了带宽。 

为保证场景深度图的准确性和实时性，提高虚拟视点场景视频图像的重构效果，本发明实施例利用深度图像采集装置获取场景的深度图，利用深度图像采集装置和/或普通图像采集装置获取场景的彩色图，这样可利用深度图像采集装置获取具有良好效果的深度图，同时，配合普通图像采集装置获得的多幅彩色图就可获得各种视点的3D视频图像。下面简要介绍一下深度图像采集装置的原理。 

如图3所示，为配备了超高速快门的电荷耦合器件(Charge CoupledDevice，CCD)图像采集装置和调强发光器进行深度图像的获取的原理示意图。图中显示了光照强度空间分布的一个快照，该分布随时间呈线性递增，2c和2d为同一时刻光照强度的空间分布的趋势。场景中有物体2a和物体2b，物体2a为方形物体，物体2b为三角形物体。其中，较近物体2a上的反射光线发射到图像采集装置2e的瞬时的光照强度I₁被图像采集装置探测装置的超高速快门2f检测到，并得到在图像A中的方形分布；物体2b反射光线得到图像A中的三角形分布。由于物体2a距离图像采集装置2e较近，图像采集装置2e探测到的瞬时的光照强度I₁比I₂强，方形图像的亮度比三角形要亮，因此，可利用捕获到的图像A的亮度的差异来检测物体的深度。但是，物体反射光的亮度会受物体的反射率、物体到图像采集装置的距离、光源的调制指数和照度的空间不均匀性等参数的影响。此时，可利用与光照强度空间分布呈线性递减的方式获得图像B，将图像A和图 像B相结合，并通过信号处理算法可消除不利的影响，得到精确的深度图。 

如图4所示，为高清晰度电视(High Definition Television，HDTV)Axi-视觉(Axi-Vision)摄像机的基本构造图。在HDTV Axi-Vision摄像机系统中，包括深度图像处理单元和彩色图像处理单元。近红外LED阵列用于调强发光器，其具有快速直接调制的能力，近红外LED发射光的波长为850nm，在可见光的范围之外，不会干扰可见光。4个LED单元环绕在摄像机镜头的周围，可均匀地照亮摄像的场景。同时还有一个可见光源，如荧光源，用于照射被摄像物体，该光源具有超过近红外光区域的频谱。当物体的反射光经过摄像机镜头的二向棱镜时，可见光和近红外光被分离，其中，可见光进入彩色图像处理单元并由彩色图像处理单元进行处理后，获得物体的彩色图像，即2D图像，该彩色图像处理单元可为一个彩色HDTV摄像机；近红外光则经过深度图像处理单元处理后，获得物体的深度图像。在深度图像处理单元中，经二向棱镜分离出的近红外光被聚焦到光电阴极上的同时，在光电阴极和微通道板(Micro Channel Plate，MCP)之间施加短脉冲偏压，实现十亿分之一秒的快门，利用快门的开启在磷光体上获得物体的光学图像，该光学图像再经过中继镜头聚焦到高分辨率的逐行CCD摄像机上，转换为光电子图像，最后通过信号处理器形成物体的深度图。快门的开启和光线调制频率具有相同的频率，以获得更好的信噪比(Signal to Noise Ratio，SNR)。由此可以看出，深度摄像机可以获得较好的深度图，利用深度摄像机获得的深度图可重构出具有较强效果的视频图像。 

方法实施例 

方法实施例一 

如图5所示，为本发明3D视频通信方法实施例一的流程示意图。本实施例包括以下步骤： 

步骤101、获取图像采集装置采集的场景的视频图像数据，该视频图像 数据包括至少一幅深度图和至少二幅彩色图，该视频图像数据由至少一台能输出场景深度信息的图像采集装置和至少一台能输出场景彩色/灰度视频信息的图像采集装置，或由至少一台能输出场景深度信息和彩色/灰度视频信息的图像采集装置获得； 

本实施例3D视频通信方法可通过图像采集装置获取场景的深度图和彩色图，其中深度图由能输出场景的深度信息的深度图像采集装置采集获得，彩色图由能输出场景的彩色视频信息的普通图像采集装置获得，此外，本实施例中也可以利用能输出灰度图的普通图像采集装置获得灰度图。具体地，在进行场景的视频图像采集时，可以通过设置多个视点不同的图像采集装置，该图像采集装置可由至少一台能获取场景深度图的深度图像采集装置和至少一台获取场景彩色图的普通图像采集装置组成，也可由至少一台能同时输出场景的深度信息和彩色/灰度视频信息的深度图像采集装置组成。在进行场景的视频图像采集时，可实时的采集场景的深度图和彩色图，根据采集的深度图和彩色图可满足场景各虚拟视点的3D视频图像的重构。在由多台图像采集装置组成的采集设备中，进行视频图像采集时，可根据需要有选择的控制部分视点位置较好的图像采集装置进行拍摄，以获得所需场景的深度图和彩色图，避免重复或不必要场景的拍摄，同时拍摄前，也可调整好各图像采集装置的拍摄位置，以获得较大视角的场景的视频图像。 

步骤102、对视频图像数据进行编码，获得视频图像编码数据； 

对步骤101获取的场景的视频图像数据进行编码，获得场景的视频图像编码数据。对视频图像数据进行编码，便于视频图像数据的传输和存储。在对视频图像数据编码前，还可对视频图像数据进行校正等预处理操作，保证视频图像数据的准确性和可靠性。 

步骤103、将视频图像编码数据发送出去。 

获得视频图像编码数据后，可将该视频图像编码数据发送到视频图像接收设备，由视频图像接收设备对该视频图像编码数据进行相应的解码以及各 虚拟视点视频图像的重构等操作，最终可通过显示设备显示各视点的视频图像。具体地，视频图像接收设备可根据接收到的视频图像编码数据显示需要的视频图像，在进行视频图像显示时，可对各种虚拟视点的视频图像进行重构和渲染，以获得不同视点的场景的视频图像。在进行场景的视频图像显示时，也可以根据观看者的需要，显示各个视点的视频图像，由于步骤101中可以通过深度图像采集装置和普通图像采集装置获得场景的深度图和彩色图，获得的深度图准确可靠，在进行虚拟视点重构时，可利用多幅彩色图对重构的图像产生的空洞区域进行修补，提高了视频图像的重构效果，可获得各种虚拟视点的重构图像，且重构出的视频图像效果好，可反映出场景的真实效果。 

本发明实施例通过可直接输出场景深度图的图像采集装置采集场景的深度图，获得的深度图准确可靠，且采集的深度图具有较强的时性，根据深度图获得的各虚拟视点的视频图像效果好、准确可靠，可反映场景的真实效果；同时根据图像采集装置获得的场景的多幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补，使得重构出的视频图像更加准确，提高了虚拟视点图像的重构效果，具有较强的实用性。 

方法实施例二 

如图6所示，为本发明3D视频通信方法实施例二的流程示意图。本实施例可包括以下步骤： 

步骤201、控制各图像采集装置，使之对场景的图像采集同步； 

本实施例中，可设置多个视点位置不同的图像采集装置，该各视点位置不同的图像采集装置可包括至少一台能输出场景的深度信息的深度图像采集装置和至少一台能输出场景的彩色/灰度视频信息的普通图像采集装置，或者包括至少一台可输出场景的深度信息和彩色/灰度视频信息的深度图像采集装置。根据实际需要，视频图像采集前，可设置一定数量的深度图像采集装置 和普通图像采集装置，只要采集到的场景的视频图像数据中包括至少一幅深度图和至少二幅彩色图。本步骤中，在进行场景的图像采集时，可控制各图像采集装置进行同步拍摄和图像的采集，保证采集到的视频图像的同步性，避免了同一视点或不同视点在同一时刻采集到的图像具有较大的差异，特别是对高速运动的物体，同步采集可获得较好的视频图像效果。 

此外，在图像数据采集前，也可以将图像采集装置设置在不同的位置，获得最好的拍摄视角，以拍摄到更大视角的视频图像，保证各视点的3D视频图像的重构和显示，提高虚拟视点视频图像的重构效果。例如，实际拍摄时，可以将深度图像采集装置放置在普通图像采集装置的中间，这样可以获得更大的拍摄视角，在进行虚拟视点视频图像重构时，也可以获得大视角的场景的视频图像。 

本步骤在对各图像采集装置进行同步拍摄时，也可控制并产生同步信号，根据该同步信号同步各图像采集装置对场景的图像采集。具体地，该同步信号可通过硬件或软件时钟产生，也可以采用图像采集过程中的一台图像采集装置的视频输出信号作为同步信号，在控制各图像采集装置同步采集时，可通过将同步信号直接输入到各图像采集装置的外同步接口对各图像采集装置进行同步采集控制，也可以通过采集控制模块统一对各图像采集装置进行同步控制，该同步采集可达到帧同步或行/场同步。 

步骤202、对各图像采集装置采集到的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数； 

由于多台图像采集装置拍摄到的图像往往不是按扫描线对齐的，不符合人眼的成像模型，观看时，会对用户造成视觉疲劳。因此，需要将图像采集装置拍摄到的图像校正成符合人眼成像模型的图像，而通过图像采集装置标定获得的图像采集装置的内部参数和外部参数可作为对采集到的视频图像进行校正的依据，图像采集装置的标定可采用传统标定法和自标定法等。传统标定法包括了直接线性变换(direct linear transformation，DLT) 标定法、基于径向排列约束(Radial alignment constraint，RAC)标定法和平面标定法等。传统标定法的基本原理是使用标定参照物建立图像采集装置成像模型线形方程组，并测出参照物中一组点的世界坐标和其在成像平面上的对应坐标，然后将这些坐标值代入该线形方程组中求出内部参数和外部参数。自标定法是指不需要标定参照物，仅仅通过图像点之间的对应关系就可以对图像采集装置进行标定的过程。自标定依据的是多幅图像中成像点间存在的特殊约束关系，如极线约束，因此可以不需要场景的结构信息。 

通过图像采集装置标定，可以获得包括图像采集装置的内部参数和外部参数的标定信息，根据该图像采集装置的内部参数和外部参数可以对各图像采集装置拍摄到的视频图像进行校正处理，获得的视频图像更加符合人眼成像模型，根据该校正处理后的视频图像可获得更好的视觉效果。 

步骤203、根据所述内部参数和外部参数建立各图像采集装置采集的视频图像与各图像采集装置属性的对应关系，并作为场景的视频图像数据，图像采集装置属性包括图像采集装置的内部参数、外部参数以及视频图像每帧的采集时间戳； 

根据内部参数和外部参数建立视频图像与各图像采集装置属性的对应关系，并作为场景的视频图像数据输出，该图像采集装置属性包括图像采集装置的内部参数、外部参数以及视频图像每帧的采集时间戳，通过建立图像采集装置属性和采集到的视频图像的对应关系，可以根据图像采集装置的属性对视频图像进行校正处理。 

步骤204、根据图像采集装置属性，对视频图像数据进行校正处理，获得校正处理后的视频图像数据； 

根据图像采集装置属性以及视频图像与各图像采集装置属性的对应关系，对视频图像数据进行校正处理，可获得校正处理后的视频图像数据，具体地，对视频图像的校正处理可包括以下处理：

(1)根据图像采集装置标定的标定参数对彩色图和深度图进行校正，使彩色图和深度图对齐。为便于在某一视点进行图像的重构，该视点的彩色图和深度图的内容应相同。但普通图像采集装置和深度图像采集装置的位置不可能精确重合，因此需要利用图像采集装置标定结果对彩色图和深度图执行变换，使彩色图和深度图像比较精确地重合； 

(2)可对不同图像采集装置因设置而导致的彩色图的亮度和色度的差异进行调节，使不同图像采集装置获得的彩色图色彩一致，以消除不同图像采集装置带来的图像差异； 

(3)根据图像采集装置的标定参数对彩色图或深度图进行校正，可对图像进行径向畸变等校正。 

步骤205、对校正处理后的视频图像数据进行编码，获得视频图像编码数据； 

本实施例可利用MPEG-4、H.264等编解码标准对校正处理后的彩色图和深度图数据进行编码，其中深度的描述可以采用MPEG标准。目前有多种对彩色图+深度图数据编码的方法，如，可利用基于分层的3D视频编码方法，该方法主要是将H.264协议中SEI信息与分层编码思想相结合，将一个通道的视频数据采用常规方法编码为只包含I、P帧的基本层，通道的彩色图数据，而后对另外一个通道的数据全部编码成P帧，如深度图数据，预测时的参考帧采用本通道前一帧或基本层中对应的帧，这样解码时可具有较好的2D/3D兼容性，对于传统的2D显示，只需解码基本层数据即可；对于3D显示，全部解码。这样，接收显示用户可选择2D显示或3D显示，并可控制视频解码模块进行相应的解码处理。 

步骤206、对视频图像编码数据进行分组处理，封装成数据包并进行发送。 

在进行视频图像发送前，可对视频图像编码数据进行分组处理，并封装成数据包发送到视频图像接收设备，由接收设备对接收到的分组数据进行相应的处理，数据的发送可通过现有的网络，如Internet网，进行发送。

此外，本实施例步骤206中对视频图像编码数据进行分组处理并发送，具体可包括以下步骤： 

步骤2061、对视频图像编码数据进行复用，获得视频图像编码数据的复用数据； 

本步骤可对编码的视频数据按帧/场的方式对多个视频数据流进行复用，在进行按场方式进行复用时，可以将一个视频数据编码为奇场，另一个视频数据编码为偶场，并将奇偶场作为一帧进行传输。 

步骤2062、对视频图像编码数据的复用数据进行分组处理，封装成数据包并进行发送。 

此外，本实施例还可接收编码语音数据、系统命令数据和/或文件数据，进行分组处理并与视频图像编码数据一起发送出去，也可接收外部输入的控制信息，该控制信息包括观看视点、显示方式、显示距离信息等，根据该控制信息可对图像采集装置拍摄进行调整，选择较好的拍摄视角的图像采集装置进行场景的视频图像的采集，如可调整图像采集装置的拍摄角度、图像采集装置的拍摄数量等，提高了视频图像采集的实用性。视频接收设备可通过网络等接收该视频图像编码数据，并对接收到的数据进行相应的处理，如可对接收到的视频图像数据进行解复用、解码、重构、渲染、显示等处理，还可对接收到的编码语音数据进行解码，对接收到的文件数据进行相应的储存等处理，也可根据系统命令数据执行特定的操作，如可根据系统命令中的显示方式对接收到的视频图像进行显示。 

视频图像接收设备可根据接收到的场景的深度图和彩色图，重构出各虚拟视点的场景的视频图像。由于场景的深度图由深度图像采集装置采集获得，获得的深度图准确可靠，而且可通过多台普通图像采集装置或深度图像采集装置获得场景的多幅彩色图或灰度图，这样，在进行场景的各视点视频图像的显示时，可以利用多幅彩色图对只由一幅彩色图重构时产生的空洞区域进行修补，提高了视点视频图像的重构效果。同时，利用图像采集装置采集场 景的深度图和彩色图具有较强的实时性，采集出的视频图像数据也具有较强的实用性。 

本实施例通过控制各图像采集装置进行场景的视频图像的同步采集和图像采集装置标定，获取同步的视频图像数据和图像采集装置的标定信息，并根据标定信息对图像采集装置采集的视频图像进行校正处理，使得视频图像的处理更加准确；同时，通过对视频图像进行编码处理，提高了视频图像数据存储和传输的便利性，便于对大量视频图像数据的存储和传输操作，本实施例进一步的提高了视频采集和处理的精度，提高了重构图像的效果，而且根据输入控制信息可对视频图像的采集进行有效控制，提高了视频图像采集的实用性。 

设备实施例 

设备实施例一 

如图7所示，为本发明3D视频通信发送设备实施例一的结构示意图。本实施例3D视频通信发送设备包括视频采集单元11、视频编码单元12和视频输出单元13。其中，视频采集单元11用于获取图像采集装置采集的场景的视频图像数据，该视频图像数据包括至少一幅深度图和至少二幅彩色图，该视频采集单元11包括至少一台能输出场景深度信息的深度图像采集装置和至少一台能输出场景彩色/灰度视频信息的普通图像采集装置，或包括至少一台能输出场景深度信息和彩色/灰度视频信息的深度图像采集装置；视频编码单元12用于对所述视频图像数据进行编码，获得视频图像编码数据；视频输出单元13用于接收视频编码单元12编码后的视频图像编码数据，并将该视频图像编码数据发送出去。 

本实施例中，可通过视频采集单元11中的深度图像采集装置获取场景的深度图和/或彩色图，普通图像采集装置获取场景的彩色图，然后将获得的场景的深度图和彩色图作为3D视频图像数据并传给视频编码单元12， 由视频编码单元12对采集到的视频图像数据进行编码处理，获得场景的视频图像编码数据，并将该视频图像编码数据发送到视频输出单元13，由视频输出单元13将该视频图像编码数据发送到视频图像接收设备。本实施例通过深度图像采集装置采集场景的深度图，获得的深度图准确可靠，同时可通过深度图像采集装置和/或普通图像采集装置获取场景的多幅彩色图或灰度图，这样在进行各虚拟视点场景的3D视频图像重构时，可以获得各种视点的3D视频图像数据，在进行虚拟视点的视频图像重构时，可利用深度图像采集装置采集到的深度图和彩色图进行虚拟视点的重构，然后再利用普通图像采集装置采集到的彩色图对重构出的图像进行修补，消除可能产生的空洞区域，使得重构出的图像更加符合场景的真实效果，满足了用户的视觉效果，同时，在采集时，可以将深度图像采集装置和普通图像采集装置设置合适的拍摄视点，这样获得的场景的图像包含了较大视角的视频图像，可重构出更大视角范围的虚拟视点的图像，且具有较好的重构效果。 

本实施例通过深度图像采集装置获取场景的深度图，获得的深度图准确可靠，且实时性强，根据深度图获得的各种虚拟视点的3D视频图也就更加准确，可反映场景的真实效果；同时，通过深度图像采集装置和普通图像采集装置获得场景的多幅彩色图，在进行虚拟视点的3D视频图重构时，可以获得大范围视点的3D视频数据，且可对由一幅彩色图重构时产生的空洞区域进行修补，使得重构出的3D视频图更加准确，更能反映场景的真实效果，提高了虚拟视点图像的重构效果，使得本发明实施例3D视频通信发送设备具有较强的实用性。 

设备实施例二 

如图8所示，为本发明3D视频通信发送设备实施例二的结构示意图。图9为本发明3D视频通信发送设备实施例中视频采集单元的结构示意图。 在上述本发明3D视频通信发送设备实施例一的基础上，如图9所示，本实施例中的视频采集单元11可包括能输出场景深度图的深度图像采集装置110，或为能同时输出场景深度图和彩色图的深度图像采集装置111，还包括可输出场景的彩色图或灰度图的普通图像采集装置112。本实施例中视频采集单元11还包括至少一个采集控制模块113，用于控制与其连接的图像采集装置进行场景的拍摄，采集并输出拍摄所述场景的视频图像数据。如图10所示，为本发明3D视频通信发送设备实施例中图像采集装置的组合形式及与采集控制模块的连接示意图。其中，深度图像采集装置111可同时输出场景的深度图和彩色图，普通图像采集装置112只能输出场景的彩色图或灰度图，深度图像采集装置110只能输出场景的深度图。采集控制模块113可与各图像采集装置组合进行连接，可按如下形式进行连接： 

(a)采集控制模块113连接有一台深度图像采集装置111和一台普通图像采集装置112； 

(b)采集控制模块113连接有一台深度图像采集装置110和两台普通图像采集装置112； 

深度图像采集装置110和普通图像采集装置112的位置可任意放置，但为了获得最大的视角，深度图像采集装置110可放置在一台普通图像采集装置112的中间，这样获得的场景的深度图和彩色图的视角就会更大，可重构出更大范围内虚拟视点的3D视频图像，且合成出的各虚拟视点的3D视频图像效果更好。 

(c)采集控制模块113连接有两台或两台以上的深度图像采集装置111。 

多台深度图像采集装置111可获得场景更多的深度图及与深度图对应的彩色图。因此，在进行虚拟视点的场景重构时可以获得更大的场景范围，且各深度图像采集装置获得的视频数据之间也可以进行参考，提高虚拟视点重构的精度。

上述采集控制模块113与各图像采集装置组合的连接只是最基本的连接形式，根据实际需要可任意组合或添加图像采集装置的数量，以获得场景的更好的3D视频数据，但在进行场景的视频采集时保证输出的视频图像数据应至少包括场景的一幅深度图和多幅彩色图。 

如图9所示，为降低系统的部署成本且保证视频采集的质量，本实施例采用上述图10中的(a)和(b)两种基本组合形式的混合构成视频采集单元11，其中包括两个采集控制模块113，其中一个采集控制模块113连接有一台深度图像采集装置111和一台普通图像采集装置112，另一个采集控制模块113连接有一个深度图像采集装置110和一个普通图像采集装置112。在进行场景的视频采集时，可合理分配各图像采集装置拍摄的视点位置，使得采集到的场景的各深度图和彩色图均有较好的视角，保证场景的各虚拟视点图像的重构效果。可以理解，采集控制模块113连接的图像采集装置的数量越多，采集控制模块113部署的数量越多，获得的场景的各深度图和彩色图的数量也就越多，获得场景的视角也就越大，在进行场景的各虚拟视点视频图像重构时的效果也就越好，根据实际需要，可选择合适的图像采集装置组合及连接方式。 

本实施例中，如图9所示，视频采集单元11还可包括同步模块114和标定模块115。同步模块114用于产生同步信号，并将该同步信号输出至采集控制模块113，由采集控制模块113同步各图像采集装置对场景的拍摄；或，用于将同步信号输出至图像采集装置的外同步接口同步各图像采集装置对场景的拍摄，该同步信号由同步模块114自身产生或为图像采集过程中的一台图像采集装置的视频输出信号；标定模块115用于接收图像采集装置采集的视频图像，根据采集的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数，并发送至采集控制模块113；采集控制模块113还用于根据内部参数和外部参数建立采集的视频图像与各图像采集装置属性的对应关系，并作为场景的视频图像数据输出，图像采集装置属性包括 图像采集装置的内部参数和外部参数以及视频图像每帧的采集时间戳等。通过同步模块114可实现各图像采集装置的同步采集，保证采集到的各视频图像的同步性。此外，通过图像采集装置标定，可获得图像采集装置的内部参数和外部参数，并可作为视频图像进行校正处理的参考依据，对不同图像采集装置拍摄出的视频图像进行校正处理，保证虚拟视点的重构效果。 

如图8所示，本实施例3D视频图像通信发送设备还可包括预处理单元14，用于从采集控制模块113接收包括各图像采集装置采集到的视频图像和各图像采集装置属性，以及视频图像与各图像采集装置的属性的对应关系的视频图像数据，根据图像采集装置的内部参数和外部参数对视频图像数据进行校正处理，输出校正处理后的视频图像数据，视频编码单元12可接收该预处理单元14校正处理后的视频图像数据，对校正处理后的视频图像数据进行编码。其中，每个采集控制模块113均有对应的预处理单元14与之相连接，这样，可以保证对每个采集控制模块113采集到的视频图像数据均可进行快速准确的处理，提高数据处理的效率。 

此外，如图8所示，本实施例中，视频输出单元13也可包括输出处理模块131和输出接口模块132。其中，输出处理模块131用于接收视频编码单元12编码后的视频图像编码数据，并对该视频图像编码数据进行分组处理，封装成数据包；输出接口模块132用于将进行分组处理，并封装成数据包的分组数据发送出去。本实施例还可包括复用单元15，用于对视频图像编码数据进行复用，获得复用数据；输出处理模块131还可用于接收复用数据，对复用数据进行分组处理并封装成数据包。 

本实施例还可包括音频编码单元、系统控制单元和用户数据单元。音频编码单元用于对语音数据进行编码，并发送到输出处理模块131；系统控制单元用于将命令数据发送到输出处理模块131；用户数据单元用于将文件数据发送给输出处理模块131；输出处理模块131还可用于对接收到编码语音数据、命令数据和/或文件数据进行分组处理，并封装成数据包发送到输出接口模块 132。本实施例通过音频编码单元可将本地的语音信息与视频信息一同传输到视频的接收端，提高了3D视频的实用性，此外，也可以将本地的一些文件数据，命令信息等发送到视频接收端，可满足用户的各种不同需求。本实施例也可包括控制输入单元16，与视频采集单元11中的采集控制模块113连接，用于获取控制信息，并将控制信息发送到采集控制模块，该控制信息可包括观看或显示视点、显示距离以及显示方式等信息，该控制信息可以由用户通过图形用户界面(Graphical User Interface，GUI界面)或遥控设备进行输入，如显示或观看视点、距离和显示方式等信息，并可根据该信息对采集控制模块113进行控制，若显示方式只需要2D视频的显示，则可要求采集控制模块113只选择普通图像采集装置进行场景的拍摄和采集，若需3D视频显示，则可将深度图像采集装置和普通图像采集装置一同拍摄采集，根据观看或显示视点，可有选择的由部分图像采集装置进行场景的拍摄和图像采集，提高了图像采集效率，同时也可降低采集过多无用或重复的数据，给数据传输和处理带来不便。 

为对本发明实施例有更好的了解，下面对本发明实施例中各主要功能模块或单元做具体的说明： 

采集控制模块113 

采集控制模块用于控制与其连接的各图像采集装置进行视频图像的采集和输出。采集控制模块可以将模拟图像信号转换为数字视频图像信号或直接接收数字图像信号，采集控制模块可将采集到的图像数据以帧的形式保存在采集控制模块缓存中。此外，采集控制模块还可将采集到的视频数据提供给标定模块进行图像采集装置标定，标定模块将得到的图像采集装置的内部参数和外部参数的标定信息返回给对应的采集控制模块，采集控制模块再根据图像采集装置的标定信息建立起视频图像数据和对应的采集图像采集装置属性的一一对应关系，图像采集装置的属性包括图像采集装置的唯一的编码、图像采集装置的内部参数和外部参数以及每帧的采集时 间戳等，并将图像采集装置的属性和视频图像数据按照一定的格式输出。同时，采集控制模块还可根据图像采集装置的标定信息通过图像采集装置的遥控接口对图像采集装置进行平移/转动/拉近/拉远等操作，采集控制模块也可通过图像采集装置的同步接口向图像采集装置提供同步的适中信号，控制图像采集装置的同步采集。采集控制模块还可以根据控制输入单元接收到的观看或显示视点，可选择部分图像采集装置进行采集工作，关闭不需要的深度图像采集装置的采集，避免重复或无用的采集。 

同步模块114 

同步模块用于控制多台图像采集装置的同步采集。对于高速运动的物体，同步采集是非常重要的，否则导致不同视点或是同一视点的图像在同一时刻差异很大，用户看到的3D视频就会失真。同步模块可以通过硬件或软件时钟产生同步信号，并输出到图像采集装置的外同步接口对图像采集装置进行同步采集控制或是输出到采集控制模块，由采集控制模块通过控制线对图像采集装置进行同步采集控制。同步模块也可以采用一台图像采集装置的视频输出信号作为控制信号输入到其它图像采集装置进行同步采集控制。同步采集可实现帧同步或行/场同步。 

标定模块115 

标定模块主要实现图像采集装置标定，所谓图像采集装置标定，是获得图像采集装置的内部参数和外部参数。内部参数包括图像采集装置成像图像中心、焦距、镜头畸变等，外部参数包括图像采集装置位置的旋转和平移等参数。由于多台图像采集装置拍摄到的图像往往不是按扫描线对齐的，不符合人眼的成像模型，观看时，会对用户造成视觉疲劳。因此，需要将图像采集装置拍摄到的图像进行校正成符合人眼成像模型的图像，而通过图像采集装置标定获得的图像采集装置的内部参数和外部参数可作为对图像进行校正的依据。 

在3D视频的图像采集装置采集中，根据仿射变换原理，不考虑畸变 情况下的某一点的理想成像方程可以表示为： 

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]$ $K=\left[\begin{array}{ccc}\mathrm{fs}& 0& u_0\\ 0& f& v_0\\ 0& 0& 1\end{array}\right]$

其中u，v为成像点坐标；X_wY_wZ_w为世界坐标；s为图像的尺度因子，是图像水平单位像素数f_u和垂直单位像素数f_v之比；f为焦距；u₀，v₀为图像中心坐标；R为图像采集装置的旋转矩阵；t为图像采集装置平移向量。其中K为图像采集装置的内部参数，R和t为图像采集装置的外部参数。 

图像采集装置的标定可以采用传统标定法和自标定法等。传统标定法包括了直接线性变换标定法、基于径向排列约束标定法和平面标定法等。传统标定法的基本原理是使用标定参照物建立图像采集装置成像模型线形方程组，并测出参照物中一组点的世界坐标和其在成像平面上的对应坐标，然后将这些坐标值代入该线形方程组中求出内部参数和外部参数。自标定法是指不需要标定参照物，仅仅通过图像点之间的对应关系就可以对图像采集装置进行标定的过程。自标定依据的是多幅图像中成像点间存在的特殊约束关系，如极线约束，因此可以不需要场景的结构信息。 

预处理单元14 

预处理单元从采集控制模块处接收采集的图像缓存和相应的图像采集装置参数，根据预处理算法对缓存的图像进行处理。预处理主要包括以下内容： 

(1)根据图像采集装置标定的标定信息对彩色图和深度图进行校正，使彩色图和深度图对齐。为便于在某一视点进行图像的重构，该视点的彩色图和深度图的内容应相同。但普通图像采集装置和深度图像采集装置的位置不可能精确重合，因此需要利用图像采集装置标定结果对彩色图和深度图执行变换，使彩色图和深度图像比较精确地重合； 

(2)消除不同图像采集装置带来的图像差异。可对不同图像采集装置因设置而导致的彩色图的亮度和色度的差异进行调节，使不同图像采集装 置获得的彩色图色彩一致； 

(3)根据图像采集装置的标定参数对彩色图或深度图进行校正，可对图像进行径向畸变等的校正。 

视频编码单元12 

由于3D视频系统中具有多个通道图像的视频数据，具有的视频数据非常大，给视频数据的传输和存储带来了困难。因此，需要一个较好的是视频编码单元对视频数据进行处理。目前3D视频编码主要分为两类：基于块的编码和基于对象的编码。在3D图像的的编码中，除了帧内预测和帧间预测消除空域和时域上的数据冗余度外，还必须消除多通道图像之间的空域数据冗余性。视差(Parallax)估计与补偿技术可用于消除多通道图像间的空域冗余度。视差估计与补偿的核心是找到两幅或多幅图像间的相关性，和运动估计补偿是类似的，但视差估计与补偿比运动估计补偿要复杂。运动估计补偿处理的是同一图像采集装置时间不同步的图像，而视差估计与补偿处理的是不同图像采集装置时间同步的图像。在视差估计与补偿中，可能所有像素的位置都会发生改变，距离很远的物体可以认为视差为0。 

本发明实施例中所述的视频编码单元可利用MPEG-4、H.264等编解码标准对预处理单元输出的彩色图和深度图数据进行编码，其中深度的描述可以采用MPEG标准。目前有多种对彩色图+深度图数据编码的方法，如基于分层的3D视频编码方法，该方法主要是将H.264协议中SEI信息与分层编码思想相结合，将一个通道的视频数据采用常规方法编码为只包含I、P帧的基本层，通道的彩色图数据，而后对另外一个通道的数据全部编码成P帧，如深度图数据，预测时的参考帧采用本通道前一帧或基本层中对应的帧，这样在解码时可具有较好的2D/3D兼容性，对于传统的2D显示，只需解码基本层数据即可；对于3D显示，全部解码。 

控制输入单元16

控制输入单元主要用于接收视频用户或视频终端的输入，并反馈给视频采集单元以及视频编码单元。控制输入单元包括的信息主要有观看和显示视点、显示方式和用户的距离信息等。控制输入单元的信息可以由用户通过图形用户界面或遥控设备进行输入，如观看或显示视点、距离信息和显示方式。此外，控制输入单元还可以根据观看视点等信息有选择的对图像采集装置进行控制，如可只选择视频采集单元中的其中一台或多台图像采集装置进行视频图像的采集。同时，若控制输入单元接收的显示方式为2D显示，可对图像处理单元中的视频编码单元进行控制，只对2D显示所需的彩色图进行编码；若显示方式为3D显示，则对输出彩色图和深度图数据进行编码。 

本实施例中，通过采集控制模块控制各图像采集装置的图像采集，并可在采集中对图像采集装置的拍摄视角进行布置，可获得较大视角的场景的3D视频数据，在进行场景的各虚拟视点的重构时具有较好的重构效果；通过同步模块和标定模块，可获得同步的视频数据和图像采集装置标定参数，使得采集到的视频图像的处理更加准确；同时，对视频数据进行编码处理，提高了数据存储和传输的便利，便于对大量视频数据的存储和传输操作，本实施例进一步地提高了视频采集和处理的精度，提高了虚拟视点视频图像的重构效果。 

系统实施例 

如图11所示，为本发明3D视频通信系统实施例的结构示意图。本实施例包括发送设备1和接收设备2。其中，发送设备1包括视频采集单元11、视频编码单元12和视频输出单元13。其中，视频采集单元11用于获取图像采集装置采集的场景的视频图像数据，该视频图像数据包括至少一幅深度图和至少二幅彩色图，该视频采集单元11包括至少一台能输出场景深度信息的深度图像采集装置和至少一台能输出场景彩色/灰度视频信息的普通图像采集 装置，或包括至少一台能输出场景深度信息和彩色/灰度视频信息的深度图像采集装置；视频编码单元12用于对所述视频图像数据进行编码，获得视频图像编码数据；视频输出单元13用于接收视频编码单元12编码后的视频图像编码数据，并将该视频图像编码数据发送出去。接收设备2包括视频接收单元21和视频解码单元22。视频接收单元21用于接收视频输出单元13发送来的视频图像编码数据；视频解码单元22用于对该视频图像编码数据进行解码，获得视频图像解码数据。发送设备1和接收设备2之间可直接连接，也可通过现有的通信网络，如Internet网连接。 

本实施例中，可通过视频采集单元11中的深度图像采集装置获取场景的深度图和/或彩色图，普通图像采集装置获取场景的彩色图，然后将获得的场景的深度图和彩色图作为3D视频图像数据并传给视频编码单元12，由视频编码单元12对采集到的视频图像数据进行编码处理，获得场景的视频图像编码数据，并将该视频图像编码数据发送到视频输出单元13，由视频输出单元13将该视频图像编码数据发送到视频图像接收设备。 

本实施例通过深度图像采集装置采集场景的深度图，获得的深度图准确可靠，同时可通过深度图像采集装置和/或普通图像采集装置获取场景的多幅彩色图或灰度图，这样在进行各虚拟视点场景的3D视频图像重构时，可以获得各种视点的3D视频图像数据，在进行虚拟视点的视频图像重构时，可利用深度图像采集装置采集到的深度图和彩色图进行虚拟视点的重构，然后再利用普通图像采集装置采集到的彩色图对重构出的图像进行修补，消除可能产生的空洞区域，使得重构出的图像更加符合场景的真实效果，满足了用户的视觉效果，同时，在采集时，可以将深度图像采集装置和普通图像采集装置设置合适的拍摄视点，这样获得的场景的图像包含了较大视角的视频图像，可重构出更大视角范围的虚拟视点的图像，且具有较好的重构效果。接收设备2接收到发送设备1发送来的的视频图像编码数据后，可根据接收到的视频图像编码数据进行相应的解码、视频图像的 重构、渲染和显示等处理。由于本实施例深度图由深度图像采集装置采集得到，获得的深度图质量好，且深度图的采集具有较强的实时性，在进行各虚拟视点场景的3D视频图像重构时，可利用深度图像采集装置采集到的深度图和一幅彩色图进行虚拟视点的重构，然后再利用普通图像采集装置采集到的彩色图对重构出的图像进行修补，消除可能产生的空洞区域，使得重构出的图像更加符合实际场景，满足用户的视觉效果。 

如图12所示，为本发明3D视频通信系统实施例中接收设备的结构示意图。本实施例中，接收设备2还可包括视频重构单元23，用于根据显示信息和视频图像解码数据，重构需要显示的视点的视频图像。本实施例中的接收设备2中还可包括解复用单元24，用于对视频接收单元21接收到的复用数据进行解复用，该复用数据为视频图像编码数据的复用数据。其中，视频重构单元23可接收视频解码单元22输出的视频图像解码数据，并根据视频图像解码数据中的深度图和彩色图进行显示视点视频图像的重建，获得显示视点的重建图像，并可根据视频图像解码数据中的彩色图对显示视点的重建图像中的空洞区域进行修补，和/或采用线性或非线性插值的方法对显示视点的重建图像中的空洞区域进行修补，获得显示视点的视频图像。本实施例中的接收设备2中还可包括显示输入单元25，用于获取显示信息，该显示信息包括显示或观看视点、显示方式以及显示距离等信息，视频重构单元23可根据该显示信息对视频图像解码数据进行重构，重构出所需要显示的视点的视频图像。本实施例发送设备中还可包括渲染单元26和显示单元27，其中，渲染单元26用于接收显示视点的视频图像并渲染；显示单元27用于接收渲染单元26渲染的显示视点的图像数据，并显示显示视点的视频图像。其中，渲染单元26也可接收视频解码单元22直接发送过来的视频图像解码数据，进行渲染并送到显示单元27进行显示。此外，接收设备2中还可包括语音解码单元、系统控制单元和/或用户数据单元，语音解码单元可用于对接收到的编码语音数据进行解码；系统控制单元可用于对接收到的系统命令数据进行相应的处 理；用户数据单元可对接收到的文件数据等进行存储、编辑等处理，上述所述的语音解码单元、系统控制单元和用户数据单元未在附图中示出。 

下面对视频重构单元23的原理和作用进行具体的说明： 

视频重构单元用于根据获得的场景的彩色图和深度图的数据进行虚拟视点图像的重建。可利用基于图像的渲染重构技术对虚拟视点图像的重建。基于图像的渲染的重构技术中，I₀表示原始纹理图像，I_N表示新的重建的视点图像，d表示深度图，d(x，y)表示像素(x，y)处的视差值，α为偏移量的一个权值。以平行图像采集装置系统为例，对于重建的视点图像中的每个像素(x，y)，有下列关系： 

I₀(x，y)＝I_N(x+α·d(x，y)，y) 

根据图像采集单元中图像采集装置的种类和数量，根据各图像采集装置获得深度图和彩色图进行虚拟视点的重构可采用不同的方式。 

若采集视频数据的图像采集装置只包括一台或多台深度图像采集装置110深度图像采集装置111，可根据以下步骤对虚拟视点的图像进行重构： 

(1)根据其中一台深度图像采集装置DC₁，利用其输出的彩色图I₁和深度图D₁采用上述基于图像的渲染的重构技术的通用算法进行重构，得到图像采集装置组中的虚拟视点v的一个重建图像I_v ¹； 

(2)根据另外一台深度图像采集装置DC₂，利用其输出的彩色图I₂和深度图D₂采用上述的通用算法进行重构，得到同样的虚拟视点v的另一重建图像I_v ²； 

(3)虚拟视点V最终的重建图像I_v可为I_v ¹和I_v ²的并集，即I_v＝I_v ¹∪I_v ²，I_v ²可以填补图像I_v ¹中的空洞。对于I_v ¹和I_v ²中的交集部分，最终可以采用加权的方式进行合成，如采用公式：I(x，y)＝w₁I_v ¹(x，y)+w₂I_v ²(x，y)，w₁和w₂为和视点位置相关的权值； 

(4)对于步骤(3)之后形成的重建图像I_v中剩下的空洞区域，可以 根据空洞周围像素的亮度、色度和深度信息确定空洞区域内像素相应的信息对空洞区域进行修补，如采用线性或非线性插值的方法进行修补，最终获得该虚拟视点的视频图像。 

同样的，采集视频数据的图像采集装置只包括一台深度图像采集装置110深度图像采集装置111和一台普通图像采集装置112，可根据以下步骤进行虚拟视点重构： 

(1)根据其中的深度图像采集装置DC，利用其输出的彩色图I₁和深度图D采用上述的通用算法进行重构，得到图像采集装置组中的虚拟视点v的重建图像I_v； 

(2)对于I_v中出现的空洞，利用普通图像采集装置输出的彩色图像I₂进行填补。填补的基本方法：首先，求出普通图像采集装置和深度图像采集装置之间的位置关系，如根据图像采集装置标定的标定参数；然后，利用深度图D找到I_v中空洞区域在I₂中对应的位置，将I₂在此位置处的像素经过投影变换映射到I_v中用于填补I_v中的空洞。 

(3)对于步骤(2)之后I_v中剩下的空洞区域，采用线性或非线性插值等方法进行修补，最终获得该虚拟视点的视频图像。 

同时，视频重构单元还可对重构出的视点的视频图像还可以进行滤波等图像处理，提高视频图像的效果。 

此外，本实施例中的发送设备1中的视频采集单元11还可包括至少一个采集控制模块113、同步模块114和标定模块115；视频输出单元13可包括输出处理模块131和输出接口模块132；发送设备1还可包括预处理单元14、复用单元15、控制输入单元16、音频编码单元、系统控制单元和用户数据单元。其中采集控制模块113可与多种由深度图像采集装置和普通图像采集装置的组合进行连接，以控制各图像采集装置进行场景的拍摄和采集。具体地，本实施例中的发送设备1的结构与上述本发明3D视频通信发送设备各实施例相同，在此不再赘述。

此外，本实施例中的发送设备和接收设备可集成在一起，使得集成的设备即可以发送视频图像数据到其它设备，也可以接收并处理其它设备发送来的视频图像数据，同时也可接收并处理自身设备采集到的视频图像数据，可在本地实时显示视频图像，本实施例中的发送设备和接收设备也可通过现有的各种无线或有线网络连接，可应用于远程视频图像采集等。 

本实施例中的发送设备通过图像采集装置采集到的包括深度图和彩色图的视频图像数据，采集到的深度图准确可靠，且具有较强的实时性，同时可将视频图像数据传输到接收设备，由接收设备对视频图像数据进行处理；由于采集的视频图像数据包括深度图和彩色图，在进行虚拟视点的视频图像重构时，可利用多幅彩色图对只由一幅彩色图重构时产生的空洞区域进行修补，使得重构出的图像效果好，具有较强的实用性，可满足3D视频的需要。 

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (18)

1.一种3D视频通信方法，其特征在于包括：

获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频图像数据由至少一台能采集并直接输出场景深度信息的图像采集装置和至少一台能输出场景彩色/灰度视频信息的图像采集装置，或由至少一台能采集并直接输出场景深度信息和能输出彩色/灰度视频信息的图像采集装置获得；

对所述视频图像数据进行编码，获得视频图像编码数据；

将所述视频图像编码数据发送出去；

其中，根据图像采集装置输出的至少二幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补。

2.根据权利要求1所述的3D视频通信方法，其特征在于，所述获取图像采集装置采集的场景的视频图像数据具体包括：

控制各图像采集装置，使之对所述场景的图像采集同步；

对所述各图像采集装置采集到的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数；

根据所述内部参数和外部参数建立各图像采集装置采集的所述视频图像与各图像采集装置属性的对应关系，并作为所述场景的视频图像数据，所述图像采集装置属性包括图像采集装置的内部参数、外部参数以及所述视频图像每帧的采集时间戳。

3.根据权利要求2所述的3D视频通信方法，其特征在于，所述控制各图像采集装置，使之对所述场景的图像采集同步，其过程具体包括：

提供同步信号，根据所述同步信号同步所述各图像采集装置对所述场景的图像采集。

4.根据权利要求2所述的3D视频通信方法，其特征在于，所述对所述视频图像数据进行编码之前还包括： 

根据所述图像采集装置属性，对所述视频图像数据进行校正处理，获得校正处理后的视频图像数据。

5.根据权利要求1所述的3D视频通信方法，其特征在于，所述将所述视频图像编码数据发送出去具体包括：

对所述视频图像编码数据进行分组处理，封装成数据包并进行发送。

6.根据权利要求5所述的3D视频通信方法，其特征在于，所述对所述视频图像编码数据进行分组处理，封装成数据包并进行发送具体包括：

对所述视频图像编码数据进行复用，获得复用数据；

对所述复用数据进行分组处理，封装成数据包并进行发送。

7.根据权利要求2所述的3D视频通信方法，其特征在于，在所述控制各图像采集装置，使之对所述场景的图像采集同步之前还包括：

接收外部输入的控制信息，根据所述控制信息设定各图像采集装置的视角及拍摄距离，所述控制信息包括观看视点、显示方式以及显示距离信息。

8.一种3D视频通信发送设备，其特征在于，包括：

视频采集单元，用于获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频采集单元包括至少一台能采集并直接输出场景的深度信息的图像采集装置和至少一台能输出场景的彩色/灰度视频信息的图像采集装置，或包括至少一台能采集并直接输出场景的深度信息和能输出彩色/灰度视频信息的图像采集装置；

视频编码单元，用于对所述视频图像数据进行编码，获得视频图像编码数据；

视频输出单元，用于将所述视频图像编码数据发送出去；

其中，根据图像采集装置输出的至少二幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补。

9.根据权利要求8所述的3D视频通信发送设备，其特征在于，所述视频采集单元包括： 

采集控制模块，用于控制与其连接的图像采集装置进行所述场景的图像采集；

同步模块，用于产生同步信号，并将所述同步信号输出至所述采集控制模块，由所述采集控制模块同步各图像采集装置对所述场景的图像采集；或，用于将所述同步信号输出至图像采集装置的外同步接口同步各图像采集装置对所述场景的图像采集，所述同步信号由所述同步模块自身产生或为所述各图像采集装置中的一台图像采集装置的视频输出信号；

标定模块，用于接收所述图像采集装置采集的视频图像，并根据所述采集的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数，并发送至所述采集控制模块；

所述采集控制模块还用于根据所述内部参数和外部参数建立各图像采集装置采集的所述视频图像与各图像采集装置属性的对应关系，并作为所述场景的视频图像数据输出，所述图像采集装置属性包括图像采集装置的内部参数、外部参数以及所述视频图像每帧的采集时间戳。

10.根据权利要求9所述的3D视频通信发送设备，其特征在于，所述3D视频通信发送设备还包括：

预处理单元，用于从所述采集控制模块接收包括所述视频图像和所述图像采集装置属性，以及所述视频图像与各图像采集装置的属性的对应关系的所述视频图像数据，根据所述图像采集装置的内部参数和外部参数对所述视频图像数据进行校正处理，输出校正处理后的视频图像数据。

11.根据权利要求8、9或10所述的3D视频通信发送设备，其特征在于，所述视频输出单元包括：

输出处理模块，用于对所述视频图像编码数据进行分组处理，并封装成数据包；

输出接口模块，用于将所述数据包发送出去。

12.根据权利要求11所述的3D视频通信发送设备，其特征在于，所述 3D视频通信发送设备还包括：

复用单元，用于对所述视频图像编码数据进行复用，获得复用数据；

所述输出处理模块还用于接收所述复用数据，对所述复用数据进行分组处理并封装成数据包。

13.根据权利要求9所述的3D视频通信发送设备，其特征在于，所述3D视频通信发送设备还包括：

控制输入单元，用于获取控制信息，并将所述控制信息发送到所述采集控制模块，所述控制信息包括观看视点、显示距离以及显示方式。

14.一种3D视频通信系统，包括发送设备和接收设备，其特征在于，

所述发送设备包括：

视频采集单元，用于获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频采集单元包括至少一台能采集并直接输出场景的深度信息的图像采集装置和至少一台能输出场景的彩色/灰度视频信息的图像采集装置，或包括至少一台能采集并直接输出场景的深度信息和能输出彩色/灰度视频信息的图像采集装置；

视频编码单元，用于对所述视频图像数据进行编码，获得视频图像编码数据；

视频输出单元，用于将所述视频图像编码数据发送出去；

其中，根据图像采集装置输出的至少二幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补；

所述接收设备包括：

视频接收单元，用于接收所述视频输出单元发送来的所述视频图像编码数据；

视频解码单元，用于对所述视频编码数据进行解码，获得视频图像解码数据。

15.根据权利要求14所述的3D视频通信系统，其特征在于，所述视频 采集单元包括：

采集控制模块，用于控制与其连接的图像采集装置进行所述场景的图像采集；

同步模块，用于产生同步信号，并将所述同步信号输出至所述采集控制模块，由所述采集控制模块同步各图像采集装置；或，用于将所述同步信号输出至图像采集装置的外同步接口同步各图像采集装置对所述场景的图像采集，所述同步信号由所述同步模块自身产生或为所述各图像采集装置中的一台图像采集装置的视频输出信号；

标定模块，用于接收所述图像采集装置采集的视频图像，并根据所述采集的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数，并发送至所述采集控制模块；

所述采集控制模块还用于根据所述内部参数和外部参数建立各图像采集装置采集的所述视频图像与各图像采集装置属性的对应关系，并作为所述场景的视频图像数据输出，所述图像采集装置属性包括图像采集装置的内部参数、外部参数以及所述视频图像每帧的采集时间戳。

16.根据权利要求15所述的3D视频通信系统，其特征在于，所述发送设备还包括：

预处理单元，用于从所述采集控制模块接收包括所述视频图像和所述图像采集装置属性，以及所述视频图像与各个图像采集装置的属性的对应关系的所述视频图像数据，根据所述图像采集装置的内部参数和外部参数对所述视频图像数据进行校正处理，输出校正处理后的视频图像数据。

17.根据权利要求14所述的3D视频通信系统，其特征在于，所述视频输出单元包括：

输出处理模块，用于对所述视频图像编码数据进行分组处理，并封装成数据包；

输出接口模块，用于将所述数据包发送出去。 

18.根据权利要求17所述的3D视频通信系统，其特征在于，所述发送设备还包括：

复用单元，用于对所述视频图像编码数据进行复用，获得复用数据；

所述输出处理模块还用于接收所述复用数据，对所述复用数据进行分组处理并封装成数据包。 

Images