CN105516639A - 头戴设备、三维视频通话系统和三维视频通话实现方法 - Google Patents

Abstract

本发明公开了一种头戴设备、三维视频通话系统和三维视频通话实现方法。所述头戴设备包括：视频采集单元、音频采集单元、音视频编码单元、中央处理单元、音视频解码单元、视频输出单元和音频输出单元；视频采集单元包括两组摄像头，两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景得到不同角度的左、右眼图像数据；音频采集单元同步拾取音频数据，经由音视频编码单元编码后，由中央处理单元将音视频数据发送给对端，中央处理单元接收对端发送的音视频数据，解码后将左、右眼图像数据发送给视频输出单元进行3D视频显示，以及将音频数据发送给音频输出单元进行音频输出，从而实现实时的3D视频通话，互相分享自己观看到景象。

Description

头戴设备、三维视频通话系统和三维视频通话实现方法

技术领域

本发明涉及信号处理技术领域，特别涉及一种头戴设备、三维视频通话系统和三维视频通话实现方法。

背景技术

近年来，随着移动宽带网络速度的升级，各种视频应用软件不断出现，其中远距离通信装置被广泛的使用。

远距离通信装置的基本原理是：通过一端的摄像头和麦克风采集数据，经过网络发送模块发送数据，在另一端设备上显示图像和播放声音。

但是，这类型的远距离通信装置只是平面展示，并不能够完美的呈现出发送端所看到的景象。

发明内容

鉴于上述问题，本发明提供了一种头戴设备、三维视频通话系统和三维视频通话实现方法，以解决现有技术视频通话智能平面展示的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种头戴设备，包括：视频采集单元、音频采集单元、音视频编码单元、中央处理单元、音视频解码单元、视频输出单元和音频输出单元；

所述视频采集单元包括两组摄像头，所述两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景，得到不同角度的左、右眼图像数据；

所述音频采集单元包括至少一麦克风，用于同步拾取音频数据；

所述音视频编码单元，用于接收所述视频采集单元采集的左、右眼图像数据，和所述音频采集单元同步拾取的音频数据，并将所述左、右眼图像数据和所述音频数据数据编码成音视频数据发送给所述中央处理单元；

所述中央处理单元，用于接收所述音视频编码单元发送的音视频数据，并将该音视频数据发送给对端；以及用于接收对端发送的音视频数据，并将该对端发送的音视频数据发送给所述音视频解码单元；

所述音视频解码单元，用于将对端发送的音视频数据解码成相应的左、右眼图像数据和音频数据，并将解码后的左、右眼图像数据发送给所述视频输出单元进行3D视频显示，以及将解码后的音频数据发送给所述音频输出单元进行音频输出。

优选地，所述视频输出单元包括用于接收左眼图像的左显示屏和用于接收右眼图像的右显示屏，所述左显示屏靠近人眼的一侧设置有左光学系统，所述右显示屏靠近人眼一侧设置有右光学系统，所述左、右光学系统，用于使人的左眼和右眼在透过相应的光学系统看到左显示屏和右显示屏时，合成具有三维效果的立体图像。

进一步优选地，所述头戴设备还包括光学系统控制旋钮；

所述光学系统控制旋钮，用于调节所述左、右光学系统所形成的虚拟屏幕与人眼的距离，控制人眼观看到的显示内容的显示比例。

优选地，所述头戴设备还包括摄像头距离调节旋钮，所述摄像头距离调节旋钮用于微调所述两组摄像头之间的水平距离。

优选地，所述头戴设备还包括摄像头角度调节旋钮，所述摄像头角度调节旋钮用于调节每组摄像头的角度。

优选地，所述头戴设备还包括音视频切换单元；

所述音视频切换单元，用于根据用户指令将所述中央处理单元向所述音视频解码单元发送的音视频数据切换成本端采集到的音视频数据或者恢复成对端发送的音视频数据。

优选地，所述音频采集单元包括两个或两个以上的麦克风；

所述中央处理单元，还用于将所述两个或两个以上的麦克风拾取到的音频数据进行立体声处理。

另一方面，本发明提供了一种三维视频通话系统，该三维视频通话系统包括：网络服务器、至少两个上述技术方案提供的头戴设备；

任两个所述的头戴设备通过所述网络服务器建立连接，并通过所述网络服务器实现三维视频通话。

又一方面，本发明提供了一种三维视频通话实现方法，该方法包括：

获取头戴设备上两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景得到不同角度的左、右眼图像数据；以及获取头戴设备上至少一麦克风同步拾取的音频数据；

将所述左、右眼图像数据和所述音频数据数据编码成音视频数据；

将所述音视频数据发送给对端，并接收对端发送的音视频数据；

将对端发送的音视频数据解码成相应的左、右眼图像数据和音频数据，并将解码后的左、右眼图像数据发送给视频输出单元进行3D视频显示，以及将解码后的音频数据发送给音频输出单元进行音频输出。

优选地，所述将解码后的左、右眼图像数据发送给视频输出单元进行3D视频显示包括：

利用左显示屏接收左眼图像，右显示屏接收右眼图像；

利用设置在左显示屏靠近人眼的一侧的光学系统和设置在右显示屏靠近人眼一侧的右光学系统，将左、右显示屏显示的图像合成具有三维效果的立体图像。

本发明实施例的有益效果是：本发明模拟人眼观察景物的过程，在具有3D显示功能的头戴设备中设置双摄像头，利用双摄像头采集具有左、右眼视差的左、右眼的图像数据，以及利用头戴设备的音频采集单元同步拾取音频数据，并将该左、右眼的图像数据和同步拾取的音频数据编码后发送给对端头戴设备进行3D显示，同时接收对端发送的音视频数据，解码后将获得的左、右眼图像数据发送给本端的视频输出单元进行3D视频显示，将获得的音频数据发送给本端的音频输出单元进行音频输出，从而实现双方用户实时的3D视频通话，互相分享自己观看到景象。

附图说明

图1为本发明实施例一提供的头戴设备的组成结构示意图；

图2为本发明实施例二提供的三维视频通话系统的组成结构示意图；

图3为本发明实施例三提供的三维视频通话实现方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

由于人的两眼之间大约有6cm的水平距离，所以在观察前方物体时，两只眼睛看到的景象必然有角度的不同，这个差别使得大脑能够自动形成上下、左右、前后的区别，从而产生立体视觉。本发明模拟人眼观察景物的过程，在具有3D显示功能的头戴设备中设置双摄像头，利用双摄像头采集具有左右眼视差的图像数据，将图像数据发送给头戴设备的视频输出单元进行3D显示。

实施例一：

图1为本实施例提供的头戴设备的组成结构示意图，图1中的头戴设备包括：视频采集单元10、音频采集单元11、音视频编码单元12、中央处理单元13、音视频解码单元14、视频输出单元15和音频输出单元16。

视频采集单元10包括两组摄像头，两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景，得到不同角度的左、右眼图像数据。

音频采集单元11包括至少一麦克风，用于同步拾取音频数据。

音视频编码单元12，用于接收视频采集单元10采集的左、右眼图像数据，和音频采集单元11同步拾取的音频数据，并将左、右眼图像数据和音频数据数据编码成音视频数据发送给中央处理单元13。

中央处理单元13，用于接收音视频编码单元12发送的音视频数据，并将该音视频数据发送给对端；以及用于接收对端发送的音视频数据，并将该端发送的音视频数据发送给音视频解码单元14。具体的，中央处理单元13包括网络传输模块，利用网络传输模块将音视频编码单元12发送的音视频数据发送给对端，以及利用网络传输模块接收对端发送的编码的音视频数据。

音视频解码单元14，用于将对端发送的音视频数据解码成相应的左、右眼图像数据和音频数据，并将解码后的左、右眼图像数据发送给视频输出单元15进行3D视频显示，以及将解码后的音频数据发送给音频输出单元16进行音频输出。

本实施例在头戴设备中设置具有双摄像头的视频采集单元，通过将双摄像头采集的图像数据和音频采集单元同步采集的音频数据通过网络传输给对端，实现双方实时的3D视频通话，即互相分享自己观看到景象。

在本实施例的一个具体实现方案中，视频输出单元15包括用于接收左眼图像的左显示屏和用于接收右眼图像的右显示屏，左显示屏靠近人眼的一侧设置有左光学系统，右显示屏靠近人眼一侧设置有右光学系统，左、右光学系统，用于使人的左眼和右眼在透过相应的光学系统看到左显示屏和右显示屏时，合成具有三维效果的立体图像。

在该具体实现方案中，该头戴设备还包括光学系统控制旋钮，该光学系统控制旋钮，用于调节左、右光学系统所形成的虚拟屏幕与人眼的距离，控制人眼观看到的显示内容的显示比例。例如，当左、右光学系统所形成的虚拟屏幕与人眼处于最大距离位置时，设置本端视频输出单元等比显示对端用户发送的视频内容；当用户想更清楚地观看画面中某个物体时，基于近大远小原理，拉近左、右光学系统所形成的虚拟屏幕与人眼之间的距离，此时由于视频输出单元的显示区域是固定的，不会随着画面显示尺寸变大而增大，因此需要上下左右的摆头才能观看画面中的其他内容。

在本实施例的另一具体实现方案中，头戴设备还包括音视频切换单元，用于根据用户指令将中央处理单元向音视频解码单元发送的音视频数据切换成本端采集到的音视频数据，或者恢复成对端发送的音视频数据。

本具体实现方案增加的音视频切换单元可以使用户同步查看自己拍摄的内容，与对端用户观看同样的内容。

需要说明的是，由于个体的差异性，本实施例的头戴设备还包括摄像头距离调节旋钮和摄像头角度调节旋钮；其中，摄像头距离调节旋钮用于微调两组摄像头间的水平距离，以适应不同用户的瞳距，避免重影，提高观看效果。摄像头角度调节旋钮用于调节每组摄像头的角度，适应用户对景物不同角度的拍摄需求。

为了进一步提高观看效果，本实施例优选地，音频采集单元11包括两个或两个以上的麦克风。

当音频采集单元11包括两个或两个以上的麦克风时，中央处理单元，还用于将两个或两个以上的麦克风拾取到的音频数据进行立体声处理。

实施例二：

本实施例基于与实施例一相同的技术构思，提供了一种头戴系统。

图2为本实施例提供的三维视频通话系统的组成结构示意图，图2中的三维视频通话系统包括：网络服务器20和至少两个上述实施例一提供的头戴设备21；

任两个的头戴设备21通过网络服务器20建立连接，并通过网络服务器20实现三维视频通话。

本实施例通过利用网络服务器建立头戴设备之间的连接，并通过网络服务器实现头戴设备间的数据传输，实现头戴设备间实时的3D视频通话，互相分享自己观看到景象。

实施例三：

本实施例基于与实施例一相同的技术构思，提供了一种三维视频通话实现方法。

图3为本实施例提供的三维视频通话实现方法的流程图，如图3所示，图3中的方法包括：

S310，获取头戴设备上两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景得到不同角度的左、右眼图像数据，以及获取头戴设备上至少一麦克风同步拾取的音频数据。

在实际应用中，在使两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景前，该方法还包括：微调两组摄像头间的水平距离，使其适应于用户的瞳距。

S320，将左、右眼图像数据和音频数据数据编码成音视频数据。

S330，将音视频数据发送给对端，并接收对端发送的音视频数据。

S340，将对端发送的音视频数据解码成相应的左、右眼图像数据和音频数据，并将解码后的左、右眼图像数据发送给视频输出单元进行3D视频显示，以及将解码后的音频数据发送给音频输出单元进行音频输出。

本步骤中将解码后的左、右眼图像数据发送给视频输出单元进行3D视频显示包括：

利用左显示屏接收左眼图像，右显示屏接收右眼图像；

利用设置在左显示屏靠近人眼的一侧的光学系统和设置在右显示屏靠近人眼一侧的右光学系统，将左、右显示屏显示的图像合成具有三维效果的立体图像。

进一步地，上述方案还包括：调节左、右光学系统所形成的虚拟屏幕与人眼的距离，控制人眼观看到的显示内容以及所述显示内容的显示比例。

图3的方法还包括：

根据用户指令将音视频数据源切换成本端采集到的音视频数据，或者恢复为对端发送的音视频数据。

综上所述，本发明公开了一种头戴设备、三维视频通话系统和三维视频通话实现方法，本发明通过模拟人眼观察景物的过程，在具有3D显示功能的头戴设备中设置双摄像头，利用双摄像头采集具有左、右眼视差的左、右眼的图像数据，以及利用头戴设备的音频采集单元同步拾取音频数据，并将该左、右眼的图像数据和同步拾取的音频数据编码后发送给对端头戴设备进行3D显示，同时接收对端发送的音视频数据，解码后将获得的左、右眼图像数据发送给本端的视频输出单元进行3D视频显示，将获得的音频数据发送给本端的音频输出单元进行音频输出，从而实现双方用户实时的3D视频通话，互相分享自己观看到景象。

本发明方法实施例中各步骤的具体执行方式，可以参见本发明头戴设备实施例的具体内容，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种头戴设备，其特征在于，包括：视频采集单元、音频采集单元、音视频编码单元、中央处理单元、音视频解码单元、视频输出单元和音频输出单元；

所述视频采集单元包括两组摄像头，所述两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景，得到不同角度的左、右眼图像数据；

所述音频采集单元包括至少一麦克风，用于同步拾取音频数据；

所述音视频编码单元，用于接收所述视频采集单元采集的左、右眼图像数据，和所述音频采集单元同步拾取的音频数据，并将所述左、右眼图像数据和所述音频数据编码成音视频数据发送给所述中央处理单元；

所述中央处理单元，用于接收所述音视频编码单元发送的音视频数据，并将该音视频数据发送给对端；以及用于接收对端发送的音视频数据，并将该对端发送的音视频数据发送给所述音视频解码单元；

所述音视频解码单元，用于将对端发送的音视频数据解码成相应的左、右眼图像数据和音频数据，并将解码后的左、右眼图像数据发送给所述视频输出单元进行3D视频显示，以及将解码后的音频数据发送给所述音频输出单元进行音频输出。

2.根据权利要求1所述的头戴设备，其特征在于，所述视频输出单元包括用于接收左眼图像的左显示屏和用于接收右眼图像的右显示屏，所述左显示屏靠近人眼的一侧设置有左光学系统，所述右显示屏靠近人眼一侧设置有右光学系统，所述左、右光学系统，用于使人的左眼和右眼在透过相应的光学系统看到左显示屏和右显示屏时，合成具有三维效果的立体图像。

3.根据权利要求2所述的头戴设备，其特征在于，所述头戴设备还包括光学系统控制旋钮；

所述光学系统控制旋钮，用于调节所述左、右光学系统所形成的虚拟屏幕与人眼的距离，控制人眼观看到的显示内容的显示比例。

4.根据权利要求1所述的头戴设备，其特征在于，所述头戴设备还包括摄像头距离调节旋钮，所述摄像头距离调节旋钮用于微调所述两组摄像头之间的水平距离。

5.根据权利要求1所述的头戴设备，其特征在于，所述头戴设备还包括摄像头角度调节旋钮，所述摄像头角度调节旋钮用于调节每组摄像头的角度。

6.根据权利要求1所述的头戴设备，其特征在于，所述头戴设备还包括音视频切换单元；

所述音视频切换单元，用于根据用户指令将所述中央处理单元向所述音视频解码单元发送的音视频数据切换成本端采集到的音视频数据或者恢复成对端发送的音视频数据。

7.根据权利要求1至6任一项所述的头戴设备，其特征在于，

所述音频采集单元包括两个或两个以上的麦克风；

所述中央处理单元，还用于将所述两个或两个以上的麦克风拾取到的音频数据进行立体声处理。

8.一种三维视频通话系统，其特征在于，所述三维视频通话系统包括：网络服务器、至少两个如权利要求1至7任一项所述的头戴设备；

任两个所述的头戴设备通过所述网络服务器建立连接，并通过所述网络服务器实现三维视频通话。

9.一种三维视频通话实现方法，其特征在于，所述方法包括：

获取头戴设备上两组摄像头按照人眼两个瞳孔间的距离同步拍摄同一场景得到不同角度的左、右眼图像数据；以及获取头戴设备上至少一麦克风同步拾取的音频数据；

将所述左、右眼图像数据和所述音频数据数据编码成音视频数据；

将所述音视频数据发送给对端，并接收对端发送的音视频数据；

将对端发送的音视频数据解码成相应的左、右眼图像数据和音频数据，并将解码后的左、右眼图像数据发送给视频输出单元进行3D视频显示，以及将解码后的音频数据发送给音频输出单元进行音频输出。

10.根据权利要求9所述的方法，其特征在于，所述将解码后的左、右眼图像数据发送给视频输出单元进行3D视频显示包括：

利用左显示屏接收左眼图像，右显示屏接收右眼图像；

利用设置在左显示屏靠近人眼的一侧的光学系统和设置在右显示屏靠近人眼一侧的右光学系统，将左、右显示屏显示的图像合成具有三维效果的立体图像。