CN108616729A - 增强用户界面三维立体效果的方法及系统 - Google Patents

Abstract

本发明公开了一种在虚拟现实场景中增强用户界面三维立体效果的方法及系统，该方法包括：使用虚拟现实专用的左摄像机和右摄像机，拍摄对应的左眼内容、右眼内容，并对该左眼内容、该右眼内容进行拼接合并和时间同步处理，生成内容源，创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对该内容源进行坐标偏移变换提取，将其与对应眼用户界面控件相结合，生成源用户界面，该左摄像机处理该源用户界面到相应硬件设备的左眼屏幕上进行显示，该右摄像机处理该源用户界面到相应硬件设备的右眼屏幕上进行显示。本发明能够使相应硬件设备左眼屏幕和右眼屏幕中的用户界面具有视差，进而使用户界面拥有三维立体的视觉效果。

Description

增强用户界面三维立体效果的方法及系统

技术领域

本发明涉及虚拟现实领域，特别涉及一种在虚拟现实场景中增强用户界面三维立体效果的方法。

背景技术

在真实世界中，人双眼是具有立体视觉的，即人双眼看到的图像具有三维(ThreeDivision)立体效果，所谓三维立体效果，是指在二维平面中表现出三维空间的立体效果，可以清楚看出图像中的物体的上下、左右、前后的三维关系，三维关系即三维空间中的位置、大小、角度信息。立体视觉的产生原理是基于人的双眼有一定距离，双眼观察物体的视角会有所不同，由于视角不同，所以看到是影象也会有视差，视差即双眼从有一定距离的两个点观察同一个目标所产生的方向差异，大脑会根据这种差异感觉到立体的景象。

对于图1普通用户界面，现有的开发步骤为：

S101生成一个用户界面控件，这类控件的功能包括但不限于其中一种：虚拟现实场景的切换、下级用户界面的显示、场景中模型的切换；

S201在显示过程中的每一帧中，对该帧中显示内容进行提取，并与用户界面相结合，生成用户界面；

S301左、右摄像机处理用户界面到相应屏幕上进行显示。

由于将一个户界面控件与相同显示内容结合，故在每一帧中，左眼摄像机和右眼摄像机捕获到的画面中内容完全一样，画面内容也就不会具有视差。

目前的虚拟现实技术在制作虚拟现实应用的做法是：创建左眼屏幕和右眼屏幕，左眼和右眼屏幕上的图像是在虚拟现实场景中相对应的左眼和右眼摄像机渲染上去的，即左眼屏幕对应左眼摄像机，右眼屏幕对应右眼摄像机，结合虚拟现实装置，人自身的左眼和右眼就只能看到相对应左眼屏幕和右眼屏幕的图像，这也是仿照现实世界中人眼的观察机制，即左眼和右眼之分。在虚拟现实场景中的物体都可以被称为三维物体，只不过立体效果因为个体的不同而有些区别，一个立方体和平面，理论上虽然都是三维物体，但是平面没有明显的三维立体效果。

发明专利201510654393.2公开了一种裸眼3D UI控件的实现方法，该方法可以产生三维立体效果，但是，这种采用基于偏振光、基于硬件的裸眼3D用于真实世界的方法，虽然本质上都是左眼和右眼看到的内容具有视差，但是其原理在于对光进行剔除，来达到左眼和右眼分别看到相对应的图像，因此，这种UI虽然有3D效果，但是由于对光进行了剔除，会使得看到的画面偏暗，并且这方式并不适用于虚拟现实设备，比如头戴式显示器。

发明专利(201511021451.4)公开了一种虚拟现实场景的实现方法，创建左眼屏幕和右眼屏幕，所述左眼屏幕和右眼屏幕的大小、比例、位置完全相同；解析并加载环境模型；调节所述环境模型的参数和/或同步调节左右眼屏幕的属性使得环境模型与左右眼屏幕互相匹配，以形成初步的虚拟现实场景；获取3D影视，截取3D影视的每一帧画面并将画面拆分为左右两半；按顺序将每一帧画面的左半边画面和右半边画面分别绘制于左眼屏幕和右眼屏幕，从而形成最终的虚拟现实场景。由于该专利中的虚拟现实场景只有一个，因而在虚拟现实场景中的用户界面也就是同一个，左眼和右眼看到的是同一个，因此该场景中的用户界面就不具有视差，因而就没有很强的立体感。

发明专利201010559573.X公开了一种立体与平面图像混合信号在超大屏幕上显像的同步方法，图像采集单元采集不同格式的立体信号和平面信号，把不同格式的立体信号转变为一帧左眼、一帧右眼交替出现的平面信号，传送给立体同步处理单元的立体输入口，平面信号输入到平面输入口，立体同步处理单元根据预先设置改变信号的大小和位置，并把不同立体信号之间的左眼信号与左眼信号、右眼信号与右眼信号的分别叠加，立体信号的左眼信号与平面信号、右眼信号与平面信号的分别叠加。叠加后的信号结合帧同步信号传输给图像融合单元，图像融合单元中不同输出单元截取相应部分图像并产生重合区域和融合带参照帧同步信号同步输出给显示设备。立体同步信号生成单元按帧同步信号生成控制液晶快门开关的同步信号，经过红外发射器输出立体同步信号。该专利在每一帧中只能看到相应的左眼画面或者右眼画面，等同于用两帧来看到一帧中的左眼和右眼画面，即左眼和右眼交替出现，所以左眼也会看到右眼的画面，右眼也会看到左眼的画面，因此如果一帧的时间不是极其小的话，用户感官上就会感受不到很强的立体感。

发明专利(申请号201510293120.X)公开了一种具有与移动计算设备介接的接口的头戴式设备(HMD)系统，该专利是针对于虚拟设备及应用的解决方案，并没有涉及到内容的制作。

在虚拟现实场景中，用户界面控件指可视化图形“元件”，本质上就是虚拟现实场景中的物体，它控制着用户与应用的交互，控件常见的形式主要有按钮、滚动条、复选框等常见的形式，本质上是其功能在于起到与用户实现交互功能的物体。

对于使用到图片、视频内容的用户界面，在现有的虚拟现实场景应用中，对上述类型的用户界面并不会根据左眼和右眼进行相应的制作，因此左眼和右眼摄像机捕捉到的是同一个用户界面，即看到的用户界面内容(图片、视频)是同一个，所以在左眼和右眼屏幕中这些界面中的图片、视频并不具视差，因此这些图片、视频并不具有三维立体效果。

发明内容

为了解决上述技术问题，本发明的目的在于让包含图片、视频内容的用户界面发挥自身内容结构的优势，即使左眼屏幕和右眼屏幕中的这些用户界面中的图片、视频具有视差，因此人眼观察到的这类用户界面中的图片、视频就具有三维立体效果，即可以清楚看出图片、视频中物体的在图像中的上下、左右、前后三维关系。

为实现上述目的，本发明提供了一种在虚拟现实场景中增强用户界面三维立体效果的方法，包括以下步骤：

S100：使用虚拟现实专用的左摄像机和右摄像机，拍摄对应的左眼内容、右眼内容，并对该左眼内容、该右眼内容进行拼接合并和时间同步处理，生成内容源；

S200：创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对S100步骤中的该内容源进行坐标偏移变换提取，并将其与对应眼用户界面控件相结合，生成源用户界面；

S300：该左摄像机处理该源用户界面到相应硬件设备的左眼屏幕上进行显示；该右摄像机处理该源用户界面到相应硬件设备的右眼屏幕上进行显示。

所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其中该左眼内容和该右眼内容包括视频或图片。

所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其中该右眼用户界面控件和该左眼用户界面控件的大小、比例、功能完全相同。

所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其中该坐标偏移变换为左右变换、右左变换、上下变换、下上变换中的一种。

所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其中

左右变换：将uv坐标中横坐标u大于等于0，小于0.5的像素点作为左眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为右眼内容区；

右左变换：将uv坐标中横坐标u大于等于0，小于0.5的像素点作为右眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为左眼内容区；

上下变换：将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为右眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为左眼内容区；

下上变换：将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为左眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为右眼内容区。

本发明还提供了一种在虚拟现实场景中增强用户界面三维立体效果的系统，包括以下模块：

内容源制作模块：用于对左摄像机和右摄像机拍摄的左眼内容、右眼内容进行拼接合并和时间同步处理，生成内容源供下一用户界面制作模块使用；

用户界面制作模块：用于创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对该内容源进行坐标偏移变换提取，并将其与对应眼用户界面控件相结合，生成源用户界面；

用户界面显示模块：用于处理该源用户界面到相应硬件设备上进行显示。

所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其中该左眼内容和该右眼内容包括视频或图片。

所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其中该右眼用户界面控件和该左眼用户界面控件的大小、比例、功能完全相同。

所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其中该用户界面制作模块还包括：左右变换模块、右左变换模块、上下变换模块、下上变换模块，用于执行对该内容源的坐标偏移变换提取。

所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其中

该左右变换模块：用于将uv坐标中横坐标u大于等于0，小于0.5的像素点作为左眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为右眼内容区；

该右左变换模块：用于将uv坐标中横坐标u大于等于0，小于0.5的像素点作为右眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为左眼内容区；

该上下变换模块：用于将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为右眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为左眼内容区；

该下上变换模块：用于将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为左眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为右眼内容区。

本发明优势在于，用户交互界面不再是二维平面，而是具有三维立体效果，全面提升了用户在虚拟现实体验中的沉浸感，从人体工学上讲更符合人眼的日常观察效果，使人眼更加舒适，操作更加自然。

附图说明

图1为现有普通用户界面开发步骤图；

图2为本发明方法步骤框图；

图3为本发明系统模块框图；

图4为本发明实施例流程示意图；

图5为本发明实施例效果图。

符号说明：

1：被摄物； 2：左摄像机；

3：右摄像机； 4：左眼内容；

5：右眼内容； 6：内容源；

7：左眼用户界面控件； 8：右眼用户界面控件；

9：源用户界面； 10：左眼用户界面；

11：右眼用户界面。

具体实施方式

本发明提供了一种在虚拟现实场景中增强用户界面三维立体效果的方法，其中虚拟现实场景包含动态(视频)虚拟现实场景或静态(图片)虚拟现实场景。

参考图2所示，本发明提供了一种在虚拟现实场景中增强用户界面三维立体效果的实现方法，包括以下步骤：

内容源制作步骤S100：使用虚拟现实专用的左摄像机和右摄像机分别对现实场景进行拍摄，左摄像机采集左眼内容，右摄像机采集右眼内容，左眼、右眼内容包括视频或图片，并对该左眼、右眼内容进行拼接合并和时间同步处理，生成内容源，供下一步骤S200使用；

用户界面制作步骤S200：创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对S100步骤中的该内容源进行坐标偏移变换提取，并将其与对应眼用户界面控件相结合。具体来说，该左眼用户界面控件和右眼用户界面控件可以是各种各样的按钮、菜单、选项框等，用户利用这些控件可以直接与虚拟现实应用进行交互。该右眼用户界面控件和该左眼用户界面控件的功能包括但不限于其中一种：虚拟现实场景的切换、下级用户界面的显示、场景中模型的切换，且创建出的该右眼用户界面控件和该左眼用户界面控件的大小、比例、功能完全相同。对S100步骤中的该内容源进行坐标偏移变换提取(若该内容源为视频，则对该视频的每一帧进行坐标偏移变换提取，若该内容源为图片，则对该图片进行坐标偏移变换提取)，其中坐标偏移变换为左右变换、右左变换、上下变换、下上变换中的一种，对该内容源进行坐标偏移变换提取，目的是区分该内容源中的左眼内容区和右眼内容区，将该左眼用户界面控件映射到左眼内容区，作为左眼用户界面，该右眼用户界面控件映射到右眼内容区，作为右眼用户界面，最后生成包含该左眼用户界面、右眼用户界面的源用户界面；

用户界面显示步骤S300：该左摄像机处理该源用户界面到相应硬件设备的左眼屏幕上进行显示；该右摄像机处理该源用户界面到相应硬件设备的右眼屏幕上进行显示，其中左眼屏幕和右眼屏幕分别对应头戴式显示器中的左眼和右眼显示区。

下面对用户界面制作步骤S200中坐标偏移变换进行更详细的说明。

该坐标偏移变换分为以下四种：

左右变换：将uv坐标(u,v纹理贴图坐标)中横坐标u大于等于0，小于0.5的像素点作为左眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为右眼内容区；

右左变换：将uv坐标中横坐标u大于等于0，小于0.5的像素点作为右眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为左眼内容区；

上下变换：将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为右眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为左眼内容区；

下上变换：将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为左眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为右眼内容区。

下面通过实施例更详细地对本发明进行说明。

图4为本发明实施例流程示意图，首先执行内容源制作步骤S100，使用虚拟现实专用的摄像设备，即左摄像机2、右摄像机3拍摄被摄物1，在此实施例中被摄物1为人，采集左眼内容4和右眼内容5，通过软件，如Autopano Video，对该左眼内容4、右眼内容5进行拼接合并和时间同步处理，生成内容源6，之后执行用户界面制作步骤S200，通过编写着色器创建左眼用户界面控件7和右眼用户界面控件8，在此实施例中创建的用户界面控件为视频播放键，在图4中播放键的外形不同，仅是为了区分左眼用户界面控件7和右眼用户界面控件8，实际上是大小、比例、功能完全相同的按钮。对该内容源进行左右变换提取，生成用户界面控件与内容源相结合的源用户界面9，最后执行用户界面显示步骤S300，设置左摄像机2的控制属性，使其剔除右眼用户界面11，只保留左眼用户界面10到相对应的左眼屏幕上进行显示，设置右摄像机3的控制属性，使其剔除左眼用户界面10，只保留右眼用户界面11到相对应的右眼屏幕上进行显示。图5为本实施例的效果图，其包含两张图片，左侧为左眼屏幕的显示画面，右侧为右眼屏幕的显示画面，可以看出两张图片不一样，具有视差，例如可以观察到左眼显示区中右侧第一根白色立柱显示面积明显大于右眼显示区右侧第一根白色立柱显示面积。

此外，本发明还提供一种在虚拟现实场景中增强用户界面三维立体效果的装置，参考图3，该装置包括：

内容源制作模块：用于对左摄像机和右摄像机拍摄的左眼内容、右眼内容进行拼接合并和时间同步处理，生成内容源供下一用户界面制作模块使用。

用户界面制作模块：连接于内容源制作模块后，用于创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对该内容源进行坐标偏移变换提取，以区分左眼内容区、右眼内容区，并将其与对应眼用户界面控件相结合，生成源用户界面，其中创建出的该右眼用户界面控件和该左眼用户界面控件的大小、比例、功能完全相同。

用户界面制作模块还包括：左右变换模块、右左变换模块、上下变换模块、下上变换模块，上述左右、右左、上下、下上模块用于执行对该内容源的坐标偏移变换提取，

具体来说，左右变换模块：用于将uv坐标中横坐标u大于等于0，小于0.5的像素点作为左眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为右眼内容区；

右左变换模块：用于将uv坐标中横坐标u大于等于0，小于0.5的像素点作为右眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为左眼内容区；

上下变换模块：用于将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为右眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为左眼内容区；

下上变换模块：用于将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为左眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为右眼内容区。

用户界面显示模块：连接于用户界面制作模块后，用于处理该源用户界面到相应硬件设备上进行显示。该左摄像机处理该源用户界面到相应硬件设备的左眼屏幕上进行显示；该右摄像机处理该源用户界面到相应硬件设备的右眼屏幕上进行显示，其中左眼屏幕和右眼屏幕分别对应头戴式显示器中的左眼和右眼显示区。

Claims (10)

1.一种在虚拟现实场景中增强用户界面三维立体效果的方法，其特征在于，包括以下步骤：

S100：使用虚拟现实专用的左摄像机和右摄像机，分别拍摄左眼内容、右眼内容，并对该左眼内容、该右眼内容进行拼接合并和时间同步处理，生成内容源；

S200：创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对S100步骤中的该内容源进行坐标偏移变换提取，并将其与对应眼用户界面控件相结合，生成源用户界面；

S300：该左摄像机处理该源用户界面到相应硬件设备的左眼屏幕上进行显示；该右摄像机处理该源用户界面到相应硬件设备的右眼屏幕上进行显示。

2.如权利要求1所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其特征在于，该左眼内容和该右眼内容包括视频或图片。

3.如权利要求1所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其特征在于，该右眼用户界面控件和该左眼用户界面控件的大小、比例、功能完全相同。

4.如根据权利要求1所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其特征在于，该坐标偏移变换为左右变换、右左变换、上下变换、下上变换中的一种。

5.如根据权利要求4所述的在虚拟现实场景中增强用户界面三维立体效果的方法，其特征在于，

左右变换：将uv坐标中横坐标u大于等于0，小于0.5的像素点作为左眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为右眼内容区；

右左变换：将uv坐标中横坐标u大于等于0，小于0.5的像素点作为右眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为左眼内容区；

上下变换：将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为右眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为左眼内容区；

下上变换：将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为左眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为右眼内容区。

6.一种在虚拟现实场景中增强用户界面三维立体效果的系统，其特征在于，包括以下模块：

内容源制作模块：用于对左摄像机和右摄像机拍摄的左眼内容、右眼内容进行拼接合并和时间同步处理，生成内容源供下一用户界面制作模块使用；

用户界面制作模块：用于创建对应该左眼内容的左眼用户界面控件和对应该右眼内容的右眼用户界面控件，并对该内容源进行坐标偏移变换提取，并将其与对应眼用户界面控件相结合，生成源用户界面；

用户界面显示模块：用于处理该源用户界面到相应硬件设备上进行显示。

7.如根据权利要求6所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其特征在于，该左眼内容和该右眼内容包括视频或图片。

8.如根据权利要求6所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其特征在于，该右眼用户界面控件和该左眼用户界面控件的大小、比例、功能完全相同。

9.如根据权利要求6所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其特征在于，该用户界面制作模块还包括：左右变换模块、右左变换模块、上下变换模块、下上变换模块，用于执行对该内容源的坐标偏移变换提取。

10.如根据权利要求9所述的一种在虚拟现实场景中增强用户界面三维立体效果的系统，其特征在于，

该左右变换模块：用于将uv坐标中横坐标u大于等于0，小于0.5的像素点作为左眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为右眼内容区；

该右左变换模块：用于将uv坐标中横坐标u大于等于0，小于0.5的像素点作为右眼内容区，横坐标u大于等于0.5，小于等于1的像素点作为左眼内容区；

该上下变换模块：用于将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为右眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为左眼内容区；

该下上变换模块：用于将uv坐标中纵坐标v大于等于0，小于0.5的像素点作为左眼内容区，纵坐标v大于等于0.5，小于等于1的像素点作为右眼内容区。