CN205987196U - 一种裸眼3d虚拟现实展示系统 - Google Patents

Abstract

本实用新型公开了一种裸眼3D虚拟现实展示系统。本实用新型采用VR传感单元采集游戏者的运动信息，对三维渲染单元发布触发或操控指令，触发或控制三维渲染单元的三维虚拟场景，获得渲染图像，发送至VR显示单元，使得游戏者产生沉浸式的虚拟现实体验；同时采用实际立体相机阵列，并结合绿幕抠像技术将游戏者本身放到数字化的虚拟场景里，最后将游戏者和虚拟场景以裸眼3D显示的方式呈现出来，让旁观者不用借助任何辅助设备，便能够以第三视角的方式来观察游戏者正在经历的场景；旁观者还可以人为的调整第三视角的观看位置和角度，从而根据自己的兴趣观看虚拟场景中发生的情况，也可以对整个虚拟场景进行全方位观察和分析。

Description

一种裸眼3D虚拟现实展示系统

技术领域

本实用新型涉及裸眼3D显示技术，具体涉及一种裸眼3D虚拟现实展示系统。

背景技术

人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D显示已成为研究人员新的研究目标，并成为显示领域中新的发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，多视点光栅式裸眼3D显示器可让多名观看者在较大观看视角内同时观看到立体图像，且无需任何助视设备帮助便能感受到震撼的视觉体验，因而备受人们关注。

虚拟现实(Virtual Reality，VR)是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应自然环境的感受和体验。虚拟现实是人类在探索自然过程中创造形成的一种用于认识自然、模拟自然，进而更好地适应和利用自然的科学方法和技术。

随着社会生产力和科学技术的不断发展，各行各业对VR技术的研究日益重视，VR技术也取得了巨大进展，并逐步成为一个新的科学技术领域。但是，虚拟现实技术目前仅供单人进行沉浸式体验，而在其旁边的观看者因为只能看到游戏者带着VR头盔在做各种各样的动作，而看不到VR显示屏上的内容，导致无法分享和理解游戏者正在经历的沉浸式感受。虽然旁观者可以通过监视器看到VR头盔中的单眼画面即第一视角画面，但是因为缺乏双目画面带来的沉浸式三维立体效果，并且旁观者只能被动地接受因游戏者头部快速移动所造成的图像快速变化，导致旁观者不仅不能分享到游戏者所经历的震撼，也会因为快速变换的图像而产生视觉疲劳。

实用新型内容

针对以上现有技术中存在的问题，本实用新型提出了一种裸眼3D虚拟现实展示系统。

本实用新型的裸眼3D虚拟现实展示系统包括：VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、图像合成单元、裸眼3D显示单元和绿幕空间；其中，VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内；VR传感单元连接至三维渲染单元；三维渲染单元分别连接至VR显示单元和图像合成单元；多目相机定位采集单元连接至图像合成单元；图像合成单元连接至裸眼3D显示单元；裸眼3D虚拟现实展示系统分为游戏者部分和旁观者部分；游戏者部分包括VR传感单元、三维渲染单元和VR显示单元，VR显示单元成像在游戏者的双眼前；旁观者部分包括多目相机定位采集单元、图像合成单元和裸眼3D显示单元，旁观者位于裸眼3D显示单元前。

在游戏者部分中，VR传感单元采集游戏者在真实空间中的运动信息，并将运动信息传输至三维渲染单元，触发或控制三维渲染单元中的三维虚拟场景，获得渲染图像；渲染图像传输至VR显示单元，输送给游戏者的左右眼，从而游戏者产生沉浸式的虚拟现实体验；在旁观者部分中，多目相机定位采集单元中的立体相机阵列拍摄位于绿幕空间的游戏者，采集不同角度的多张带有绿幕背景的游戏者图像，发送至图像合成单元；图像合成单元将游戏者图像中的绿幕背景进行绿幕剔除，然后将绿幕抠像后的游戏者图像和渲染图像进行叠加，形成多张视差图像，并将多张视差图进行视差图像合成，传输至裸眼3D显示单元；裸眼3D显示单元进行裸眼3D显示；旁观者通过裸眼3D显示单元的显示，实现第三视角的观察体验。

绿幕空间是指由绿幕搭建的一个长方体的内部空间，长方体内的每一个面均由绿幕覆盖，VR传感单元、游戏者和多目相机定位采集单元布置在长方体内，长方体的侧面设置有人员进出口。

VR传感单元进行游戏者与裸眼3D虚拟现实展示系统的人机交互，进行游戏者与虚拟场景之间的感知传递，包括真实感触/力觉感知、三维空间方位跟踪、交互行为等信息。其中，采用三维空间跟踪定位技术，通过跟踪定位器来捕捉的游戏者的运动信息，使游戏者具有可以自由移动的交互空间，增加游戏者交互操作的灵活性，运动信息包括游戏者的头部位置和角度，以及肢体信息。跟踪定位技术可分为有源跟踪定位技术和无源跟踪定位技术。其中，有源跟踪定位技术的跟踪定位器具有发射器和接收器，能够通过发射和接收信号之间的物理联系确定游戏者的运动信息。无源跟踪定位技术的跟踪定位器不具有主动信号源，仅通过接收器测量接收信号的变化，确定被跟踪对象的位置和姿态。跟踪定位技术采用有激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。VR传感单元将采集到的游戏者的运动信息传输至三维渲染单元。

多目相机定位采集单元包括立体相机阵列、空间定位追踪系统和数据采集单元，立体相机阵列连接至数据采集单元，数据采集单元采集立体相机阵列的数据，再将获得数据传输至三维渲染单元；空间定位追踪系统定位和追踪立体相机阵列在空间中的6个自由度，包括位置信息和方向信息。立体相机阵列包括多目相机，从不同角度拍摄位于绿幕空间中的游戏者，从而获取到不同视角的带有绿幕背景的游戏者图像。多目相机的硬件和软件参数均保持一致，硬件参数主要包括采集芯片(如CCD、CMOS)、相机电路和镜头的规格参数等，软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和Bayer(贝叶耳)转换类型等，这些参数均需保持一致，这样才能在裸眼3D显示单元上实现较好的合成效果。其中，多目相机以会聚式结构排布，各相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的相机的间距相等，各相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。若采用偶数个相机，则会聚点位于中间两个相机的光心连线的中垂线上；若采用奇数个相机，则会聚点位于中间的相机的光轴上。根据裸眼3D显示单元的规格尺寸以及双目融合能力，计算相邻相机的间距和会聚点的位置，保证拍摄到的游戏者在裸眼3D显示单元上的视差量是在人眼的融合范围之内，并且保证当虚拟相机的设置与立体相机阵列一致时，拍摄到的虚拟场景的视差量也同样在人眼的融合范围之内。

为了降低整体系统的运行耗时，提高系统帧率，本实用新型中的数据采集单元采用多线程相机采集方案，即通过调用多核CPU来并行采集相机的数据，再将获得的数据送往三维渲染单元，从而在很大程度上提高了系统运行帧率。

空间定位追踪系统定位和追踪立体相机阵列在空间中的6个自由度的姿态，包括位置信息和方向信息。空间定位追踪系统采用的跟踪定位技术实现方法也与VR传感单元中提到的跟踪定位技术一样，采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。通常，为了避免两套定位系统之间的信号干扰，提高各自定位的准确性和鲁棒性，常采用两套不同的跟踪定位技术分别用来对不同的物体进行定位。

三维渲染单元中，存储了三维数字化的虚拟场景和预设规则路径。VR传感单元采集的游戏者的运动信息，触发虚拟场景，获得渲染图像。渲染图像分别传输至VR显示单元和图像合成单元。

VR显示单元通常包括VR显示屏和两组成像透镜，来自三维渲染单元的双目图像分别传输至VR显示屏的左右屏幕，VR显示屏上的左右屏幕分别通过一组成像透镜成像在游戏者的左右眼前方，将具有双目视差的图像输分别送给左右眼，根据大脑的融合能力，在游戏者的大脑中形成虚拟场景的立体视觉。

图像合成单元将立体相机阵列采集的带有绿幕背景的游戏者图像进行绿幕剔除后，将绿幕抠像后的游戏者图像与相对应的渲染图像进行叠加，形成多张视差图像，最后将多张视差图像进行视差图像合成，送往裸眼3D显示单元。图像合成单元根据裸眼3D显示单元的物理结构及3D实现原理，将多张视差图像按照裸眼3D显示单元的物理特性进行图像重新排布，下面给出了2D显示屏的每个子像素位置对应的应取哪副视差图像的关系公式：

其中，Q表示每个子像素与视差图像的映射值，k和l为子像素的图像坐标，以左上角为零点；α为光栅相对于竖直方向的夹角，X为一个光栅水平周期所占的子像素个数，K为视点数，即相机的数量，k_off为2D显示屏左上角距离下一个光栅周期左边界的子像素个数，mod()为取余函数。通过上面的公式，便可以将三维渲染单元生成的多张视差图像进行立体合成，最后将合成结果送到裸眼3D显示单元上显示。

裸眼3D显示单元包括2D显示屏和光栅。裸眼3D显示单元将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当旁观者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。光栅为狭缝光栅或者为柱镜光栅。

本实用新型的优点：

本实用新型采用VR传感单元采集游戏者的运动信息，对三维渲染单元发布触发或操控指令，触发或控制三维渲染单元的三维虚拟场景，三维渲染单元渲染双目图像，发送至VR显示单元，使得游戏者产生沉浸式的虚拟现实体验；同时采用立体相机阵列，并结合绿幕抠像技术将游戏者本身放到数字化的虚拟场景里，最后将游戏者和虚拟场景以裸眼3D显示的方式呈现出来，让旁观者不用借助任何辅助设备，便能够以第三视角的方式来观察游戏者正在经历的场景，并能看到游戏者本身已经融入在虚拟场景中，从而可以很容易地理解游戏者做各种动作的原因，进而能与游戏者一同感受体验VR的乐趣；不仅如此，旁观者还可以人为的调整第三视角的观看位置和角度，改变虚拟场景中虚拟相机的位置和方位，从而根据自己的兴趣观看虚拟场景中发生的情况，也可以对整个虚拟场景进行全方位观察和分析。

附图说明

图1为本实用新型的裸眼3D虚拟现实展示系统的结构框图；

图2为本实用新型的裸眼3D虚拟现实展示系统的立体相机阵列的一个实施例的俯视图；

图3为本实用新型的裸眼3D虚拟现实展示系统的结构示意图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本实用新型。

如图1和图3所示，本实用新型的裸眼3D虚拟现实展示系统包括：VR传感单元1、多目相机定位采集单元2、三维渲染单元3、VR显示单元4、图像合成单元7、裸眼3D显示单元5、和绿幕空间6；其中，VR传感单元1、多目相机定位采集单元2、VR显示单元4和游戏者P均位于绿幕空间6内；VR传感单元1连接至三维渲染单元3；三维渲染单元3分别连接至VR显示单元4和图像合成单元5；多目相机定位采集单元2连接至图像合成单元7，图像合成单元7连接至裸眼3D显示单元5。VR显示单元4将具有双目视差的图像成像在游戏者P的双眼前。旁观者L通过裸眼3D显示单元5的显示，实现第三视角的观察体验。

1.VR传感单元

本实施例中，VR传感单元采用HTC VIVE的VR设备，VIVE的三维空间跟踪定位技术，称之为Lighthouse室内定位技术，属于激光扫描定位技术，靠激光和光敏传感器来确定运动物体的位置。两个激光发射器被安置在对角，形成大小可调的长方形区域，最大追踪位置为4.5×4.5m。激光束由发射器里面的两排固定LED灯发出，每秒6次。每个激光发射器内有两个扫描单元，分别在水平和垂直方向轮流对绿幕空间发射激光扫描定位空间。

采用激光扫描定位技术，在游戏者头部和手持的手柄上安装多个光敏感传感器，在绿幕空间内设置多个激光发射器，激光发射器内的扫描单元轮流对对绿幕空间发射激光扫描绿幕空间，光敏感传感器接受激光，并传输至计算单元，计算单元区分头部与手柄的不同的光敏感传感器，并分别计算接收激光的时间，来分别确定头部和手柄的位置信息。

游戏者的头部佩戴头显，并且手持手柄，头显和手柄上有超过70个光敏传感器。通过计算接收激光的时间来计算传感器位置相对于激光发射器的准确位置，通过多个光敏传感器可以探测出头显的位置及方向。这里需要说明一下，HTC Vive采用的激光定位技术，定位过程中光敏传感器的ID会随着它接收到的数据同时传给计算单元的，也就是说计算单元是可以直接区分不同的光敏传感器，从而根据每个光敏传感器所固定在头显和手柄上的位置以及其他信息一起最终构建头显及手柄的三维模型，从而得到游戏者的运动信息。

2.多目相机定位采集单元

立体相机阵列采用多目工业相机。

立体相机阵列中的工业相机和镜头的规格分别如下所示：

表1相机规格参数表

表2镜头规格参数表

立体相机阵列如图2所示。根据裸眼3D显示单元的规格尺寸以及双目融合能力，计算相邻相机的间距为3.57cm，会聚距离Z0为2m，最近物体距离ZA为1.5m，CMOS实际使用像素点数为1920×1080，那么相机在竖直方向上的视场角约为42°。根据本实施例中2D显示的视点数为8，因此选用8目工业相机组成立体相机阵列，并将其安装在一套肩扛式摄像机支架上，便于移动拍摄。

本实施例中，对立体相机阵列的空间定位采用红外影像追踪技术，通过在绿幕空间上方架设空间定位追踪系统对立体相机阵列上的标记点进行捕捉，实时得出立体相机阵列的位姿，位姿包括空间位置和角度。

3.三维渲染单元

三维渲染单元负责根据VIVE采集到的运动信息来控制三维虚拟场景进行触发响应，获得虚拟场景的渲染图像，将每帧的数据分别保存到各自的渲染纹理中。

图像合成单元将虚拟场景的渲染图像与绿幕抠像的游戏者图像进行叠加，形成八张视差图像，并进行视差图像合成，最后将送往裸眼3D显示单元。

4.VR显示单元

VR显示单元为设置在头显上的显示设备，其单眼分辨率可达1200×1080，刷新率为90FPS，两组透镜分贝采用菲涅尔镜片，可视角度约为100°～110°。

5.裸眼3D显示单元

2D显示屏为P3的LED三拼一显示屏，分辨率为1920×1080，尺寸为5.76m×3.24m，最佳观看距离为10m；光栅采用狭缝光栅，视点数为8。光栅的倾斜角度的正切值为1/3，一个光栅周期所覆盖的子像素为8。那么根据公式(1)可以计算出子像素与视点的映射关系矩阵如下所示：

表3子像素与视点映射矩阵(部分)

1	2	3	4	5	6	7	8	1	2	3	4	5	6	7	8
																8	1	2	3	4	5	6	7	8	1	2	3	4	5	6	7
7	8	1	2	3	4	5	6	7	8	1	2	3	4	5	6
																6	7	8	1	2	3	4	5	6	7	8	1	2	3	4	5
5	6	7	8	1	2	3	4	5	6	7	8	1	2	3	4
																4	5	6	7	8	1	2	3	4	5	6	7	8	1	2	3

将叠加后形成的8张视差图像，根据图(1)的映射关系，进行灰度值拾取，合成为一张1920×1080的图像送显至2D显示屏上，根据狭缝光栅的遮挡作用，可以将8张视差图像在空间中进行分离，当旁观者左右眼看到其中的两张视差图像(如第1张和第2张)时，并能在大脑中形成立体视觉。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本实用新型，但是本领域的技术人员可以理解：在不脱离本实用新型及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本实用新型不应局限于实施例所公开的内容，本实用新型要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种裸眼3D虚拟现实展示系统，其特征在于，所述展示系统包括：虚拟现实VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、图像合成单元、裸眼3D显示单元和绿幕空间；其中，所述VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内；所述VR传感单元连接至三维渲染单元；所述三维渲染单元分别连接至VR显示单元和图像合成单元；所述多目相机定位采集单元连接至图像合成单元；所述图像合成单元连接至裸眼3D显示单元；所述裸眼3D虚拟现实展示系统分为游戏者部分和旁观者部分；所述游戏者部分包括VR传感单元、三维渲染单元和VR显示单元，VR显示单元成像在游戏者的双眼前；所述旁观者部分包括多目相机定位采集单元、图像合成单元和裸眼3D显示单元，旁观者位于裸眼3D显示单元前。

2.如权利要求1所述的展示系统，其特征在于，所述绿幕空间是指由绿幕搭建的一个长方体的内部空间，长方体内的每一个面均由绿幕覆盖，VR传感单元、游戏者和多目相机定位采集单元布置在长方体内，长方体的侧面设置有人员进出口。

3.如权利要求1所述的展示系统，其特征在于，所述VR传感单元采用三维空间跟踪定位技术，通过跟踪定位器来捕捉的游戏者的运动信息。

4.如权利要求1所述的展示系统，其特征在于，所述多目相机定位采集单元包括立体相机阵列、空间定位追踪系统和数据采集单元，多目相机连接至数据采集单元；空间定位追踪系统定位和追踪立体相机阵列在空间中的6个自由度，包括位置信息和方向信息。

5.如权利要求4所述的展示系统，其特征在于，所述立体相机阵列包括多目相机，多目相机以会聚式结构排布，各相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的相机的间距相等，各相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点；若采用相机的数量为偶数，则会聚点位于中间两个相机的光心连线的中垂线上；若相机的数量为奇数，则会聚点位于中间的相机的光轴上。

6.如权利要求1所述的展示系统，其特征在于，所述裸眼3D显示单元包括2D显示屏和光栅。