CN204156999U - 一种基于Unity3D游戏引擎的裸眼3D显示系统 - Google Patents

Abstract

本实用新型专利提出一种基于Unity3D游戏引擎的裸眼3D显示系统，根据计算的视点子像素映射矩阵编写在GPU上运行的着色器Shader，该Shader包含顶点Shader和片段Shader。在Unity3D软件中创建多台立体相机，并按照一定的结构位置进行排布。最后，每台立体相机输出的渲染贴图与Shader进行采样和融合处理，将获得的合成图像输出到裸眼3D显示屏中，实现裸眼3D显示。

Description

一种基于Unity3D游戏引擎的裸眼3D显示系统

技术领域

本实用新型涉及裸眼3D显示领域，尤其涉及一种基于Unity3D游戏引擎的3D显示系统。

背景技术

裸眼3D显示是不需要佩戴辅助设备(如红蓝、偏振、快门眼镜或者液晶头盔等)的一种显示技术，它在航空航天、军事、医学、广告设计和娱乐互动等领域有着广泛的应用背景。

目前，主流的裸眼3D显示技术主要是基于狭缝光栅和柱镜光栅来实现的，狭缝光栅是由透光和挡光的光栅条组成，通过对光线的遮挡作用，来实现不同视点图像的空间分离，而柱镜光栅是利用柱面透镜对光线的折射作用，使光线在空间发生偏转，从而实现与狭缝光栅相似的效果，这两种方式都属于空间复用的裸眼3D显示技术。

通常，为了获得更好的立体效果，往往采用多幅视差图像进行合成，观看者在不同观看位置只要看到其中的两幅图像就可以在大脑皮层中产生立体视觉，且随着观看者的水平移动，可以看到物体的不同角度侧面，进而产生运动视差。

而Unity3D是Unity Technologies公司开发的一款3D游戏引擎，这款引擎因其强大的跨平台开发特性、绚丽的3D渲染效果以及自由丰富的人机交互功能而闻名出众。其跨平台开发特性可以节省开发时间，加快游戏开发进度，因为平台之间的差异较大，比如屏幕尺寸、操作方式、

硬件条件等的不同均会给开发者造成巨大麻烦，而Unity3D的跨平台特性恰能省去开发者在不同的平台之间的移植开发工作。Unity3D是一款专门用来制作游戏场景、建筑设计、动画展示的软件，它在模型方面只内嵌了最基本的立体体、球体、平面、圆柱体等，实际应用中需要从外界导入制作好的模型。Unity3D对于主流的艺术设计软件制作出来的模型，如3ds Max、Maya等，几乎都可兼容，且Unity3D相较于3ds Max、Maya等的优势在于其自由丰富的人机交互功能。

假若利用Unity3D游戏引擎实现裸眼3D显示功能，便可以极大地扩展Unity3D游戏引擎软件和裸眼3D显示技术这两者的应用领域，且可以将已有的基于Unity3D的游戏经过些许修改便可实现裸眼3D显示，从而在很大程度上降低了裸眼3D显示的视频源制作成本，并且可以将Unity3D丰富的交互功能移植到裸眼3D显示技术中来，并借助于Unity3D强大的模型兼容能力丰富裸眼3D的显示内容及素材。

发明内容

人眼在观看自然物体时，两眼是从不同角度观看物体，从而在左右眼视网膜上形成稍有差异的像，然后再经过大脑分析融合形成立体视觉。裸眼3D的显示过程就是模拟人眼的立体视觉过程。

下面将本实用新型专利分为两大部分进行解释：第一是裸眼3D显示装置的设计方法及各项参数特征，裸眼3D显示装置主要是基于光栅的分光作用，将不同视点的图像信息在空间实现分离，从而保证进入人眼左右眼的信息分属不同视点，且视点间的视差量在人脑可融合的范围之内。通常光栅可以为狭缝光栅和柱镜光栅。第二是对Unity3D游戏引擎进行开发，通过架设多台虚拟立体相机，并借助于编写GPU上运行的着色器程序，使Unity3D最终渲染输出的图像满足裸眼3D显示装置的要求。

一、裸眼3D显示装置设计方法

裸眼3D显示装置的光栅可以为狭缝光栅，也可以为柱镜光栅，狭缝光栅是由透光和挡光的光栅条组成，通过对光线的遮挡作用，来实现不同视点图像的空间分离，而柱镜光栅是利用柱面透镜对光线的折射作用，使光线在空间发生偏转，从而实现与狭缝光栅相似的效果，这两种方式都属于空间复用的裸眼3D显示技术。

值得说明的是，并非所有的2D显示屏均可以用于裸眼3D显示，裸眼3D显示装置对2D显示屏的子像素结构要求特别高，一个完整像素由1R1G1B三种子像素灯组成，子像素排布方式且应满足如下规则：在水平方向上按红、绿、蓝或蓝、绿、红循环排布；在垂直方向上为红、绿、蓝的同一色，每个子像素在水平和垂直方向上的间距均应保持相等。

下面首先给出狭缝光栅主要参数的设计方法：

1.首先，光栅常数d，即光栅周期的计算公式如下：

$d=\frac{\mathrm{Ksp}}{p+s}---\left(1\right)$

其中，K为视点数，对于拥有K视点的裸眼3D显示器，需将K个视点的视差图像信息合成为一幅合成图像并显示在2D显示屏上。2D显示屏的分辨率是固定的，那么，单幅视差图像的分辨率只能占到2D显示屏分辨率的1/K，相应的3D分辨率也下降为2D显示屏分辨率的1/K。因此需要注意的是，采用多视点技术可提高立体观看自由度，视点数越多，则立体观看自由度越大，但同时使3D分辨率损失越严重，因此，需合理选择视点数，在立体观看自由度与立体分辨率两者间取得平衡。通常，裸眼3D显示器的视点数为8。

公式(1)中的s为相邻视点间距，是由视点组合方式决定的，这里以8视点为例，组合方式可以为1-4,2-5,3-6,4-7,5-8或者1-2,2-3,3-4...等其他组合。为了让左右眼分别接收到每一对视点组合的两个视差图像信息，须使每一对视点组合在观看平面的间距与人眼的瞳距e相等，则相邻视点间距为

$s=\frac{e}{\mathrm{\ΔK}}---\left(2\right)$

其中，ΔK为每一对视点组合之间所包含的视区数，双眼瞳距通常取e＝65mm。

2.光栅与2D显示屏的间距，即屏栅距l的计算公式为：

$l=\frac{\mathrm{Hp}}{p+s}---\left(3\right)$

其中，H为观看距离，也就是观看者距离2D显示屏的距离。

另外，给出柱镜光栅主要参数的设计方法：

柱栅研究思路是根据2D显示屏参数和立体观看条件来设计和优化柱透镜光栅。柱透镜光栅的基本参数包括折射率n、厚度t、焦距f、曲率半径r、光栅常数d和屏栅距l。其中，折射率n是由柱栅材料决定，通常的PS(又称聚苯乙烯)的折射率为1.6。柱镜光栅的设计关键在于对焦距f、曲率半径r、厚度t和光栅常数d的设计，使其与具体的2D显示屏相匹配而得到性能优良的柱透镜光栅3D显示器。值得说明的是，本文中将屏栅距作为已知量，而屏栅距和柱栅厚度两者任一个均可作为已知量，这要看实际的加工和装配情况。

柱镜光栅跟狭缝光栅的分光原理虽不一样，但是在实现裸眼3D显示的思路上基本一致，柱镜光栅计算公式中的物理量名称均与狭缝光栅一致，因此这里不再重复说明。

1.首先，光栅常数d，即光栅周期的计算公式如下：

$d=\frac{\mathrm{Ksp}}{s+p}---\left(4\right)$

2.柱镜光栅的厚度t的计算公式如下：

$t=\frac{\mathrm{Hnp}-\mathrm{nl}(s+p)}{s+\mathrm{np}}---\left(5\right)$

3.柱镜光栅的曲率半径的计算公式如下：

$r=\frac{p(n-1)[H+l(n-1)]}{s+\mathrm{np}}---\left(6\right)$

设计柱透镜光栅就是设计其焦距f、曲率半径r、厚度t和光栅常数d，使其与具体的2D显示屏相匹配而得到性能优良的柱透镜光栅3D显示器。

二、基于Unity3D游戏引擎的裸眼3D显示技术的具体实现思路：

1、建立场景，摆放多台立体相机

实现立体视觉的首要条件是要给观看者左右眼提供稍有差异的视差图像。在Unity3D软件中，可以通过合理布局多台虚拟立体相机，对同一个场景进行同步拍摄来获得多幅视差图像。立体相机需按一定结构摆放来拍摄场景以获得合理的视差图像，其摆放结构主要有平行式、会聚式、离轴平行式及弧形式4种结构。

在每台相机的目标贴图中加入渲染贴图Render Texture，渲染贴图是一种特殊的纹理类型，能够在运行时产生和更新。要使用渲染贴图，首先要创建一个新的渲染纹理，并且指定一个摄像机对其进行渲染，然后就可以像常规的纹理一样为材质添加渲染纹理。

2、计算视点映射矩阵

首先，确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量，式(7)给出了多视点子像素映射矩阵的计算公式：

$Q=\frac{(k+k_{\mathrm{off}}-3l\tan \mathrm{\α})\mathrm{mod}X}{X}{N}_{\mathrm{tot}}---\left(7\right)$

其中，(k,l)为RGB子像素的坐标位置，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，N_tot表示总视点个数，也就是参与合成的视差图像数量。

根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

3、Shader处理渲染贴图

将视点映射矩阵编写到Shader中，利用Shader对相机渲染的多张渲染贴图进行子像素级别的采样处理，并将经过采样处理的多张视差图像相加，得到最终的合成图像。

其中，Shader也称之为着色器，是运行在GPU上的程序，用来对三维物体进行着色处理、光影计算和纹理颜色呈现等。随着GPU硬件性能的提升，Shader的编程方式经历了从最初的固定渲染管线，到可编程渲染管线的发展。固定渲染管线是支持老旧显卡的一种模式，它写出的Shader是基于顶点照明的，相较于逐像素的照明方式，这种方式的照明计算速度更快，但效果会差一些。固定管线是标准的几何、光照管线，它控制着世界、视投影变换及固定光照控制和纹理混合，基本所有的显卡都能正常运行。可编程渲染管线对渲染管线中的顶点运算和像素运算分别进行编程处理。Shader有顶点Shader(Vertex Shader)和片段Shader(Fragment Shader，又称为Pixel Shader)两种基本类型，顶点Shader可以处理和变换渲染到屏幕上的网格物体的顶点位置，顶点Shader的输出结果将会传递给流水线的下一步。几何体的网格经过硬件的栅格化后，处于流水线上的片段Shader会被执行，片段Shader会对一个片段进行各种测试，最终测试成功的片段会被写入渲染的输出帧中，从而成为显示器屏幕上的一个可见像素。

4、合成图像输出，实现裸眼3D显示

将合成图像写入到渲染阵列中，输出到显示器屏幕上。然后，利用光栅的分光作用，使不同视差图像的光线在空间分离，当观察者在合适的观看位置处，左右眼可分别接收到来自不同视点的信息，从而产生立体视觉。

附图说明

下面结合附图对本实用新型做进一步说明。

图1是本实用新型涉及的流程图；

图2是本实用新型涉及的Unity3D相机结构具体实施例；

图3是本实用新型计算的视点子像素映射矩阵具体实施例；

图4是本实用新型合成的视差图像具体实施例；

图5是本实用新型涉及的裸眼3D显示器具体实施例。

具体实施方式

下面结合附图和具体的实施方式对本实用新型作进一步的描述。

图1为本实用新型所涉及的思路流程图。首先，在Unity3D游戏引擎软件中建立场景，游戏物体可以在Unity3D中自建，也可以从其他模型制作软件中导入。然后，在场景中建立多台虚拟相机，并按照一定的结构要求进行摆放，在每个相机身上加渲染贴图，以便与相应的Shader相互作用。其次，根据计算的视点子像素映射矩阵，编写相应的Shader，对每台相机渲染的贴图进行采样处理，并得到合成图像。最后，写入到GPU的渲染输出帧，输出到裸眼3D显示屏，获得立体图像。

图2是本实用新型涉及的Unity3D相机结构具体实施例，这里给出的是平行会聚式立体相机结构，并以9台相机为例。其中，1为多台相机的光轴2的会聚平面，也称为零视差面。3为多台相机的成像系统中心点所在平面，4为虚拟相机。

图3是本实用新型计算的视点子像素映射矩阵具体实施例。其中，图中的细长方格代表一个子像素，每个细长方格中的数字为该子像素所对应的视点数，也就是矩阵Q中的值。

图4是本实用新型合成的视差图像具体实施例。图中的汽车是在3dsMax制作的模型并导出成FBX格式，导入到Unity3D场景中，加上背景及光影，然后根据前面所述布置多台相机，编写脚本及Shader对多台相机渲染出来的贴图纹理进行处理，最终获得如图4所示的合成图像。将该合成图像输出显示到裸眼3D显示屏上，观看者在最佳观看距离处，便可以看到飞出屏幕的汽车。

图5是本实用新型涉及的裸眼3D显示器具体实施例，这里给出的是装置俯视图。其中，5为2D显示屏的子像素间距p，6为2D显示屏，可以为LED，也可以为LCD，7为狭缝光栅，8为狭缝光栅7的光栅常数，9为狭缝光栅7距离2D显示屏6的距离，10为观看距离。值得说明的是，本实用新型专利中涉及的光栅不仅局限于狭缝光栅，同样适用于柱镜光栅，这里仅是以狭缝光栅为例进行装置说明。

以上所述仅为本实用新型创造的较佳实施例，并不用以限制本实用新型创造，凡在本实用新型创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型创造的保护范围之内。

Claims (2)

1.一种基于Unity3D游戏引擎的裸眼3D显示系统，其特征在于：用于裸眼3D显示装置的2D显示屏的子像素结构应满足如下：一个完整像素由1R1G1B三种子像素灯组成，在水平方向上按红、绿、蓝或蓝、绿、红循环排布；在垂直方向上为红、绿、蓝的同一色，每个子像素在水平和垂直方向上的间距均保持相等。

2.根据权利要求1所述的基于Unity3D游戏引擎的裸眼3D显示系统，其特征在于：狭缝光栅或柱镜光栅装配于2D显示屏的前方或后方。