CN113821107A - 一种实时、自由视点的室内外裸眼3d系统 - Google Patents

Abstract

本发明公开了一种实时、自由视点的室内外裸眼3D系统，包括观察者位姿认同过程模块，在该模块中对观察者位姿认同的对象进行判断处理，获取观察者位姿信息并用于成像系统重构和渲染修正，实现任意视点下的裸眼3D效果。本发明不仅能够摆脱传统裸眼3D技术在显示端上的复杂要求，同时能够根据观测者的位置实时地改变3D内容，让观测者在任意视角下都有一个完备且真实地虚拟3D沉浸感。同时由于3D渲染内容的实时可变，允许观测者和虚拟场景进行沉浸式交互，让虚实交互在裸眼3D应用中成为了可能。

Description

一种实时、自由视点的室内外裸眼3D系统

技术领域

本发明涉及裸眼3D技术领域，更为具体的，涉及一种实时、自由视点的室内外裸眼3D系统。

背景技术

随着视频技术的发展，AR(增强现实)、VR(虚拟现实)以及MR(混合现实)的应用日趋完善，近年行业内提出了一种新的技术方向XR(extended reality)。技术上的推陈出新，引爆了各类3D视觉产品及应用的快速成熟，裸眼3D就是这一科技潮流中诞生的比较典型的视频产品技术，主要存在以下几类解决方案：

1）光栅式裸眼3D技术，这是一种直接在屏幕端通过光学原理改变液晶屏幕的物理构造，使人眼感知虚拟场景（屏幕）的三维信息的技术。

2）透镜式裸眼3D技术，通过在液晶显示屏前加上一层柱状透镜使得虚拟场景的光线在不同位置沿着不同方向发散，传入观察者双眼的时间不一样，利用视差关系感知三维关系。

3）全息投影技术，利用干涉原理记录物体光波信息，使得同一点在不同方向的光线下产生对应不同的共轭像，利用这些共轭像产生一个真实的3D视觉效应。

裸眼3D技术的应用前景广泛，由于不需要观看者佩戴任何辅助设备，能给观看者来带极大的方便。正因硬件构造上的限制，裸眼3D技术就面临了更多的挑战。上述提到的三种现有技术方案都是在显示端进行了硬件层面有效的改进和发明，虽然其广泛应用于医学、军事、教育、工业及医疗领域，但是由于硬件设备的特定性及昂贵等因素，其应用相当不灵活，在此基础上的二次应用及衍生功能开发相当困难。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实时、自由视点的室内外裸眼3D系统，不仅能够摆脱传统裸眼3D技术在显示端上的复杂要求，同时能够根据观测者的位置实时地改变3D内容，让观测者在任意视角下都有一个完备且真实地虚拟3D沉浸感。同时由于3D渲染内容的实时可变，允许观测者和虚拟场景进行沉浸式交互，让虚实交互在裸眼3D应用中成为了可能。

本发明的目的是通过以下方案实现的：

一种实时、自由视点的室内外裸眼3D系统，包括观察者位姿认同过程模块，在该模块中对观察者位姿认同的对象进行判断处理，获取观察者位姿信息并用于成像系统重构和渲染修正，实现任意视点下的裸眼3D效果。

进一步地，当所述对观察者位姿认同的对象判断为人本身的情况时，则所述观察者位姿认同过程模块还设有人体跟踪模块，在人体跟踪模块的基础上嵌套设有对应的人眼跟踪模块；以及设置有人眼三维位姿计算模块，用于根据二维数据计算人眼的三维位置和姿态来获取观察者位姿信息；或，当所述对观察者位姿认同的对象判断为摄像机的情况时，如果摄像机自带跟踪功能，则通过硬件设备实时地返回每一帧所在的位置坐标作为观察者的位置数据；如果摄像机不带跟踪功能，则设置有基于图像的相机内外参数的位姿信息计算模块。

进一步地，所述成像系统重构模块，用于使渲染模块渲染输出符合所述观察者位姿认同过程模块判断下的观察者视角，同时又能够根据观察者所在位置的实时渲染虚拟三维场景效果；所述渲染修正模块，用于实时改变渲染模块输出的渲染效果。

进一步地，所述基于图像的相机内外参数的位姿信息计算模块包括内参计算模块和外参计算模块；所述内参计算模块，利用张正友棋盘格标定法计算内参信息并加入集束优化模块进行优化处理；所述外参计算模块，先搜索和检测图像中类似平面的物体，通过像素点拟合平面方程，再经过重投影判断及筛选合格的平面物体；在检测到平面物体之后，利用三角化算法计算出相机在世界坐标下的位置信息。

进一步地，所述成像系统重构模块包括标准视锥的变形模块、多视口实时渲染模块、多屏拼接模块和投影映射模块；所述标准视锥的变形模块，用于仅利用渲染空间的范围信息，通过改变标准成像系统来估计其焦距、视口、视口平移参数及视口倾斜角度，从而模拟任意视点下的斜视效果；所述多视口实时渲染模块，用于选择正确的视口对三维场景进行渲染；所述多屏拼接模块，用于在渲染管线中改变渲染流程，使得多视口使用相同的后处理参数进行渲染；所述投影映射模块，用于对大屏进行多视角重建获取大屏的三维模型，根据三维模型计算其纹理UV坐标，投影大屏的过程即看做为对大屏的三维模型进行纹理映射的过程。

进一步地，所述渲染修正模块包括顶点变换数据修正模块、图元装配修正模块和纹理映射修正模块；所述顶点变换数据修正模块，用于在成像系统重构模块输出的相关相机外参与标准成像系统的参数之间计算出一个刚体变换关系函数，在相机内部更新投影关系函数，用于保证顶点变换数据的前后一致；所述图元装配修正模块，第一用于让三维点数据在不同屏幕之间达到效果上一致，结合多屏幕数据同步的输出数据，将图元装配最外层嵌套一层屏幕定位数据；以及第二用于在图元装配阶段进行视锥剪裁操作，同时将多个成像系统的视锥之间的重合部分进行有效处理，规避效果上的重影现象；所述纹理映射修正模块，用于将三维的变换关系转换成二维的单应关系，完成正确的纹理映射过程。

进一步地，所述人眼跟踪模块包括定位模块和预测模块，所述定位模块基于AdaBoost分类算法来定位人眼大致位置，在所述预测模块中利用光流算法预测下一帧人眼位置。

进一步地，所述人眼三维位姿计算模块中包括坐标变换模块，在获悉相机设备参数的基础上，将人眼的像素坐标从像素坐标系转换到图像坐标，图像坐标到相机坐标，相机坐标到世界坐标；当无人眼检测时，则使用默认观测位置。

进一步地，所述预测模块中的光流算法除起到预测下一帧人眼位置的作用以外，还起到使人眼跟踪更加稳定性的作用。

本发明的有益效果是：

第一，本发明实施例规避了现有技术方案中在屏幕端的复杂限制，同时可以应用于任意数量的屏幕，任意形状构造的屏幕，及任意种类的普通屏幕（LED，液晶电视，幕布投影屏幕等）；第二，本发明实施例依据观察位置实时渲染三维虚拟场景，无需离线录制视频，为虚实交互提供了完美解决方案；第三，本发明实施例首创了自由视点的裸眼3D技术，允许观察点的位置发生变动，渲染虚拟场景的内容跟随观察点变化实时改变。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的整体系统框架结构示意图；

图2为本发明实施例中经过投影映射后，由多屏幕到曲屏的一个演化过程示意图，其中，（a）为两屏，（b）为三屏，（c）为曲屏。

具体实施方式

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

实施例

如图1所示，一种实时、自由视点的室内外裸眼3D系统，包括观察者位姿认同过程模块，在该模块中对观察者位姿认同的对象进行判断处理，获取观察者位姿信息并用于成像系统重构和渲染修正，实现任意视点下的裸眼3D效果。

在本发明的可选实施例中，需要说明的是，当对观察者位姿认同的对象判断为人本身的情况时，则观察者位姿认同过程模块还设有人体跟踪模块，在人体跟踪模块的基础上嵌套设有对应的人眼跟踪模块；以及设置有人眼三维位姿计算模块，用于根据二维数据计算人眼的三维位置和姿态来获取观察者位姿信息；或，当对观察者位姿认同的对象判断为摄像机的情况时，如果摄像机自带跟踪功能，则通过硬件设备实时地返回每一帧所在的位置坐标作为观察者的位置数据；如果摄像机不带跟踪功能，则设置有基于图像的相机内外参数的位姿信息计算模块。

在本发明的可选实施例中，需要说明的是，成像系统重构模块，用于使渲染模块渲染输出符合观察者位姿认同过程模块判断下的观察者视角，同时又能够根据观察者所在位置的实时渲染虚拟三维场景效果；渲染修正模块，用于实时改变渲染模块输出的渲染效果。

在本发明的可选实施例中，需要说明的是，基于图像的相机内外参数的位姿信息计算模块包括内参计算模块和外参计算模块；内参计算模块，利用张正友棋盘格标定法计算内参信息并加入集束优化模块进行优化处理；外参计算模块，先搜索和检测图像中类似平面的物体，通过像素点拟合平面方程，再经过重投影判断及筛选合格的平面物体；在检测到平面物体之后，利用三角化算法计算出相机在世界坐标下的位置信息。

在本发明的可选实施例中，需要说明的是，成像系统重构模块包括标准视锥的变形模块、多视口实时渲染模块、多屏拼接模块和投影映射模块；标准视锥的变形模块，用于仅利用渲染空间的范围信息，通过改变标准成像系统来估计其焦距、视口、视口平移参数及视口倾斜角度，从而模拟任意视点下的斜视效果；多视口实时渲染模块，用于选择正确的视口对三维场景进行渲染；多屏拼接模块，用于在渲染管线中改变渲染流程，使得多视口使用相同的后处理参数进行渲染；投影映射模块，用于对大屏进行多视角重建获取大屏的三维模型，根据三维模型计算其纹理UV坐标，投影大屏的过程即看做为对大屏的三维模型进行纹理映射的过程。

在本发明的可选实施例中，需要说明的是，渲染修正模块包括顶点变换数据修正模块、图元装配修正模块和纹理映射修正模块；顶点变换数据修正模块，用于在成像系统重构模块输出的相关相机外参与标准成像系统的参数之间计算出一个刚体变换关系函数，在相机内部更新投影关系函数，用于保证顶点变换数据的前后一致；图元装配修正模块，第一用于让三维点数据在不同屏幕之间达到效果上一致，结合多屏幕数据同步的输出数据，将图元装配最外层嵌套一层屏幕定位数据；以及第二用于在图元装配阶段进行视锥剪裁操作，同时将多个成像系统的视锥之间的重合部分进行有效处理，规避效果上的重影现象；纹理映射修正模块，用于将三维的变换关系转换成二维的单应关系，完成正确的纹理映射过程。

在本发明的可选实施例中，需要说明的是，人眼跟踪模块包括定位模块和预测模块，定位模块基于AdaBoost分类算法来定位人眼大致位置，在预测模块中利用光流算法预测下一帧人眼位置。

在本发明的可选实施例中，需要说明的是，人眼三维位姿计算模块中包括坐标变换模块，在获悉相机设备参数的基础上，将人眼的像素坐标从像素坐标系转换到图像坐标，图像坐标到相机坐标，相机坐标到世界坐标；当无人眼检测时，则使用默认观测位置。

在本发明的可选实施例中，需要说明的是，预测模块中的光流算法除起到预测下一帧人眼位置的作用以外，还起到使人眼跟踪更加稳定性的作用。

本发明实施例的功能模块详细说明：

观察者位姿认同过程模块：与现有裸眼3D技术方案不同的是，本发明实施例方案的初衷是把观察者作为优先考虑。无论是全息技术的裸眼3D，还是现今在城市商圈流行的L屏裸眼3D，其应用在功能上的限制非常明显，只有在最佳观察点位置人眼（观察者）才能完整地感知三维信息。为了摆脱这种现象在产品和技术双重角度上引起地困境，本发明实施例提出了一种观察者位姿认同过程模块，旨在解决任意视点下的裸眼3D效果问题。同时，本发明实施例可以再对观察者位姿认同的对象进行了多样化处理，以满足不同的视频产品应用，例如：

1）与现今主流的裸眼3D应用类似，这类产品的观察者定位为人本身，其感知主体和效果之间除了显示屏之外不需要借助中间的任何媒介。在这一模块中，本发明实施例设计了相应的人体跟踪模块，在此基础上嵌套了对应的人眼跟踪模块，最后根据二维数据估计人眼的三维位置和姿态：

a.首先，本发明实施例采用基于深度学习的方法进行人体识别，采集了针对室内、室外、强关照，阴天等不同条件下的人体识别数据集，通过大量的训练和优化，得到了准确度较高的模型，能够高效地从二维图像中提取人体数据，缩小人眼识别范围。

b.在a.完成之后，本发明实施例采用基于AdaBoost分类算法来定位人眼大致位置，再利用光流算法预测下一帧人眼位置，同时光流算法的参与保证了整个视频中人眼跟踪的稳定性。

c.人眼的三维位姿计算，需要从二维图像中获取人眼的像素坐标，在获悉相机设备参数的基础上，人眼的坐标需要从像素坐标系转换到图像坐标，图像坐标到相机坐标，相机坐标到世界坐标三个空间转换过程。当无人眼检测时，则使用默认观测位置。

2）针对演播室产品而言，视频信号往往需要通过摄像机拍摄完成第一步的数据获取，而3D信息感知的逼真程度对这一阶段有较高依赖性。在这种情况下，观察者的定义为摄像机，位姿信息的估计相对简单。

a.若摄像机自带跟踪功能，硬件设备能够实时地返回每一帧所在的位置坐标作为观察者的位置数据。

b.若摄像机不带跟踪功能，本发明实施例设计了基于图像的相机内外参数计算模块，即首先利用张正友棋盘格标定法计算内参信息，为了尽可能减少误差，这一步骤本发明实施例加入了集束优化方法进行优化，使得计算内参矩阵的误差快速收敛。

在外参计算模块，本发明实施例创造了平面检测的方法。首先，快速搜索和检测图像中类似平面的物体（像素集合），通过像素点拟合平面方程，再经过重投影判断及筛选合格的平面物体；检测到平面物体之后，由于平面物体成像的特殊性，利用三角化算法计算出相机在世界坐标下的位置信息。

成像系统重构模块：在观察者位姿认同过程模块获得观察者位姿信息之后，传入成像系统重构模块进行成像系统重构，其主要目的是使得下一模块的渲染输出符合观察者视角，同时又能够根据观察者所在位置的实时渲染虚拟三维场景效果，其具体构成如下：

标准视锥的变形：成像系统由FOV，焦距以及CMOS等构成，这些参数的共同作用，决定了3D渲染数据的范围及2D图像的单应关系。标准视锥是基于相机光心与成像平面中心连线垂直于成像平面的一种特殊情况，而针对任意视点的模型渲染，视锥的正确变形是关键。本模块设计了一种快速而高效的视锥变形处理流程，仅需利用渲染空间的范围信息，稳健地改变标准成像系统，准确地估计其中的焦距，视口，视口平移参数及视口倾斜角度，从而模拟了任意视点下的斜视效果，为下一模块渲染修正提供了基础数据准备。

多视口实时渲染：现有裸眼3D显示设备有L型，也有平面、曲面等类型。根据实际显示LED大屏的形状与分辨率，本模块自动选择正确的视口对三维场景进行渲染；在高分辨率大尺寸渲染输出的需求下，本模块实现了多显卡实时渲染和多视口渲染输出拼接。

多屏拼接：真实感渲染的过程中，虚拟相机为了还原真实相机拍照的效果，在渲染过程中增加了自动曝光、后期处理等相机参数；而一些后处理效果根据相机的投影矩阵和视口矩阵实时计算。在多视口渲染过程中，这会导致不同视口下渲染参数不同，从而导致多视口渲染输出的画面拼接会出现接缝等不一致现象。对此，在渲染管线中，本发明实施例改变渲染流程，使得多视口使用相同的后处理参数进行渲染，从而实现无缝拼接。

投影映射：无论是针对L屏（双屏），三屏幕，四屏幕...还是曲面屏，均能正确投影渲染输出的效果，旨在获得三维效果上的同步和适配。此阶段，本发明实施例设计了一种自适应大屏投影处理流程：对LED大屏进行多视角重建获取大屏的三维模型，根据模型计算准确的纹理UV坐标。投影大屏的过程即看做对LED三维模型进行纹理映射的过程。该处理流程可将渲染内容实时投影至各种类型的LED大屏，多屏幕到曲屏的演化过程如图2所示。

渲染修正模块：经过前面观察者位姿认同过程模块实现观察者位置认同和通过成像系统重构模块实现成像系统重构之后，在这个过程中就得到了渲染修正需要的所有输入。与传统渲染管线基本一致，本发明实施例的渲染流程必定经过顶点变换、图元装配、纹理映射计算及光栅操作，但是由于任意视点功能对裸眼3D技术的要求，本发明实施例需要在渲染管线的前三个流程加入相应处理流程进行修改以实时改变渲染效果，具体包括：

顶点变换数据修正：由于相机成像系统的改变，原来标准视锥变换成了带有偏移量和倾斜角度的视锥系统，所以在视口范围内任意一个三维点的颜色坐标，法线信息，纹理坐标都需要重新匹配和修正。对此，为了不影响整个流程的性能，本发明实施例首先将成像系统重构输出的相关相机外参与标准成像系统参数之间计算出一个刚体变换关系函数，然后在相机内部更新投影关系函数，从而保证顶点变换数据的前后一致。

图元装配修正：经过刚体变换关系函数处理，得到了变换后的顶点及它们的连通性信息，就能够形成原始的绘制数据。但与传统渲染流程不同的是，本发明实施例的发明是针对任意数量、任意形状的屏幕进行3D渲染，所以这里需要对图元装配进行修正工作。其有两个重要目的，第一是让三维点数据在不同屏幕之间达到效果上一致，结合多屏幕数据同步的输出数据，将图元装配最外层嵌套一层屏幕定位数据；第二，在图元装配阶段进行有效的视锥剪裁操作，同时将多个成像系统的视锥之间的重合部分进行有效处理，规避了效果上的重影等现象。

纹理映射修正：得到了修正的三维数据，本发明实施例根据顶点变换数据修正、图元装配修正之后计算出新的变换关系（刚体变换+投影变换）修正纹理坐标。本发明实施例首创将三维的变换关系（刚体变换+投影变换）转换成二维的单应关系，完成了正确的纹理映射过程。

除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备（可以是个人计算机，服务器，或者网络设备等）以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器（Random Access Memory，RAM）、随机存取存储器（Random Access Memory，RAM）等。

Claims (9)

1.一种实时、自由视点的室内外裸眼3D系统，其特征在于，包括观察者位姿认同过程模块，在该模块中对观察者位姿认同的对象进行判断处理，获取观察者位姿信息并用于成像系统重构和渲染修正，实现任意视点下的裸眼3D效果。

2.根据权利要求1所述的实时、自由视点的室内外裸眼3D系统，其特征在于，

当所述对观察者位姿认同的对象判断为人本身的情况时，则所述观察者位姿认同过程模块还设有人体跟踪模块，在人体跟踪模块的基础上嵌套设有对应的人眼跟踪模块；以及设置有人眼三维位姿计算模块，用于根据二维数据计算人眼的三维位置和姿态来获取观察者位姿信息；

或，

当所述对观察者位姿认同的对象判断为摄像机的情况时，如果摄像机自带跟踪功能，则通过硬件设备实时地返回每一帧所在的位置坐标作为观察者的位置数据；如果摄像机不带跟踪功能，则设置有基于图像的相机内外参数的位姿信息计算模块。

3.根据权利要求1或2任一所述的实时、自由视点的室内外裸眼3D系统，其特征在于，

所述成像系统重构模块，用于使渲染模块渲染输出符合所述观察者位姿认同过程模块判断下的观察者视角，同时又能够根据观察者所在位置的实时渲染虚拟三维场景效果；

所述渲染修正模块，用于实时改变渲染模块输出的渲染效果。

4.根据权利要求2所述的实时、自由视点的室内外裸眼3D系统，其特征在于，所述基于图像的相机内外参数的位姿信息计算模块包括内参计算模块和外参计算模块；

所述内参计算模块，利用张正友棋盘格标定法计算内参信息并加入集束优化模块进行优化处理；

所述外参计算模块，先搜索和检测图像中类似平面的物体，通过像素点拟合平面方程，再经过重投影判断及筛选合格的平面物体；在检测到平面物体之后，利用三角化算法计算出相机在世界坐标下的位置信息。

5.根据权利要求3所述的实时、自由视点的室内外裸眼3D系统，其特征在于，所述成像系统重构模块包括标准视锥的变形模块、多视口实时渲染模块、多屏拼接模块和投影映射模块；

所述标准视锥的变形模块，用于仅利用渲染空间的范围信息，通过改变标准成像系统来估计其焦距、视口、视口平移参数及视口倾斜角度，从而模拟任意视点下的斜视效果；

所述多视口实时渲染模块，用于选择正确的视口对三维场景进行渲染；

所述多屏拼接模块，用于在渲染管线中改变渲染流程，使得多视口使用相同的后处理参数进行渲染；

所述投影映射模块，用于对大屏进行多视角重建获取大屏的三维模型，根据三维模型计算其纹理UV坐标，投影大屏的过程即看做为对大屏的三维模型进行纹理映射的过程。

6.根据权利要求3所述的实时、自由视点的室内外裸眼3D系统，其特征在于，所述渲染修正模块包括顶点变换数据修正模块、图元装配修正模块和纹理映射修正模块；

所述顶点变换数据修正模块，用于在成像系统重构模块输出的相关相机外参与标准成像系统的参数之间计算出一个刚体变换关系函数，在相机内部更新投影关系函数，用于保证顶点变换数据的前后一致；

所述图元装配修正模块，第一用于让三维点数据在不同屏幕之间达到效果上一致，结合多屏幕数据同步的输出数据，将图元装配最外层嵌套一层屏幕定位数据；以及第二用于在图元装配阶段进行视锥剪裁操作，同时将多个成像系统的视锥之间的重合部分进行有效处理，规避效果上的重影现象；

所述纹理映射修正模块，用于将三维的变换关系转换成二维的单应关系，完成正确的纹理映射过程。

7.根据权利要求2所述的实时、自由视点的室内外裸眼3D系统，其特征在于，所述人眼跟踪模块包括定位模块和预测模块，所述定位模块基于AdaBoost分类算法来定位人眼大致位置，在所述预测模块中利用光流算法预测下一帧人眼位置。

8.根据权利要求2所述的实时、自由视点的室内外裸眼3D系统，其特征在于，所述人眼三维位姿计算模块中包括坐标变换模块，在获悉相机设备参数的基础上，将人眼的像素坐标从像素坐标系转换到图像坐标，图像坐标到相机坐标，相机坐标到世界坐标；当无人眼检测时，则使用默认观测位置。

9.根据权利要求7所述的实时、自由视点的室内外裸眼3D系统，其特征在于，所述预测模块中的光流算法除起到预测下一帧人眼位置的作用以外，还起到使人眼跟踪更加稳定性的作用。

Images