CN107092348A - 一种沉浸式虚拟现实漫游系统中的视觉定位标识布局方法 - Google Patents

Abstract

本发明请求保护一种沉浸式虚拟现实漫游系统中视觉定位标识布局方法，涉及计算机图像技术和室内定位领域，本发明在沉浸式虚拟现实漫游系统中，首先根据天花板高度、玩家身高范围、摄像头水平视角、摄像头垂直视角等室内场景参数和摄像头参数确定定位标识布局的间隔；然后在该布局的基础上结合容错技术扩大标识布局间隔，使得该布局在沉浸式虚拟现实漫游系统中用最少的定位标识实现了大场景的室内定位。本发明具有扩展能力强，实用性高，有效地提高了沉浸式虚拟现实中视觉室内定位的刷新帧率。

Description

一种沉浸式虚拟现实漫游系统中的视觉定位标识布局方法

技术领域

本发明涉及计算机图像技术和室内定位领域，具体是一种沉浸式虚拟现实漫游系统中视觉定位标识布局方法。

背景技术

在大场景沉浸式虚拟现实中，如何保证用户在位移上的虚实同步是当前的研究热点。基于标识的单目机器视觉定位具有厘米级误差的精度，将基于标识的单目机器视觉定位和头戴式显示器结合起来，可以满足沉浸式虚拟现实漫游系统位移同步的要求，可以让用户更真实地沉浸于虚拟空间。但是在大场景环境下，随着标识数量的越来越多，当所需定位的标识达到数百个时，刷新耗时逐渐升高。所以，在大场景沉浸式虚拟现实漫游系统中，如何通过合理的标识布局减少标识数量，用最少的标识实现定位成了一个亟待解决的问题，

对于专利公开号为：201410660779.X的中国专利公开了一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法。该发明涉及计算机图像技术领域，具体是一种采用沉浸式虚拟现实技术的真人射击类游戏系统。本发明采用虚拟现实技术根据现实空间定位信息实时渲染虚拟三维空间场景和虚拟玩家模型并在玩家的头戴式显示器的视频中显示。背包计算机接受头戴显示器上送来的现实场景图像，通过图像中的标识确定玩家坐标，头戴显示器确定玩家面部朝向，背包计算机计算空间定位信息并渲染虚拟画面。背包计算机从枪系统获取枪口定位信息判断是否命中，并在虚拟画面上渲染虚拟图像。系统服务器存储多个玩家数据，实现各玩家之间的通信与数据交换。

该发明使用基于标识的机器视觉实现室内定位，为了流畅连贯地定位，必须保证摄像头的每一帧图像中至少含有一个完整的定位标识。若标识布局稀疏，则会导致摄像头捕捉的图像中无法获取完整标志，定位数据缺失；但是，若标识过于密集，则会带来的不仅仅是场景布置时的不便，还会导致定位刷新耗时上升，定位帧率下降。

首先，若标识布局密集，标识数量增多，则在标识识别阶段所需要匹配的标识模板也就越多，使得刷新耗时上升。随着标识模板的数量从1增加到110，导致每帧的平均耗时从5.7ms增加到9.15ms。其次，若标识布局越密集，则在每一帧图像中出现的标识数量越多，则在连通域分析阶段分析的连通域数量以及在标识识别所需要识别的标识数量均有所上升，导致刷新耗时上升。当标识模板的数量为10，逐渐增加画面中的标识数量到120个。刷新耗时从5.1ms增加到7.4ms。

综上所述，如何通过合理的布局保证流畅连贯定位的前提下使得标识数量最少，是保证沉浸式虚拟现实漫游系统有效运行的关键问题。所以本发明旨在解决机器视觉定位必须依靠标识才能定位的问题，当摄像机没有捕获到标识时，设计一种容错方法补全缺失定位数据，通过试验的方法重新计算误差最小情况下的标识间隔，利用这个间隔布局标识。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种使用最少的定位标识，实现连贯流畅的定位、有效提升系统性能的沉浸式虚拟现实漫游系统中的视觉定位标识布局方法。本发明的技术方案如下：

一种沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其包括以下步骤：

1)、根据沉浸式虚拟现实场景中包括天花板高度、玩家身高范围在内的室内场景参数，以及摄像头水平视角、摄像头垂直视角在内的摄像头参数，计算得到布局多边形边长即定位标识布局间隔；

2)、然后在步骤1)该定位标识布局间隔的基础上结合容错技术扩大标识布局间隔，使得该布局在沉浸式虚拟现实漫游系统中用最少的定位标识实现了大场景的室内定位。

进一步的，所述步骤1)根据沉浸式虚拟现实场景中的天花板高度、玩家身高范围室内场景参数以及摄像头水平视角、摄像头垂直视角摄像头参数得到定位标识布局间隔具体包括：

假设摄像头成像长宽比为s₁、天花板高度为h₁、摄像头高度上限为h₂、摄像头水平视角α和垂直视角β，计算摄像头与天花板之间的最小距离h_min＝h₁-h₂；

计算摄像头在天花板上的最小成像矩形，长边为：短边为：

将标识图形看成一个点，那么规则的布局方法所布局出的形状理应是一个正多边形，根据所采用的布局图形计算其最长对角线与边长之比s₂；

若s₁≤s₂，则使布局多边形内最长的对角线为m，由此计算布局多边形边长；若s₁＞s₂，则使布局多边形边长为n，得到布局多边形边长后即得到定位标识布局间隔。

进一步的，所述步骤2)在定位标识布局间隔的基础上结合容错技术扩大标识布局间隔，具体包括：首先获取丢失帧前面某两帧的图像，根据这两帧图像通过惯性定位方法或函数拟合方法或卡尔曼滤波方法来估算出本丢失帧摄像机所处的位置，再将估算出的位置信息还原到虚拟场景中。

进一步的，在使用步骤1)得到布局多边形边长即定位标识布局间隔时，当用于视觉定位的摄像头未捕捉到标识时，首先根据前两个定位帧的时间差和距离差计算当前摄像头移动的速度矢量，以前一步计算出的速度为初速度，进行加速度积分算法定位，最终补全视觉定位缺失的定位数据。

进一步的，若图像中存在标识，则利用计算机视觉定位方法通过摄像机捕获的标识所在位置求取用户当前定位结果；若图像中不存在标识，则首先利用前两帧的定位差和时间差计算初速度矢量；根据惯性仪，利用加速度积分算法计算室内定位，然后摄像头获取下一帧图像，若图像中依然不存在标识，则继续利用惯性定位；若图像中存在标识，则利用计算机视觉定位求取用户当前室内定位结果。

进一步的，其特征在于通过容错技术扩大视觉定位技术的定位范围，视觉定位只有在捕获的图像中至少有一个完整标识时才能运行，而结合容错技术的视觉定位技术可以处理摄像机没有捕获到标识的情况，通过试验的方法重新计算误差最小情况下的标识间隔，利用这个间隔布局标识。

本发明的优点及有益效果如下：

本发明针对当前利用基于标识的机器视觉实现大场景沉浸式虚拟现实漫游系统中实现的虚实位移同步功能时，标识数量过多导致的刷新耗时上升、定位帧率下降等问题，提出一种定位标识布局方法。具体涉及到在机器视觉定位的基础上增加容错处理模块，通过前一帧成功定位的位置信息和速度信息，结合加速计获得的加速度，利用加速度积分算法对视觉定位方法进行容错，使得视觉定位方法在没有拍摄到一个完整标识的情况下仍然能够准确定位，通过试验的方法重新计算误差最小情况下的标识间隔，利用这个间隔布局标识。利用本发明提出的方法，可以使用最少的标识进行定位，实现连贯流畅的定位，给沉浸式虚拟现实漫游系统提供了一种有效提升系统性能的方法。

附图说明

图1是本发明提供优选实施例定位标识布局方法计算流程图；

图2是利用本发明提出的布局方法时的定位系统流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明提出一种沉浸式虚拟现实漫游系统中视觉定位标识布局方法，该方法首先根据沉浸式虚拟现实场景中的天花板高度、玩家身高范围等室内场景参数以及摄像头水平视角、摄像头垂直视角等摄像头参数得到定位标识布局间隔，即给出一种视觉定位标识布局方法；然后该布局的基础上结合容错技术扩大标识间隔，进一步使得标识稀疏，最终得到一种在大场景沉浸式虚拟现实中用最少的定位标识实现室内定位的标识布局方法。

所述根据沉浸式虚拟现实场景中的天花板高度、玩家身高范围等室内场景参数以及摄像头水平视角、摄像头垂直视角等摄像头参数得到定位标识布局间隔进一步包括：假设摄像头成像长宽比为s₁、天花板高度为h₁、摄像头高度上限为h₂、摄像头水平视角α和垂直视角β。

步骤1：计算摄像头与天花板之间的最小距离h_min＝h₁-h₂；

步骤2：计算摄像头在天花板上的最小成像矩形，长边为：

短边为：

步骤3：将标识图形看成一个点，那么规则的布局方法所布局出的形状理应是一个正多边形，根据所采用的布局图形计算其最长对角线与边长之比s₂；

步骤4：若s₁≤s₂，则使布局多边形内最长的对角线为m，由此计算布局多边形边长；若s₁＞s₂，则使布局多边形边长为n，得到布局多边形边长后即得到定位标识布局间隔。

所述在第一步布局的基础上利用一种容错技术扩大标识间隔，使得标识稀疏。进一步包括：首先获取丢失帧前面某两帧的图像，根据这两帧图像通过惯性定位方法或函数拟合方法或卡尔曼滤波方法来估算出本丢失帧摄像机所处的位置，再将估算出的位置信息还原到虚拟场景中，从而保证用户在虚拟场景中移动的连贯性。

在使用根据本方法得到的布局时，用于视觉定位的摄像头未捕捉到标识的情况下，首先根据前两个定位帧的时间差和距离差计算当前摄像头移动的速度矢量；然后切换到容错处理模块，并以前一步计算出的速度为初速度，进行加速度积分算法定位。

如图1所示的定位标识布局方法计算流程图：

A1-A2：获取沉浸式虚拟现实漫游系统的场景参数和摄像头参数，以及确定标识布局的图形；

A3：根据以上参数初步计算标识布局的间隔；

A4：测定惯性仪的低误差距离；

A5：利用所测定的低误差距离，重新计算标识间隔；

如图2所示利用本发明提出的布局方法时的定位系统流程图；

B1-B3：摄像头获取图像，视觉定位算法对图像进行预处理，然后分析图像中是否存在标识；

B4：若图像中存在标识，则利用视觉定位算法求取用户当前室内定位结果；

B5：若图像中不存在标识，则切换到惯性定位模块，首先利用前两帧的定位差和时间差计算初速度矢量；

B6-B8：根据惯性仪，利用加速度积分算法计算室内定位。然后摄像头获取下一帧图像，若图像中依然不存在标识，则继续利用惯性定位；若图像中存在标识，则回到视觉定位模块。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其特征在于，包括以下步骤：

1)、根据沉浸式虚拟现实场景中包括天花板高度、玩家身高范围在内的室内场景参数，以及摄像头水平视角、摄像头垂直视角在内的摄像头参数，计算得到布局多边形边长即定位标识布局间隔；

2)、然后在步骤1)该定位标识布局间隔的基础上结合容错技术扩大标识布局间隔，使得该布局在沉浸式虚拟现实漫游系统中用最少的定位标识实现了大场景的室内定位。

2.根据权利要求1所述的沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其特征在于，所述步骤1)根据沉浸式虚拟现实场景中的天花板高度、玩家身高范围室内场景参数以及摄像头水平视角、摄像头垂直视角摄像头参数得到定位标识布局间隔具体包括：

假设摄像头成像长宽比为s₁、天花板高度为h₁、摄像头高度上限为h₂、摄像头水平视角α和垂直视角β，计算摄像头与天花板之间的最小距离h_min＝h₁-h₂；

计算摄像头在天花板上的最小成像矩形，长边为：短边为：

将标识图形看成一个点，那么规则的布局方法所布局出的形状理应是一个正多边形，根据所采用的布局图形计算其最长对角线与边长之比s₂；

若s₁≤s₂，则使布局多边形内最长的对角线为m，由此计算布局多边形边长；若s₁＞s₂，则使布局多边形边长为n，得到布局多边形边长后即得到定位标识布局间隔。

3.根据权利要求1或2所述的沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其特征在于，所述步骤2)在定位标识布局间隔的基础上结合容错技术扩大标识布局间隔，具体包括：首先获取丢失帧前面某两帧的图像，根据这两帧图像通过惯性定位方法或函数拟合方法或卡尔曼滤波方法来估算出本丢失帧摄像机所处的位置，再将估算出的位置信息还原到虚拟场景中。

4.根据权利要求3所述的沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其特征在于，在使用步骤1)得到布局多边形边长即定位标识布局间隔时，当用于视觉定位的摄像头未捕捉到标识时，首先根据前两个定位帧的时间差和距离差计算当前摄像头移动的速度矢量，以前一步计算出的速度为初速度，进行加速度积分算法定位，最终补全视觉定位缺失的定位数据。

5.根据权利要求4所述的沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其特征在于，摄像机捕获图像，若图像中存在标识，则利用计算机视觉定位方法通过摄像机捕获的标识所在位置求取用户当前定位结果；若图像中不存在标识，则首先利用前两帧的定位差和时间差计算初速度矢量；根据惯性仪，利用加速度积分算法计算室内定位，然后摄像头获取下一帧图像，若图像中依然不存在标识，则继续利用惯性定位；若图像中存在标识，则利用计算机视觉定位求取用户当前室内定位结果。

6.根据权利要求5所述的沉浸式虚拟现实漫游系统中的视觉定位标识布局方法，其特征在于，通过容错技术扩大视觉定位技术的定位范围，视觉定位只有在捕获的图像中至少有一个完整标识时才能运行，而结合容错技术的视觉定位技术可以处理摄像机没有捕获到标识的情况，通过试验的方法重新计算误差最小情况下的标识间隔，利用这个间隔布局标识。