CN107346174B - 一种现实环境与虚拟环境的交互方法及系统 - Google Patents

Abstract

本发明公开了一种现实环境与虚拟环境的交互方法及系统，方法包括：S1、检测用户在现实场景中的第一行走距离信息，检测用户在现实场景中的第一方向变化信息；S2、判断第一行走距离信息和第一方向变化信息是否同时获取得到；S3、如果是，则进行平滑处理，得到第二行走距离信息和第二方向变化信息，确定第二运动轨迹，根据第二运动轨迹控制虚拟模型在虚拟场景中运动。本发明的有益效果是：本技术方案通过移动终端的传感器，将现实世界的移动在虚拟世界中较为真实地模拟出来，给用户更真实的交互体验。

Description

一种现实环境与虚拟环境的交互方法及系统

技术领域

本发明涉及增强现实技术领域，特别涉及一种现实环境与虚拟环境的交互方法及系统。

背景技术

目前，虽实现了现实环境与虚拟环境的交互，但是，却很难将现实环境中的位姿信息准确映射到虚拟环境中，从而实现更真实的交互体验。

发明内容

本发明提供了一种现实环境与虚拟环境的交互方法及系统，解决了现有技术的技术问题。

本发明解决上述技术问题的技术方案如下：

一种现实环境与虚拟环境的交互方法，包括：

S1、通过用户的手持终端内安装的加速度传感器检测所述用户在现实场景中的第一行走距离信息，通过所述手持终端内安装的陀螺仪传感器检测所述用户在所述现实场景中的第一方向变化信息；

S2、判断所述第一行走距离信息和所述第一方向变化信息是否同时获取得到；

S3、如果所述第一行走距离信息和所述第一方向变化信息是同时获取得到，则通过插值方法对所述第一行走距离信息和所述第一方向变化信息进行平滑处理，得到所述第二行走距离信息和所述第二方向变化信息，根据所述第二行走距离信息和所述第二方向变化信息确定所述虚拟模型在所述虚拟场景中的第二运动轨迹，根据所述第二运动轨迹控制所述虚拟模型在所述虚拟场景中运动。

本发明的有益效果是：本技术方案通过移动终端的传感器，将现实世界的移动在虚拟世界中较为真实地模拟出来，给用户更真实的交互体验。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，步骤S2之后，还包括：

如果所述第一行走距离信息和所述第一方向变化信息不是同时获取得到，则根据所述第一行走距离信息和所述第一方向变化信息确定所述用户对应的虚拟模型在所述现实场景对应的虚拟场景中的第一运动轨迹，根据所述第一运动轨迹控制所述虚拟模型在所述虚拟场景中运动。

优选地，步骤S1中，通过用户的手持终端内安装的加速度传感器检测所述用户在现实场景中的第一行走距离信息的方法具体包括：

A1、设置所述加速度传感器的检测参数，所述检测参数包括：连续两次检测的最小时间间隔和最大时间间隔；

A2、通过所述加速度传感器获取所述用户的前后移动加速度；

A3、根据所述前后移动加速度绘制加速度曲线，利用限幅滤波法滤除所述加速度曲线中在预设阈值范围之外的无效波峰，得到所述加速度曲线中的有效波峰；

A4、根据所述有效波峰和所述检测参数获取所述第一行走距离信息。

优选地，步骤S1中，通过所述手持终端内安装的陀螺仪传感器检测所述用户在所述现实场景中的第一方向变化信息的方法具体包括：

B1、通过所述陀螺仪传感器获取所述用户在左右方向角速度、前后方向角速度和垂直方向角速度；

B2、根据所述左右方向角速度、所述前后方向角速度、所述垂直方向角速度和预设的检测时间间隔获取所述用户在左右方向旋转角度、前后方向旋转角度和垂直方向旋转角度，即所述第一方向变化信息。

一种现实环境与虚拟环境的交互系统，包括：

检测模块，用于通过用户的手持终端内安装的加速度传感器检测所述用户在现实场景中的第一行走距离信息，通过所述手持终端内安装的陀螺仪传感器检测所述用户在所述现实场景中的第一方向变化信息；

判断模块，用于判断所述第一行走距离信息和所述第一方向变化信息是否同时获取得到；

第一控制模块，用于如果所述第一行走距离信息和所述第一方向变化信息是同时获取得到，则通过插值平滑方法对所述第一行走距离信息和所述第一方向变化信息进行平滑处理，得到所述第二行走距离信息和所述第二方向变化信息，根据所述第二行走距离信息和所述第二方向变化信息确定所述虚拟模型在所述虚拟场景中的第二运动轨迹，根据所述第二运动轨迹控制所述虚拟模型在所述虚拟场景中运动。

优选地，所述系统还包括：

第二控制模块，用于如果所述第一行走距离信息和所述第一方向变化信息不是同时获取得到，则根据所述第一行走距离信息和所述第一方向变化信息确定所述用户对应的虚拟模型在所述现实场景对应的虚拟场景中的第一运动轨迹，根据所述第一运动轨迹控制所述虚拟模型在所述虚拟场景中运动。

优选地，所述检测模块包括：

设置子模块，用于设置所述加速度传感器的检测参数，所述检测参数包括：连续两次检测的最小时间间隔和最大时间间隔；

第一获取子模块，用于通过所述加速度传感器获取所述用户的前后移动加速度；

滤波子模块，用于根据所述前后移动加速度绘制加速度曲线，利用限幅滤波法滤除所述加速度曲线中在预设阈值范围之外的无效波峰，得到所述加速度曲线中的有效波峰；

第二获取子模块，用于根据所述有效波峰和所述检测参数获取所述第一行走距离信息。

优选地，所述检测模块还包括：

第三获取子模块，用于通过所述陀螺仪传感器获取所述用户在左右方向角速度、前后方向角速度和垂直方向角速度；

第四获取子模块，用于根据所述左右方向角速度、所述前后方向角速度、所述垂直方向角速度和预设的检测时间间隔获取所述用户在左右方向旋转角度、前后方向旋转角度和垂直方向旋转角度，即所述第一方向变化信息。

附图说明

图1为本发明实施例提供的一种现实环境与虚拟环境的交互方法的流程示意图；

图2为本发明另一实施例提供的一种现实环境与虚拟环境的交互方法的流程示意图；

图3为本发明另一实施例提供的一种现实环境与虚拟环境的交互方法的流程示意图；

图4为本发明另一实施例提供的一种现实环境与虚拟环境的交互系统的结构示意图；

图5为本发明另一实施例提供的一种现实环境与虚拟环境的交互系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种现实环境与虚拟环境的交互方法，包括：

S1、通过用户的手持终端内安装的加速度传感器检测用户在现实场景中的第一行走距离信息，通过手持终端内安装的陀螺仪传感器检测用户在现实场景中的第一方向变化信息；

S2、判断第一行走距离信息和第一方向变化信息是否同时获取得到；

S3、如果第一行走距离信息和第一方向变化信息是同时获取得到，则通过插值方法对第一行走距离信息和第一方向变化信息进行平滑处理，得到第二行走距离信息和第二方向变化信息，根据第二行走距离信息和第二方向变化信息确定虚拟模型在虚拟场景中的第二运动轨迹，根据第二运动轨迹控制虚拟模型在虚拟场景中运动。

增强现实技术(AugmentedReality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术能够把虚拟信息(物体、图片、视频、声音等等)融合在现实环境中，将现实世界丰富起来，AR技术日臻成熟的今天，现实和虚拟世界的无缝集成，无论是在游戏中或者体验馆内，都要在虚拟环境中给用户身临其境的体验，特别是方向感。在现实世界中使用AR设备进行游戏体验的时候，使用移动终端的传感器(加速度传感器，陀螺仪传感器等)，将现实世界的移动在虚拟世界中较为真实地模拟出来，旨在给用户更真实的交互体验。

首先，通过加速度传感器和陀螺仪传感器分别获取用户的第一行走距离信息和第一方向变化信息，判断两者是否同时获取到，如果是，则在确定运动轨迹之前，需要对两者进行平滑处理，然后根据平滑处理后的第二行走距离信息和第二方向变化信息确定用户对应的虚拟模型在虚拟环境中的运动轨迹。最后，根据确定好的运动轨迹控制虚拟模型进行运动。

当在现实环境移动的过程中，陀螺仪传感器检测到角度的改变，如果移动和旋转同时发生，则使用Unity3d的Lerp()进行插值运算。现为了避免微小的抖动造成的误判，设置最小的插值单为5°，当陀螺仪传感器检测到当前移动的过程中角度变化大于等于5°，视为方向已改变，虚拟环境中进行相应角度的旋转，如果检测到角度变化小于5°，视为方向没有改变，此时在虚拟环境中直线运动。规定了步幅s，记录一个完整波形所用的时间t，我们认为是完成一步的耗时，根据陀螺仪检测到的角度变化，可计算出该步的终点位置e和平均的旋转速度v，在Unity3d中，使用Translate进行向终点移动的过程中，使用Quaternion.LookRotation()，注视旋转，并且得到距离目标位置的旋转程度四元数，再使用Quaternion.Lerp()对自身的旋转程度和目标位置的旋转程度以及平均的旋转速度v进行插值运算，即可实现在现实场景移动过程中，角度同时变化，在虚拟环境中较平滑进行移动。

具体地，步骤S2之后，还包括：

如果第一行走距离信息和第一方向变化信息不是同时获取得到，则根据第一行走距离信息和第一方向变化信息确定用户对应的虚拟模型在现实场景对应的虚拟场景中的第一运动轨迹，根据第一运动轨迹控制虚拟模型在虚拟场景中运动。

首先，通过加速度传感器和陀螺仪传感器分别获取用户的第一行走距离信息和第一方向变化信息，判断两者是否同时获取到，如果不是，则直接根据第一行走距离信息和第一方向变化信息确定该虚拟模型在虚拟环境中的运动轨迹。最后，根据确定好的运动轨迹控制虚拟模型进行运动。

具体地，如图2所示，步骤S1中，通过用户的手持终端内安装的加速度传感器检测用户在现实场景中的第一行走距离信息的方法具体包括：

A1、设置加速度传感器的检测参数，检测参数包括：连续两次检测的最小时间间隔和最大时间间隔；

A2、通过加速度传感器获取用户的前后移动加速度；

A3、根据前后移动加速度绘制加速度曲线，利用限幅滤波法滤除加速度曲线中在预设阈值范围之外的无效波峰，得到加速度曲线中的有效波峰；

A4、根据有效波峰和检测参数获取第一行走距离信息。

当我们携带的手机有加速度传感器，在进行移动的时候，每当走出了一步，是个加速(迈出步子)到匀速(行走)再到减速(脚落地)的运动过程，此时的空间坐标x，y，z三个方向的加速度会相应改变，在加速的时候，加速度为正值，在匀速的时候，加速度为0，在减速的过程，加速度为负值，如果把加速度的值绘制成一个曲线，把一步的移动过程视为一个周期运动，加速度值最大时为波峰，加速度值最小时候为波谷。在我们反复走动的过程中，加速度的曲线可以看做是反复做周期运动的曲线，此时每走一步都会有一个波峰(加速度最大)，我们可以记录加速度的波形，根据记录的加速度波峰的次数，来记录走动的次数。

设置加速度传感器的参数(包括两次检测的时间最小/最大时间间隔，反应速率等)，注册移动设备后，即可在监听回调函数中得到x-axis，y-axis，z-axis三个浮点型数据，分别对应x，y，z轴加速度，x表示左右移动加速度，y表示前后移动加速度，z表示垂直方向加速度(重力加速度)，我们绘制加速度的曲线图，使用y-axis前后加速度作为加速度的值。

在得到加速度曲线后，要滤除无效波峰，使用限幅滤波法，限制波峰波谷的最大和最小的阈值，对所有的波峰进行遍历采样，滤除在阈值以外的波峰。该滤波方式能有效克服偶然因素引起的干扰，例如突然大幅移动手机，但是也存在无法抑制周期干扰的缺点，如果随机存储器允许，可使用限幅递推平均滤波法，实现较好的滤波效果。在虚拟场景中，规定每走一步对应的距离为D，在得到所有的有效波峰N(所有的步数)后，即可计算出总共移动的距离S＝D*N；此时，实现了在虚拟场景中行走距离的检测。

具体地，如图3所示，步骤S1中，通过手持终端内安装的陀螺仪传感器检测用户在现实场景中的第一方向变化信息的方法具体包括：

B1、通过陀螺仪传感器获取用户在左右方向角速度、前后方向角速度和垂直方向角速度；

B2、根据左右方向角速度、前后方向角速度、垂直方向角速度和预设的检测时间间隔获取用户在左右方向旋转角度、前后方向旋转角度和垂直方向旋转角度，即第一方向变化信息。

与加速度传感器类似，在移动手机的过程中，移动的方向和角度也会改变，此时可以使用陀螺仪传感器测量自身的旋转运动，来精确地实现上下、左右、前后六个方向的角度检测。在陀螺仪检测角度的过程中，陀螺仪传感器的实时返回值为当前的角速度，逆时针旋转，角度为正值，顺时针旋转，角度为负值。坐标轴为手机从左侧到右侧的水平方向为x轴正向，从手机下部到上部为y轴正向，垂直于手机屏幕向上为z轴正向。手机从A位置旋转移动到B位置，要得到B相对A的角度，就要得到A和B的向量夹角α。在陀螺仪传感器中检测到实时的角速度v(弧度)，假设采样A、B的时间间隔为t，夹角α＝v*t，把弧度转换为角度即可得到最终角度β＝α*180/π。在开发过程中，陀螺仪传感器的回调接口返回的为x，y，z三个轴向的角速度，使用以上方式，得到各个方向旋转角度，即可得到当前位置相对初始位置的角度。

如图4所示，一种现实环境与虚拟环境的交互系统，包括：

检测模块1，用于通过用户的手持终端内安装的加速度传感器检测用户在现实场景中的第一行走距离信息，通过手持终端内安装的陀螺仪传感器检测用户在现实场景中的第一方向变化信息；

判断模块2，用于判断第一行走距离信息和第一方向变化信息是否同时获取得到；

第一控制模块3，用于如果第一行走距离信息和第一方向变化信息是同时获取得到，则通过插值平滑方法对第一行走距离信息和第一方向变化信息进行平滑处理，得到第二行走距离信息和第二方向变化信息，根据第二行走距离信息和第二方向变化信息确定虚拟模型在虚拟场景中的第二运动轨迹，根据第二运动轨迹控制虚拟模型在虚拟场景中运动。

具体地，所述系统还包括：

第二控制模块4，用于如果第一行走距离信息和第一方向变化信息不是同时获取得到，则根据第一行走距离信息和第一方向变化信息确定用户对应的虚拟模型在现实场景对应的虚拟场景中的第一运动轨迹，根据第一运动轨迹控制虚拟模型在虚拟场景中运动。

具体地，如图5所示，检测模块1包括：

设置子模块11，用于设置加速度传感器的检测参数，检测参数包括：连续两次检测的最小时间间隔和最大时间间隔；

第一获取子模块12，用于通过加速度传感器获取用户的前后移动加速度；

滤波子模块13，用于根据前后移动加速度绘制加速度曲线，利用限幅滤波法滤除加速度曲线中在预设阈值范围之外的无效波峰，得到加速度曲线中的有效波峰；

第二获取子模块14，用于根据有效波峰和检测参数获取第一行走距离信息。

具体地，如图5所示，检测模块1还包括：

第三获取子模块15，用于通过陀螺仪传感器获取用户在左右方向角速度、前后方向角速度和垂直方向角速度；

第四获取子模块16，用于根据左右方向角速度、前后方向角速度、垂直方向角速度和预设的检测时间间隔获取用户在左右方向旋转角度、前后方向旋转角度和垂直方向旋转角度，即第一方向变化信息。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种现实环境与虚拟环境的交互方法，其特征在于，包括：

S1、通过用户的手持终端内安装的加速度传感器检测所述用户在现实场景中的第一行走距离信息，通过所述手持终端内安装的陀螺仪传感器检测所述用户在所述现实场景中的第一方向变化信息；

S2、判断所述第一行走距离信息和所述第一方向变化信息是否同时获取得到；

S3、如果所述第一行走距离信息和所述第一方向变化信息是同时获取得到，则通过插值方法对所述第一行走距离信息和所述第一方向变化信息进行平滑处理，得到第二行走距离信息和第二方向变化信息，根据所述第二行走距离信息和所述第二方向变化信息确定虚拟模型在虚拟场景中的第二运动轨迹，根据所述第二运动轨迹控制所述虚拟模型在所述虚拟场景中运动；

步骤S1中，通过用户的手持终端内安装的加速度传感器检测所述用户在现实场景中的第一行走距离信息的方法具体包括：

A1、设置所述加速度传感器的检测参数，所述检测参数包括：连续两次检测的最小时间间隔和最大时间间隔；

A2、通过所述加速度传感器获取所述用户的前后移动加速度；

A3、根据所述前后移动加速度绘制加速度曲线，利用限幅滤波法滤除所述加速度曲线中在预设阈值范围之外的无效波峰，得到所述加速度曲线中的有效波峰；

A4、根据所述有效波峰和所述检测参数获取所述第一行走距离信息。

2.根据权利要求1所述的一种现实环境与虚拟环境的交互方法，其特征在于，步骤S2之后，还包括：

如果所述第一行走距离信息和所述第一方向变化信息不是同时获取得到，则根据所述第一行走距离信息和所述第一方向变化信息确定所述用户对应的虚拟模型在所述现实场景对应的虚拟场景中的第一运动轨迹，根据所述第一运动轨迹控制所述虚拟模型在所述虚拟场景中运动。

3.根据权利要求1或2所述的一种现实环境与虚拟环境的交互方法，其特征在于，步骤S1中，通过所述手持终端内安装的陀螺仪传感器检测所述用户在所述现实场景中的第一方向变化信息的方法具体包括：

B1、通过所述陀螺仪传感器获取所述用户在左右方向角速度、前后方向角速度和垂直方向角速度；

B2、根据所述左右方向角速度、所述前后方向角速度、所述垂直方向角速度和预设的检测时间间隔获取所述用户在左右方向旋转角度、前后方向旋转角度和垂直方向旋转角度，即所述第一方向变化信息。

4.一种现实环境与虚拟环境的交互系统，其特征在于，包括：

检测模块，用于通过用户的手持终端内安装的加速度传感器检测所述用户在现实场景中的第一行走距离信息，通过所述手持终端内安装的陀螺仪传感器检测所述用户在所述现实场景中的第一方向变化信息；

判断模块，用于判断所述第一行走距离信息和所述第一方向变化信息是否同时获取得到；

第一控制模块，用于如果所述第一行走距离信息和所述第一方向变化信息是同时获取得到，则通过插值平滑方法对所述第一行走距离信息和所述第一方向变化信息进行平滑处理，得到第二行走距离信息和第二方向变化信息，根据所述第二行走距离信息和所述第二方向变化信息确定虚拟模型在虚拟场景中的第二运动轨迹，根据所述第二运动轨迹控制所述虚拟模型在所述虚拟场景中运动；

所述检测模块包括：

设置子模块，用于设置所述加速度传感器的检测参数，所述检测参数包括：连续两次检测的最小时间间隔和最大时间间隔；

第一获取子模块，用于通过所述加速度传感器获取所述用户的前后移动加速度；

滤波子模块，用于根据所述前后移动加速度绘制加速度曲线，利用限幅滤波法滤除所述加速度曲线中在预设阈值范围之外的无效波峰，得到所述加速度曲线中的有效波峰；

第二获取子模块，用于根据所述有效波峰和所述检测参数获取所述第一行走距离信息。

5.根据权利要求4所述的一种现实环境与虚拟环境的交互系统，其特征在于，所述系统还包括：

第二控制模块，用于如果所述第一行走距离信息和所述第一方向变化信息不是同时获取得到，则根据所述第一行走距离信息和所述第一方向变化信息确定所述用户对应的虚拟模型在所述现实场景对应的虚拟场景中的第一运动轨迹，根据所述第一运动轨迹控制所述虚拟模型在所述虚拟场景中运动。

6.根据权利要求4或5所述的一种现实环境与虚拟环境的交互系统，其特征在于，所述检测模块还包括：

第三获取子模块，用于通过所述陀螺仪传感器获取所述用户在左右方向角速度、前后方向角速度和垂直方向角速度；

第四获取子模块，用于根据所述左右方向角速度、所述前后方向角速度、所述垂直方向角速度和预设的检测时间间隔获取所述用户在左右方向旋转角度、前后方向旋转角度和垂直方向旋转角度，即所述第一方向变化信息。

Images