CN107066092B - Vr运行空间动态检测与参数化虚拟场景重构系统与方法 - Google Patents

Vr运行空间动态检测与参数化虚拟场景重构系统与方法 Download PDF

Info

Publication number
CN107066092B
CN107066092B CN201710165993.1A CN201710165993A CN107066092B CN 107066092 B CN107066092 B CN 107066092B CN 201710165993 A CN201710165993 A CN 201710165993A CN 107066092 B CN107066092 B CN 107066092B
Authority
CN
China
Prior art keywords
module
dimensional space
virtual
space
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710165993.1A
Other languages
English (en)
Other versions
CN107066092A (zh
Inventor
张金艺
李鹏
苏全程
何利康
韩国川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Transpacific Technology Development Ltd
Original Assignee
Beijing Transpacific Technology Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Transpacific Technology Development Ltd filed Critical Beijing Transpacific Technology Development Ltd
Priority to CN201710165993.1A priority Critical patent/CN107066092B/zh
Publication of CN107066092A publication Critical patent/CN107066092A/zh
Application granted granted Critical
Publication of CN107066092B publication Critical patent/CN107066092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明涉及一种VR运行空间动态检测与参数化虚拟场景重构系统与方法。其系统由激光雷达单元、三维空间成像单元、场景虚拟单元、虚拟场景再现单元组成；采用本发明，不仅可以实现VR使用对象在运行空间自由移动，摆脱现行仅束缚于专用固定座椅、专用固定站台等的运行模式，还可以捕获VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等三维空间实体复合参数，并根据获取的三维空间实体复合参数信息将VR运行空间虚拟化为用户指定的虚拟场景，同时可以实现多VR使用对象之间的数据融合与互动式游戏体验。本发明系统结构简单，操作简便，性能优越，适合于各种VR运行空间三维空间实体复合参数的捕获与虚拟化体验。

Description

VR运行空间动态检测与参数化虚拟场景重构系统与方法
技术领域
本发明涉及一种VR运行空间虚拟场景重构系统与方法，特别是一种VR运行空间动态检测与参数化虚拟场景重构系统与方法。
背景技术
虚拟现实技术（Virtual Reality，VR），即利用计算机技术模拟产生三维的虚拟世界，让使用者及时、无限制地感知虚拟空间的事物。目前，在VR游戏体验中为了实时获取VR头显及手柄等VR设备的空间位置，很多VR体验游戏都是采用将使用对象束缚在专用固定座椅或者站台上的模式，通过VR空间定位技术实时获取VR设备的空间位置。VR空间定位技术是VR领域的一项关键技术，可以定位VR头显及手柄等VR设备在空间的实时位置，具有空间定位的VR设备不仅能更好的提供沉浸感，其产生的眩晕感也会大幅降低，整个画面可以像现实世界中一样根据我们的移动而真的动起来。目前，VR厂商使用的空间定位技术都是采用外围设备捕捉身体上携带的传感器的位置变化，结合虚拟现实技术实现身体动作与虚拟环境的同步，使人有身临其境的感觉。但是，这种空间定位技术需要在VR运行环境中布设一些外围的传感器，比如摄像机、红外接收设备等，使用环境相对固定，不能适用没有布设外围传感器的VR运行空间，而且可以体验的虚拟场景是固定不变，不能根据使用者的偏好自行设定。
本发明提出VR运行空间动态检测与参数化虚拟场景重构系统与方法具有明显优势。采用本发明，不仅可以实现VR使用对象在运行空间自由移动，摆脱现行仅束缚于专用固定座椅、专用固定站台等的运行模式，还可以获取VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等三维空间实体复合参数，并根据获取的三维空间实体复合参数信息将VR运行空间虚拟化为用户设定的虚拟场景，同时可以实现多VR使用对象之间的数据融合与互动式游戏体验。本发明系统结构简单，操作简便，性能优越，适合于各种VR运行空间三维空间实体复合参数的捕获与虚拟化体验。
通过VR头显平台搭载的激光雷达单元能够实时捕获VR运行空间三维空间实体复合参数；通过VR头显平台搭载的空间位姿感知模块能够实时获取VR使用对象的位姿数据，更为精确的监测VR使用对象的运动状态；通过捕获的VR运行空间三维空间实体复合参数信息和VR使用对象的位姿信息可以实现实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等；通过构建的三维空间实体复合参数信息可将VR运行空间虚拟化为用户设定的虚拟场景。使用单个VR头显平台只能依靠单个激光雷达单元捕获三维空间实体复合参数，效率比较低，而且不能实现多个VR使用对象之间的互动式游戏体验，而本发明所采用的VR运行空间动态检测与参数化虚拟场景重构系统与方法还可以通过VR头显平台搭载的无线自组网模块实现两个或多个平台共同捕获三维空间实体复合参数，并进行数据融合和信息交互，提高了三维空间实体复合参数构建的效率，并可以实现多个VR使用对象之间的互动式游戏体验。
发明内容
本发明目的在于针对目前VR设备中无法实现VR使用对象在运行空间自由移动，摆脱现行仅束缚于专用固定座椅或者固定站台的运行模式，提出一种VR运行空间动态检测与参数化虚拟场景重构系统与方法，其统结构简单，操作简便，性能优越，适合于各种VR运行空间三维空间实体复合参数的捕获与虚拟化体验。
为了达到上述的目的，本发明采用如下的技术方案：
一种VR运行空间动态检测与参数化虚拟场景重构系统，捕获VR运行空间的三维空间实体复合参数，并能通过场景虚拟单元对VR运行空间进行虚拟化建模，该系统通过无线方式进行多用户之间的自组网，实现多用户之间的数据融合与互动式游戏体验。其系统主要由激光雷达单元、三维空间成像单元、场景虚拟单元和虚拟场景再现单元组成，其基本特征在于：上述激光雷达单元与三维空间成像单元之间以有线方式连接；上述三维空间成像单元与场景虚拟单元之间以有线方式连接；上述场景虚拟单元与虚拟场景再现单元之间以有线方式连接。
上述激光雷达单元包括：激光器模块、垂直旋转模块、激光雷达控制模块和水平旋转模块，上述激光雷达控制模块连接激光器模块、垂直旋转模块、水平旋转模块、三维空间成像模块；上述激光雷达单元通过激光器模块捕获环境的二维深度信息，通过水平旋转模块控制水平扫描的频率，通过垂直旋转模块给激光器模块增加一个自由度，将二维深度信息扩展为三维深度信息，并控制垂直扫描的频率。
上述三维空间成像单元包括：三维空间成像模块和空间位姿感知模块，上述三维空间成像模块连接空间位姿感知模块、激光雷达控制模块、三维空间虚拟模块；上述三维空间成像模块接收激光雷达单元发送的环境观测数据和空间位姿感知模块发送的空间位姿数据进行实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等。
上述场景虚拟单元单元包括：图像处理模块、三维空间虚拟模块、音效处理模块和无线自组网模块，上述三维空间虚拟模块连接三维空间成像模块、图像处理模块、音效处理模块和无线自组网模块；上述图像处理模块连接图像显示模块；上述音效处理模块连接音效播放模块；在单用户模式时，上述三维空间虚拟模块首先接收三维空间成像单元发送的数据，并根据接收的三维空间实体复合参数将VR运行空间虚拟化为用户设定的场景，并通过图像处理模块和音效处理模块对图像和音效、语音等进行预处理；如果为多用户模式，上述三维空间虚拟模块首先接收三维空间成像单元发送的数据，然后通过无线自组网模块实现多用户之间的数据共享，其次三维空间虚拟模块将多个用户的三维空间实体复合参数进行数据融合，并根据融合的数据将VR运行空间虚拟化为用户设定的场景，最后通过图像处理模块和音效处理模块对图像和音效、语音等进行预处理。
上述虚拟场景再现单元包括：图像显示模块和音效播放模块，上述图像显示模块连接图像处理模块，音效播放模块连接音效处理模块；上述图像显示模块将图像处理模块预处理之后的虚拟空间图像信息显示在VR使用者眼前；上述音效播放模块将音效处理模块预处理之后的音效、语音等信息播放给VR使用者。
一种VR运行空间动态检测与参数化虚拟场景重构方法，采用上述系统进行操作，其特征在于：工作流程包括：1）捕获三维空间实体复合参数流程，2）实时定位与构建空间三维实体复合参数流程，3）虚拟化三维空间与再现虚拟场景流程，4）无线自组网流程。
上述操作步骤捕获三维空间实体复合参数工作流程：激光雷达控制模块首先进行初始化，然后激光雷达控制模块控制垂直旋转模块和水平旋转模块分别按照设定的频率旋转，记此时垂直旋转模块旋转过的角度为α，水平旋转模块旋转过的角度为θ；激光雷达控制模块根据垂直旋转模块和水平旋转模块的旋转频率，控制激光器模块按照匹配的频率发射和接收电磁波并计算出此时激光器模块到空间实体的距离，记此时的距离为d；激光雷达控制模块将垂直旋转模块垂直旋转过的角度α和水平旋转模块水平旋转过的角度θ以及激光器模块获取的环境观测距离信息d和时间信息t以（α，θ，d，t）的组合形式表示；其次，激光雷达控制模块将数据（α，θ，d，t）进行编码压缩，并发送到三维空间处理单元。
上述操作步骤实时定位与构建三维空间实体复合参数流程：三维空间成像模块首先进行初始化，然后三维空间成像模块接收激光雷达单元发送的环境观测数据，并进行解压缩和解码操作获得激光雷达的环境观测数据（α，θ，d，t）；同时，三维空间成像模块接收空间位姿感知模块实时获取的空间位姿数据，并根据接收的环境观测数据（α，θ，d，t）和空间位姿数据进行实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等；其次，三维空间成像模块将接收的空间位姿数据以及构建的三维空间实体复合参数等信息进行编码压缩，并发送到场景虚拟单元。
上述操作步骤虚拟化三维空间与再现虚拟场景流程：三维空间虚拟模块首先接收三维空间成像单元发送的数据，并进行解压缩与解码操作，根据接收的三维空间实体复合参数判断VR运行空间是否可以进行虚拟化，如果VR运行空间不符合三维空间虚拟化的条件，三维空间虚拟模块将不对VR运行空间进行虚拟化操作，并结束虚拟化三维空间与再现虚拟场景；如果该VR运行空间可以进行三维空间的虚拟化，三维空间虚拟模块将继续判断当前是否为多用户模式，如果目前场景为单用户模式，则三维空间虚拟模块将根据从三维空间成像单元接收到的三维空间实体复合参数把VR运行空间虚拟化为用户设定的场景，并为该虚拟场景增加虚拟音效；如果当前模式为多用户模式，三维空间虚拟模块首先接收三维空间成像单元发送的数据，然后通过无线自组网模块与其他用户的无线自组网模块进行无线自组网，建立多用户之间的互联互通链路，实现多用户之间的数据共享，其次三维空间虚拟模块将多个用户的三维空间实体复合参数进行数据融合，并根据融合的数据将VR运行空间虚拟化为用户设定的场景，并通过无线自组网模块实现多用户之间虚拟场景信息的协同，最后三维空间虚拟模块将为虚拟空间增加虚拟音效并实现多用户之间的语音互动；三维空间虚拟化完成之后，三维空间虚拟模块将虚拟场景通过图像处理模块对虚拟空间图像进行可视化处理，并通过图像显示模块再现虚拟场景，将虚拟场景呈现在用户眼前，同时三维空间虚拟模块将虚拟音效和语音信息通过音效处理模块进行预处理，并通过音效播放模块再现虚拟音效和语音信息。
上述操作步骤无线自组网流程：无线自组网模块首先进行初始化，然后搜索附近可连接的其他用户的无线自组网模块，如果周围不存在可连接的用户，则每隔一定时间继续搜索附近的可连接用户；如果周围环境中存在可连接用户，则向可连接用户发送连接请求码，连接请求码中包含本请求连接用户的身份信息，若是搜索到周围环境中存在多个可连接设备，则向所有可被连接设备发送连接请求；如果可连接用户允许该请求用户的连接请求，则向该请求连接用户发送连接请求许可码，许可码中包含可连接用户的身份信息和与该可连接用户已经建立连接的其他用户的身份信息，接受到请求确认码之后，请求连接用户与可连接用户建立连接，并且当搜索到确认码中包含的其他用户时，可自动与之建立连接，不在需要发送连接请求；如果可连接用户拒绝请求用户的连接请求，则向请求连接用户发送连接请求拒绝码，拒绝码中包含可连接用户的身份信息和与该可连接用户已经建立连接的其他用户的身份信息，接受到请求拒绝码之后，请求连接用户停止连接请求，并且当搜索到拒绝码中包含的其他用户时，也不在发送连接请求。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著的技术进步：本发明不仅可以实现实现VR使用对象在运行空间自由移动，摆脱现行仅束缚于专用固定座椅、专用固定站台等的运行模式，还可以获取VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等三维空间实体复合参数，并根据获取的三维空间实体复合参数信息将VR运行空间虚拟化为用户设定的虚拟场景，同时可以实现多VR使用对象之间的数据融合与互动式游戏体验。本发明系统结构简单，操作简便，性能优越，适合于各种VR运行空间三维空间实体复合参数的捕获与虚拟化体验。
附图说明
图1是本发明一个示例系统结构图。
图2是本发明激光雷达单元结构图。
图3是图1示例的捕获三维空间实体复合参数流程。
图4是图1示例的实时定位与构建三维空间实体复合参数流程。
图5是图1示例的虚拟化三维空间与再现虚拟场景流程。
图6是图1示例的无线自组网流程。
具体实施方式
本发明的优先实施例结合附图详述如下：
实施例一：
参见图1，本VR运行空间动态检测与参数化虚拟场景重构系统与，包括激光雷达单元（1）、三维空间成像单元（2）、场景虚拟单元（3）和虚拟场景再现单元（4），其基本特征在于：所述激光雷达单元（1）与三维空间成像单元（2）之间以有线方式连接；所述三维空间成像单元（2）与场景虚拟单元（3）之间以有线方式连接；所述场景虚拟单元（3）与虚拟场景再现单元（4）之间以有线方式连接。
实施例二：本实例与实施例一基本相同，特别之处如下：
参见图1，激光雷达单元（1）包含：激光器模块（1.1）、垂直旋转模块（1.2）、激光雷达控制模块（1.3）和水平旋转模块（1.4），所述激光雷达控制模块（1.3）连接激光器模块（1.1）、垂直旋转模块（1.2）、水平旋转模块（1.4）、三维空间成像模块（2.1）；所述激光雷达单元（1）通过激光器模块（1.1）捕获环境的二维深度信息，通过水平旋转模块（1.4）控制水平扫描的频率，通过垂直旋转模块（1.2）给激光器模块（1.1）增加一个自由度，将二维深度信息扩展为三维深度信息，并控制垂直扫描的频率。
参考图1、图2和图5，激光雷达单元（1）中的激光器模块（1.1）对应于激光雷达单元结构图（5）中的激光器模块（1.1），激光雷达单元（1）中的垂直旋转模块（1.2）对应于激光雷达单元结构图（5）中的垂直旋转模块（1.2），激光雷达单元（1）中的水平旋转模块（1.4）对应于激光雷达单元结构图（5）中的水平旋转模块（1.4）；所述水平旋转模块（1.4）可以沿水平方向旋转，带动旋转机构设备舱（8）、垂直旋转模块（1.2）、激光器模块（1.1）以及激光器模块（1.1）上的激光发射器（5）和激光接收器（6）一起水平旋转；所述垂直旋转模块（1.2）可以沿垂直方向旋转，通过垂直转轴（7）带动激光器模块（1.1）以及激光器模块（1.1）上的激光发射器（5）和激光接收器（6）一起垂直旋转；所述垂直旋转模块（1.2）和水平旋转模块（1.4）固定于旋转机构设备舱（8）内；所述旋转机构设备舱（8）固定于激光雷达单元支撑杆（9）的顶端；所述激光雷达单元支撑杆（9）固定于VR头显设备（10）的上部。
参考图1，三维空间成像单元（2）包含：三维空间成像模块（2.1）、空间位姿感知模块（2.2），所述三维空间成像模块（2.1）连接空间位姿感知模块（2.2）、激光雷达控制模块（1.3）、三维空间虚拟模块（3.2）。所述三维空间成像模块（2.1）接收激光雷达单元（1）发送的环境观测数据和空间位姿感知模块（2.2）发送的空间位姿数据进行实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等。
参考图1，场景虚拟单元（3）包含：图像处理模块（3.1）、三维空间虚拟模块（3.2）、音效处理模块（3.3）和无线自组网模块（3.4），所述三维空间虚拟模块（3.2）连接三维空间成像模块（2.1）、图像处理模块（3.1）、音效处理模块（3.3）、无线自组网模块（3.4）；所述图像处理模块（3.1）连接图像显示模块（4.1）；所述音效处理模块（3.3）连接音效播放模块（4.2）；在单用户模式时，所述三维空间虚拟模块（3.2）首先接收三维空间成像单元（2）发送的数据，并根据接收的三维空间实体复合参数将VR运行空间虚拟化为用户设定的场景，并通过图像处理模块（3.1）和音效处理模块（3.3）对图像和音效、语音等进行预处理；如果为多用户模式，所述三维空间虚拟模块（3.2）首先接收三维空间成像单元（2）发送的数据，然后通过无线自组网模块（3.4）实现多用户之间的数据共享，其次三维空间虚拟模块（3.2）将多个用户的三维空间实体复合参数进行数据融合，并根据融合的数据将VR运行空间虚拟化为用户设定的场景，最后通过图像处理模块（3.1）和音效处理模块（3.3）对图像和音效、语音等进行预处理。
参考图1，虚拟场景再现单元（4）包含：图像显示模块（4.1）、音效播放模块（4.2），所述图像显示模块（4.1）连接图像处理模块（3.1）；所述音效播放模块（4.2）连接音效处理模块（3.3）；所述图像显示模块（4.1）将图像处理模块（3.1）预处理之后的虚拟空间图像信息显示在VR使用者眼前；所述音效播放模块（4.2）将音效处理模块（3.3）预处理之后的音效、语音等信息播放给VR使用者。
实施例三：本VR运行空间动态检测与参数化虚拟场景重构方法采用上述进行操作，其特征包括如下操作流程：1）捕获三维空间实体复合参数流程，2）实时定位与构建三维空间实体复合参数流程，3）虚拟化三维空间与再现虚拟场景流程，4）无线自组网流程。
实施例四：本实例与实施例三基本相同，特别之处在于如下：
参见图3，操作步骤捕获三维空间复合参数工作流程：激光雷达控制模块（1.3）首先进行初始化，然后激光雷达控制模块（1.3）控制垂直旋转模块（1.2）和水平旋转模块（1.4）分别按照设定的频率旋转，记此时垂直旋转模块旋转过的角度为α，水平旋转模块旋转过的角度为θ；激光雷达控制模块（1.3）根据垂直旋转模块（1.2）和水平旋转模块（1.4）的旋转频率，控制激光器模块（1.1）按照匹配的频率发射和接收电磁波并计算出此时激光器模块（1.1）到空间实体的距离，记此时的距离为d；激光雷达控制模块（1.3）将垂直旋转模块（1.2）垂直旋转过的角度α和水平旋转模块（1.4）水平旋转过的角度θ以及激光器模块（1.1）获取的环境观测距离信息d和时间信息t以（α，θ，d，t）的组合形式表示；其次，激光雷达控制模块（1.3）将数据（α，θ，d，t）进行编码压缩，并发送到三维空间处理单元（2）。
参见图4，操作步骤实时定位与构建三维空间实体复合参数流程：三维空间成像模块（2.1）首先进行初始化，然后三维空间成像模块（2.1）接收激光雷达单元（1）发送的环境观测数据，并进行解压缩和解码操作获得激光雷达的环境观测数据（α，θ，d，t）；同时，三维空间成像模块（2.1）接收空间位姿感知模块（2.2）实时获取的空间位姿数据，并根据接收的环境观测数据（α，θ，d，t）和空间位姿数据进行实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等；其次，三维空间成像模块（2.1）将接收的空间位姿数据以及构建的三维空间实体复合参数等信息进行编码压缩，并发送到场景虚拟单元（3）。
参见图5，操作步骤虚拟化三维空间与再现虚拟场景流程：三维空间虚拟模块（3.2）首先接收三维空间成像单元（2）发送的数据，并进行解压缩与解码操作，根据接收的三维空间实体复合参数判断VR运行空间是否可以进行虚拟化，如果VR运行空间不符合三维空间虚拟化的条件，三维空间虚拟模块（3.2）将不对VR运行空间进行虚拟化操作，并结束虚拟化三维空间与再现虚拟场景流程（13）；如果该VR运行空间可以进行三维空间的虚拟化，三维空间虚拟模块（3.2）将继续判断当前是否为多用户模式，如果目前场景为单用户模式，则三维空间虚拟模块（3.2）将根据从三维空间成像单元（2）接收到的三维空间实体复合参数把VR运行空间虚拟化为用户设定的场景，并为该虚拟场景增加虚拟音效；如果当前模式为多用户模式，三维空间虚拟模块（3.2）首先接收三维空间成像单元（2）发送的数据，然后通过无线自组网模块（3.4）与其他用户的无线自组网模块进行无线自组网，建立多用户之间的互联互通链路，实现多用户之间的数据共享，其次三维空间虚拟模块（3.2）将多个用户的三维空间实体复合参数进行数据融合，并根据融合的数据将VR运行空间虚拟化为用户设定的场景，并通过无线自组网模块（3.4）实现多用户之间虚拟场景信息的协同，最后三维空间虚拟模块（3.2）将为虚拟空间增加虚拟音效并实现多用户之间的语音互动；三维空间虚拟化完成之后，三维空间虚拟模块（3.2）将虚拟场景通过图像处理模块（3.1）对虚拟空间图像进行可视化处理，并通过图像显示模块（4.1）再现虚拟场景，将虚拟场景呈现在用户眼前，同时三维空间虚拟模块（3.2）将虚拟音效和语音信息通过音效处理模块（3.3）进行预处理，并通过音效播放模块（4.2）再现虚拟音效和语音信息。
参见图6，操作步骤无线自组网流程：无线自组网模块（3.4）首先进行初始化，然后搜索附近可连接的其他用户的无线自组网模块，如果周围不存在可连接的用户，则每隔一定时间继续搜索附近的可连接用户；如果周围环境中存在可连接用户，则向可连接用户发送连接请求码，连接请求码中包含本请求连接用户的身份信息，若是搜索到周围环境中存在多个可连接设备，则向所有可被连接设备发送连接请求；如果可连接用户允许该请求用户的连接请求，则向该请求连接用户发送连接请求许可码，许可码中包含可连接用户的身份信息和与该可连接用户已经建立连接的其他用户的身份信息，接受到请求确认码之后，请求连接用户与可连接用户建立连接，并且当搜索到确认码中包含的其他用户时，可自动与之建立连接，不在需要发送连接请求；如果可连接用户拒绝请求用户的连接请求，则向请求连接用户发送连接请求拒绝码，拒绝码中包含可连接用户的身份信息和与该可连接用户已经建立连接的其他用户的身份信息，接受到请求拒绝码之后，请求连接用户停止连接请求，并且当搜索到拒绝码中包含的其他用户时，也不在发送连接请求。

Claims (3)

1.一种VR运行空间动态检测与参数化虚拟场景重构系统，包括激光雷达单元(1)、三维空间成像单元(2)、场景虚拟单元(3)和虚拟场景再现单元(4)，其特征在于：所述激光雷达单元(1)与三维空间成像单元(2)之间以有线方式连接；所述三维空间成像单元(2)与场景虚拟单元(3)之间以有线方式连接；所述场景虚拟单元(3)与虚拟场景再现单元(4)之间以有线方式连接；
所述激光雷达单元(1)包含激光器模块(1.1)、垂直旋转模块(1.2)、激光雷达控制模块(1.3)和水平旋转模块(1.4)，所述激光雷达控制模块(1.3)连接激光器模块(1.1)、垂直旋转模块(1.2)、水平旋转模块(1.4)和三维空间成像单元(2)中的一个三维空间成像模块(2.1)；所述激光雷达单元(1)通过激光器模块(1.1)捕获环境的二维深度信息，通过水平旋转模块(1.4)控制水平扫描的频率，通过垂直旋转模块(1.2)给激光器模块(1.1)增加一个自由度，将二维深度信息扩展为三维深度信息，并控制垂直扫描的频率；
所述三维空间成像单元(2)包含三维空间成像模块(2.1)和空间位姿感知模块(2.2)，所述三维空间成像模块(2.1)连接空间位姿感知模块(2.2)、激光雷达控制模块(1.3)和场景虚拟单元(3)中的一个三维空间虚拟模块(3.2)；所述三维空间成像模块(2.1)接收激光雷达单元(1)发送的环境观测数据和空间位姿感知模块(2.2)发送的空间位姿数据进行实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数和时间参数；
所述场景虚拟单元(3)包含图像处理模块(3.1)、三维空间虚拟模块(3.2)、音效处理模块(3.3)、无线自组网模块(3.4)，所述三维空间虚拟模块(3.2)连接三维空间成像模块(2.1)、图像处理模块(3.1)、音效处理模块(3.3)、无线自组网模块(3.4)；所述图像处理模块(3.1)连接虚拟场景再现单元(4)中的一个图像显示模块(4.1)；所述音效处理模块(3.3)连接虚拟场景再现单元(4)中的一个音效播放模块(4.2)；在单用户模式时，所述三维空间虚拟模块(3.2)首先接收三维空间成像单元(2)发送的数据，并根据接收的三维空间实体复合参数将VR运行空间虚拟化为用户设定的场景，并通过图像处理模块(3.1)和音效处理模块(3.3)对图像和音效、语音进行预处理；如果为多用户模式，所述三维空间虚拟模块(3.2)首先接收三维空间成像单元(2)发送的数据，然后通过无线自组网模块(3.4)实现多用户之间的数据共享，其次三维空间虚拟模块(3.2)将多个用户的三维空间实体复合参数进行数据融合，并根据融合的数据将VR运行空间虚拟化为用户设定的场景，最后通过图像处理模块(3.1)和音效处理模块(3.3)对图像和音效、语音进行预处理；
所述虚拟场景再现单元(4)包含图像显示模块(4.1)和音效播放模块(4.2)；所述图像显示模块(4.1)连接图像处理模块(3.1)；所述音效播放模块(4.2)连接音效处理模块(3.3)；所述图像显示模块(4.1)将图像处理模块(3.1)预处理之后的虚拟空间图像信息显示在VR使用者眼前；所述音效播放模块(4.2)将音效处理模块(3.3)预处理之后的音效、语音等信息播放给VR使用者。
2.根据权利要求1所述的VR运行空间动态检测与参数化虚拟场景重构系统，其特征在于所述激光雷达单元(1)的结构是：所述水平旋转模块(1.4)转动安装在一个激光雷达单元支撑杆(9)的顶端而可以沿水平方向旋转，带动一个旋转机构设备舱(8)；该旋转机构设备舱(8)的一端安装垂直旋转模块(1.2)，垂直旋转模块(1.2)连接传动激光器模块(1.1)以及安装在激光器模块(1.1)上的一个激光发射器(5)和一个激光接收器(6)一起水平旋转；所述垂直旋转模块(1.2)沿垂直方向旋转，通过一根垂直转轴(7)带动激光器模块(1.1)以及激光器模块(1.1)上的激光发射器(5)和激光接收器(6)一起垂直旋转；所述激光雷达单元支撑杆(9)固定于VR头显设备(10)的上部。
3.一种VR运行空间动态检测与参数化虚拟场景重构方法，采用权利要求1所述的VR运行空间动态检测与参数化虚拟场景重构系统进行操作，其特征在于工作流程包括：
1)捕获三维空间实体复合参数流程，操作步骤包括：
激光雷达控制模块(1.3)首先进行初始化，然后激光雷达控制模块(1.3)控制垂直旋转模块(1.2)和水平旋转模块(1.4)分别按照设定的频率旋转，记此时垂直旋转模块旋转过的角度为α，水平旋转模块旋转过的角度为θ；激光雷达控制模块(1.3)根据垂直旋转模块(1.2)和水平旋转模块(1.4)的旋转频率，控制激光器模块(1.1)按照匹配的频率发射和接收电磁波并计算出此时激光器模块(1.1)到空间实体的距离，记此时的距离为d；激光雷达控制模块(1.3)将垂直旋转模块(1.2)垂直旋转过的角度α和水平旋转模块(1.4)水平旋转过的角度θ以及激光器模块(1.1)获取的环境观测距离信息d和时间信息t以(α，θ，d，t)的组合形式表示；其次，激光雷达控制模块(1.3)将数据(α，θ，d，t)进行编码压缩，并发送到三维空间处理单元(2)；最后，激光雷达控制模块(1.3)判断是否得到结束捕获三维空间实体复合参数流程指令，如果得到了结束指令，则结束捕获三维空间实体复合参数流程，否则将继续进行捕获三维空间实体复合参数流程；
2)实时定位与构建三维空间实体复合参数流程，操作步骤包括：
三维空间成像模块(2.1)首先进行初始化，然后三维空间成像模块(2.1)接收激光雷达单元(1)发送的环境观测数据，并进行解压缩和解码操作获得激光雷达的环境观测数据(α，θ，d，t)；同时，三维空间成像模块(2.1)接收空间位姿感知模块(2.2)实时获取的空间位姿数据，并根据接收的环境观测数据(α，θ，d，t)和空间位姿数据进行实时定位与构建三维空间实体复合参数，其中三维空间实体复合参数包括VR运行空间中动静态实体的绝对距离参数、相对距离参数、时间参数等；其次，三维空间成像模块(2.1)将接收的空间位姿数据以及构建的三维空间实体复合参数等信息进行编码压缩，并发送到场景虚拟单元(3)；最后，三维空间成像模块(2.1)判断是否得到结束实时定位与构建三维空间实体复合参数流程的指令，如果得到结束指令，则结束实时定位与构建三维空间实体复合参数流程，否则将继续进行实时定位与构建三维空间实体复合参数流程；
3)虚拟化三维空间与再现虚拟场景流程，操作步骤包括：
三维空间虚拟模块(3.2)首先接收三维空间成像单元(2)发送的数据，并进行解压缩与解码操作，根据接收的三维空间实体复合参数判断VR运行空间是否可以进行虚拟化，如果VR运行空间不符合三维空间虚拟化的条件，三维空间虚拟模块(3.2)将不对VR运行空间进行虚拟化操作，并结束虚拟化三维空间与再现虚拟场景流程；如果该VR运行空间可以进行三维空间的虚拟化，三维空间虚拟模块(3.2)将继续判断当前是否为多用户模式，如果目前场景为单用户模式，则三维空间虚拟模块(3.2)将根据从三维空间成像单元(2)接收到的三维空间实体复合参数把VR运行空间虚拟化为用户设定的场景，并为该虚拟场景增加虚拟音效；如果当前模式为多用户模式，三维空间虚拟模块(3.2)首先接收三维空间成像单元(2)发送的数据，然后通过无线自组网模块(3.4)与其他用户的无线自组网模块进行无线自组网，建立多用户之间的互联互通链路，实现多用户之间的数据共享，其次三维空间虚拟模块(3.2)将多个用户的三维空间实体复合参数进行数据融合，并根据融合的数据将VR运行空间虚拟化为用户设定的场景，并通过无线自组网模块(3.4)实现多用户之间虚拟场景信息的协同，最后三维空间虚拟模块(3.2)将为虚拟空间增加虚拟音效并实现多用户之间的语音互动；三维空间虚拟化完成之后，三维空间虚拟模块(3.2)将虚拟场景通过图像处理模块(3.1)对虚拟空间图像进行可视化处理，并通过图像显示模块(4.1)再现虚拟场景，将虚拟场景呈现在用户眼前，同时三维空间虚拟模块(3.2)将虚拟音效和语音信息通过音效处理模块(3.3)进行预处理，并通过音效播放模块(4.2)再现虚拟音效和语音信息；最后，三维空间虚拟模块(3.2)判断是否得到结束虚拟化三维空间与再现虚拟场景流程指令，如果得到结束指令，则结束虚拟化三维空间与再现虚拟场景流程，否则将继续进行虚拟化三维空间与再现虚拟场景流程；
4)无线自组网流程，操作步骤包括：
无线自组网模块(3.4)首先进行初始化，然后搜索附近可连接的其他用户的无线自组网模块，如果周围不存在可连接的用户，则每隔一定时间继续搜索附近的可连接用户；如果周围环境中存在可连接用户，则向可连接用户发送连接请求码，连接请求码中包含本请求连接用户的身份信息，若是搜索到周围环境中存在多个可连接设备，则向所有可被连接设备发送连接请求；如果可连接用户允许该请求连接 用户的连接请求，则向该请求连接用户发送连接请求许可码，许可码中包含可连接用户的身份信息和与该可连接用户已经建立连接的其他用户的身份信息，接受到请求确认码之后，请求连接用户与可连接用户建立连接，并且当搜索到确认码中包含的其他用户时，可自动与之建立连接，不在需要发送连接请求；如果可连接用户拒绝请求用户的连接请求，则向请求连接用户发送连接请求拒绝码，拒绝码中包含可连接用户的身份信息和与该可连接用户已经建立连接的其他用户的身份信息，接受到请求拒绝码之后，请求连接用户停止连接请求，并且当搜索到拒绝码中包含的其他用户时，也不在发送连接请求；最后无线自组网模块(3.4)判断是否得到结束无线自组网流程的指令，如果得到结束指令，则结束无线自组网流程，否则将继续进行无线自组网流程。
CN201710165993.1A 2017-03-20 2017-03-20 Vr运行空间动态检测与参数化虚拟场景重构系统与方法 Active CN107066092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710165993.1A CN107066092B (zh) 2017-03-20 2017-03-20 Vr运行空间动态检测与参数化虚拟场景重构系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710165993.1A CN107066092B (zh) 2017-03-20 2017-03-20 Vr运行空间动态检测与参数化虚拟场景重构系统与方法

Publications (2)

Publication Number Publication Date
CN107066092A CN107066092A (zh) 2017-08-18
CN107066092B true CN107066092B (zh) 2020-04-03

Family

ID=59620183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710165993.1A Active CN107066092B (zh) 2017-03-20 2017-03-20 Vr运行空间动态检测与参数化虚拟场景重构系统与方法

Country Status (1)

Country Link
CN (1) CN107066092B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577265A (zh) * 2017-09-30 2018-01-12 广州未名雷蒙特实验室科技有限公司 一种新型的智能3d模拟舱
CN108011884B (zh) * 2017-12-07 2022-07-01 指挥家（厦门）科技有限公司 一种姿态数据传输优化方法及装置
CN108011886A (zh) * 2017-12-13 2018-05-08 上海曼恒数字技术股份有限公司 一种协同控制方法、系统、设备及存储介质
CN110046777B (zh) * 2018-01-17 2020-12-29 北京理工大学 一种柔性作业车间持续重构调度方法及装置
CN108399008A (zh) * 2018-02-12 2018-08-14 张殿礼 一种虚拟场景与运动设备的同步方法
CN109063799B (zh) * 2018-08-10 2020-06-16 珠海格力电器股份有限公司 设备的定位方法和装置
CN109284345B (zh) * 2018-09-18 2021-07-06 成都中星世通电子科技有限公司 一种电磁频谱展示方法、存储介质、终端和系统
CN110531848B (zh) * 2019-07-31 2022-12-02 宁波奥克斯电气股份有限公司 一种基于vr的空调运行场景化体验系统和体验方法
CN113138660A (zh) * 2020-01-17 2021-07-20 北京小米移动软件有限公司 信息的获取方法、装置、移动终端及存储介质
CN112162640B (zh) * 2020-10-13 2022-10-25 深圳晶泰科技有限公司 晶体显示方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105976431A (zh) * 2016-05-23 2016-09-28 北京信息科技大学 一种基于旋转光场的三维表面重构方法
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105976431A (zh) * 2016-05-23 2016-09-28 北京信息科技大学 一种基于旋转光场的三维表面重构方法
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
在场与沉浸:虚拟现实技术对视听叙事的重构;张超;《中国电视》;20170221(第11期);第95-98页 *

Also Published As

Publication number Publication date
CN107066092A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107066092B (zh) Vr运行空间动态检测与参数化虚拟场景重构系统与方法
US10810798B2 (en) Systems and methods for generating 360 degree mixed reality environments
US10380762B2 (en) Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
CN110557625A (zh) 虚拟形象直播方法、终端、计算机设备及存储介质
US11212437B2 (en) Immersive capture and review
US20050085296A1 (en) Method and system for real-time rendering within a gaming environment
JP2020513703A (ja) 自由視点映像ストリーミング用の復号器中心ｕｖコーデック
CN112837406B (zh) 一种三维重建方法、装置及系统
CN106341667A (zh) 基于无人机的三维全景视频远程监控系统及图像采集控制方法
KR101536501B1 (ko) 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
CN105429989A (zh) 虚拟现实设备的模拟旅游方法及系统
CN207203434U (zh) 一种主观视觉体验赛车游戏的系统
EP2596474A1 (en) Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
CN105080134A (zh) 真实感的遥控体验游戏系统
WO2001072052A2 (en) Method and apparatus for parallel multi-viewpoint video capturing and compression
CN113625869B (zh) 一种大空间多人互动云渲染系统
JP2020065229A (ja) 映像通信方法、映像通信装置及び映像通信プログラム
CN108845670A (zh) 一种基于体感设备的在线虚拟健身娱乐系统及方法
CN108255291A (zh) 虚拟场景数据的传输方法、装置、存储介质及电子装置
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
US20220269336A1 (en) Systems and methods for virtual interaction
CN108983974A (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
CN109116987B (zh) 一种基于Kinect手势控制的全息展示系统
JP6807744B2 (ja) 画像表示方法及び装置
CN206251247U (zh) 基于无人机的三维全景视频远程监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant