CN106066701B - 一种ar和vr数据处理设备与方法 - Google Patents

一种ar和vr数据处理设备与方法 Download PDF

Info

Publication number
CN106066701B
CN106066701B CN201610521779.0A CN201610521779A CN106066701B CN 106066701 B CN106066701 B CN 106066701B CN 201610521779 A CN201610521779 A CN 201610521779A CN 106066701 B CN106066701 B CN 106066701B
Authority
CN
China
Prior art keywords
module
data
equipment
processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610521779.0A
Other languages
English (en)
Other versions
CN106066701A (zh
Inventor
唐林
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhixu Business Consulting Co., Ltd.
Original Assignee
Shanghai Zhixu Business Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhixu Business Consulting Co Ltd filed Critical Shanghai Zhixu Business Consulting Co Ltd
Priority to CN201610521779.0A priority Critical patent/CN106066701B/zh
Publication of CN106066701A publication Critical patent/CN106066701A/zh
Application granted granted Critical
Publication of CN106066701B publication Critical patent/CN106066701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种AR和VR数据处理设备与方法，包括数据采集模块，处理模块和AR/VR设备，由数据采集模块采集信号，经处理模块，最后在AR/VR设备呈现；数据采集模块，包括摄像头模块、传感器模块、录音模块将采集到的信号传送至处理模块处理,处理模块将各摄像头捕捉到的数据进行拼接，渲染，以及3D处理，并将处理完整的原数据文件储存在存储卡中；AR/VR设备配置有屏幕、摄像头、电池、存储卡、近距离传感器和与数据采集模块相同的传感器模块。本发明简化了AR/VR设备的数据处理的方法和设备，降低了设备的成本，结合两组传感器增强了AR/VR设备的呈现效果与观众的感官体验，拓宽了AR/VR的应用范围。

Description

一种AR和VR数据处理设备与方法
技术领域
本发明涉及一种AR和VR数据处理设备与方法，特别涉及AR和VR数据的采集，图像处理，以及设备与观众的人机交互体验领域。
背景技术
AR即增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着他。
增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
VR即虚拟现实，指综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境称为虚拟环境。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统的技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
发明内容
本发明的目的在于克服现有技术的不足，提供一种AR和VR数据处理设备与方法。
本发明的目的是通过以下技术方案来实现的：一种AR和VR数据处理设备，包括数据采集模块、处理模块、存储卡和AR/VR设备，所述的数据采集模块采集数据并发送至处理模块，经处理模块处理后发送至在AR/VR设备；所述的数据采集模块，包括摄像头模块、传感器模块、录音模块，摄像头模块、传感器模块、录音模块分别将采集到的数据传送至处理模块处理,所述的摄像头模块包括十枚镜头，所述的十枚镜头包含八枚平视标准镜头（1）、1枚顶部鱼眼镜头（2）和1枚底部鱼眼镜头（2），各平视标准镜头（1）处于同一水平面，相邻平视标准镜头（1）之间的夹角为45度；所述的传感器模块包括陀螺仪、加速计和磁力计，陀螺仪、加速计和磁力计分别将采集到的数据传送至处理模块处理；所述的处理模块对数据进行处理，并将处理后的数据发送至存储卡进行存储中；所述的AR/VR设备包括本体，所述的本体上配置有屏幕、摄像头、电池、存储卡卡槽、近距离传感器和与数据采集模块相同的传感器模块。
所述的AR/VR设备包括AR/VR眼镜和AR/VR头盔，所述的近距离传感器连接有比较器，所述的近距离传感器用于检测眼睛与AR/VR设备的屏幕的距离，并将检测到的数据发送至比较器的第一输入端，比较器的第二输入端输入基准信号，比较器的输出端与屏幕连接。
所述的磁力计用于测试磁场强度和方向，定位AR/VR设备的方位，所述的加速计，用于测量任意方向上的加速度，所述的陀螺仪，所述的陀螺仪，测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
所述的AR/VR设备中的摄像头，其用于AR模式，摄像头捕捉观众所处的周围真实环境的实时图像并使之与事先处理好的数据同时呈现在屏幕上，达到增强现实的目的。
一种AR和VR数据处理方法，其特征在于包括以下步骤：
S1.数据采集模块采用十个摄像头对环境进行全角度录像，传感器模块记录相关信息，并将捕捉到的数据传给处理模块，使用录音模块对环境周围录音；
S2.处理模块对视频将十个角度视频画面拼接转换成360度全景视频，对全景视频进行渲染，将全景视频3D处理，将其转换为三维立体的图像，并使视频、传感器模块记录相关信息和音频在时间，空间，以及运动状态上保持同步,在处理完成后将原数据储写入存储卡内；
S3.将写入数据的存储卡放入AR/VR设备中，AR/VR设备将原数据解析成全景视频投射在屏幕上，AR/VR设备采集传感器追踪观众的相关信息，与原数据中传感器模块记录的相关信息相匹配契合，并由此来不断更新全景视频的角度，显示的内容，以及音频的大小和方向。
所述的相关信息包括数据采集模块在采集数据时的空间位置信息和运动状态，以及观众在使用AR/VR设备时的空间位置信息和运动状态。，两者的匹配契合度对观众在AR/VR设备的感知极为重要。
本发明的有益效果是：简化了AR/VR设备的数据处理的方法和设备，降低了设备的成本，结合传感器的作用增强了AR/VR设备的呈现效果与观众的感官体验，拓宽了AR/VR的应用范围。
附图说明
图1为本发明结构方框图；
图2为摄像模块的俯视图；
图3为摄像模块的正视图：
图中，1-平视标准镜头，2-鱼眼镜头。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案：如图1所示，一种AR和VR数据处理设备，包括数据采集模块、处理模块、存储卡和AR/VR设备，所述的数据采集模块采集数据并发送至处理模块，经处理模块处理后发送至在AR/VR设备；所述的数据采集模块，包括摄像头模块、传感器模块、录音模块，摄像头模块、传感器模块、录音模块分别将采集到的数据传送至处理模块处理,所述的摄像头模块包括十枚镜头，所述的十枚镜头包含八枚平视标准镜头（1）、1枚顶部鱼眼镜头（2）和1枚底部鱼眼镜头（2），各平视标准镜头（1）处于同一水平面，相邻平视标准镜头（1）之间的夹角为45度；所述的传感器模块包括陀螺仪、加速计和磁力计，陀螺仪、加速计和磁力计分别将采集到的数据传送至处理模块处理；所述的处理模块对数据进行处理，并将处理后的数据发送至存储卡进行存储中；所述的AR/VR设备包括本体，所述的本体上配置有屏幕、摄像头、电池、存储卡卡槽、近距离传感器和与数据采集模块相同的传感器模块。
所述的AR/VR设备包括AR/VR眼镜和AR/VR头盔，所述的近距离传感器连接有比较器，所述的近距离传感器用于检测眼睛与AR/VR设备的屏幕的距离，并将检测到的数据发送至比较器的第一输入端，比较器的第二输入端输入基准信号，比较器的输出端与屏幕连接。通过比较第一输入端与第二输入端的大小关系来决定屏幕的开关。
所述的磁力计用于测试磁场强度和方向，定位AR/VR设备的方位，所述的加速计，用于测量任意方向上的加速度，所述的陀螺仪，所述的陀螺仪，测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
陀螺仪的主要感知观众旋转情况（原位运动），无法感知方向，加速计则主要是感知设备的受力情况，磁力计主要感知AR/VR设备的方位，总体来说，AR和VR设备通过陀螺仪感知“观众转了个身”，通过加速计感知“观众又向前走了几米”，通过磁力计则知道“我们是向西方向”的。
所述的AR/VR设备中的摄像头，其用于AR模式，摄像头捕捉观众所处的周围真实环境的实时图像并使之与事先处理好的数据同时呈现在屏幕上，达到增强现实的目的。
一种AR和VR数据处理方法，包括以下步骤：
S1.数据采集模块采用十个摄像头对环境进行全角度录像，传感器模块记录相关信息，并将捕捉到的数据传给处理模块，使用录音模块对环境周围录音；
S2.处理模块对视频将八个角度视频画面拼接转换成360度全景视频，对全景视频进行渲染，将全景视频3D处理，将其转换为三维立体的图像，并使视频、传感器模块记录相关信息和音频在时间，空间，以及运动状态上保持同步,在处理完成后将原数据储写入存储卡内；
S3.将写入数据的存储卡放入AR/VR设备中，AR/VR设备将原数据解析成全景视频投射在屏幕上，AR/VR设备采集传感器追踪观众的相关信息，与原数据中传感器模块记录的相关信息相匹配，并由此来不断更新全景视频的角度，显示的内容，以及音频的大小和方向。
所述的相关信息包括数据采集模块在录像时的空间位置信息和运动状态，以及观众在使用AR/VR设备时的空间位置信息和运动状态，两者的匹配契合度对观众的感知极为重要。
以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种AR和VR数据处理设备，其特征在于，包括数据采集模块、处理模块、存储卡和AR/VR设备，所述的AR/VR设备包括AR/VR眼镜或AR/VR头盔；所述的数据采集模块采集数据并发送至处理模块，经处理模块处理后发送至AR/VR设备；所述的数据采集模块，包括摄像头模块、传感器模块、录音模块，摄像头模块、传感器模块、录音模块分别将采集到的数据传送至处理模块处理，所述的摄像头模块包括十枚镜头，所述的十枚镜头包含八枚平视标准镜头(1)、1枚顶部鱼眼镜头(2)和1枚底部鱼眼镜头(2)，各平视标准镜头(1)处于同一水平面，相邻平视标准镜头(1)之间的夹角为45度；所述的传感器模块包括陀螺仪、加速计和磁力计，陀螺仪、加速计和磁力计分别将采集到的数据传送至处理模块处理；所述的处理模块对数据进行处理，并将处理后的数据发送至存储卡进行存储；所述的AR/VR设备包括本体，所述的本体上配置有屏幕、摄像头、电池、存储卡卡槽、近距离传感器和与数据采集模块相同的传感器模块；所述的近距离传感器连接有比较器，所述的近距离传感器用于检测眼睛与AR/VR设备的屏幕的距离，并将检测到的数据发送至比较器的第一输入端，比较器的第二输入端输入基准信号，比较器的输出端与屏幕连接。
2.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于所述的磁力计用于测试磁场强度和方向，定位AR/VR设备的方位。
3.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的加速计用于测量任意方向上的加速度。
4.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的陀螺仪用于测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
5.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的AR/VR设备中的摄像头，其用于AR模式，摄像头捕捉观众所处的周围真实环境的实时图像并使之与事先处理好的数据同时呈现在屏幕上，达到增强现实的目的。
6.一种如权利要求1-5中任意一项所述的AR和VR数据处理设备的数据处理方法，其特征在于包括以下步骤：
S1.数据采集模块采用十个摄像头对环境进行全角度录像，传感器模块记录相关信息，并将捕捉到的数据传给处理模块，使用录音模块对环境周围录音；
S2.处理模块对视频进行处理，将十个角度视频画面拼接转换成360度全景视频，对全景视频进行渲染，将全景视频3D处理，将其转换为三维立体的图像，并使视频、传感器模块记录相关信息和音频在时间，空间，以及运动状态上保持同步，在处理完成后将原数据储写入存储卡内；
S3.将写入数据的存储卡放入AR/VR设备中，AR/VR设备将原数据解析成全景视频投射在屏幕上，AR/VR设备采集传感器追踪观众的相关信息，与原数据中传感器模块记录的相关信息相匹配契合，并由此来不断更新全景视频的角度，显示的内容，以及音频的大小和方向。
7.根据权利要求6所述的方法，其特征在于，所述的相关信息包括数据采集模块在采集数据时的空间位置信息和运动状态，以及观众在使用AR/VR设备时的空间位置信息和运动状态。
CN201610521779.0A 2016-07-05 2016-07-05 一种ar和vr数据处理设备与方法 Active CN106066701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610521779.0A CN106066701B (zh) 2016-07-05 2016-07-05 一种ar和vr数据处理设备与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610521779.0A CN106066701B (zh) 2016-07-05 2016-07-05 一种ar和vr数据处理设备与方法

Publications (2)

Publication Number Publication Date
CN106066701A CN106066701A (zh) 2016-11-02
CN106066701B true CN106066701B (zh) 2019-07-26

Family

ID=57206583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610521779.0A Active CN106066701B (zh) 2016-07-05 2016-07-05 一种ar和vr数据处理设备与方法

Country Status (1)

Country Link
CN (1) CN106066701B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303334A (zh) * 2016-11-10 2017-01-04 国网河南省电力公司洛阳供电公司 一种输配电专业模拟vr视频采集装置
CN106681000B (zh) * 2016-11-22 2020-09-11 宇龙计算机通信科技(深圳)有限公司 一种增强现实注册装置及其方法
CN106823266A (zh) * 2017-02-28 2017-06-13 山东大学 一种智能化跑步机及工作方法
CN106990850A (zh) * 2017-05-08 2017-07-28 佛山市神风航空科技有限公司 一种基于虚拟现实的同步观光帽
CN107885331A (zh) * 2017-11-09 2018-04-06 北京易讯理想科技有限公司 一种基于增强现实技术实现音频切换的交互方法
CN108307175B (zh) * 2018-02-08 2020-01-14 华南理工大学 基于柔性传感器的舞蹈动态影像捕捉和还原系统及控制方法
CN108668060B (zh) * 2018-05-16 2020-12-04 北京佰才邦技术有限公司 图像处理方法、全景摄像头、全景投影方法、系统及计算机可读存储介质
CN108983982B (zh) * 2018-05-30 2022-06-21 太若科技(北京)有限公司 Ar头显设备与终端设备组合系统
CN109634409A (zh) * 2018-11-26 2019-04-16 深圳增强现实技术有限公司 Ar控制方法及分离式ar设备
CN109497929A (zh) * 2018-12-28 2019-03-22 杭州精飞光学仪器制造有限公司 视力测量方法、信息控制中心设备及计算机存储介质
CN111754827A (zh) * 2020-05-20 2020-10-09 四川科华天府科技有限公司 一种基于ar互动教学设备的呈现系统
CN112218004A (zh) * 2020-12-08 2021-01-12 清远市奇盛科技有限公司 一种ar全景摄影方法
CN113182945A (zh) * 2021-05-29 2021-07-30 河南鸿恒信息技术有限公司 一种光学透镜铣磨的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN205880817U (zh) * 2016-07-05 2017-01-11 成都福兰特电子技术股份有限公司 一种ar和vr数据处理设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014017393A1 (ja) * 2012-07-24 2016-07-11 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN205880817U (zh) * 2016-07-05 2017-01-11 成都福兰特电子技术股份有限公司 一种ar和vr数据处理设备

Also Published As

Publication number Publication date
CN106066701A (zh) 2016-11-02

Similar Documents

Publication Publication Date Title
CN106066701B (zh) 一种ar和vr数据处理设备与方法
JP7068562B2 (ja) 拡張現実データを記録するための手法
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
CN106843456B (zh) 一种基于姿态追踪的显示方法、装置和虚拟现实设备
US9904056B2 (en) Display
US6822643B2 (en) Image-display control apparatus
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
WO2017028498A1 (zh) 3d场景展示方法及装置
CN109074681A (zh) 信息处理装置、信息处理方法和程序
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
WO2013185714A1 (zh) 增强现实中识别对象的方法及系统和计算机
KR101198557B1 (ko) 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN111047713B (zh) 一种基于多目视觉定位的增强现实交互系统及其操作方法
JP2002032788A (ja) 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体
US11128836B2 (en) Multi-camera display
KR20090078085A (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
CN205880817U (zh) 一种ar和vr数据处理设备
US20220036761A1 (en) Augmented reality assisted training
CN111405262B (zh) 一种视点信息生成方法、装置、系统、设备和介质
CN112416124A (zh) 舞蹈姿势反馈方法及装置
CN105630170B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190702

Address after: Room 905-3, 87 Shengang Avenue, Nanhui New Town, Pudong New District, Shanghai, 20106

Applicant after: Shanghai Zhixu Business Consulting Co., Ltd.

Address before: 610041 No. 310, Gao FA mansion, 6 Hing Hing Road, 6 High-tech Zone, Chengdu, Sichuan, B

Applicant before: Chengdu Fu Lante electronic technology limited company

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant