CN106814851B - 一种增强现实交互方法及系统 - Google Patents

一种增强现实交互方法及系统 Download PDF

Info

Publication number
CN106814851B
CN106814851B CN201611130382.5A CN201611130382A CN106814851B CN 106814851 B CN106814851 B CN 106814851B CN 201611130382 A CN201611130382 A CN 201611130382A CN 106814851 B CN106814851 B CN 106814851B
Authority
CN
China
Prior art keywords
real
equipment
space coordinate
unity
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611130382.5A
Other languages
English (en)
Other versions
CN106814851A (zh
Inventor
胡德志
孙碧亮
朱宝国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Show Baby Software Co ltd
Original Assignee
Wuhan Show Baby Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Show Baby Software Co ltd filed Critical Wuhan Show Baby Software Co ltd
Priority to CN201611130382.5A priority Critical patent/CN106814851B/zh
Publication of CN106814851A publication Critical patent/CN106814851A/zh
Application granted granted Critical
Publication of CN106814851B publication Critical patent/CN106814851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明涉及一种增强现实交互方法及系统，增强现实交互方法包括：S1：在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将现实设备作为AR空间坐标系中的一点；S2:通过Unity中的transform组件实时获取现实设备的AR空间坐标；S3：根据现实设备的AR空间坐标，计算现实设备的移动方向和移动速度；S4：根据现实设备的移动方向和移动速度，控制虚拟设备进行与现实设备同步的运动。本发明的有益效果是：本技术方案通过实时计算设备在这个坐标系中的位置、移动方向、移动速度信息，来触发虚拟场景进行合理的响应，从而达到虚拟场景和现实世界中持设备移动的人保持一致行为的互动效果。

Description

一种增强现实交互方法及系统
技术领域
本发明涉及增强现实技术领域，尤其涉及一种增强现实交互方法及系统。
背景技术
增强现实技术将虚拟世界叠加到现实世界中，被人类感官所感知，从而达到超越现实的感官体验。人与增强现实的交互是增强现实技术里的重要组成部分，目前增强现实中应用的交互基本是通过识别、触控、声控和传感等比较复杂的方式。
发明内容
本发明所要解决的技术问题是提供一种基于三维空间坐标的增强现实交互方法及系统。
本发明解决上述技术问题的技术方案如下：
一种增强现实交互方法，适用于现实设备和所述现实设备通过AR技术得到的虚拟设备，所述增强现实交互方法包括：
S1：在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将所述现实设备作为AR空间坐标系中的一点；
S2:通过Unity中的transform组件实时获取所述现实设备的AR空间坐标；
S3：根据所述现实设备的AR空间坐标，计算所述现实设备的移动方向和移动速度；
S4：根据所述现实设备的所述移动方向和所述移动速度，控制所述虚拟设备进行与所述现实设备同步的运动。
本发明的有益效果是：本技术方案在增强现实应用识别现实环境后建立识别设备(智能手机、AR眼镜)、现实环境、虚拟场景对应的三维坐标关系，在移动设备的过程中，通过实时计算设备在这个坐标系中的位置、移动方向、移动速度信息，来触发虚拟场景进行合理的响应，从而达到虚拟场景和现实世界中持设备移动的人保持一致行为的互动效果。
在上述技术方案的基础上，本发明还可以做如下改进。
优选地，所述步骤S3中，根据所述现实设备的AR空间坐标，计算所述现实设备的移动方向，具体包括：
A1：获取所述现实设备的第一预设帧数的AR空间坐标；
A2：将所述第一预设帧数的AR空间坐标转换为相应的空间向量；
A3：通过Unity的Vector3组件和所述空间向量，计算所述现实设备的运动向量，得到所述移动方向。
优选地，所述步骤S3中，根据所述现实设备的AR空间坐标，计算所述现实设备的移动速度，具体包括：
B1：获取所述现实设备的第二预设帧数的AR空间坐标；
B2：通过Unity的Vector3组件计算每相邻两帧返回的所述现实设备的AR空间坐标的间距；
B3：通过加权平均法对所述间距进行加权平均，得到所述移动速度。
一种增强现实交互系统，适用于现实设备和所述现实设备通过AR技术得到的虚拟设备，所述增强现实交互系统包括：
建立模块，用于在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将所述现实设备作为AR空间坐标系中的一点；
获取模块，用于通过Unity中的transform组件实时获取所述现实设备的AR空间坐标；
计算模块，用于根据所述现实设备的AR空间坐标，计算所述现实设备的移动方向和移动速度；
控制模块，用于根据所述现实设备的所述移动方向和所述移动速度，控制所述虚拟设备进行与所述现实设备同步的运动；
其中，所述建立模块、所述获取模块、所述计算模块和所述控制模块依次连接。
优选地，所述计算模块包括：
第一获取子模块，用于获取所述现实设备的第一预设帧数的AR空间坐标；
转换子模块，用于将所述第一预设帧数的AR空间坐标转换为相应的空间向量；
第一计算子模块，用于通过Unity的Vector3组件和所述空间向量，计算所述现实设备的运动向量，得到所述移动方向；
其中，所述第一获取子模块、所述转换子模块和所述第一计算子模块连接。
优选地，所述计算模块还包括：
第二获取子模块，用于获取所述现实设备的第二预设帧数的AR空间坐标；
第二计算子模块，用于通过Unity的Vector3组件计算所述现实设备每两帧的间距；
加权子模块，用于通过加权平均法对所述间距进行加权平均，得到所述移动速度；
其中，所述第二获取子模块、所述第二计算子模块和所述加权子模块依次连接。
附图说明
图1为本发明的一种增强现实交互方法的流程示意图；
图2为本发明的一种增强现实交互方法的流程示意图；
图3为本发明的一种增强现实交互方法的流程示意图；
图4为本发明的一种增强现实交互系统的结构示意图；
图5为本发明的一种增强现实交互系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种增强现实交互方法，适用于现实设备和现实设备通过AR技术得到的虚拟设备，增强现实交互方法包括：
S1：在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将现实设备作为AR空间坐标系中的一点；
S2:通过Unity中的transform组件实时获取现实设备的AR空间坐标；
S3：根据现实设备的AR空间坐标，计算现实设备的移动方向和移动速度；
S4：根据现实设备的移动方向和移动速度，控制虚拟设备进行与现实设备同步的运动。
上述实施例中，在Unity中建立三维场景，以现实场景中某个中心点为坐标系原点，设定好三维坐标系(AR空间坐标系)的原点以及x、y、z轴方向，将Unity世界坐标系作为AR空间坐标系，初始化场景，假设现实场景为正方形，设为RealWall，中心点RWC(0,0,0)，四个角点RW1(100,100,0)，RW2(-100,100,0)，RW3(-100,-100,0)，RW4(100,-100,0)，假设虚拟场景为正方体，设为Virtual，中心点VC(0,0,100)，八个角点V11(20,20,80)，V12(-20,20,80)，V13(-20,-20,80)，V14(20,-20,80)，V21(20,20,120)，V22(-20,20,120)，V23(-20,-20,120)，V24(20,-20,120)；假设现实设备为Camera，点坐标CC(0,0,200)；通过Unity中的transform.position实时获取现实设备的AR空间坐标；当现实设备移动时，设备相对现实场景的位置和方向发生改变，通过实时计算得到每帧时设备的坐标CC，unity中每秒帧率在30左右，1秒的时间足够反应出设备的运动轨迹；最后，根据现实设备的移动方向和移动速度，控制虚拟设备进行与现实设备同步的运动。
如图2所示，步骤S3中，根据现实设备的AR空间坐标，计算现实设备的移动方向，具体包括：
A1：获取现实设备的第一预设帧数的AR空间坐标；
A2：将第一预设帧数的AR空间坐标转换为相应的空间向量；
A3：通过Unity的Vector3组件和空间向量，计算现实设备的运动向量，得到移动方向。
上述实施例中，通过Unity的Vector3(x1,y1,z1)与Vector3(x2,y2,z2)相减的方法来计算每2帧设备运动向量，命名向量为v，v1＝CC2-CC1，在现实场景下，用户的移动方向相对来说是不规则的，这里需要取值范围相对来说要小一些，以10帧为计算范围。假设当前运行帧数为m，
m＝0时，v＝0；
m<10时，v＝CCn-CC1；
m>＝10时，v＝CC10-CC1。
如图3所示，步骤S3中，根据现实设备的AR空间坐标，计算现实设备的移动速度，具体包括：
B1：获取现实设备的第二预设帧数的AR空间坐标；
B2：通过Unity的Vector3组件计算每相邻两帧返回的现实设备的AR空间坐标的间距；
B3：通过加权平均法对间距进行加权平均，得到移动速度。
上述实施例中，unity中每秒帧率在30左右，1秒的时间足够反应出设备的运动轨迹，因此这里采用最近30帧数据来计算设备移动速度和方向；设30帧设备坐标为：CC1,CC2,CC3,…,CC30，通过Unity的Vector3.Distance(CC1,CC2)来计算每2帧间距，依次得到间距为d1，d2，d3，…，d29。
由于在使用场景下，设备的移动相对稳定而缓慢，因此设备的移动速度相对来说是比较平滑的，由于越接近运行帧，其速度越真实，因此采用权重的方式计算速度s。假设当前运行帧数为n，
n＝0时，s＝0；
n<30时，s＝(d1*1+d2*2+…+dn*n)/(1+2+…+n)；
n>＝30时，s＝(d1*1+d2*2+…+d30*30)/(1+2+…+30)。
如图4所示，一种增强现实交互系统，适用于现实设备和现实设备通过AR技术得到的虚拟设备，增强现实交互系统包括：
建立模块1，用于在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将现实设备作为AR空间坐标系中的一点；
获取模块2，用于通过Unity中的transform组件实时获取现实设备的AR空间坐标；
计算模块3，用于根据现实设备的AR空间坐标，计算现实设备的移动方向和移动速度；
控制模块4，用于根据现实设备的移动方向和移动速度，控制虚拟设备进行与现实设备同步的运动；
其中，建立模块1、获取模块2、计算模块3和控制模块4依次连接。
如图5所示，计算模块3包括：
第一获取子模块31，用于获取现实设备的第一预设帧数的AR空间坐标；
转换子模块32，用于将第一预设帧数的AR空间坐标转换为相应的空间向量；
第一计算子模块33，用于通过Unity的Vector3组件和空间向量，计算现实设备的运动向量，得到移动方向；
其中，第一获取子模块31、转换子模块32和第一计算子模块33连接。
如图5所示，计算模块3还包括：
第二获取子模块34，用于获取现实设备的第二预设帧数的AR空间坐标；
第二计算子模块35，用于通过Unity的Vector3组件计算每相邻两帧返回的现实设备的AR空间坐标的间距；
加权子模块36，用于通过加权平均法对间距进行加权平均，得到移动速度；
其中，第二获取子模块34、第二计算子模块35和加权子模块36依次连接。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种增强现实交互方法，适用于现实设备和所述现实设备通过AR技术得到的虚拟设备，其特征在于，所述增强现实交互方法包括：
S1：在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将所述现实设备作为AR空间坐标系中的一点；
S2:通过Unity中的transform组件实时获取所述现实设备的AR空间坐标；
S3：根据所述现实设备的AR空间坐标，计算所述现实设备的移动方向和移动速度；
S4：根据所述现实设备的所述移动方向和所述移动速度，控制所述虚拟设备进行与所述现实设备同步的运动。
2.根据权利要求1所述的增强现实交互方法，其特征在于，所述步骤S3中，根据所述现实设备的AR空间坐标，计算所述现实设备的移动方向，具体包括：
A1：获取所述现实设备的第一预设帧数的AR空间坐标；
A2：将所述第一预设帧数的AR空间坐标转换为相应的空间向量；
A3：通过Unity的Vector3组件和所述空间向量，计算所述现实设备的运动向量，得到所述移动方向。
3.根据权利要求1所述的增强现实交互方法，其特征在于，所述步骤S3中，根据所述现实设备的AR空间坐标，计算所述现实设备的移动速度，具体包括：
B1：获取所述现实设备的第二预设帧数的AR空间坐标；
B2：通过Unity的Vector3组件计算每相邻两帧返回的所述现实设备的AR空间坐标的间距；
B3：通过加权平均法对所述间距进行加权平均，得到所述移动速度。
4.一种增强现实交互系统，适用于现实设备和所述现实设备通过AR技术得到的虚拟设备，其特征在于，所述增强现实交互系统包括：
建立模块(1)，用于在Unity中建立三维场景，将Unity中的坐标系作为AR空间坐标系，将现实场景的中心点作为AR空间坐标系的原点，将所述现实设备作为AR空间坐标系中的一点；
获取模块(2)，用于通过Unity中的transform组件实时获取所述现实设备的AR空间坐标；
计算模块(3)，用于根据所述现实设备的AR空间坐标，计算所述现实设备的移动方向和移动速度；
控制模块(4)，用于根据所述现实设备的所述移动方向和所述移动速度，控制所述虚拟设备进行与所述现实设备同步的运动；
其中，所述建立模块(1)、所述获取模块(2)、所述计算模块(3)和所述控制模块(4)依次连接。
5.根据权利要求4所述的增强现实交互系统，其特征在于，所述计算模块(3)包括：
第一获取子模块(31)，用于获取所述现实设备的第一预设帧数的AR空间坐标；
转换子模块(32)，用于将所述第一预设帧数的AR空间坐标转换为相应的空间向量；
第一计算子模块(33)，用于通过Unity的Vector3组件和所述空间向量，计算所述现实设备的运动向量，得到所述移动方向；
其中，所述第一获取子模块(31)、所述转换子模块(32)和所述第一计算子模块(33)连接。
6.根据权利要求4所述的增强现实交互系统，其特征在于，所述计算模块(3)还包括：
第二获取子模块(34)，用于获取所述现实设备的第二预设帧数的AR空间坐标；
第二计算子模块(35)，用于通过Unity的Vector3组件计算所述现实设备每两帧的间距；
加权子模块(36)，用于通过加权平均法对所述间距进行加权平均，得到所述移动速度；
其中，所述第二获取子模块(34)、所述第二计算子模块(35)和所述加权子模块(36)依次连接。
CN201611130382.5A 2016-12-09 2016-12-09 一种增强现实交互方法及系统 Active CN106814851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611130382.5A CN106814851B (zh) 2016-12-09 2016-12-09 一种增强现实交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611130382.5A CN106814851B (zh) 2016-12-09 2016-12-09 一种增强现实交互方法及系统

Publications (2)

Publication Number Publication Date
CN106814851A CN106814851A (zh) 2017-06-09
CN106814851B true CN106814851B (zh) 2020-06-23

Family

ID=59107078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611130382.5A Active CN106814851B (zh) 2016-12-09 2016-12-09 一种增强现实交互方法及系统

Country Status (1)

Country Link
CN (1) CN106814851B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392961B (zh) * 2017-06-16 2019-12-06 华勤通讯技术有限公司 基于增强现实的空间定位方法及装置
CN107340889B (zh) * 2017-06-30 2020-05-12 华勤通讯技术有限公司 一种定位初始化方法及装置
CN107451551B (zh) * 2017-07-24 2020-06-23 武汉秀宝软件有限公司 一种防止画面抖动的优化方法及系统
CN109920064A (zh) * 2019-03-14 2019-06-21 烟台九田自动化科技有限公司 一种基于增强现实技术的模型空间位姿的精确调整方法
CN116501175B (zh) * 2023-06-25 2023-09-22 江西格如灵科技股份有限公司 虚拟角色移动方法、装置、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836938A (zh) * 2015-04-30 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟演播室系统
CN104899920A (zh) * 2015-05-25 2015-09-09 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836938A (zh) * 2015-04-30 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟演播室系统
CN104899920A (zh) * 2015-05-25 2015-09-09 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备

Also Published As

Publication number Publication date
CN106814851A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN106814851B (zh) 一种增强现实交互方法及系统
CN112530024A (zh) 用于虚拟场景的数据处理方法以及设备
Ryden et al. Proxy method for fast haptic rendering from time varying point clouds
CN103578135A (zh) 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
US20140368539A1 (en) Head wearable electronic device for augmented reality and method for generating augmented reality using the same
CN110570455A (zh) 一种面向房间vr的全身三维姿态跟踪方法
RU2662913C2 (ru) Способ локализации робота в плоскости локализации
CN104898669A (zh) 一种基于惯性传感器进行虚拟现实行走控制的方法及系统
CN105429989A (zh) 虚拟现实设备的模拟旅游方法及系统
CN105824416A (zh) 一种将虚拟现实技术与云服务技术结合的方法
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
CN105824417B (zh) 一种采用虚拟现实技术的人与物的结合方法
Schönauer et al. Wide area motion tracking using consumer hardware
CN110197531A (zh) 基于深度学习的角色骨骼点映射技术
CN112149531B (zh) 一种行为识别中人体骨骼数据的建模方法
CN105183142B (zh) 一种利用空间位置装订的数字信息复现方法
CN108459716B (zh) 一种在vr中实现多人协作完成任务的方法
Ercan et al. On sensor fusion for head tracking in augmented reality applications
Bueno et al. An autonomous tour guide robot in a next generation smart museum
Oh A study on MTL device design and motion tracking in virtual reality environments
Qi et al. 3D human pose tracking approach based on double Kinect sensors
CN114116081A (zh) 交互式动态流体效果处理方法、装置及电子设备
CN105797379A (zh) 一种基于虚拟现实技术的游戏视频处理方法
Boyali et al. Real time six degree of freedom pose estimation using infrared light sources and wiimote IR camera with 3D TV demonstration
CN109062413A (zh) 一种ar交互系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant