CN112148122A - 面向穿戴式增强/混合现实设备的第三方视角实现方法 - Google Patents
面向穿戴式增强/混合现实设备的第三方视角实现方法 Download PDFInfo
- Publication number
- CN112148122A CN112148122A CN202010875862.4A CN202010875862A CN112148122A CN 112148122 A CN112148122 A CN 112148122A CN 202010875862 A CN202010875862 A CN 202010875862A CN 112148122 A CN112148122 A CN 112148122A
- Authority
- CN
- China
- Prior art keywords
- visual angle
- party
- angle device
- main
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 149
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims description 24
- 230000007613 environmental effect Effects 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000981 bystander Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种面向穿戴式增强/混合现实设备的第三方视角实现方法，涉及虚拟现实技术领域。本发明通过配置主视角装置的第三方视角装置，然后对服务端进行初始化，通过服务端构建主视角装置和第三方视角装置的会话环境；再对主视角装置和第三方视角装置进行初始化，通过服务端将主视角装置的显示画面和信息数据实时同步到第三方视角装置，从而实现以第三方视角方式与主视角装置的当前穿戴式增强/混合现实设备观看同一虚实叠加场景。通过本发明的方法解决了旁观者不能和穿戴式增强/混合现实设备的操作人员同时观看虚实融合场景画面的技术问题，实现了实时的显示画面，确保旁观者可流畅观察虚实融合场景，提高了操作人员与旁观者沟通效率。
Description
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种面向穿戴式增强/混合现实设备的第三方视角实现方法。
背景技术
增强现实技术在虚拟世界、现实世界和用户之间搭起了一个交互反馈的信息回路，可以增强用户体验的真实感。随着增强现实技术的广泛应用，人们的工作、沟通、学习与娱乐方式也随之改变。
在现有技术中，使用者通过穿戴式增强/混合现实设备(如增强现实眼镜)观看虚实融合场景画面。
然而，穿戴式增强/混合现实设备只能被单人使用，且增强现实的展示目前只存在操作人员的视角中，作为旁观者不能和操作人员同时观看虚实融合场景画面，导致操作人员与旁观者沟通困难，效率低下。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种面向穿戴式增强/混合现实设备的第三方视角实现方法，解决了现有的技术中旁观者不能和穿戴式增强/混合现实设备的操作人员同时观看虚实融合场景画面的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供一种面向穿戴式增强/混合现实设备的第三方视角实现方法，所述方法包括：
配置主视角装置的第三方视角装置，所述第三方视角装置用于以第三方视角方式实时查看主视角装置的当前穿戴式增强/混合现实设备显示并操作的画面；
服务端进行初始化，通过所述服务端构建所述主视角装置和所述第三方视角装置的会话环境；
所述主视角装置进行初始化，所述第三方视角装置进行初始化；
通过服务端将主视角装置的显示画面和信息数据实时同步到第三方视角装置，实现第三方视角装置以第三方视角方式与主视角装置的当前穿戴式增强/混合现实设备观看同一虚实叠加场景。
优选的，所述主视角装置进行初始化，包括：
判断主视角装置所使用硬件终端的主操作是否为穿戴式增强/混合现实设备，若是，则开始调用主视角装置中自带的硬件摄像头进行环境识别，确定穿戴式增强/混合现实设备与实际场景环境间的相对位置关系，进行锚点注册，将所得到的锚点信息上传到服务端；
优选的，所述环境识别包括：通过主视角装置中自带的硬件摄像头识别环境特征构建环境坐标，或者通过标记识别确定环境位置从而构建环境坐标；和/或
所述锚点注册包括：在虚拟场景中构建一坐标位置，并将这一坐标位置与实际环境空间的相对位置锁定；和/或
所述锚点包括：锚点在虚拟环境中的坐标数据、锚点与现实环境的相对位置关系数据。
优选的，所述第三方视角装置进行初始化，包括：
判断第三方视角装置所使用硬件终端是否为第三方视角装置的硬件设备，若是，则进行校准操作，从服务器调取主视角装置上传的锚点数据确定第三方视角装置的方位，加入通信会话；
优选的，所述校准操作包括：第三方视角装置的硬件设备的摄像头焦距、摄像头采集图像与第三方视角装置的硬件设备本身位置坐标系的相对关系要与主视角装置的参数相匹配；和/或
所述确定第三方视角装置方位包括：通过环境识别确定第三方视角装置的硬件设备相对环境位置后，基于校准数据及主视角装置所确定的锚点位置，反向推导第三方视角装置的硬件设备在虚实融合场景中的方位；和/或
所述加入通信会话包括：通过IP或端口建立第三方视角装置与主视角装置间的通信链路。
优选的，所述反向推到第三方视角装置的硬件设备在虚实融合场景中的方位，包括：基于锚点在实际场景中的方位，以锚点为虚拟场景中的坐标系原点，结合第三方视角在实际场景中通过识别确定相对位置，得到第三方视角在锚点坐标系中的方位；和/或
所述第三方视角装置的硬件设备在虚实融合场景中的方位包括：在虚实融合场景中，第三方视角装置的硬件设备所设置的虚拟相机的方位。
优选的，所述信息数据包括交互信息、环境变化信息和状态信息。
优选的，通过服务端将主视角装置的信息数据实时同步到第三方视角装置的方法包括：
基于通用通信协议的信息数据同步的方法，利用序列化将信息数据传递给第三方视角装置。
(三)有益效果
本发明提供了一种面向穿戴式增强/混合现实设备的第三方视角实现方法。与现有技术相比，具备以下有益效果：
本发明首先通过配置主视角装置的第三方视角装置，然后对服务端进行初始化，通过服务端构建所述主视角装置和第三方视角装置的会话环境；再对主视角装置和第三方视角装置进行初始化，通过服务端将主视角装置的显示画面和信息数据实时同步到第三方视角装置，从而实现第三方视角装置以第三方视角方式与主视角装置的当前穿戴式增强/混合现实设备观看同一虚实叠加场景。通过本发明的方法解决了旁观者不能和穿戴式增强/混合现实设备的操作人员同时观看虚实融合场景画面的技术问题，实现了实时的显示画面和信息数据的同步，确保旁观者可流畅观察虚实融合场景，提高了操作人员与旁观者沟通效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种面向穿戴式增强/混合现实设备的第三方视角实现方法的框图；
图2为本发明实施例一种面向穿戴式增强/混合现实设备的第三方视角实现方法具体流程图；
图3为本发明实施例中第三方视角装置方位推导过程图；
图4为本发明实施例中以在增强/混合现实环境中旋转操作立方体为例的第三方视角的实现过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种面向穿戴式增强/混合现实设备的第三方视角实现方法，解决了旁观者不能和穿戴式增强/混合现实设备的操作人员同时观看虚实融合场景画面的技术问题，实现了实时的显示画面和信息数据的同步，确保非旁观者可流畅观察虚实融合场景。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
穿戴式增强/混合现实设备一般存在以下问题：1、穿戴式增强/混合现实设备(如增强现实眼镜)只能被单人使用，且增强现实的展示目前只存在操作人员的视角中，作为旁观者不能够同操作人员一同查看虚拟对象。导致操作人员与旁观者沟通困难，效率低下。2、穿戴式增强/混合现实设备的视野角度一般太小、达不到人眼观察的最大视角，需要借助其他设备来展示才可以达到人眼查看的效果。3、增强现实眼镜设备携带及穿戴不方便，对于没有经过培训的人员，不能够熟练使用增强现实眼镜，增强现实技术的应用效果也会大打折扣。4、增强现实眼镜设备相对平板、PC等设备的价格较为昂贵，不可能为每个人佩戴一台增强现实眼镜，虚拟对象投影到显示器或者移动端设备是更好的选择。
为此，本发明实施例提出一种面向穿戴式增强/混合现实设备的第三方视角实现方法。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供了一种面向穿戴式增强/混合现实设备的第三方视角实现方法，如图1所示，该方法包括：
配置主视角装置的第三方视角装置，第三方视角装置用于以第三方视角方式实时查看主视角装置的当前穿戴式增强/混合现实设备显示并操作的画面；
服务端进行初始化，通过服务端构建所述主视角装置和第三方视角装置的会话环境；
主视角装置进行初始化，第三方视角装置进行初始化；
通过服务端将主视角装置的显示画面和信息数据实时同步到第三方视角装置，实现第三方视角装置以第三方视角方式与主视角装置的当前穿戴式增强/混合现实设备观看同一虚实叠加场景。
通过本发明实施例的方法解决了旁观者不能和穿戴式增强/混合现实设备的操作人员同时观看虚实融合场景画面的技术问题，实现了实时的显示画面和信息数据的同步，确保旁观者可流畅观察虚实融合场景，提高了操作人员与旁观者沟通效率。
在一实施例中，配置主视角装置的第三方视角装置，第三方视角装置用于以第三方视角方式实时查看主视角装置的当前穿戴式增强/混合现实设备显示并操作的画面。具体实施过程如下：
配置主视角装置的第三方视角装置，第三方视角装置是指可以进行可视化、信息数据通信及计算的硬件及应用软件的装置，如平板、手机、PC端或其他穿戴式增强/混合设备等，通过第三方视角装置实时查看主视角装置的当前穿戴式增强/混合现实设备显示并操作的画面。
在一实施例中，服务端进行初始化，通过服务端构建所述主视角装置和第三方视角装置的会话环境。如图2所示，具体实施过程如下：
服务端用于构建网络通信环境并保存部分信息数据。服务端进行初始化是指：在应用系统(即第三方视角装置、主视角装置与服务端等之间构成的系统)中建立会话环境，并用于保存和下载锚点信息数据。
上述建立会话环境是指构建可以与其他硬件设备进行信息通信的数字化环境，在会话环境中，其他硬件设备可以随时加入对话，也可以随实退出对话；会话环境可以记录加入会话装置的端口、IP、ID等数据。
上述可以保存和下载锚点信息数据是指主视角装置可以上传所确定的锚点位置数据，而其他第三方视角装置加入会话后可以下载主视角的锚点位置数据。
在一实施例中，主视角装置进行初始化，第三方视角装置进行初始化。如图2所示，具体实施过程如下：
主视角装置进行初始化包括：
首先，应用系统需自动判断所使用硬件终端是主操作的主视角装置中的穿戴式增强/混合现实设备，或者是第三方视角装置的硬件设备。如果确定是穿戴式增强/混合现实设备，则开始调用主视角装置中自带的硬件摄像头进行环境识别，确定穿戴式增强/混合现实设备与实际场景环境间的相对位置关系，从而进行锚点注册。而后，将所得到的锚点信息上传到服务端，便于其他硬件设备访问数据。
上述环境识别是指通过摄像头识别环境特征构建环境坐标，或者通过标记识别确定环境位置从而构建环境坐标。
上述锚点注册是指在虚拟场景中构建某一坐标位置，并将这一坐标位置与实际环境空间的相对位置锁定。
上述锚点包括锚点在虚拟环境中的坐标数据、锚点与现实环境的相对位置关系数据。
第三方视角装置进行初始化包括：
应用系统需先判断所使用硬件中断是否为第三方视角装置的硬件设备，若确定是第三方视角装置的硬件设备，则进行应用系统校准操作。进而，从服务器调取主视角装置上传的锚点数据确定第三方视角方位，最后加入通信会话。
上述校准操作是指第三方视角装置的硬件设备的摄像头焦距、摄像头采集图像与设备本身位置坐标系的相对关系要与主视角装置的参数相匹配。
上述确定第三方视角方位是指通过环境识别确定设备相对环境位置后，基于校准数据及主视角装置所确定的锚点位置，反向推导第三方视角装置的硬件设备在虚实融合场景中的方位。
上述加入通信会话，是指通过IP、端口等信息建立第三方视角装置与主视角装置间的通信链路，便于后期数据通信。
上述反向推到第三方视角装置的硬件设备在虚实融合场景中的方位，是基于锚点在实际场景中的方位，以锚点为虚拟场景中的坐标系原点，结合第三方视角在实际场景中通过识别确定相对位置，得到第三方视角在锚点坐标系中的方位，如图3所示。
上述第三方视角装置的硬件设备在虚实融合场景中的方位，是指在虚实融合场景中，第三方视角装置的硬件设备所设置的虚拟相机的方位。第三方视角装置的硬件设备的摄像头拍摄的是真实场景，而在服务端中，还需要将虚拟场景叠加在真实场景上，虚拟场景就存在虚拟相机的概念。虚拟相机的方位是指在主视角设定的服务端虚拟场景中所处的位置
在一实施例中，通过服务端将主视角装置的显示画面和信息数据实时同步到第三方视角装置，实现第三方视角装置以第三方视角方式与主视角装置的当前穿戴式增强/混合现实设备观看同一虚实叠加场景。如图2所示，具体实施过程如下：
信息数据包括交互信息、环境变化信息和状态信息。
在本发明实施例中，面向不同信息数据采用了不同的信息数据同步策略：对于交互信息，采用触发时同步触发信号策略；对于环境变化信息，采用实时监测同步更新的策略；对于状态信息，采用定时同步更新的策略。
对于交互信息，采用触发时同步触发信号策略，是指用于与应用系统间通过手势、语音等交互手段启用应用系统应用中某些功能的信息数据，通过将这部分信息传递给第三方视角装置，模拟触发信号启用对应功能的过程。例如在主视角装置中用户点击某一虚拟按钮，实现某虚拟看板打开，点击的同时，主视角模块将点击信号同步发送，第三方视角装置接收信号后模拟点击触发行为，打开同样的虚拟看板。
对于环境变化信息，采用实时监测同步更新的策略，是针对增强/混合现实应用系统中由于物理环境变化而导致的应用系统功能变化的更新同步，需在应用系统中事先标记会随环境变化而发生变化的对象，并建立映射关系。例如主视角装置随着人员走动，虚拟看板跟随人员挪动，由于装置相对于环境的方位变化，而导致虚拟看板发生方位变化，需要通过实时同步的方式将环境变化信息同步给第三方视角装置，纠正虚拟看板的方位。
对于状态信息，采用定时同步更新的策略，是指对于前述两种信息触发得到的状态，采用定时同步的方式传递给第三方视角装置，用于状态比对与纠正。例如，在当前时刻下由于交互触发得到的虚拟看板打开或关闭的状态，以及由环境变化触发得到的虚拟看板方位状态同步发送给第三方视角装置，如果匹配则忽略，如果不匹配则进行纠正。
在本发明实施例中，基于通用通信协议实现信息数据的同步，利用序列化将信息数据传递给第三方视角装置。利用序列化将信息数据传递，是指将上述的三种信息数据序列化为二进制数据，通过通用的网络协议(如TCP/IP、UDP等)传输给第三方视角装置。第三方视角装置接收后按照约定的数据结构反序列化为对应的信息数据。
同时，在本发明实施例中，对于交互信息，应用系统会模拟为交互触发信号进行对应事件的触发；对于环境变化信息数据，应用系统会根据预先标记的对象，索引变化的映射关系，反推出标记对象需要进行的变化。预先标记的对象是指上述描述的会随环境变化而发生变化的对象。
实施例1：
为了进一步说明书本发明实施例的方法，以在增强/混合现实环境中旋转操作立方体为例来说明第三方视角的实现过程，如图4所示：
选择头戴式增强/混合现实眼镜为主视角装置，头戴式增强/混合现实眼镜、相机及PC端的组合为1号第三方视角装置，后面简称1号视角装置；带摄像头的平板设备为2号第三方视角装置，后面简称2号视角装置。
1、先启动服务端程序，检查网络通信环境，并构建会话环境。
2、主视角装置操作人员启动设备后，应用系统判定当前设备为主视角设备，调用主视角装置上的硬件摄像头进行环境空间扫描，通过自然特征识别或标记点，确定主视角装置在实际空间环境中的相对位置。
3、由操作人员通过交互操作确定主视角装置的锚点放置于空间中的某一特定位置，锚点与空间环境的相对位置AP(x，y，z，rx，ry，rz)锁定，并上传至服务器端记录。
4、通过主视角装置，操作人员构建网络会话环境，即构建可以进行信息通信的数字化环境，网络环境可以采用多种方式进行通信，包括但不限于UDP传输，TCP/IP传输。
5、1号视角装置及2号视角装置进行初始化，应用系统判定当前设备为非主视角设备，调用自带相机模块(对于1号视角装置，相机模块是指相机，对于2号视角装置，相机模块是指平板设备自带的摄像头)进行环境空间扫描，通过自然特征识别或标记点，确定非主视角装置在实际空间环境中的相对位置TP(x，y，z，rx，ry，rz)。
6、1号视角装置通过预留端口、IP地址连接会话环境；2号视角通过同样方式连接会话环境；会话环境记录连接的第三方视角IP、ID等信息，用于提示操作人员目前连接的设备。
7、1号视角装置与2号视角装置读取服务器中的锚点位置信息AP，结合自身与环境的相对位置，反推出自身视角在虚实融合场景中的方位TP1(x1，y1，z1，rx1，ry1，rz1)，TP2(x2，y2，z2，rx2，ry2，rz2)。需要注意的是，随着2号视角装置的移动，TP2的数据是实时计算生成。
8、2号视角的方位变化本质是相对环境位置发生变化，是通过在应用系统中事先标记会随环境变化而发生变化的对象，并建立映射关系，随着人员走动(或者手晃动)，更新与环境的相对方位数据，并与锚点位置比对，实时得到TP2数据，进而在虚拟世界中刷新立方体的相对可视化数据，使其符合物理视角逻辑。1号视角由于是相对固定，不存在相对环境位置的变化。
在上述实施例中，主视角操作人员进行两部分操作，操作一：对虚拟立方体进行拖拽及旋转操作，其中操作人员的拖拽、旋转属于交互操作数据，立方体的位姿属于状态数据；操作二：改变实际场景的环境，主视角操作人员进行走动，立方体自动跟随，其中立方体由于环境变化，且未在人员未干涉情况下的变化信息，属于环境响应信息数据。所有数据类别应进行提前配置，便于分类传输。
对于交互数据，将主视角装置的触发信号(托转、旋转)进行二进制序列化操作，通过UDP、TCP/IP等协议方式传递给第三方视角装置，如图3所示。第三方视角装置接收到数据后进行反序列化解析，并模拟对应触发信号。
对于状态数据，和交互数据的传递方式类似。区别在于数据的产生及传输由主视角交互过程随时触发，而状态数据由主视角按照既定的时间间隔定时发送，第三方视角接收到数据后用于匹配矫正。例如当网络环境影响导致的数据包丢失，进而引发状态不匹配，需要通过状态数据进行纠正。
对于环境响应信息数据，和交互数据的传递方式类似。区别在于数据的传递由环境变化触发。当主视角检测到当前位置发生变化，即触发相应数据传递流程，对应的立方体开始进行对应的变化；同样，第三方视角接收到数据并解析后，对立方体方位进行调整，与主视角一致。
综上所述，与现有技术相比，具备以下有益效果：
1、通过本发明实施例的方法解决了旁观者不能和穿戴式增强/混合现实设备的操作人员同时观看虚实融合场景画面的技术问题，实现了实时的显示画面和信息数据的同步，确保旁观者可流畅观察虚实融合场景，提高了操作人员与旁观者沟通效率。
2、通过本发明实施例的方法，解决了穿戴式增强/混合现实设备的视野角度太小、达不到人眼观察的最大视角的问题，实现扩大观看视角。同时本发明实施例中的第三方视角装置相对于增强现实眼镜设备相的价格较为便宜，降低了成本。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，所述方法包括：
配置主视角装置的第三方视角装置，所述第三方视角装置用于以第三方视角方式实时查看主视角装置的当前穿戴式增强/混合现实设备显示并操作的画面；
服务端进行初始化，通过所述服务端构建所述主视角装置和所述第三方视角装置的会话环境；
所述主视角装置进行初始化，所述第三方视角装置进行初始化；
通过服务端将主视角装置的显示画面和信息数据实时同步到第三方视角装置，实现第三方视角装置以第三方视角方式与主视角装置的当前穿戴式增强/混合现实设备观看同一虚实叠加场景。
2.如权利要求1所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，所述主视角装置进行初始化，包括：
判断主视角装置所使用硬件终端的主操作是否为穿戴式增强/混合现实设备，若是，则开始调用主视角装置中自带的硬件摄像头进行环境识别，确定穿戴式增强/混合现实设备与实际场景环境间的相对位置关系，进行锚点注册，将所得到的锚点信息上传到服务端。
3.如权利要求2所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，
所述环境识别包括：通过主视角装置中自带的硬件摄像头识别环境特征构建环境坐标，或者通过标记识别确定环境位置从而构建环境坐标；和/或
所述锚点注册包括：在虚拟场景中构建一坐标位置，并将这一坐标位置与实际环境空间的相对位置锁定；和/或
所述锚点包括：锚点在虚拟环境中的坐标数据、锚点与现实环境的相对位置关系数据。
4.如权利要求1所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，所述第三方视角装置进行初始化，包括：
判断第三方视角装置所使用硬件终端是否为第三方视角装置的硬件设备，若是，则进行校准操作，从服务器调取主视角装置上传的锚点数据确定第三方视角装置的方位，加入通信会话。
5.如权利要求4所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，
所述校准操作包括：第三方视角装置的硬件设备的摄像头焦距、摄像头采集图像与第三方视角装置的硬件设备本身位置坐标系的相对关系要与主视角装置的参数相匹配；和/或
所述确定第三方视角装置方位包括：通过环境识别确定第三方视角装置的硬件设备相对环境位置后，基于校准数据及主视角装置所确定的锚点位置，反向推导第三方视角装置的硬件设备在虚实融合场景中的方位；和/或
所述加入通信会话包括：通过IP或端口建立第三方视角装置与主视角装置间的通信链路。
6.如权利要求5所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，
所述反向推到第三方视角装置的硬件设备在虚实融合场景中的方位，包括：基于锚点在实际场景中的方位，以锚点为虚拟场景中的坐标系原点，结合第三方视角在实际场景中通过识别确定相对位置，得到第三方视角在锚点坐标系中的方位；和/或
所述第三方视角装置的硬件设备在虚实融合场景中的方位包括：在虚实融合场景中，第三方视角装置的硬件设备所设置的虚拟相机的方位。
7.如权利要求1所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，所述信息数据包括交互信息、环境变化信息和状态信息。
8.如权利要求1所述的面向穿戴式增强/混合现实设备的第三方视角实现方法，其特征在于，通过服务端将主视角装置的信息数据实时同步到第三方视角装置的方法包括：
基于通用通信协议的信息数据同步的方法，利用序列化将信息数据传递给第三方视角装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010875862.4A CN112148122A (zh) | 2020-08-25 | 2020-08-25 | 面向穿戴式增强/混合现实设备的第三方视角实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010875862.4A CN112148122A (zh) | 2020-08-25 | 2020-08-25 | 面向穿戴式增强/混合现实设备的第三方视角实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148122A true CN112148122A (zh) | 2020-12-29 |
Family
ID=73887766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010875862.4A Pending CN112148122A (zh) | 2020-08-25 | 2020-08-25 | 面向穿戴式增强/混合现实设备的第三方视角实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148122A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114489342A (zh) * | 2022-01-29 | 2022-05-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011129907A1 (en) * | 2010-04-13 | 2011-10-20 | Sony Computer Entertainment America Llc | Calibration of portable devices in a shared virtual space |
| US20140375688A1 (en) * | 2013-06-25 | 2014-12-25 | William Gibbens Redmann | Multiuser augmented reality system |
| CN106663338A (zh) * | 2014-08-01 | 2017-05-10 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN109427095A (zh) * | 2017-08-28 | 2019-03-05 | 福建天晴数码有限公司 | 一种显示混合现实场景的方法及系统 |
| US20200117267A1 (en) * | 2018-10-10 | 2020-04-16 | Plutovr | Reference frames for virtual environments |
-
2020
- 2020-08-25 CN CN202010875862.4A patent/CN112148122A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011129907A1 (en) * | 2010-04-13 | 2011-10-20 | Sony Computer Entertainment America Llc | Calibration of portable devices in a shared virtual space |
| US20140375688A1 (en) * | 2013-06-25 | 2014-12-25 | William Gibbens Redmann | Multiuser augmented reality system |
| CN106663338A (zh) * | 2014-08-01 | 2017-05-10 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| US20170201708A1 (en) * | 2014-08-01 | 2017-07-13 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN109427095A (zh) * | 2017-08-28 | 2019-03-05 | 福建天晴数码有限公司 | 一种显示混合现实场景的方法及系统 |
| US20200117267A1 (en) * | 2018-10-10 | 2020-04-16 | Plutovr | Reference frames for virtual environments |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114489342A (zh) * | 2022-01-29 | 2022-05-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109802931B (zh) | 一种通信处理方法、终端及存储介质 | |
| CN110266992A (zh) | 一种基于增强现实的远程视频交互系统以及方法 | |
| CN109218648B (zh) | 一种显示控制方法及终端设备 | |
| WO2019034142A1 (zh) | 三维虚拟形象的显示方法、装置、终端及存储介质 | |
| US20220245859A1 (en) | Data processing method and electronic device | |
| US20070273644A1 (en) | Personal device with image-acquisition functions for the application of augmented reality resources and method | |
| US8994752B2 (en) | Image processing device, image processing method, and program | |
| WO2005119591A1 (ja) | 表示制御方法および装置、プログラム、並びに携帯機器 | |
| WO2013119475A1 (en) | Integrated interactive space | |
| EP3547083B1 (en) | Information processing program, information processing method, and information processing system | |
| KR101839122B1 (ko) | 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템 및 다중 접속 가상공간에서 3d 가상현실 영상을 제공하는 방법 | |
| CN109126121B (zh) | Ar终端互联方法、系统、装置及计算机可读存储介质 | |
| CN109408168A (zh) | 一种远程交互方法和终端设备 | |
| CN110166848B (zh) | 一种直播互动的方法、相关装置及系统 | |
| US20230015206A1 (en) | Methods, systems, and devices for providing augmented reality content based on user engagement | |
| US20210037063A1 (en) | Information processing device, information processing method, and computer program | |
| CN112509401A (zh) | 一种基于增强现实投影交互的远程实操教学方法与系统 | |
| KR101839118B1 (ko) | 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템 | |
| CN109104632A (zh) | 一种电视终端ar场景的实现方法及系统 | |
| CN112148122A (zh) | 面向穿戴式增强/混合现实设备的第三方视角实现方法 | |
| CN110794952B (zh) | 虚拟现实协同处理方法、装置和系统 | |
| CN114040119A (zh) | 全景视频显示方法、装置和计算机设备 | |
| CN111459432B (zh) | 虚拟内容的显示方法、装置、电子设备及存储介质 | |
| CN110493457B (zh) | 一种终端设备控制方法及终端设备 | |
| WO2021136265A1 (zh) | 解锁方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
| RJ01 | Rejection of invention patent application after publication |