CN112130660B - 一种基于虚拟现实一体机的交互方法和系统 - Google Patents

一种基于虚拟现实一体机的交互方法和系统 Download PDF

Info

Publication number
CN112130660B
CN112130660B CN202010818597.6A CN202010818597A CN112130660B CN 112130660 B CN112130660 B CN 112130660B CN 202010818597 A CN202010818597 A CN 202010818597A CN 112130660 B CN112130660 B CN 112130660B
Authority
CN
China
Prior art keywords
virtual reality
user
data
pose
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010818597.6A
Other languages
English (en)
Other versions
CN112130660A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010818597.6A priority Critical patent/CN112130660B/zh
Publication of CN112130660A publication Critical patent/CN112130660A/zh
Priority to PCT/CN2021/112624 priority patent/WO2022033596A1/zh
Priority to US17/881,920 priority patent/US11720169B2/en
Application granted granted Critical
Publication of CN112130660B publication Critical patent/CN112130660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开一种基于虚拟现实一体机的交互方法和系统。本申请的方法包括：根据多个虚拟现实一体机的用户数据，在虚拟现实场景中绘制各个虚拟现实一体机的用户化身；实时获取多个虚拟现实一体机采集到的多个用户的位姿追踪数据，位姿追踪数据携带用户ID；基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，得到各个用户的位姿融合数据，位姿融合数据携带用户ID；利用位姿融合数据及其携带的用户ID对各个虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位姿状态进行更新，实现虚拟现实场景中不同用户化身之间的交互。本申请的技术方案可以实现VR场景中不同用户化身之间的交互，增强VR体验。

Description

一种基于虚拟现实一体机的交互方法和系统
技术领域
本申请涉及计算机技术领域，具体涉及一种基于虚拟现实一体机的交互方法和系统。
背景技术
以互联网为主的生活娱乐正在经历了一场大的变革，这样的变革使人的生活娱乐越来越社会化、合作化、共享化。然而，基于虚拟现实(Virtual Reality，VR)技术的VR一体机进行的VR环境交互是一个比较显著的例外。VR一体机的用户经常发现，尽管VR很有趣，但由于缺乏社交维度，VR变得非常孤立。
发明内容
本申请提供了一种基于虚拟现实一体机的交互方法和系统，用于解决或部分解决上述问题。
一方面，本申请提供了一种基于虚拟现实一体机的交互方法，包括：
根据多个虚拟现实一体机的用户数据，在虚拟现实场景中绘制各个虚拟现实一体机的用户化身；
实时获取多个虚拟现实一体机采集到的多个用户的位姿追踪数据，位姿追踪数据携带用户ID；
基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，得到各个用户的位姿融合数据，位姿融合数据携带用户ID；
利用位姿融合数据及其携带的用户ID对各个虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位姿状态进行更新，实现虚拟现实场景中不同用户化身之间的交互。
另一方面，本申请提供了一种基于虚拟现实一体机的交互系统，包括：数据处理服务器与数据处理服务器网络连接的多个虚拟现实一体机；
虚拟现实一体机，用于根据各个虚拟现实一体机的用户数据，在虚拟现实一体机的虚拟现实场景中绘制各个虚拟现实一体机的用户化身，以及采集自身用户的位姿追踪数据，将采集到的自身用户的位姿追踪数据发送给数据处理服务器，其中位姿追踪数据携带用户ID；
数据处理服务器，用于实时接收多个虚拟现实一体机发送的多个用户的位姿追踪数据，基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，将得到各个用户的位姿融合数据发送给各个虚拟现实一体机，其中位姿融合数据携带用户ID；
虚拟现实一体机，还用于利用位姿融合数据及其携带的用户ID对自身虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位姿状态进行更新，实现虚拟现实场景中不同用户化身之间的交互。
本申请的有益效果是：本申请将多个VR一体机的用户虚拟化到同一VR场景中，可以使处于同一物理区域或处于不同物理区域的用户体验相同的VR环境，通过将多个用户的位姿追踪数据进行融合，利用数据融合所得的位姿融合数据及用户ID对每个VR一体机所显示的VR场景中相应用户ID的用户化身的位姿状态进行更新，实现VR场景中不同用户化身之间的交互，使其他用户可以通过第三视角在VR一体机上实时观察其他用户在VR场景中的状态，增强用户的VR体验，为内容创作者将社交和多用户维度融入VR世界提供可能。
附图说明
图1是本申请一个实施例示出的基于VR一体机的交互方法流程图；
图2是本申请一个实施例示出的多用户进行VR远程交互的示意图；
图3是本申请一个实施例示出的基于VR一体机的交互系统结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
VR一体机通常设置为每个用户佩戴单个VR一体机进行虚拟现实交互。这主要是由于VR一体机的头戴式性质决定其一次只能为一个用户提供VR的能力。因此，当两个或多个VR一体机的用户同时处于现实世界中进行虚拟现实体验时，他们可能会沉浸在不同的虚拟现实环境中，而完全不知道彼此的体验。例如，当两个VR一体机的用户位于临近的物理位置，但他们的VR体验则是完全不同的VR环境。
基于以上描述，本申请实施例为VR一体机的用户提供了一种新型的交互方案，使其整体上不那么孤立、更具社区性和娱乐性。本申请实施例不仅可以使同一物理环境位置和不同物理环境的VR一体机的用户能够见证相同的VR场景，而且允许不同用户在VR环境的化身进行交互。
图1是本申请一个实施例示出的基于VR一体机的交互方法流程图，如图1所示，本申请实施例的交互方法包括如下步骤：
步骤S110，根据多个VR一体机的用户数据，在VR场景中绘制各个VR一体机的用户化身。
本实施例中，在VR场景中绘制各个VR一体机的用户化身，可以理解为在每个VR一体机所显示的VR场景中，绘制包括VR一体机自身用户的用户化身以及其他VR一体机的用户化身。
其中，用户数据包括但不限于用户性别、用户身高、用户肤色等用户体表特征数据，基于用户数据实现用户化身的个性化绘制。
步骤S120，实时获取多个VR一体机采集到的多个用户的位姿追踪数据，位姿追踪数据携带用户ID。
本实施例中，每个VR一体机采集自身用户的位姿追踪数据，获取多个VR一体机采集到的多个用户的位姿追踪数据，可以理解为：获取每个VR一体机采集到的该VR一体机自身用户的位姿追踪数据。假设由N个VR一体机，第一个VR一体机采集其自身用户(表示为用户1)的位姿追踪数据，第二个VR一体机采集其自身用户(表示为用户2)的位姿追踪数据，如此第N个VR一体机采集其自身用户(表示为用户N)的位姿追踪数据，实时获取这N个VR一体机采集的位姿追踪数据。
其中，位姿追踪数据为6DoF(degree of freedom，自由度)数据，包括用户位置数据和用户姿态数据，例如利用VR一体机内置的传感器组件采集用户的位姿追踪数据，和/或，利用VR一体机外接的手柄控制器中的传感器采集用户的位姿追踪数据。
步骤S130，基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，得到各个用户的位姿融合数据，位姿融合数据携带用户ID。
步骤S140，利用位姿融合数据及其携带的用户ID对各个VR一体机的VR场景中具有相同用户ID的用户化身的位姿状态进行更新，实现VR场景中不同用户化身之间的交互。
由图1所示可知，本实施例将多个VR一体机的用户虚拟化到同一VR场景中，可以使处于同一物理区域或处于不同物理区域的用户体验相同的VR环境，通过将多个用户的位姿追踪数据进行融合，利用数据融合所得的位姿融合数据及用户ID对每个VR一体机所显示的VR场景中相应用户ID的用户化身的位姿状态进行更新，实现VR场景中不同用户化身之间的交互，使其他用户可以通过第三视角在VR一体机上实时观察其他用户在VR场景中的状态，增强用户的VR体验，为内容创作者将社交和多用户维度融入VR世界提供可能。
下面以一个N个VR一体机用户之间的远场交互为例，结合图2对图1中的交互方法的实现步骤进行具体说明。
应当注意的是：图2所示实施例是以多人远程社交为实例具体描述基于VR一体机的多人远程交互方法，该方法也可以扩展到其他实际应用中，比如基于VR的多人远程办公，基于VR的多人远程会议等应用，本申请实施例对具体应用场景不作具体限定。
如图2所示，本实施例需要构建一个数据处理服务器，服务器的处理能力、应用场景渲染能力等硬件配置、规格可根据实际应用中用户端(即图2所示的VR一体机)个数和VR内容的渲染复杂度予以确定。每个用户端通过无线网络处理器，比如无线路由器等设备，和网络进行连接，进而和数据处理服务器进行网络对接，实现网络通信。本实施例还构建一个主控制器，该主控制器在该系统中承担管理员的角色，用于对系统中的VR一体机进行管理，本实施例中主控制器的物理结构与VR一体机的物理结构相同。
图2所示的VR一体机为头戴式一体机，VR一体机的头戴端内置CPU、GPU、无线网络模块等组件，VR一体机的计算处理事件全部在头戴端实现。一个示例，图2所示的VR一体机的头戴端内置6DoF定位模组，6DoF定位模组包括2个及2个以上的Camera(相机)传感器，IMU(Inertial measurement unit，惯性测量单元)9轴惯性导航传感器，通过计算机视觉算法结合Camera数据和IMU 9轴惯性导航传感器数据，实时获取VR一体机的6DoF位姿追踪数据，即获取用户相对真物理环境中的位置和姿态信息。
需要说明的是，在一些实施例中，VR一体机也可以为其他形式，本申请不做具体限制。
图2所示的VR一体机外接两个手柄控制器，用户左右手分别控制两个手柄控制器，利用手柄控制器用户可以实时和VR场景中的内容进行交互。本实施例中，手柄控制器内置光学传感器或者3轴电磁传感器或者超声波传感器，结合内置在手柄控制器中的IMU 9轴惯性导航传感器数据，实时计算出手柄的6DoF数据，实时获得用户的位姿追踪数据。
可以理解的是，本实施例实时获取到的多个用户的位姿追踪数据可以包括通过不同传感器模组获取到的数据，例如图2所示的利用内置在VR一体机头戴端的6DoF定位模组采集到的用户头部的位姿追踪数据，以及利用内置在VR一体机外接的手柄控制器中的传感器模组采集到的用户手部的位姿追中数据。其中，头戴端的6DoF数据和手柄控制器的6DoF数据都是经过VR一体机头戴端的CPU计算处理所得。
结合图2所示的交互场景，步骤S120中的实时获取多个VR一体机采集到的多个用户的位姿追踪数据包括：按照设定频率向多个VR一体机发送数据请求，并在预设时间内接收相应VR一体机回复的位姿追踪数据。
相应的，步骤S130基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合包括将在预设时间内接收到的相应虚拟现实一体机回复的位姿追踪数据进行融合。
例如，数据处理服务器每1ms向N个VR一体机发送数据请求，每个VR一体机在接收到数据请求时，将当前采集到的自身用户的位姿追踪数据发送给数据处理服务器。数据处理服务器在向N个VR一体机发送数据请求的同时启动一个定时器，在定时器的预设时间内，例如在20ms的预设时间内，数据处理服务器接收各个VR一体机回复到的位姿追踪数据。假设在预设时间内，数据处理服务器仅接收到N个VR一体机中的部分VR一体机回复的位姿追踪数据，则数据处理服务器将接收到的这部分VR一体机回复的位姿追踪数据进行融合。
本实施例利用数据处理服务器按照频率发送数据请求，通过设置接收数据的预设时间，只对预设时间内接收到的位姿追踪数据进行数据融合，避免数据处理器等待所有VR一体机回复位姿追踪数据之后再进行数据融合导致的时延。
在一些实施例中，可以通过下述方法进行数据融合：
将多个用户的位姿追踪数据进行坐标变换，得到位于同一坐标系中的各个用户的位姿融合数据。
由于数据处理服务器所接收到的VR一体机回复的位姿追踪数据是基于VR一体机自身坐标系描述的，因此，本实施例的数据处理服务器在接收到位姿追踪数据之后，将接收到的位姿追踪数据进行坐标变换，将位姿追踪数据映射到VR场景所在坐标系中，以便于后续各个VR一体机基于位置融合数据更新VR场景中的用户化身。
在一些实施例中，上述步骤S110中，利用位姿融合数据及其携带的用户ID对各个VR一体机的VR场景中具有相同用户ID的用户化身的位置状态进行更新，包括：
利用各个VR一体机启动的第一线程获取位姿融合数据，利用位姿融合数据及其携带的用户ID渲染更新VR场景中具有相同用户ID的用户化身；以及
利用各个VR一体机启动的与第一线程并行的第二线程获取VR一体机采集到的自身用户的位姿追踪数据，利用采集到的自身用户的位姿追踪数据更新VR场景中自身化身的位姿状态。
由于VR一体机采集自身用户的位姿追踪数据的计算频率与数据处理服务器获得位姿融合数据的计算率不同，因此，本施例中的各个VR一体机启动两个并行处理的线程分别更新自身化身的位姿状态和其他用户化身的位姿状态，避免不同计算频率造成位姿状态的更新延时。
在一些实施例中，上述步骤S110还包括接收VR一体机发送的交互请求，该交互请求携带验证信息与用户数据；根据验证信息对VR一体机发送的交互请求进行确认，若验证通过，向VR一体机发送允许交互响应，并基于用户数据在VR场景中绘制该验证通过的VR一体机的用户化身；若验证未通过向VR一体机发送拒绝交互响应。
结合图2所示的交互场景，在VR一体机启动多人远程交互时，该VR一体机向数据处理服务器发送交互请求，该交互请求携带验证信息与用户数据；数据处理服务器解析该交互请求并保存，以及数据处理服务器将该交互请求转发给主控制器，主控制器基于该交互请求携带的验证信息进行判断，若验证通过，向数据处理服务器发送允许交互响应，数据处理服务器接收到的允许交互响应时，将允许交互响应发送给VR一体机，以及将保存的该VR一体机的用户数据发送给系统中所有其他VR一体机，使得系统中的VR一体机在VR场景中绘制该验证通过的VR一体机的用户化身。若验证未通过，向数据处理服务器发送拒绝交互响应，数据处理服务器将接收到的拒绝交互响应时发送给该VR一体机。
在一些实施例中，图1所示的交互方法还包括：接收移除命令，该移除命令携带待移除用户化身的用户ID；根据该待移除用户化身的用户ID，将该用户ID的用户化身从各个VR一体机的VR场景中移除。
依然结合图2所示的交互场景，在主控制器接收到移除命令时，例如接收到管理员发送的移除命令时，将移除命令发送给数据处理服务器，数据处理服务器将移除命令转发给各个VR一体机，各个VR一体机在接收到移除命令时，将相应的用户化身从VR场景中移除。
基于上述描述，本实施例可以实现多用户的VR场景交互。
与前述方法相对应，本申请还提供了一种基于虚拟现实一体机的交互系统，图3是本申请一个实施例示出的基于VR一体机的交互系统结构示意图，如图3所述，本实施例的系统300包括：数据处理服务器310，与数据处理服务器310网络连接的多个虚拟现实一体机320；
VR一体机320，用于根据各个VR一体机的用户数据，在VR一体机的VR场景中绘制各个VR一体机的用户化身，以及采集自身用户的位姿追踪数据，将采集到的自身用户的位姿追踪数据发送给数据处理服务器310，其中位姿追踪数据携带用户ID；
数据处理服务器310，用于实时接收多个VR一体机发送的多个用户的位姿追踪数据，基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，将得到各个用户的位姿融合数据发送给各个VR一体机，其中位姿融合数据携带用户ID；
VR一体机320，还用于利用位姿融合数据及其携带的用户ID对自身虚VR一体机的VR景中具有相同用户ID的用户化身的位姿状态进行更新，实现VR场景中不同用户化身之间的交互。
在一些实施例中，数据处理服务器310，还用于按照设定频率向多个VR一体机发送数据请求，并在预设时间内接收相应VR一体机回复的位姿追踪数据；
VR一体机320，还用于按照接收到的数据请求向数据处理服务器310回复的位姿追踪数据；
数据处理服务器310，还用于将在预设时间内接收到的相应VR一体机回复的位姿追踪数据进行融合。
在一些实施例中，数据处理服务器310，具体是用于将多个用户的位姿追踪数据进行坐标变换，得到位于同一坐标系中的各个用户的位姿融合数据。
在一些实施例中，VR一体机320，还用于启动第一线程来获取位姿融合数据，利用位姿融合数据及其携带的用户ID渲染更新VR场景中具有相同用户ID的用户化身；以及启动与第一线程并行的第二线程获取VR一体机采集到的自身用户的位姿追踪数据，利用采集到的自身用户的位姿追踪数据更新VR场景中自身化身的位姿状态。
在一些实施例中，交互系统还包括与数据处理服务器310网络连接的主控制器；
数据处理服务器310，还用于接收VR一体机发送的交互请求并将接收到的交互请求发送给主控制器，所述交互请求携带验证信息与用户数据；
主控制器，用于根据所述验证信息对VR一体机发送的交互请求进行确认，并将验证结果发送给数据处理服务器；
数据处理服务器310，还用于根据验证结果响应交互请求，若验证结果为验证通过，向虚拟现实一体机发送允许交互响应，若验证结果为验证未通过，向虚拟现实一体机发送拒绝交互响应；
VR一体机320，还用于接收交互响应，若交互响应为允许交互响应，则基于用户数据在VR场景中绘制该验证通过的虚拟现实一体机的用户化身，交互响应为拒绝交互响应则结束本次交互。
综上所述，本申请实施例将多个VR一体机的用户虚拟化到同一VR场景中，可以使处于同一物理区域或处于不同物理区域的用户体验相同的VR环境，通过将多个用户的位姿追踪数据进行融合，利用数据融合所得的位姿融合数据及用户ID对每个VR一体机所显示的VR场景中相应用户ID的用户化身的位姿状态进行更新，实现VR场景中不同用户化身之间的交互，使其他用户可以通过第三视角在VR一体机上实时观察其他用户在VR场景中的状态，增强用户的VR体验，为内容创作者将社交和多用户维度融入VR世界提供可能。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的交互系统中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种基于虚拟现实一体机的交互方法，其特征在于，包括：
根据多个虚拟现实一体机的用户数据，在虚拟现实场景中绘制各个虚拟现实一体机的用户化身；
实时获取多个虚拟现实一体机采集到的多个用户的位姿追踪数据，位姿追踪数据携带用户ID；
基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，得到各个用户的位姿融合数据，位姿融合数据携带用户ID，包括：
将多个用户的位姿追踪数据进行坐标变换，得到位于同一坐标系中的各个用户的位姿融合数据；
利用位姿融合数据及其携带的用户ID对各个虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位姿状态进行更新，实现虚拟现实场景中不同用户化身之间的交互；
利用位姿融合数据及其携带的用户ID对各个虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位置状态进行更新，包括：
利用各个虚拟现实一体机启动的第一线程获取位姿融合数据，利用位姿融合数据及其携带的用户ID渲染更新虚拟现实场景中具有相同用户ID的用户化身；以及
利用各个虚拟现实一体机启动的与第一线程并行的第二线程获取虚拟现实一体机采集到的自身用户的位姿追踪数据，利用采集到的自身用户的位姿追踪数据更新虚拟现实场景中自身化身的位姿状态。
2.如权利要求1所述的方法，其特征在于，实时获取多个虚拟现实一体机采集到的多个用户的位姿追踪数据，包括：
按照设定频率向多个虚拟现实一体机发送数据请求，并在预设时间内接收相应虚拟现实一体机回复的位姿追踪数据。
3.如权利要求2所述的方法，其特征在于，基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，包括：
将在预设时间内接收到的相应虚拟现实一体机回复的位姿追踪数据进行融合。
4.如权利要求1所述的方法，其特征在于，根据多个虚拟现实一体机的用户数据，在各个虚拟现实一体机的虚拟现实场景中绘制各个虚拟现实一体机的用户化身，包括：
接收虚拟现实一体机发送的交互请求，所述交互请求携带验证信息与用户数据；
根据所述验证信息对虚拟现实一体机发送的交互请求进行确认，若验证通过，向虚拟现实一体机发送允许交互响应，并基于用户数据在虚拟现实场景中绘制该验证通过的虚拟现实一体机的用户化身；若验证未通过向虚拟现实一体机发送拒绝交互响应。
5.如权利要求4所述的方法，其特征在于，还包括：
接收移除命令，所述移除命令携带待移除用户化身的用户ID；
根据所述待移除用户化身的用户ID，将该用户ID的用户化身从各个虚拟现实一体机的虚拟现实场景中移除。
6.一种基于虚拟现实一体机的交互系统，其特征在于，包括：数据处理服务器，与数据处理服务器网络连接的多个虚拟现实一体机；
虚拟现实一体机，用于根据各个虚拟现实一体机的用户数据，在虚拟现实一体机的虚拟现实场景中绘制各个虚拟现实一体机的用户化身，以及采集自身用户的位姿追踪数据，将采集到的自身用户的位姿追踪数据发送给数据处理服务器，其中位姿追踪数据携带用户ID；
数据处理服务器，用于实时接收多个虚拟现实一体机发送的多个用户的位姿追踪数据，基于位姿追踪数据携带的用户ID将多个用户的位姿追踪数据进行融合，将得到各个用户的位姿融合数据发送给各个虚拟现实一体机，其中位姿融合数据携带用户ID；具体用于，将多个用户的位姿追踪数据进行坐标变换，得到位于同一坐标系中的各个用户的位姿融合数据；
虚拟现实一体机，还用于利用位姿融合数据及其携带的用户ID对自身虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位姿状态进行更新，实现虚拟现实场景中不同用户化身之间的交互；
利用位姿融合数据及其携带的用户ID对各个虚拟现实一体机的虚拟现实场景中具有相同用户ID的用户化身的位置状态进行更新，包括：
利用各个虚拟现实一体机启动的第一线程获取位姿融合数据，利用位姿融合数据及其携带的用户ID渲染更新虚拟现实场景中具有相同用户ID的用户化身；以及
利用各个虚拟现实一体机启动的与第一线程并行的第二线程获取虚拟现实一体机采集到的自身用户的位姿追踪数据，利用采集到的自身用户的位姿追踪数据更新虚拟现实场景中自身化身的位姿状态。
7.根据权利要求6所述的交互系统，其特征在于，
数据处理服务器，还用于按照设定频率向多个虚拟现实一体机发送数据请求，并在预设时间内接收相应虚拟现实一体机回复的位姿追踪数据；
虚拟现实一体机，还用于按照接收到的数据请求向数据处理服务器回复的位姿追踪数据；
数据处理服务器，还用于将在预设时间内接收到的相应虚拟现实一体机回复的位姿追踪数据进行融合。
8.根据权利要求7所述的交互系统，其特征在于，还包括与数据处理服务器网络连接的主控制器；
数据处理服务器，还用于接收虚拟现实一体机发送的交互请求并将接收到的交互请求发送给主控制器，所述交互请求携带验证信息与用户数据；
主控制器，用于根据所述验证信息对虚拟现实一体机发送的交互请求进行确认，并将验证结果发送给数据处理服务器；
数据处理服务器，还用于根据验证结果响应交互请求，若验证结果为验证通过，向虚拟现实一体机发送允许交互响应，若验证结果为验证未通过，向虚拟现实一体机发送拒绝交互响应；
虚拟现实一体机，还用于接收交互响应，若交互响应为允许交互响应，则基于用户数据在虚拟现实场景中绘制该验证通过的虚拟现实一体机的用户化身，交互响应为拒绝交互响应则结束本次交互。
CN202010818597.6A 2020-08-14 2020-08-14 一种基于虚拟现实一体机的交互方法和系统 Active CN112130660B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010818597.6A CN112130660B (zh) 2020-08-14 2020-08-14 一种基于虚拟现实一体机的交互方法和系统
PCT/CN2021/112624 WO2022033596A1 (zh) 2020-08-14 2021-08-13 一种基于虚拟现实一体机的交互方法和系统
US17/881,920 US11720169B2 (en) 2020-08-14 2022-08-05 Interaction method and system based on virtual reality equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010818597.6A CN112130660B (zh) 2020-08-14 2020-08-14 一种基于虚拟现实一体机的交互方法和系统

Publications (2)

Publication Number Publication Date
CN112130660A CN112130660A (zh) 2020-12-25
CN112130660B true CN112130660B (zh) 2024-03-15

Family

ID=73851564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010818597.6A Active CN112130660B (zh) 2020-08-14 2020-08-14 一种基于虚拟现实一体机的交互方法和系统

Country Status (3)

Country Link
US (1) US11720169B2 (zh)
CN (1) CN112130660B (zh)
WO (1) WO2022033596A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130660B (zh) 2020-08-14 2024-03-15 青岛小鸟看看科技有限公司 一种基于虚拟现实一体机的交互方法和系统
CN113262465A (zh) 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实交互方法、设备及系统
CN115828836B (zh) * 2023-02-16 2023-05-05 江西格如灵科技有限公司 电器线路布置方法、系统、计算机及可读存储介质
CN117115400A (zh) * 2023-09-15 2023-11-24 深圳市红箭头科技有限公司 实时显示全身人体动作的方法、装置、计算机设备及存储介质
CN118377384B (zh) * 2024-06-20 2024-09-10 深圳市星野信息技术有限公司 一种虚拟场景交互方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9616338B1 (en) * 2016-02-29 2017-04-11 Vreal Inc Virtual reality session capture and replay systems and methods
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN107272454A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的实时人机交互方法
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全
CN108020223A (zh) * 2017-11-29 2018-05-11 北京众绘虚拟现实技术研究院有限公司 一种基于惯性测量装置的力反馈设备手柄的姿态测量方法
WO2019037074A1 (zh) * 2017-08-25 2019-02-28 深圳市瑞立视多媒体科技有限公司 虚拟现实交互系统、方法及计算机存储介质
CN109445573A (zh) * 2018-09-14 2019-03-08 重庆爱奇艺智能科技有限公司 一种用于虚拟化身形象互动的方法与装置
CN109671118A (zh) * 2018-11-02 2019-04-23 北京盈迪曼德科技有限公司 一种虚拟现实多人交互方法、装置及系统
CN110379014A (zh) * 2019-07-30 2019-10-25 招商局重庆交通科研设计院有限公司 基于bim+vr技术的交互式道路仿真方法及平台
CN111199561A (zh) * 2020-01-14 2020-05-26 上海曼恒数字技术股份有限公司 一种用于虚拟现实设备的多人协同定位方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
US10062208B2 (en) * 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
CN108139815B (zh) * 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10438393B2 (en) * 2017-03-16 2019-10-08 Linden Research, Inc. Virtual reality presentation of body postures of avatars
US20180359448A1 (en) * 2017-06-07 2018-12-13 Digital Myths Studio, Inc. Multiparty collaborative interaction in a virtual reality environment
US10445941B2 (en) * 2017-06-21 2019-10-15 Number 9, LLC Interactive mixed reality system for a real-world event
US10672190B2 (en) * 2017-10-05 2020-06-02 Microsoft Technology Licensing, Llc Customizing appearance in mixed reality
CN110928414A (zh) * 2019-11-22 2020-03-27 上海交通大学 三维虚实融合实验系统
CN111307146B (zh) * 2020-03-02 2023-07-18 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN112130660B (zh) * 2020-08-14 2024-03-15 青岛小鸟看看科技有限公司 一种基于虚拟现实一体机的交互方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全
US9616338B1 (en) * 2016-02-29 2017-04-11 Vreal Inc Virtual reality session capture and replay systems and methods
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN107272454A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的实时人机交互方法
WO2019037074A1 (zh) * 2017-08-25 2019-02-28 深圳市瑞立视多媒体科技有限公司 虚拟现实交互系统、方法及计算机存储介质
CN108020223A (zh) * 2017-11-29 2018-05-11 北京众绘虚拟现实技术研究院有限公司 一种基于惯性测量装置的力反馈设备手柄的姿态测量方法
CN109445573A (zh) * 2018-09-14 2019-03-08 重庆爱奇艺智能科技有限公司 一种用于虚拟化身形象互动的方法与装置
CN109671118A (zh) * 2018-11-02 2019-04-23 北京盈迪曼德科技有限公司 一种虚拟现实多人交互方法、装置及系统
CN110379014A (zh) * 2019-07-30 2019-10-25 招商局重庆交通科研设计院有限公司 基于bim+vr技术的交互式道路仿真方法及平台
CN111199561A (zh) * 2020-01-14 2020-05-26 上海曼恒数字技术股份有限公司 一种用于虚拟现实设备的多人协同定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于三维建图和虚拟现实的人机交互系统;张辉;王盼;肖军浩;卢惠民;;控制与决策;20180308(11);全文 *

Also Published As

Publication number Publication date
CN112130660A (zh) 2020-12-25
WO2022033596A1 (zh) 2022-02-17
US20220374073A1 (en) 2022-11-24
US11720169B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
CN112130660B (zh) 一种基于虚拟现实一体机的交互方法和系统
JP6792044B2 (ja) ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御
CN107683166B (zh) 用于限制头戴式显示器上的视觉活动的过滤和父母控制方法
CN111624770B (zh) 头戴式显示器上的夹捏和保持手势导航
CN106659934B (zh) 用于将头戴式显示器(hmd)内容与第二屏幕社交分享的方法和系统
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP7516615B2 (ja) Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
US20090141023A1 (en) Selective filtering of user input data in a multi-user virtual environment
US10488949B2 (en) Visual-field information collection method and system for executing the visual-field information collection method
JP2019191690A (ja) 仮想空間を提供するためのプログラム、システム、及び方法
JP2022121451A (ja) プログラム、情報処理装置、情報処理システム、および情報処理方法
CN106390454A (zh) 一种现实场景虚拟游戏系统
JP7560835B2 (ja) プログラム及び情報処理方法
JP7041484B2 (ja) プログラム、情報処理装置、情報処理システム、および情報処理方法
CN113711164A (zh) 用于应用和对应设备的用户控制的方法和装置
JP2024069926A (ja) プログラム、コンピュータシステムおよび記録用画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant