CN118262072A - 信息提示方法、扩展现实设备、装置、介质和程序产品 - Google Patents

Abstract

本申请公开了一种信息提示方法、扩展现实设备、装置、介质和程序产品，该方法包括如下步骤。在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是第一主体的安全活动区域；在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，提示信息或者第二场景画面用于向第一主体提示与第二主体的碰撞关系。能够通过第一主体和第二主体之间的距离预判第一主体和第二主体之间可能发生的碰撞事件，并基于提示信息及时指示第一主体调整自身的运动轨迹，避免碰撞事件的发生，保证第一主体的安全。

Description

信息提示方法、扩展现实设备、装置、介质和程序产品

技术领域

本申请实施例涉及虚拟现实领域，特别涉及一种信息提示方法、扩展现实设备、装置、介质和程序产品。

背景技术

扩展显示设备用于创建和模拟一个三维的虚拟世界，用户可以通过佩戴扩展现实设备沉浸式体验VR游戏。用户佩戴扩展现实设备后无法观察到周围的环境，在体验游戏过程中，用户进行移动或执行不同行为时很可能会触碰到周围环境中的物体。

相关技术中，扩展现实设备会提示用户预先设置安全区域，基于安全区域对用户的移动范围进行约束，当用户移动至安全区域的边界处或超出该安全区域范围内，则立即提示用户及时返回。

然而，上述方式仅能在周围环境中仅存在静态物体的情况下保证用户的安全，具有局限性，当周围环境中存在其他人经过时，玩家可能会在游戏过程中与其他人发生肢体碰撞，从而受到伤害。

发明内容

本申请实施例提供了一种信息提示方法、扩展现实设备、装置、介质和程序产品，能够预测第一主体和第二主体的运动轨迹，对佩戴扩展现实设备的第一主体进行信息提示，避免第一主体与第二主体之间发生碰撞，保证第一主体的安全。所述技术方案如下：

一方面，提供了一种基于扩展现实设备的信息提示方法，所述方法包括：

在第一主体佩戴所述扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；

在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。

另一方面，提供了一种扩展现实设备，所述扩展现实设备包含显示屏组件和控制芯片；

所述控制芯片，用于在第一主体佩戴所述扩展现实设备的情况下，控制所述显示屏组件显示虚拟场景画面，所述虚拟场景画面用于向所述第一主体提供VR场景感知，所述第一主体对应第一活动区域；

所述控制芯片，还用于在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，控制所述显示屏组件显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。

另一方面，提供了一种基于扩展现实设备的信息提示装置，所述装置包括：

场景画面显示模块，用于在第一主体佩戴所述扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；

提示信息显示模块，用于在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的信息提示方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的信息提示方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是第一主体的安全活动区域；在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，提示信息或者第二场景画面用于向第一主体提示与第二主体的碰撞关系。能够通过第一主体和第二主体之间的距离预判第一主体和第二主体之间可能发生的碰撞事件，并基于提示信息及时指示第一主体调整自身的运动轨迹，避免碰撞事件的发生，保证第一主体的安全。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的本方案的整体流程图；

图2是本申请一个示例性实施例提供的扩展现实设备的示意图；

图3是本申请一个示例性实施例提供的基于扩展现实设备的信息提示方法的流程图；

图4是本申请一个示例性实施例提供的拼接图像的示意图；

图5是本申请一个示例性实施例提供的确定第一活动区域内存在第二主体的情况的方法流程图；

图6是本申请一个示例性实施例提供的第二主体与第一主体之间存在第一相对位置关系的示意图；

图7是本申请一个示例性实施例提供的基于延长线确定第一相对位置关系的示意图；

图8是本申请一个示例性实施例提供的采集第一主体的第一运动轨迹数据和第二主体的第二运动轨迹数据的方法流程图；

图9是本申请一个示例性实施例提供的将第二主体的中心在多帧环境图像中的位置映射到三维坐标系的示意图；

图10是本申请一个示例性实施例提供的第一活动区域和第二活动区域的大小关系示意图；

图11是本申请一个示例性实施例提供的第二预测轨迹数据的示意图；

图12是本申请一个示例性实施例提供的基于扩展现实设备的信息提示装置的结构框图；

图13是本申请另一个示例性实施例提供的基于扩展现实设备的信息提示装置的结构框图；

图14是本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

需要说明的是，本申请所涉及的信息、数据，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

应当理解，尽管在本申请可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

针对本申请实施例中涉及的名词进行简单介绍：

虚拟现实(Virtual Reality，VR)：是一种能够创造和体验虚拟世界的计算机仿真技术，使用计算机生成交互式三维动态场景，通过特殊的设备让用户沉浸在这个环境中，并与之进行交互。这些设备包括头戴式显示设备，它们通过隔绝用户的视觉和听觉与外界的联系，引导用户在虚拟环境中产生一种存在的感觉。

其中，本申请中涉及的扩展现实设备是指VR设备，以扩展显示设备为头戴式显示设备为例进行说明。用户佩戴扩展现实设备后所看到的画面由现实环境画面转变为扩展现实设备所生成的虚拟环境画面。

视场角：是以光学仪器的镜头为顶点，被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角。也即，显示器边缘与观察点(眼睛)连线的夹角。在VR领域中，视场角通常指的是水平视场角。

RGB(红绿蓝颜色模型，Red、Green、Blue)：在图像采集方面，RGB相机可以捕捉场景的颜色信息，而灰度相机只能捕捉亮度信息。RGB图像中的每个像素点都由三个颜色分量(R、G、B)的值来表示，而灰度图像中的每个像素点只有一个亮度值，通常是通过将RGB分量转换为一个单一的灰度值来得到的。其中，本申请中涉及的灰度摄像头组件即为灰度相机，RGB深度摄像头组件即为RGB深度相机。

扩展现实设备在游戏领域中广泛应用，用户佩戴扩展现实设备以后可以体验多种VR游戏，置身于虚拟的三维环境中，与游戏场景/游戏角色/游戏元素等进行互动，获得沉浸式的体验。

常见的VR游戏类型包括原地活动类游戏和移动类游戏。用户在体验原地活动类游戏时不需要进行身体位置的移动，只需要肢体小幅度活动等，例如，手部活动、身体原地摇晃等。而在体验移动类游戏时，用户可以在一定空间内自由移动，改变自身位置，以获得在虚拟世界中对应移动的体验。

然而，佩戴扩展现实设备的用户所看到的画面是由扩展现实设备所呈现的虚拟画面，用户无法实时看到周围的环境，若用户在体验移动类游戏的过程中，进行大范围移动，很可能会触碰到现实环境中的物体/生物/其他障碍等，造成身体伤害。若用户在体验原地活动类游戏时挥动胳膊，也可能会触碰到从用户身边经过的其他生物(如动物、其他用户)，给扩展现实设备使用者造成安全隐患。

相关技术中，一些扩展现实设备会提示用户预先设置安全区域，或者，为用户设置默认的安全区域，基于安全区域对用户的移动范围进行约束，当用户移动至安全区域的边界处或超出该安全区域范围内，则立即提示用户及时返回。

上述提示方式虽然可以在一定程度上保障用户的安全，但也存在局限性：安全范围只有扩展现实设备能够确定，用户在进行游戏时无法感知自己的位置和现实环境中发生的事情。若存在其他人进入用户的安全范围，用户和其他人在各自移动的过程中很可能会发生肢体碰撞，从而受到伤害。

本申请提供了一种基于扩展现实设备的信息提示方法，能够有效避免用户在佩戴扩展现实设备进行游戏时与现实环境内的其他生物发生碰撞，保证了用户的安全。

以扩展现实设备里面呈现如图1所示，图1是本方案的整体流程图，包含如下步骤，由扩展现实设备执行，扩展现实设备包含摄像头组件，能够采集周围环境的图像，佩戴扩展现实设备的用户为第一主体。

S101，确定第一活动区域。

第一活动区域是第一主体进行活动时的安全区域，当第一主体的位置脱离该第一活动区域时，扩展现实设备会将虚拟现实画面切换为真实环境画面，以提示第一主体及时返回至第一活动区域中。

S102，加载游戏。

可选地，扩展现实设备为VR眼镜，加载游戏时，该游戏的画面会呈现在第一主体眼前。

可选地，第一用户佩戴扩展现实设备后，可以通过如下方式触发游戏加载：(1)使用特定手势或动作触发，如，伸手触发；(2)通过触发扩展现实设备上的目标控件加载游戏，如，扩展现实设备上存在开机按钮，长按该按钮触发；(3)使用与VR眼镜配套的手柄触发，手柄包含多种控件。

S103，确定游戏类型。

其中，游戏类型包括：(1)原地活动类游戏，(2)移动类游戏。用户在体验原地活动类游戏时不需要进行身体位置的移动，只需要肢体小幅度活动等，例如，手部活动、身体原地摇晃等。而在体验移动类游戏时，用户可以在一定空间内自由移动，改变自身位置，以获得在虚拟世界中对应移动的体验。

在一些实施例中，第一主体刚佩戴上扩展现实设备后，扩展现实设备会自动向第一主体呈现游戏类型选择界面，游戏类型选择界面中展示了多种不同类型的VR游戏，第一主体也可以通过与上述步骤S102所示的几种方式选择游戏类型。

S104，若游戏类型为原地活动类游戏，运行该游戏。

示例性的，运行游戏的过程中，扩展现实设备会向第一主体展示游戏界面。

S105，判断第一活动区域内是否存在第二主体。

若第一活动区域内不存在第二主体，则继续执行步骤S104至步骤S105。

S106，若第一活动区域内存在第二主体，预测得到第一主体的运动轨迹数据。

此时，第一主体所体验的游戏为原地活动类游戏，第一主体的身体位置不会发生变化，第一主体的运动轨迹数据用于描述第一主体的手部在未来时间段内的运动轨迹。

可选地，第一主体的手臂长度为半径、第一主体的位置为圆心划分得到圆形区域，该圆形区域的边缘轨迹即为第一主体的运动轨迹。

S107，若游戏类型为移动类游戏，运行该游戏。

示例性的，运行游戏的过程中，扩展现实设备会向第一主体展示游戏界面。

S108，判断第一活动区域内是否存在第二主体。

若第一活动区域内不存在第二主体，则继续执行步骤S107至步骤S108。

S109，若第一活动区域内存在第二主体，预测第一主体的运动轨迹数据。

此时，第一主体所体验的游戏为移动类游戏，第一主体的身体位置会发生变化，第一主体的运动轨迹数据用于描述第一主体在未来时间段内的运动轨迹，也即，第一主体的运动轨迹数据用于描述第一主体的位置变化情况。

S110，若第一活动区域内存在第二主体，预测得到第二主体的运动轨迹数据。

S111，判断第一主体的运动轨迹和第二主体的运动轨迹是否存在重合。

判断第一主体的运动轨迹和第二主体的运动轨迹之间是否存在交点，若存在交点，则存在重合，该交点为重合位置。

S112，若存在重合，则确定第一主体和第二主体分别到达重合位置时的时刻。

可选地，第一主体到达重合位置时的时刻为第一时刻，第二主体到达重合位置时的时刻为第二时刻。

S113，判断第一时刻与第二时刻之间的间隔时长是否小于时长阈值。

若小于时长阈值，则表示第一主体和第二主体之间会发生碰撞。

S114，若小于时长阈值，取消显示游戏画面。

示例性的，时长阈值为1.5秒，第一时刻为10:00:30，第二时刻为10:00:31，第一时刻与第二时刻之间的间隔时长为1秒，小于时长阈值。

取消显示游戏画面是指扩展现实设备将所显示的画面从游戏画面切换为真实环境的画面，以提示第一主体及时变更运动轨迹，避免发生碰撞。

综上，本申请提供的方法，在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是第一主体的安全活动区域；在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，提示信息或者第二场景画面用于向第一主体提示与第二主体的碰撞关系。能够通过第一主体和第二主体之间的距离预判第一主体和第二主体之间可能发生的碰撞事件，并基于提示信息及时指示第一主体调整自身的运动轨迹，避免碰撞事件的发生，保证第一主体的安全。

其次，对本申请实施例中涉及的扩展现实设备进行说明，如图2所示，图2是本申请一个示例性实施例提供的扩展现实设备的示意图，扩展现实设备是本申请方法的执行主体。

可选地，扩展现实设备200是一个头戴式虚拟现实设备(也可称为VR眼镜)，用户佩戴扩展现实设备200时眼前会呈现出虚拟画面。扩展现实设备200包含4个摄像头组件210，分别为摄像头组件C0、摄像头组件C2、摄像头组件C2、摄像头组件C3，位于扩展现实设备200的不同方位。

其中，每个摄像头组件210的视场角均为钝角，例如，每个摄像头组件210的视场角均为120°，则4个摄像头组件210的视场角总和为480°，超过360°，能够全方位采集用户所处环境的环境图像。

其中，扩展现实设备200中还包含控制芯片220，控制芯片220用于处理图像、计算出用户的位置、预测用户的运动轨迹等。

可选地，控制芯片在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面，虚拟场景画面用于向第一主体提供VR场景感知；摄像头组件采集环境图像，环境图像用于表现第一主体所处的环境；控制芯片在第二主体处于摄像头组件的图像采集范围内的情况下，响应于第一主体的第一预测轨迹数据与第二主体的第二预测轨迹数据符合提示要求，控制芯片显示提示信息。其中，第一预测轨迹数据和第二预测轨迹数据用于表征第一主体和第二主体在未来时刻的运动轨迹。

在一些实施例中，扩展现实设备包含显示屏组件和控制芯片，控制芯片在第一主体佩戴扩展现实设备的情况下，控制显示屏组件显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；控制芯片在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，控制显示屏组件显示提示信息或者第二场景画面，提示信息或者第二场景画面用于向第一主体提示与第二主体的预测碰撞关系。

在一些实施例中，扩展现实设备200与服务器之间存在通信连接关系，扩展现实设备200通过摄像头组件210采集到环境图像后，发送至服务器，由服务器执行上述计算处理过程，并将结果信息返回给扩展现实设备200，扩展现实设备200接收到结果信息后向用户显示对应的画面。

值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

在一些实施例中，上述服务器还可以实现为区块链系统中的节点。

结合上述名词简介和应用场景，对本申请提供的基于扩展现实设备的信息提示方法进行说明，该方法可以由服务器或者扩展现实设备执行，也可以由服务器和扩展现实设备共同执行，本申请实施例中，以该方法由扩展现实设备执行为例进行说明，如图3所示，图3是本申请一个示例性实施例提供的基于扩展现实设备的信息提示方法的流程图。该方法包括如下步骤。

步骤310，在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面。

其中，第一主体处于物理场景中，物理场景中的第一活动区域是第一主体的安全活动区域。

示例性的，虚拟场景画面为VR游戏中的虚拟场景画面，虚拟场景中包括虚拟角色/虚拟元素/虚拟物品等。

其中，扩展现实设备包括VR设备或者AR(Augmented Reality，增强现实)设备中的至少一种。

步骤320，在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面。

其中，提示信息或者第二场景画面用于向第一主体提示与第二主体的预测碰撞关系。

可选地，扩展现实设备包含摄像头组件，摄像头组件用于采集第一主体所处物理环境的图像。

第二场景画面是指扩展现实设备对虚拟场景画面进行透视处理后所显示的，由摄像头组件所采集的图像画面，也即，扩展现实设备向第一主体所呈现的画面由虚拟场景画面切换为现实环境的画面。

其中，在第一主体佩戴扩展现实设备的情况下，确定第一主体的第一活动区域。第一活动区域用于是第一主体进行活动时的环境区域，第一活动区域所划分的范围是第一主体的安全活动范围。

当第一主体位于第一活动区域内进行活动时，则扩展现实设备正常运行游戏。当第一主体脱离第一活动区域进行活动时，扩展现实设备停止运行游戏并显示提示信息或者第二场景画面，以提示第一主体更改其运动轨迹，回到第一活动区域内进行活动。

例如，第一活动区域是以第一主体在刚佩戴扩展现实设备时的位置为圆心，预设距离为半径所划分的圆形活动区域，当第一主体在第一活动区域内进行移动，其位置发生变化，若第一主体到达第一活动区域的边缘，扩展现实设备立即切换画面，将虚拟现实画面切换至真实环境画面，此时，提示信息的表现形式为扩展现实设备向第一主体呈现的画面内容。

可选地，第一活动区域的确定方式包括如下几种：(1)扩展现实设备为第一主体自动划分的区域；(2)第一主体通过扩展现实设备自定义的区域，如，第一主体伸出手臂在空中比划，以手指尖的轨迹为基准划分得到的闭合区域。又例如，扩展现实设备还包含手柄部分，第一主体基于手柄部分进行比划，以手柄部分的轨迹为基准划分得到的闭合区域等。

其中，扩展现实设备包含摄像头组件，摄像头组件用于采集环境图像，环境图像用于表现第一主体所处的环境。

例如，第一主体为玩家A，玩家A所处环境为客厅B，则环境图像展示了客厅B的情况。

在一些实施例中，为了全方位展示第一主体所在的环境，扩展现实设备包含多个摄像头组件，每个摄像头组件所采集的环境图像表现了环境的部分面貌，需要将每个摄像头组件各自采集的图像拼接形成完整的全景图像，该全景图像即为环境图像，用于后续的判断和计算。

因此，在确定第一主体的第一活动区域之前，(或者，运行VR游戏之前)还需要对摄像头组件进行标定，求解出每个摄像头组件各自的内部参数和摄像头组件两两之间的外部参数。

其中，标定过程是指使用数学模型和数学方法来近似逼近拍摄图像与真实世界之间的复杂映射函数。

主要作用如下：(1)将畸变的图像恢复为正常的图像，方便后续进行图像拼接；(2)将所有摄像头组件的输出变换到同一个坐标系。

示例性的，扩展现实设备在运行游戏时，自动求解出每个摄像头组件的内部参数，以及相邻两个摄像头组件之间的外部参数。

分别为：摄像头组件C0的内参K0、摄像头组件C1的内参K1、摄像头组件C2的内参K2、摄像头组件C3的内参K3。摄像头组件C0与摄像头组件C1之间的外部参数[R，T]₀₁、摄像头组件C1与摄像头组件C2之间的外部参数[R，T]₁₂、摄像头组件C2与摄像头组件C3之间的外部参数[R，T]₂₃、摄像头组件C3与摄像头组件C0之间的外部参数[R，T]₃₀。

可选地，摄像头组件的内部参数包括但不限于：(1)焦距：描述了镜头与成像平面之间的距离，直接影响图像的放大倍数和视野范围；(2)像素的纵横比：描述了图像中像素在水平方向和垂直方向上的相对大小；(3)畸变系数：描述了外部因素导致的图像畸变情况。畸变可以是径向的(随着离图像中心距离的增加而增加)或切向的(由于镜头和图像传感器平面之间的不平行引起)。

可选地，任意两个摄像头组件之间的外部参数用于描述这些摄像头组件在三维空间中的相对位置和姿态。外部参数通常包括旋转矩阵和平移向量。旋转矩阵描述了从一个摄像头组件的坐标系到另一个摄像头组件的坐标系的旋转关系。它是一个3x3的矩阵，包含了三个轴的旋转参数，这些参数定义了相机之间的相对方向。平移向量则描述了两个摄像头组件之间的相对位移，是一个包含三个分量的向量，对应着三个轴的平移参数，这些参数表示了一个摄像头组件相对于另一个摄像头组件在三维空间中的位置偏移。

以摄像头组件C0的坐标系为世界坐标系，摄像头组件C0的坐标系是以摄像头组件C0的指定参考点(例如，指定参考点为摄像头的中心位置，也即摄像头组件的光心)为原点建立的三维坐标系，该三维坐标系的X轴与Y轴与摄像头组件C0采集到的图像平面平行，三维坐标系的Z轴穿过指定参考点与摄像头组件C0采集到的图像平面垂直。

在获得标定结果后，基于标定结果将每个摄像头组件所采集的图像拼接为一个完整的环境图像，该环境图像为全景图像。示意性的，如图4所示，图4是一个拼接图像的示意图，将相邻位置处的摄像头组件所采集的图像相邻放置后进行拼接，得到全景图像400。

基于摄像头组件采集的环境图像确定第一活动区域内存在第二主体的情况。环境图像用于表现第一主体所处的环境。

值得注意的是，摄像头组件的指定参考点可以是摄像头组件上的任意参考点，例如，摄像头组件的光心、摄像头组件的镜头的中心、摄像头组件的镜头左上角的指定点，本实施例对此不加以限定。

其中，确定第一活动区域内存在第二主体的情况的步骤可以表现为如下步骤510至步骤540，如图5所示。

步骤510，基于摄像头组件采集环境图像并确定环境图像中存在第二主体的情况。

可选地，摄像头组件为RGB深度摄像头组件，摄像头组件所采集的图像为彩色图像。获取摄像头组件在第一时刻所采集的第一图像，第一图像与环境图像对应相同环境区域；对第一图像的像素与环境图像的像素进行二值化处理，得到第一图像的像素数据和环境图像的像素数据；二值化处理后的像素数据对应第一数值或第二数值；基于第一图像的像素数据和环境图像的像素数据之间的差值，统计对应像素位置处差值为非零的像素数量；响应于像素数量符合预设的要求，确定环境图像中存在第二主体。

示例性的，以摄像头组件C0采集的第一图像为例进行说明，第一图像的内容对应全景图像中的局部内容。

其中，扩展现实设备中还包括陀螺仪，陀螺仪可以检测主体在空间中的姿态和朝向，根据陀螺仪输出的偏移量，能够从初始时刻采集图像拼接所得到的全景图像中找到与第一图像位置对应的画面部分，将该对应的画面部分作为背景图像。

将背景图像和第一图像分别做二值化处理，也即，将背景图像和第一图像中的每个像素分别赋值为0或1，逐像素对背景图像和第一图像对应位置处的像素值作差，统计差值非0的像素数量M，若M占总像素数量的比例达到预设阈值，则确定环境图像中存在第二主体。

示例性的，第一图像和背景图像均包含10000个像素，二者图像的像素位置之间存在对应关系，例如，第一图像的100号像素对应背景图像的100号像素；第一图像的101号像素对应背景图像的101号像素。

其中，经过二值化处理后，第一图像的100号像素数值为0，背景图像的100号像素数值为0，二者差值为0，表示该像素内不存在第二主体的部分；第一图像的101号像素数值为1，背景图像的101号像素数值为0，二者差值为1，表示该像素内存在第二主体的部分。

对每号像素重复上述过程统计得到M＝1200，占总像素数量10000的12％，预设阈值为10％，12％超过了10％，表示第一图像中存在第二主体。也即，摄像头组件C0采集的画面中存在第二主体，该环境中存在第二主体。

对剩余的摄像头组件C1、C2、C3都进行上述步骤，任意一个摄像头组件采集到的图像中存在第二主体则表示第一主体所处的环境中存在第二主体，此时需要进一步判断第二主体是否在第一活动区域内。

步骤520，响应于环境图像中存在第二主体，基于第二主体在环境图像中的位置确定第二主体与第一主体之间的第一相对位置关系。

其中，第一相对位置关系用于指示以第一主体为基准，第二主体在环境中的位置。

示意性的，如图6所示，图6是一个第二主体与第一主体之间存在第一相对位置关系的示意图。

图6为俯视图，第一活动区域600为圆形区域，以第一活动区域600的圆心位置为原点O建立坐标系，第一主体601在环境中的位置可以表现为坐标P0。第一主体601佩戴的扩展现实设备通过摄像头组件采集环境图像，基于第二主体602在环境图像中的位置，可以确定在第一主体601视角下，第二主体602与第一主体601之间存在第一相对位置关系：第二主体602在第一主体601的左前方。进而根据第一相对位置关系和坐标P0确定第二主体602在环境中的位置P1。

扩展现实设备包含多个摄像头组件，可选地，多个摄像头组件中包含相邻的第一摄像头组件和第二摄像头组件。以第一摄像头组件和第二摄像头组件采集的环境图像为例对如何确定第一相对位置关系进行说明。

响应于第一摄像头组件采集的第一环境图像和第二摄像头组件采集的第二环境图像中均存在第二主体，基于第二主体在第一环境图像中的位置和第二主体在第二环境图像中的位置，确定第二主体与第一主体之间的第一相对位置关系。

示例性的，基于第一摄像头组件和第二主体的中心在第一环境图像中的位置作第一延长线，以及，基于第二摄像头组件和第二主体的中心在第二环境图像中的位置作第二延长线；基于第一延长线和第二延长线的交点确定第二主体与第一主体之间的第一相对位置关系。

示意性的，如图7所示，图7是一个基于延长线确定第一相对位置关系的示意图。

如图7，第一摄像头组件的指定参考点为O1，第二摄像头组件的指定参考点为O2，由于第一摄像头组件和第二摄像头组件均属于扩展现实设备，因此，O1和O2之间的距离d已知。

第二主体的中心在第一环境图像710中的位置视为点PL，第二主体的中心在第二环境图像720中的位置视为点PR。作第一延长线O1PL和第二延长线O2PR，第一延长线和第二延长线的交点即为第二主体的中心在环境中的位置P1，由于第一主体佩戴扩展现实设备，且第一摄像头组件和第二摄像头组件之间的距离较近，因此基于交点能够确定第二主体与第一主体之间的第一相对位置关系。

步骤530，基于第一相对位置关系确定第一主体与第二主体之间的第一距离。

仍基于图7进行说明，三角形O1P2O2各角的角度可以测量，且O1和O2之间的距离d已知，则根据余弦定理能够求解出三角形O1P2O2每条边的长度。由于第一主体佩戴扩展现实设备，且第一摄像头组件和第二摄像头组件之间的距离较近，则第一主体与第二主体之间的第一距离可以近似用线段O1O2与P1之间的垂直距离表示。

步骤540，基于第一主体在环境中的位置和第一距离确定第一活动区域内存在第二主体的情况。

基于第一主体在环境中的位置和第一活动区域的中心位置，确定第一主体与第一活动区域的中心之间的第二相对位置关系，以及，第一主体与第一活动区域的中心之间的第二距离。其中，第二相对位置关系用于指示以第一活动区域的中心为基准，第一主体在环境中的位置。

如图6，第二相对位置关系可以用第一主体601在环境中的坐标P0表示，第一主体佩戴的扩展现实设备中包含能够采集第一主体601位置变化的陀螺仪，通过陀螺仪输出的数据能够确定坐标P0。

基于第一相对位置关系和第二相对位置关系确定第二主体与第一活动区域的中心之间的第三相对位置关系，也即，在图6中，第三相对位置关系为第二主体602在环境中的坐标P1。

基于第三相对位置关系、第一距离和第二距离确定第二主体与第一活动区域的中心之间的第三距离。

根据矢量公式：矢量OP0+矢量P0P1＝矢量OP1，已知第一距离P0P1和第二距离OP0，求解出第三距离OP1。

基于第三距离和第一活动区域的区域半径之间的大小关系，确定第一活动区域内存在第二主体的情况。

若第三距离大于第一活动区域的半径，则第一活动区域内不存在第二主体；若第三距离小于第一活动区域的半径，则第一活动区域内存在第二主体。

在第二主体位于第一活动区域内的情况下，采集第一主体的第一运动轨迹数据，以及，采集第二主体的第二运动轨迹数据。

其中，采集第一运动轨迹数据和第二运动轨迹数据的步骤可以表现为如下步骤810至步骤830，如图8所示。

步骤810，在第二主体位于第一活动区域内的情况下，连续采集多帧环境图像。

其中，多帧环境图像中均包含第二主体。

可选地，以第一活动区域的指定参考点为原点建立世界坐标系；建立第一主体的扩展现实设备对应的相机坐标系。

也即，在第一主体刚佩戴上扩展现实设备进行第一活动区域的划分时，以第一活动区域的指定参考点为原点建立世界坐标系，此时，游戏未运行，在划分第一活动区域时，第一主体的中心在环境中的位置和第一活动区域的指定参考点在环境中的位置近似相同，因此，图7所示的二维坐标系实际上是步骤330中的世界坐标系的其中一个平面。

可选地，该指定参考点可以是第一活动区域内的任何一个点，以指定参考点为第一活动区域的中心为例进行说明。

此时，第一主体的中心和第一活动区域的指定参考点(中心)为同一个点(重合)，为三维坐标系的原点。并且，由于第一主体与摄像头组件在环境中的位置也近似相同，在初始时刻(也即第一主体刚佩戴扩展现实设备的时刻)第一主体的中心、摄像头组件的中心、第一活动区域的中心近似共线，该直线垂直于环境地面。

其中，以第一主体的扩展现实设备对应的摄像头组件的位置为原点，建立相机坐标系，该相机坐标系实际上是以第一主体为基准的相机坐标系，该相机坐标系的原点会随着第一主体的移动而变化。世界坐标系的原点为固定点。

可选地，扩展现实设备的所述多个摄像头组件包括灰度摄像头组件和RGB深度摄像头组件中的至少一种。其中，所述灰度摄像头组件所采集的环境图像为灰度图像，所述RGB深度摄像头组件所采集的环境图像为彩色图像。

也即，多个摄像头组件可以均为灰度摄像头组件，也可以均为RGB深度摄像头组件，也可以部分为灰度摄像头组件、部分为RGB深度摄像头组件。

示例性的，以第一摄像头组件为RGB深度摄像头组件为例，第一摄像头组件采集到环境图像后，将环境图像输入至预训练好的深度神经网络(Deep Neural Network，DNN)中计算得到环境图像的深度信息。环境图像的深度信息包含了存储每个像素所使用的位数，二维图像的深度信息能够表现图像中主体的三维信息，利用深度信息能够将主体从二维空间映射至三维空间。

示例性的，以第一摄像头组件和第二摄像头组件均为灰度摄像头组件为例，相邻的第一摄像头组件和第二摄像头组件采集到灰度图像以后，基于两个灰度图像中属于同一场景的部分图像之间的差异，计算得到深度信息。示例性的，由于灰度摄像头组件采集的图像中只能够提供亮度信息，因此，可以使用灰度图像进行立体匹配，以确定两个摄像头组件采集的灰度图像之间的对应关系，得到深度信息。

步骤820，将第二主体的中心在多帧环境图像中的位置映射到三维坐标系中，得到第二主体的第二运动轨迹数据。

第二主体的中心在多帧环境图像中的位置可以基于第一主体佩戴的扩展现实设备所对应的相机坐标系确定。可选地，扩展现实设备包含陀螺仪，陀螺仪能够输出第一主体的位置变化情况。第一主体的初始位置与世界坐标系的原点位置相同，也即表示第一主体的初始坐标已知，当第一主体进行位置移动时，根据陀螺仪所输出的第一主体的位置变化情况能够确定第一主体在世界坐标系中的实时坐标。当摄像头组件采集到多帧环境图像后，能够基于多帧环境图像中第二主体的中心的位置，确定第二主体的中心在相机坐标系中的坐标，此时相机坐标系的原点即为第一主体的位置点，基于第一主体在世界坐标系的坐标，可以间接确定第二主体的中心在世界坐标系中的坐标。

示例性的，仍然采用上述步骤810中预训练好的深度神经网络，该预训练好的深度神经网络会将环境图像中的第二主体使用2D Box(Two-DimensionBox，二维方框)框起来，如图9所示，环境图像900第二主体910被二维矩形框920框住，此时可以确定矩形框920的边长信息(宽为w，高为h)以及矩形框920相对于环境图像900的画面中心的偏移量(cx，cy)，cx是指矩形框920在X轴方向上的偏移量，cy是指矩形框920在Y轴上的偏移量。

为了更好的预测物体的行动轨迹，需要计算出第二主体的三维信息，也即需要用3D Box(Three-Dimension Box，三维方框)将第二主体框起来，3DBox的中心可以更准确的表示第二主体在相机坐标系中的坐标，进而确定第二主体在世界坐标系中的位置。

作如下假设：(1)假设第二主体只沿着垂直地面的坐标轴有旋转，而在另外两个坐标轴方向上并未出现旋转，也即，只存在Yaw偏移角，Pitch偏航角和Roll偏航角均为0；其中，Yaw角用于描述第二主体在水平面上绕其垂直轴旋转的动作或状态；Pitch角和Roll分别用于描述第二主体绕坐标系另外两个坐标轴的旋转角度；Yaw、Pitch和Roll角是描述第二主体旋转的参数。(2)第二主体的中心的高度与摄像头组件的指定参考点(中心)相当。

基于上述假设，请参考图9，环境图像900第二主体910被三维立体框930框住，此时可以确定三维立体框930的边长信息(长为l，宽为w，高为h)、三维立体框930相对于环境图像900的画面中心的偏移量(cx，cy，cz)、三维立体框930在三维坐标系各轴上的旋转参数(α，β，Γ)。其中，cx是指三维立体框930在X轴方向上的偏移量，cy是指三维立体框930在Y轴上的偏移量，cz是指三维立体框930在Z轴上的偏移量；α是指三维立体框930在X轴方向上的旋转角度，β是指三维立体框930在Y轴上的旋转角度，Γ是指三维立体框930在Z轴上的旋转角度。

基于上述信息可以同时得到第二主体910的三维中心的坐标。

对采集到的多帧环境图像均重复上述步骤，得到第二主体910的三维中心位置的坐标变化轨迹，作为第二主体的第二运动轨迹数据。

步骤830，采集第一主体的第一运动轨迹数据。

其中，扩展现实设备包含陀螺仪，陀螺仪用于采集第一主体的第一运动轨迹数据。

可选地，响应于扩展现实设备处于第一运行模式，基于陀螺仪采集第一主体的第一运动轨迹数据。

其中，第一运行模式是指第一主体佩戴扩展现实设备进行位置移动时的运行模式。也即，第一主体正在体验移动类游戏。

其中，当第一主体移动至第一活动区域的边缘时，扩展现实设备会显示提示信息或者第二场景画面，以提示第一主体返回至第一活动区域内进行活动。

或者，响应于扩展现实设备处于第二运行模式，确定第一主体的第二活动区域，得到第一运动轨迹数据。其中，第二运行模式是指第一主体佩戴扩展现实设备进行原地活动时的运行模式，也即，第二主体正在体验原地活动类游戏。第二活动区域是第一主体进行原地活动时的环境区域，第二活动区域小于第一活动区域。

示例性的，如图10所示，第二活动区域1020为圆形区域，第一活动区域1010也为圆形区域，第二活动区域1020的圆心与第一活动区域1010的圆心重合，第二活动区域1020的半径小于第一活动区域1010的半径。

基于第一运动轨迹数据预测得到第一预测轨迹数据，以及，基于第二运动轨迹数据预测得到第二预测轨迹数据。其中，第一预测轨迹数据和第二预测轨迹数据用于表征第一主体和第二主体在未来时刻的运动轨迹。

也即，第一预测轨迹对应第一预测轨迹数据，第二预测轨迹对应第二预测轨迹数据，第一预测轨迹数据用于指示第一主体在未来时间段内的运动轨迹，第二预测轨迹数据用于指示第二主体在未来时间段内的运动轨迹。

第一预测轨迹数据和第二预测轨迹数据的确定过程相同，以确定第二预测轨迹数据的过程为例进行说明。

将第二运动轨迹数据输入至预先训练得到的机器学习网络，预测得到第二主体在多个未来时刻分别对应的位置坐标；将多个未来时刻分别对应的位置坐标拟合成曲线作为第二预测轨迹数据。

示意性的，如图11所示，图11是一个第二预测轨迹数据的示意图。图11为俯视图，多个原点表示第二主体的位置在地面上的变化情况，横轴坐标表示第二主体到达该位置处的时刻。其中，第二预测轨迹数据即为图11中所拟合成的曲线1100，曲线1100中包含的前半部分为采集到的第二运动轨迹数据，后半部分为机器学习网络预测出的第二预测轨迹数据。

其中，第二预测轨迹数据中包含第二主体在未来时间段内多个时刻的位置坐标，在预测轨迹时，机器学习网络会实时对运动轨迹进行校正。

在第一预测轨迹数据和第二预测轨迹数据之间符合提示要求的情况下，显示提示信息或者第二场景画面。

其中，提示信息用于指示第一主体调整自身的运动轨迹。

可选地，所述第一预测轨迹数据和第二预测轨迹数据为曲线数据，所述第一预测轨迹对应第一曲线，所述第二预测轨迹对应第二曲线。

当第一曲线与第二曲线之间存在交点时，表示第一主体和第二主体在未来时间段内的运动轨迹可能发生重合。如图10所示，使用带箭头的线段表示第一主体和第二主体在未来时间段内的运动轨迹，轨迹之间存在交点。

可选地，第一预测轨迹数据和第二预测轨迹数据之间符合提示要求是指，第一曲线和第二曲线之间存在交点，并且，第一主体到达交点位置处的时刻与第二主体到达交点位置处的时刻之间的时间间隔小于预设的时长阈值。

在第一曲线和第二曲线之间存在交点的情况下，确定第一主体到达交点的第一时刻和第二主体到达交点的第二时刻。响应于第一时刻和第二时刻之间的时间间隔小于预设的时长阈值，显示提示信息或者第二场景画面，其中，提示信息被第一主体感知。

可选地，提示信息的表现形式包括但不限于：(1)扩展现实设备发起警报提示音；(2)扩展现实设备显示文字提示信息，如：“超出安全范围，请返回”；(3)扩展现实设备直接将呈现给第一主体的画面从虚拟现实画面切换至真实环境的画面，也即，真实环境的画面即为提示信息。

在一些实施例中，扩展现实设备除了包含上述摄像头组件、陀螺仪、控制芯片，还包含位置传感器，包含位置传感器的扩展现实设备能够支持多人在同一空间中可以进行VR游戏，并在玩家进行移动时及时显示提示信息或者第二场景画面，避免玩家之间发生碰撞。

可选地，第一主体佩戴的扩展现实设备包含第一位置传感器，所述第二主体佩戴的扩展现实设备包含第二位置传感器，第二主体对应第二活动区域。

在第一主体佩戴第一扩展现实设备的情况下，通过第一扩展现实设备确定第一主体的第一活动区域，第一活动区域是第一主体进行活动时的环境区域；其中，第一主体所处环境中存在第二主体，第二主体佩戴有第二扩展现实设备，第二主体对应有第二活动区域。

第一活动区域和第二活动区域是同一个环境内的不同区域，第一主体在第一活动区域内进行VR游戏，第二主体在第二活动区域内进行VR游戏。第一位置传感器和第二位置传感器之间存在通信连接，能够互相传递位置信息。

基于第一扩展现实设备的第一位置传感器接收第二扩展现实设备的第二位置传感器发送的位置信息，确定第一主体和第二主体之间的相对位置关系。其中，第二位置传感器会向第一位置传感器发送第二主体的位置信息，第一位置传感器接收到第二主体的位置信息后，扩展现实设备能够在此基础上基于第一位置传感器采集的第一主体的位置信息，确定第一主体与第二主体之间的相对位置关系。

在第一主体和第二主体之间的相对位置关系符合提示要求的情况下，显示提示信息或者第二场景画面，提示信息用于指示第一主体调整自身的运动轨迹。其中，提示要求包括第一主体与第二主体之间的距离小于或者等于预设距离阈值。

综上，本申请提供的方法，在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是第一主体的安全活动区域；在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，提示信息或者第二场景画面用于向第一主体提示与第二主体的碰撞关系。能够通过第一主体和第二主体之间的距离预判第一主体和第二主体之间可能发生的碰撞事件，并基于提示信息及时指示第一主体调整自身的运动轨迹，避免碰撞事件的发生，保证第一主体的安全。

图12是本申请一个示例性实施例提供的基于扩展现实设备的信息提示装置的结构框图，如图12所示，该装置包括如下部分。

场景画面显示模块1210，用于在第一主体佩戴所述扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；

提示信息显示模块1220，用于在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。

在一个可选的实施例中，所述扩展现实设备包含摄像头组件；

所述提示信息显示模块1220，还包括：

活动区域确定单元1221，用于确定所述第一主体的所述第一活动区域，所述第一活动区域是所述第一主体进行活动时的环境区域；

主体确定单元1222，用于基于所述摄像头组件采集的环境图像确定所述第一活动区域内存在所述第二主体的情况，所述环境图像用于表现所述第一主体所处的环境；

采集单元1223，用于在第二主体位于所述第一活动区域内的情况下，采集所述第一主体的第一运动轨迹数据，以及，采集所述第二主体的第二运动轨迹数据；

预测单元1224，用于基于所述第一运动轨迹数据预测得到所述第一预测轨迹数据，以及，基于所述第二运动轨迹数据预测得到所述第二预测轨迹数据，其中，所述第一预测轨迹数据和所述第二预测轨迹数据用于表征所述第一主体和所述第二主体在未来时刻的运动轨迹；

提示信息显示单元1225，用于在所述第一预测轨迹数据和所述第二预测轨迹数据之间符合提示要求的情况下，显示所述提示信息或者所述第二场景画面。

在一个可选的实施例中，所述主体确定单元1222，还用于响应于所述环境图像中存在所述第二主体，基于所述第二主体在环境图像中的位置确定所述第二主体与所述第一主体之间的第一相对位置关系，所述第一相对位置关系用于指示以所述第一主体为基准，所述第二主体在环境中的位置；基于所述第一相对位置关系确定所述第一主体与所述第二主体之间的第一距离；基于所述第一主体在所述环境中的位置和所述第一距离确定所述第一活动区域内存在所述第二主体的情况。

在一个可选的实施例中，所述扩展现实设备包含多个摄像头组件，所述多个摄像头组件中包含相邻的第一摄像头组件和第二摄像头组件；

所述主体确定单元1222，还用于响应于所述第一摄像头组件采集的第一环境图像和所述第二摄像头组件采集的第二环境图像中均存在所述第二主体，基于所述第二主体在所述第一环境图像中的位置和所述第二主体在所述第二环境图像中的位置，确定所述第二主体与所述第一主体之间的所述第一相对位置关系；

基于所述第一主体在环境中的位置和所述第一活动区域的中心位置，确定所述第一主体与所述第一活动区域的中心之间的第二相对位置关系，以及，所述第一主体与所述第一活动区域的中心之间的第二距离，所述第二相对位置关系用于指示以所述第一活动区域的中心为基准，所述第一主体在环境中的位置；

基于所述第一相对位置关系和所述第二相对位置关系确定所述第二主体与所述第一活动区域的中心之间的第三相对位置关系；

基于所述第三相对位置关系、所述第一距离和所述第二距离确定所述第二主体与所述第一活动区域的中心之间的第三距离；

基于所述第三距离和所述第一活动区域的区域半径之间的大小关系，确定所述第一活动区域内存在所述第二主体的情况。

在一个可选的实施例中，所述主体确定单元1222，还用于基于所述第一摄像头组件和所述第二主体的中心在所述第一环境图像中的位置作第一延长线，以及，基于所述第二摄像头组件和所述第二主体的中心在所述第二环境图像中的位置作第二延长线；基于所述第一延长线和所述第二延长线的交点确定所述第二主体与所述第一主体之间的所述第一相对位置关系。

在一个可选的实施例中，所述摄像头组件为RGB深度摄像头组件；

所述主体确定单元1222，还用于获取所述摄像头组件在第一时刻所采集的第一图像，所述第一图像与所述环境图像对应相同环境区域；对所述第一图像的像素与所述环境图像的像素进行二值化处理，得到所述第一图像的像素数据和所述环境图像的像素数据；所述二值化处理后的像素数据对应第一数值或第二数值；基于所述第一图像的像素数据和所述环境图像的像素数据之间的差值，统计对应像素位置处差值为非零的像素数量；响应于所述像素数量符合预设的要求，确定所述环境图像中存在所述第二主体。

在一个可选的实施例中，所述扩展现实设备包含陀螺仪；

所述采集单元1223，还用于响应于所述扩展现实设备处于第一运行模式，基于所述陀螺仪采集所述第一主体的所述第一运动轨迹数据，所述第一运行模式是指所述第一主体佩戴所述扩展现实设备进行位置移动时的运行模式；或者，响应于所述扩展现实设备处于第二运行模式，确定所述第一主体的原地活动区域，得到所述第一运动轨迹数据，其中，所述第二运行模式是指所述第一主体佩戴所述扩展现实设备进行原地活动时的运行模式，所述原地活动区域是所述第一主体进行原地活动时的环境区域，所述原地活动区域小于所述第一活动区域；

所述预测单元1224，还用于将所述第二运动轨迹数据输入至预先训练得到的机器学习网络，预测得到所述第二主体在多个未来时刻分别对应的位置坐标；将所述多个未来时刻分别对应的位置坐标拟合成曲线作为所述第二预测轨迹数据。

在一个可选的实施例中，所述第一预测轨迹对应第一曲线，所述第二预测轨迹对应第二曲线；

所述提示信息显示模块1220，还用于在所述第一曲线和所述第二曲线之间存在交点的情况下，确定所述第一主体到达所述交点的第一时刻和所述第二主体到达所述交点的第二时刻；响应于所述第一时刻和所述第二时刻之间的时间间隔小于预设的时长阈值，显示所述提示信息或者所述第二场景画面。

在一个可选的实施例中，所述主体确定单元1222之前，如图13所示，所述提示信息显示模块1220还包括：

坐标系建立单元1226，用于以所述第一活动区域的指定参考点为原点建立世界坐标系；建立所述第一主体的扩展现实设备对应的相机坐标系；

所述提示信息显示模块1220，还用于在第二主体位于所述第一活动区域内的情况下，连续采集多帧环境图像，所述多帧环境图像中均包含所述第二主体；通过所述相机坐标系将所述第二主体在所述多帧环境图像中的位置映射到所述世界坐标系中，得到所述第二主体对应所述第一活动区域的所述第二位置；在所述第一位置和所述第二位置之间的距离符合所述提示要求的情况下，显示所述提示信息或者所述第二场景画面。

在一个可选的实施例中，所述扩展现实设备包含第一位置传感器，所述第二主体佩戴的扩展现实设备包含第二位置传感器，所述第二主体对应第二活动区域；

所述提示信息显示模块1220，还用于通过所述第一位置传感器接收所述第二位置传感器发送的位置信息，确定所述第一主体和所述第二主体之间的相对位置关系；在所述第一主体和所述第二主体之间的相对位置关系符合提示要求的情况下，显示所述提示信息或者所述第二场景画面；其中，所述提示要求包括所述第一主体与第二主体之间的距离小于或者等于预设距离阈值。

综上所述，本申请提供的装置，在第一主体佩戴扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是第一主体的安全活动区域；在第二主体位于第一活动区域内的情况下，响应于第一主体的第一位置与第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，提示信息或者第二场景画面用于向第一主体提示与第二主体的碰撞关系。能够通过第一主体和第二主体之间的距离预判第一主体和第二主体之间可能发生的碰撞事件，并基于提示信息及时指示第一主体调整自身的运动轨迹，避免碰撞事件的发生，保证第一主体的安全。

需要说明的是：上述实施例提供的基于扩展现实设备的信息提示装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于扩展现实设备的信息提示装置与基于扩展现实设备的信息提示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在一些实施例中，本申请提出的方法除了可以由扩展现实设备执行，也可以如图14所示的计算机设备所执行，其中，计算机设备与扩展现实设备之间存在通信连接关系。该计算机设备1400可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，计算机设备1400包括有：处理器1401和存储器1402。

处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的基于扩展现实设备的信息提示方法。

在一些实施例中，计算机设备1400还包括其他组件，本领域技术人员可以理解，图14中示出的结构并不构成对计算机设备1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

可选地，该计算机可读存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的基于扩展现实设备的信息提示方法。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的基于扩展现实设备的信息提示方法。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的基于扩展现实设备的信息提示方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种基于扩展现实设备的信息提示方法，其特征在于，所述方法包括：

在第一主体佩戴所述扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；

在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。

2.根据权利要求1所述的方法，其特征在于，所述扩展现实设备包含摄像头组件；

所述在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，包括：

确定所述第一主体的所述第一活动区域；

基于所述摄像头组件采集的环境图像确定所述第一活动区域内存在所述第二主体的情况，所述环境图像用于表现所述第一主体所处的环境；

在第二主体位于所述第一活动区域内的情况下，采集所述第一主体的第一运动轨迹数据，以及，采集所述第二主体的第二运动轨迹数据；

基于所述第一运动轨迹数据预测得到第一预测轨迹数据，以及，基于所述第二运动轨迹数据预测得到第二预测轨迹数据，其中，所述第一预测轨迹数据和所述第二预测轨迹数据用于表征所述第一主体和所述第二主体在未来时刻的运动轨迹；

在所述第一预测轨迹数据和所述第二预测轨迹数据之间符合提示要求的情况下，显示所述提示信息或者所述第二场景画面。

3.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头组件采集的环境图像确定所述第一活动区域内存在所述第二主体的情况，包括：

响应于所述环境图像中存在所述第二主体，基于所述第二主体在环境图像中的位置确定所述第二主体与所述第一主体之间的第一相对位置关系，所述第一相对位置关系用于指示以所述第一主体为基准，所述第二主体在环境中的位置；

基于所述第一相对位置关系确定所述第一主体与所述第二主体之间的第一距离；

基于所述第一主体在所述环境中的位置和所述第一距离确定所述第一活动区域内存在所述第二主体的情况。

4.根据权利要求3所述的方法，其特征在于，所述扩展现实设备包含多个摄像头组件，所述多个摄像头组件中包含相邻的第一摄像头组件和第二摄像头组件；

所述响应于所述环境图像中存在所述第二主体，基于所述第二主体在环境图像中的位置确定所述第二主体与所述第一主体之间的第一相对位置关系，包括：

响应于所述第一摄像头组件采集的第一环境图像和所述第二摄像头组件采集的第二环境图像中均存在所述第二主体，基于所述第二主体在所述第一环境图像中的位置和所述第二主体在所述第二环境图像中的位置，确定所述第二主体与所述第一主体之间的所述第一相对位置关系；

所述基于所述第一主体在所述环境中的位置和所述第一距离确定所述第一活动区域内存在所述第二主体的情况，包括：

基于所述第一主体在环境中的位置和所述第一活动区域的中心位置，确定所述第一主体与所述第一活动区域的中心之间的第二相对位置关系，以及，所述第一主体与所述第一活动区域的中心之间的第二距离，所述第二相对位置关系用于指示以所述第一活动区域的中心为基准，所述第一主体在环境中的位置；

基于所述第一相对位置关系和所述第二相对位置关系确定所述第二主体与所述第一活动区域的中心之间的第三相对位置关系；

基于所述第三相对位置关系、所述第一距离和所述第二距离确定所述第二主体与所述第一活动区域的中心之间的第三距离；

基于所述第三距离和所述第一活动区域的区域半径之间的大小关系，确定所述第一活动区域内存在所述第二主体的情况。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二主体在所述第一环境图像中的位置和所述第二主体在所述第二环境图像中的位置，确定所述第二主体与所述第一主体之间的所述第一相对位置关系，包括：

基于所述第一摄像头组件和所述第二主体的中心在所述第一环境图像中的位置作第一延长线，以及，基于所述第二摄像头组件和所述第二主体的中心在所述第二环境图像中的位置作第二延长线；

基于所述第一延长线和所述第二延长线的交点确定所述第二主体与所述第一主体之间的所述第一相对位置关系。

6.根据权利要求3所述的方法，其特征在于，所述摄像头组件为RGB深度摄像头组件；

所述响应于所述环境图像中存在所述第二主体，基于所述第二主体在环境图像中的位置确定所述第二主体与所述第一主体之间的第一相对位置关系之前，还包括：

获取所述摄像头组件在第一时刻所采集的第一图像，所述第一图像与所述环境图像对应相同环境区域；

对所述第一图像的像素与所述环境图像的像素进行二值化处理，得到所述第一图像的像素数据和所述环境图像的像素数据；所述二值化处理后的像素数据对应第一数值或第二数值；

基于所述第一图像的像素数据和所述环境图像的像素数据之间的差值，统计对应像素位置处差值为非零的像素数量；

响应于所述像素数量符合预设的要求，确定所述环境图像中存在所述第二主体。

7.根据权利要求2所述的方法，其特征在于，所述扩展现实设备包含陀螺仪；

所述采集所述第一主体的第一运动轨迹数据，包括：

响应于所述扩展现实设备处于第一运行模式，基于所述陀螺仪采集所述第一主体的所述第一运动轨迹数据，所述第一运行模式是指所述第一主体佩戴所述扩展现实设备进行位置移动时的运行模式；或者，

响应于所述扩展现实设备处于第二运行模式，确定所述第一主体的原地活动区域，得到所述第一运动轨迹数据，其中，所述第二运行模式是指所述第一主体佩戴所述扩展现实设备进行原地活动时的运行模式，所述原地活动区域是所述第一主体进行原地活动时的环境区域，所述原地活动区域小于所述第一活动区域；

所述基于所述第二运动轨迹数据预测得到第二预测轨迹数据，包括：

将所述第二运动轨迹数据输入至预先训练得到的机器学习网络，预测得到所述第二主体在多个未来时刻分别对应的位置坐标；

将所述多个未来时刻分别对应的位置坐标拟合成曲线作为所述第二预测轨迹数据。

8.根据权利要求2所述的方法，其特征在于，所述第一预测轨迹数据对应第一曲线，所述第二预测轨迹数据对应第二曲线；

所述响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，包括：

在所述第一曲线和所述第二曲线之间存在交点的情况下，确定所述第一主体到达所述交点的第一时刻和所述第二主体到达所述交点的第二时刻；

响应于所述第一时刻和所述第二时刻之间的时间间隔小于预设的时长阈值，显示所述提示信息或者所述第二场景画面。

9.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头组件采集的环境图像确定所述第一活动区域内存在所述第二主体的情况之前，还包括：

以所述第一活动区域的指定参考点为原点建立世界坐标系；建立所述第一主体的扩展现实设备对应的相机坐标系；

所述在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，包括：

在第二主体位于所述第一活动区域内的情况下，连续采集多帧环境图像，所述多帧环境图像中均包含所述第二主体；

通过所述相机坐标系将所述第二主体在所述多帧环境图像中的位置映射到所述世界坐标系中，得到所述第二主体对应所述第一活动区域的所述第二位置；

在所述第一位置和所述第二位置之间的距离符合所述提示要求的情况下，显示所述提示信息或者所述第二场景画面。

10.根据权利要求1所述的方法，其特征在于，所述扩展现实设备包含第一位置传感器，所述第二主体佩戴的扩展现实设备包含第二位置传感器，所述第二主体对应第二活动区域；

所述在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，包括：

通过所述第一位置传感器接收所述第二位置传感器发送的位置信息，确定所述第一主体和所述第二主体之间的相对位置关系；

在所述第一主体和所述第二主体之间的相对位置关系符合提示要求的情况下，显示所述提示信息或者所述第二场景画面；其中，所述提示要求包括所述第一主体与第二主体之间的距离小于或者等于预设距离阈值。

11.一种扩展现实设备，其特征在于，所述扩展现实设备包含显示屏组件和控制芯片；

所述控制芯片，用于在第一主体佩戴所述扩展现实设备的情况下，控制所述显示屏组件显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；

所述控制芯片，还用于在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，控制所述显示屏组件显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。

12.一种基于扩展现实设备的信息提示装置，其特征在于，所述扩展现实设备包含摄像头组件，所述装置包括：

场景画面显示模块，用于在第一主体佩戴所述扩展现实设备的情况下，显示虚拟场景画面，物理场景中的第一活动区域是所述第一主体的安全活动区域；

提示信息显示模块，用于在第二主体位于所述第一活动区域内的情况下，响应于所述第一主体的第一位置与所述第二主体的第二位置之间的距离符合提示要求，显示提示信息或者第二场景画面，所述提示信息或者所述第二场景画面用于向所述第一主体提示与所述第二主体的碰撞关系。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至10所述的基于扩展现实设备的信息提示方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10所述的基于扩展现实设备的信息提示方法。