CN111651043A - 一种支持定制化多通道交互的增强现实系统 - Google Patents

Abstract

本公开实施例公开了一种支持定制化多通道交互的增强现实系统。该增强现实系统的一具体实施方式包括：头戴式传感器组合、计算装置及显示模块；头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将交互输入信息传至计算装置；计算装置，用于根据交互输入信息生成或者修改增强现实的显示内容；显示模块，用于将背景内容和增强现实的显示内容叠加显示。上述增强现实系统通过将显示模块设置到头戴式传感器组合的远端，可以简化头戴式传感器组合的结构，减轻该头戴式传感器组合的重量。为安装其他传感器提供了方便。同时，该系统可以加入多种交互方式，进而丰富了该系统与用户的交互，提高了用户体验。

Description

一种支持定制化多通道交互的增强现实系统

技术领域

本公开实施例涉及增强现实领域，具体涉及一种支持定制化多通道交互的增强现实系统。

背景技术

AR(Augmented Reality，增强现实)技术是一种新颖的人机交互技术，它能够将虚拟信息添加到真实世界里，从而实现将虚拟信息与真实世界巧妙融合，即对真实世界的“增强”。

现有的AR显示技术设备主要包括AR头戴式设备。上述AR头戴式设备将显示装置集成到了头戴式设备中，采用近眼显示技术。上述设备虽然实现了部件的集成，但是却增加了头戴式设备的重量。因此，用户在体验上述设备时，往往会因为上述设备太重，降低用户的使用体验。

此外，采用近眼显示技术，通常会使镜头视角受到限制。同样会降低用户的使用体验。

相应地，本领域需要一种新的增强现实系统来解决上述问题。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

为了解决上述问题，本公开的一些实施例提出了一种支持定制化多通道交互的增强现实系统，包括：头戴式传感器组合、计算装置及显示模块；头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将上述交互输入信息传至上述计算装置；计算装置，用于根据上述交互输入信息生成或者修改增强现实的显示内容；显示模块，用于将背景内容和上述增强现实的显示内容叠加显示，其中，所述显示模块设置到相对于所述头戴式传感器组合的远端。

在一些实施例中，所述系统还包括展示到所述显示模块的增强现实视窗，所述增强现实视窗用于显示所述增强现实的显示内容，所述增强现实视窗的位置是通过用户头部相对于所述显示模块的姿态确定的，从而模拟增强现实的显示内容的真实效果；所述增强现实视窗的形状和尺寸是通过对虚拟视窗形状的设定而确定的，其中，所述虚拟视窗是所述增强现实视窗反投影而形成的近眼视窗。

在一些实施例中，根据以下步骤确定所述增强现实视窗显示到所述显示模块上的位置：根据所述显示模块的显示范围建立坐标系；根据以下公式确定虚拟视窗投影到显示模块的边界线上的点的点坐标：PA_i＝λ_iPP_i；其中，P表示双眼的中心点坐标；P_i表示虚拟视窗边缘上的第i点的坐标；A_i表示以P点为原点出发，经过P_i点形成的直线与所述显示模块相交的点的点坐标；PA_i表示P点到A_i的距离；PP_i表示P点到P_i的距离；λ_i表示PA_i与PP_i之商，所述λ_i是通过P、A_i和P_i三点的Z轴坐标确定的。

在一些实施例中，计算装置通过如下公式确定眼球所关注的所述显示内容中的对象：λ₁*λ₂*λ₃＞0；其中，λ₁是通过如下公式确定的：

其中，(x,y,z)为显示内容中的对象的坐标；(x_r,y_r,z_r)为左右眼视线方向的三维聚焦点坐标；r表示注意力半径；其中，所述注意力半径所形成的球形范围表征所述聚焦点的预设范围；响应于λ₁＝1，表征所述对象处于所述聚焦点的预设范围；响应于λ₁＝0，表征所述对象处于所述聚焦点的预设范围之外；其中，λ₂是通过如下公式确定的：

其中，表示聚焦点在预设时间段内连续选中该对象的时间，t_d为时间的预设阈值；响应于λ₂＝1，表示所述对象被关注的时间超过预设阈值；响应于λ₂＝0，表示所述对象被关注的时间小于预设阈值；其中，λ₃具体公式如下：

其中，(x_min,x_max)表示增强现实显示视窗在x轴方向的最小值和最大值，(y_min,y_max)表示增强现实显示视窗在y轴方向的最小值和最大值；λ₃＝1，表示所述对象处于所述增强现实显示视窗内；λ₃＝0，表示所述对象处于所述增强现实显示视窗之外。

在一些实施例中，计算装置响应于所述眼球所关注的所述显示内容中的对象为多个时，通过以下步骤确定多个所述对象被展示的顺序：对所确定的眼球所关注的所述对象，通过以下公式确定每个所述对象被展示的概率：

其中，P_i表示第i个对象被展示的概率；d_i表示第i个对象与视线落点间的距离；r表示球形区域的半径；根据每个所述对象被展示的概率，确定优先展示的所述对象。

在一些实施例中，响应于所述显示模块显示多个增强现实视窗，以及所述显示内容的对象处于所述多个增强现实视窗的范围中或者所述对象被多个交互操作选中，所述计算装置将每个所述交互操作所修改的所述对象进行逐个展示。

在一些实施例中，所述背景内容包括获取的图像或者视频，生成的虚拟动态或静态场景。

在一些实施例中，所述增强现实显示内容包括图像或者视频、生成的虚拟动态或静态场景或物体以及交互操作的可视化效果，所述增强现实显示内容可由交互操作进行实时修改，并且只显示其在所述增强现实视窗范围内的部分。

在一些实施例中，所述头戴式传感器组合包括以下至少一项：摄像头，麦克风，手势传感器、眼动追踪传感器，所述交互输入信息表征的交互操作包括以下至少一项：手势交互操作，语音交互操作和眼动交互操作。

在一些实施例中，所述显示模块的展示方式包括二维平面展示和三维空间展示，当所述显示模块进行二维平面展示时，所述显示模块包括以下至少一项：电脑显示器，平板电脑，幕布投影；当所述显示模块进行三维空间展示时，所述显示模块包括以下至少一项：3D投影仪，3D显示器。

本公开的上述各个实施例中的一个实施例具有如下有益效果：通过将显示模块设置到头戴式传感器组合的远端，可以简化头戴式传感器组合的结构，减轻该头戴式传感器组合的重量。为安装其他传感器提供了方便。进而，通过设置不同的传感器，丰富了该系统与用户的交互，提高了用户体验。此外，将显示模块相比于近眼显示，能够减小镜头视角受到的限制，提升用户的使用体验。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1是根据本公开的一种支持定制化多通道交互的增强现实系统的一些结构示意图；

图2是根据本公开的一种支持定制化多通道交互的增强现实系统的又一些结构示意图；

图3是根据本公开的一种支持定制化多通道交互的增强现实系统的一多人使用的应用场景图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

此外，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

首先，请参阅图1。图1是根据本公开的一种支持定制化多通道交互的增强现实系统的一些结构示意图。如图1所示，头戴式传感器组合1用来捕捉用户的多通道交互输入信息，并将采集到的上述交互输入信息传至计算装置2。计算装置2根据上述交互输入信息生成或修改增强现实的显示内容，传至显示模块5。显示模块5将背景内容和计算出的增强现实显示内容叠加显示。需要说明的是，不同于现有技术中的显示到头戴的显示设备上，上述显示模块与头戴式传感器间隔地设置到远端。举例而言，上述显示模块5可以是电脑的显示器，也可以是等离子显示屏，液晶显示屏等等。本领域技术人员可以根据实际情况进行选择。此处不做限定。

具体而言，上述背景内容可以是显示到显示模块5中的图像、视频。还可以是通过常规技术手段生成的虚拟的动态或者静态场景。以生成动态场景为例，首先，可以确定该动态场景的要素，即目标、背景、目标运动等。接下来，确定目标运动的路径、运动角度等。最终生成所需的动态场景图像。本领域技术人员可以根据现有技术或者惯用技术手段生成上述虚拟动态场景或者静态场景。

上述增强现实显示内容可以包括图像或者视频、生成的虚拟动态或静态场景或物体以及交互操作的可视化效果。上述交互操作可以是用户通过上述头戴式传感器与该系统进行的人机交互操作。具体而言，上述交互操作可以包括以下至少一项：手势交互操作，语音交互操作和眼动交互操作。为了完成上述操作，可以在上述头戴式传感器组合上设置相关的传感器以采集信息。上述传感器组合可以包括摄像头，麦克风，手势传感器、眼动追踪传感器。通过上述传感器获取到用户的交互输入信息。

进一步地，通过上述交互操作能够呈现相应的可视化效果。例如，采用手势传感器时，通过获取到的用户的手势交互输入信息，可以模拟出手部移动增强现实显示内容中的对象的效果等。

计算装置响应于接收到上述交互输入信息，实现对应的交互操作，换句话说，所述增强现实显示内容可由计算装置通过交互操作进行实时修改，并且只显示其在所述增强现实视窗范围内的部分。从而实现了计算装置生成或者修改增强现实的内容的作用。本领域技术人员可以在现有的相关传感器中进行选择。以常规技术手段实现上述交互操作。

接下来结合图1和图2对本系统进行说明。图2是根据本公开的一种支持定制化多通道交互的增强现实系统的又一些结构示意图。如图1和图2所示，上述增强现实系统还包括展示到显示模块5的增强现实视窗3。该增强现实视窗3用于显示所述增强现实的显示内容。具体而言，该增强现实视窗3的形状和尺寸可以由用户自行设定或者该系统缺省设置。具体而言，用户通过人机交互的操作界面输入该增强现实视窗3的形状和尺寸。该形状可以是圆形，矩形等。上述尺寸可以是上述形状的边长，圆心等。

进一步地，上述增强现实视窗3可以反投影到用户的近眼端，形成虚拟视窗4。上述虚拟视窗4的形状与上述增强现实视窗3的形状相同。上述虚拟视窗4与用户之间距离影响增强现实视窗3的大小。即虚拟视窗4靠近用户时，增强现实视窗3呈现到显示模块5的尺寸越大。因此，在用户不移动的情况下，可以通过调整虚拟视窗4与用户之间的距离来调整增强现实视窗3的尺寸大小。

上述增强现实视窗3显示到显示模块5的位置，是通过如下步骤确定的：

第一步，根据所述显示模块5的显示范围建立坐标系。

在一些实施例中，可以在显示模块5的显示范围选取一点作为坐标原点。进而在上述原点的基础上建立三轴坐标系。作为示例，可以将显示模块5的显示范围的左上角确定为坐标原点，长度方向作为X轴。高度方向作为Y轴。用户与上述显示模块5的垂直方向作为Z轴。进而形成三轴坐标系。

第二步，根据以下公式确定虚拟视窗4投影到显示模块5的边界线上的点的点坐标：

PA_i＝λ_iPP_i；

其中，P表示双眼的中心点坐标，其中，可以通过相关的算法确定P点坐标。例如，采用PNP(Perspective-n-Point，n点透视)算法或者EPNP(Efficient Perspective-n-Point，高效n点透视)算法通过进行关键点检测，坐标系转换等获取到双眼的中心点坐标。

P_i表示虚拟视窗4边缘上的第i点的坐标，其中，在用户不移动的情况下，可以通过调整虚拟视窗4与用户之间的距离来调整增强现实视窗3的尺寸大小，当确定增强现实视窗的大小时，虚拟视窗4到用户的距离是已知的，进而通过虚拟视窗4的尺寸、形状和P点坐标，能够确定虚拟视窗4边缘上的第i点的坐标。

A_i表示以P点为原点出发，经过P_i点形成的直线与所述显示模块5相交的点的点坐标；

PA_i表示P点到A_i的距离；

PP_i表示P点到P_i的距离，其中，可以通过P点的坐标和P_i点的坐标确定PP_i的数值；

λ_i表示PA_i与PP_i之商，所述λ_A是通过P、A_i和P_i三点的Z轴坐标确定的。具体而言，虚拟视窗4到用户的距离是已知的，显示模块到用户的距离可以通过P点坐标确定。

通过上述公式可以计算出PA_i的数值，由于该A_i点是呈现到显示模块5上的，因此可以根据上述PA_i的数值，确定A_i点的坐标。

最终，多个上述边界上的点的点坐标可以确定增强现实视窗的显示范围和在显示模块上的显示的位置。

进一步地，上述计算装置可以通过如下公式确定用户眼球所关注的显示内容中的对象：

λ₁*λ₂*λ₃＞0；

其中，λ₁是通过如下公式确定的：

其中，(x,y,z)为显示内容中的对象的坐标，其中，可以采用多种方式确定显示内容对象的坐标，例如可以通过目标检测算法或者相关的空间坐标算法来确定上述坐标。此外，技术人员还可以提前预设该对象的坐标。

(x_r,y_r,z_r)为左右眼视线方向的三维聚焦点坐标，其中，该三维聚焦点坐标可以通过现有的追踪传感器进行确定。

r表示注意力半径；其中，所述注意力半径所形成的球形范围表征所述聚焦点的预设范围，其中，上述注意力半径可以是技术人员通过大量实验而确定的。也可以是计算装置缺省设置的。

响应于λ₁＝1，表征所述对象处于所述聚焦点的预设范围。

响应于λ₁＝0，表征所述对象处于所述聚焦点的预设范围之外。

其中，λ₂是通过如下公式确定的：

其中，t表示聚焦点在预设时间段内连续选中该对象的时间，可以是聚焦点与该对象的显示范围发生了重合，t_d为时间的预设阈值，其中，预设时间和预设阈值可以是技术人员通过大量实验而确定的。也可以是计算装置缺省设置的。

响应于λ₂＝1，表示所述对象被关注的时间超过预设阈值；

响应于λ₂＝0，表示所述对象被关注的时间小于预设阈值；

其中，λ₃具体公式如下：

其中，(x_min,x_max)表示增强现实显示视窗在x轴方向的最小值和最大值，(y_min,y_max)表示增强现实显示视窗在y轴方向的最小值和最大值；

λ₃＝1，表示所述对象处于所述增强现实显示视窗内；

λ₃＝0，表示所述对象处于所述增强现实显示视窗之外。

进一步地，计算装置响应于所述眼球所关注的所述显示内容中的对象为多个时，通过以下步骤确定多个所述对象被展示的顺序：

对所确定的眼球所关注的所述对象，通过以下公式确定每个所述对象被展示的概率：

其中，P_i表示第i个对象被展示的概率；

d_i表示第i个对象与视线落点间的距离；

根据每个所述对象被展示的概率，确定优先展示的所述对象。

在一些可选实施例的一些实现方式中，响应于所述显示模块显示多个增强现实视窗，以及所述显示内容的对象处于所述多个增强现实视窗的范围中或者所述对象被多个交互操作选中，所述计算装置将每个所述交互操作所修改的所述对象进行逐个展示，并且展示到每个上述增强现实视窗中。接下来，结合图3进行说明。图3是根据本公开的一种支持定制化多通道交互的增强现实系统的一多人使用的应用场景图。当显示模块中展示两个增强现实视窗(图中的31和32)。当每个上述增强现实视窗的显示内容均包括同一对象6时，当该对象6均被用户的交互操作选中或者修改时，可以按照设定的因素，依次展示上述交互操作改变对象6时的场景。上述设定的因素可以是用户的交互操作发生的时间，也可以是预先对不同用户设定的顺序。

本公开的一些实施例公开的增强现实系统，通过增强现实视窗反投影而形成的虚拟视窗，可以通过调节虚拟视窗与用户的距离，进而调整增强现实视窗的尺寸。如此一来，用户可以定制化地确定增强现实视窗的尺寸，进而提高用户体验。

此外，随着用户视角的变化，增强现实视窗在显示模块所展示的位置会发生变化。通过在显示模块上构件三轴坐标系，同时根据虚拟视窗和用户的坐标，可以准确地确定出增强现实视窗边缘的点在显示模块上的位置。进而确定增强现实视窗在显示模块中的位置。从而，可以根据用户视角的变化，在显示模块上展示出增强现实视窗合理的位置，能够更加生动、贴切的展示增强现实的内容。提高了用户体验。

此外，通过确定用户聚焦点的预设范围、对象被关注的时间以及该对象是否在增强现实显示视窗范围内，来确定用户眼球所关注的显示内容中的对象。如此一来，可以准确的确定用户所关注的对象，进而进行精准的展示。提高了本系统的准确度，也提升了用户体验。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种支持定制化多通道交互的增强现实系统，其特征在于，所述增强现实系统包括头戴式传感器组合、计算装置及显示模块；

头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将所述交互输入信息传至所述计算装置；

计算装置，用于根据所述交互输入信息生成或者修改增强现实的显示内容；

显示模块，用于将背景内容和所述增强现实的显示内容叠加显示，其中，所述显示模块设置到相对于所述头戴式传感器组合的远端。

2.根据权利要求1所述的增强现实系统，其特征在于，所述系统还包括展示到所述显示模块的增强现实视窗，所述增强现实视窗用于显示所述增强现实的显示内容，所述增强现实视窗的位置是通过用户头部相对于所述显示模块的姿态确定的，从而模拟增强现实的显示内容的真实效果；所述增强现实视窗的形状和尺寸是通过对虚拟视窗形状的设定而确定的，其中，所述虚拟视窗是所述增强现实视窗反投影而形成的近眼视窗。

3.根据权利要求2所述的增强现实系统，其特征在于，根据以下步骤确定所述增强现实视窗显示到所述显示模块上的位置：

根据所述显示模块的显示范围建立坐标系；

根据以下公式确定虚拟视窗投影到显示模块的边界线上的点的点坐标：

PA_i＝λ_iPP_i；

其中，P表示双眼的中心点坐标；

P_i表示虚拟视窗边缘上的第i点的坐标；

A_i表示以P点为原点出发，经过P_i点形成的直线与所述显示模块相交的点的点坐标：

PA_i表示P点到A_i的距离；

PP_i表示P点到P_i的距离；

λ_i表示PA_i与PP_i之商，所述λ_i是通过P、A_i和P_i三点的Z轴坐标确定的。

4.根据权利要求1所述的增强现实系统，其特征在于，计算装置通过如下公式确定眼球所关注的所述显示内容中的对象：

λ₁*λ₂*λ₃＞0；

其中，λ₁是通过如下公式确定的：

其中，(x，y，z)为显示内容中的对象的坐标；

(x_r，y_r，z_r)为左右眼视线方向的三维聚焦点坐标；

r表示注意力半径；其中，所述注意力半径所形成的球形范围表征所述聚焦点的预设范围；

响应于λ₁＝1，表征所述对象处于所述聚焦点的预设范围；

响应于λ₁＝0，表征所述对象处于所述聚焦点的预设范围之外；

其中，λ₂是通过如下公式确定的：

其中，t表示聚焦点在预设时间段内连续选中该对象的时间，t_d为时间的预设阈值；

响应于λ₂＝1，表示所述对象被关注的时间超过预设阈值；

响应于λ₂＝0，表示所述对象被关注的时间小于预设阈值；

其中，λ₃具体公式如下：

其中，(x_min，x_max)表示增强现实显示视窗在x轴方向的最小值和最大值，(y_min，y_max)表示增强现实显示视窗在y轴方向的最小值和最大值：

λ₃＝1，表示所述对象处于所述增强现实显示视窗内；

λ₃＝0，表示所述对象处于所述增强现实显示视窗之外。

5.根据权利要求4所述的增强现实系统，其特征在于，计算装置响应于所述眼球所关注的所述显示内容中的对象为多个时，通过以下步骤确定多个所述对象被展示的顺序：

对所确定的眼球所关注的所述对象，通过以下公式确定每个所述对象被展示的概率：

其中，P_i表示第i个对象被展示的概率；

d_i表示第i个对象与视线落点间的距离；

r表示球形区域的半径；

根据每个所述对象被展示的概率，确定优先展示的所述对象。

6.根据权利要求1-5中任一项所述的增强现实系统，其特征在于，响应于所述显示模块显示多个增强现实视窗，以及所述显示内容的对象处于所述多个增强现实视窗的范围中或者所述对象被多个交互操作选中，所述计算装置将每个所述交互操作所修改的所述对象进行逐个展示。

7.根据权利要求6所述的增强现实系统，其特征在于，所述背景内容包括获取的图像或者视频，生成的虚拟动态或静态场景。

8.根据权利要求6所述的增强现实系统，其特征在于，所述增强现实显示内容包括图像或者视频、生成的虚拟动态或静态场景或物体以及交互操作的可视化效果，所述增强现实显示内容可由交互操作进行实时修改，并且只显示其在所述增强现实视窗范围内的部分。

9.根据权利要求1所述的增强现实系统，其特征在于，所述头戴式传感器组合包括以下至少一项：摄像头，麦克风，手势传感器、眼动追踪传感器，所述交互输入信息表征的交互操作包括以下至少一项：手势交互操作，语音交互操作和眼动交互操作。

10.根据权利要求1所述的增强现实系统，其特征在于，所述显示模块的展示方式包括二维平面展示和三维空间展示，当所述显示模块进行二维平面展示时，所述显示模块包括以下至少一项：电脑显示器，平板电脑，幕布投影；当所述显示模块进行三维空间展示时，所述显示模块包括以下至少一项：3D投影仪，3D显示器。

Images