CN111506280B

CN111506280B - 用于指示屏幕外兴趣点的图形用户界面

Info

Publication number: CN111506280B
Application number: CN202010069301.5A
Authority: CN
Inventors: D.莫兰德; P.佩雷亚
Original assignee: Schneider Electric Industries SAS
Current assignee: Schneider Electric Industries SAS
Priority date: 2019-01-30
Filing date: 2020-01-21
Publication date: 2024-05-31
Anticipated expiration: 2040-01-21

Abstract

本发明涉及一种在设备上显示增强现实AR图形用户界面GUI的方法。该方法包括基于相机获取的视觉数据和与PoI的位置相关的信息检测(402)位于屏幕外的PoI。然后，对于每个检测到的屏幕外PoI，确定(403)以PoI为中心的预定形状的区带，该区带至少部分位于屏幕上。确定与各个区带的边缘的交叉点相对应的屏幕上顶点，并基于屏幕上顶点确定(405，406，407)连续曲线。通过叠加视觉数据和连续曲线来显示GUI，其中在视觉数据的获取期间实时地执行操作。

Description

用于指示屏幕外兴趣点的图形用户界面

技术领域

本发明涉及人机交互的增强，特别是但不限于，涉及在使用提供增强现实的手持设备检测兴趣点(PoI)的背景中的人机交互的增强。

背景技术

增强现实(AR)在于真实世界环境的交互体验，其中，存在于真实世界中的对象(诸如兴趣点(PoI))被计算机生成的感知信息增强，有时跨越多种感觉形态，包括视觉、听觉、触觉、体觉和嗅觉。接下来，考虑使用视觉信息的增强现实的背景。

在操作者将工业机器与增强现实设备相结合的工业背景中，例如为了维护，用户绕着机器行走，站在不同的距离和不同的角度，并寻找关于PoI的线索。这要求用户能够容易地检测到PoI并且被动态地引导到PoI。

这不仅产生了如何显示关于PoI的位置信息的问题，还产生了如何调整设备的图形用户界面(GUI)以反映由于用户所处理的设备与要为其显示PoI的机器的交互而引起的变化的问题。

手持设备的屏幕尺寸有限，并且优选以相对较大的比例(例如放大)显示信息，以便用户可读。然而，屏幕的显示区域可能太小而无法显示完整的兴趣区域，并且一些兴趣点可能位于显示区域之外。

如图1a所示，根据现有技术的第一种解决方案提出显示分别以屏幕外PoI为中心的圆在屏幕上的部分。

若干PoI 100.1至100.4位于屏幕外。这意味着PoI在设备101的相机的视野之外。

该设备还包括屏幕102，在屏幕102上显示第一GUI 103。如图1a所示，GUI 103使用分别以各个PoI 100.1-100.4为中心的圆在屏幕上的部分来表示屏幕外PoI 100.1-100.4。然而，对于高密度的PoI，圆的部分是重叠的，使得用户难以理解关于屏幕外PoI的信息。然后，用户需要对PoI位于何处做出假设，这将检测变成漫长、恼人和麻烦的体验。

如图1b所示，根据现有技术的第二种解决方案类似于第一种解决方案，但是替代地显示了包括圆的三角形部分的GUI 104。虽然这确实减少了重叠，但并没有完全消除重叠。特别是，在PoI的密度高的情况下，重叠仍然可能发生，因此并非在每种情况下都消除了与第一种解决方案相同的缺点。

图1c示出了根据现有技术的第三种解决方案。在屏幕边缘上显示包括表示屏幕外区域的区带(zone)的GUI 105。屏幕外PoI被表示为区带中的各个点106.1-106.4。然而，在高密度的情况下，该区带可能点太多，使用户难以理解屏幕外信息。因此，没有克服前两种解决方案的缺点。

因此，前三种现有技术解决方案依赖于没有PoI聚集的屏幕外可视化系统。

进一步的解决方案提出聚集屏幕外PoI。

例如，根据现有技术的第四种解决方案提出了在具有PoI聚集的情况下在设备屏幕上的屏幕外可视化。参考图1d说明了第四种解决方案。

根据第四种解决方案，屏幕外的真实空间被划分为单元，并且位于相同单元中的PoI被聚集。

例如，第一单元111.1包括屏幕外PoI 110.1-110.4，第二单元111.2包括屏幕外PoI 110.5和110.6，并且第三单元111.3包括PoI 110.7、110.8和110.9。

然后，如GUI 116，显示了作为与每个单元相对应的圆的部分的圆弧，并具有对该单元所包括的PoI的数量的指示。然而，这并不能提供关于PoI在给定单元内位于何处的指示。此外，由于单元111是固定的，两个PoI可以彼此非常靠近但却位于不同的单元中，并且在这种情况下，该第四种解决方案给出该情况的歪曲视图。因此，第四种解决方案缺乏准确性，并且妨碍了在包含PoI的机器周围行走的用户的准确操纵。

参考图1e示出了现有技术的第五种解决方案。确定位于设备122的屏幕121之外的PoI 120.1-120.4的群组(cluster)的质心124，并显示GUI 123，GUI 123包括以该质心为中心的圆在屏幕上的部分。这解决了在高密度PoI的情况下的重叠问题。然而，与第四种解决方案一样，缺失了关于PoI在群组内的位置的信息。这意味着位置信息被隐藏在聚集的标记(圆弧)之下/之内。

现有技术解决方案仍然可以通过使得能够显示暗示了以聚集的方式的屏幕外PoI的位置的GUI、同时保留关于PoI的相互距离的信息来改进。具体地，需要一种聚集标记，其允许根据要显示的PoI的数量及其各自的位置来更加可变地表示PoI。利用单元或质心的圆的现有技术仅允许增加或减少的圆拱的曲率或产生重叠的圆。

发明内容

本发明的第一方面涉及一种在设备上显示增强现实AR图形用户界面GUI的方法，该设备访问与兴趣点PoI的位置相关的信息，该方法包括以下操作：

-通过所述设备的相机获取视觉数据；

-基于由相机获取的视觉数据和与PoI的位置相关的信息检测位于屏幕外的PoI；

-对于每个检测到的屏幕外PoI，确定以PoI为中心的预定形状的区带，所述区带至少部分位于屏幕上；

-确定与各个区带的边缘的交叉点相对应的屏幕上顶点；

-基于屏幕上顶点确定连续曲线；

-通过叠加所述视觉数据和连续曲线来显示GUI，其中，该操作在视觉数据的获取期间实时地执行。

因为连续曲线既表示屏幕外PoI的数量又表示它们各自的位置，所以这允许根据要显示的PoI的数量和它们各自的位置来更加可变地表示PoI。

根据一些实施例，索引i以连续的方式归属于顶点，i在1和n之间变化，n是顶点的数量；每个索引为i的顶点可以与给定位置和基于并集确定的斜率相关联；

其中，对于每个索引i，从i＝1开始，该方法还包括：

基于索引为i、i+1和i+2的顶点的位置并基于索引为i和i+2的顶点的斜率确定二次曲线；

基于二次曲线连接(join)索引为i和i+1的顶点以获得曲线的部分；

聚集曲线的部分以获得连续曲线。

通过聚集二次曲线获得的连续曲线给出了关于PoI之间相互距离的暗示。事实上，如果给定顶点处的两个连续二次曲线之间的过渡是平滑的，则意味着与曲线相对应的两个PoI远离其他PoI，而如果过渡是突变的，则意味着PoI是靠近的。

根据一些实施例，该方法还包括：

-通过设备的相机获取新的视觉数据；

-基于新的视觉数据更新连续曲线；以及

-通过叠加更新的连续曲线和新的视觉数据来更新GUI。

连续曲线根据操作者对AR设备的动态处理而平滑地调整。具体地，可以增强动态调整显示标记(连续曲线)以便在朝向或远离显示器上的多个屏幕外PoI导航的同时反映与该屏幕外PoI的距离的方法的方式。在这种情况下，“平滑地”是指以调整显示的标记的方式减少突变，“动态地”是指允许标记的呈现更加多样化。

根据一些实施例，屏幕上顶点还可以包括屏幕和区带的并集之间的交叉点。

根据一些实施例，每个区域的尺寸取决于PoI和屏幕之间或PoI和设备之间的距离。

这使得能够确保区带和屏幕之间的交叉点不为空，并且因此，所显示的GUI依赖于所有PoI，甚至离屏幕更远的PoI。

作为补充，给定PoI和屏幕之间的距离是给定PoI和屏幕内部的矩形的最近边缘之间的距离，并且区带可以是圆形的且圆的半径可以等于该距离。

这使得能够限制屏幕中连续曲线的侵入，因为它不会穿入矩形。

根据一些实施例，GUI还包括表示与连续曲线相对应的屏幕外PoI的数量的数值信息。

这使得用户能够方便地操纵AR设备。如果GUI包括不同方向上的若干连续曲线，则GUI可以包括每个连续曲线的一条数值信息。

本发明的第二方面涉及一种其上存储有计算机程序的非暂时性计算机可读存储介质，该计算机程序包括指令，当被处理器执行时，该指令用于执行根据本发明的第一方面的方法的步骤。

本发明的第三方面涉及一种设备，其包括被配置为显示增强现实AR图形用户界面GUI的屏幕，该设备被配置为访问与兴趣点PoI的位置相关的信息，该设备还包括：

相机，被配置为获取视觉数据；

处理器，被配置为：

-基于相机获取的视觉数据和与PoI的位置相关的信息检测位于屏幕外的PoI；

-确定与各个区带的边缘的交叉点相对应的屏幕上顶点；

-基于屏幕上顶点确定连续曲线；

-通过叠加视觉数据和连续曲线在屏幕上显示GUI，其中该操作在视觉数据的获取期间实时地执行。

参考附图，本发明的其他目的、方面、效果和细节将在以下对多个示例性实施例的详细描述中描述。

附图说明

仅作为示例，将参考附图描述本公开的实施例，附图中：

图1a至图1e表示根据现有技术的GUI；

图2a至图2g示出了根据本发明一些实施例的GUI；

图3示出了根据本发明一些实施例的设备的结构；以及

图4是示出根据本发明一些实施例的方法的步骤的图。

具体实施方式

图2a至图2g示出了根据本发明一些实施例的图形用户界面(GUI)。

如图2a所示，四个PoI 200.1、200.2、200.3和200.4相对于设备220，特别是相对于设备220的屏幕210被识别和定位。

PoI 200.1位于屏幕上，而PoI 200.2、200.3和200.4位于屏幕外。如所解释的，本发明旨在改进被显示以暗示以聚集的方式的屏幕外PoI的位置的GUI，同时保留关于PoI的相互距离的信息，并且同时依赖于PoI的数量、它们各自的距离，从而使用户能够对设备进行准确操纵。

现在参考图2b，屏幕210的最靠近屏幕外PoI 200.2、200.3和200.4的边缘被标记为202。

根据本发明，计算预定形状并以PoI为中心的区带，所述区带至少部分位于屏幕上。例如，如图2b所示，预定形状可以是圆。区带被标记为201.2、201.3和201.4，分别与PoI200.2、200.3和200.4相对应。

每个区带的尺寸使得区带的至少一部分位于屏幕上。在圆形区带的情况下，意味着区带的半径大于屏幕外PoI和屏幕210的边缘202之间的距离。例如，区带的半径可以等于与该区带相对应的PoI与线203之间的距离。线203可以是位于屏幕210内部的矩形(在图2g中标记为209)的四条边中的一条边(最靠近PoI 200.2到200.4)，并且屏幕的在矩形之外的区带可以专用于显示关于屏幕外PoI的信息。如在下面描述中将会更好理解的，在屏幕内部预定义区带不进入其中的矩形，能够限制曲线侵入屏幕中。

圆形区带201.1也表示在屏幕上PoI 200.1周围。根据本发明，圆形区带201.1的尺寸不受限制。

如图2b所示，当若干PoI彼此靠近时，它们的区带可能相互重叠。

参考图2c，四个区带201.1至201.4的边缘之间以及四个区带的边缘和屏幕之间的交叉点被标记为204。

参考图2d，屏幕上的以及作为屏幕和四个区带的并集之间的交叉点的顶点的交叉点可以被选择，并且可以与索引i相关联，i在1和N之间变化，N是屏幕上顶点的数量。因此，获得交叉点205.1(索引1)、205.2、205.3、205.4、205.5和205.6，并且N等于6。应当理解，图2a至图2g是为了说明的目的给出的，并不限制本发明的范围，本发明的范围可以应用于PoI的任何分布和区带201的任何形状。

参考图2e，区带201的并集的在屏幕上的边缘被表示和被标记为206。根据本发明一些实施例，并集在屏幕上的边缘形成连续曲线，该曲线可以与由设备相机获取的视觉数据叠加。

GUI上显示的所产生的连续曲线暗示以聚集的方式的屏幕外PoI的位置，同时保留关于PoI的相互距离的信息，因为区带并集的边缘给出了关于屏幕外PoI的数量和各自位置的信息。边缘(圆的部分)的数量提供了关于屏幕外PoI的数量的信息，并且边缘的曲率提供了关于距屏幕外PoI的各个距离的信息。

这使得当被用户操作时，GUI对设备的位置/方位的修改做出响应。

因此，GUI以简洁的方式暗示PoI的位置，并根据用户的动态处理进行平滑调整。

特别地，根据本发明，可以增强动态调整GUI的显示方法以便在朝向或远离显示器上的多个屏幕外PoI导航的同时反映与该屏幕外PoI的距离的方式。

在这种情况下，“平滑地”是指以调整被显示GUI的方式减少突变，“动态地”是指允许标记的呈现更加多样化(即，形成所产生的曲线的边缘的曲率、尺寸和数量)。

根据加强本发明以上优点的补充实施例，连续曲线可以在与用相机获取的视觉数据一起显示之前被修改。

为此，对于每个索引i，从i＝1开始，根据本发明一些实施例的方法还可以包括：

基于索引为i、i+1和i+2的顶点的位置并且基于索引为i和i+2的顶点的斜率计算二次曲线；

基于二次曲线连接索引为i和i+1的顶点，以修改所产生的连续曲线。

这使得修改的连续曲线能够具有连续斜率(与原始的所产生的连续曲线相比)。

参考图2f，可以假设顶点A和C是具有连续索引的两个顶点205。顶点A和顶点C具有各自的位置(例如屏幕坐标系中的坐标)和各自的斜率t1和t3，它们可以基于先前计算的并集来确定。

基于各自的位置和各自的斜率，可以唯一确定连接顶点A和顶点C的二次曲线，使得具有位置和斜率t2的每个点B属于该二次曲线。顶点A和C之间的并集在屏幕上的边缘可以由二次曲线代替，以修改连续曲线。

一旦对所有索引执行了这些计算，连续曲线就被修改，如图2g所示。修改的连续曲线被标记为207。

如先前所解释的，区带的半径使得修改的曲线207(或曲线206)不穿入位于屏幕中的预定矩形209。这使得能够限制曲线206或207侵入屏幕内部。

修改的连续曲线给出了关于PoI之间的相互距离的暗示。事实上，如果给定顶点处的两个连续二次曲线之间的过渡是平滑的，则意味着与曲线相对应的两个PoI远离其它PoI，而如果过渡是突变的，则意味着PoI是靠近的。

连续曲线(修改的或未修改的)还可以包括数值信息208，其表示屏幕外PoI的数量。例如，数值信息208可以是：

-与连续曲线相对应的PoI的总数(即基于其确定该连续曲线)，包括屏幕上PoI和屏幕外PoI；和/或

-与连续曲线相对应的屏幕外PoI的总数，包括屏幕上PoI和屏幕外PoI。

图3示出了根据本发明一些实施例的设备220。

设备220优选是但不限于手持设备，诸如智能手机、触摸板或可穿戴设备(诸如眼镜)。可替换地，它可以是具有便携式相机的膝上型或桌上型计算机，用户可以独立于计算机的其他元件来操纵该便携式相机。

设备220包括屏幕210，其也可以是触摸屏，因此也用作用户界面。可替换地，在屏幕210不是触摸屏的情况下，设备220可以包括单独的用户界面，该用户界面被配置为接收用户输入，诸如字母数字数据或者诸如用于移动光标的命令。

设备220还包括处理器303，处理器303被配置为执行根据本发明的方法的操作，如参考图3所解释的并且如图1所示。处理器303可以经由一条或若干通信总线与存储器302单向或双向通信。存储器302可以是随机存取存储器(RAM)、只读存储器(ROM)或任何其他类型的存储器(诸如闪存、EEPROM等)。存储器302被配置为以永久或临时的方式存储由根据本发明的方法的实施所使用和/或产生的至少一些数据。具体地，存储器可以存储与PoI的位置相关的信息，特别是PoI的位置坐标(诸如三维坐标)。可替换地，位置信息可以存储在远程服务器中，并且设备220可以经由通信网络访问该远程服务器。

可替换地，处理器303和存储器302可以由专用于执行根据本发明的方法的操作的电子电路代替。

设备220还包括被配置为实时获取视觉数据的相机301。可视数据可以与所产生的曲线叠加以形成GUI。相机301优选地是设备220的主相机(即，位于与屏幕相对一侧的相机)。

设备220还可以包括传感器305，诸如用于定位设备220或用于获得设备220的角度的传感器。为此，传感器305可以是加速度计和/或陀螺仪。

图4是示出根据本发明一些实施例的方法的步骤的流程图。

在步骤401，设备220的相机301获取视觉数据。步骤401可以连续执行，使得GUI可以实时显示视觉数据。为此，可以以视频速率获取视觉数据。“实时”意味着视觉数据一旦被获取就被显示在GUI上(当然考虑由于处理时间造成的延迟)。可替换地，视觉数据可以包括以给定频率(例如，每秒至少一帧)获取的静态帧，该频率优选地较高，使得GUI对设备的操纵做出响应。

在步骤402，相对于设备220识别和定位PoI。对用于定位PoI的方法不加限制，并且具体地可以应用众所周知的方法。PoI的位置可以依赖于将存储在设备220的存储器302中的三维模型与设备的当前位置/方位进行比较。设备220可以通过使用从传感器305发出的传感器数据和/或由相机301获取的视觉数据、或者经由GPS数据，在三维模型中被定位。

例如，一些已知的AR技术被称为同步定位和映射(SLAM)，并且依赖于从测量单元(加速度计、陀螺仪、磁力计)和相机发出的传感器数据。它可能涉及例如深度感知、运动跟踪和区域学习的三个功能的组合。使用IMU(惯性测量单元)跟踪设备的位置和方位。其他AR技术可能依赖于单个相机和传感器跟踪或依赖于基于GPS的跟踪。

在步骤403，对于每个检测到的屏幕外PoI，该方法包括确定以PoI为中心的预定形状的区带，该区带至少部分位于屏幕上，例如如图2b所示。例如，预定形状可以是圆或者更一般地是椭圆。“以……为中心”是指PoI位于区带内部，使得区带的边缘暗示PoI的位置。

在步骤404，该方法包括确定与各个区带的边缘的交叉点相对应的屏幕上顶点。顶点可以与图2e的顶点206相对应。确定屏幕上顶点206可以包括确定与屏幕外PoI相对应的区带的并集，以及可选地确定与屏幕上PoI相对应的区带的并集。

在步骤405，基于屏幕上顶点确定连续曲线。如参考图2f和2g所解释的，曲线可以包括所确定的并集的边缘，或者可以是修改的连续曲线。在使用修改的连续曲线的实施例中，该方法还包括步骤406和407。步骤406包括为顶点对(couples of apexes)确定二次曲线，这些顶点先前已经从1索引到N，N是屏幕上顶点的数量。然后，对于每个索引i，基于二次曲线获得索引为i和i+1的顶点之间的修改的连续曲线的一部分。

在步骤407，曲线的部分被聚集以获得修改的连续曲线。如上所述，步骤406和407是可选的。

在步骤408，基于在步骤404确定的屏幕上顶点和在步骤401获取的视觉数据来显示GUI。例如，视觉数据可以被叠加有：

-在步骤405计算的并集在屏幕上的边缘；或者

-在步骤407确定的连续曲线。

GUI还可以包括如上所述的数值信息208。

然后迭代这些步骤，并且在接下来迭代中，基于新的视觉数据和基于设备220的新位置确定的新的连续曲线来更新GUI。

这些步骤或操作在相机获取视觉数据期间被实时地执行，以提供AR GUI。

尽管上面已经参照特定实施例描述了本发明，但是本发明并不局限于这里阐述的特定形式。相反，本发明仅受所附权利要求的限制，在这些所附权利要求的范围内，除了上述具体实施例之外的其他实施例同样是可能的。

此外，尽管以上已经在组件和/或功能的一些示例性组合中描述了示例性实施例，但是应当理解，在不脱离本公开的范围的情况下，可替换的实施例可以由构件和/或功能的不同组合来提供。此外，特别预期单独描述的或作为实施例的一部分描述的特定特征可以与其他单独描述的特征或其他实施例的部分组合。

Claims

1.一种在设备(220)上显示增强现实AR图形用户界面GUI的方法，所述设备访问与兴趣点PoI的位置相关的信息，所述方法包括以下操作：

-通过所述设备的相机获取视觉数据；

-基于由所述相机获取的所述视觉数据和与PoI的位置相关的所述信息检测位于屏幕外的PoI；

-确定与各个区带的边缘的交叉点相对应的屏幕上顶点；

-基于所述屏幕上顶点确定连续曲线；

-通过叠加所述视觉数据和所述连续曲线来显示GUI，其中，在所述视觉数据的获取期间实时地执行所述操作。

2.根据权利要求1所述的方法，其中，索引i以连续的方式归属于顶点，i在1和n之间变化，n是顶点的数量；

其中，每个索引为i的顶点与给定位置和基于并集确定的斜率相关联；

其中，对于每个索引i，从i＝1开始，所述方法还包括：

基于所述二次曲线连接索引为i和i+1的顶点以获得曲线的部分；

聚集曲线的部分以获得所述连续曲线。

3.根据前述权利要求之一的方法，其中，所述方法还包括：

-通过所述设备的相机获取新的视觉数据；

-基于所述新的视觉数据更新所述连续曲线；以及

-通过叠加所更新的连续曲线和所述新的视觉数据来更新所述GUI。

4.根据前述权利要求之一所述的方法，其中，所述屏幕上顶点还包括所述屏幕和所述区带的并集之间的交叉点。

5.根据前述权利要求之一所述的方法，其中，每个区带的尺寸取决于所述PoI和所述屏幕之间或所述PoI和所述设备之间的距离。

6.根据权利要求5所述的方法，其中，给定PoI和所述屏幕之间的距离是所述给定PoI和所述屏幕内部的矩形的最近边缘之间的距离，并且其中所述区带是圆形的，并且圆的半径等于所述距离。

7.根据前述权利要求之一所述的方法，其中，所述GUI还包括表示与所述连续曲线相对应的屏幕外PoI的数量的数值信息。

8.一种其上存储有计算机程序的非暂时性计算机可读存储介质，所述计算机程序包括指令，当被处理器(303)执行时，所述指令用于执行根据权利要求1至7之一的方法的步骤。

9.一种设备(220)，包括被配置为显示增强现实AR图形用户界面GUI的屏幕(210)，所述设备被配置为访问与兴趣点PoI的位置相关的信息，所述设备还包括：

相机(301)，被配置为获取视觉数据；

处理器(303)，被配置为：

-确定与各个区带的边缘的交叉点相对应的屏幕上顶点；

-基于所述屏幕上顶点确定连续曲线；

-通过叠加所述视觉数据和所述连续曲线在所述屏幕上显示GUI，其中，在所述视觉数据的获取期间实时地执行上述操作。