CN114089879A - 一种增强现实显示设备的光标控制方法 - Google Patents

Abstract

本发明公开了一种增强现实显示设备的光标控制方法，通过预先设定AR显示设备显示画面中的瞄准区域，通过用户头部姿态的变化调整视野范围，使得瞄准区域与用户根据应用场景选取的预设参考目标交叠，再根据瞄准区域在显示画面中的位置信息以及当前视野范围内的真实图像画面，以瞄准区域与预设参考目标交叠的区域作为参考目标，设定参考目标作为增强现实显示设备的光标区域，采用真实图像画面中的部特征画面作为显示画面的光标区域，省去了AR显示设备操作中的外接硬件，同时提升了用户使用体验，扩大了AR显示设备和真实世界的交互范围。

Description

一种增强现实显示设备的光标控制方法

技术领域

本发明实施例涉及显示技术领域，尤其涉及一种增强现实显示设备的光标控制方法。

背景技术

增强现实(Augmented Reality，简称AR)显示设备在使用过程中，需要对系统进行操控，基于光标区域操作是当前主流的系统操控方式，AR显示设备相当于是外接屏幕，而光标区域操作最基本的方案是鼠标或者触摸板，更进一步地，会有基于头颈部的姿态传感器的“悬停”画面的操作。

现有技术一利用外接鼠标或者触摸板，进行传统的鼠标控制，和普通计算机的使用方法一致；利用运动传感器的手持蓝牙设备，手持设备的旋转指向对应屏幕中的光标区域的两个移动轴，该技术方案存在需要外接设备，无法实现完全的脱机显示，比较冗余的问题。

现有技术二中利用运动传感器对设备的姿态和朝向进行实时捕捉，比如使用航向角和俯仰角分别对应横轴和纵轴的移动，这种方案通常将显示区域中心位置固定作为光标区域，根据头部姿态的运算，将投影画面做出相应的偏移，比如头部向左转则画面往右移，在结合现实世界的透射式显示的情形下，形成一种屏幕“悬停”到空间中的某一个位置的错觉，而头部的移动驱动显示区域中心的鼠标在“悬停”的屏幕上移动，从而实现位置的指定，该技术方案由于AR显示设备视场角有限，在投影画面在显示区域中移动时，通常存在会有一部分画面会超出设备显示区域的问题。比如当用户希望用显示区域中心的光标区域对准屏幕左下角的start按钮时，屏幕右上角就无法显示在有效的显示区域内，除非显示内容不超过显示区域的四分之一大小。

发明内容

有鉴于此，本发明实施例提供一种增强现实显示设备的光标控制方法，采用真实图像画面中的部特征画面作为显示画面的光标区域，省去了AR显示设备操作中的外接硬件，同时提升了用户使用体验，扩大了AR显示设备和真实世界的交互范围。

第一方面，本发明实施例提供了一种增强现实显示设备的光标区域控制方法，所述方法包括：

选取显示画面中的瞄准区域；

调整视野范围，以使所述瞄准区域与预设参考目标交叠；

获取当前视野范围内的真实图像画面；

根据所述瞄准区域在所述显示画面中的位置信息以及所述真实图像画面，确定参考目标；

设定所述参考目标作为所述增强现实显示设备的光标区域。

可选的，根据所述瞄准区域在所述显示画面中的位置信息以及所述真实图像画面，确定参考目标，包括：

建立所述真实图像画面与所述显示画面的映射关系；

根据所述瞄准区域在所述显示画面中的位置信息以及所述映射关系，确定参考目标。

可选的，确定参考目标之后，还包括：

提取并存储所述参考目标的特征信息。

可选的，还包括：

调整所述视野范围，得到更新视野范围；

确定所述光标区域在所述更新视野范围内的更新位置；

对所述更新位置对应的所述显示画面中的可操作文件进行操作。

可选的，所述显示画面包括多个可操作文件；

所述瞄准区域小于或者等于所述可操作文件在所述显示画面中的覆盖区域；

对所述更新位置对应的所述显示画面中的可操作文件进行操作，包括：

对所述更新位置对应的一个所述可操作文件进行操作。

可选的，所述显示画面包括多个可操作文件；

所述光标区域大于所述可操作文件在所述显示画面中的覆盖区域；

对所述更新位置对应的所述显示画面中的可操作文件进行操作，包括：

对所述更新位置对应的多个所述可操作文件进行操作。

可选的，获取当前视野范围内的真实图像画面，包括：

采用图像传感器采集当前视野范围内的真实图像画面。

可选的，所述瞄准区域位于所述显示画面中的中心区域。

可选的，所述参考目标为静态参考目标。

可选的，所述真实图像画面包括可视化图像和红外图像。

本发明实施例提供的增强现实显示设备的光标控制方法，通过预先设定AR显示设备显示画面中的瞄准区域，通过用户头部姿态的变化调整视野范围，使得瞄准区域与用户根据应用场景选取的预设参考目标交叠，再根据瞄准区域在显示画面中的位置信息以及当前视野范围内的真实图像画面，以瞄准区域与预设参考目标交叠的区域作为参考目标，设定参考目标作为增强现实显示设备的光标区域，采用真实图像画面中的部特征画面作为显示画面的光标区域，省去了AR显示设备操作中的外接硬件，同时提升了用户使用体验，扩大了AR显示设备和真实世界的交互范围。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的一种增强现实显示设备的光标控制方法的流程示意图；

图2为本发明实施例提供的增强现实显示设备的光标控制方法的一种应用场景；

图3为图2中显示画面的示意图；

图4为图2的应用场景中瞄准区域与预设参考目标交叠的示意图；

图5为本发明提供的另一种增强现实显示设备的光标控制方法的示意图

图6为本发明提供的另一种增强现实显示设备的光标控制方法的示意图；

图7为图2应用场景中光标对显示画面中的可操作文件的操作示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将结合本发明实施例中的附图，通过具体实施方式，完整地描述本发明的技术方案。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，均落入本发明的保护范围之内。

实施例

本发明实施例提供一种增强现实显示设备的光标控制方法。图1为本发明实施例提供的一种增强现实显示设备的光标控制方法的流程示意图；图2为本发明实施例提供的增强现实显示设备的光标控制方法的一种应用场景；图3为图2中显示画面的示意图；图4为图2的应用场景中瞄准区域与预设参考目标交叠的示意图。结合图1-图4所示，增强现实显示设备的光标控制方法包括：

步骤S101、选取显示画面中的瞄准区域。

示例性的，如图2-图4所示，显示画面1为AR显示设备预设的虚拟图像信息，瞄准区域11可以是位于显示画面1中的任意形状、大小、尺寸和位置的图形结构。例如，图3中的准星的位置。

步骤S102、调整视野范围，以使瞄准区域与预设参考目标交叠。

实施例性的，当用户穿戴AR显示设备在如图2所示的应用场景中，预设参考目标可以是该现实世界应用场景中的某一个具有一定特征的局部画面或者信号源，这个局部画面特征可以根据用户的喜好选择，例如选定图2中树尖为预设参考目标。

通过用户头部姿态的变化，调整视野范围，使得树尖这个局部特征画面进入显示画面1的瞄准区域11，即调整准星位置对准树尖这个局部特征画面，实现瞄准区域11与预设参考目标叠加效果，如图4所示。

步骤S103、获取当前视野范围内的真实图像画面。

示例性的，继续参考图4所示，AR显示设备可以调取该应用场景下真实图像画面，例如，调取GPS图像、下载网络预存图片、采集现场图像等方式，获取当前视野范围内的真实图像画面。

步骤S104、根据瞄准区域在显示画面中的位置信息以及真实图像画面，确定参考目标。

示例性的，结合图2-图4所示，例如显示画面1中建立直角坐标系，获得瞄准区域11在显示画面1中的第一位置坐标，可以定义此位置为光标区域所在的位置，同时在AR投影画面中进行叠加显示，这样即可以让头部姿态和光标区域位置进行更直观的对应。AR显示设备获得真实图像画面中与瞄准区域11交叠的树尖这个局部特征画面，结合瞄准区域11在显示画面1中的第一位置坐标和树尖这个局部特征画面，确定树尖这个局部特征画面作为参考目标。

其中，瞄准区域11的第一位置坐标为光标区域在显示画面中的初始位置坐标，并以此作为位置参考，这里的位置参考是临时注册在系统中的，根据环境的变化可以随时更换，当用户头部姿态变化，视野范围发生改变，以显示画面为参考系，光标区域在在显示画面中的坐标位置发生改变，AR显示设备实时获取该光标区域在显示画面1中的位置变化。在应对某些特定场景的操作中，可以有很好的辅助作用，比如在课堂环境下，可以设定黑板的一个角作为位置参考，用于调出字典并进行实时使用；再如在工作环境下，可以设定办公室的一幅画作为调出收件箱的位置参考。

步骤S105、设定参考目标作为增强现实显示设备的光标区域。

示例性的，用户可以使用声控、眨眼或者其他操控方式，对AR显示设备系统做出指示，设定当前的瞄准区域11内的树尖这个局部特征画面为AR显示设备的光标区域。通过AR显示设备的程序设定，设定该光标区域可以对显示画面中的应用程序进行打开、关闭、删除、移动、放大、缩小等功能。采用真实图像画面中的部特征画面作为显示画面的光标区域，省去了AR显示设备操作中的外接硬件，同时提升了使用体验，扩大了AR显示设备和真实世界的交互范围。

综上，本发明实施例提供增强现实显示设备的光标区域控制方法，通过预先设定AR显示设备显示画面中的瞄准区域，通过用户头部姿态的变化调整视野范围，使得瞄准区域与用户根据应用场景选取的预设参考目标交叠，再根据瞄准区域在显示画面中的位置信息以及当前视野范围内的真实图像画面，以瞄准区域与预设参考目标交叠的区域作为参考目标，设定参考目标作为增强现实显示设备的光标区域，采用真实图像画面中的部特征画面作为显示画面的光标区域，省去了AR显示设备操作中的外接硬件，同时提升了用户使用体验，扩大了AR显示设备和真实世界的交互范围。

图5为本发明提供的另一种增强现实显示设备的光标控制方法的示意图。

结合图2-图5所示，可选的，增强现实显示设备的光标控制方法包括：

步骤S201、选取显示画面中的瞄准区域。

继续参考如图1-图4所示。

步骤S202、调整视野范围，以使瞄准区域与预设参考目标交叠。

继续参考图1-图4所示。

步骤S203、获取当前视野范围内的真实图像画面。

继续参考图1-图4所示。

步骤S204、建立真实图像画面与显示画面的映射关系。

示例性的，继续参考图1-图4，在显示画面1和真实图像画面中建立直角坐标系，例如图2中将真实图像画面按照显示画面的像素尺寸划分，将真实图像画面内每个划分区域的位置坐标与显示画面1内对应像素的位置坐标建立一一对应的映射关系，使得真实图像画面内每个图像特征在显示画面1内都有对应的位置映射关系。

步骤S205、根据瞄准区域在显示画面中的位置信息以及映射关系，确定参考目标。

示例性的，继续参考图1-图4，在显示画面1的直角坐标系中，获得瞄准区域11在显示画面1中的位置坐标，以及预设参考目标在真实图像画面的位置坐标，根据预先设置的建立真实图像画面与显示画面1的映射关系，确定瞄准区域11与预设参考目标交叠的区域为参考目标。

步骤S206、设定参考目标作为增强现实显示设备的光标区域。

继续参考图2-图4所示。

步骤S207、提取并存储参考目标的特征信息。

示例性的，继续结合图1-图4所示，为了进一步区分和调用光标区域，AR显示装备的图像处理系统提取真实图像画面中光标区域的特征信息，光标区域的特征信息包括颜色信息、轮廓信息、纹理信息中的至少一种。例如AR显示设备将真实图像画面中与瞄准区域11交叠的树尖这个局部特征画面作为光标区域，进一步提取树尖这个局部特征画面的特征信息，如：

在第一维度提取树尖各个像素点的颜色信息，如，色相，饱和度，亮度值和灰度值，色相是在色轮上的程度，从0到360，0(或360)是红色，120是绿色，240是蓝色；饱和度是一个百分比值，0％意味着灰色和100％的阴影；亮度值也是一个百分比，0％是黑色的，100％是白色的；把白色与黑色之间按对数关系分成若干级，称为“灰度等级”，灰度值范围一般从0到255，白色为255，黑色为0，故黑白图片也称灰度图像；在第二维度提取树尖的轮廓信息，如，树尖可以是规则的矩形、圆形、梯形等，或者不规则的图形等；在第三维度提取树尖的纹理信息，如，树尖可以平面、凹凸不平的平面等。可以根据预先设置的映射关系以及树尖的特征信息，存储在AR显示设备的信息存储器中，以便随时调用光标区域。

在瞄准识别提取过程中，系统还需要对树尖这个局部特征画面的特征信息进行评估，包括区分度有多高，是否在移动，或者误识别率有多高，即在附近范围内是否有相同特征，是否可以进行区分等，并将评估结果给用户进行选择判断，用户还可以根据评估结果选择判断是否使用该局部特征画面作为光标区域，进一步提高光标区域的选择精度。

在上述实施例的基础上，可选的，获取当前视野范围内的真实图像画面，包括：

采用图像传感器采集当前视野范围内的真实图像画面。

示例性的，继续参考图4所示，采用图像传感器实时采集当前视野范围内的真实图像画面，将采集到的真实图像画面反馈到AR显示装备的图像处理系统，提高光标区域选取的实时准确性。

本发明实施例采用图像传感器实时采集现实世界中的图像信息的特定部分作为参考，临时选定相应的“光标区域”，省去外接的硬件，同时不影响全部画面的正常显示。

图6为本发明提供的另一种增强现实显示设备的光标区域控制方法的示意图；图7为图2应用场景中光标区域对显示画面中的可操作文件的操作示意图。在上述实施例的基础上，结合图1-图7所示，可选的，在设定参考目标作为增强现实显示设备的光标区域之后，增强现实显示设备的光标区域控制方法还包括：

步骤S301、调整视野范围，得到更新视野范围。

步骤S302、确定光标区域在更新视野范围内的更新位置。

步骤S302、对更新位置对应的显示画面中的可操作文件进行操作。

示例性的，结合图1-图7所示，用户移动视角，采用姿态传感器对用户头部姿态进行实时捕捉，并反馈到系统中，以在调整视野范围的过程中，得到更新视野范围同时保证光标区域一直在视野范围内的作用；通过头部姿态变化移动光标区域对准显示画面中的可操作文件12，如图7所示；图像传感器开启动态画面捕捉，通过预先设置的运算流程设置光标区域随视野范围改变进行同时移动，AR显示设备的中央处理器实时运算光标区域在动态画面中的位置变化，获得光标区域在显示画面1中的更新位置的坐标值，并将更新位置的坐标值与显示画面中的可操作文件的坐标值相匹配，得出光标区域位置指向可操作文件12，用户可以通过声控、眨眼或者其他操控方式，对可操作文件12进行操作。可操作文件12包括收件箱，例如，通过眨眼打开收件箱读取新消息，如果用户头部姿态变化太大，光标区域的更新位置超出到视野范围外，则自动关闭收件箱；当光标区域的更新位置再次进入到视野范围内，则自动打开收件箱。

通过光标区域在更新视野范围内的更新位置，判断这个位置是否超出传感器图像范围来作为系统中某种功能的开关，画面中如果有这个特征点，则开启某种功能或者菜单，画面中失去了这个特征点，就关闭这个菜单，这样就有了更多元的操控模式，无形中扩大了AR设备在感官上的控制范围。

在上述实施例的基础上，继续参考图3、图4和图5所示，可选的，显示画面1包括多个可操作文件12；瞄准区域11小于或者等于可操作文件12在显示画面1中的覆盖区域；

对更新位置对应的显示画面中的可操作文件进行操作，包括：

对更新位置对应的多个可操作文件进行操作。

示例性的，继续参考图3、图4和图5所示，瞄准区域1可大可小，瞄准区域越小，对应的位置指示越精确，可以人为的选取瞄准区域11小于或者等于可操作文件12在显示画面1中的覆盖区域，对光标区域移动后更新位置对应的单个可操作文件进行操作，操作精度高。

可选的，继续参考图3、图4和图5所示，显示画面1包括多个可操作文件12；瞄准区域11’大于可操作文件12在显示画面1中的覆盖区域；

对更新位置对应的显示画面中的可操作文件进行操作，包括：

对更新位置对应的多个可操作文件进行操作。

示例性的，继续参考图3、图4和图5所示，瞄准区域越大，对应的现实世界中采集的真实图像画面中的特征信息更全面，可识别度会越高。例如，选取瞄准区域11’完全覆盖两个可操作文件12，可将光标区域移动到与两个可操作文件12重叠，对光标区域移动后更新位置对应的两个可操作文件12进行批量操作，如，全部删除或者平移拖动位置。

综上，采用现实世界中的图像信息的特定部分作为参考，临时选定相应的“光标区域”，用户可以根据不同的操作需求，设定瞄准区域1的大小，操作灵活，满足不同的操作需求。

可选的，瞄准区域位于显示画面中的中心区域。可以设置瞄准区域位于显示画面的中心区域，例如，当显示画面为矩形时，设置瞄准区域位于矩形的对角线的交点处，这样可以保证光标区域在显示画面内的可移动范围最大，具有更大的适用空间，更加方便灵活操作。

可选的，参考目标为静态参考目标。在应用场景中选择静态参考目标作为参考目标，保证光标区域具有较好的持续性以及良好的稳定性。

可选的，真实图像画面包括可视化图像和红外图像。可以使用可见光图像传感器采集可视化图像，例如，彩色画面、黑白画面；或者使用红外传感器采集红外图像。可视化图像和红外图像可以同时携带图像深度信息，深度信息可以将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来，用于区分真实图像画面中物体之间的距离，以及物体到图像采集器之间的距离，便于选取光标区域，以及提高光标区域与其周边区域的辨识度。本发明采用的真实图像画面只要能够方便传感器获取并有一定区分度，均可以进行采集以及作为光标区域设定的参考。

基于同一发明构思，本发明实施例还提供一种增强现实显示设备，该增强现实显示设备可由软件和/或硬件组成，能够执行上述实施例提供的增强现实显示设备的光标区域控制方法。参考图1-图7所示，本发明实施例提供的一种增强现实显示设备包括：

瞄准区域选取模块，用于选取显示画面中的瞄准区域。

视野调整模块，用于调整视野范围，以使瞄准区域与预设参考目标交叠。

图像获取模块，用于获取当前视野范围内的真实图像画面。

参考目标确定模块，用于根据瞄准区域在显示画面中的位置信息以及真实图像画面，确定参考目标。

光标区域设定模块，用于设定参考目标作为增强现实显示设备的光标区域。

示例性的，AR显示设备可以是头戴式系统，包含显示模块、图像传感器和姿态传感器，图像传感器可以对传感器视野范围内的真实图像进行采集，并反馈到系统中；姿态传感器可以对用户头部姿态进行实时捕捉，并反馈到系统中，对显示画面进行实时调整；显示模块可以显示AR显示设备预设的虚拟图像信息和采集到的真实图像信息，显示模块、图像传感器和姿态传感器根据预设的程序设置，从而实现AR显示设备的显示画面的操作。

本发明实施例提供的增强现实显示设备，可以根据应用场景，采集现实世界中的图像信息，并从中选择特定的部分作为参考，在系统中存储特定部分的识别特征，在用户头部姿态发生变化的过程中，实时采集画面信息，并判断已经选定的特定部分的位置变化，并以此作为位置参考，采用真实图像画面中的部特征画面作为显示画面的光标区域，省去了AR显示设备操作中的外接硬件，同时提升了用户使用体验，扩大了AR显示设备和真实世界的交互范围。

Claims (10)

1.一种增强现实显示设备的光标控制方法，其特征在于，所述方法包括：

选取显示画面中的瞄准区域；

调整视野范围，以使所述瞄准区域与预设参考目标交叠；

获取当前视野范围内的真实图像画面；

根据所述瞄准区域在所述显示画面中的位置信息以及所述真实图像画面，确定参考目标；

设定所述参考目标作为所述增强现实显示设备的光标区域。

2.根据权利要求1所述的光标控制方法，其特征在于，根据所述瞄准区域在所述显示画面中的位置信息以及所述真实图像画面，确定参考目标，包括：

建立所述真实图像画面与所述显示画面的映射关系；

根据所述瞄准区域在所述显示画面中的位置信息以及所述映射关系，确定参考目标。

3.根据权利要求1所述的光标控制方法，其特征在于，确定参考目标之后，还包括：

提取并存储所述参考目标的特征信息。

4.根据权利要求1所述的光标控制方法，其特征在于，还包括：

调整所述视野范围，得到更新视野范围；

确定所述光标区域在所述更新视野范围内的更新位置；

对所述更新位置对应的所述显示画面中的可操作文件进行操作。

5.根据权利要求4所述的光标控制方法，其特征在于，所述显示画面包括多个可操作文件；

所述瞄准区域小于或者等于所述可操作文件在所述显示画面中的覆盖区域；

对所述更新位置对应的所述显示画面中的可操作文件进行操作，包括：

对所述更新位置对应的一个所述可操作文件进行操作。

6.根据权利要求4所述的光标控制方法，其特征在于，所述显示画面包括多个可操作文件；

所述光标区域大于所述可操作文件在所述显示画面中的覆盖区域；

对所述更新位置对应的所述显示画面中的可操作文件进行操作，包括：

对所述更新位置对应的多个所述可操作文件进行操作。

7.根据权利要求1所述的光标控制方法，其特征在于，获取当前视野范围内的真实图像画面，包括：

采用图像传感器采集当前视野范围内的真实图像画面。

8.根据权利要求1所述的光标控制方法，其特征在于，所述瞄准区域位于所述显示画面中的中心区域。

9.根据权利要求1所述的光标控制方法，其特征在于，所述参考目标为静态参考目标。

10.根据权利要求1所述的光标控制方法，其特征在于，所述真实图像画面包括可视化图像和红外图像。

Images