CN115327782B

CN115327782B - 显示控制方法、装置、头戴显示设备以及可读存储介质

Info

Publication number: CN115327782B
Application number: CN202211237682.9A
Authority: CN
Inventors: 李昱锋; 刘朝红
Original assignee: Goertek Inc
Current assignee: Goertek Inc
Priority date: 2022-10-11
Filing date: 2022-10-11
Publication date: 2023-03-24
Anticipated expiration: 2042-10-11
Also published as: CN115327782A

Abstract

本发明涉及增强现实技术领域，尤其涉及一种显示控制方法、装置、头戴显示设备以及可读存储介质，其中，所述方法包括：确定当前时刻对应的视线距离；当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容；控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。通过调整头戴显示设备的显示范围，来引导用户调整瞳距，从而消除重影，提升了用户的产品使用体验。

Description

显示控制方法、装置、头戴显示设备以及可读存储介质

技术领域

本发明涉及增强现实技术领域，尤其涉及一种显示控制方法、装置、头戴显示设备以及可读存储介质。

背景技术

随着AR（Augmented Reality，增强现实）技术的不断发展，各大厂商推出了越来越多的AR产品和AR应用，其中视频透视（Video See Through）是AR产品的一项重要应用，即通过在头戴显示设备的左/右镜框中对应设置左/右相机，将左/右相机拍摄的图像实时显示在左/右镜框对应的左/右屏幕中，从而通过图像的偏差实现3D视觉效果。

现实生活中，当人们的视线从远处物体转移到近处物体时，会自然的向眉心转动眼球来缩短瞳距，从而改变视线距离。然而，用户在佩戴头戴显示设备时，在用户视线成像位置和头戴显示设备中通过左/右屏幕呈现出的3D虚拟物体的成像位置不一致，导致用户在使用头戴显示设备的过程中内会看到重影，降低了用户的产品体验，存在显示效果较差的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种显示控制方法，旨在解决用户在头戴显示设备的使用过程中出现重影的问题。

为实现上述目的，本发明提供的一种显示控制方法，所述显示控制方法包括：

确定当前时刻对应的视线距离；

当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容，所述显示区域的大小与所述视线距离呈正相关；

控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。

可选地，所述确定当前时刻对应的视线距离的步骤包括：

获取深度相机采集的深度图像数据；

根据所述深度图像数据确定所述视线距离。

可选地，所述确定当前时刻对应的视线距离的步骤之后，包括：

当所述视线距离大于或者等于所述距离阈值时，根据系统设定执行显示动作；

当所述视线距离小于所述距离阈值时，执行所述根据所述视线距离确定头戴显示设备的显示区域和显示内容的步骤，所述显示区域为佩戴者需要转动眼球观察到的视线区域。

可选地，所述根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容的步骤包括：

根据所述视线距离的变化量，以及所述视线距离与所述显示区域的尺寸之间的映射关系，确定所述显示区域的尺寸；

根据所述显示区域的尺寸确定所述显示区域中的所述显示内容。

可选地，所述显示内容包括虚拟图像数据，所述根据所述显示区域的尺寸确定所述显示区域中的所述显示内容的步骤包括：

获取所述头戴显示设备的左屏幕和/或右屏幕中的所述虚拟图像数据；

根据所述显示区域的尺寸确定所述虚拟图像数据对应的变换矩阵；

基于所述变换矩阵处理所述虚拟图像数据中的冗余部分，得到所述显示内容。

可选地，所述显示内容包括虚拟图像数据和真实图像数据，所述当所述视线距离小于所述距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容的步骤，还包括：

根据所述视线距离确定当前时刻所述头戴显示设备的信息画面显示区域和非信息画面显示区域；

将所述显示内容转移至所述信息画面显示区域，所述信息画面显示区域为佩戴者需要转动眼球观察到的区域；以及

清除所述非信息画面显示区域中原有的所述显示内容。

可选地，所述将所述显示内容转移至所述信息画面显示区域的步骤包括：

获取所述信息画面显示区域的坐标参数；

将所述显示内容按照所述坐标参数映射至所述信息画面显示区域。

此外，为实现上述目的，本发明还提供一种显示控制装置，所述显示控制装置包括：

视距检测模块，用于确定当前时刻对应的视线距离；

显示调整模块，用于当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及用于根据所述显示区域确定所述头戴显示设备中的显示内容；

控制模块，用于控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。

此外，为实现上述目的，本发明还提供一种头戴显示设备，所述头戴显示设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显示控制程序，所述显示控制程序被所述处理器执行时实现如上所述的显示控制方法的步骤。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有显示控制程序，所述显示控制程序被处理器执行时实现如上任一项所述的显示控制方法的步骤。

本发明实施例提供一种显示控制方法、装置、头戴显示设备以及可读存储介质，其中，所述方法包括：确定当前时刻对应的视线距离；当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域和显示内容，所述显示区域的大小与所述视线距离呈正相关；控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。通过调整头戴显示设备的显示范围，来引导用户调整瞳距，从而消除重影，提升了用户的产品使用体验。

附图说明

图1为本发明实施例涉及的显示控制装置的硬件架构示意图；

图2为本发明显示控制方法的第一实施例的流程示意图；

图3为本发明显示控制方法的第二实施例的流程示意图；

图4为本发明显示控制方法的第三实施例的流程示意图；

图5为本发明显示控制装置架构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，本发明的附图中显示了本发明的示例性实施例，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

作为一种实现方案，显示控制装置的硬件架构可以如图1所示。

本发明实施例方案涉及的是显示控制装置的硬件架构，所述显示控制装置的硬件架构包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。

存储器102可以是高速RAM存储器，也可以是稳定的存储器（non-volatilememory），例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括显示控制程序；而处理器101可以用于调用存储器102中存储的显示控制程序，并执行以下操作：

确定当前时刻对应的视线距离；

当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域和显示内容，所述显示区域的大小与所述视线距离呈正相关；

在一实施例中，处理器101可以用于调用存储器102中存储的显示控制程序，并执行以下操作：

根据所述显示区域的尺寸确定所述显示区域中的所述显示内容；

所述根据所述显示区域的尺寸确定所述显示区域中的所述显示内容的步骤包括：

根据所述变换矩阵处理所述虚拟图像数据中的冗余部分，得到所述显示内容。

将所述显示内容转移至所述信息画面显示区域；以及清除所述非信息画面显示区域中原有的所述显示内容。

所述将所述显示内容转移至所述信息画面显示区域的步骤包括：

获取所述信息画面显示区域的坐标参数；

基于上述基于增强现实设备的显示技术的显示控制装置的硬件架构，提出本发明显示控制方法的实施例。

现实生活中，用户观察近处物体时，肉眼观察时观察者通常会自然的向眉心转动眼球，缩短瞳距以消除重影，然而，用户在佩戴头戴显示设备使用视频透视应用时，观察者的视线仍会朝向正前方，造成重影，影响显示效果。

为此，我们通过调整头戴显示设备的显示范围，来引导用户在观察近处物体时自然地向内转动眼球，调整瞳距，使左右眼相应位置的物体图像重叠，以消除重影。

参照图2，在第一实施例中，所述显示控制方法包括以下步骤：

步骤S10，确定当前时刻对应的视线距离；

在本实施例中，在用户佩戴头戴显示设备观察画面的过程中，通过头戴显示设备上的摄像头采集到的图像数据确定出当前时刻的视线距离。需要强调的是，所述视线距离并非用户眼睛真实的成像位置，而是由头戴显示设备上摄像头采集到的画面距离模拟出的用户眼睛的成像距离。由于用户的视线是变动的，因此不同时刻确定出的视线距离也可能是不同的，在佩戴头戴显示设备过程中，按照预设频率确定出不同时刻用户的视线距离，从而保证设备获取到的视线距离为用户当前观察的画面对应的视线距离。

可选地，在一具体实施例中，通过TOF（Time of flight，飞行时间）相机（亦称为深度相机）采集到的深度图像数据确定出视线距离。通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度（距离）信息；当然，可选地，也可以通过3D激光传感器来确定出视线距离。

步骤S20，当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容；

在本实施例中，视线距离会基于用户的观察位置的改变对应变化，而在观察位置较近的时候（例如，4米以内的范围），会由于用户的瞳孔观察的位置和头戴显示设备左屏幕和/或右屏幕中画面的位置不匹配而产生重影，为了消除这种重影，通过调整眼镜的显示区域和显示内容，来引导用户在观察近处物体时自然地向内转动眼球，从而调整瞳距，使左右眼相应位置的物体图像重叠消除重影。

显示区域为头戴显示设备中生成的虚拟画面在眼镜屏幕中的显示位置，显示区域的大小与所述视线距离呈正相关，例如，当检测到用户的视线距离缩短时，则显示区域按照预设线性关系对应减小，当检测到用户视线距离变长时则对应增大。显示内容则是用户通过头戴显示设备观察到的所有显示画面，可以包括但不限于：头戴显示设备的左屏幕和/或右屏幕中生成的虚拟画面部分、头戴显示设备摄像头拍摄到的真实世界的信息画面显示部分以及未显示任何具体画面内容的非信息画面显示部分。

可选地，通过设定一个视线距离关联的距离阈值，当视线距离低于该阈值时再执行根据视线距离调整头戴显示设备的显示区域和显示内容。示例性地，设定距离阈值为4米，当视线距离在4米到0.4米这一区间内变化时，随着视线距离的减少，显示区域按照一定线性关系从全屏减小到2/3屏；距离阈值可以是由开发人员在出厂产品时通过调试确定出的阈值，也可以是在产品上设置阈值调试功能，由用户通过所述阈值调试功能来设置出自己认为合适的阈值。

可选地，显示内容按照一个预设变化矩阵，根据视线距离的变化，将左屏幕中的右侧画面裁剪以及将右屏幕中的左侧画面裁剪，从而实现显示内容向屏幕内侧移动，以引导用户在观察显示内容时不自觉的将眼球向内侧靠拢，从而达到视线和日常环境中相同的观察效果。

步骤S30，控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。

在本实施例中，在确定头戴显示设备的显示区域和显示内容的步骤之后，根据相应的显示区域和显示内容执行显示动作，通过头戴显示设备的内参，将调整后的显示区域和显示内容呈现在头戴显示设备中。

在本实施例提供的技术方案中，确定当前时刻对应的视线距离，根据所述视线距离确定所述头戴显示设备的显示区域和显示内容，控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。通过调整头戴显示设备的显示范围，来引导用户调整瞳距，从而消除重影，提升了用户的产品使用体验。

参照图3，在第二实施例中，基于第一实施例，所述步骤S20包括：

步骤S21，根据所述视线距离的变化量，以及所述视线距离与所述显示区域的尺寸之间的映射关系，确定所述显示区域的尺寸；

步骤S22，根据所述显示区域的尺寸确定所述显示区域中的所述显示内容。

所述步骤S22包括：

步骤S221，获取所述头戴显示设备的左屏幕和/或右屏幕中的所述虚拟图像数据；

步骤S222，根据所述显示区域的尺寸确定所述虚拟图像数据对应的变换矩阵；

步骤S223，根据所述变换矩阵处理所述虚拟图像数据中的冗余部分，得到所述显示内容。

可选地，本实施提供一种根据视线距离确定头戴显示设备的显示区域和显示内容的实施方式。由于用户的视线是变动的，因此不同时刻确定出的视线距离也可能是不同的。在本实施例中，根据视线距离的变化量以及所述视线距离与所述显示区域的尺寸之间的映射关系确定出显示区域的显示尺寸，显示尺寸是基于头戴显示设备整个显示屏幕的画面尺寸比例。映射关系反映视线距离的变化量和显示区域的变化量之间的变化关系，例如，视线距离每缩短0.5米，则整个显示屏幕的画面尺寸在原画面的基础上整体缩小1/5。根据显示尺寸确定显示区域中的显示内容，显示内容包括头戴显示设备的左/右屏幕中生成的虚拟图像数据和AR眼睛上的摄像头拍摄到的真实图像画面。将这些画面按照显示尺寸等比例缩减，得到最终显示在屏幕上的显示内容。

进一步的，为了消除生成的虚拟图像数据的重影，通过一个预设变换矩阵对原有的虚拟图像数据的冗余部分（即重影）进行变换，从而消除重影。变换方式包括但不限于齐次坐标表示、基本变换（如投影变换）以及其他类型的变化（如二维显示）等，变换矩阵可以是常见的仿射变换矩阵（Affine Transformation），即在一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。通过变换矩阵处理虚拟图像数据，使得用户视线距离变化时，头戴显示设备的屏幕画面上生成的虚拟图像数据也随之变换，避免了由于用户视线距离发生改变时，观察到的画面中出现重影。

在本实施例提供的技术方案中，先确定显示区域的尺寸，再确定显示区域对应的显示内容，改变尺寸后的显示区域为需要用户移动视线才能观察到的区域，以调整头戴显示设备的显示范围来引导用户调整瞳距，从而消除重影，提升了用户的产品使用体验。

参照图4，在第三实施例中，基于第一实施例，所述步骤S20还包括：

步骤S23，根据所述视线距离确定当前时刻所述头戴显示设备的信息画面显示区域和非信息画面显示区域；

步骤S24，将所述显示内容转移至所述信息画面显示区域；以及清除所述非信息画面显示区域中原有的所述显示内容。

所述步骤S24包括：

步骤S241，获取所述信息画面显示区域的坐标参数；

步骤S242，将所述显示内容按照所述坐标参数映射至所述信息画面显示区域。

可选地，本实施例提供另一种根据视线距离确定头戴显示设备的显示区域和显示内容的实施方式。在本实施例中，将显示区域划分为信息画面显示区域和非信息画面显示区域，所述信息画面显示区域为具有有效显示内容的显示区域，所述有效显示内容包括但不限于：佩戴者看到的包括头戴显示设备生成的虚拟图像数据和头戴显示设备上的摄像机拍摄到的真实图像数据。而非信息画面显示区域则显示无效显示内容，所述无效显示内容包括但不限于：头戴显示设备的一些设备信息（如电量、时间、网络连接情况、蓝牙等）、没有任何画面显示的黑屏或白屏等等。需要强调的是，在根据视线距离将显示区域分为信息区域和非信息区域之前，被划分为非信息区域的区域中是包含上述的有效显示内容的，在被划分为非信息区域之后，才将原有的显示内容转移到被划分为信息区域的区域中，也就是说，整个过程是一个根据视线距离参数来实时调整眼镜显示区域的过程。显示区域的划分方式可以包括但不限于：垂直划分、水平划分，回型划分等等。

进一步的，转移画面内容的方式，可以是将显示内容根据信息画面显示区域的坐标来映射到该区域内。示例性的，假定头戴显示设备的屏幕是一个矩形屏幕，将头戴显示设备的屏幕左上角作为坐标原点，即（0，0），基于坐标原点建立一个X轴向右延伸、Y轴向下延伸的坐标系（坐标均取正值），确定出的信息画面显示区域为一个矩形区域，其四个点的坐标分别为（2，3），（5，3），（2，7），（5，7），显然，这个矩形区域长为3，高为4，确定完区域之后，可以使用Viewport技术将显示内容投影到该区域内。将矩形区域以外的屏幕区域作为非信息画面显示区域，中断非信息画面显示区域中的电信号输入，使得非信息画面显示区域内的发光单元停止工作，从而消除非信息画面显示区域中原有的显示内容。

在一具体实施方式中，当检测到佩戴者的视线距离小于距离阈值4米时，基于视线距离的变化量和不同区域的划分比例之间的函数关系，视线距离每减少0.5米，则非信息画面显示区域占整个显示区域的比例则增大1/5。确定当前时刻的视线距离为3.5米，则在头戴显示设备的屏幕中确定出信息画面显示区域和非信息画面显示区域的比例为4：1，将头戴显示设备中原先显示的画面整体转移至信息画面显示区域中，清除非信息显示区域中原有的显示画面，即将原有的画面显示在4/5的屏幕区域内，4/5的屏幕区域处于头戴显示设备屏幕的下侧，佩戴者在观察屏幕区域的内容时，眼镜视线会随之向下移动，从而引导佩戴者眼球移动，消除重影。

在本实施例提供的技术方案中，通过将显示区域划分为信息画面显示区域和非信息画面显示区域，将显示内容放入信息画面区域中，使得佩戴者在观察信息画面显示区域的内容时，眼镜视线会随之移动，从而引导佩戴者眼球移动，消除重影，提升了用户的产品使用体验。

此外，参照图5，本实施例还提出一种显示控制装置，所述显示控制装置包括：

视距检测模块100，用于确定当前时刻对应的视线距离；

显示调整模块200，用于当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及用于根据所述显示区域确定所述头戴显示设备中的显示内容；

控制模块300，用于控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种显示控制方法，其特征在于，应用于头戴显示设备，所述显示控制方法的步骤包括：

确定当前时刻对应的视线距离；

当所述视线距离小于距离阈值时，根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容，其中，所述显示区域的大小与所述视线距离呈正相关；

控制所述头戴显示设备根据所述显示区域和所述显示内容执行显示动作；

其中，所述根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容的步骤包括：

清除所述非信息画面显示区域中原有的所述显示内容，以使原有的所述显示内容显示在所述头戴显示设备的屏幕中的不同位置，从而引导佩戴者观察所述显示内容时眼球移动，消除重影。

2.如权利要求1所述的显示控制方法，其特征在于，所述确定当前时刻对应的视线距离的步骤包括：

获取深度相机采集的深度图像数据；

根据所述深度图像数据确定所述视线距离。

3.如权利要求1所述的显示控制方法，其特征在于，所述确定当前时刻对应的视线距离的步骤之后，包括：

当所述视线距离小于所述距离阈值时，执行所述根据所述视线距离确定所述头戴显示设备的显示区域和显示内容的步骤。

4.如权利要求1所述的显示控制方法，其特征在于，所述根据所述视线距离确定所述头戴显示设备的显示区域，以及根据所述显示区域确定所述头戴显示设备中的显示内容的步骤包括：

5.如权利要求4所述的显示控制方法，其特征在于，所述显示内容包括虚拟图像数据，所述根据所述显示区域的尺寸确定所述显示区域中的所述显示内容的步骤包括：

6.如权利要求1所述的显示控制方法，其特征在于，所述将所述显示内容转移至所述信息画面显示区域的步骤包括：

获取所述信息画面显示区域的坐标参数；

7.一种显示控制装置，其特征在于，所述显示控制装置包括：

视距检测模块，用于确定当前时刻对应的视线距离；

显示调整模块，用于当所述视线距离小于距离阈值时，根据所述视线距离确定头戴显示设备的显示区域，以及用于根据所述显示区域确定头戴显示设备中的显示内容，其中，所述显示区域的大小与所述视线距离呈正相关；

清除所述非信息画面显示区域中原有的所述显示内容，以使所述显示内容显示在所述头戴显示设备的屏幕中的不同位置，从而引导佩戴者观察所述显示内容时眼球移动，消除重影；

8.一种头戴显示设备，其特征在于，所述头戴显示设备包括：深度相机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显示控制程序，所述显示控制程序被所述处理器执行时实现如权利要求1-6中任一项所述的显示控制方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有显示控制程序，所述显示控制程序被处理器执行时实现如权利要求1-6中任一项所述的显示控制方法的步骤。