CN113031754A - 头戴式显示系统及其旋转中心修正方法 - Google Patents

Abstract

本发明提供一种头戴式显示系统及其旋转中心修正方法。头戴式显示系统能够穿戴在用户的头上且包括主体、传感器及处理器。传感器设置在主体且获得与用户的头的至少一个姿势对应的感测数据。处理器耦合到传感器且经配置用以基于感测数据产生用户的头的姿势数据以及基于姿势数据产生用户的头的旋转中心信息，其中旋转中心信息与和用户的头的旋转对应的中心相关。因此，可针对不同的用户调整旋转的中心。

Description

头戴式显示系统及其旋转中心修正方法

技术领域

本发明涉及一种修正机制，尤其涉及一种头戴式显示系统及其旋转中心修正方法。

背景技术

为能够直观地操作电子设备(例如游戏机、计算机、智能电话、智能家电等)，可探测用户的运动以根据用户的运动直接操作电子设备。

一些电子设备可允许用户的人体部位(例如手、腿、头等)控制这些电子设备的操作，且可跟踪人体部位的运动。举例来说，头戴式显示器(head mounted display，HMD)可嵌置传感器以跟踪用户的头的运动。应注意，传感器的感测结果与用户的头的旋转情况相关，且头的旋转可影响头戴式显示器中的显示器的图像内容。举例来说，头向右旋转，且图像内容中的场景从中心向右移动。

在传统方法中，头戴式显示器可被预定义成具有中心轴线。设想头戴式显示器中显示器的旋转对应于所述中心轴线。然而，预定义的中心轴线并不适用于所有的用户。如果预定义的中心轴线与用户的实际中心轴线不一致，则图像内容可与用户期望看到的用户认知存在分歧，且还可能会导致晕动病(motion sickness)。

发明内容

头戴式显示器的预定义的中心轴可能不适用于所有用户。因此，本发明涉及一种头戴式显示系统及其旋转中心修正方法。

在示例性实施例中的一者中，头戴式显示系统能够穿戴在用户的头上且包括但不限于主体、传感器及处理器。传感器设置在主体处且用于获得感测与用户的头的姿势对应的数据。处理器耦合到传感器。处理器经配置用以基于感测数据产生用户的头的姿势数据以及基于姿势数据产生用户的头的旋转中心信息。旋转中心信息与和用户的头的旋转对应的中心相关。

在示例性实施例中的一者中，旋转中心修正方法适用于能够穿戴在用户的头上的头戴式显示系统，且旋转中心修正方法包括以下步骤：基于感测数据产生用户的头的姿势数据。感测数据对应于用户的头的至少一个姿势。基于姿势数据产生用户的头的旋转中心信息。旋转中心信息与和所述用户的头的旋转对应的中心相关。

基于上述，根据本发明实施例的头戴式显示系统及其旋转中心修正方法，可跟踪用户的头的姿势，且可基于跟踪结果来更新旋转中心信息。藉此，可修改头戴式显示系统的旋转中心，且更新的旋转中心可适用于当前配戴者，从而减少晕动病。

然而，应理解，本发明内容不可能含有本发明的所有的方面及实施例，绝不意在加以限制或约束，且所属领域的技术人员应理解，本文中所公开的本发明囊括对所属领域的技术人员来说显而易见的改善及润饰。

附图说明

将附图包括在内以提供对本发明的进一步理解，且附图并入本说明书中并构成本说明书的一部分。附图对本发明的实施例加以说明且与阐述一起用于阐释本发明的原理。

图1是说明根据本发明的示例性实施例中的一者的头戴式显示系统的框图；

图2是说明根据本发明的示例性实施例中的一者的旋转中心修正方法的流程图；

图3是根据本发明的示例性实施例中的一者说明头的旋转的示意图；

图4A是说明根据本发明的示例性实施例中的一者确定参考点的示意图；

图4B是说明根据本发明的示例性实施例中的一者确定参考点的示意图。

附图标记说明：

100：头戴式显示系统；

110：传感器；

130：显示器；

140：存储器；

150：处理器；

A1、A2、A3：轴线；

C、C2：中心；

H：用户的头；

Q1、Q2、Q3、Q4：象限；

R、R2：距离；

RP、RP1、RP2、RP3、RP4、RP5、RP6、RP7、RP8：参考点；

S、S2：球状体；

S210、S230：步骤。

具体实施方式

现在将详细参考本发明的较佳实施例，所述较佳实施例的实例在附图中加以说明。在附图及阐述中尽可能使用相同的参考编号来指代相同或相似的部分。

图1是说明根据本发明的示例性实施例中的一者的头戴式显示系统的框图。参考图1，头戴式显示系统100包括但不限于传感器110、显示器130、存储器140及处理器150。头戴式显示系统100适用于虚拟现实(virtual reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mix reality，MR)、扩展现实(Extended Reality，XR)或其他现实相关技术。

传感器110设置在头戴式显示系统100的主体处。在用户穿戴头戴式显示系统100时，传感器110可位于用户的眼睛或额头前方。传感器110用于获得与用户的头的一个或多个姿势对应的感测数据。

在一个实施例中，传感器110可以是相机(例如，单色相机或彩色相机、深度相机)、录像机或能够拍摄图像的其他图像传感器。在一些实施例中，传感器110可用于拍摄用户前方的场景以产生相机图像。

在另一实施例中，传感器110可以是加速度计、陀螺仪、磁力仪、激光传感器、惯性测量单元(inertial measurement unit，IMU)、红外线(infrared ray，IR)传感器或前述运动传感器的任何组合。传感器110自身用于感测运动，且与放置所述传感器110的头戴式显示系统100的主体协作。在用户穿戴头戴式显示系统100之后，传感器110可跟踪用户的头的运动，以在时间周期内的多个时间点从传感器110的感测结果(例如，所感测到的强度值等)产生序列感测数据。举一个实例，感测数据包括3自由度(3-degree of freedom，3-DoF)数据，且所述3自由度数据与人体部位在三维(three-dimensional，3D)空间中的旋转数据(例如，摇摆、转动及俯仰的加速度)相关。举另一实例，感测数据包括人体部位在二维空间/三维空间中的相对位置和/或位移。

在又一实施例中，传感器110可包括前述图像传感器及运动传感器两者。

显示器130设置在头戴式显示系统100的主体上。显示器130可以是液晶显示器(liquid-crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器、有机发光二极管(organic light-emitting diode，OLED)显示器或其他显示器。在本发明的实施例中，显示器130用于显示图像。

存储器140可以是任何类型的固定或可移动的随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器、类似装置或上述装置的组合。存储器140记录程序代码、装置配置、缓冲数据或永久性数据(例如图像、感测结果、感测数据、姿势数据、旋转中心信息等)，且这些数据将在稍后予以介绍。

处理器150耦合到传感器110、显示器130及存储器140。处理器150经配置用以加载存储器140中所存储的程序代码以实行本发明的示例性实施例的过程。

在一些实施例中，可使用例如中央处理单元(central processing unit，CPU)、微处理器、微控制器、数字信号处理(digital signal processing，DSP)芯片、现场可编程门阵列(field programmable gate array，FPGA)等可编程单元来实施处理器150的功能。在一个实施例中，也可通过独立的电子装置或集成电路(integrated circuit，IC)实施处理器150的功能，且也可通过软件实施处理器150的操作。

为更好地理解本发明的一个或多个实施例中所提供的操作流程，下文将例示数个实施例来详述头戴式显示系统100的操作流程。以下实施例中应用头戴式显示系统100中的装置及模块来阐释本文中所提供的旋转中心修正方法。所述方法的每一步骤可根据实际的实施情况加以调整，并不应仅限于本文中所述的步骤。

图2是说明根据本发明的示例性实施例中的一者的旋转中心修正方法的流程图。参考图2，处理器150基于感测数据产生用户的头的姿势数据(步骤S210)。就不同类型的传感器110而论，可获得用户的头在二维空间/三维空间中运动的相机图像、加速度、旋转、磁力、定向、距离和/或位置(在后文被称为感测结果)，且传感器110的一个或多个感测结果将是人体部位的感测数据。

在一个实施例中，传感器110是图像传感器且获得一个或多个相机图像。处理器150可从所述相机图像获得感测数据。举例来说，可使用与一个或多个实物(例如墙壁、桌子、地板等)对应的感测强度及像素位置来估计目标实物的深度信息(即，相对于传感器110或者头戴式显示系统100的主体上的任何点的距离)，从而估计传感器110在用户所处空间中的位置及定向。传感器110的位置数据及旋转数据(对应于定向)对应于用户的头的姿势。

在另一实施例中，传感器110是惯性测量单元，且处理器150从所述惯性测量单元获得感测数据。举例来说，传感器110的感测结果(例如，加速度、旋转(可包括定向及角速度)和/或磁场)可以是姿势数据中的旋转数据。可通过对传感器110在三条轴线上探测到的加速度进行二重积分估计用户的头的位移，以估计姿势数据中的位置数据。

在又一实施例中，传感器110可包括图像传感器及惯性测量单元两者。处理器150可根据来自图像传感器的相机图像及来自惯性测量单元的感测结果确定感测数据。举例来说，处理器150可使用基于惯性测量单元的旋转数据来修正基于图像传感器的旋转数据和/或位置数据。举另一实例，姿势数据可与基于惯性测量单元及图像传感器的旋转数据与位置数据的加权组合相关。

在确定感测数据之后，处理器150可基于前述位置数据和/或旋转数据产生姿势数据。应注意，所述姿势数据可对应于用户的头的一个或多个姿势。

处理器150可基于姿势数据产生用户的头的旋转中心信息(步骤S230)。具体来说，所述旋转中心信息与和用户的头的旋转对应的中心相关。用户不同，所述旋转中心信息可能会有所不同。图3是根据本发明的示例性实施例中的一者说明头的旋转的示意图。参考图3，设想用户的头H的摇摆对应于轴线A1，且头H的俯仰对应于轴线A2。可将轴线A1与轴线A2的交点视为头H的旋转的中心C。如果参考点RP对应于头戴式显示系统100的主体上的传感器110或另一点的位置，则中心C与参考点RP之间的距离可响应于头的大多数姿势或所有姿势而皆相同。在一个实施例中，处理器150可基于头H的实际旋转情况确定中心C。

在一个实施例中，在步骤S210中，处理器150可产生与空间中的多个参考点对应的姿势数据。参考点对应于传感器110在用户的头的不同的姿势所处的多个位置。处理器150可通过显示器130、扬声器或发光二极管提供引导指令，且所述引导指令可与如何移动用户的头或如何移动到一些特定姿势相关。处理器150可响应于触发条件而产生与头的当前姿势对应的姿势数据。所述触发条件可以是例如一些特定旋转度、时间周期或用户的输入数据(例如，语音命令或手势)。

在一个实施例中，处理器150可获得与三个或更多个参考点对应的感测数据，且这些参考点在空间的水平面中位于两个象限。举例来说，图4A是说明根据本发明的示例性实施例中的一者确定参考点的示意图。参考图4A，图的顶部对应于用户的头的前方，且图的右侧对应于头的右侧。在水平面中，在轴线A1与轴线A2形成的坐标系中存在四个象限。在此实例中，获得三个参考点RP1、RP2及RP3，以使参考点RP1及参考点RP2分别位于两个象限Q4及Q1。

在一个实施例中，处理器150可获得与五个或更多个参考点对应的感测数据，且这些参考点在空间中位于四个象限。举例来说，图4B是说明根据本发明的示例性实施例中的一者确定参考点的示意图。参考图4B，图的左上部对应于用户的头的前方，图的右上部对应于头的右侧，且图的顶部对应于头的顶部。在3维空间中，在轴线A1、轴线A2及轴线A3形成的坐标系的前半部分中存在四个象限。在此实例中，获得五个参考点RP4到RP8，以使参考点RP6、RP7、RP8及RP5分别位于四个象限Q1、Q2、Q3及Q4。

处理器150可收集所确定的参考点的感测数据，并据此产生与这些参考点对应的姿势数据。

在一个实施例中，处理器150可确定球状体以使所确定的参考点位于所述球状体的表面上。具体来说，处理器150设想头戴式显示系统100的主体处的传感器110或特定点行进的轨迹位于球状体的表面上，以使得与传感器110或头戴式显示系统100的主体上的特定点对应的所述参考点也位于所述球状体的表面上。以图4A为例，设想球状体S是圆球体。参考点RP1到参考点RP3位于球状体S的表面上。处理器150可使用拟合算法(例如，曲线拟合、样条曲线(spline curve)等)来确定球状体S的形状，以使得所确定的所有参考点皆可位于所确定的球状体S的表面上。

以图4A为例，就圆拟合算法而论，处理器150可确定参考点RP1到参考点RP3在由轴线A1与轴线A2形成的坐标平面中的x坐标及y坐标，且可将所述x坐标及y坐标馈送到圆函数中。然后，处理器150计算所述圆函数的最小二乘解，以获得中心C的x坐标及y坐标、及距离R，从而确定球状体S的表面。

应注意，参考点的前述数目是基于拟合算法确定且可基于实际需要加以修改。

在一个实施例中，处理器150可基于球状体的中心产生旋转中心信息。以图4A为例，球状体S是圆球体。球状体S的中心C与参考点RP1到参考点RP3中任一参考点之间的距离R将是相同的且等于球状体S的半径。基于参考点RP1到参考点RP3的圆形形式的交叉处分别是所述圆形的中心，所述交叉处即为中心C。

以图4B为另一实例，球状体S2也是圆球体。球状体S2的中心C2与参考点RP4到参考点RP8中任一参考点之间的距离R2将是相同的且等于球状体S2的半径。然后，处理器150可基于球状体S的中心C/球状体S2的中心C2的位置数据产生旋转中心信息。

因此，可更新所述旋转中心信息。可响应于用户输入、启动或其他情况在头戴式显示系统100上触发旋转中心修正方法。每当用户穿戴头戴式显示系统100时，在更新旋转中心信息之后所述旋转中心信息将适用于当前使用的用户。

应注意，在一些实施例中，球状体可以是扁平的球状体、扁长的球状体或其他球状体。

另外，可在多种情况下实行旋转中心信息的前述更新过程。在一个实施例中，处理器150可在工厂测试、工厂校准、工厂配置时或在运送头戴式显示系统100之前的其他阶段更新旋转中心信息。在另一实施例中，处理器150可在运行时间(run-time)中更新旋转中心信息。运行时间或执行时间是处理器150正在运行(执行)本实施例的旋转中心修正方法的程序期间的时间。举例来说，在运送头戴式显示系统100之后，用户仍可修改头戴式显示系统100的旋转中心信息。因此，即便不同用户的头可能具有不同的旋转情况，头戴式显示系统100仍可适用于多个用户。在一些实施例中，在头戴式显示系统100的启动过程或一些特定程序期间，也可更新旋转中心信息。

在一个实施例中，处理器150可响应于用户的头的旋转而通过显示器130基于旋转中心信息显示图像。举例来说，处理器150可针对头戴式显示系统100的主体处的传感器或特定点产生第一坐标系，且基于旋转中心信息产生第二坐标系。然后，处理器150可将所述第一坐标系映射到第二坐标系中，且可将传感器110的位置数据及旋转数据变换成第二坐标系中的位置数据及旋转数据。最后，处理器150可将第二坐标系变换成与用户的视野对应的视场(field-of-view，FoV)坐标系。然后，处理器150可产生图像，基于视场坐标系在显示器130上显示所述图像。基于这些坐标系之间的变换关系，用户的实际视野可对应于显示器130上显示的图像，以减轻或防止晕动病。

综上所述，在本发明实施例的头戴式显示系统及其旋转中心修正方法中，基于用户的头的姿势更新系统中用户的旋转中心。任何用户在配戴此头戴式显示系统后都可改变旋转中心信息。

所属领域的技术人员应明了，可对本发明的结构做出各种润饰及变化，而这不背离本发明的范围或精神。鉴于前述内容，本发明旨在涵盖本发明的润饰及变化，只要其处在以下权利要求书及等效内容的范围内即可。

Claims (20)

1.一种头戴式显示系统，能够穿戴在用户的头上，且包括：

主体；

传感器，设置在所述主体，且获得与所述用户的头的至少一个姿势对应的感测数据；以及

处理器，耦合到所述传感器，且被配置用于：

基于所述感测数据产生所述用户的头的姿势数据；以及

基于所述姿势数据产生所述用户的头的旋转中心信息，其中所述旋转中心信息与和所述用户的头的旋转对应的中心相关。

2.根据权利要求1所述的头戴式显示系统，其中所述旋转中心信息是在运行时间中进行更新。

3.根据权利要求1所述的头戴式显示系统，其中所述处理器被配置用于：

产生与空间中的多个参考点对应的所述姿势数据，其中所述多个参考点对应于所述传感器在所述用户的头的不同姿势所处的多个位置。

4.根据权利要求3所述的头戴式显示系统，其中所述处理器被配置用于：

确定球状体，以使所述多个参考点位于所述球状体的表面上；以及

基于所述球状体的中心产生所述旋转中心信息。

5.根据权利要求3所述的头戴式显示系统，其中所述处理器被配置用于：

获得与所述参考点中的至少三个参考点对应的所述感测数据，其中所述参考点中的所述至少三个参考点在所述空间的水平面中位于两个象限。

6.根据权利要求3所述的头戴式显示系统，其中所述处理器被配置用于：

获得与所述参考点中的至少五个参考点对应的所述感测数据，其中所述参考点中的所述至少五个参考点在所述空间中位于四个象限。

7.根据权利要求1所述的头戴式显示系统，其中所述传感器获得多个相机图像，且所述处理器被配置用于：

从所述相机图像确定所述感测数据。

8.根据权利要求1所述的头戴式显示系统，其中所述传感器是惯性测量单元，且所述处理器被配置用于：

从所述惯性测量单元获得所述感测数据。

9.根据权利要求1所述的头戴式显示系统，其中所述传感器获得多个相机图像，且所述头戴式显示系统还包括：

第二传感器，其中所述第二传感器是惯性测量单元，且所述处理器被配置用于：

根据所述相机图像及来自所述惯性测量单元的感测结果确定所述感测数据。

10.根据权利要求1所述的头戴式显示系统，还包括：

显示器，其中所述处理器被配置用于：

响应于所述用户的头的所述旋转而通过所述显示器基于所述旋转中心信息显示图像。

11.一种旋转中心修正方法，适用于能够穿戴在用户的头上的头戴式显示系统，且所述旋转中心修正方法包括：

基于感测数据产生所述用户的头的姿势数据，其中所述感测数据对应于所述用户的头的至少一个姿势；以及

基于所述姿势数据产生所述用户的头的旋转中心信息，其中所述旋转中心信息与和所述用户的头的旋转对应的中心相关。

12.根据权利要求11所述的旋转中心修正方法，还包括：

在运行时间中更新所述旋转中心信息。

13.根据权利要求11所述的旋转中心修正方法，其中所述基于所述感测数据产生所述用户的头的所述姿势数据的步骤包括：

产生与空间中的多个参考点对应的所述姿势数据，其中所述多个参考点对应于传感器在所述用户的头的不同姿势所处的多个位置。

14.根据权利要求13所述的旋转中心修正方法，其中所述基于所述姿势数据产生所述用户的头的所述旋转中心信息的步骤包括：

确定球状体，以使所述多个参考点位于所述球状体的表面上；以及

基于所述球状体的中心产生所述旋转中心信息。

15.根据权利要求13所述的旋转中心修正方法，其中所述产生与所述空间中的所述多个参考点对应的所述姿势数据的步骤包括：

获得与所述参考点中的至少三个参考点对应的所述感测数据，其中所述参考点中的所述至少三个参考点在所述空间的水平面中位于两个象限。

16.根据权利要求13所述的旋转中心修正方法，其中所述产生与所述空间中的所述多个参考点对应的所述姿势数据的步骤包括：

获得与所述参考点中的至少五个参考点对应的所述感测数据，其中所述参考点中的所述至少五个参考点在所述空间中位于四个象限。

17.根据权利要求11所述的旋转中心修正方法，其中所述基于所述感测数据产生所述用户的头的所述姿势数据的步骤包括：

获得多个相机图像；以及

从所述相机图像确定所述感测数据。

18.根据权利要求11所述的旋转中心修正方法，其中所述基于所述感测数据产生所述用户的头的所述姿势数据的步骤包括：

从惯性测量单元获得所述感测数据。

19.根据权利要求11所述的旋转中心修正方法，其中所述基于所述感测数据产生所述用户的头的所述姿势数据的步骤包括：

获得多个相机图像；以及

根据所述相机图像及来自惯性测量单元的感测结果确定所述感测数据。

20.根据权利要求11所述的旋转中心修正方法，还包括：

响应于所述用户的头的所述旋转而基于所述旋转中心信息显示图像。

Images