CN116893508A - 头戴式显示设备及眼球追踪动作的控制方法 - Google Patents

Abstract

本发明提供一种头戴式显示设备及眼球追踪动作的控制方法。头戴式显示设备包括框架、轨道、传感器以及控制器。轨道设置在框架的周边区域上。传感器设置在轨道上，用以撷取目标区的目标影像。控制器耦接传感器，根据目标影像以产生控制信号，并根据控制信号以通过移动传感器来调整传感器在周边区域上的位置。

Description

头戴式显示设备及眼球追踪动作的控制方法

技术领域

本发明涉及一种头戴式显示设备及眼球追踪动作的控制方法，且尤其是涉及一种可动式传感器的头戴式显示设备及眼球追踪动作的控制方法。

背景技术

在虚拟现实以及增强现实的头戴式显示设备的实际应用情境中，因为硬件上传感器(或相机)的摆放位置的限制，不得不将传感器摆放在很靠近用户头部的位置。实际限制包含例如为了缩小头戴式装置或眼镜的体积，无法将传感器摆放在距离使用者头部适当距离之处以得到更佳的侦测用户眼睛动态的视角及方位。又例如头戴式显示设备须通过光学镜片成像虚拟场景，为了让传感器更容易地观测用户的眼球动态，需将其置于用户头部与光学镜片之间，而非让传感器通过光学镜片观测眼球，因此缩短了相机或传感器跟使用者头部之间的距离。在以上两个限制实例的情况下，不得不缩短使用者头部与相机或传感器的距离。然而，在近距离下，以下照或侧照的观测方式，极容易导致观测视角遮挡的问题，因而使得传感器难以观测用户真实的眼睛动态。

发明内容

本发明是针对一种头戴式显示设备及眼球追踪动作的控制方法，通过可动式的传感器，来解决用户影像被遮住的问题。

根据本发明的实施例，头戴式显示设备包括框架、轨道、传感器以及控制器。轨道设置在框架的周边区域上。传感器设置在轨道上，用以撷取目标区的目标影像。控制器耦接传感器，根据目标影像以产生控制信号，并通过控制信号以通过移动传感器来调整传感器在周边区域上的位置。

根据本发明的实施例，眼球追踪动作的控制方法包括：提供轨道以设置在头戴式显示设备的框架的周边区域上；设置传感器在轨道上，提供传感器以撷取目标区的目标影像；以及，提供控制器以根据目标影像以产生控制信号，并通过控制信号以通过移动传感器来调整所述传感器在周边区域上的位置。

基于上述，本发明的头戴式显示设备提供可移动式的传感器。并可根据传感器有无撷取到目标区的目标影像，来使传感器在一轨道上进行移动。在当传感器撷取目标影像的路径受到阻挡时，控制器可使传感器进行移动，并解决传感器撷取目标影像的路径受到阻挡的状态，以使传感器可有效撷取到目标影像，确保眼球追踪动作的正确性。

附图说明

图1示出本发明一实施例的头戴式显示设备的示意图。

图2示出本发明另一实施例的头戴式显示设备的示意图。

图3示出本发明图2实施例的头戴式显示设备200的部分架构的示意图。

图4示出本发明一实施例的，在眼球追踪动作中，传感器的位置调整动作的流程图。

图5示出本发明一实施例的眼球追踪动作的控制方法的流程图。

附图标记说明

100、200：头戴式显示设备；

110、210：框架；

120、220：轨道；

130、230：传感器；

140、240：控制器；

250：致动器；

CT：控制信号；

D1、D2：方向；

R1：电阻；

REFT：参考端；

S410～S470、S510～S530：步骤；

V1、V2：电压。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。

请参照图1，图1示出本发明一实施例的头戴式显示设备的示意图。头戴式显示设备100包括框架110、轨道120、传感器130以及控制器140。轨道120设置在框架110的周边区域上。传感器130则可设置在轨道120上。传感器130可以为一影像撷取器，例如为相机，并用以撷取目标区的目标影像。在本实施例中，目标区可以为头戴式显示设备100的用户的眼球所在的区域，目标影像则可以为用户的眼球影像。

此外，控制器140耦接至传感器130。控制器140可根据传感器130所获得的目标影像来产生控制信号CT。控制器140并可传送控制信号CT至传感器130，并使传感器130在轨道120进行移动，以调整传感器130在框架110的周边区域上的所在位置。

在细节上，控制器140可解析传感器130所获得的目标影像，并通过判断目标影像是否存在目标对象影像来产生识别信息，并根据识别信息来产生控制信号CT。进一步来说明，控制器140可通过识别目标影像中的所述目标对象影像是否足够完整且清晰，并经以产生控制信号CT。在本发明一实施例中，当目标对象影像不够完整清晰时，控制器140可产生控制信号CT，并通过控制信号CT来调整传感器130的位置。在另一方面，当目标对象影像足够完整且清晰时，控制器140可通过使传感器130的位置维持不变，并执行提供目标影像以执行一眼球追踪动作。在本实施例中，目标对象影像可以为用户的眼球影像。

值得一提的，在本发明实施例中，基于用户的眼球可能因视角上的需求，而产生动态的移动。因此，传感器130在所在的位置上，可能无法撷取到完整且清晰(或完全无法撷取到)的用户的眼球影像。如此一来，这个时候的眼球追踪动作将无法有效的被完成。在本实施例中，当传感器130所撷取到的眼球影像不完整清晰时，控制器140可产生控制信号CT以使传感器130沿着轨道120来产生移动，并经以调整传感器130的方位。如此一来，控制器140可通过一次或是多次的传感器130的位置的调整动作，以使传感器130可有效的撷取到完整且清晰的眼球影像，并有效的执行眼球追踪动作。

在本实施例中，控制器140可以为具运算能力的处理器。或者，控制器140可以是通过硬件描述语言(Hardware Description Language，HDL)或是其他任意本领域普通技术人员所熟知的数字电路的设计方式来进行设计，并通过现场可编程逻辑门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑装置(Complex Programmable LogicDevice，CPLD)或是特殊应用集成电路(Application-specific Integrated Circuit，ASIC)的方式来实现的硬件电路。

控制器140可配合头戴式显示设备100的机构设计来配置在任意合适的位置中，没有特定的限制。

以下请参照图2，图2示出本发明另一实施例的头戴式显示设备的示意图。头戴式显示设备200包括框架210、轨道220、传感器230、控制器240以及致动器250。轨道220设置在框架210的周边区域上。致动器250则可设置在轨道220上。致动器250并可用以承载传感器230，并根据所接收的控制信号CT以使传感器230可在轨道220上沿方向D1或是方向D2移动。

关于控制信号CT的产生细节，在图1的实施例中已有详细的说明，在此恕不多赘述。

关于本实施例中，轨道220可应用本领域普通技术人员所熟知的滑轨来建构，致动器250则可应用本领域普通技术人员所熟知的驱动马达以及相关机械结构来实施，没有固定的限制。

附带一提的，基于致动器250在轨道220上的移动，可产生位置上的变化以及角度上的变化，在当传感器230在轨道220上移动时，传感器230的位置以及对目标区进行影像撷取的视角都也会对应发生变化。也就是说，在本实施例中，传感器230的位置以及视角可以具有一个固定的关系。这个关系可以预先被建立唯一查找信息，并提供控制器240进行查找。

特别值得一提的，为了有效执行眼球追踪动作，头戴式显示设备200必须有效掌握传感器230所在的位置。并通过传感器230所在的位置来得知传感器230的视角。在此请参照图3，图3示出本发明图2实施例的头戴式显示设备200的部分架构的示意图。在图3中，头戴式显示设备200还包括电阻R1。电阻R1可设置在轨道220中，并与轨道220具有相同的延伸趋势。传感器230则设置在电阻R1上，并与电阻R1电性连接。在本实施例中，传感器230可通过侦测其所在位置与电阻R1上的一参考端REFT间的电阻值，来得知传感器230所在的位置。

在细节上，参考端REFT可设置在电阻R1的一尾端。电阻R1的参考端REFT并用以接收一参考电压V2。传感器230在进行所在的位置的测量动作时，可在与电阻R1相接触的端点上提供电压V1。传感器230并可通过电压V1的输出电流来得知其所在位置与电阻R1上的一参考端REFT间的电阻值，并经此得知传感器230在轨道220上的位置。在本实施方式中，电压V1、V2不相同，其中电压V2可以是参考接地电压。

值得一提的，在本发明其他实施例中，传感器230也可通过提供电流至电阻R1，并经由测量所在位置上的电压值来计算出传感器230的所在位置与电阻R1上的一参考端REFT间的电阻值。

以下请参照图4，图4示出本发明一实施例的，在眼球追踪动作中，传感器的位置调整动作的流程图。在步骤S410中，头戴式显示设备中的眼球追踪装置自动侦测并发现相机(传感器)的拍摄视角或拍摄位置上有被遮挡的问题时，可执行步骤S420。在本实施例中，控制器可解析相机所获得的目标影像中是否存在足够面积的眼球影像来得知相机的拍摄视角或拍摄位置上有被遮挡的问题，并通知眼球追踪装置。在步骤S420中，眼球追踪装置可反馈要针对相机的视角或位置进行调整的需求。接着，在步骤S430中，控制器可接收眼球追踪装置所提出的针对相机的视角或位置进行调整的需求，并通过提供控制信号至致动器，来使相机在轨道上移动，进一步调整相机的视角或位置。

在步骤S440中，相机可根据轨道上设置的电阻，来反馈其所在的视角或位置至控制器，并接续后续的相机的视角或位置的调整动作。在步骤S450中，控制器可回馈相机的视角或位置至眼球追踪装置，以提供执行眼球追踪动作的相关信息。在步骤S460中，眼球追踪装置可侦测并判断有无继续调整相机视角或位置的需求。其中，若相机拍摄到的目标影像中的眼球影像有被遮挡而无法识别时，眼球追踪装置可发出须继续调整的需求。相对的，若相机拍摄到的目标影像中的眼球影像没有被遮挡，并可有效进行眼球追踪动作时，眼球追踪装置可决定不须继续进行调整。

在当相机或视角或位置须要继续调整时，可重新执行步骤S420至S460。若相机或视角或位置不须要继续调整时，可执行步骤S470，表示调整动作已完成，眼球追踪动作可使用最终调整的相机的视角或位置以观测并还原用户的眼睛动态。

值得一提的，在本实施例中，控制器可根据一预设调整步阶值以产生控制信号，并通过控制信号使相机在每一个调整步骤中，产生一个预设距离的移动。上述的默认距离可以由工程人员来自行设定，没有固定的限制。

以下请参照图5，图5示出本发明一实施例的眼球追踪动作的控制方法的流程图。其中，在步骤S510中，提供轨道以设置在头戴式显示设备的框架的周边区域上。在步骤S520中，设置传感器在轨道上，提供传感器以撷取目标区的目标影像。在步骤S530中，提供控制器以根据目标影像以产生控制信号，并通过控制信号以通过移动传感器来调整传感器在周边区域上的位置。

关于步骤S510～S530的动作细节，在前述实施例以及实施方式都已有详尽的说明，在此恕不多赘述。

综上所述，本发明的头戴式显示设备通过在框架上周边区域设置轨道，并使传感器可在轨道上进行移动。在当传感器进行目标取影像的拍摄时，若无法正确的完成目标对象影像的拍摄时，可通过使传感器沿轨道移动，来调整传感器的位置以及拍摄视角，来成功的完成目标对象影像的拍摄动作，维持眼球追踪动作的正确性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种头戴式显示设备，包括：

框架；

轨道，设置在所述框架的周边区域上；

传感器，设置在所述轨道上，用以撷取目标区的目标影像；以及

控制器，耦接所述传感器，根据所述目标影像以产生控制信号，并通过所述控制信号以通过移动所述传感器来调整所述传感器在所述周边区域上的位置。

2.根据权利要求1所述的头戴式显示设备，其中所述控制器识别所述目标影像是否存在目标对象影像来产生识别信息，所述控制器并根据所述识别信息以产生所述控制信号。

3.根据权利要求2所述的头戴式显示设备，其中所述控制器识别所述目标影像中的所述目标对象影像是否完整且清晰，当所述目标对象影像不够完整清晰时，所述控制器产生所述控制信号以调整所述传感器的位置。

4.根据权利要求3所述的头戴式显示设备，其中当所述目标对象影像足够完整清晰时，所述控制器提供所述目标影像以执行眼球追踪动作，其中所述目标对象影像为眼球影像。

5.根据权利要求1所述的头戴式显示设备，还包括：

电阻，设置在所述轨道上并与所述传感器电性连接。

6.根据权利要求5所述的头戴式显示设备，其中所述控制器或所述传感器侦测所述电阻的参考点与所述传感器间的电阻值以获得所述传感器的位置信息。

7.根据权利要求1所述的头戴式显示设备，其中所述控制器根据预设调整步阶值以产生所述控制信号，并一次或多次的根据所述预设调整步阶值以调整所述传感器的位置移动默认距离。

8.根据权利要求1所述的头戴式显示设备，还包括：

致动器，设置在所述轨道上并连接所述传感器，所述致动器根据所述控制信号以使所述传感器在所述轨道上移动。

9.一种眼球追踪动作的控制方法，包括：

提供轨道以设置在头戴式显示设备的框架的周边区域上；

设置传感器在所述轨道上，提供所述传感器以撷取目标区的目标影像；以及

提供控制器以根据所述目标影像以产生控制信号，并通过所述控制信号以通过移动所述传感器来调整所述传感器在所述周边区域上的位置。

10.根据权利要求9所述的控制方法，其中提供所述控制器以根据所述目标影像以产生所述控制信号的步骤包括：

使所述控制器识别所述目标影像是否存在一目标对象影像来产生识别信息；以及

使所述控制器根据所述识别信息以产生所述控制信号。

11.根据权利要求10所述的控制方法，还包括：

使所述控制器识别所述目标影像中的所述目标对象影像是否完整且清晰；以及

当所述目标对象影像不够完整清晰时，产生所述控制信号以调整所述传感器的位置。

12.根据权利要求11所述的控制方法，还包括：

当所述目标对象影像足够完整清晰时，使所述控制器提供所述目标影像以执行眼球追踪动作，其中所述目标影像为眼球影像。

13.根据权利要求9所述的控制方法，还包括：

设置电阻在所述轨道上，并使所述电阻与所述传感器电性连接；以及

侦测所述电阻的参考点与所述传感器间的电阻值以获得所述传感器的位置信息。

14.根据权利要求9所述的控制方法，还包括：

设定预设调整步阶值；以及

根据所述预设调整步阶值一次或多次的根据所述预设调整步阶值以调整所述传感器的位置默认距离。