CN108572447A - 头戴式显示装置、物件追踪装置及其物件追踪方法 - Google Patents

头戴式显示装置、物件追踪装置及其物件追踪方法 Download PDF

Info

Publication number
CN108572447A
CN108572447A CN201810181900.9A CN201810181900A CN108572447A CN 108572447 A CN108572447 A CN 108572447A CN 201810181900 A CN201810181900 A CN 201810181900A CN 108572447 A CN108572447 A CN 108572447A
Authority
CN
China
Prior art keywords
sub
light
light source
beam splitter
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810181900.9A
Other languages
English (en)
Other versions
CN108572447B (zh
Inventor
萧博文
范富诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN108572447A publication Critical patent/CN108572447A/zh
Application granted granted Critical
Publication of CN108572447B publication Critical patent/CN108572447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开一种头戴式显示装置、物件追踪装置及其物件追踪方法,该物件追踪装置包括透镜、分光元件、可编程光源以及影像提取器。透镜产生并投射检测光束至物件。可编程光源具有多个子光源。子光源用以分别投射多个光束至分光元件的多个不同位置上,可编程光源接收驱动信号,并依据驱动信号以调整各子光源的点亮状态。影像提取器提取物件的检测影像。其中分光元件接收光束的至少其中之一,并产生至少一反射光束至透镜,并使透镜产生检测光束。

Description

头戴式显示装置、物件追踪装置及其物件追踪方法
技术领域
本发明涉及一种头戴式显示装置、物件追踪装置及其物件追踪方法,且特别是涉及一种可适应性调整的物件追踪装置及物件追踪方法。
背景技术
在现今的技术领域中,眼球追踪技术常被应用在电子产品中。在虚拟实境显示技术中,常引用眼球追踪技术。通过眼球追踪技术虚拟实境显示器可产生视网膜正中凹渲染(Foveated Rendering)功能,以减少影像处里的运算量,并降低虚拟实境显示装置的系统需求,以提供较佳的人机互动介面。
在现有的技术领域中,由于使用者会不停的闭眼,造成眼球上的瞳孔反射光点被遮蔽。或者,眼睛上的睫毛或装饰品,也可能造成眼球上的瞳孔反射光点被遮蔽。这些状况,都有可能造成眼球追踪动作产生误差,降低眼球追踪的精准度。
发明内容
本发明的目的在于提供一种头戴式电子装置、物件追踪装置及其追踪方法,有效提升物件追踪的精准度。
为达上述目的,本发明的物件追踪装置包括透镜、分光元件、可编程光源以及影像提取器。透镜产生并投射检测光束至物件。分光元件与透镜共同配置于轴线上。可编程光源具有多数个子光源。子光源用以分别投射多个光束至分光元件的多个不同位置上,可编程光源接收驱动信号,并依据驱动信号以调整各子光源的点亮状态。影像提取器提取物件的检测影像。其中分光元件接收光束的至少其中之一,并产生至少一反射光束至透镜,并使透镜产生检测光束。
本发明的头戴式显示装置包括显示器以及如上所述的物件追踪装置。其中显示器配置在轴线上,并投射显示影像至透镜中。
本发明的物件追踪方法包括:提供透镜以及分光元件以配置在相同的轴线上;提供具有多个子光源的可编程光源,其中子光源用以分别投射多个光束至分光元件的多个不同位置上,并提供驱动信号以调整各子光源的点亮状态;使分光元件接收光束的至少其中之一,并产生至少一反射光束至透镜,使透镜产生检测光束,并投射检测光束至物体;以及,提供影像提取器以提取物件的检测影像。
基于上述,本发明提供可编程光源,并通过动态调整可编程光源的发光图样,来调整光束被投射至分光元件的多个位置,以通过同轴及/或离轴的方式来进行物件检测动作,有效提升物件检测的准确度。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附的附图作详细说明如下。
附图说明
图1为本发明一实施例的物件追踪装置的示意图;
图2为本发明实施例的可编程光源的动作方式的示意图;
图3为本发明另一实施例的物件追踪装置的示意图;
图4A至图4E分别为本发明不同实施例的可编程光源的点亮状态调整动作的示意图;
图5为本发明一实施例的头戴式显示装置的示意图;
图6为本发明实施例的物件追踪方法的流程图。
符号说明
100、300、510:物件追踪装置
101:眼睛
OBJ:眼球
110、310、511:透镜
120、320、512:分光元件
130、330、513:可编程光源
140、340、514:影像提取器
350、515:控制器
500:头戴式显示装置
DB:检测光束
AX1、AX2:轴线
SLS1~SLSN:子光源
LB1、LB2、LB3:光束
RLB1~RLB3:被反射的光束
SLSA1:第一子光源
SLSB1:第二子光源
RG:范围边界
S610~S640:物件追踪方法的步骤
具体实施方式
请参照图1,图1为本发明一实施例的物件追踪装置的示意图。在本实施例中,物件追踪装置100用以追踪眼睛101的眼球OBJ位置。物件追踪装置100包括透镜110、分光元件120、可编程光源130以及影像提取器140。其中透镜110配置在轴线AX1上,用以产生检测光束DB并投射检测光束DB至物件(眼球OBJ)。并通过检测光束DB来使眼球OBJ上产生对应的反光现象。分光元件120与透镜110共同配置于轴线AX1上,其中透镜110配置在眼球OBJ以及分光元件120间,且轴线AX1可通过透镜110以及分光元件120的几何中心。另外,可编程光源130配置在分光元件120的一侧,并与轴线AX1相隔离。可编程光源130可具有多个子光源SLS1~SLSN。子光源SLS1~SLSN分别配置在可编程光源130的多个不同位置上,并用以分别投射多数个光束至分光元件120的多个不同位置上。分光元件120可针对子光源SLS1~SLSN所投射的多个光束产生反射作用,并使被反射的光束被传送至透镜110。透镜110则针对被反射的光束进行聚光作用,并产生检测光束DB。
值得一提的,可编程光源130接收驱动信号DRV,并依据驱动信号DRV以调整各子光源SLS~SLSN的点亮状态。子光源SLS~SLSN可以全部被点亮,也可以部分被点亮,没有特定的限制。以下请同步参照图1以及图2,其中图2为本发明实施例的可编程光源的动作方式的示意图。在图2中,以可编程光源130中的子光源SLS1、SLS3以及SLSM为范例,子光源SLS1、SLS3以及SLSM分别用以投射光束LB1、LB2、LB3至分光元件120的不同位置上。分光元件120则针对投射光束LB1、LB2、LB3进行反射,并分别产生被反射的光束RLB1、RLB2以及RLB3。由图2可清楚发现,被反射的光束RLB1以及RLB3相离于轴线AX1一个相对大的距离,而被反射的光束LB2则实质上贴近于轴线AX1来行进。也就是说,当子光源SLS3被点亮时,物件追踪装置100可通过同轴光的检测方式,来产生检测光束DB以投射至眼球OBJ上。此外,在当子光源SLS1、SLSM的至少其中之一被点亮时,物件追踪装置100则可通过离轴光的检测方式,来产生检测光束DB以投射至眼球OBJ上。
在此请注意,在本实施例中,子光源SLS1、SLS3以及SLSM中的任二,可以同时被点亮,或也可以分时被点亮。也就是说,依据驱动信号DRV,可编程光源130中任一子光源SLS1~SLSN可以独立被点亮或不被点亮。以图2为范例,在当子光源SLS1、SLSM被点亮时(子光源SLS2不被点亮时),可编程光源130可提供为离轴光的光束LB1、LB3,并用于产生检测光束DB。相对的,在当子光源SLS3被点亮时(子光源SLS1、SLSM不被点亮时),可编程光源130可提供为同轴光的光束LB2,并用于产生检测光束DB。
请重新参照图1,影像提取器140配置在轴线AX1的侧边,并用以提取物件(眼球OBJ)的检测影像。在当检测光束DB被投射至眼球OBJ时,眼球OBJ可对应检测光束DB产生反光的现象。因此,影像提取器140可以获得具有反光(例如反光的光点)的检测影像。以受检测物件为眼球OBJ为范例,当检测光束DB被投射至眼球OBJ时,眼球OBJ的周围可出现多个反光的光点。通过判别上述反光的光点的位置,可以判断出眼球OBJ的实际位置。
附带一提的,在本实施例中,影像提取器140可以为红外光照相机,而可编程光源130中的子光源SLS1~SLSN则可以为红外线光源(例如红外线发光二极体)。
请参照图3,图3为本发明另一实施例的物件追踪装置的示意图。物件追踪装置300包括透镜310、分光元件320、可编程光源330、影像提取器340以及控制器350。在本实施例中,透镜310以及分光元件320依序配置在眼球OBJ的前端,并被配置在轴线AX1上。另外,可编程光源330的几何中心被配置在轴线AX2,并使分光元件320的几何中心通过轴线AX2。可编程光源330并接收驱动信号DRV,以通过驱动信号DRV来控制可编程光源330上的各个子光源的被点亮与否的状态。
在本实施例中,控制器350耦接至影像提取器340以及可编程光源330。控制器350产生并提供驱动信号DRV,以驱动可编程光源330。控制器350另接收影像提取器340所产生的检测影像,并依据检测影像中,眼球OBJ对应检测光束所产生的反光现象来判断出眼球OBJ的位置资讯。
在本实施例中,控制器350可依据多个预设图形来产生驱动信号DRV,并在不同的时间区间中,依序依据预设图形来调整驱动信号DRV,并调整可编程光源330上的光源的点亮状态。以下请图时参照图4A至图4E,图4A至图4E分别为本发明不同实施例的可编程光源的点亮状态调整动作的示意图。
在图4A中,可编程光源330可依据范围边界RG被区分为多个第一子光源SLSA1以及多个第二子光源SLSB1。在本实施例中,范围边界RG外的子光源分类为第一子光源SLSA1,范围边界RG内的子光源分类为第二子光源SLSB1。在本实施例中,第一子光源SLSA1可投射光束至分光元件320的周围区域,而第二子光源SLSB1则可投射光束至分光元件320的中心区域。并且,在本实施例中,控制器350可提供驱动信号DRV以使第一子光源SLSA1的至少其中之一在第一时间区间被点亮,并使第二子光源SLSB1的至少其中之一在第二时间区间被点亮,其中第一时间区间与第二时间区间不相重叠、部分重叠或完全重叠。
在第一时间区间与第二时间区间不相重叠的范例中,请参照图4B以及图4C。在图4B中,在第一时间区间中,的所有的第一子光源SLSA1都被点亮,而所有的第二子光源SLSB1都未被点亮。在图4C中,在第二时间区间中,的所有的第一子光源SLSA1都未被点亮,而所有的第二子光源SLSB1都被点亮。如此一来,物件追踪装置300可分时交错的通过同轴光以及离轴光的方式产生检测信号。
在第一时间区间与第二时间区间完全重叠以及部分重叠的范例中,则请参照图4D以及图4E。在图4D以及图4E中,在第一时间区间与第二时间区间重叠的时间区间中,部分的第一子光源SLSA1以及部分的第一子光源SLSB1被点亮。如此一来,物件追踪装置300可在第一时间区间与第二时间区间非重叠的时间区间分时的通过同轴光以及离轴光的方式产生检测信号,并在第一时间区间与第二时间区间重叠的时间区间,同步通过同轴光以及离轴光的方式产生检测信号,有效提升物件追踪装置300的检测动作的灵活度。
值得一提的,图4A至图4E为矩形的可编程光源330仅只是一个说明范例,不用以限缩本发明的范畴。本发明实施例中的可编程光源的形状可以示任意形状,例如圆形、椭圆形、多边形或任意不规则型。并且,可编程光源上的子光源的排列方式,也不限制为矩阵的形式。本发明实施例的可编程光源上的子光源,可依据一预设规则,或无规则的进行排列,没有固定的限制。
请参照图5,图5为本发明一实施例的头戴式显示装置的示意图。头戴式显示装置500包括物件追踪装置510以及显示器520。物件追踪装置510包括透镜511分光元件512、可编程光源513、影像提取器514以及控制器515。物件追踪装置510的实施细节与前述说明的多个实施例的物件追踪装置相类似,在此不多赘述。值得一提的,显示器520可配置在轴线AX1上,用来产生显示影像,并可沿着轴线AX1投射显示影像至分光元件512。分光元件512可透射显示影像,并使显示影像被透射至透镜511,再通过透镜511以传送至使用者的眼球OBJ上。
在此请注意,头戴式显示装置500所包括的显示器520以及对应的物件追踪装置510可以是一组,也可以是两组。显示器520以及对应的物件追踪装置510的配置数量可以依据头戴式显示装置500的应用状态而有所差异,没有特定的限制。
请参照图6,图6为本发明实施例的物件追踪方法的流程图。在步骤S610中,提供透镜以及分光元件以配置在相同的轴线上;在步骤S620中,提供具有多个子光源的可编程光源,其中子光源用以分别投射多个光束至分光元件的多个不同位置上,并提供驱动信号以调整各子光源的点亮状态;在步骤S630中,使分光元件接收光束的至少其中之一,并产生至少一反射光束至透镜,使透镜产生一检测光束,并投射检测光束至物体;在步骤S640中提供影像提取器以提取物件的检测影像。
关于上述步骤的实施细节,在前述的多个实施例中已有详细的说明,在此恕不多赘述。
综上所述,本发明提供可编程光源,并通过多个子光源以投射多数个光束至该分光元件的多个不同位置上,以由此产生检测光束。如此一来,物件追踪装置可动态的调整检测光束的产生机制,以有效提高物件追踪的精准度。
虽然结合以上实施例公开了本发明,然而其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,可作些许的更动与润饰,故本发明的保护范围应当以附上的权利要求所界定的为准。

Claims (14)

1.一种物件追踪装置,其特征在于,包括:
透镜,产生并投射检测光束至该物件;
分光元件,与该透镜共同配置于轴线上;
可编程光源,具有多个子光源,所述多个子光源用以分别投射多个光束至该分光元件的多个不同位置上,该可编程光源接收驱动信号,并依据该驱动信号以调整各该子光源的点亮状态;以及
影像提取器,提取该物件的检测影像,
其中该分光元件接收所述多个光束的至少其中之一,并产生至少一反射光束至该透镜,并使该透镜产生该检测光束。
2.如权利要求1所述的物件追踪装置,还包括:
控制器,耦接至该可编程光源以及该影像提取器,在检测时间区间产生该驱动信号,并接收该检测影像,该控制器依据该检测影像来判断出该物件的位置资讯。
3.如权利要求2所述的物件追踪装置,其中所述多个子光源包括多个第一子光源以及多个第二子光源,所述多个第一子光源用以分别提供多个第一光束至该分光元件的一中心区域,所述多个第二子光源用以分别提供多个第二光束至该分光元件的周围区域。
4.如权利要求3所述的物件追踪装置,其中该控制器依据该驱动信号以使所述多个第一子光源的至少其中之一在第一时间区间被点亮,使所述多个第一子光源的至少其中之一在第二时间区间被点亮。
5.如权利要求4所述的物件追踪装置,其中该第一时间区间与该第二时间区间不相重叠、部分重叠或完全重叠。
6.如权利要求2所述的物件追踪装置,其中该控制器依据多个预设图形分别在多个时间区间产生该驱动信号。
7.如权利要求1所述的物件追踪装置,其中所述多个子光源为红外线光源。
8.如权利要求7所述的物件追踪装置,其中该影像提取器为红外线照相机。
9.一种头戴式显示装置,其特征在于,包括:
显示器;以及
如权利要求1所述的物件追踪装置,
其中该显示器配置在该轴线上,并投射显示影像至该透镜。
10.一种物件追踪方法,其特征在于,包括:
提供透镜以及分光元件以配置在相同的轴线上;
提供具有多个子光源的可编程光源,其中所述多个子光源用以分别投射多个光束至该分光元件的多个不同位置上,并提供驱动信号以调整各该子光源的点亮状态;
使该分光元件接收所述多个光束的至少其中之一,并产生至少一反射光束至该透镜,使该透镜产生检测光束,并投射该检测光束至该物体;以及
提供影像提取器以提取该物件的一检测影像。
11.如权利要求10所述的物件追踪方法,还包括:
提供控制器以在检测时间区间产生该驱动信号;以及
使该控制器在该检测时间区间接收该检测影像,并依据该检测影像来判断出该物件的位置资讯。
12.如权利要求10所述的物件追踪方法,还包括:
区分所述多个子光源为多个第一子光源以及多个第二子光源,
其中所述多个第一子光源用以分别提供多个第一光束至该分光元件的中心区域,所述多个第二子光源用以分别提供多个第二光束至该分光元件的周围区域。
13.如权利要求10所述的物件追踪方法,其中提供该驱动信号以调整各该子光源的点亮状态的步骤包括:
使所述多个第一子光源的至少其中之一在一第一时间区间被点亮,以及使所述多个第一子光源的至少其中之一在一第二时间区间被点亮。
14.如权利要求13所述的物件追踪方法,其中该第一时间区间与该第二时间区间不相重叠、部分重叠或完全重叠。
CN201810181900.9A 2017-03-13 2018-03-06 头戴式显示装置、物件追踪装置及其物件追踪方法 Active CN108572447B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762470360P 2017-03-13 2017-03-13
US62/470,360 2017-03-13

Publications (2)

Publication Number Publication Date
CN108572447A true CN108572447A (zh) 2018-09-25
CN108572447B CN108572447B (zh) 2021-03-30

Family

ID=63576738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810181900.9A Active CN108572447B (zh) 2017-03-13 2018-03-06 头戴式显示装置、物件追踪装置及其物件追踪方法

Country Status (2)

Country Link
CN (1) CN108572447B (zh)
TW (1) TWI667495B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110568617A (zh) * 2019-09-17 2019-12-13 北京耐德佳显示技术有限公司 一种基于光的同步显示系统及其显示装置
CN111381367A (zh) * 2018-12-27 2020-07-07 宏星技术股份有限公司 眼球追踪器与显示装置
CN113093378A (zh) * 2020-01-08 2021-07-09 宏碁股份有限公司 眼球追踪装置和头戴式显示设备
CN114690403A (zh) * 2020-12-28 2022-07-01 财团法人工业技术研究院 头戴式眼动追踪系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI486630B (zh) * 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
CN105531716A (zh) * 2013-07-30 2016-04-27 微软技术许可有限责任公司 显示设备中的近眼光学定位

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767306B1 (en) * 2011-09-22 2014-07-01 Google Inc. Display system
US20160097930A1 (en) * 2014-10-06 2016-04-07 Steven John Robbins Microdisplay optical system having two microlens arrays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI486630B (zh) * 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
CN105531716A (zh) * 2013-07-30 2016-04-27 微软技术许可有限责任公司 显示设备中的近眼光学定位

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111381367A (zh) * 2018-12-27 2020-07-07 宏星技术股份有限公司 眼球追踪器与显示装置
CN110568617A (zh) * 2019-09-17 2019-12-13 北京耐德佳显示技术有限公司 一种基于光的同步显示系统及其显示装置
CN113093378A (zh) * 2020-01-08 2021-07-09 宏碁股份有限公司 眼球追踪装置和头戴式显示设备
CN114690403A (zh) * 2020-12-28 2022-07-01 财团法人工业技术研究院 头戴式眼动追踪系统

Also Published As

Publication number Publication date
CN108572447B (zh) 2021-03-30
TWI667495B (zh) 2019-08-01
TW201833624A (zh) 2018-09-16

Similar Documents

Publication Publication Date Title
CN108572447A (zh) 头戴式显示装置、物件追踪装置及其物件追踪方法
US10068369B2 (en) Method and apparatus for selectively integrating sensory content
JP6037901B2 (ja) 操作検出装置、操作検出方法及び表示制御データ生成方法
JP6078884B2 (ja) カメラ式マルチタッチ相互作用システム及び方法
JP6037900B2 (ja) 操作検出装置及び操作検出方法
KR102268377B1 (ko) 멀티-뷰 컨텐츠를 전달하기 위한 디스플레이 시스템 및 방법
KR20220045977A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
CN104345802B (zh) 用于控制近眼式显示器的装置、系统和方法
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
CN101795375B (zh) 投影显示装置及投影控制方法
TWI390326B (zh) Lighting device
US10303276B2 (en) Touch control system, touch control display system and touch control interaction method
CN103053167A (zh) 扫描投影机及用于3d映射的图像捕获模块
CN104094197A (zh) 利用投影仪的注视追踪
BR112014002463B1 (pt) sistemas de captura de projeções, sistema de captura de projeções interativo e método de captura de projeções
JP2009225432A (ja) 光投影装置、照明装置
US11727238B2 (en) Augmented camera for improved spatial localization and spatial orientation determination
US11187898B2 (en) Image display apparatus
JP2010078854A (ja) 照明装置
EP3376345B1 (en) Object tracking arrangements
JP2011170296A (ja) 光投影装置
JP2017062813A (ja) 映像表示装置及びプロジェクタ
CN109387945A (zh) 头戴式显示装置
JP7188902B2 (ja) 情報処理システム及びプログラム
WO2019244437A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant