CN104808340B - 头戴式显示装置及其控制方法 - Google Patents

头戴式显示装置及其控制方法 Download PDF

Info

Publication number
CN104808340B
CN104808340B CN201410064705.XA CN201410064705A CN104808340B CN 104808340 B CN104808340 B CN 104808340B CN 201410064705 A CN201410064705 A CN 201410064705A CN 104808340 B CN104808340 B CN 104808340B
Authority
CN
China
Prior art keywords
image
virtual
image sensor
eyes
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410064705.XA
Other languages
English (en)
Other versions
CN104808340A (zh
Inventor
李宗德
杨文助
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of CN104808340A publication Critical patent/CN104808340A/zh
Application granted granted Critical
Publication of CN104808340B publication Critical patent/CN104808340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Architecture (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种头戴式显示装置及其控制方法。控制方法包括如下步骤。应用处理器控制微型投影单元投影虚像，虚像包括虚拟物件，且虚拟物件位于虚像坐标系上的虚像坐标。眼部图像感测单元提取眼部图像数据。感测装置感测触控物件以输出感测数据。特殊应用集成电路根据感测数据取得触控物件在实像坐标系上的实体坐标。特殊应用集成电路根据眼部图像数据取得瞳孔位置，并根据瞳孔位置控制调整单元调整虚像的成像位置。特殊应用集成电路根据瞳孔位置、实体坐标及虚拟坐标判断触控物件是否触碰虚拟物件。

Description

头戴式显示装置及其控制方法
技术领域
本发明涉及一种电子装置，且特别涉及一种头戴式显示装置及其控制方法。
背景技术
随着科技日新月异，人们对于信息的吸收也日渐增加。一般常见的多媒体播放装置、网络通信装置及计算机装置等都搭配CRT或LCD显示器来显示图像。但是其所能显示的图像像素及大小，受限于显示器的尺寸大小及其效能。目前传统的CRT或LCD显示器，皆无法兼顾尺寸及携带轻便的需求。为解决上述问题，市场上推出一种头戴式显示装置(Head-Mounted Display，HMD)。头戴式显示装置在左右眼睛前方各放置有一小型显像管或是液晶显示器。头戴式显示装置例如是利用两眼视差的立体效果，将各别显像管或是液晶显示器所输出的图像经过分光镜投射至使用者的视网膜。
然而，在传统头戴式显示装置(如google glasses)中，分光镜的位置固定且无法调整。使用者需自行调整观看方向，才能看到微型投影机所投射出来的图像。如此一来，不仅造成使用上的不便且容易造成使用者的眼球疲劳。
发明内容
本发明涉及一种头戴式显示装置及其控制方法。
根据本发明，提出一种头戴式显示装置。头戴式显示装置包括微型投影单元、应用处理器、眼部图像感测单元、调整单元、感测装置、特殊应用集成电路(ApplicationSpecific Integrated Circuit，ASIC)及眼镜架。应用处理器控制微型投影单元投影虚像。虚像包括虚拟物件，且虚拟物件位于虚像坐标系上的虚像坐标。眼部图像感测单元提取眼部图像数据。感测装置感测触控物件以输出感测数据。特殊应用集成电路根据感测数据取得触控物件在实像坐标系上的实体坐标。特殊应用集成电路根据眼部图像数据取得瞳孔位置，并根据瞳孔位置控制调整单元调整虚像的成像位置。特殊应用集成电路根据瞳孔位置、实体坐标及虚拟坐标判断触控物件是否触碰虚拟物件。眼镜架承载调整单元、微型投影单元、应用处理器、眼部图像感测单元、实体坐标提取装置及特殊应用集成电路。
根据本发明，提出一种头戴式显示装置的控制方法。头戴式显示装置的控制方法包括：控制微型投影单元投影虚像，虚像包括虚拟物件，虚拟物件位于虚像坐标系上的虚像坐标；经由眼部图像感测单元提取眼部图像数据；经由感测装置感测触控物件以输出感测数据；根据感测数据取得触控物件在实像坐标系上的实体坐标；根据眼部图像数据取得瞳孔位置，并根据瞳孔位置控制调整单元调整虚像的成像位置；以及根据瞳孔位置、实体坐标及虚拟坐标判断触控物件是否触碰虚拟物件。
为了对本发明的上述及其他方面有更佳的了解，下文特举优选实施例，并配合附图，作详细说明如下：
附图说明
图1绘示为依照第一实施例的一种头戴式显示装置的方块图。
图2绘示为当瞳孔位置位于眼睛正中央时的虚像与触控物件的示意图。
图3绘示为当瞳孔位置不位于眼睛正中央时的虚像与触控物件的示意图。
图4绘示为感测装置为第一图像感测器及第二图像感测器的头戴式显示装置的方块图。
图5绘示第三红外线发光二极管、第一图像感测器及第二图像感测器配置在眼镜架上的示意图。
图6绘示为依照第二实施例的头戴式显示装置的方块图。
图7绘示为依照第二实施例的一种头戴式显示装置的外观示意图。
图8绘示为依照第三实施例的头戴式显示装置的方块图。
图9绘示为依照第三实施例的一种头戴式显示装置的外观示意图。
图10绘示为将头戴式显示装置进行初始立体校正的流程图。
图11绘示为第一眼部图像感测器、第二眼部图像感测器、第一红外线发光二极管及第二红外线发光二极管配置在眼镜架上的第一种示意图。
图12绘示为第一眼部图像感测器、第二眼部图像感测器、第一红外线发光二极管及第二红外线发光二极管配置在眼镜架上的第二种示意图。
图13绘示为使用者的眼睛的示意图。
图14绘示为广角图像上的最大感兴趣区域的示意图。
图15绘示为瞳孔位于正中央时的感兴趣区域的示意图。
图16绘示为瞳孔自正中央向右移动后的感兴趣区域的示意图。
图17绘示为依照第五实施例的一种头戴式显示装置的方块图。
图18绘示为调整单元调整分光镜单元的示意图。
图19绘示为调整单元调整微型投影单元的示意图。
图20绘示为一种计算机游戏的示意图。
【符号说明】
1、1a、1b、1c、4：头戴式显示装置
2：虚像
3：广角图像
21：虚拟物件
22：触控物件
101：分光镜单元
101a：第一分光镜
101b：第二分光镜
102：微型投影单元
102a：第一微型投影机
102b：第二微型投影机
103：应用处理器
104：眼部图像感测单元
104a：第一眼部图像感测器
104b：第二眼部图像感测器
105：调整单元
105a：第一调整装置
105b：第二调整装置
106：特殊应用集成电路
107：红外线发光单元
107a：第一红外线发光二极管
107b：第二红外线发光二极管
108a：第一前端图像感测器
108b：第二前端图像感测器
109：画面暂存器
110：眼镜架
111：感测装置
301～309：步骤
1111：第一图像感测器
1112：第二图像感测器
1113：飞行时间相机
1114：第三红外线发光二极管
1115：结构光相机
R1：最大感兴趣区域
R2：感兴趣区域
x1’、x2’、x3’、x4’：水平位置
θ1：最大水平视角
(x1，y1)、(x2，y1)、(x3，y1)、(x3，y2)、(x3，y3)、(x4，y1)：瞳孔位置
具体实施方式
第一实施例
请参照图1、图2及图3，图1绘示为依照第一实施例的一种头戴式显示装置的方块图，图2绘示为当瞳孔位置位于眼睛正中央时的虚像与触控物件的示意图，图3绘示为当瞳孔位置不位于眼睛正中央时的虚像与触控物件的示意图。头戴式显示装置1包括分光镜(Beam Splitter)单元101、微型投影单元102、应用处理器103、眼部图像感测单元104、调整单元105、特殊应用集成电路(Application Specific Integrated Circuit，ASIC)106、红外线发光单元107、第一前端图像感测器108a、第二前端图像感测器108b、画面暂存器109、感测装置111及眼镜架。眼镜架用以承载分光镜单元101、微型投影单元102、应用处理器103、眼部图像感测单元104、调整单元105、特殊应用集成电路106、红外线发光单元107、第一前端图像感测器108a、第二前端图像感测器108b、画面暂存器109及感测装置111。画面暂存器109存储微型投影单元102欲投影的图像数据。红外线发光单元107提供眼部图像感测单元104所需的辅助光源。
特殊应用集成电路106经由通用串行总线(Universal Serial Bus，USB)与应用处理器103沟通。第一前端图像感测器108a、第二前端图像感测器108b连接至应用处理器103，且经由移动产业处理器接口(Mobile Interface Processor Interface，MIPI)与应用处理器103沟通。眼部图像感测单元104连接至特殊应用集成电路106，且经由并行式接口(Parallel I/F)或移动产业处理器接口与特殊应用集成电路106沟通。红外线发光单元107连接至特殊应用集成电路106，且经由通用输入输出(General Purpose Input Output，GPIO)与特殊应用集成电路106沟通。红外线发光单元107受控于特殊应用集成电路106以提供眼部图像感测单元104所需的辅助光源。
头戴式显示装置1的控制方法包括如下步骤。应用处理器103控制微型投影单元102投影一虚像2。虚像包括一虚拟物件21。虚拟物件21为立体图像且虚拟物件21位于一虚像坐标系上的一虚像坐标。眼部图像感测单元104提取使用者的眼部图像数据，眼部图像数据例如包括一或数个眼球图像。感测装置111感测触控物件22以输出感测数据。触控物件22例如为使用者的手指或手掌。特殊应用集成电路106根据感测数据取得触控物件22在实像坐标系上的实体坐标。特殊应用集成电路106根据眼部图像数据取得使用者的瞳孔位置，并根据瞳孔位置控制调整单元105适应性调整虚像的成像位置。亦即，特殊应用集成电路106根据瞳孔位置控制调整单元105改变虚像光束射至眼睛的位置。特殊应用集成电路106根据瞳孔位置、实体坐标及虚拟坐标判断触控物件22是否触碰虚拟物件21。
请同时参照图1、图11及图12，图11绘示为第一眼部图像感测器、第二眼部图像感测器、第一红外线发光二极管及第二红外线发光二极管配置在眼镜架上的第一种示意图，图12绘示为第一眼部图像感测器、第二眼部图像感测器、第一红外线发光二极管及第二红外线发光二极管配置在眼镜架上的第二种示意图。眼部图像感测单元104可包括一或数个眼部图像感测器。在第一实施例中，眼部图像感测单元104以包括第一眼部图像感测器104a及第二眼部图像感测器104b为例说明。第一眼部图像感测器104a及第二眼部图像感测器104b提取眼部图像数据。在第一实施例中，眼部图像数据以包括分左眼图像及右眼图像为例说明。特殊应用集成电路106根据左眼图像及右眼图像检测出双眼的瞳孔位置。红外线发光单元107可包括一或数个红外线发光二极管。在第一实施例中，红外线发光单元107以包括第一红外线发光二极管107a及第二红外线发光二极管107b为例说明。第一眼部图像感测器104a、第二眼部图像感测器104b、第一红外线发光二极管107a及第二红外线发光二极管107b在眼镜架110上的设置可如图11绘示。此外，第一眼部图像感测器104a、第二眼部图像感测器104b、第一红外线发光二极管107a及第二红外线发光二极管107b于眼镜架110上的设置也可如图12绘示。当环境光源过暗时，特殊应用集成电路106开起第一红外线发光二极管107a，以提供第一眼部图像感测器104a所需的辅助光源。特殊应用集成电路106并开起第二红外线发光二极管107b，以提供第二眼部图像感测器104b所需的辅助光源。如此一来，将有助于提高第一眼部图像感测器104a及第二眼部图像感测器104b所提取图像的图像质量。
请同时参照图1、图18及图19，图18绘示为调整单元调整分光镜单元的示意图，图19绘示为调整单元调整微型投影单元的示意图。分光镜单元101包括可包括一或数个分光镜。在第一实施例中，分光镜单元101以包括第一分光镜101a及第二分光镜101b为例说明。相似地，微型投影单元102可包括一或数个微型投影机(Pico Projector)。在第一实施例中，微型投影单元102以包括第一微型投影机102a及第二微型投影机102b为例说明。第一微型投影机102a及第二微型投影机102b投影虚像。调整单元105可包括一或数个调整装置。在第一实施例中，调整单元105以包括第一调整装置105a及第二调整装置105b为例说明。第一调整装置105a及第二调整装置105b例如为PTZ(Pan-Tilt-Zoom)致动器、马达致动器(Motor-Driven Actuator)、直流马达、弹簧或滑轨等，且马达驱动器例如是包括步进马达(stepper motor)、相对应的齿轮组和机构件以及马达驱动集成电路(Motor driver IC)等。
前述调整单元105可藉由调整分光镜单元101或微型投影单元102以调整虚像的成像位置。举例来说，调整单元105可如图18绘示藉由调整分光镜单元101来调整虚像的成像位置。特殊应用集成电路106根据使用者的瞳孔位置控制第一调整装置105a及第二调整装置105b分别适应性调整第一分光镜101a及第二分光镜101b，将第一微型投影机102a及第二微型投影机102b所投影的虚像射入使用者的瞳孔位置。
或者，调整单元105可如图19绘示藉由调整微型投影单元102来调整虚像的成像位置。当第一调整装置105a及第二调整装置105b为PTZ致动器时，第一调整装置105a及第二调整装置105b能控制第一微型投影机102a及第二微型投影机102b水平旋转、上下移动或缩放图像。特殊应用集成电路106根据使用者的瞳孔位置控制第一调整装置105a及第二调整装置105b分别适应性调整第一微型投影机102a及第二微型投影机102b，将第一微型投影机102a及第二微型投影机102b所投影的虚像射入使用者的瞳孔位置。
当使用者的瞳孔位置位于眼睛正中央时，特殊应用集成电路106将实体坐标转换为虚拟坐标系上的第一相对坐标，并判断第一相对坐标与虚像坐标是否相符。当第一相对坐标与虚像坐标相符，特殊应用集成电路106判定触控物件22触碰虚拟物件21(如图2绘示)。相对地，当瞳孔位置不位于眼睛正中央时，特殊应用集成电路106维持虚拟坐标不变，并对应地将实体坐标转换为虚拟坐标系上的第二相对坐标，第二相对坐标与第一相对坐标相差一触控偏移量。
由于特殊应用集成电路106根据瞳孔位置控制调整单元105适应性调整虚像的成像位置，因此不论瞳孔位置如何改变，微型投影单元102所投影的虚像都会射入使用者的瞳孔位置。换句话说，不论瞳孔位置如何改变，使用者所看到的虚拟物件21的虚拟坐标都不会改变。举例来说，实像坐标系与虚像坐标系皆以视野中心为原点，当使用者的瞳孔位置由眼睛正中央往右边移动时，理论上虚拟物件21应对应地向左移动。但是由于特殊应用集成电路106根据瞳孔位置控制调整单元105适应性调整虚像的成像位置，因此虚拟物件21的虚拟坐标不会对应地改变。
然而，相对于地球坐标系而言，实像坐标系与虚像坐标系的原点实际上已向左移动。也就是说，当使用者的瞳孔位置位于眼睛正中央时，触控物件22触碰虚拟物件21(如图2绘示)。当使用者的瞳孔位置由眼睛正中央往右边移动时，虚拟物件21随瞳孔位置移动。此时，触控物件22如不跟着移动，则触控物件22无法再触碰虚拟物件21(如图3绘示)。所以，
当瞳孔位置不位于眼睛正中央时，特殊应用集成电路106维持虚拟物件21的虚拟坐标不变，并对应地将触控物件22的实体坐标转换为与原先第一相对坐标相差一触控偏移量的第二相对坐标。也就是说，此时触控物件22需对应地移动前述触控偏移量才能再触碰虚拟物件21。因此，特殊应用集成电路106判断前述第二相对坐标与虚像坐标是否相符。当第二相对坐标与虚像坐标相符，特殊应用集成电路106判定触控物件22触碰虚拟物件21。
请同时参照图4及图5，图4绘示为感测装置为第一图像感测器及第二图像感测器的头戴式显示装置的方块图，图5绘示为第三红外线发光二极管、第一图像感测器及第二图像感测器配置在眼镜架上的示意图。在图4中，头戴式显示装置以头戴式显示装置1a为例说明，感测装置以感测装置111a为例说明。感测装置111a包括第一图像感测器1111及第二图像感测器1112。第一图像感测器1111及第二图像感测器1112用以提取使用者的视角图像。第一实施例由立体匹配(Stereo Matching)技术来取得触控物件的深度值。立体匹配技术利用第一图像感测器1111及第二图像感测器1112模拟使用者的双眼，并藉由第一图像感测器1111及第二图像感测器1112所提取的图像来取得触控物件的深度值。特殊应用集成电路106根据第一图像感测器1111或第二图像感测器1112所提取的图像可取得触控物件的平面坐标，配合前述深度值即可取得触控物件的三维坐标作为实像坐标。
此外，第一图像感测器1111或第二图像感测器1112之间的光学间距B能根据实际应用时实像深度远近不同而予以适当地调整。举例来说，当光学间距B变小时，适合应用于深度值较小的应用。相反地，当光学间距B变大时，适合应用于深度值较大的应用。当环境光源过暗时，特殊应用集成电路106能开启第三红外线发光二极管1114提供一辅助光源，以提高第一图像感测器1111及第二图像感测器1112所提取图像的图像质量。为方便说明起见，图5绘示以第三红外线发光二极管1114搭配第一图像感测器1111及第二图像感测器1112为例说明。
请同时参照图4、图13及图14，图13绘示为使用者的眼睛的示意图，图14绘示为广角图像上的最大感兴趣区域的示意图。进一步来说，头戴式显示装置1a还能根据使用者的生理差异进行校正。举例来说，使用者头部固定不同的情形下，瞳孔由最左边的瞳孔位置移动到最右边的瞳孔位置大约能涵盖水平的180度视角。在同样眼睛大小之下，由于每个人的眼球肌肉控制能力有所不同，因此最左边的瞳孔位置及最右边的瞳孔位置将因人而异。通过初始对齐校正(Initial Align Calibration)，能使头戴式显示装置1a因应不同使用者的生理差异。第一图像感测器1111或第二图像感测器1112包括广角镜，以提取广角图像。下述说明虽以广角图像为例说明，然实际应用可先将广角图像进行广角镜校正(Wide AngleLens Correction)，后续再根据广角校正后的广角图像进行初始对齐校正。
当第一图像感测器1111或第二图像感测器1112的水平视角θ2为180度，第一图像感测器1111或第二图像感测器1112对应提取广角图像3。假设使用者将瞳孔位置由最左边移到最右边所对应的最大水平视角θ1为160度，则使用者在广角图像3上的最大感兴趣区域(Region Of Interest，ROI)R1将如图14绘示。
初始对齐校正包括如下步骤：首先，应用处理器103通知使用者直视正前方。接着，应用处理器103通知使用者将瞳孔位置移到最左边，并记录最左边的瞳孔位置(x2，y1)。此时，瞳孔位置的水平位置x2对应至广角图像3的水平位置x2’。跟着，应用处理器103通知使用者将瞳孔位置移到最右边，并记录最右边的瞳孔位置(x1，y1)。此时，瞳孔位置的水平位置x1对应至广角图像3的水平位置x1’。如此一来，头戴式显示装置1a即可得知水平左右最大视角时所对应的瞳孔位置，并取得水平位置x2与水平位置x2’的对应关系及水平位置x1与水平位置x1’的对应关系。最大感兴趣区域R1的水平位置将落于水平位置x2’与水平位置x1’之间。水平位置x2’及水平位置x1’为最大感兴趣区域R1的水平边界位置。头戴式显示装置1a后续即能根据水平位置x2与水平位置x2’的对应关系及水平位置x1与水平位置x1’的对应关系进行调整。相似地，头戴式显示装置1a也可藉由上述方式得知垂直上下最大视角时所对应的瞳孔位置，并取得对应的垂直边界位置。头戴式显示装置1a后续即能根据垂直位置y2、垂直位置y3与垂直边界位置的对应关系进行调整。
请同时参照图1、图13、图15及图16，图15绘示为瞳孔位于正中央时的感兴趣区域的示意图，图16绘示为瞳孔自正中央向右移动后的感兴趣区域的示意图。假设使用者的水平视角为60度，且其瞳孔位于正中央，即瞳孔位置(x3，y1)。水平位置x3对应至感兴趣区域R2中央的水平位置x3’，如图15绘示。当瞳孔自正中央向右移动后，其瞳孔位置(x3，y1)改变为瞳孔位置(x4，y1)，且水平位置x4＝(x1+x3)/2。水平位置x4对应至感兴趣区域R2中央的水平位置x4’，如图16绘示。为方便说明起见，上述实施方式以线性对应方式说明。然而实施方式并不局限于此，头戴式显示装置1a取得水平位置x2’及水平位置x1’后，能请使用者在水平位置x2’与水平位置x1’之间逐一移动感兴趣区域R2。头戴式显示装置1a对应地逐一记录各感兴趣区域R2中央的水平位置与其瞳孔位置的对应关系，并将其建立参考数据表。后续头戴式显示装置1a即能以查表方式来决定感兴趣区域R2的位置。
上述说明即为瞳孔水平移动时，实体坐标要跟着移动多少的计算基础，也就是前述触控偏移量的计算方法。而前述感兴趣区域R2随瞳孔移动而改变的位置即为前述第二相对坐标。虽然前述以瞳孔水平移动为例说明，然而，在瞳孔垂直移动的情况中，其实现方式亦与前述说明相似。
第二实施例
请同时参照图6及图7，图6绘示为依照第二实施例的头戴式显示装置的方块图，图7绘示为依照第二实施例的一种头戴式显示装置的外观示意图。第二实施例与第一实施例主要不同之处在于图6的头戴式显示装置以头戴式显示装置1b为例说明，而感测装置以感测装置111b为例说明。感测装置111b包括第一图像感测器1111、飞行时间(Time OfFlight，TOF)相机1113及第三红外线发光二极管1114。飞行时间(Time Of Flight，TOF)相机1113搭配第三红外线发光二极管1114取得触控物件的深度值。特殊应用集成电路106根据第一图像感测器1111所提取的图像可取得触控物件的平面坐标，配合前述深度值即可取得触控物件的三维坐标作为实像坐标。
第三实施例
请同时参照图8及图9，图8绘示为依照第三实施例的头戴式显示装置的方块图，图9绘示为依照第三实施例的一种头戴式显示装置的外观示意图。第三实施例与第一实施例主要不同之处在于图8的头戴式显示装置以头戴式显示装置1c为例说明，而感测装置以感测装置111c为例说明。感测装置111c包括第一图像感测器1111、结构光(structuredlight)相机1115及第三红外线发光二极管1114。特殊应用集成电路106控制第三红外线发光二极管1114产生一结构光，特殊应用集成电路106根据结构光(structured light)相机1115所感测的图像取得触控物件的深度值。特殊应用集成电路106根据第一图像感测器1111所提取的图像可取得触控物件的平面坐标，配合前述深度值即可取得触控物件的三维坐标作为实像坐标。结构光例如为点状(Spot)、带状(Stripe)或图样(Pattern)。当结构光为点状时，特殊应用集成电路106可藉由光点的密度来取得触控物件的深度值。
第四实施例
请同时参照图1及图10，图10绘示为将头戴式显示装置进行初始立体校正的流程图。第四实施例与第一实施例主要不同之处在于第四实施例能进一步根据使用者的实际感受进行校正，以提供最佳的立体视觉效果。首先如步骤301所示，应用处理器103控制微型投影单元102投影立体校正图像。立体校正图像例如为立方体。应用处理器103会对应地发出一直视讯息通知使用者将眼睛直视正前方，此时瞳孔位置将位于眼睛正中央。接着如步骤302所示，眼部图像感测单元104提取使用者的眼部图像数据。举例来说，眼部图像数据包括使用者的双眼图像。
跟着如步骤303所示，特殊应用集成电路106将眼部图像数据进行透视校正(Perspective Correction)以产生眼部正向图像。然后如步骤304所示，特殊应用集成电路10根据眼部正向图像取得瞳孔位置。接着如步骤305所示，特殊应用集成电路106根据瞳孔位置控制调整单元105调整虚像的成像位置。调整单元105调整虚像的成像位置，使得微型投影单元102的光束位置与瞳孔位置相符。亦即，通过控制调整单元105调整虚像的成像位置直到微型投影单元102的光束准确地射入瞳孔位置。
接着如步骤306所示，特殊应用集成电路106要求应用处理器103发出一讯问讯息询问使用者是否呈现良好立体图像。若未呈现良好立体图像，则执行步骤307。如步骤307所示，特殊应用集成电路106控制调整单元105调整虚像的成像位置。调整单元105调整虚像的成像位置的方式可以是调整分光镜单元101或微型投影单元102。接着再次执行步骤306，特殊应用集成电路106要求应用处理器103发出一讯问讯息询问使用者是否呈现良好立体图像。若呈现良好立体图像，则执行步骤308。如步骤308所示，特殊应用集成电路106决定校正偏移值。若调整单元105调整分光镜单元101，则特殊应用集成电路106根据调整后的分光镜单元101决定校正偏移值。若调整单元105调整微型投影单元102，则特殊应用集成电路106根据调整后的微型投影单元102决定校正偏移值。跟着如步骤309所示，应用处理器103纪录校正偏移值。如此一来，当使用者再次使用头戴式显示装置1时，特殊应用集成电路106即能根据校正偏移值控制调整单元调整虚像的成像位置，以感受良好立体图像效果。
使用者能藉由上述初始立体校正取得多组校正偏移值。举例来说，使用者能藉由上述初始立体校正取得配戴近视镜片时的一组校正偏移值。使用者并能藉由上述初始立体校正取得不配戴近视镜片时的另一组校正偏移值。
第五实施例
请同时参照图1、图17及图20，图17绘示为依照第五实施例的一种头戴式显示装置的方块图，图20绘示为一种计算机游戏的示意图。第五实施例的头戴式显示装置4与第一实施例的头戴式显示装置1主要不同之处在于：在第五实施例中，眼部图像感测单元104仅包括第一眼部图像感测器104a。在第五实施例中，红外线发光单元107仅包括第一红外线发光二极管107a。在第五实施例中，分光镜单元101仅包括第一分光镜101a。在第五实施例中，微型投影单元102仅包括第一微型投影机102a。在第五实施例中，调整单元105仅包括第一调整装置105a。在第五实施例中，当瞳孔位置改变虚像坐标将对应地改变。特殊应用集成电路106根据瞳孔位置的位移量估计对应的虚像坐标的改变量。使用者藉由头戴式显示装置4可控制如图20绘示的二维计算机游戏。
综上所述，虽然本发明已以优选实施例公开如上，然其并非用以限定本发明。本发明所属领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附的权利要求书所界定者为准。

Claims (28)

1.一种头戴式显示装置，包括：
一微型投影单元；
一应用处理器，用以控制该微型投影单元投影一虚像，该虚像包括一虚拟物件，该虚拟物件位于一虚像坐标系上的一虚像坐标；
一眼部图像感测单元，用以提取一眼部图像数据；
一调整单元；
一感测装置，用以感测一触控物件以输出一感测数据；
一特殊应用集成电路(Application Specific Integrated Circuit，ASIC)，用以根据该感测数据取得该触控物件于一实像坐标系上的一实体坐标，该特殊应用集成电路根据该眼部图像数据取得一瞳孔位置，并根据该瞳孔位置控制该调整单元调整该虚像的成像位置，该特殊应用集成电路根据该瞳孔位置、该实体坐标及该虚拟坐标判断该触控物件是否触碰该虚拟物件；以及
一眼镜架，用以承载该调整单元、该微型投影单元、该应用处理器、该眼部图像感测单元及该特殊应用集成电路。
2.如权利要求1所述的头戴式显示装置，其中，当该瞳孔位置位于眼睛正中央时，该特殊应用集成电路将该实体坐标转换为该虚拟坐标系上的一第一相对坐标，并判断该第一相对坐标与该虚像坐标是否相符，当该第一相对坐标与该虚像坐标相符，该特殊应用集成电路判定该触控物件触碰该虚拟物件。
3.如权利要求2所述的头戴式显示装置，其中，当该瞳孔位置不位于眼睛正中央时，该特殊应用集成电路维持该虚拟坐标不变，并对应地将该实体坐标转换为该虚拟坐标系上的一第二相对坐标，该第二相对坐标与该第一相对坐标相差一触控偏移量。
4.如权利要求3所述的头戴式显示装置，其中，该特殊应用集成电路判断该第二相对坐标与该虚像坐标是否相符，当该第二相对坐标与该虚像坐标相符，该特殊应用集成电路判定该触控物件触碰该虚拟物件。
5.如权利要求1所述的头戴式显示装置，还包括一分光镜单元，该应用处理器控制该微型投影单元投影一立体校正图像，该特殊应用集成电路根据该瞳孔位置控制该调整单元调整该虚像的成像位置，使得该微型投影单元的一光束位置与该瞳孔位置相符，该特殊应用集成电路要求该应用处理器发出一讯问讯息询问是否呈现良好立体图像，若未呈现良好立体图像，该特殊应用集成电路控制该调整单元调整该虚像的成像位置，若呈现良好立体图像，该特殊应用集成电路根据调整后的该分光镜单元决定一校正偏移值，并纪录该校正偏移值。
6.如权利要求1所述的头戴式显示装置，其中该应用处理器记录该瞳孔位置的一可移动范围。
7.如权利要求1所述的头戴式显示装置，其中该感测装置包括一第一图像感测器及一第二图像感测器。
8.如权利要求7所述的头戴式显示装置，其中该第一图像感测器及该第二图像感测器包括广角镜(Wide Angle Lens)。
9.如权利要求1所述的头戴式显示装置，其中该感测装置包括一第一图像感测器及一飞行时间(Time Of Flight，TOF)相机。
10.如权利要求1所述的头戴式显示装置，其中该感测装置包括一第一图像感测器及一结构光(structured light)相机。
11.如权利要求1所述的头戴式显示装置，还包括：
一红外线发光单元，用以提供该眼部图像感测单元所需的辅助光源。
12.如权利要求11所述的头戴式显示装置，还包括一分光镜单元，该分光镜单元包括一第一分光镜，该微型投影单元包括一第一微型投影机，该眼部图像感测单元包括一第一眼部图像感测器，该调整单元包括一第一调整装置，该红外线发光单元包括一第一红外线发光二极管，该第一微型投影机投影该虚像，该第一眼部图像感测器提取该眼部图像数据，该第一调整装置调整该第一分光镜，该第一红外线发光二极管提供该第一眼部图像感测器所需的辅助光源。
13.如权利要求11所述的头戴式显示装置，其中该微型投影单元包括一第一微型投影机，该眼部图像感测单元包括一第一眼部图像感测器，该调整单元包括一第一调整装置，该红外线发光单元包括一第一红外线发光二极管，该第一微型投影机投影该虚像，该第一眼部图像感测器提取该眼部图像数据，该第一调整装置调整该第一微型投影机，该第一红外线发光二极管提供该第一眼部图像感测器所需的辅助光源。
14.如权利要求11所述的头戴式显示装置，还包括一分光镜单元，该分光镜单元包括一第一分光镜及一第二分光镜，该微型投影单元包括一第一微型投影机及一第二微型投影机，该眼部图像感测单元包括一第一眼部图像感测器及一第二眼部图像感测器，该调整单元包括一第一调整装置及一第二调整装置，该红外线发光单元包括一第一红外线发光二极管及一第二红外线发光二极管，该第一微型投影机及该第二微型投影机投影该虚像，该第一眼部图像感测器及该第二眼部图像感测器提取该眼部图像数据，该第一调整装置调整该第一分光镜，该第二调整装置调整该第二分光镜，该第一红外线发光二极管提供该第一眼部图像感测器所需的辅助光源，第二红外线发光二极管提供该第二眼部图像感测器所需的辅助光源。
15.一种头戴式显示装置的控制方法，包括：
控制一微型投影单元投影一虚像，该虚像包括一虚拟物件，该虚拟物件位于一虚像坐标系上的一虚像坐标；
经由一眼部图像感测单元提取一眼部图像数据；
经由一感测装置感测一触控物件以输出一感测数据；
根据该感测数据取得该触控物件在一实像坐标系上的一实体坐标；
根据该眼部图像数据取得一瞳孔位置，并根据该瞳孔位置控制一调整单元调整该虚像的成像位置；以及
根据该瞳孔位置、该实体坐标及该虚拟坐标判断该触控物件是否触碰该虚拟物件。
16.如权利要求15所述的控制方法，其中在该判断步骤中，当该瞳孔位置位于眼睛正中央时，将该实体坐标转换为该虚拟坐标系上的一第一相对坐标，并判断该第一相对坐标与该虚像坐标是否相符，当该第一相对坐标与该虚像坐标相符，判定该触控物件触碰该虚拟物件。
17.如权利要求16所述的控制方法，其中在该判断步骤中，当该瞳孔位置不位于眼睛正中央时，维持该虚拟坐标不变，并对应地将该实体坐标转换为该虚拟坐标系上的一第二相对坐标，该第二相对坐标与该第一相对坐标相差一触控偏移量。
18.如权利要求17所述的控制方法，其中在该判断步骤中，判断该第二相对坐标与该虚像坐标是否相符，当该第二相对坐标与该虚像坐标相符，判定该触控物件触碰该虚拟物件。
19.如权利要求15所述的控制方法，还包括：
投影一立体校正图像；
根据该瞳孔位置控制该调整单元调整该虚像的成像位置，使得该微型投影单元的一光束位置与该瞳孔位置相符；
发出一讯问讯息询问是否呈现良好立体图像；
若未呈现良好立体图像，调整该虚像的成像位置；以及
若呈现良好立体图像，根据调整后的分光镜单元决定一校正偏移值，并纪录该校正偏移值。
20.如权利要求15所述的控制方法，还包括：
记录该瞳孔位置的一可移动范围。
21.如权利要求15所述的控制方法，其中该感测装置包括一第一图像感测器及一第二图像感测器。
22.如权利要求21所述的控制方法，其中该第一图像感测器及该第二图像感测器包括广角镜(Wide Angle Lens)。
23.如权利要求15所述的控制方法，其中该感测装置包括一第一图像感测器及一飞行时间(Time Of Flight，TOF)相机。
24.如权利要求15所述的控制方法，其中该感测装置包括一第一图像感测器及一结构光(structured light)相机。
25.如权利要求15所述的控制方法，其中该头戴式显示装置还包括：
一红外线发光单元，用以提供该眼部图像感测单元所需的辅助光源。
26.如权利要求25所述的控制方法，其中该头戴式显示装置还包括一分光镜单元，该分光镜单元包括一第一分光镜，该微型投影单元包括一第一微型投影机，该眼部图像感测单元包括一第一眼部图像感测器，该调整单元包括一第一调整装置，该红外线发光单元包括一第一红外线发光二极管，该第一微型投影机投影该虚像，该第一眼部图像感测器提取该眼部图像数据，该第一调整装置调整该第一分光镜，该第一红外线发光二极管提供该第一眼部图像感测器所需的辅助光源。
27.如权利要求25所述的控制方法，其中该微型投影单元包括一第一微型投影机，该眼部图像感测单元包括一第一眼部图像感测器，该调整单元包括一第一调整装置，该红外线发光单元包括一第一红外线发光二极管，该第一微型投影机投影该虚像，该第一眼部图像感测器提取该眼部图像数据，该第一调整装置调整该第一微型投影机，该第一红外线发光二极管提供该第一眼部图像感测器所需的辅助光源。
28.如权利要求25所述的控制方法，其中该头戴式显示装置还包括一分光镜单元，该分光镜单元包括一第一分光镜及一第二分光镜，该微型投影单元包括一第一微型投影机及一第二微型投影机，该眼部图像感测单元包括一第一眼部图像感测器及一第二眼部图像感测器，该调整单元包括一第一调整装置及一第二调整装置，该红外线发光单元包括一第一红外线发光二极管及一第二红外线发光二极管，该第一微型投影机及该第二微型投影机投影该虚像，该第一眼部图像感测器及该第二眼部图像感测器提取该眼部图像数据，该第一调整装置调整该第一分光镜，该第二调整装置调整该第二分光镜，该第一红外线发光二极管提供该第一眼部图像感测器所需的辅助光源，第二红外线发光二极管提供该第二眼部图像感测器所需的辅助光源。
CN201410064705.XA 2014-01-24 2014-02-25 头戴式显示装置及其控制方法 Active CN104808340B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103102675 2014-01-24
TW103102675A TWI486631B (zh) 2014-01-24 2014-01-24 頭戴式顯示裝置及其控制方法

Publications (2)

Publication Number Publication Date
CN104808340A CN104808340A (zh) 2015-07-29
CN104808340B true CN104808340B (zh) 2017-05-10

Family

ID=53678880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410064705.XA Active CN104808340B (zh) 2014-01-24 2014-02-25 头戴式显示装置及其控制方法

Country Status (3)

Country Link
US (1) US9430878B2 (zh)
CN (1) CN104808340B (zh)
TW (1) TWI486631B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2956508C (en) * 2014-08-04 2020-04-21 Facebook, Inc. Method and system for reconstructing obstructed face portions for virtual reality environment
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
WO2017120917A1 (zh) * 2016-01-15 2017-07-20 邓娟 进行头戴虚拟游戏时周边动态的提醒方法和头戴虚拟设备
CN106774929B (zh) * 2016-12-30 2020-04-03 维沃移动通信有限公司 一种虚拟现实终端的显示处理方法和虚拟现实终端
WO2018232742A1 (en) * 2017-06-23 2018-12-27 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR POINTING AN OBJECT IN A VIRTUAL REALITY (VR) SCENE, AND VR APPARATUS
CN113325391A (zh) * 2017-12-08 2021-08-31 浙江舜宇智能光学技术有限公司 广角tof模组及其应用
WO2019193120A1 (en) * 2018-04-06 2019-10-10 Essilor International Method for customizing a head mounted device adapted to generate a virtual image
US11445166B2 (en) * 2018-06-05 2022-09-13 Sony Semiconductor Solutions Corporation Image projection system, image projection apparatus, image display light diffraction optical element, tool, and image projection method
WO2020007439A1 (en) 2018-07-02 2020-01-09 Huawei Technologies Co., Ltd. A retinal display apparatus and method
US10902627B2 (en) * 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
JP7358890B2 (ja) * 2019-10-01 2023-10-11 富士フイルムビジネスイノベーション株式会社 物体質感計測装置
US20230168510A1 (en) * 2021-11-29 2023-06-01 Htc Corporation Head-mounted display device, control method, and non-transitory computer readable storage medium
EP4365658A1 (en) * 2022-11-01 2024-05-08 Nokia Technologies Oy Apparatus, methods and computer programs for controlling image augmentations

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
DE102006049404A1 (de) * 2006-10-19 2008-04-30 Carl Zeiss Ag HMD-Vorrichtung
JP5141672B2 (ja) * 2009-11-30 2013-02-13 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
JP5915035B2 (ja) * 2011-09-05 2016-05-11 カシオ計算機株式会社 投影装置及び投影制御方法
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof

Also Published As

Publication number Publication date
US9430878B2 (en) 2016-08-30
US20150212330A1 (en) 2015-07-30
CN104808340A (zh) 2015-07-29
TWI486631B (zh) 2015-06-01
TW201530187A (zh) 2015-08-01

Similar Documents

Publication Publication Date Title
CN104808340B (zh) 头戴式显示装置及其控制方法
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN104076513B (zh) 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104883556B (zh) 基于增强现实的三维显示方法和增强现实眼镜
CN102959616B (zh) 自然交互的交互真实性增强
CN106131536A (zh) 一种裸眼3d增强现实互动展示系统及其展示方法
TWI838640B (zh) 改善雙眼視覺的系統與方法
CN106959759A (zh) 一种数据处理方法及装置
CN104603865A (zh) 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
US10652525B2 (en) Quad view display system
CN103744518A (zh) 立体交互方法及其显示装置和系统
WO2014128748A1 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
CN108064447A (zh) 图像显示方法、智能眼镜及存储介质
TW202230274A (zh) 動態處理影像之系統及方法
CN106408666A (zh) 混合现实实境演示方法
US11343487B2 (en) Trackable glasses system for perspective views of a display
Zhang et al. 6.3: Glasses‐free Virtual Reality for Rehabilitation of Stroke Survivors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant