CN107884930B - 头戴式装置及控制方法 - Google Patents
头戴式装置及控制方法 Download PDFInfo
- Publication number
- CN107884930B CN107884930B CN201710911716.0A CN201710911716A CN107884930B CN 107884930 B CN107884930 B CN 107884930B CN 201710911716 A CN201710911716 A CN 201710911716A CN 107884930 B CN107884930 B CN 107884930B
- Authority
- CN
- China
- Prior art keywords
- pupils
- pupil
- target object
- head
- mounted device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000001747 pupil Anatomy 0.000 claims abstract description 244
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 230000001179 pupillary effect Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 210000003128 head Anatomy 0.000 abstract description 4
- 101800000515 Non-structural protein 3 Proteins 0.000 description 14
- 101100274419 Arabidopsis thaliana CID5 gene Proteins 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 3
- 210000004279 orbit Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
一种头戴式装置及控制方法。头戴式装置包含显示器、瞳孔追踪模块和控制模块。瞳孔追踪模块用以追踪两个瞳孔的位置和移动。控制模块与显示器及瞳孔追踪模块进行通讯。控制模块根据瞳孔的位置以决定位于头戴式装置前方的目标物体。控制模块更用以取得瞳孔和目标物体之间的间隙距离。控制模块更根据间隙距离和瞳孔的移动以计算目标物体的尺寸参数。控制模块更在显示器上显示该尺寸参数。本案得以改善因头戴式装置是配戴在使用者的头上，而对于使用者操作头戴式装置上的按钮、按键或开关并不方便的问题。
Description
技术领域
本揭示文件是有关于头戴式装置。更确切而言，本揭示文件是有关于具瞳孔追踪技术功能的头戴式装置的控制方法。
背景技术
在虚拟实境(virtual reality,VR)、增强实境(augmented reality,AR)、替代实境(substitutional reality,SR)或混合实境(mixed reality,MR)应用中，头戴式装置为主要部件之一。头戴式装置可配戴在使用者头上，而使用者可以透过头戴式装置上的显示器看到由VR、AR、SR或MR创造的场景。
因为头戴式装置是配戴在使用者的头上，因此对于使用者操作头戴式装置上的按钮、按键或开关并不方便。许多介面元件被开发出来以适用于头戴式装置的各种应用状况。某些型号的头戴式装置包含追踪使用者眼睛移动的元件。基于眼睛的移动，系统可以取得一些信息或接收使用者输入的指令。
发明内容
本揭示文件的一实施例提供一种头戴式装置，包括显示器、瞳孔追踪模块和控制模块。瞳孔追踪模块用以追踪两个瞳孔的位置和移动。控制模块与显示器及瞳孔追踪模块进行通讯。控制模块根据瞳孔的位置以决定位于头戴式装置前方的目标物体。控制模块更用以取得瞳孔和目标物体之间的间隙距离。控制模块更根据间隙距离和瞳孔的移动以计算目标物体的尺寸参数。控制模块更在显示器上显示该尺寸参数。
在另一实施例中，控制模块更用以根据所述两个瞳孔的位置以计算在所述两个瞳孔的两个视线间的一汇聚角度；根据所述两个瞳孔的位置计算在所述两个瞳孔之间的一瞳孔间距；以及根据该瞳孔间距和该汇聚角度以计算该间隙距离。
在又一实施例中，当所述两个瞳孔的位置被侦测到同时移动时，根据所述两个瞳孔的共同视线位置以计算该汇聚角度。
又于一实施例中，当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，该控制模块更用以：根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；以及根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的该汇聚角度。
在另一实施例中，头戴式装置还包含：一深度相机模块，包括多个图像感测器，所述多个图像感测器用以产生对应该头戴式装置前方的一深度地图。
在又一实施例中，控制模块是用以根据该目标物体在该深度地图中的位置来定位，而当该目标物体位于所述多个图像感测器的视域之间的一重叠区域时，根据对应于该深度地图中位置的一深度值以取得该间隙距离。
又于一实施例中，当该目标物体并未位于所述多个图像感测器的该视域之间的该重叠区域，且当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，该控制模块更用以：根据所述两个瞳孔的位置以计算在所述两个瞳孔之间的一瞳孔间距；根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的一汇聚角度；以及根据该瞳孔间距和该汇聚角度以计算该间隙距离。
又在另一实施例中，头戴式装置还包含：一前置相机，用以撷取涵盖位于该头戴式装置前方的该目标物体的一前方图像，其中该尺寸参数显示于该显示器上的该目标物体的一相对应位置，而该相对应位置是由该前置相机撷取的该前方图像所决定。
在另一实施例中，显示器是一非透视显示器，由前置相机模块撷取的该前方图像被处理成立体视觉并显示在该显示器上。
在又一实施例中，显示器是一透视显示器，该目标物体被该头戴式装置的一使用者直接看见。
本揭示文件的一实施例提供一种控制方法，适用于头戴式装置。控制方法包括以下步骤：追踪两个瞳孔的位置和移动；根据瞳孔的位置决定在头戴式装置前方的目标物体；取得在瞳孔和目标物体之间的间隙距离；根据间隙距离和所述两个瞳孔的移动以计算目标物体的尺寸参数；在头戴式装置的显示器上显示尺寸参数。
在另一实施例中，取得该间隙距离的该步骤包括：根据所述两个瞳孔的位置以计算在所述两个瞳孔的两个视线间的一汇聚角度；根据所述两个瞳孔的位置计算在所述两个瞳孔之间的一瞳孔间距；以及根据该瞳孔间距和该汇聚角度以计算该间隙距离。
在又一实施例中，当所述两个瞳孔的位置被侦测到同时移动时，根据所述两个瞳孔的共同视线位置以计算该汇聚角度。
又于一实施例中，当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，计算该汇聚角度的该步骤还包含：根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；以及根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的该汇聚角度。
在另一实施例中，控制方法还包含：产生对应该头戴式装置前方的一深度地图。
在又一实施例中，控制方法还包含：根据该目标物体在该深度地图中的位置来定位，其中当该目标物体位于多个图像感测器的视域之间的一重叠区域时，取得该间隙距离的步骤包括：根据对应于该深度地图中位置的一深度值，以计算该间隙距离。
又于一实施例中，当该目标物体并未位于所述多个图像感测器的该视域之间的该重叠区域，且当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，取得该间隙距离的步骤包括：根据所述两个瞳孔的位置以计算在所述两个瞳孔之间的一瞳孔间距；根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的一汇聚角度；以及根据该瞳孔间距和该汇聚角度以计算该间隙距离。
又在另一实施例中，控制方法还包含：撷取涵盖位于该头戴式装置前方的该目标物体的一前方图像；决定在该显示器上该目标物体的一相对应位置；以及在该显示器上该目标物体的该相对应位置显示该尺寸参数。
在另一实施例中，显示器是一非透视显示器，该控制方法还包括：将该前方图像处理成立体视觉；以及在该显示器上显示该立体视觉。
在又一实施例中，该显示器是一透视显示器，该目标物体被该头戴式装置的一使用者直接看见。
应理解的是，前面的概括性描述和以下详细的描述都是透过实例为了提供所请求保护的本揭示文件进一步的说明。
附图说明
通过阅读以下对实施例的详细描述可以更全面地理解本揭示案，参考附图如下：
图1绘示根据本揭示文件的一实施例中一种控制方法的流程图；
图2A绘示根据本揭示文件的一实施例中一种头戴式装置的示意图；
图2B绘示图2A的头戴式装置的示意图；
图2C绘示根据本揭示文件的一实施例中显示在显示器上的示范实例的示意图；
图3根据本揭示文件的一实施例绘示如图1所示的操作的更多操作的流程图；
图4绘示根据本揭示文件的另一实施例中一种头戴式装置的示意图；
图5根据本揭示文件的一实施例绘示如图1所示的操作的更多操作的流程图；
图6根据本揭示文件的一实施例绘示图4中头戴式装置和目标物体位于重叠区域外的示意图；
图7根据本揭示文件的一实施例绘示如图1所示的操作的更多操作的流程图。
具体实施方式
下文是举实施例配合所附附图作详细说明，但所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明，而结构操作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本发明揭示内容所涵盖的范围。
参考图1和图2A。图1是根据本揭示文件的一实施例中一种控制方法100的流程图。图2A是根据本揭示文件的一实施例中一种头戴式装置200的示意图。在图1中的控制方法100适用于图2A所示的头戴式装置200。
如图2A所示，头戴式装置200包括耳机210、显示器220、瞳孔追踪模块(包括两个瞳孔追踪相机241和242)以及控制模块260。耳机210能配戴在使用者的头上。
控制模块260与显示器220、瞳孔追踪相机241和瞳孔追踪相机242进行通讯。控制模块260由处理器、中央处理单元、图像处理单元及/或控制集成电路所实现。在一些实施例中，控制模块260能配置在耳机210上，并与显示器220、瞳孔追踪相机241和瞳孔追踪相机242电性连接。在一些其他实施例中，控制模块260能独立于耳机210设置，并实施在计算机、服务器或云端处理服务器上，且与显示器220、瞳孔追踪相机241和瞳孔追踪相机242进行无线通讯。
如图2A所示，显示器220配置在耳机210上，并位于使用者眼睛的前方。显示器220用以涵盖使用者两眼的视觉，因此使用者能看到显示在显示器220上的屏幕。
在一实施例中，显示器220是一透视显示器。使用者能够透视显示器220，且使用者能够看到位于头戴式装置200前方的一个目标物体OBJ1。在一透视显示器的实施例中，使用者配戴头戴式装置200时，可以直接看到目标物体OBJ1。
在另一实施例中，显示器220是一非透视显示器。在此案例中，头戴式装置200包含前置相机模块280。前置相机模块280和控制模块260进行通讯。前置相机模块280用以撷取涵盖位于头戴式装置200前方的目标物体OBJ1的前方图像。由前置相机模块280撷取的前方图像被处理成立体视觉并显示在显示器220上。在此实施例中，使用者能够看到显示器220上目标物体OBJ1的立体视觉。
如图1所示，执行控制方法100的操作S100以追踪使用者两个瞳孔的位置和移动。在图2A所示的实施例中，瞳孔追踪模块的两个瞳孔追踪相机241和242配置于耳机210的两侧。瞳孔追踪相机241和242用以追踪两个瞳孔PL1和PL2的位置和移动。在一些实施例中，瞳孔追踪相机241和242能够随时撷取瞳孔PL1和PL2的一连串图像。
在每一个以瞳孔追踪相机241和242撷取的一连串图像中，瞳孔PL1和PL2的位置能被相对于瞳孔的原点O1和O2来定位。在一些实施例中，原点O1和O2被设定在使用者眼窝的中心点，或者设定在当使用者眼睛放松直视前方时瞳孔PL1和PL2的某点。两个瞳孔PL1和PL2的移动能够通过在一连串图像中，比较每两个相连的图像来取得。在此案例中，瞳孔追踪相机241和242能够追踪瞳孔PL1和PL2的位置和移动。
在一实施例中，瞳孔PL1和PL2的位置和移动提供关于使用者感兴趣的内容的信息。执行控制方法100的操作S200以根据瞳孔PL1和PL2的位置而决定位于头戴式装置200前方的目标物体OBJ 1。在图2A所示的实施例中，使用者的眼睛聚焦在目标物体OBJ1上一个关注点IPa。执行操作S200以根据瞳孔PL1和PL2的位置而决定位于头戴式装置200前方的目标物体OBJ1。
在图2A的实施例中，根据由瞳孔追踪相机241和242撷取的一连串图像，控制模块260能够侦测到使用者的焦点在目标物体OBJ1上一个关注点IPa。
继续参考图2B，绘示了图2A中头戴式装置200的示意图。在图2B所示的实施例中，使用者移动他/她的瞳孔以对焦在另一个关注点IPb上。如图2B所示，瞳孔PL1和PL2移动到不同的位置以聚焦在关注点IPb上，而瞳孔追踪相机241和242能够侦测到图2B中瞳孔PL1和PL2的位置，以及从图2A到2B图中瞳孔PL1和PL2的移动。
在一实施例中，头戴式装置200能够根据由瞳孔追踪相机241和242侦测到的瞳孔追踪结果，提供一些目标物体OBJ1的信息。举例来说，当使用者欲了解目标物体OBJ1的实际尺寸时，头戴式装置200能够量测目标物体OBJ1的尺寸并提供相关资料在显示器220上，使得使用者不用走向目标物体OBJ1并对于目标物体OBJ1实体上地使用量尺，便能够轻易地得知目标物体OBJ1在真实世界的尺寸。如果使用者被侦测到从图2A所示的位置移动瞳孔PL1/PL2到图2B所示的位置，头戴式装置200能够量测目标物体OBJ1的尺寸参数DM1(即，如图2A和图2B所示的左侧边缘上的长度)。举例来说，头戴式装置200不只量测一个物体的长度、宽度、高度和角度，并且量测两个眼睛注视的向量。如何量测目标物体OBJ1的尺寸将在以下段落论述。
如图1所示，执行控制方法100的操作S300以取得在瞳孔PL1/PL2和目标物体OBJ1之间的间隙距离。在得知间隙距离后，执行控制方法100的操作S400以根据间隙距离和瞳孔PL1和PL2的移动，而计算如图2A和图2B所示的尺寸参数DM1。操作S300和S400的细节将于以下段落进一步说明。
随后，执行操作S500，以在头戴式装置200的显示器220上显示尺寸参数DM1。继续参考图2C，根据本揭示文件一实施例，绘示了关于显示在显示器220上的示范实例的示意图。
取得在瞳孔PL1/PL2和目标物体OBJ1之间的间隙距离有不同做法。参考图2A和图3以说明一种取得在瞳孔PL1/PL2和目标物体OBJ1之间的间隙距离的方法。图3是根据本揭示文件一实施例绘示了图1所示的操作S300的子操作S310-S313的流程图。
如图3所示，执行操作S310以侦测瞳孔PL1和PL2的视线是否有汇聚。一般来说，当使用者聚焦在一近物(例如，位于十米内的物体)，瞳孔PL1和PL2会朝彼此移动一点点。换句话说，在瞳孔PL1和PL2之间的距离会减少，因此瞳孔追踪相机241和242能够感测到瞳孔PL1和PL2的视线是汇聚的(如图2A所示)。如果使用者聚焦在一远物(位于十米外的物体)，使用者的视线会放松并平行直视，而且在此案例中瞳孔PL1和PL2的视线不会汇聚。
在图2A所示的实施例中，瞳孔PL1和PL2的视线汇聚在目标物体OBJ1上关注点IPa。执行操作S311以计算在瞳孔PL1和PL2两个视线之间的汇聚角度θc1。在此案例中，控制模块260能够根据相对于原点O1瞳孔PL1的位置，以侦测第一角度θ1(透过瞳孔追踪相机241)。在此案例中，控制模块260能够根据相对于原点O2瞳孔PL2的位置，以侦测第二角度θ2(透过瞳孔追踪相机241)。通过控制模块260计算第一角度θ1和第二角度θ2的总和，以取得在瞳孔PL1和PL2两个视线之间的汇聚角度θc1。
由控制模块260执行操作S312，以计算在瞳孔PL1和PL2之间的瞳孔间距IPD1。在瞳孔PL1和PL2之间的瞳孔间距IPD1能够通过量测两眼窝中心点的距离，或者量测当眼睛放松并直视时，瞳孔PL1和PL2之间的距离来求得。如图2A所示，瞳孔间距IPD1是量测在原点O1和原点O2之间的距离。在一些其他实施例中，瞳孔间距IPD1能被头戴式装置200的使用者手动设定，因此头戴式装置200具有一个可调变旋钮(图中未示出)，而使用者能够旋转可调变旋钮以设定瞳孔间距IPD1。
由控制模块260执行在图3中的操作S313，以计算在瞳孔PL1/PL2和目标物体OBJ1上关注点IPa之间的间隙距离D1。间隙距离D1是基于三角函数并根据图2A所示的瞳孔间距IPD1和汇聚角度θc1所计算。
如图2B和图3所示，同样地，操作S311-S313能够被应用在图2B所示的实施例。执行操作S311以计算在瞳孔PL1和PL2两个视线之间的另一汇聚角度θc2。在一实施例中，执行操作S312以计算瞳孔间距IPD1。在另一实施例中，因为瞳孔间距IPD1已知，所以跳过操作S312。执行操作S313以根据图2B所示的瞳孔间距IPD1和汇聚角度θc2，并基于三角函数而计算在瞳孔PL1/PL2和目标物体OBJ1上关注点IPa之间的间隙距离D2。图2B中间隙距离D2能等于或异于图2A所示的间隙距离D1。
当瞳孔从图2A所示的位置移动到图2B所示的位置，两个瞳孔的位置被侦测到同时移动。在此案例中，汇聚角度θc1/θc2是根据瞳孔PL1/PL2的共同视线位置计算。
在图3所示的操作S300中，在间隙距离D1/D2被计算之后，控制方法100回到图1所示的操作S400，根据间隙距离D1/D2和瞳孔PL1和PL2的移动，以计算如图2A和图2B中所示的尺寸参数DM1。因为瞳孔间距IPD1和间隙距离D1/D2已知，所以尺寸参数DM1能够通过控制模块260根据瞳孔PL1和PL2在图2A和图2B中位置之间的移动来计算。
尺寸参数DM1和瞳孔间距IPD1呈正相关。当瞳孔间距IPD1较大，尺寸参数DM1也会较大。当瞳孔间距IPD1较短，尺寸参数DM1也会较短。
尺寸参数DM1和间隙距离D1/D2也呈正相关。当间隙距离D1/D2较大，尺寸参数DM1也会较大。当间隙距离D1/D2较短，尺寸参数DM1也会较短。
尺寸参数DM1和瞳孔PL1和PL2在图2A和图2B之间的移动也呈正相关。当瞳孔PL1和PL2的移动较大，尺寸参数DM1也会较大。当瞳孔PL1和PL2的移动较短，尺寸参数DM1也会较短。
执行图1所示的操作S500，如图2C所示在显示器220上显示尺寸参数DM1。在一实施例中，前置相机模块280用以撷取涵盖位于头戴式装置200前方的目标物体OBJ1的前方图像。如图2C所示，尺寸参数DM1(此参数说明目标物体OBJ1上方边缘的长度是等于37厘米)显示在显示器220上目标物体OBJ1的相对位置。在一实施例中，在显示器220上目标物体OBJ1的相对位置是由前置相机220撷取的前方图像所决定。
根据前述实施例，控制方法100和头戴式装置200能够根据瞳孔间距IPD1、间隙距离D1/D2(取自汇聚角度θc1/θc2)和瞳孔PL1和PL2的移动，以量测目标物体OBJ1的尺寸参数DM1。在此案例中，使用者可以轻易地取得关于使用者聚焦的目标物体OBJ1的尺寸信息。
在另一方面，如果使用者聚焦在较远物体(位于十米外的物体)，使用者的视线会放松并平行直视。在此案例中，头戴式装置200无法计算在瞳孔PL1和PL2两个视线之间的任何汇聚角度(或者此汇聚角度太小，而当目标物体很远时，会很难精确地量测汇聚角度)。继续参考图4。图4是根据本揭示文件的另一实施例的头戴式装置300的示意图。图4所示的头戴式装置300能够计算距离头戴式装置300很远的目标物体的尺寸参数。
图4所示的头戴式装置300包含耳机310、显示器320、瞳孔追踪模块(包含两个瞳孔追踪相机341和342)、控制模块360和前置相机模块380。耳机310、显示器320、瞳孔追踪相机341和342、控制模块360和前置相机模块380的结构特征、功能和操作与图2A和图2B所示实施例中的头戴式装置200的元件相似(如与耳机210、显示器220、瞳孔追踪相机241和242、控制模块260和前置相机模块280相似)，在此不再赘述。
在图4所示的实施例中，头戴式装置300还包含深度相机模块。深度相机模块包含为了产生头戴式装置300前方深度地图的图像感测器391和392。图像感测器391有第一视域FOV1。图像感测器392有第二视域FOV2。图像感测器391和392能够侦测分布位于第一视域FOV1和第二视域FOV2之间重叠区域VOP中任何物体的深度。如图4所示，深度相机模块的图像感测器391和392能够侦测目标物体OBJ2的深度值。
请参考图5，其是根据本揭示文件的实施例绘示了图1所示的操作S300中操作S320的流程图。在一实施例中，当瞳孔PL1和PL2的视线未汇聚时，在图3的操作S310后执行图5的操作S320。在另一实施例中，不论瞳孔PL1和PL2的视线是否汇聚，接在图1的操作S200后执行图5的操作S320。如图5所示，操作S320包含操作S321-S324。参考图4和图5，执行操作S321，通过深度相机模块(包含图像感测器391和392)以产生头戴式装置300前方的深度地图。执行操作S322以侦测目标物体OBJ2是否位于重叠区域OVP中。在图4所示的实施例中，目标物体OBJ2位于重叠区域OVP。
当目标物体OBJ2位于重叠区域OVP中，由控制模块360执行操作S323以定位在深度地图中目标物体OBJ2的相对位置。在一实施例中，目标物体OBJ2的相对位置能够根据由前置相机模块380所撷取的前方图像来定位。随后，由控制模块360执行操作S324，根据在深度地图中相对位置的深度值，以取得间隙距离D3。在此实施例中，间隙距离D3未参考汇聚角度是根据深度地图中的深度值来决定。基于图5所示的操作S320，能取得在目标物体OBJ2(距使用者很远)和瞳孔PL1/PL2之间的间隙距离D3。随后，控制方法100回到图1所示的操作S400。参考图1和图4，执行操作S400，根据间隙距离D3和瞳孔PL1/PL2的移动以计算目标物体OBJ2的尺寸参数DM2。当瞳孔PL1/PL2从目标物体OBJ2的一个关注点IPa移动到另一个关注点IPb时，侦测瞳孔PL1/PL2的移动。执行操作S500是在显示器320上显示目标物体OBJ2的尺寸参数DM2。
在图4和图5所示的前述实施例中，深度相机模块的图像感测器391和392能够侦测位于重叠区域OVP中目标物体OBJ2的深度值。然而，深度相机模块无法提供位于重叠区域OVP之外的另一个目标物体的深度值。
继续参考图6。图6是根据本揭示文件的另一实施例绘示了头戴式装置300和位于重叠区域OVP之外的目标物体OBJ3的示意图。在此案例中，在目标物体OBJ3和瞳孔PL1/PL2之间的间隙距离D4无法从深度地图中的深度值取得。继续参考图7，绘示了图1所示的操作S300中操作S330的流程图。在另一实施例中，如图6所示当目标物体OBJ3没有位于重叠区域OVP中时，在图5操作S322后执行图7中操作S330。
如图6所示，目标物体OBJ3位于使用者前方的左侧。在此案例中，因为目标物体OBJ3没有位于重叠区域OVP内，控制模块360无法从深度地图取得目标物体OBJ3的深度值。控制模块360将根据在对应于瞳孔位置的瞳孔的两个视线的汇聚角度计算间隙距离D4(类似于图3所示的操作S311-S313)。
此外，在此实施例中，因为目标物体OBJ3在左侧深处，右瞳孔PL2必须往左移动以看到目标物体OBJ3。然而，瞳孔PL2能移动的范围有限。当瞳孔PL2往左移动到轨域边界时，瞳孔PL2将停在某个点(例如，如图6所示瞳孔PL2的位置)而无法继续移动。同时，在瞳孔PL2已经停止后，左瞳孔PL1可能有一些空间以移动更远一点点。
参考图6和图7，由控制模块360执行操作S331，根据瞳孔PL1和PL2的位置以计算在瞳孔PL1和PL2之间的瞳孔距离IPD1。当一瞳孔PL2被侦测到停在轨域边界而另一瞳孔PL1被侦测更移动一位移时，由控制模块360执行操作S332以计算瞳孔PL2的模拟位置(如图6所示的模拟位置PL2s)。模拟位置PL2s是根据瞳孔PL2的现在位置和瞳孔PL1的位移(因瞳孔PL2停在轨域边界而累积的位移)计算的。由控制模块360执行操作S333，根据右瞳孔PL2的模拟位置PL2s和左瞳孔PL1的现在位置，以计算瞳孔PL1/PL2的视线之间的汇聚角度θc3。由控制模块360执行操作S334，根据瞳孔间距IPD1和汇聚角度θc3，以计算间隙距离D4。
基于图6所示的操作S330，能取得在目标物体OBJ3和瞳孔PL1/PL2之间的间隙距离D4。之后，控制方法100回到图1所示的操作S400。参考图1和图6，执行操作S400，根据间隙距离D4和瞳孔PL1/PL2的移动以计算目标物体BJ3的尺寸参数DM3。当瞳孔PL1/PL2从目标物体OBJ3的一个关注点IPa移动到另一个关注点IPb时，侦测瞳孔PL1/PL2的移动。执行操作S500以在显示器320上显示目标物体OBJ3的尺寸参数DM3。
虽然本发明的实施例已揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当以所附的权利要求书所界定的范围为准。
Claims (20)
1.一种头戴式装置，其特征在于，包含：
一显示器；
一瞳孔追踪模块，用以追踪两个瞳孔的位置和移动；
一控制模块，与该显示器和该瞳孔追踪模块通讯，该控制模块是用以：
根据所述两个瞳孔的位置以决定在该头戴式装置前方的一目标物体；
取得在所述两个瞳孔和该目标物体之间的一间隙距离；
根据该间隙距离和所述两个瞳孔的移动以计算该目标物体的一尺寸参数；以及
显示该尺寸参数于该显示器上。
2.根据权利要求1所述的头戴式装置，其特征在于，该控制模块更用以：
根据所述两个瞳孔的位置以计算在所述两个瞳孔的两个视线间的一汇聚角度；
根据所述两个瞳孔的位置计算在所述两个瞳孔之间的一瞳孔间距；以及
根据该瞳孔间距和该汇聚角度以计算该间隙距离。
3.根据权利要求2所述的头戴式装置，其特征在于，当所述两个瞳孔的位置被侦测到同时移动时，根据所述两个瞳孔的共同视线位置以计算该汇聚角度。
4.根据权利要求2所述的头戴式装置，其特征在于，当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，该控制模块更用以：
根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；以及
根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的该汇聚角度。
5.根据权利要求1所述的头戴式装置，其特征在于，还包含：
一深度相机模块，包括多个图像感测器，所述多个图像感测器用以产生对应该头戴式装置前方的一深度地图。
6.根据权利要求5所述的头戴式装置，其特征在于，该控制模块是用以根据该目标物体在该深度地图中的位置来定位，而当该目标物体位于所述多个图像感测器的视域之间的一重叠区域时，根据对应于该深度地图中位置的一深度值以取得该间隙距离。
7.根据权利要求6所述的头戴式装置，其特征在于，当该目标物体并未位于所述多个图像感测器的该视域之间的该重叠区域，且当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，该控制模块更用以：
根据所述两个瞳孔的位置以计算在所述两个瞳孔之间的一瞳孔间距；
根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；
根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的一汇聚角度；以及
根据该瞳孔间距和该汇聚角度以计算该间隙距离。
8.根据权利要求1所述的头戴式装置，其特征在于，还包含：
一前置相机，用以撷取涵盖位于该头戴式装置前方的该目标物体的一前方图像，
其中该尺寸参数显示于该显示器上的该目标物体的一相对应位置，而该相对应位置是由该前置相机撷取的该前方图像所决定。
9.根据权利要求8所述的头戴式装置，其特征在于，该显示器是一非透视显示器，由前置相机模块撷取的该前方图像被处理成立体视觉并显示在该显示器上。
10.根据权利要求1所述的头戴式装置，其特征在于，该显示器是一透视显示器，该目标物体被该头戴式装置的一使用者直接看见。
11.一种控制方法，适用于一头戴式装置，其特征在于，该控制方法包含以下步骤：
追踪两个瞳孔的位置和移动；
根据所述两个瞳孔的位置以决定在该头戴式装置前方的一目标物体；
取得在所述两个瞳孔和该目标物体之间的一间隙距离；
根据该间隙距离和所述两个瞳孔的移动以计算该目标物体的一尺寸参数；以及
显示该尺寸参数于该头戴式装置的一显示器上。
12.根据权利要求11所述的控制方法，其特征在于，取得该间隙距离的该步骤包括：
根据所述两个瞳孔的位置以计算在所述两个瞳孔的两个视线间的一汇聚角度；
根据所述两个瞳孔的位置计算在所述两个瞳孔之间的一瞳孔间距；以及
根据该瞳孔间距和该汇聚角度以计算该间隙距离。
13.根据权利要求12所述的控制方法，其特征在于，当所述两个瞳孔的位置被侦测到同时移动时，根据所述两个瞳孔的共同视线位置以计算该汇聚角度。
14.根据权利要求12所述的控制方法，其特征在于，当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，计算该汇聚角度的该步骤还包含：
根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；以及
根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的该汇聚角度。
15.根据权利要求11所述的控制方法，其特征在于，还包含：
产生对应该头戴式装置前方的一深度地图。
16.根据权利要求15所述的控制方法，其特征在于，还包含：
根据该目标物体在该深度地图中的位置来定位，
其中当该目标物体位于多个图像感测器的视域之间的一重叠区域时，取得该间隙距离的步骤包括：
根据对应于该深度地图中位置的一深度值，以计算该间隙距离。
17.根据权利要求16所述的控制方法，其特征在于，当该目标物体并未位于所述多个图像感测器的该视域之间的该重叠区域，且当所述两个瞳孔中的一第二瞳孔被侦测到停在一轨域边界，而所述两个瞳孔中的一第一瞳孔被侦测到更移动一位移时，取得该间隙距离的步骤包括：
根据所述两个瞳孔的位置以计算在所述两个瞳孔之间的一瞳孔间距；
根据该第二瞳孔的一现在位置和该第一瞳孔的该位移，以计算该第二瞳孔的一模拟位置；
根据该第二瞳孔的该模拟位置和该第一瞳孔的一现在位置，以计算在所述两个瞳孔的两个视线之间的一汇聚角度；以及
根据该瞳孔间距和该汇聚角度以计算该间隙距离。
18.根据权利要求11所述的控制方法，其特征在于，还包含：
撷取涵盖位于该头戴式装置前方的该目标物体的一前方图像；
决定在该显示器上该目标物体的一相对应位置；以及
在该显示器上该目标物体的该相对应位置显示该尺寸参数。
19.根据权利要求18所述的控制方法，其特征在于，该显示器是一非透视显示器，该控制方法还包括：
将该前方图像处理成立体视觉；以及
在该显示器上显示该立体视觉。
20.根据权利要求11所述的控制方法，其特征在于，该显示器是一透视显示器，该目标物体被该头戴式装置的一使用者直接看见。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662401909P | 2016-09-30 | 2016-09-30 | |
| US62/401,909 | 2016-09-30 | ||
| US15/704,002 US10345595B2 (en) | 2016-09-30 | 2017-09-14 | Head mounted device with eye tracking and control method thereof |
| US15/704,002 | 2017-09-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107884930A CN107884930A (zh) | 2018-04-06 |
| CN107884930B true CN107884930B (zh) | 2020-06-09 |
Family
ID=61758696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710911716.0A Active CN107884930B (zh) | 2016-09-30 | 2017-09-29 | 头戴式装置及控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10345595B2 (zh) |
| CN (1) | CN107884930B (zh) |
| TW (1) | TWI664576B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108592865A (zh) * | 2018-04-28 | 2018-09-28 | 京东方科技集团股份有限公司 | 基于ar设备的几何量测量方法及其装置、ar设备 |
| US11112609B1 (en) * | 2019-05-07 | 2021-09-07 | Snap Inc. | Digital glasses having display vision enhancement |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105530503A (zh) * | 2014-09-30 | 2016-04-27 | 光宝科技股份有限公司 | 深度图建立方法与多镜头相机系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060250322A1 (en) * | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
| US8786675B2 (en) | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
| JP5953311B2 (ja) * | 2010-11-08 | 2016-07-20 | シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． | 表示装置 |
| US9600068B2 (en) * | 2013-03-13 | 2017-03-21 | Sony Interactive Entertainment Inc. | Digital inter-pupillary distance adjustment |
| US9317114B2 (en) * | 2013-05-07 | 2016-04-19 | Korea Advanced Institute Of Science And Technology | Display property determination |
| US10198865B2 (en) * | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
| US9494799B2 (en) * | 2014-09-24 | 2016-11-15 | Microsoft Technology Licensing, Llc | Waveguide eye tracking employing switchable diffraction gratings |
-
2017
- 2017-09-14 US US15/704,002 patent/US10345595B2/en active Active
- 2017-09-29 TW TW106133762A patent/TWI664576B/zh active
- 2017-09-29 CN CN201710911716.0A patent/CN107884930B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105530503A (zh) * | 2014-09-30 | 2016-04-27 | 光宝科技股份有限公司 | 深度图建立方法与多镜头相机系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107884930A (zh) | 2018-04-06 |
| TW201814592A (zh) | 2018-04-16 |
| US10345595B2 (en) | 2019-07-09 |
| TWI664576B (zh) | 2019-07-01 |
| US20180095282A1 (en) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741624B2 (en) | Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale | |
| JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
| US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| US8933886B2 (en) | Instruction input device, instruction input method, program, recording medium, and integrated circuit | |
| WO2013179427A1 (ja) | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
| JP2017059062A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| KR20160094190A (ko) | 시선 추적 장치 및 방법 | |
| KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
| JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
| CN114730094A (zh) | 具有人工现实内容的变焦显示的人工现实系统 | |
| US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN107884930B (zh) | 头戴式装置及控制方法 | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| EP2762057A1 (en) | Stereo endoscope apparatus and image processing method | |
| JP2019066196A (ja) | 傾き測定装置及び傾き測定方法 | |
| US20170310944A1 (en) | Input/output device, input/output program, and input/output method | |
| JP2024035533A (ja) | 情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |