CN111580273B - 视频穿透式头戴显示器及其控制方法 - Google Patents
视频穿透式头戴显示器及其控制方法 Download PDFInfo
- Publication number
- CN111580273B CN111580273B CN201910119984.8A CN201910119984A CN111580273B CN 111580273 B CN111580273 B CN 111580273B CN 201910119984 A CN201910119984 A CN 201910119984A CN 111580273 B CN111580273 B CN 111580273B
- Authority
- CN
- China
- Prior art keywords
- eye
- image
- information
- user
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
Abstract
一种视频穿透式头戴显示器,包括:至少一相机、一第一显示器、一第二显示器、一第一透镜、一第二透镜、一第一眼球追踪器、一第二眼球追踪器,以及一处理器。相机用于获取一环境影像信息。第一眼球追踪器用于检测一使用者的一左眼活动信息。第二眼球追踪器用于检测使用者的右眼活动信息。处理器是根据环境影像信息、左眼活动信息,以及右眼活动信息来取得使用者的一眼睛专注区域和眼睛专注区域的一深度信息。处理器还用于监控眼睛专注区域的一位移量和深度信息的一变化量,再据以判断是否要调整第一显示器和第二显示器的影像位置。
Description
技术领域
本发明涉及一种视频穿透式头戴显示器(Video See-Through Head MountedDisplay,VST-HMD),特别涉及一种可动态调整以改善使用者体验的视频穿透式头戴显示器。
背景技术
头戴显示器(Head Mounted Display,HMD),主要可分为沉浸式(Immersive)与穿透式(See-Through)二种,其中穿透式的头戴式显示器又可再细分为光学穿透式(OpticalSee-Through)和视频穿透式(Video See-Through)二大类,其中视频穿透式头戴显示器已广泛地应用于虚拟现实(Virtual Reality,VR)、混合实境(Mixed Reality,MR),以及增强现实(Augmented Reality,AR)等领域当中。
一般而言,通过视频穿透式头戴显示器所观看的影像中,只有特定聚焦区域最为清晰,但若使用者观看特定聚焦区域外的部分,则其影像可能不够清晰或无法贴近人眼的感受,造成使用者实际体验不佳。有鉴于此,势必要提出一种全新的解决方案,以克服现有技术所面临的问题。
发明内容
在优选实施例中,本发明提供一种视频穿透式头戴显示器,与一使用者进行互动,并包括:至少一相机,用于获取一环境影像信息;一第一显示器,根据该环境影像信息来展示一第一影像;一第二显示器,根据该环境影像信息来展示一第二影像;一第一透镜;一第二透镜,其中当该使用者配挂该视频穿透式头戴显示器时,该第一显示器和该第一透镜是对齐该使用者的一左眼,而该第二显示器和该第二透镜是对齐该使用者的一右眼;一第一眼球追踪器,检测该使用者的一左眼活动信息;一第二眼球追踪器,检测该使用者的一右眼活动信息;以及一处理器,根据该环境影像信息、该左眼活动信息,以及该右眼活动信息来取得该使用者的一眼睛专注区域和该眼睛专注区域的一深度信息;其中该处理器更监控该眼睛专注区域的一位移量和该深度信息的一变化量,再据以判断是否要调整该第一影像的位置和该第二影像的位置。
在一些实施例中,若该眼睛专注区域的该位移量大于一第一临界值或该深度信息的该变化量大于一第二临界值,则该处理器即动态地调整该第一影像的该位置和该第二影像的该位置。
在一些实施例中,该视频穿透式头戴显示器还包括:一映射模块,根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第一设定参数,其中该处理器是根据该第一设定参数来动态地调整该第一影像的该位置和该第二影像的该位置。
在一些实施例中,该映射模块还根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第二设定参数,使得该处理器还根据该第二设定参数来动态地调整该相机的一焦距设定。
在一些实施例中,该第一眼球追踪器和该第二眼球追踪器更检测该使用者的一瞳距,而该处理器还根据该瞳距来调整该使用者的该左眼和该右眼之间的像差。
在另一优选实施例中,一种视频穿透式头戴显示器的控制方法,包括下列步骤:通过至少一相机,获取一环境影像信息;通过一第一显示器,根据该环境影像信息来展示一第一影像;通过一第二显示器,根据该环境影像信息来展示一第二影像;检测一使用者的一左眼活动信息;检测该使用者的一右眼活动信息;根据该环境影像信息、该左眼活动信息,以及该右眼活动信息来取得该使用者的一眼睛专注区域和该眼睛专注区域的一深度信息;以及监控该眼睛专注区域的一位移量和该深度信息的一变化量,再据以判断是否要调整该第一影像的位置和该第二影像的位置。
在一些实施例中,该控制方法还包括:若该眼睛专注区域的该位移量大于一第一临界值或该深度信息的该变化量大于一第二临界值,则动态地调整该第一影像的该位置和该第二影像的该位置。
在一些实施例中,该控制方法还包括:通过一映射模块,根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第一设定参数;以及根据该第一设定参数来动态地调整该第一影像的该位置和该第二影像的该位置。
在一些实施例中,该控制方法还包括:通过该映射模块,根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第二设定参数;以及根据该第二设定参数来动态地调整该相机的一焦距设定。
在一些实施例中,该控制方法还包括:检测该使用者的一瞳距;以及根据该瞳距来调整该使用者的该左眼和该右眼之间的像差。
附图说明
图1是显示根据本发明一实施例所述的视频穿透式头戴显示器的示意图。
图2是显示根据本发明一实施例所述的视频穿透式头戴显示器的示意图。
图3是显示根据本发明一实施例所述的眼睛专注区域的示意图。
图4是显示根据本发明一实施例所述的第一显示器和第二显示器的示意图。
图5是显示根据本发明一实施例所述的视频穿透式头戴显示器的立体图。
图6是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的流程图。
图7是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的部分流程图。
图8是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的部分流程图。
图9是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的部分流程图。
附图标记说明:
100、200、500~视频穿透式头戴显示器;
110~相机;
111~第一相机;
112~第二相机;
121~第一显示器;
122~第二显示器;
131~第一透镜;
132~第二透镜;
141~第一眼球追踪器;
142~第二眼球追踪器;
150~处理器;
155~映射模块;
160~环境影像信息;
161~近景信息;
162~中景信息;
163~远景信息;
171~第一影像;
172~第二影像;
191~使用者的左眼;
192~使用者的右眼;
381~第一眼睛专注点;
382~第二眼睛专注点;
D1~瞳距;
X~X轴;
Y~Y轴;
Z~Z轴。
具体实施方式
为让本发明的目的、特征和优点能更明显易懂,下文特举出本发明的具体实施例,并配合说明书附图,作详细说明如下。
在说明书及权利要求当中使用了某些词汇来指称特定的元件。本领域技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”一词为开放式的用语,故应解释成“包含但不仅限定于”。“大致”一词则是指在可接受的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,达到所述基本的技术效果。此外,“耦接”一词在本说明书中包含任何直接及间接的电性连接手段。因此,若文中描述一第一装置耦接至一第二装置,则代表该第一装置可直接电性连接至该第二装置,或经由其它装置或连接手段而间接地电性连接至该第二装置。
图1是显示根据本发明一实施例所述的视频穿透式头戴显示器(Video See-Through Head Mounted Display,VST-HMD)100的示意图。视频穿透式头戴显示器100可与一使用者进行互动。在图1的实施例中,视频穿透式头戴显示器100包括:至少一相机(Camera)110、一第一显示器(Display Device)121、一第二显示器122、一第一透镜(Lens)131、一第二透镜132、一第一眼球追踪器(Eye Tracker)141、一第二眼球追踪器142,以及一处理器(Processor)150。必须理解的是,虽然未显示于图1中,视频穿透式头戴显示器100还可包括其他元件,例如:一扬声器(Speaker)、一供电模块(Power Supply Module),以及一外壳(Housing)。
相机110用于获取一环境影像信息160(如图2所示)。例如,环境影像信息160可关于附近的一场景影像,或可为一360度环景影像。当使用者配挂视频穿透式头戴显示器100时,第一显示器121和第一透镜131是对齐使用者的一左眼(Left Eye)191,而第二显示器122和第二透镜132是对齐使用者的一右眼(Right Eye)192。因此,使用者的左眼191可经由第一透镜131观看第一显示器121,而使用者的右眼192可经由第二透镜132观看第二显示器122。第一显示器121和第二显示器122可根据相机110所获取的环境影像信息160来产生对应的影像,以让配挂视频穿透式头戴显示器100的使用者能产生身历其境的感觉。
第一眼球追踪器141可用于追踪左眼191,并检测出使用者的一左眼活动信息。第二眼球追踪器142可用于追踪右眼192,并检测出使用者的一右眼活动信息。例如,左眼活动信息可包括左眼191的转动方向和转动角度,而右眼活动信息可包括右眼192的转动方向和转动角度,但亦不仅限于此。大致而言,处理器150是根据相机110、第一眼球追踪器141,以及第二眼球追踪器142的回传结果来适当控制第一显示器121和第二显示器122的操作,从而可最佳化使用者的体验。
以下实施例将详细介绍所提的视频穿透式头戴显示器的操作原理。必须理解的是,这些附图和叙述仅为举例,而非用于限制本发明。
图2是显示根据本发明一实施例所述的视频穿透式头戴显示器200的示意图。图2和图1相似。在图2的实施例中,视频穿透式头戴显示器200包括一第一相机111、一第二相机112、一第一显示器121、一第二显示器122、一第一透镜131、一第二透镜132、一第一眼球追踪器141、一第二眼球追踪器142,以及一处理器150。第一相机111所获取的环境影像信息160是传送至第一显示器121,而第二相机112所获取的环境影像信息160是传送至第二显示器122。亦即,第一相机111可作为一虚拟左眼(Virtual Left Eye),而第二相机112可作为一虚拟右眼(Virtual Right Eye)。具有双相机的视频穿透式头戴显示器200可让使用者观赏到比单一相机更立体清晰的影像。环境影像信息160包括一近景信息161、一中景信息162,以及一远景信息163,其是对应于与使用者的不同距离。在一些实施例中,第一相机111和第二相机112的焦距(Focus)皆为固定。在另一些实施例中,第一相机111和第二相机112的焦距皆为可变,而第一相机111和第二相机112可通过适当控制其焦距设定来更精确地获取前述的近景信息161、中景信息162,或(且)远景信息163。
图3是显示根据本发明一实施例所述的眼睛专注区域的示意图。通过分析左眼活动信息和右眼活动信息,处理器150可找出使用者的一眼睛专注区域(Eye Focus Region)。以左眼活动信息为例,在第一显示器121上,使用者的左眼191一开始可注视一第一眼睛专注点381。接着,由于环境影像信息160可能发生变化,使用者的左眼191可改为注视一第二眼睛专注点382,而非原始的第一眼睛专注点381。此时,眼睛专注区域的位移量A可如下列方程式(1)、(2)、(3)所述。
Δx=x2-x1....................(1)
Δy=y2-y1....................(2)
其中“(x1,y1)”代表第一眼睛专注点381的位置坐标,“(x2,y2)”代表第二眼睛专注点382的位置坐标,“Δx”代表眼睛专注区域于X轴方向上的位移分量,“Δy”代表眼睛专注区域于Y轴方向上的位移分量,而“A”代表眼睛专注区域的位移量A。
再者,由于环境影像信息160可细分为近景信息161、中景信息162,以及远景信息163,根据环境影像信息160,处理器150还可取得眼睛专注区域的一深度信息(DepthInformation)。举例而言,若第一眼睛专注点381是对应于近景信息161,则其场景深度将相对较小,而若第二眼睛专注点382是对应于远景信息163,则其场景深度将相对较大,但亦不仅限于此。所谓“场景深度”可与使用者至对应场景之间的距离呈现正比关系。因此,第一眼睛专注点381和第二眼睛专注点382之间即产生深度信息的变化量B,其中深度信息的变化量B可如下列方程式(4)、(5)所述。
Δz=z2-z1…………………………………………(4)
B=|Δz|……………………………………………(5)
其中“z1”代表第一眼睛专注点381的场景深度,“z2”代表第二眼睛专注点382的场景深度,“Δz”代表眼睛专注区域的场景深度于Z轴方向上的差异值,而“B”代表深度信息的变化量B。
在前述所有参数当中,第一眼睛专注点381的位置坐标可视为原始的眼睛专注区域,第二眼睛专注点382的位置坐标可视为位移后的眼睛专注区域,第一眼睛专注点381的场景深度可视为原始的深度信息,而第二眼睛专注点382的场景深度可视为变化后的深度信息。
另外,处理器150亦采相似方式来分析关于使用者的右眼192的右眼活动信息,故在此不再赘述。易言之,眼睛专注区域与其位移量A,以及深度信息与其变化量B可由处理器150根据左眼活动信息、右眼活动信息,或是此二者的一组合来决定。
图4是显示根据本发明一实施例所述的第一显示器121和第二显示器122的示意图。在图4的实施例中,第一显示器121是根据环境影像信息160来展示一第一影像171,而第二显示器122是根据环境影像信息160来展示一第二影像172。处理器150可持续监控眼睛专注区域的位移量A和深度信息的变化量B,再据以判断是否要调整第一影像171的位置和第二影像172的位置。
在一些实施例中,若眼睛专注区域的位移量A大于一第一临界值或深度信息的变化量B大于一第二临界值,则可判断为使用者的眼睛专注区域已有明显改变,此时,处理器150即可动态地调整第一影像171的位置和第二影像172的位置(例如,沿X轴方向移动M个像素单位,并沿Y轴方向移动N个像素单位,其中M、N皆为整数)。在另一些实施例中,若眼睛专注区域的位移量A小于或等于第一临界值且深度信息的变化量B小于或等于第二临界值,则可判断为使用者的眼睛专注区域未发生明显改变,此时,处理器150未采进一步动作,并可再持续监控眼睛专注区域的位移量A和深度信息的变化量B。在此设计下,当使用者的眼睛专注区域或深度信息发生明显变化时,处理器150可通过微调第一影像171的位置和第二影像172的位置来补偿使用者的左眼191和右眼192之间的像差。因此,使用者将能看到更具立体感的影像,从而可改善视频穿透式头戴显示器200的使用体验。必须注意的是,前述第一临界值和第二临界值的加入有助于避免处理器150发生误动作,同时能稳定视频穿透式头戴显示器200的操作。另外,前述的第一临界值和第二临界值还可根据不同需要而由使用者进行调整。
在一些实施例中,视频穿透式头戴显示器200还包括一映射模块(MappingModule)155,其内可存储有一映射表(Mapping Table)。映射模块155是耦接至处理器150。映射模块155可根据位移后的眼睛专注区域(其包括位移量A)和变化后的深度信息(其包括变化量B)的来查询此映射表,以产生一第一设定参数。第一设定参数涉及第一显示器121和第二显示器122的设定方式。处理器150还可根据第一设定参数来动态地调整第一影像171的位置和第二影像172的位置。
此外,映射模块155还可根据位移后的眼睛专注区域(其包括位移量A)和变化后的深度信息(其包括变化量B)来查询前述映射表,以产生一第二设定参数。第二设定参数涉及第一相机111或(且)第二相机112的设定方式。处理器150还可根据第二设定参数来动态地调整第一相机111或(且)第二相机112的一焦距设定。在此设计下,当使用者的眼睛专注区域或深度信息发生明显变化时,处理器150可通过微调第一相机111或(且)第二相机112的焦距设定来获取不同距离的场景信息,让使用者可观看到更清晰的影像。举例而言,当使用者的眼睛专注区域涉及近景信息161时,第一相机111或(且)第二相机112的焦距将会变短;而当使用者的眼睛专注区域涉及远景信息163时,第一相机111或(且)第二相机112的焦距将会变长。
在一些实施例中,第一眼球追踪器141和第二眼球追踪器142更检测使用者的一瞳距D1,亦即,左眼191的瞳孔和右眼192的瞳孔两者之间距。由于各个使用者的脸形不同,在综合考量此一参数后,处理器150还可根据瞳距D1来调整使用者的左眼191和右眼192之间的像差(亦即,双眼影像像差)。
在同时使用第一相机111和第二相机112的情况下(或如图2所示同时使用双相机),若使用者的瞳距D1大于第一相机111和第二相机112之间距,则处理器150可将第一影像171和第二影像172拉近,以加大左眼191和右眼192之间的像差。换言之,第一影像171可朝+X轴的方向作移动,而第二影像172可朝-X轴的方向作移动,使得第一影像171和第二影像172皆更靠近使用者的鼻梁。反之,若使用者的瞳距D1小于第一相机111和第二相机112之间距,则处理器150可将第一影像171和第二影像172拉远,以缩小左眼191和右眼192之间的像差。换言之,第一影像171可朝-X轴的方向作移动,而第二影像172可朝+X轴的方向作移动,使得第一影像171和第二影像172皆更远离使用者的鼻梁。
另一方面,若仅使用第一相机111和第二相机112的其中一者(或如图1所示仅使用单一相机),则处理器150可根据使用者的瞳距D1来作下列调整。若使用者的瞳距D1相对较大,则处理器150可将第一影像171和第二影像172的双眼影像像差以较大幅度作调大。反之,若使用者的瞳距D1相对较小,则处理器150可将第一影像171和第二影像172的双眼影像像差以较小幅度作调大。
在一些实施例中,若使用者的眼睛专注区域是对应于第一透镜131或(且)第二透镜132的一中心位置,则处理器150可较大幅度地调整第一影像171的位置和第二影像172的位置(例如:调整幅度为20%),或(且)较大幅度地调整第一相机111或(且)第二相机112的焦距设定(例如:调整幅度为20%)。在另一些实施例中,在一些实施例中,若使用者的眼睛专注区域是对应于第一透镜131或(且)第二透镜132的一边缘位置,则处理器150可较小幅度地调整第一影像171的位置和第二影像172的位置(例如:调整幅度为10%),或(且)较小幅度地调整第一相机111或(且)第二相机112的焦距设定(例如:调整幅度为10%)。前述设定是导因于对使用者而言,对应透镜的中心位置的影像通常相对清晰,而对应透镜的边缘位置的影像通常相对模糊。因此,考虑第一透镜131或(且)第二透镜132的位置差异,处理器150可以更进一步强化使用者的影像立体感。
图5是显示根据本发明一实施例所述的视频穿透式头戴显示器500的立体图,其可视为所提的视频穿透式头戴显示器500的实际产品图。然而,视频穿透式头戴显示器500的形状和种类于本发明中并不特别作限制,其可根据不同需要而进行改变和调整。
图6是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的流程图。在图6的实施例中,控制方法包括下列步骤。首先,在步骤S610,通过至少一相机,获取一环境影像信息。在步骤S620,通过一第一显示器,根据环境影像信息来展示一第一影像。在步骤S630,通过一第二显示器,根据环境影像信息来展示一第二影像。在步骤S640,检测一使用者的一左眼活动信息。在步骤S650,检测使用者的一右眼活动信息。在步骤S660,根据环境影像信息、左眼活动信息,以及右眼活动信息来取得使用者的一眼睛专注区域和眼睛专注区域的一深度信息。在步骤S670,监控眼睛专注区域的一位移量和深度信息的一变化量,再据以判断是否要调整第一影像的位置和第二影像的位置。
图7是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的部分流程图。在图7的实施例中,前述步骤S670还包括下列步骤。在步骤S710,判断是否眼睛专注区域的位移量大于一第一临界值或深度信息的变化量大于一第二临界值。若否,则程序回到步骤S710,并持续监控眼睛专注区域的位移量和深度信息的变化量。若是,则在步骤S720,动态地调整第一影像的位置和第二影像的位置。
图8是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的部分流程图。在图8的实施例中,前述步骤S720还包括下列步骤。在步骤S810,通过一映射模块,根据位移后的眼睛专注区域和变化后的深度信息来产生一第一设定参数。在步骤S820,根据第一设定参数来动态地调整第一影像的位置和第二影像的位置。
图9是显示根据本发明一实施例所述的视频穿透式头戴显示器的控制方法的部分流程图。在图9的实施例中,前述步骤S720还包括下列步骤。在步骤S910,通过映射模块,根据位移后的眼睛专注区域和变化后的深度信息来产生一第二设定参数。在步骤S920,根据第二设定参数来动态地调整相机的一焦距设定。
在一些实施例中,视频穿透式头戴显示器的控制方法还包括检测使用者的一瞳距,以及根据瞳距来调整使用者的左眼和右眼之间的像差。
必须注意的是,以上步骤无须依次序执行,且视频穿透式头戴显示器100、200、500的所有装置特征皆可套用至图6至图9所述的控制方法当中。
本发明提出一种新颖的视频穿透式头戴显示器,其可根据使用者的眼睛特性参数来执行一动态最佳化程序。在此设计下,使用者将能看到更清晰的影像并有效提升影像的立体感,故能大幅改善视频穿透式头戴显示器的使用经验。
值得注意的是,以上所述的元件参数皆非为本发明的限制条件。设计者可以根据不同需要调整这些设定值。本发明的视频穿透式头戴显示器和控制方法并不仅限于图1至图9所图示的状态。本发明可以仅包括图1至图9的任何一或多个实施例的任何一或多个项特征。换言之,并非所有图示的特征均须同时实施于本发明的视频穿透式头戴显示器和控制方法当中。
本发明的方法,或特定形态或其部分,可以以程序码的形态存在。程序码可以包含于实体媒体,如软碟、光盘片、硬盘、或是任何其他机器可读取(如电脑可读取)存储媒体,亦或不限于外在形式的电脑程序产品,其中,当程序码被机器,如电脑载入且执行时,此机器变成用以参与本发明的装置。程序码也可以通过一些传送媒体,如电线或电缆、光纤、或是任何传输形态进行传送,其中,当程序码被机器,如电脑接收、载入且执行时,此机器变成用以参与本发明的装置。当在一般用途处理单元实作时,程序码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。
在本说明书以及权利要求中的序数,例如“第一”、“第二”、“第三”等等,彼此之间并没有顺序上的先后关系,其仅用于标示区分两个具有相同名字的不同元件。
本发明虽以优选实施例公开如上,然其并非用以限定本发明的范围,任何本领域的技术人员,在不脱离本发明的构思和范围内,当可做些许的变动与润饰,因此本发明的保护范围当视权利要求为准。
Claims (6)
1.一种视频穿透式头戴显示器,与一使用者进行互动,并包括:
至少一相机,用于获取一环境影像信息;
一第一显示器,根据该环境影像信息来展示一第一影像;
一第二显示器,根据该环境影像信息来展示一第二影像;
一第一透镜;
一第二透镜,其中当该使用者配挂该视频穿透式头戴显示器时,该第一显示器和该第一透镜是对齐该使用者的一左眼,而该第二显示器和该第二透镜是对齐该使用者的一右眼;
一第一眼球追踪器,检测该使用者的一左眼活动信息;
一第二眼球追踪器,检测该使用者的一右眼活动信息;以及
一处理器,根据该环境影像信息、该左眼活动信息,以及该右眼活动信息来取得该使用者的一眼睛专注区域和该眼睛专注区域的一深度信息;
其中该处理器更监控该眼睛专注区域的一位移量和该深度信息的一变化量,再据以判断是否要调整该第一影像的位置和该第二影像的位置;
其中若该眼睛专注区域的该位移量大于一第一临界值或该深度信息的该变化量大于一第二临界值,则该处理器即动态地调整该第一影像的该位置和该第二影像的该位置;
其中视频穿透式头戴显示器还包括:
一映射模块,根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第一设定参数,其中该处理器是根据该第一设定参数来动态地调整该第一影像的该位置和该第二影像的该位置。
2.如权利要求1所述的视频穿透式头戴显示器,其中该映射模块还根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第二设定参数,使得该处理器还根据该第二设定参数来动态地调整该相机的一焦距设定。
3.如权利要求1所述的视频穿透式头戴显示器,其中该第一眼球追踪器和该第二眼球追踪器更检测该使用者的一瞳距,而该处理器还根据该瞳距来调整该使用者的该左眼和该右眼之间的像差。
4.一种视频穿透式头戴显示器的控制方法,包括下列步骤:
通过至少一相机,获取一环境影像信息;
通过一第一显示器,根据该环境影像信息来展示一第一影像;
通过一第二显示器,根据该环境影像信息来展示一第二影像;
检测一使用者的一左眼活动信息;
检测该使用者的一右眼活动信息;
根据该环境影像信息、该左眼活动信息,以及该右眼活动信息来取得该使用者的一眼睛专注区域和该眼睛专注区域的一深度信息;以及
监控该眼睛专注区域的一位移量和该深度信息的一变化量,再据以判断是否要调整该第一影像的位置和该第二影像的位置;
若该眼睛专注区域的该位移量大于一第一临界值或该深度信息的该变化量大于一第二临界值,则动态地调整该第一影像的该位置和该第二影像的该位置;
通过一映射模块,根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第一设定参数;以及
根据该第一设定参数来动态地调整该第一影像的该位置和该第二影像的该位置。
5.如权利要求4所述的控制方法,还包括:
通过该映射模块,根据位移后的该眼睛专注区域和变化后的该深度信息来产生一第二设定参数;以及
根据该第二设定参数来动态地调整该相机的一焦距设定。
6.如权利要求5所述的控制方法,还包括:
检测该使用者的一瞳距;以及
根据该瞳距来调整该使用者的该左眼和该右眼之间的像差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910119984.8A CN111580273B (zh) | 2019-02-18 | 2019-02-18 | 视频穿透式头戴显示器及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910119984.8A CN111580273B (zh) | 2019-02-18 | 2019-02-18 | 视频穿透式头戴显示器及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111580273A CN111580273A (zh) | 2020-08-25 |
CN111580273B true CN111580273B (zh) | 2022-02-01 |
Family
ID=72114780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910119984.8A Active CN111580273B (zh) | 2019-02-18 | 2019-02-18 | 视频穿透式头戴显示器及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111580273B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114201028B (zh) * | 2020-09-01 | 2023-08-04 | 宏碁股份有限公司 | 扩增实境系统与其锚定显示虚拟对象的方法 |
CN112866672B (zh) * | 2020-12-30 | 2022-08-26 | 深圳卡乐星球数字娱乐有限公司 | 一种用于沉浸式文化娱乐的增强现实系统及方法 |
TW202235956A (zh) * | 2021-03-05 | 2022-09-16 | 大立光電股份有限公司 | 頭戴裝置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103163717A (zh) * | 2011-12-14 | 2013-06-19 | 索尼公司 | 立体摄像设备 |
WO2014210337A1 (en) * | 2013-06-28 | 2014-12-31 | Microsoft Corporation | Camera auto-focus based on eye gaze |
TWI633336B (zh) * | 2017-02-24 | 2018-08-21 | 宏碁股份有限公司 | 頭戴式顯示器、其視野校正方法以及混合實境顯示系統 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104509108A (zh) * | 2012-08-06 | 2015-04-08 | 索尼公司 | 图像显示设备和图像显示方法 |
WO2017059522A1 (en) * | 2015-10-05 | 2017-04-13 | Esight Corp. | Methods for near-to-eye displays exploiting optical focus and depth information extraction |
-
2019
- 2019-02-18 CN CN201910119984.8A patent/CN111580273B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103163717A (zh) * | 2011-12-14 | 2013-06-19 | 索尼公司 | 立体摄像设备 |
WO2014210337A1 (en) * | 2013-06-28 | 2014-12-31 | Microsoft Corporation | Camera auto-focus based on eye gaze |
TWI633336B (zh) * | 2017-02-24 | 2018-08-21 | 宏碁股份有限公司 | 頭戴式顯示器、其視野校正方法以及混合實境顯示系統 |
TW201831947A (zh) * | 2017-02-24 | 2018-09-01 | 宏碁股份有限公司 | 頭戴式顯示器、其視野校正方法以及混合實境顯示系統 |
Also Published As
Publication number | Publication date |
---|---|
CN111580273A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11669160B2 (en) | Predictive eye tracking systems and methods for foveated rendering for electronic displays | |
EP3740847B1 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
CN110325895B (zh) | 聚焦调整多平面头戴式显示器 | |
US10871825B1 (en) | Predictive eye tracking systems and methods for variable focus electronic displays | |
JP6502586B2 (ja) | 焦点調整するバーチャルリアリティヘッドセット | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
TWI683136B (zh) | 視訊穿透式頭戴顯示器及其控制方法 | |
US10401953B2 (en) | Systems and methods for eye vergence control in real and augmented reality environments | |
CN111580273B (zh) | 视频穿透式头戴显示器及其控制方法 | |
SG188765A1 (en) | Surgical stereo vision systems and methods for microsurgery | |
US8692870B2 (en) | Adaptive adjustment of depth cues in a stereo telepresence system | |
US10598941B1 (en) | Dynamic control of optical axis location in head-mounted displays | |
EP3301545A1 (en) | Computer program, object tracking method, and display device | |
EP3929650A1 (en) | Gaze tracking apparatus and systems | |
JP2006285715A (ja) | 視線検出システム | |
Jun et al. | A calibration method for optical see-through head-mounted displays with a depth camera | |
US10698218B1 (en) | Display system with oscillating element | |
KR101817436B1 (ko) | 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 | |
US20230393655A1 (en) | Electronic apparatus | |
US11740478B2 (en) | Display device, control method thereof, and recording medium | |
WO2024122191A1 (ja) | 画像処理装置及び方法、プログラム、記憶媒体 | |
US20220350141A1 (en) | Head-mountable display apparatus and methods | |
EP4312105A1 (en) | Head-mounted display and image displaying method | |
WO2023157332A1 (ja) | 情報処理装置および調整画面表示方法 | |
WO2023102500A1 (en) | Methods for controlling performance of extended reality display systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |