CN104765445A - 显示器上的眼睛聚散检测 - Google Patents

显示器上的眼睛聚散检测 Download PDF

Info

Publication number
CN104765445A
CN104765445A CN201510003539.7A CN201510003539A CN104765445A CN 104765445 A CN104765445 A CN 104765445A CN 201510003539 A CN201510003539 A CN 201510003539A CN 104765445 A CN104765445 A CN 104765445A
Authority
CN
China
Prior art keywords
eyes
display
image
user
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510003539.7A
Other languages
English (en)
Other versions
CN104765445B (zh
Inventor
D.迪森索
S.马蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104765445A publication Critical patent/CN104765445A/zh
Application granted granted Critical
Publication of CN104765445B publication Critical patent/CN104765445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Abstract

本发明的一个实施方案阐述了基于眼睛聚散来显示图像的技术。所述技术包括确定从用户的一个或多个眼睛到显示位置的第一距离,以及基于与所述用户的所述眼睛相关联的眼睛注视矢量来确定眼睛会聚距离。所述技术还包括在所述眼睛会聚距离大致上与所述第一距离相同时,使所述图像显示,或在所述眼睛会聚距离大致上不与所述第一距离相同时,使所述图像的显示终止。

Description

显示器上的眼睛聚散检测
技术领域
本发明的实施方案总体上涉及图形用户界面,并且更具体地说涉及显示器上的眼睛聚散检测。
背景技术
电子工业中的技术进步已经增加了各种类型的图形用户界面(GUI)在日常生活中的几乎所有方面中的普及率。在许多国家,大多数人现在都携带有个人计算机、智能电话、智能手表等中的至少一种,从而提供了对不同类型信息的便利访问。此外,许多车辆提供了GUI(例如,提供在中央控制台显示器、电子仪表组显示器、抬头显示器(head-up display)和/或导航系统显示器上),从而提供了车辆统计、路径导向、媒体信息等。
通过如上述设备的常规电子设备所显示的GUI通常试图适应特定使用情况,以使用户能够在最少分心的情况下保持“融入”某些情境(settings)。然而,因为大多数电子设备要求用户使他或她的眼睛避开周围环境(例如,为了观看显示屏幕),所以这些装置对于某些使用情况来说提供不可接受的分心水平。例如,通过中心控制台导航屏幕和/或仪表板显示器所提供的车辆GUI要求用户从道路转移目光,从而增加分心驾驶的风险。此外,尽管如抬头显示器(HUD)的某些显示技术使得用户能够将他或她的视力维持在所需方向上(例如,朝向道路),但是通过这些显示器所产生的图像使用户视力的部分变得模糊。因此,在人驾驶时和在其它类似情况下,通过常规电子设备显示的GUI不太适合于使用。
如前述说明,在用户正在驾驶时,使用户能够更加有效地查看由显示器生成的图像并且与之进行交互的一种或多种技术将是有用的。
发明内容
本发明的一个实施方案阐述基于眼睛聚散来显示图像的方法。所述方法包括确定从用户的一个或多个眼睛到显示位置的第一距离,并且基于与所述用户的所述眼睛相关联的眼睛注视矢量来确定眼睛会聚距离。所述方法还包括在所述眼睛会聚距离大致上与所述第一距离相同时,使所述图像显示,或在所述眼睛会聚距离大致上不与所述第一距离相同时,使所述图像的显示终止。
另外的实施方案尤其提供被配置来实现以上阐述方法的系统和非暂时性计算机可读介质。
各种实施方案的至少一个优势在于,用户能够基于所述用户是否将他或她的眼睛聚焦于显示器上来使图像显示或隐藏。另外,图像可通过透明显示器和/或抬头显示器(HUD)来显示,从而使得用户能够隐藏图像,然后查看图像后方的周围环境而不改变他或她的查看方向。
附图说明
因此,使本发明的上述特征可得到详细理解的方式,即对以上简要概述的本发明的更具体描述可参照实施方案来获得,实施方案中的一些在附图中示出。然而,应指出的是,附图只示出本发明的典型实施方案,并因此不视为对本发明范围的限制,因为本发明可承认其它同等有效的实施方案。
图1A示出根据各种实施方案的用于确定眼睛矢量并且改变显示器的眼睛聚散检测系统;
图1B示出根据各种实施方案的用户与图1A的眼睛聚散检测系统进行交互以便使图像显示或隐藏;
图2A和图2B示出根据各种实施方案的结合透明显示器来操作图1A的眼睛聚散检测系统的技术;
图3A和图3B示出根据各种实施方案的结合抬头显示器(HUD)来操作图1A的眼睛聚散检测系统的技术;
图4是示出根据各种实施方案的用于确定眼睛会聚距离的技术的概念图;
图5A至图5D示出根据各种实施方案的将图形用户界面(GUI)与图1A的眼睛聚散检测系统一起实现的技术;
图6是根据各种实施方案的基于眼睛聚散检测来显示图像的方法步骤的流程图;以及
图7是根据各种实施方案的可结合图1A的眼睛聚散检测系统来实现的计算设备的方框图。
具体实施方式
在以下描述中,阐述了许多特定细节以提供对实施方案的更全面理解。然而,本领域技术人员将明白的是,实施方案可在没有这些特定细节中的一个或多个细节的情况下加以实施。
图1A示出根据各种实施方案的用于确定眼睛矢量并且改变显示器130的眼睛聚散检测系统100。如图所示,眼睛聚散检测系统100可包括但不限于一个或多个传感器110和显示器130。传感器110被配置来获取用户的图像和/或确定用户的位置。由一个或多个传感器110获取的图像可通过包括于眼睛聚散检测系统100中的计算设备120和/或与眼睛聚散检测系统100分开的计算设备120来分析。显示器130被配置来向用户显示一个或多个图像,如图形用户界面(GUI)、媒体内容、车辆统计和/或其它类型的信息。
在各种实施方案中,传感器110包括被配置来如图1B所示获取用户眼睛的图像的一个或多个摄像机,图1B中示出根据各种实施方案的用户与图1A的眼睛聚散检测系统100进行交互以便使图像显示或隐藏。图像然后被分析来确定眼睛位置、眼睛聚散角、二维(2D)眼睛矢量、三维(3D)眼睛矢量、眼间距离和/或眼睛会聚的距离。在一些实施方案中,使用瞳孔中心角膜反射眼睛跟踪技术来处理用户眼睛的图像,所述技术如在TOBII TECHNOLOGYTM(Karlsrovagen 2D,Danderyd 18253,瑞典,SE556613965401)所生产的“眼睛跟踪器”中实现的那些技术。然而,图像可通过任何适用成像技术来获取并处理,所述成像技术包括但不限于可见光技术和红外光技术。
在一些实施方案中,眼睛聚散检测系统100包括两个(或更多个)摄像机,其各自被配置来跟踪用户的一个或两个眼睛。此外,其它传感器110(例如,光传感器、图像传感器、深度传感器等)可包括在眼睛聚散检测系统100中,以便测量从用户到眼睛聚散检测系统100的距离、各种对象和显示位置(例如,显示器130表面和/或虚拟图像位置)与眼睛聚散检测系统100的距离等。另外,在一些实施方案中,眼睛聚散检测系统100的至少一部分(例如,一个或多个传感器110)由用户佩戴。例如并且无限制地,眼睛聚散检测系统100可为由用户佩戴的头戴耳机或一副眼镜。在这些实施方案中,传感器110可定位在眼睛聚散检测系统100中邻近用户的眼睛,如定位在头戴耳机或一副眼镜中靠近用户的每个眼睛。
显示器130可包括透明显示器(例如,有机发光二极管(OLED)显示器、液晶显示器(LCD)等)、抬头显示器(HUD)(例如,反射显示器、立体显示器等),或使得用户能够查看显示图像并且看穿显示器130的至少一部分从而查看周围环境的任何其它类型的设备。在一些实施方案中,显示器130定位在用户前方,如在汽车仪表板或挡风玻璃中或顶部上,或为头戴式显示器(HMD),如耦接至一副眼镜的显示器130。在其它实施方案中,显示器130包括投影仪,其将显示图像朝向显示位置投射,如朝向用户感知显示图像的反射表面投射。因此,在这些实施方案中,显示器130和显示位置可处于分开位置。
如上所述,常规透明显示器和HUD不能检测用户是聚焦于显示位置(例如,显示表面或虚拟图像位置)还是仅仅面朝显示位置。因此,常规显示器时常在信息带来烦扰、无相干或在其它情况下为用户不需要时显示所述信息。此外,在许多情况下,如在用户驾驶时,向用户显示不需要的信息会干扰用户查看并与他或她的周围环境交互的能力。例如并且无限制地,参照图2B,虽然用户头部和眼睛面朝显示器130,但是用户的眼睛可看穿显示器130并且试图聚焦于周围环境(例如,道路或周围车辆)。因此,在显示器130上显示图像可使用户分心。
在这类情况下,眼睛聚散检测系统100用于确定出用户的眼睛没有聚焦于显示位置上,而是替代地透过显示位置聚焦。然后,在确定用户的眼睛没有聚焦于显示位置上之后,眼睛聚散检测系统100使由显示器130显示的至少一部分图像隐藏,从而使得用户能够看穿显示器130并且更有效地查看他或她的环境。
在各种实施方案中,传感器110包括深度传感器,所述深度传感器确定从用户的眼睛到图像正被显示的显示位置(例如,显示器130表面或与HUD相关联的虚拟图像位置)的距离。眼睛聚散检测系统100接着获取用户的眼睛的一个或多个图像,并且分析图像来确定眼睛会聚的距离和/或位置。然后,将从眼睛到显示位置的距离与眼睛会聚距离比较,以便确定眼睛是否聚焦于显示位置上。如果用户的眼睛没有聚焦于显示位置上,那么眼睛聚散检测系统100使一个或多个图像从显示器130隐藏。另一方面,如果用户的眼睛聚焦于显示位置上,那么眼睛聚散检测系统100使一个或多个图像由显示器130显示或重新显示。
深度传感器可定位于相对于用户眼睛的位置的各种位置中。举例来说,虽然图1A和图1B将深度传感器描绘为耦接至眼睛聚散检测系统100并且定位在用户前方,但是深度传感器可位于其它位置中,如位于车辆顶盖上、车辆内部中或车辆外部上。此外,在深度传感器位于车辆内部中时,深度传感器可位于驾驶员前方、驾驶员后方,或邻接驾驶员。在各种实施方案中,深度传感器定位于靠近用户的眼睛或与用户的眼睛成直线的位置处。
图2A和图2B示出根据各种实施方案的结合透明显示器来操作图1A的眼睛聚散检测系统100的技术。如上所述,在一些实施方案中,显示器130是用户可透过它来查看他或她的环境的透明显示器。在操作中,眼睛聚散检测系统100通过一个或多个传感器110来跟踪用户的左眼矢量210和/或右眼矢量210,以便确定眼睛会聚距离220。眼睛聚散检测系统100还跟踪(例如,通过深度传感器跟踪)从用户的眼睛到显示位置230(例如,图像被显示的表面,图2A和图2B)的距离。然后,眼睛聚散检测系统100将眼睛会聚距离220与从用户的眼睛到显示位置230的距离比较。
如果眼睛会聚距离220大致上与从用户的眼睛到显示位置230的距离相同,如图2A所示,那么眼睛聚散检测系统100使一个或多个图像由显示器130显示或重新显示。如果眼睛会聚距离220大致上不与从用户的眼睛到显示位置230的距离相同,如图2B所示,那么眼睛聚散检测系统100使一个或多个图像从显示器130隐藏。例如并且无限制地,响应于确定眼睛会聚距离220大致上大于从用户的眼睛到显示位置230的距离,一个或多个图像的显示可由眼睛聚散检测系统100终止。在这类情况下,眼睛聚散检测系统100可确定用户透过显示器130聚焦(例如,聚焦于显示器130另一侧上的对象上),并因此不应使一个或多个图像显示于显示器130上。
在一些实施方案中,眼睛会聚距离220通过检测与每个眼睛矢量210相关联的交叉点240的位置来确定。如图2A和图2B所示,一旦确定眼睛矢量210,就可确定眼睛矢量210与如显示器130的平面或表面的显示位置的交叉处。然后,眼睛会聚的位置可通过确定交叉点240彼此邻近的位置来检测。例如并且无限制地,在图2A中,眼睛矢量210与显示位置230(例如,图像被展示的显示器130的表面)的交叉点240彼此靠近,从而指示用户聚焦于显示位置230上。对比之下,在图2B中,眼睛矢量210与显示位置230的交叉点240并非彼此邻近,从而指示用户透过显示位置230朝向位于显示位置230后方的对象聚焦。因此,在一些实施方案中,眼睛聚散检测系统100可基于眼睛矢量210与显示位置230的交叉点240来确定眼睛会聚距离220大致上与从用户的眼睛到显示位置230的距离相同。
在一些实施方案中,眼睛聚散检测系统100可在不确定眼睛会聚距离220或从用户的眼睛到显示位置230的距离的情况下,确定用户的眼睛是否聚焦于显示位置230上(例如,用户的眼睛是否会聚于显示位置230上)。替代地,眼睛聚散检测系统100可确定用户的左眼注视矢量和与显示位置230相关联的平面相交的第一位置,和用户的右眼注视矢量和与显示位置230相关联的平面相交的第二位置。如果第一位置和第二位置大致上相同或彼此邻近,那么眼睛聚散检测系统100可确定用户的眼睛聚焦于显示位置230上。如果第一位置和第二位置并非彼此邻近,那么眼睛聚散检测系统100可确定用户的眼睛没有聚焦于显示位置230上。一般来说,左眼注视矢量和右眼注视矢量可基于本文所述的任何技术来确定,如通过计算与用户的眼睛相关联的一个或多个角膜反射图像来确定。有利地,在这些实施方案中,眼睛聚散检测系统100可跟踪用户的眼睛注视矢量并且不需要确定眼睛会聚距离220或从用户的眼睛到显示位置230的距离。
图3A和图3B示出根据各种实施方案的结合抬头显示器(HUD)来操作图1A的眼睛聚散检测系统100的技术。如上所述,在一些实施方案中,显示器130包括将图像朝向用户投射和/或投射于周围环境上的HUD。在这些实施方案中,眼睛聚散检测系统100跟踪用户的眼睛矢量210和位置,以便确定眼睛会聚距离220和从用户的眼睛到显示位置230(例如,图像由HUD显示的虚拟图像位置)的距离。然后,眼睛聚散检测系统100将眼睛会聚距离220与从用户的眼睛到显示位置230的距离比较。
如果眼睛会聚距离220大致上与从用户的眼睛到显示位置230的距离相同,如图3A展示,那么眼睛聚散检测系统100使一个或多个图像由显示器130显示或重新显示。如果眼睛会聚距离220大致上不与从用户的眼睛到显示位置230的距离相同,如图3B展示,那么眼睛聚散检测系统100使一个或多个图像从显示器130隐藏。另外,眼睛会聚距离220可通过检测与眼睛矢量210相关联的交叉点240的位置来确定,如上所述。
与一些类型的透明显示器对比,一些类型的HUD产生用户感知为位于显示位置230处的图像,所述显示位置230不与HUD硬件的物理位置重合。例如并且无限制地,如图3A和图3B所示,用户必须将他或她的眼睛聚焦来查看由HUD投射的图像的显示位置230可与HUD硬件分开某一距离。此外,在一些实施方案中,显示位置230包括用户将聚焦他或她的眼睛以便查看由HUD产生的图像的区域或体积。也就是说,在一些实施方案中,为了确定用户是否聚焦于由HUD产生的图像上,眼睛聚散检测系统100可确定用户的眼睛正在会聚的位置是否落在对应于显示位置230的区域或体积内。因此,在这些实施方案中,眼睛聚散检测系统100可通过以下来确定是否显示或隐藏图像:确定眼睛会聚距离220是否落在与从用户的眼睛到显示位置230的边界的距离相关联的指定范围内。
通常,为了使图像隐藏,用户必须将他或她的眼睛聚焦在显示位置230前方或后方的程度取决于眼睛聚散检测系统100的灵敏度。例如并且无限制地,如果高精度传感器与眼睛聚散检测系统100一起实现,那么眼睛矢量210、眼睛会聚距离220和/或眼睛到显示位置230的距离可被更精确地确定。因此,当眼睛会聚距离220只比从眼睛到显示位置230的距离大或小六英寸时,眼睛聚散检测系统100仍能够精确地确定用户不再聚焦于显示位置230上。对比来说,如果与眼睛聚散检测系统100一起实现的传感器精确度不佳或精确度适中,那么眼睛聚散检测系统100就不能精确地确定用户不再聚焦于显示位置230上,除非眼睛会聚距离220比从眼睛到显示位置230的距离大得多或小得多(例如,大或小一或两英尺)。因此,在各种实施方案中,为了使图像隐藏,眼睛会聚距离220必须不同于从用户的眼睛到显示位置230的距离的程度取决于传感器110可如何精确地确定眼睛会聚距离220和从用户的眼睛到显示位置230的距离。然而,一般来说,当距离相差大约5%或更小时,或在较低精确度实施方案中,当距离相差大约10%或更小时,眼睛聚散检测系统100会确定这些距离大致上相同。
图4是示出根据各种实施方案的用于确定眼睛会聚距离220的技术的概念图。如图所示,可确定每个眼睛矢量210的聚散角411、412。然后,与用户的眼睛相关联的聚散角411、412和眼间距离415用于通过以下重现的方程1来确定眼睛会聚距离220(D眼睛),其中α是用户的左眼的眼睛聚散角,β是用户的右眼的眼睛聚散角,d是眼内距离,α’是α的补角,β’是β的补角,ε’等于(180-α’-β’),并且D眼睛等于[(d/2*sinα’)/sin(ε'/2)]。在其它实施方案中,其它方程或算法、查表等可用于确定眼睛会聚距离220。
D眼睛=(d/2*sinα’)/sin((180-α’-β’)/2)            (方程1)
图5A至图5D示出根据各种实施方案的将图形用户界面(GUI)510与图1A的眼睛聚散检测系统100一起实现的技术。如图所示,在用户的眼睛聚焦于显示位置230上时,如GUI 510的一个或多个图像可通过显示器130来显示。在一些实施方案中,GUI 510包括主要显示区域530和可包括图标520的次要显示区域。图标520可由用户选择(例如,通过用户将他或她的眼睛聚焦于图标520上)以便改变显示于主要显示区域530中的信息。例如并且无限制地,在眼睛聚散检测系统100确定用户的眼睛聚焦于速度计图标520上(例如,通过使用本文所述任何眼睛聚散技术来确定眼睛会聚于图标520上),车辆的速度可显示于主要显示区域530中,如图5B所示。另外,用户可聚焦于导航、音乐和/或天气图标以便使眼睛聚散检测系统100在主要显示区域530上分别显示路径导向、媒体信息和/或天气预报。
此外,在眼睛聚散检测系统100确定用户不再聚焦于显示位置230上(例如,基于眼睛会聚距离220、从眼睛到显示位置230的距离和/或交叉点240),那么在主要显示区域530中产生的图标520和/或图像可被隐藏,如图5C和图5D所示。
在一些实施方案中,为了使用户能够更容易地聚焦于显示位置230上以便使图像显示或重新显示,一个或多个图像(例如,图标520)可保持于显示器130上,甚至在用户没有聚焦于显示位置230时也是一样。也就是说,用户可能难以将他或她的眼睛聚焦于透明显示面板和/或几乎没有或没有信息显示的其它显示位置230,尤其在黑暗中(例如,夜间)和高对比度情境下(例如,日落)是如此。因此,在透明显示器和/或HUD将一个或多个图像从显示器130隐藏时,显示器130的次要部分可保持照明。例如并且无限制地,参照图5B,在主要显示区域530隐藏时,图标520可保持在显示器130上,以便允许用户更加容易地将他或她的眼睛聚焦于显示位置230上,并因而使图像显示或重新显示于主要显示区域530中。
图6是根据各种实施方案的基于眼睛聚散检测来显示图像的方法步骤的流程图。虽然方法步骤结合图1A至图5D的系统来描述,但是本领域技术人员将理解的是,被配置来以任何顺序执行方法步骤的任何系统都落在本发明的范围中。
如图所示,方法600开始于步骤610,其中眼睛聚散检测系统100通过一个或多个传感器110来获取与用户的眼睛相关联的传感器数据(例如,图像、深度数据等)。在步骤620,眼睛聚散检测系统100分析传感器数据来确定一个或多个眼睛矢量210、眼睛会聚距离220和/或从用户的眼睛到显示位置230的距离。
随后,在步骤630,眼睛聚散检测系统100将眼睛会聚距离220与从用户的眼睛到显示位置230的距离比较,以便确定眼睛会聚距离220是否大致上与从眼睛到显示位置230的距离相同。如果眼睛会聚距离220大致上与从眼睛到显示位置230的距离相同,那么方法600进行至步骤640,其中眼睛聚散检测系统100使图像通过显示器130来显示或重新显示。在一些实施方案中,在步骤640,眼睛聚散检测系统100使已经显示过的图像保持显示于显示器130上。然后,方法600结束。
如果眼睛会聚距离220大致上不与从眼睛到显示位置230的距离相同,那么方法600进行至步骤650,其中眼睛聚散检测系统100使图像从显示器130隐藏。然后,方法600结束。
图7是根据各种实施方案的可结合图1A的眼睛聚散检测系统100来实现的计算设备120的方框图。如图所示,计算设备120包括处理单元702、输入/输出(I/O)设备704和存储单元710。存储单元710包括被配置来与数据库714交互的应用程序712。
处理单元702可包括中央处理单元(CPU)、数字信号处理单元(DSP)等等。I/O设备704可包括输入设备、输出设备和能够接收输入并提供输出的设备。存储单元710可包括存储模块或存储模块的集合。存储单元710内的软件应用程序712可由处理单元702执行来实现计算设备120的整体功能,并且因而将眼睛聚散检测系统100、传感器110和/或显示器130的操作进行总体协调。数据库714可存储图像数据、GUI、眼间距离、对象位置、对象距离、查找表和用于计算并比较眼睛会聚距离220与其它类型的距离的其它数据。
计算设备120可耦接至一个或多个传感器110,如一个或多个摄像机和/或深度传感器。传感器110被配置来测量用户驻留的环境的各种性质,以及与用户相关联的各种性质(例如,方位、眼睛聚散角、眼睛注视方向、与显示位置的眼睛距离)。传感器110可包括许多摄像机、深度传感器、光传感器、电场检测器、罗盘、陀螺仪、无线电收发器、全球定位系统(GPS)接收器或任何其它类型的传感器。通常,传感器110捕获与环境相关联的传感数据和与用户相关联的传感数据,并且将所述数据提供至计算设备120。
计算设备120总体上可为微处理器、特殊应用集成电路(ASIC)、系统级芯片(SoC)、如平板计算机或手机的移动计算设备、媒体播放器等。通常,计算设备120被配置来协调眼睛聚散检测系统100和/或传感器110的总体操作。被配置来实现眼睛聚散检测系统100和/或传感器110的功能性的任何技术上可行的系统都落在本发明的范围内。
总之,眼睛聚散检测系统确定眼睛会聚距离和从用户的眼睛到显示位置的距离。然后,眼睛聚散检测系统将眼睛会聚距离与从用户的眼睛到显示位置的距离比较,以便确定用户是否聚焦于显示位置上。如果用户聚焦于显示位置上,那么眼睛聚散检测系统所图像通过显示器来显示。如果用户没有聚焦于显示位置上,那么眼睛聚散检测系统使图像从显示器隐藏。
本文所述技术的至少一个优势在于,用户能够基于用户是否将他或她的眼睛聚焦于显示器或所显示的图像上来使图像显示或隐藏。另外,图像可通过透明显示器和/或抬头显示器(HUD)来显示,从而使得用户能够隐藏图像,然后查看图像后方的周围环境而不改变他或她的查看方向。
已出于说明目的提出各种实施方案的描述,但是这些描述并不意图是详尽的或受限于所公开的实施方案。在不背离所描述实施方案的范围和精神的情况下,许多修改和变化对于本领域的一般技术人员来说是明显的。
本发明实施方案的各个方面可体现为系统、方法或计算机程序产品。因此,本公开的各个方面可以采用以下形式:完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或结合软件方面与硬件方面的实施方案,所述实施方案在本文中全部可总体上称为“电路”、“模块”或“系统”。另外,本公开的各个方面可采用体现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质上体现有计算机可读程序代码。
可使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述各项的任何适合组合。计算机可读存储介质的更具体实例(并非详尽名单)将包括以下介质:具有一个或多个导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程序只读存储器(EPROM或闪存存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述介质的任何适合组合。在本文件的上下文中,计算机可读存储介质可以是任何有形介质,所述有形介质可含有或存储供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备来使用的程序。
以上参照根据本公开的实施方案的方法、装置(系统)和计算机程序产品的流程图图解和/或方框图来描述了本公开的各个方面。将理解的是,流程图图解和/或方框图中的每一个方框以及流程图图解和/或方框图中方框的组合可由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器来产生一种机器,以使得通过计算机或其它可编程数据处理装置的处理器来执行的指令允许实现在流程图和/或方框图的一个或多个方框中指定的功能/操作。这类处理器可不限于通用处理器、专用处理器、特殊应用处理器或现场可编程处理器。
附图中的流程图和方框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的体系结构、功能性和操作。在这方面,流程图或方框图中的每一个方框可以表示代码的模块、区段或部分,其包括用于实现所指定逻辑功能的一个或多个可执行指令。还应指出的是,在一些替代实现方式中,方框中提到的功能可能不按附图中提到的顺序出现。例如,连续展示的两个方框实际上可以大致上同时执行,或者这些方框有时可以按相反的顺序执行,这取决于所涉及的功能性。还将指出的是,方框图和/或流程图图解中的每一个方框以及方框图和/或流程图图解中的方框的组合可以由基于专用硬件的系统或者专用硬件与计算机指令的组合来实现,所述基于专用硬件的系统执行指定的功能或动作。
本发明已在以上参照特定实施方案加以描述。然而,本领域的一般技术人员将理解的是,在不背离如随附权利要求书阐明的本发明的更广泛精神和范围的情况下,可对所述特定实施方案做出各种修改和变化。例如并且无限制地,虽然本文中的许多描述涉及可获取与显示器或用户的眼睛相关联的数据的特定类型传感器,但是本领域技术人员将了解的是,本文所述的系统和技术可适用于其它类型的传感器。因此,将前述描述和图式视为说明性而不是限制性意义。
虽然前文针对本公开的各个实施方案,但是可在不背离本公开的基本范围的情况下设计本公开的其它和另外的实施方案,并且本公开的范围由随附的权利要求书来确定。

Claims (19)

1.一种基于眼睛聚散来显示图像的方法,所述方法包括:
确定从用户的一个或多个眼睛到显示位置的第一距离;
基于与所述用户的所述眼睛相关联的眼睛注视矢量来确定眼睛会聚距离;以及
当所述眼睛会聚距离大致上与所述第一距离相同时,使所述图像显示;或
当所述眼睛会聚距离大致上不与所述第一距离相同时,使所述图像的显示终止。
2.如权利要求1所述的方法,其中使所述图像的所述显示终止包括当所述眼睛会聚距离大致上大于所述第一距离时,使所述图像的所述显示终止。
3.如权利要求1所述的方法,其中所述图像在透明显示器上显示,并且使所述图像的所述显示终止包括基于确定出所述用户的所述眼睛透过所述透明显示器聚焦,从而使所述图像的所述显示终止。
4.如权利要求1所述的方法,其还包括通过基于与所述用户的所述眼睛相关联的至少一个角膜反射图像来计算左眼注视矢量和右眼注视矢量来计算与所述用户的所述眼睛相关联的所述眼睛注视矢量。
5.如权利要求4所述的方法,其还包括:
确定所述左眼注视矢量和与所述显示位置相关联的平面相交的第一位置;以及
确定所述右眼注视矢量和与所述显示位置相关联的所述平面相交的第二位置。
6.如权利要求5所述的方法,其中确定所述眼睛会聚距离包括基于所述左眼注视矢量和所述平面相交的所述第一位置与所述右眼注视矢量和所述平面相交的所述第二位置之间的第二距离来确定所述眼睛会聚距离。
7.如权利要求1所述的方法,其中所述显示位置对应于透明显示器的显示表面。
8.如权利要求1所述的方法,其中所述显示位置对应于由抬头显示器产生的虚拟图像位置。
9.如权利要求1所述的方法,其还包括:当所述眼睛会聚距离大致上不与所述第一距离相同时,使第二图像保持显示于显示器的所述显示位置上。
10.一种基于眼睛聚散来显示图像的系统,所述系统包括:
至少一个传感器,其被配置来获取与用户的眼睛相关联的传感器数据;
处理器,其耦接至所述至少一个传感器并且被配置来:
基于所述传感器数据来计算与所述用户的所述眼睛相关联的眼睛注视矢量;
基于所述眼睛注视矢量来确定眼睛会聚距离;
确定从所述用户的所述眼睛中的一个或多个到显示位置的第一距离;以及
当所述眼睛会聚距离大致上与所述第一距离相同时,使所述图像由显示器显示;或
当所述眼睛会聚距离大致上不与所述第一距离相同时,使所述显示器终止显示所述图像;以及
所述显示器,其耦接至所述处理器并且被配置来在所述显示位置显示所述图像。
11.如权利要求10所述的系统,其中所述传感器数据包括与所述用户的所述眼睛相关联的至少一个角膜反射图像,并且所述处理器被配置来通过基于所述至少一个角膜反射图像来计算左眼注视矢量和右眼注视矢量来计算与所述用户的所述眼睛相关联的所述眼睛注视矢量。
12.如权利要求11所述的系统,其中所述处理器被配置来通过以下各项来确定所述眼睛会聚距离:
确定所述左眼注视矢量和与所述显示位置相关联的平面相交的第一位置;
确定所述右眼注视矢量和与所述显示位置相关联的所述平面相交的第二位置;
确定所述左眼注视矢量和所述平面相交的所述第一位置与所述右眼注视矢量和所述平面相交的所述第二位置之间的第二距离;以及
基于所述第二距离来确定所述眼睛会聚距离。
13.如权利要求10所述的系统,其中所述至少一个传感器包括深度传感器,所述深度传感器被配置来确定从所述用户的所述眼睛中的所述一个或多个到所述显示位置的所述第一距离。
14.如权利要求10所述的系统,其中所述显示器包括透明显示器,并且所述处理器被配置来当所述眼睛会聚距离大致上大于所述第一距离时,使所述显示器终止显示所述图像。
15.如权利要求14所述的系统,其中所述透明显示器包括主要显示区域和次要显示区域,并且所述显示器被配置来通过在所述主要显示区域中显示所述图像来在所述显示位置显示所述图像。
16.如权利要求15所述的系统,其中所述处理器还被配置来当所述眼睛会聚距离大致上不与所述第一距离相同时,使第二图像显示或保持显示于所述次要显示区域中。
17.如权利要求10所述的系统,其中所述显示器包括抬头显示器,并且所述显示位置对应于所述用户感知所述图像的体积。
18.如权利要求10所述的系统,其中所述显示器包括抬头显示器,并且所述显示位置对应于所述图像由所述抬头显示器投射到的表面。
19.一种非暂时性计算机可读存储介质,其包括指令,所述指令在由处理器执行时,通过执行以下步骤来使所述处理器基于眼睛聚散来显示图像:
确定从用户的一个或多个眼睛到透明显示器的表面的第一距离;
基于传感器数据来计算与所述用户的所述眼睛相关联的眼睛注视矢量;
基于所述眼睛注视矢量来确定眼睛会聚距离;以及
当所述眼睛会聚距离大致上与所述第一距离相同时,使所述图像显示;或
当所述眼睛会聚距离大致上大于所述第一距离时,使所述图像的显示终止。
CN201510003539.7A 2014-01-03 2015-01-04 显示器上的眼睛聚散检测 Active CN104765445B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461923567P 2014-01-03 2014-01-03
US61/923,567 2014-01-03

Publications (2)

Publication Number Publication Date
CN104765445A true CN104765445A (zh) 2015-07-08
CN104765445B CN104765445B (zh) 2022-11-01

Family

ID=52273018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510003539.7A Active CN104765445B (zh) 2014-01-03 2015-01-04 显示器上的眼睛聚散检测

Country Status (4)

Country Link
US (1) US9952665B2 (zh)
EP (1) EP2891953B1 (zh)
JP (1) JP6608137B2 (zh)
CN (1) CN104765445B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866950A (zh) * 2016-04-26 2016-08-17 乐视控股(北京)有限公司 数据处理的方法及装置
CN107798733A (zh) * 2016-09-02 2018-03-13 奥林巴斯株式会社 显示系统、便携信息设备、可佩戴型终端和信息显示方法
CN110447001A (zh) * 2017-03-27 2019-11-12 微软技术许可有限责任公司 基于用户移动的稀疏外围显示器的选择性绘制
CN112513784A (zh) * 2018-09-27 2021-03-16 宝马股份公司 自动隐藏显示内容的、用于车辆的数据眼镜

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659441B (zh) * 2014-06-17 2019-11-26 皇家飞利浦有限公司 评价医生注意力
KR102172388B1 (ko) * 2014-09-11 2020-10-30 엘지디스플레이 주식회사 곡면 디스플레이 및 이의 영상 처리 방법
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
JP6703747B2 (ja) * 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
EP3369091A4 (en) * 2015-10-26 2019-04-24 Pillantas Inc. SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
DE102015222388A1 (de) * 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN107111381A (zh) * 2015-11-27 2017-08-29 Fove股份有限公司 视线检测系统、凝视点确认方法以及凝视点确认程序
EP3249497A1 (en) 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
KR102520108B1 (ko) 2016-06-07 2023-04-11 삼성디스플레이 주식회사 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치
CN109313880A (zh) * 2016-06-09 2019-02-05 三菱电机株式会社 显示控制装置、显示装置、车载显示系统及显示控制方法
JP6834537B2 (ja) 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10188291B2 (en) 2016-09-08 2019-01-29 Howard P. Apple Device for screening convergence insufficiency and related methods
CN111801249A (zh) * 2018-02-22 2020-10-20 三菱电机株式会社 操作限制控制装置以及操作限制控制方法
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
DE102018110644B4 (de) * 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren
US10855979B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items
US10852823B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc User-specific eye tracking calibration for near-eye-display (NED) devices
US10996746B2 (en) 2018-10-23 2021-05-04 Microsoft Technology Licensing, Llc Real-time computational solutions to a three-dimensional eye tracking framework
US10838490B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10718942B2 (en) 2018-10-23 2020-07-21 Microsoft Technology Licensing, Llc Eye tracking systems and methods for near-eye-display (NED) devices
US11907417B2 (en) * 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
CN111772573B (zh) * 2020-07-06 2023-06-06 重庆能能科技有限公司 双眼聚散灵敏度检测装置及其数据处理方法
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894502A (zh) * 2009-05-19 2010-11-24 日立民用电子株式会社 影像显示装置
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
US20120250152A1 (en) * 2011-03-31 2012-10-04 Honeywell International Inc. Variable focus stereoscopic display system and method
CN102830505A (zh) * 2012-09-08 2012-12-19 苏州科技学院 一种个性化渐进多焦点眼用镜片的制备方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US6426740B1 (en) * 1997-08-27 2002-07-30 Canon Kabushiki Kaisha Visual-axis entry transmission apparatus and method therefor
JP4500992B2 (ja) * 2004-01-14 2010-07-14 国立大学法人静岡大学 三次元視点計測装置
US20060066567A1 (en) * 2004-09-29 2006-03-30 Scharenbroch Gregory K System and method of controlling scrolling text display
JP2007008382A (ja) * 2005-07-01 2007-01-18 Nissan Motor Co Ltd 視覚情報呈示装置及び視覚情報呈示方法
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
JP6134478B2 (ja) * 2012-03-28 2017-05-24 ソニー株式会社 情報処理装置、表示制御方法、プログラムおよび記憶媒体
DE102012006966A1 (de) * 2012-04-04 2012-11-08 Daimler Ag Verfahren zum Auslösen einer Fahrzeugfunktion durch blickgesteuerte Bedienung und Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894502A (zh) * 2009-05-19 2010-11-24 日立民用电子株式会社 影像显示装置
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
US20120250152A1 (en) * 2011-03-31 2012-10-04 Honeywell International Inc. Variable focus stereoscopic display system and method
CN102830505A (zh) * 2012-09-08 2012-12-19 苏州科技学院 一种个性化渐进多焦点眼用镜片的制备方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866950A (zh) * 2016-04-26 2016-08-17 乐视控股(北京)有限公司 数据处理的方法及装置
CN107798733A (zh) * 2016-09-02 2018-03-13 奥林巴斯株式会社 显示系统、便携信息设备、可佩戴型终端和信息显示方法
CN107798733B (zh) * 2016-09-02 2021-08-13 奥林巴斯株式会社 显示系统、便携信息设备、可佩戴型终端和信息显示方法
CN110447001A (zh) * 2017-03-27 2019-11-12 微软技术许可有限责任公司 基于用户移动的稀疏外围显示器的选择性绘制
CN110447001B (zh) * 2017-03-27 2021-11-23 微软技术许可有限责任公司 基于用户移动的稀疏外围显示器的选择性绘制
CN112513784A (zh) * 2018-09-27 2021-03-16 宝马股份公司 自动隐藏显示内容的、用于车辆的数据眼镜
CN112513784B (zh) * 2018-09-27 2024-04-16 宝马股份公司 自动隐藏显示内容的、用于车辆的数据眼镜

Also Published As

Publication number Publication date
EP2891953B1 (en) 2021-07-28
JP2015130173A (ja) 2015-07-16
US9952665B2 (en) 2018-04-24
US20150192992A1 (en) 2015-07-09
CN104765445B (zh) 2022-11-01
JP6608137B2 (ja) 2019-11-20
EP2891953A1 (en) 2015-07-08

Similar Documents

Publication Publication Date Title
CN104765445A (zh) 显示器上的眼睛聚散检测
US10067561B2 (en) Display visibility based on eye convergence
US9690104B2 (en) Augmented reality HUD display method and device for vehicle
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US20150161762A1 (en) Information processing apparatus, information processing method, and program
US9696798B2 (en) Eye gaze direction indicator
CN109151204B (zh) 一种基于移动终端的导航方法、装置及移动终端
US10885819B1 (en) In-vehicle augmented reality system
US10896500B2 (en) Display and method for displaying dynamic information of object
US11774764B2 (en) Digital glasses having display vision enhancement
KR20230079138A (ko) 스트레인 게이지 추정 기능을 갖는 아이웨어
CN116249873A (zh) 具有异步滚动快门相机的护目镜
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US11057606B2 (en) Method and display system for information display based on positions of human gaze and object
JP2018183249A (ja) 視線検知装置、視線検知プログラムおよび視線検知方法
KR20180038316A (ko) 운전자 상태 판단 장치 및 방법
JP2017126009A (ja) 表示制御装置、表示制御方法、およびプログラム
US20240138668A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
EP4350417A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
JP2014174091A (ja) 情報提供装置、及び情報提供プログラム
US20230162389A1 (en) Image display apparatus
US20240037787A1 (en) Corneal reflected image identifying device and gaze detection device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant