CN114089528A - 用于控制平视显示的方法和设备以及平视显示装置 - Google Patents

用于控制平视显示的方法和设备以及平视显示装置 Download PDF

Info

Publication number
CN114089528A
CN114089528A CN202110339116.8A CN202110339116A CN114089528A CN 114089528 A CN114089528 A CN 114089528A CN 202110339116 A CN202110339116 A CN 202110339116A CN 114089528 A CN114089528 A CN 114089528A
Authority
CN
China
Prior art keywords
eye
rendering mode
image
viewpoint
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110339116.8A
Other languages
English (en)
Inventor
李熙真
李准桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200130402A external-priority patent/KR20220025625A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114089528A publication Critical patent/CN114089528A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B60K2360/31—
    • B60K35/23—
    • B60K35/654—
    • B60K35/90—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种用于控制平视显示的方法和设备以及平视显示装置。所述方法包括基于眼睛跟踪的结果确认眼睛跟踪状态，以及基于眼睛跟踪状态将HUD图像的渲染模式确认为二维(2D)渲染模式和三维(3D)渲染模式中的一个。

Description

用于控制平视显示的方法和设备以及平视显示装置
本申请要求于2020年8月24日提交到韩国知识产权局的第10-2020-0106554号韩国专利申请以及于2020年10月8日提交到韩国知识产权局的第10-2020-0130402号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例实施例一致的方法和设备涉及一种用于基于眼睛跟踪状态来控制平视显示(HUD)的方法和设备。
背景技术
平视显示(HUD)系统在车辆的驾驶员前方生成虚拟图像，并通过在虚拟图像中显示信息来向驾驶员提供各种信息。提供给驾驶员的信息可包括例如导航信息和仪表盘信息(诸如，车辆速度、燃油油位和发动机每分钟的转数(RPM))。驾驶员可在驾驶期间更容易地识别前方显示的信息而不需要转动他或她的目光，因此，可提高驾驶安全性。除了导航信息和仪表盘信息之外，HUD系统还可使用增强现实(AR)向驾驶员提供例如车道指示符、施工指示符、事故指示符或行人检测指示符，以在视场较差和/或不足时辅助驾驶。
发明内容
一个或多个示例实施例可至少解决以上问题和/或缺点以及上面未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述任何问题。
根据公开的一方面，提供一种控制平视显示(HUD)的方法，所述方法包括：执行对拍摄的图像中的用户的眼睛的眼睛跟踪；基于眼睛跟踪的结果确认眼睛跟踪状态；基于眼睛跟踪状态将HUD图像的渲染模式确认为二维(2D)渲染模式和三维(3D)渲染模式中的一个；以及以确认的渲染模式渲染HUD图像。
确认眼睛跟踪状态的步骤可包括：基于眼睛坐标是否存在于眼睛跟踪的结果中或者基于眼睛坐标的改变速率，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
确认渲染模式的步骤可包括：基于眼睛跟踪状态被分类为稳定状态，将渲染模式确认为3D渲染模式；以及基于眼睛跟踪状态被分类为不稳定状态，将渲染模式确认为2D渲染模式。
基于眼睛坐标被包括在眼睛跟踪的结果中并且眼睛坐标的改变速度小于参考值，可将眼睛跟踪状态分类为稳定状态。
参考值可对应于系统处理速率。
基于眼睛坐标被包括在眼睛跟踪的结果中并且眼睛坐标的改变速度大于参考值，或者基于眼睛坐标未包括在眼睛跟踪的结果中，可将眼睛跟踪状态分类为不稳定状态。
可基于第一视点的第一源图像和第二视点的第二源图像来渲染HUD图像。
渲染HUD图像的步骤可包括：基于确认的渲染模式是2D渲染，通过将第一视点和第二视点同样地设置为单个视点来渲染HUD图像。
渲染HUD图像的步骤可包括：基于眼睛跟踪的结果包括双眼的当前眼睛坐标并且当前眼睛坐标的改变速度大于参考值，将第一视点和第二视点同样地设置为当前眼睛坐标的中心视点；以及基于眼睛跟踪的结果不包括当前眼睛坐标，将第一视点和第二视点同样地设置为先前眼睛坐标的中心视点。
渲染HUD图像的步骤可包括：基于确认的渲染模式是3D渲染模式，通过将第一视点和第二视点设置为不同的视点来渲染HUD图像。
基于渲染模式被确认，可在与多个帧对应的缓冲时间期间将渲染模式从3D渲染模式切换到2D渲染模式或者从2D渲染模式切换到3D渲染模式。
可基于第一视点的第一源图像和第二视点的第二源图像来渲染HUD图像，其中，渲染HUD图像的步骤包括：基于渲染模式从2D渲染模式切换到3D渲染模式，当在缓冲时间内将第一视点和第二视点逐渐改变为在2D渲染模式下使用的单个视点的同时渲染HUD图像。
根据公开的另一方面，提供一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使处理器执行所述方法。
根据公开的另一方面，提供一种用于控制平视显示(HUD)的设备，所述设备包括：存储器，被配置为：存储一条或多条指令，以及处理器，被配置为：执行所述一条或多条指令以：执行对拍摄的图像中的用户的眼睛的眼睛跟踪，基于眼睛跟踪的结果确认眼睛跟踪状态，基于眼睛跟踪状态将HUD图像的渲染模式确认为二维(2D)渲染模式和三维(3D)渲染模式中的一个，以及以确认的渲染模式渲染HUD图像。
处理器还可被配置为：基于眼睛坐标是否存在于眼睛跟踪的结果中或者基于眼睛坐标的改变速率，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
处理器还可被配置为：基于眼睛跟踪状态被分类为稳定状态，将渲染模式确认为3D渲染模式，以及基于眼睛跟踪状态被分类为不稳定状态，将渲染模式确认为2D渲染模式。
基于渲染模式被确认，可在与多个帧对应的缓冲时间期间将渲染模式从3D渲染模式切换到2D渲染模式或者从2D渲染模式切换到3D渲染模式。
根据公开的另一方面，提供一种平视显示(HUD)装置，包括：眼睛跟踪相机，被配置为：拍摄包括用户的图像；处理器，被配置为：对拍摄的图像执行眼睛跟踪，基于眼睛跟踪的结果确认眼睛跟踪状态，基于眼睛跟踪状态将HUD图像的渲染模式确认为二维(2D)渲染模式和三维(3D)渲染模式中的一个，并且以确认的渲染模式渲染HUD图像；以及显示装置，被配置为：使用增强现实(AR)向用户提供HUD图像。
处理器还可被配置为：基于眼睛坐标是否存在于眼睛跟踪的结果中并且基于眼睛坐标的改变速率，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
处理器还可被配置为：基于渲染模式被确认，在与多个帧对应的缓冲时间期间将渲染模式从3D渲染模式切换到2D渲染模式或者从2D渲染模式切换到3D渲染模式。
根据公开的另一方面，提供一种显示设备，包括：存储器，被配置为：存储一条或多条指令；以及处理器，被配置为：执行所述一条或多条指令以：接收关于拍摄的图像中的用户的眼睛的眼睛跟踪信息；基于眼睛跟踪信息确认眼睛跟踪是稳定的还是不稳定的；基于眼睛跟踪是不稳定的，以二维(2D)图像输出虚拟对象；以及基于眼睛跟踪是稳定的，以三维(3D)图像输出虚拟对象。
根据公开的另一方面，提供一种显示方法，包括：接收关于图像中的用户的眼睛的眼睛跟踪信息；基于眼睛跟踪信息来确认眼睛跟踪是稳定的还是不稳定的；基于眼睛跟踪是不稳定的，以二维(2D)图像输出虚拟对象；以及基于眼睛跟踪是稳定的，以三维(3D)图像输出虚拟对象。
附图说明
通过参照附图描述特定示例实施例，以上和/或其他方面将更清楚，其中：
图1A示出根据示例实施例的平视显示(HUD)装置；
图1B示出根据示例实施例的与HUD装置相关的光的路径；
图2示出根据示例实施例的显示装置的结构；
图3示出根据示例实施例的三维(3D)增强现实(AR)；
图4示出根据示例实施例的生成HUD图像的处理；
图5示出根据示例实施例的眼睛跟踪状态；
图6示出根据示例实施例的观看空间中的眼睛移动；
图7示出根据示例实施例的切换渲染模式的处理；
图8示出根据示例实施例的用于切换渲染模式的缓冲视点和缓冲源图像；
图9示出根据示例实施例的在3D渲染模式下的图像；
图10示出根据示例实施例的在二维(2D)渲染模式下的图像；
图11和图12示出根据示例实施例的使用跟踪区域跟踪眼睛的处理；
图13示出根据示例实施例的基于眼睛跟踪生成HUD图像的处理；
图14示出根据示例实施例的考虑眼睛跟踪状态来控制HUD的方法；
图15示出根据示例实施例的HUD控制设备的配置；以及
图16示出根据示例实施例的电子装置的配置。
具体实施方式
在下文中，将参照附图详细描述示例实施例。然而，可对示例实施例进行各种改变和修改。这里，示例实施例不被解释为限于公开。示例实施例应被理解为包括在公开的构思和技术范围内的所有改变、等同物和替换物。
在此使用的术语仅用于描述特定示例实施例，而不是对示例实施例的限制。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，当术语“包括”和/或“包含”在此被使用时，说明存在叙述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与示例所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如在通用词典中定义的术语)应被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
当参照附图描述示例实施例时，相同的参考标号表示相同的构成元件，并且与其相关的重复描述将被省略。在示例实施例的描述中，当认为公知的相关结构或功能的详细描述将导致对本公开的模糊解释时，将省略这样的描述。
此外，在组件的描述中，当描述公开的组件时，在此可使用诸如第一、第二、A、B、(a)、(b)等的术语。这些术语仅用于将一个构成元件与另一构成元件区分开，并且构成元件的性质、序列或顺序不受这些术语的限制。当一个构成元件被描述为“连接”、“结合”或“附接”到另一构成元件时，应理解，所述一个构成元件可直接连接到或附接到所述另一构成元件，并且中间构成元件也可被“连接”、“结合”或“附接”到所述构成元件。
可使用相同的名称来描述包括在上述示例实施例中的元件和具有共同功能的元件。除非另有说明，否则对示例实施例的描述可适用于下面的示例实施例，因此，为了简明，将省略重复的描述。
图1A示出根据示例实施例的平视显示(HUD)装置。参照图1A，HUD装置100包括HUD控制设备110、显示装置120、眼睛跟踪相机130和半透明光学装置140。HUD装置100可被安装在交通工具(例如，汽车或飞机)上以向用户(例如，驾驶员、飞行员等)提供HUD图像。HUD装置100可使用增强现实(AR)来提供HUD图像。例如，通过AR HUD提供的内容可包括仪表盘信息、导航信息、车道指示符、施工指示符、事故指示符、行人检测指示符等。AR可被应用于HUD、透射式头戴显示器(HMD)等。在下文中，将描述HUD。然而，下面的描述也可应用于HMD或其他显示装置。
显示装置120可包括光源、显示面板、三维(3D)光学层和光学组件。光学组件可包括折反射(cata-dioptric)系统。与HUD图像对应的光可由显示装置120的显示面板和光源提供，折反射系统可将与HUD图像对应的光朝向半透明光学装置140反射。在这种情况下，折反射系统可折射与HUD图像对应的光以放大HUD图像。可使用发光二极管(LED)或激光器作为光源。
虚拟屏幕150可由显示装置120输出的与HUD图像对应的光形成。由显示装置120输出的光的一部分可由位于用户前方的半透明光学装置140反射并且被用户看见。半透明光学装置140可以是汽车或飞机的挡风玻璃，或者是为了反射HUD图像而与挡风玻璃分开设置的组合器。用户同时观看穿过半透明光学装置140的前方的光，以及由显示装置120发射的光之中的由半透明光学装置140反射的光的一部分。因此，真实对象和虚拟对象可彼此重叠并且作为AR内容提供给用户。例如，真实对象可以是通过半透明光学装置140可见的周围环境中的对象。
HUD控制设备110可在与真实对象对应的位置显示虚拟对象。例如，车辆的行驶方向信息、车道信息、危险信息等可通过HUD被显示为在与真实对象对应的位置的虚拟对象。背景或周围环境上将要显示虚拟对象的位置可被称为目标位置。HUD控制设备110可使用眼睛跟踪相机130的坐标系与虚拟屏幕150的坐标系之间的变换关系、关于背景的3D信息和眼睛位置信息来在目标位置显示虚拟对象。
例如，可通过被设置为面向车辆前方的相机或3D传感器来获得关于背景的3D信息。可通过被设置为面向用户的眼睛跟踪相机130来获得用户的眼睛位置。眼睛跟踪相机130可拍摄用户并生成包括用户(例如，用户的面部)的用户图像，HUD控制设备110可通过对用户图像执行眼睛跟踪来获得眼睛位置。HUD控制设备110可生成用于在连接用户的眼睛位置和目标位置的线与虚拟屏幕150相交的交点处显示虚拟对象的HUD图像，并且显示装置120可通过显示HUD图像来在目标位置表示虚拟对象。
显示装置120可通过3D光学层提供3D图像。HUD控制设备110可生成第一视点(例如，左眼)的第一源图像(例如，左图像)和第二视点(例如，右眼)的第二源图像(例如，右图像)，并且基于由眼睛跟踪相机130跟踪的眼睛位置、第一源图像以及第二源图像来渲染HUD图像。这里，视点可对应于观看位置(例如，观看者的眼睛的位置)。渲染HUD图像的操作可包括确定HUD图像的像素值，使得第一源图像可以以第一视点被观看，并且第二源图像可以以第二视点被观看。在下文中，将描述将两个视点用于3D图像的示例。然而，公开的实施例不限于下面的描述，因此，根据另一示例实施例，两个或更多个视点可用于光场。
显示装置120可显示如上所述生成的HUD图像。显示装置120可在显示面板上显示HUD图像。HUD图像可穿过3D光学层，并被提供给用户。在这种情况下，与第一源图像和第二源图像对应的不同图像可被提供给用户的双眼。针对第一源图像和第二源图像中的每个，HUD控制设备110可渲染HUD图像，使得虚拟对象可在连接用户的每个眼睛位置和目标位置的线与虚拟屏幕150相交的交点处被显示。
图1B示出根据示例实施例的与HUD装置相关的光的路径。参照图1B，HUD装置101包括显示装置161以及镜162和163。显示装置161可对应于图1A的显示装置120。显示装置161可包括显示面板和光源，并且通过显示面板和光源提供与HUD图像对应的光。例如，光源可包括背光单元(BLU)。
由显示装置161输出的与HUD图像对应的光可被镜162和163反射并被投射到挡风玻璃170上。镜162和163中的至少一个可对应于非球面镜，并且调整与HUD图像对应的光的路径以放大HUD图像。用户可通过由挡风玻璃170朝向观察框190反射的光在虚拟屏幕180上观看与HUD图像对应的虚拟图像。
以这种方式，HUD装置101可通过投影在设置于用户前方的虚拟屏幕180上显示信息。为了通过HUD提供AR信息，在其上观看HUD图像的虚拟屏幕180可以以宽视场(FOV)来实现。如果将要表示的图像的尺寸不够大或者FOV不够宽，则可能难以使用AR表示关于车辆前方的对象或背景的信息。
显示装置161以及镜162和163可安装在车辆的仪表盘中。显示装置161以及镜162和163可被设计为提供足够宽的FOV以实现AR。例如，显示装置161的BLU可使用次级透镜阵列来优化从LED输出的光的输出角度，并且使用侧面反射器来补偿输出角度的不足。在这种情况下，可将漫射器板(diffuser plate)和偏振漫射器板的漫射角保持在小的值，从而可防止BLU的效率降低。因此，可实现紧凑的BLU体积、宽的FOV、均匀性、改善的侧面亮度等。
图2示出根据示例实施例的显示装置的结构。参照图2，显示装置200包括光源210、漫射器(diffuser)220、显示面板230和3D光学层240。光源210可对应于BLU。根据示例实施例，光源可包括白色LED、红色/绿色/蓝色(RGB)LED或RGB激光器。如果使用非球面镜作为放大和反射的镜，则可使用白色LED、RGB LED和RGB激光器中的任何一种。然而，如果使用全息镜(holographic mirror)，则可根据记录特性使用RGB LED或RGB激光器。漫射器220可以以膜的形式实现，并且光源210与显示面板230之间的光均匀性可通过漫射器220来提供。根据示例实施例，漫射器220可直接形成在显示面板230上。根据另一示例实施例，漫射器220可以与显示面板230间隔开。
显示面板230可包括液晶显示(LCD)面板或空间光调制器(SLM)(诸如，数字光处理器(DLP)和硅基液晶(LCoS))。3D光学层240可以是视差屏障、双凸透镜和定向背光单元中的任何一种。显示面板230可显示HUD图像，并且3D光学层240可控制与HUD图像对应的光的路径。例如，3D光学层240可对与HUD图像对应的光赋予方向性，使得不同视点的图像可被提供给用户的双眼。
图3示出根据示例实施例的3D AR。参照图3，在连接用户的眼睛位置310和目标位置350的线与虚拟屏幕330相交的交点处显示虚拟对象335。可通过眼睛跟踪相机320来跟踪眼睛位置310。在这种情况下，可在眼睛位置310处观看场景331。场景331包括虚拟对象335和真实对象340。通过眼睛跟踪相机320的坐标系与虚拟屏幕330的坐标系之间的关系、关于背景的3D信息和关于眼睛位置310的信息，可在目标位置350准确地显示虚拟对象335。
可针对用户的每只眼睛执行这个处理。例如，第一源图像(例如，左图像)可被生成，使得虚拟对象335可在连接第一视点(例如，左眼)和目标位置350的线与虚拟屏幕330相交的交点处被显示，第二源图像(例如，右图像)可被生成，使得虚拟对象335可在连接第二视点(例如，右眼)和目标位置350的线与虚拟屏幕330相交的交点处被显示。此后，通过基于第一源图像和第二源图像渲染HUD图像，可将场景331实现为3D AR HUD。
根据示例实施例，3D HUD可响应于用户位置的改变而在各种深度处表示虚拟对象335，因此，3D HUD可比2D HUD更准确地在目标位置350显示虚拟对象335。然而，为了稳定地提供这样的3D HUD，眼睛位置310的连续跟踪可能是必须的，并且虚拟对象335可基于跟踪的眼睛位置310在虚拟屏幕330上显示。
在一个示例场景中，眼睛位置310可能由于环境因素(诸如，低照度)或者因为眼睛被覆盖而未被跟踪。此外，与当前眼睛位置310对应的适当HUD图像可能由于系统因素(诸如，系统延迟)而未被生成。在这个示例中，可发生3D HUD的质量劣化(诸如，当左眼的图像被提供给右眼时在图像中观察到的串扰)。在这种情况下，可通过提供2D HUD而不是低质量的3D HUD来稳定地提供驾驶信息。根据示例实施例，可基于与眼睛跟踪相关联的当前环境来选择性地执行2D渲染或3D渲染，由此可提高HUD稳定性。
图4示出根据示例实施例的生成HUD图像的处理。可对用户图像的当前帧执行下面描述的操作410至操作440。参照图4，在操作410中，HUD控制设备执行眼睛跟踪。例如，HUD控制设备可使用眼睛跟踪相机生成用户图像，并对用户图像执行眼睛跟踪。HUD控制设备可在执行眼睛跟踪的同时生成眼睛跟踪结果。如果眼睛跟踪成功，则眼睛跟踪结果可包括眼睛坐标。如果眼睛跟踪失败，则眼睛跟踪结果可不包括眼睛坐标。相反，眼睛跟踪结果可包括指示眼睛跟踪已经失败的信息。眼睛坐标可包括每只眼睛的3D坐标值。
在操作420中，HUD控制设备确定眼睛跟踪状态。例如，HUD控制设备可基于眼睛跟踪结果是否符合3D渲染条件将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。这里，可基于眼睛坐标的存在和眼睛坐标的改变的速度来定义3D渲染条件。如上所述，为了保持3D HUD图像的质量，必须确认眼睛坐标，并且需要用于跟踪眼睛坐标的改变的系统性能。
例如，如果不存在眼睛坐标，或者如果存在眼睛坐标但是眼睛坐标改变如此严重以至于系统的渲染性能不能应对改变，则可能在3D HUD图像中观察到串扰。因此，在眼睛跟踪结果包括眼睛坐标并且相对于眼睛坐标的位置改变速度小于或等于阈值的第一状态下，眼睛跟踪状态可被分类为稳定状态。在这种情况下，阈值可对应于系统处理速率。此外，在眼睛跟踪结果包括眼睛坐标并且相对于眼睛坐标的位置改变速度大于阈值的第二状态下，或者在眼睛跟踪结果不包括眼睛坐标的第三状态下，眼睛跟踪状态可被分类为不稳定状态。
在操作430中，HUD控制设备确定渲染模式。这里，确定的渲染模式可用于渲染与用户图像的当前帧对应的HUD图像。渲染模式可包括2D渲染模式和3D渲染模式。HUD控制设备可基于眼睛跟踪状态将HUD图像的渲染模式确定为2D渲染模式和3D渲染模式中的一个。例如，如果眼睛跟踪状态被分类为稳定状态，则HUD控制设备可将渲染模式确定为3D渲染模式。相反，如果眼睛跟踪状态被分类为不稳定状态，则HUD控制设备可将渲染模式确定为2D渲染模式。
HUD控制设备可渲染HUD图像，使得在2D渲染模式下向用户的双眼提供相同的HUD图像，或者HUD控制设备可渲染HUD图像，使得在3D渲染模式下向用户的双眼提供不同的图像。例如，HUD控制设备可生成第一视点(例如，左眼)的第一源图像(例如，左图像)和第二视点(例如，右眼)的第二源图像(例如，右图像)，并且HUD控制设备可渲染HUD图像，使得第一源图像可被提供给第一视点，并且第二源图像可被提供给第二视点。如果渲染模式被确定为2D渲染模式，则HUD控制设备可通过将第一视点和第二视点同样地设置为单个视点来渲染HUD图像。相反，如果渲染模式被确定为3D渲染模式，则HUD控制设备可通过将第一视点和第二视点设置为不同的视点来渲染HUD图像。
2D渲染模式可包括跟踪2D渲染模式和固定2D渲染模式。如上所述，在眼睛跟踪结果包括眼睛坐标并且相对于眼睛坐标的位置改变速度大于阈值的第二状态下，或者在眼睛跟踪结果不包括眼睛坐标的第三状态下，眼睛跟踪状态可被分类为不稳定状态。在第二状态的情况下，由于存在眼睛坐标，因此可使用眼睛坐标来执行跟踪2D渲染模式。例如，如果眼睛跟踪结果包括双眼的当前眼睛坐标并且相对于当前眼睛坐标的位置改变速度大于阈值，则可将第一源图像的第一视点和第二源图像的第二视点同样地设置为当前眼睛坐标的中心视点。另一方面，在第三状态的情况下，由于不存在眼睛坐标，因此可使用先前获得的眼睛坐标来执行固定2D渲染模式。例如，如果眼睛跟踪结果不包括当前眼睛坐标，则可将第一视点和第二视点同样地设置为最近使用的前一眼睛坐标的中心视点。
在操作440中，HUD控制设备以确定的渲染模式来渲染HUD图像。HUD图像可由显示装置显示并通过3D光学层提供给用户。如果执行了3D渲染，则HUD图像可穿过3D光学层，使得不同视点的图像可被提供给用户的双眼。即使执行了2D渲染，HUD图像也可通过3D光学层被提供给用户。然而，在这种情况下，与3D渲染不同，可向用户的双眼提供相同视点的图像。在如上所述对当前帧执行操作440之后，可对后续帧执行操作410至操作440。可对用户图像的每个帧执行这个处理。
图5示出根据示例实施例的眼睛跟踪状态。参照图5，可通过对用户图像510执行眼睛跟踪来针对用户图像510中的每个帧获得在标记有“X”的位置处的眼睛坐标。此外，由于每个帧的眼睛坐标没有很大变化，因此，用户图像510的眼睛跟踪状态可被分类为稳定状态。
对于用户图像520，也可通过眼睛跟踪针对每个帧获得在标记有“X”的位置处的眼睛坐标。然而，由于针对用户图像520的每个帧的眼睛坐标改变很大，因此，用户图像520的眼睛跟踪状态可被分类为不稳定状态。例如，如用户图像520中所示，当车辆在减速带上行驶、在不平坦的道路上行驶或急转弯时，眼睛位置可快速地改变。
示出眼睛跟踪失败的情况的用户图像530不具有与每个帧的眼睛位置对应的“X”标记。例如，由于诸如低照度或遮挡的环境因素，如在用户图像530中那样，眼睛跟踪可能失败。
如果眼睛跟踪状态被分类为稳定状态，如在用户图像510中那样，则可通过3D渲染模式来渲染HUD图像。如果眼睛跟踪状态被分类为不稳定状态，如在用户图像520和530中那样，则可通过2D渲染模式来渲染HUD图像。如果在用户图像520中存在眼睛坐标，则可执行跟踪2D渲染模式。如果在用户图像530中不存在眼睛坐标，则可执行固定2D渲染模式。
图6示出根据示例实施例的观看空间中的眼睛移动。参照图6，观看空间600包括在其中观看第一源图像的第一观看空间S1和在其中观看第二源图像的第二观看空间S2。眼睛位置611是在时间t1的第一视点(例如，左眼)的位置，眼睛位置621是在时间t1的第二视点(例如，右眼)的位置。时间t1与时间t2之间的差可对应于两个连续帧之间的时间差。用户可通过眼睛位置611的第一视点观看第一源图像，并且通过眼睛位置621的第二视点观看第二源图像。第一观看空间S1和第二观看空间S2可通过边界线630来划分。HUD控制设备可响应于眼睛位置611和621的改变来调整边界线630，使得眼睛位置611可停留在第一观看空间S1中，并且眼睛位置621可停留在第二观看空间S2中。
眼睛位置611是第一视点在时间t1的位置，眼睛位置612是第一视点在时间t2的位置。此外，眼睛位置621是第二视点在时间t1的位置，眼睛位置622是第二视点在时间t2的位置。因此，眼睛位置611和621(或眼睛坐标)的改变速度(或移动速度)可被定义为Ve。此外，边界线630的调整速度(或移动速度)可被定义为Vt。Ve和Vt可对应于在两个连续帧之间的时间差期间眼睛位置611和621的变化以及边界线630的变化。由于需要诸如更新HUD图像的系统处理来调整边界线630，因此，Vt的最大值可受系统处理速率的限制。如果Ve大于Vt的最大值，则例如如图6中所示，第一视点的眼睛位置612可在第二观看空间S2中，并且第二视点的眼睛位置622可在第一观看空间S1中。因此，可观察到串扰。
可基于系统处理速率来设置阈值。阈值可以是基于系统处理速率可调整到最大值的边界线630的速度。例如，阈值可被设置为240毫米每秒(mm/s)。在这种情况下，如果眼睛位置611和621(或眼睛坐标)的改变速度大于用户图像的帧中的阈值，则针对该帧的眼睛跟踪状态可被确定为不稳定状态。因此，可通过2D渲染模式来渲染与帧对应的HUD图像。详细地，由于存在眼睛坐标，因此，可使用跟踪2D渲染模式。
图7示出根据示例实施例的切换渲染模式的处理。例如，渲染模式的切换可包括从2D渲染模式切换到3D渲染模式以及从3D渲染模式切换到2D渲染模式。在另一示例中，渲染模式的切换可包括从跟踪2D渲染模式、固定2D渲染模式和3D渲染模式中的一种切换到跟踪2D渲染模式、固定2D渲染模式和3D渲染模式中的另一种。在渲染模式被切换的同时，HUD图像中可发生视点的改变，并且导致用户在观看HUD图像时感觉不舒服。根据示例实施例，为了减少这种不适，可在预定时间内执行渲染模式的切换。
参照图7，在操作710中，HUD控制设备确定是否切换渲染模式。例如，在图4的操作430中确定渲染模式之后，在操作710中，基于操作430中的确定来确定是否切换渲染模式。例如，如果针对先前帧进行迭代的渲染模式在操作430中被确定为3D渲染模式，并且针对当前帧进行迭代的渲染模式在操作430中被确定为2D渲染模式，则渲染模式将被切换。在这种情况下，可执行操作720。
在操作720中，HUD控制设备在缓冲时间期间执行切换操作。缓冲时间可对应于多个帧。例如，如果HUD图像的帧速率是每秒60帧(fps)，则缓冲时间可对应于1秒＝60帧。如果渲染模式将从3D渲染模式切换到2D渲染模式，则HUD控制设备可在在缓冲时间内将第一视点和第二视点逐渐改变为在2D渲染模式下使用的单个视点的同时渲染HUD图像。将参照图8进一步描述切换操作。
如果针对先前帧进行迭代的渲染模式在操作430中被确定为3D渲染模式，并且针对当前帧进行迭代的渲染模式在操作430中被保持为3D渲染模式，则渲染模式将不被切换。在这种情况下，可通过图4的操作440以3D渲染模式渲染与当前帧对应的HUD图像。
图8示出根据示例实施例的用于切换渲染模式的缓冲视点和缓冲源图像。图8示出将渲染模式从3D渲染模式切换到2D渲染模式的示例。然而，公开不限于此，并且图8的示例和以下描述也可应用于根据另一示例实施例的另一类型的切换处理。参照图8，在观看空间810中示出第一视点820(例如，左眼)、第二视点830(例如，右眼)和中心视点840。中心视点840可位于第一视点820和第二视点830中间。缓冲视点可在第一视点820与中心视点840之间以及在第二视点830与中心视点840之间。缓冲视点的数量可对应于缓冲时间。例如，如果缓冲时间对应于60帧，则60个缓冲视点可在第一视点820与中心视点840之间，并且60个缓冲视点可在第二视点830与中心视点840之间。
第一源图像825可对应于第一视点820，第二源图像835可对应于第二视点830，中心源图像845可对应于中心视点840。此外，可存在与缓冲视点对应的缓冲源图像。在3D渲染模式下，可通过基于第一源图像825和第二源图像835渲染HUD图像来提供3D HUD。此外，在2D渲染模式下，可通过基于中心源图像845渲染HUD图像来提供2D HUD。如果渲染模式从3D渲染模式切换到2D渲染模式，则可在时间t1基于第一源图像825和第二源图像835来渲染3DHUD图像，可在时间t2到时间tB-1基于缓冲源图像来渲染缓冲器HUD图像，并且可在时间tB基于中心源图像845来渲染2D HUD图像。B可对应于缓冲时间。
可基于根据第一源图像825、第二源图像835和中心源图像845的插值操作来生成缓冲源图像。例如，可使用第一源图像825和中心源图像845通过插值操作来生成与第一视点820和中心视点840之间的缓冲视点对应的缓冲源图像，并且可使用第二源图像835和中心源图像845通过插值操作来生成与第二视点830和中心视点840之间的缓冲视点对应的缓冲源图像。
图9示出根据示例实施例的在3D渲染模式下的图像。参照图9，第一源图像910包括在与第一视点对应的位置处的虚拟对象915，第二源图像920包括在与第二视点对应的位置处的虚拟对象925。在图9中，第一视点和第二视点是不同的视点。第一源图像910被生成以用于在连接第一视点和目标位置的线与虚拟屏幕相交的交点处显示虚拟对象915，并且第二源图像920被生成以用于在连接第二视点和目标位置的线与虚拟屏幕相交的交点处显示虚拟对象925。可基于第一源图像910和第二源图像920通过3D渲染来生成HUD图像930，使得观看HUD图像930的用户可体验3D的虚拟对象915。
图10示出根据示例实施例的在2D渲染模式下的图像。与图9的示例不同，图10中的第一视点和第二视点对应于同一视点。因此，第一源图像1010的虚拟对象1015和第二源图像1020的虚拟对象1025位于相同位置。可基于第一源图像1010和第二源图像1020通过2D渲染来生成HUD图像1030。
例如，图9的第一源图像910和第二源图像920可对应于图8的第一源图像825和第二源图像835。此外，图10的第一源图像1010和第二源图像1020可对应于图8的中心源图像845。此外，可基于第一源图像910、第二源图像920和第一源图像1010(或第二源图像1020)通过插值操作来生成图8的缓冲源图像。
图11和图12示出根据示例实施例的使用跟踪区域跟踪眼睛的处理。跟踪眼睛的处理可包括使用下面描述的跟踪区域。参照图11，操作1110和操作1111是对用户图像的第一帧F1执行的操作。在操作1110中，HUD控制设备对第一帧F1的整个图像区域执行眼睛检测。例如，HUD控制设备可通过扫描整个图像来确定与眼睛对应的检测区域。在操作1111中，HUD控制设备确定跟踪区域。HUD控制设备可基于检测区域来确定跟踪区域。例如，可基于检测区域的尺寸来确定跟踪区域的尺寸，并且可将跟踪区域的位置确定为将检测区域包括在其中心处。
接下来，操作1121至操作1123是对用户图像的第二帧F2执行的操作。在操作1121中，HUD控制设备基于跟踪区域执行眼睛跟踪。例如，HUD控制设备可通过扫描跟踪区域而不是扫描第二帧F2的整个图像区域来检测跟踪区域内的眼睛。这种使用跟踪区域的眼睛检测可被称为眼睛跟踪。在操作1122中，HUD控制设备确定在跟踪区域中是否存在眼睛。如果眼睛在跟踪区域中，则在操作1123中，HUD控制设备更新跟踪区域。以与基于第一帧F1的检测区域确定跟踪区域的方式相同的方式，可基于第二帧F2的检测区域更新跟踪区域。
接下来，操作1130至操作1133是对用户图像的第三帧F3执行的操作。响应于操作1122确定在跟踪区域中不存在眼睛，在操作1130中，HUD控制设备终止跟踪模式并返回到检测模式以在第三帧F3的整个图像区域中执行眼睛检测。如果响应于操作1122确定在跟踪区域中存在眼睛而在操作1123中更新了跟踪区域，则在操作1131中，HUD控制设备基于更新的跟踪区域执行眼睛跟踪。操作1131至操作1133的详情与操作1121至操作1123的详情相同。如上所述，如果在跟踪区域中存在眼睛，则可更新跟踪区域并且可保持跟踪模式。然而，如果在跟踪区域中没有眼睛，则可再次激活检测模式以扫描整个图像。
参照图12，示出用户图像的帧F1、F2和F3。HUD控制设备确定帧F1中的检测区域，并且基于检测区域确定第一跟踪区域1210。帧F2中的眼睛可处于比帧F1中的眼睛更右上的位置。HUD控制设备从帧F2中的第一跟踪区域1210检测到眼睛。由于在第一跟踪区域1210中检测到眼睛，所以HUD控制设备基于帧F2中的第一跟踪区域1210内的检测区域来更新跟踪区域。因此，确定了第二跟踪区域1220。以与帧F2中的方式相同的方式，可从帧F3中的第二跟踪区域1220检测到眼睛，并且可通过更新跟踪区域来确定第三跟踪区域1230。以这种方式，响应于确定眼睛被包括在每个跟踪区域中，HUD控制设备可在不扫描整个图像的情况下跟踪眼睛。
图13示出根据示例实施例的基于眼睛跟踪生成HUD图像的处理。参照图13，在操作1310中，HUD控制设备确定眼睛跟踪状态。在操作1320中，HUD控制设备确定眼睛跟踪状态是否是稳定状态。根据参照图11和图12描述的示例实施例，可使用跟踪区域来执行眼睛跟踪。
如果眼睛跟踪状态对应于稳定状态，则在操作1330中，HUD控制设备执行3D渲染。如果眼睛跟踪状态不对应于稳定状态，则在操作1340中，HUD控制设备执行2D渲染。例如，如果通过眼睛跟踪在跟踪区域中确定眼睛位置，但是眼睛位置的改变速度大于阈值，则在操作1341中，可执行跟踪2D渲染。当通过眼睛跟踪在跟踪区域中未确定眼睛位置时，在操作1342中，可执行固定2D渲染。在这种情况下，可取消眼睛跟踪的跟踪模式，并且可再次激活检测模式。
当通过操作1340执行2D渲染的同时，HUD控制设备在操作1350中检查状态是否改变。例如，状态改变的情况可包括在执行跟踪2D渲染的同时眼睛位置的改变速度降低到低于或等于阈值的情况，以及在执行固定2D渲染的同时尽管在跟踪区域之外检测到眼睛，但是眼睛位置的改变速度小于或等于阈值的情况。如果状态改变，则在操作1360中，HUD控制设备在缓冲时间期间将渲染模式从2D渲染模式切换到3D渲染模式。然后，在操作1330中，HUD控制设备执行3D渲染。
类似地，在通过操作1330执行3D渲染的同时，HUD控制设备在操作1370中检查状态是否改变。例如，状态改变的情况可包括眼睛位置的改变速度超过阈值的情况，以及在跟踪区域中未检测到眼睛的情况。如果状态改变，则在操作1380中，HUD控制设备在缓冲时间期间将渲染模式从3D渲染模式切换到2D渲染模式。然后，在操作1340中，HUD控制设备执行2D渲染。
图14示出根据示例实施例的考虑眼睛跟踪状态来控制HUD的方法，并且进一步描述了图4的示例。参照图14，在操作1410中，HUD控制设备通过对用户图像执行眼睛跟踪来生成眼睛跟踪结果。在操作1420中，HUD控制设备基于眼睛跟踪结果确定与眼睛位置的改变有关的眼睛跟踪状态。在操作1430中，HUD控制设备基于眼睛跟踪状态将HUD图像的渲染模式确定为2D渲染模式和3D渲染模式中的一个。在操作1440中，HUD控制设备以确定的渲染模式来渲染HUD图像。此外，参照图1A至图13、图15和图16提供的描述可应用于控制HUD的方法，因此，为了简明起见，将省略详细描述。
图15示出根据示例实施例的HUD控制设备的配置。参照图15，HUD控制设备1500包括处理器1510和存储器1520。存储器1520连接到处理器1510，并且可存储能够由处理器1510执行的指令、将由处理器1510计算的数据或处理器1510处理过的数据。存储器1520可包括非暂时性计算机可读介质(例如，高速随机存取存储器)和/或非易失性计算机可读介质(例如，磁盘存储装置、闪存装置、或另一非易失性固态存储器装置)。然而，公开不限于此，根据另一示例实施例，存储器1520可以是被配置为存储数据、信息和/或指令的存储装置。
处理器1510可执行指令以执行参照图1A至图14和图16描述的操作。例如，处理器1510可通过对用户图像执行眼睛跟踪来生成眼睛跟踪结果，基于眼睛跟踪结果确定与眼睛位置的改变有关的眼睛跟踪状态，基于眼睛跟踪状态将HUD图像的渲染模式确定为2D渲染模式和3D渲染模式中的一个，并且以确定的渲染模式渲染HUD图像。此外，参照图1A至图14和图16提供的描述可应用于HUD控制设备1500，因此，为了简明起见，将省略详细描述。
图16示出根据示例实施例的电子装置的配置。参照图16，电子装置1600可获取用户图像，从获取的用户图像跟踪眼睛，并基于眼睛跟踪状态提供ARHUD图像。电子装置1600可在结构上和/或功能上包括图1A的HUD装置100、图1A的HUD控制设备110和/或图15的HUD控制设备1500。例如，图1A的HUD装置100、图1A的控制设备110和/或图15的HUD控制设备1500可被实现为电子装置1600。
电子装置1600可包括处理器1610、存储器1620、相机1630、存储装置1640、输入装置1650、输出装置1660和网络接口1670。然而，公开不限于此，因此，根据另一示例实施例，电子装置1600可包括其他组件，或者图16中所示的组件中的一个或多个组件可从电子装置1600中省略。处理器1610、存储器1620、相机1630、存储装置1640、输入装置1650、输出装置1660和网络接口1670可通过通信总线1680彼此通信。例如，电子装置1600可被实现为交通工具(诸如，汽车或飞机)的一部分。
处理器1610执行将在电子装置1600中执行的指令或功能。例如，处理器1610可处理存储在存储器1620或存储装置1640中的指令。处理器1610可执行通过图1A至图15描述的操作。
存储器1620存储用于提供HUD图像的各种数据。存储器1620可包括计算机可读存储介质或计算机可读存储装置。存储器1620可存储将由处理器1610执行的指令，并且可在电子装置1600执行软件和/或应用时存储相关信息。
相机1630可拍摄照片和/或视频。例如，相机1630可拍摄包括用户(例如，用户的面部)的用户图像。详细地，相机1630可包括图1A的眼睛跟踪相机130。相机1630可提供包括与对象有关的深度信息的3D图像。
存储装置1640包括计算机可读存储介质或计算机可读存储装置。存储装置1640可存储用于提供HUD图像的各种数据。与存储器1620相比，存储装置1640可长时间存储更多数量的信息。例如，存储装置1640可包括磁性硬盘、光盘、闪存、软盘或本领域已知的其他非易失性存储器。
输入装置1650可通过键盘和鼠标以传统输入方式以及以新的输入方式(诸如，触摸输入、语音输入和图像输入)从用户接收输入。例如，输入装置1650可包括键盘、鼠标、触摸屏、麦克风或从用户检测输入并将检测到的输入发送到电子装置1600的任何其他装置。
输出装置1660可通过视觉、听觉或触觉通道向用户提供电子装置1600的输出。输出装置1660可包括例如显示器、触摸屏、扬声器、振动发生器或向用户提供输出的任何其他装置。详细地，输出装置1660可包括图1A的显示装置120。网络接口1670可通过有线网络或无线网络与外部装置通信。
根据上述示例的方法可记录在包括用于实现上述示例实施例的各种操作的程序指令的非暂时性计算机可读介质中。介质还可单独包括程序指令、数据文件、数据结构等，或者还可包括程序指令、数据文件、数据结构等的组合。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计并构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，CD-ROM盘、DVD和/或蓝光盘)；磁光介质(诸如，光盘)；以及专门被配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒等)等)。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的更高级代码的文件二者。装置可被配置为用作软件模块，以便执行上述示例的操作，反之亦然。
软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或统一地指示或配置处理装置以根据需要进行操作。软件和数据可永久地或临时地呈现在任何类型的机器、组件、物理或虚拟装置、计算机存储介质或装置中，或者呈现在能够向处理装置提供指令或数据或由处理装置解释的传播信号波中。软件还可分布在联网的计算机系统上，使得软件以分布式方式存储和执行。软件和数据可由非暂时性计算机可读记录介质存储。
上面已经描述了许多示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果描述的技术以不同的顺序执行和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则可实现合适的结果。因此，其他实施方式在权利要求的范围内。

Claims (22)

1.一种用于控制平视显示的方法，所述方法包括：
执行对拍摄的图像中的用户的眼睛的眼睛跟踪；
基于眼睛跟踪的结果确认眼睛跟踪状态；
基于眼睛跟踪状态将平视显示图像的渲染模式确认为二维渲染模式和三维渲染模式中的一个；以及
以确认的渲染模式渲染平视显示图像。
2.根据权利要求1所述的方法，其中，确认眼睛跟踪状态的步骤包括：基于眼睛坐标是否存在于眼睛跟踪的结果中和/或基于眼睛坐标的改变速度，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
3.根据权利要求2所述的方法，其中，确认渲染模式的步骤包括：
基于眼睛跟踪状态被分类为稳定状态，将渲染模式确认为三维渲染模式；以及
基于眼睛跟踪状态被分类为不稳定状态，将渲染模式确认为二维渲染模式。
4.根据权利要求2所述的方法，其中，基于眼睛坐标被包括在眼睛跟踪的结果中并且眼睛坐标的改变速度小于或等于参考值，将眼睛跟踪状态分类为稳定状态。
5.根据权利要求4所述的方法，其中，参考值对应于系统处理速率。
6.根据权利要求2所述的方法，其中，基于眼睛坐标被包括在眼睛跟踪的结果中并且眼睛坐标的改变速度大于参考值，或者基于眼睛坐标未包括在眼睛跟踪的结果中，将眼睛跟踪状态分类为不稳定状态。
7.根据权利要求1至权利要求6中的任意一项所述的方法，其中，基于第一视点的第一源图像和第二视点的第二源图像来渲染平视显示图像。
8.根据权利要求7所述的方法，其中，渲染平视显示图像的步骤包括：基于确认的渲染模式是二维渲染模式，通过将第一视点和第二视点设置为同一视点来渲染平视显示图像。
9.根据权利要求8所述的方法，其中，渲染平视显示图像的步骤包括：
基于眼睛跟踪的结果包括双眼的当前眼睛坐标并且当前眼睛坐标的改变速度大于参考值，将第一视点和第二视点同样地设置为当前眼睛坐标的中心视点；以及
基于眼睛跟踪的结果不包括当前眼睛坐标，将第一视点和第二视点同样地设置为先前眼睛坐标的中心视点。
10.根据权利要求7所述的方法，其中，渲染平视显示图像的步骤包括：基于确认的渲染模式是三维渲染模式，通过将第一视点和第二视点设置为不同的视点来渲染平视显示图像。
11.根据权利要求1至权利要求6中的任意一项所述的方法，其中，基于渲染模式被确认，在与多个帧对应的缓冲时间期间将渲染模式从三维渲染模式切换到二维渲染模式或者从二维渲染模式切换到三维渲染模式。
12.根据权利要求11所述的方法，其中，基于第一视点的第一源图像和第二视点的第二源图像来渲染平视显示图像，并且
其中，渲染平视显示图像的步骤包括：基于渲染模式从三维渲染模式切换到二维渲染模式，当在缓冲时间内将第一视点和第二视点逐渐改变为在二维渲染模式下使用的单个视点的同时渲染平视显示图像。
13.一种用于控制平视显示的设备，所述设备包括：
存储器，被配置为：存储一条或多条指令，以及
处理器，被配置为：执行所述一条或多条指令以：
执行对拍摄的图像中的用户的眼睛的眼睛跟踪，
基于眼睛跟踪的结果确认眼睛跟踪状态，
基于眼睛跟踪状态将平视显示图像的渲染模式确认为二维渲染模式和三维渲染模式中的一个，以及
以确认的渲染模式渲染平视显示图像。
14.根据权利要求13所述的设备，其中，处理器还被配置为：基于眼睛坐标是否存在于眼睛跟踪的结果中和/或基于眼睛坐标的改变速度，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
15.根据权利要求14所述的设备，其中，处理器还被配置为：
基于眼睛跟踪状态被分类为稳定状态，将渲染模式确认为三维渲染模式，以及
基于眼睛跟踪状态被分类为不稳定状态，将渲染模式确认为二维渲染模式。
16.根据权利要求13至权利要求15中的任意一项所述的设备，其中，基于渲染模式被确认，在与多个帧对应的缓冲时间期间将渲染模式从三维渲染模式切换到二维渲染模式或者从二维渲染模式切换到三维渲染模式。
17.一种平视显示装置，包括：
眼睛跟踪相机，被配置为：拍摄包括用户的图像；
处理器，被配置为：对拍摄的图像执行眼睛跟踪，基于眼睛跟踪的结果确认眼睛跟踪状态，基于眼睛跟踪状态将平视显示图像的渲染模式确认为二维渲染模式和三维渲染模式中的一个，并且以确认的渲染模式渲染平视显示图像；以及
显示装置，被配置为：使用增强现实向用户提供平视显示图像。
18.根据权利要求17所述的平视显示装置，其中，处理器还被配置为：基于眼睛坐标是否存在于眼睛跟踪的结果中和/或基于眼睛坐标的改变速度，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
19.根据权利要求17所述的平视显示装置，其中，处理器还被配置为：基于渲染模式被确认，在与多个帧对应的缓冲时间期间将渲染模式从三维渲染模式切换到二维渲染模式或者从二维渲染模式切换到三维渲染模式。
20.一种显示设备，包括：
存储器，被配置为：存储一条或多条指令；以及
处理器，被配置为：执行所述一条或多条指令以：
接收关于拍摄的图像中的用户的眼睛的眼睛跟踪信息；
基于眼睛跟踪信息确认眼睛跟踪是稳定的还是不稳定的；
基于眼睛跟踪是不稳定的，以二维图像输出虚拟对象；以及
基于眼睛跟踪是稳定的，以三维图像输出虚拟对象。
21.一种显示方法，包括：
接收关于图像中的用户的眼睛的眼睛跟踪信息；
基于眼睛跟踪信息来确认眼睛跟踪是稳定的还是不稳定的；
基于眼睛跟踪是不稳定的，以二维图像输出虚拟对象；以及
基于眼睛跟踪是稳定的，以三维图像输出虚拟对象。
22.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使处理器执行根据权利要求1至权利要求12以及权利要求21中的任意一项所述的方法。
CN202110339116.8A 2020-08-24 2021-03-30 用于控制平视显示的方法和设备以及平视显示装置 Pending CN114089528A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200106554 2020-08-24
KR10-2020-0106554 2020-08-24
KR1020200130402A KR20220025625A (ko) 2020-08-24 2020-10-08 눈 추적 상태를 고려한 hud 제어 방법 및 장치
KR10-2020-0130402 2020-10-08

Publications (1)

Publication Number Publication Date
CN114089528A true CN114089528A (zh) 2022-02-25

Family

ID=76942895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339116.8A Pending CN114089528A (zh) 2020-08-24 2021-03-30 用于控制平视显示的方法和设备以及平视显示装置

Country Status (3)

Country Link
US (1) US11938817B2 (zh)
EP (1) EP3961353A1 (zh)
CN (1) CN114089528A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2618354A (en) * 2022-05-05 2023-11-08 Envisics Ltd Head-up display
WO2023224621A1 (en) * 2022-05-19 2023-11-23 Hewlett-Packard Development Company, L.P. Switching display device between 2d and 3d display modes based on eye tracking

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828358B1 (ko) 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP5092776B2 (ja) 2008-02-06 2012-12-05 株式会社デンソー 視線方向検出装置及び視線方向検出方法
KR101531522B1 (ko) 2009-07-29 2015-06-25 엘지전자 주식회사 차량용 헤드업 디스플레이 시스템의 영상 정보 에러 검색 장치 및 방법
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
KR101359660B1 (ko) 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR101921969B1 (ko) 2012-02-01 2018-11-28 한국전자통신연구원 차량용 증강현실 헤드업 디스플레이 장치 및 방법
KR101409846B1 (ko) 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
KR102071693B1 (ko) 2014-02-07 2020-01-30 엘지전자 주식회사 헤드 업 디스플레이 장치
KR101619267B1 (ko) 2014-10-22 2016-05-10 현대자동차 주식회사 차량의 hud 제어 방법, 및 차량의 hud 제어 장치
KR101713740B1 (ko) 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
KR102333267B1 (ko) 2014-12-10 2021-12-01 삼성전자주식회사 눈 위치 예측 장치 및 방법
KR20170065738A (ko) 2015-12-03 2017-06-14 현대오트론 주식회사 헤드업 디스플레이 제어 장치 및 방법
KR20170066749A (ko) 2015-12-04 2017-06-15 현대오트론 주식회사 헤드업 디스플레이의 영상 왜곡 보정 장치 및 방법
EP3488282A4 (en) 2016-07-19 2019-08-07 Supereye, Inc. SYSTEMS AND METHODS FOR PREDICTIVE VISUAL RENDERING
KR20180048049A (ko) 2016-11-02 2018-05-10 현대자동차주식회사 차량용 가변 헤드 업 디스플레이 제어 장치 및 방법
KR102564478B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
US10606347B1 (en) * 2017-07-31 2020-03-31 Facebook, Inc. Parallax viewer system calibration
KR102427854B1 (ko) 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR102444666B1 (ko) * 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
KR101956087B1 (ko) 2018-08-17 2019-03-08 삼성전자주식회사 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
KR102652943B1 (ko) 2018-12-03 2024-03-29 삼성전자주식회사 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
JP2021154988A (ja) * 2020-03-30 2021-10-07 株式会社豊田中央研究所 車載表示装置、車載表示装置を制御する方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
US20220055480A1 (en) 2022-02-24
EP3961353A1 (en) 2022-03-02
US11938817B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
US10281729B2 (en) Vehicle equipped with head-up display system capable of adjusting imaging distance and maintaining image parameters, and operation method of head-up display system thereof
JP4852062B2 (ja) 単眼用画像表示装置及び単眼用画像表示方法
CN111198442B (zh) 平视显示装置
US7952808B2 (en) Display system for vehicle and display method
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
CN109302594B (zh) 包括眼睛跟踪器的投影显示装置
WO2011036788A1 (ja) 表示装置及び表示方法
EP3961353A1 (en) Method and apparatus for controlling head-up display based on eye tracking status
JPWO2018061444A1 (ja) 反射板、情報表示装置および移動体
US11538334B2 (en) Head-up display device
JP2017134393A (ja) ヘッドアップディスプレイの表示ユニットを後方から照光するバックライト装置、ヘッドアップディスプレイ、及び、ヘッドアップディスプレイの表示ユニットを後方から照光する方法
CN113168012A (zh) 表示虚拟图像的体积显示装置及其方法
US20200192093A1 (en) Head-up display device for providing three-dimensional augmented reality
JP2010160362A (ja) ３次元表示装置、３次元表示方法、３次元表示物体、３次元画像作成装置、３次元画像作成方法、プログラムおよび記録媒体
JP7358909B2 (ja) 立体表示装置及びヘッドアップディスプレイ装置
JP2007199295A (ja) 表示装置
JP7110968B2 (ja) ヘッドアップディスプレイ装置
CN111308704A (zh) 三维显示设备和方法
US20230258931A1 (en) Head-up display device and control method thereof
JP7354846B2 (ja) ヘッドアップディスプレイ装置
KR20220025625A (ko) 눈 추적 상태를 고려한 hud 제어 방법 및 장치
WO2018180857A1 (ja) ヘッドアップディスプレイ装置
JP2018010251A (ja) 虚像表示装置
JP2005099425A (ja) 三次元表示装置
JP2003057596A (ja) 三次元表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination