CN112698719A - 重新格式化人眼窗口内容的方法和设备 - Google Patents

重新格式化人眼窗口内容的方法和设备 Download PDF

Info

Publication number
CN112698719A
CN112698719A CN202011138619.0A CN202011138619A CN112698719A CN 112698719 A CN112698719 A CN 112698719A CN 202011138619 A CN202011138619 A CN 202011138619A CN 112698719 A CN112698719 A CN 112698719A
Authority
CN
China
Prior art keywords
cropped
human eye
window
eye window
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011138619.0A
Other languages
English (en)
Inventor
K-H.张
O.奇姆霍尼
T.A.塞德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112698719A publication Critical patent/CN112698719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/336—Light guides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种重新格式化人眼窗口对象的内容的方法和设备。该方法包括：检测乘员的人眼位置并确定人眼位置坐标，确定当从人眼位置坐标观察时抬头显示器的人眼窗口中是否存在至少一个对象被剪裁，以及调整被剪裁的对象使得当乘员从人眼位置坐标观察时所述被剪裁的对象不被剪裁。

Description

重新格式化人眼窗口内容的方法和设备
技术领域
与示例性实施例一致的设备和方法涉及重新格式化显示的内容。更具体地，与示例性实施例一致的设备和方法涉及对抬头显示器的显示内容进行重新格式化。
背景技术
车辆配备抬头显示器为乘员提供信息，同时最大限度地减少乘员的视线和注意力离开道路的时间。由于抬头显示器内部光学元件的孔径和尺寸有限，所以抬头显示器的人眼窗口是有限的。人眼窗口(eyebox)是空间中的一个区域，在此区域中抬头显示器的投射内容对乘员完全可见，无需后期图像处理。人眼窗口的中心被指定为由车辆几何形状所限定的眼椭圆(eyellipse)的中心。可用人眼窗口可以是人眼窗口的虚拟区域的子集。可用人眼窗口是这样一个区域，如果内容被调整以适合该可用人眼窗口，则可以从乘员的当前人眼位置坐标完整无剪裁地观察到该内容。
发明内容
一个或多个示例性实施例提供了一种方法和设备，该方法和设备重新格式化被剪裁的内容，使得该内容适合于乘员可见人眼窗口的一部分。更具体地，一个或多个示例性实施例提供了一种方法和设备，其缩放、变换、平移、移除或重新格式化被剪裁的对象的内容，使得对象整体上对乘员可见而不被剪裁。
根据示例性实施例的一个方面，提供了一种重新格式化在人眼窗口中可见的内容的方法。该方法包括检测乘员的人眼位置并确定人眼位置坐标，确定当从人眼位置坐标观察时抬头显示器的人眼窗口中是否存在至少一个对象被剪裁，以及调整被剪裁的对象，使得当乘员从人眼位置坐标观察时所述被剪裁的对象不被剪裁。
所述人眼位置坐标可以反映相对于人眼窗口的空间位置。
人眼窗口可以是空间中的虚拟区域，从该虚拟区域中，抬头显示器投影的图像对于乘员完全可见，并且执行对裁剪对象的调整，使得调整后的对象显示在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中调整后的对象从人眼位置坐标对于乘员是完全可见的。
抬头显示器可以包括光源、显示器、镜和组合器。
调整被剪裁的对象可以包括在对应于人眼位置坐标的方向上平移所述被剪裁的对象。
调整被剪裁的对象可以包括将被剪裁的对象缩放到更小的尺寸，使得被剪裁的对象完全包含在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中被调整的对象从人眼位置坐标对于乘员是完全可见的。
调整被剪裁的对象可以包括重新组织、减少或移除被剪裁的对象中可见的内容，使得被剪裁的对象完全包含在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中被调整的对象从人眼位置坐标对于是乘员完全可见的。
抬头显示器可以包括两个或更多个虚像平面，并且调整被裁剪对象可以包括将被裁剪的对象的内容从两个平面的第一平面移动到两个平面的另一平面。
确定抬头显示器的人眼窗口中是否存在至少一个对象被剪裁可以包括基于检测到的人眼位置坐标和人眼位置坐标距人眼窗口中心的距离或方向来确定被剪裁对象的被剪裁部分的坐标和尺寸中的至少一个。
调整所述被剪裁的对象可以包括根据所确定的被剪裁的对象的被剪裁的部分的坐标和尺寸中的至少一个来变换、平移、移除和重新格式化所述被剪裁的对象的内容。
根据另一个示例性实施例的一个方面，提供了一种重新格式化在人眼窗口中可见的内容的设备。该设备包括至少一个存储器，其包含计算机可执行指令；以及至少一个处理器，其被配置为读取和执行计算机可执行指令。所述计算机可执行指令使得所述至少一个处理器检测乘员的人眼位置并确定人眼位置坐标，确定当从人眼位置坐标观察时抬头显示器的人眼窗口中是否存在至少一个对象被剪裁；并且调整被剪裁的对象，使得当乘员从人眼位置坐标观察时所述被剪裁的对象不被剪裁。
人眼位置坐标可以反映相对于人眼窗口的空间位置。人眼窗口可以是空间中的虚拟区域，从该虚拟区域，抬头显示器所投影的图像对于乘员是完全可见的，并且计算机可执行指令可以进一步使得至少一个处理器调整被剪裁的对象，使得被调整的对象被显示在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中调整的对象从人眼位置坐标对乘员是完全可见的。
该设备还可以包括抬头显示器，该抬头显示器包括光源、显示器、镜和组合器。
所述计算机可执行指令还可以使所述至少一个处理器通过在对应于人眼位置坐标的方向上平移被剪裁的对象来调整被剪裁的对象。
所述计算机可执行指令还可以使所述至少一个处理器通过将被剪裁的对象缩放到更小的尺寸来调整被剪裁的对象，使得被剪裁的对象完全包含在可用人眼窗口内，所述可用人眼窗口是人眼窗口的虚拟区域的子集，其中被调整的对象从人眼位置坐标对乘员是完全可见的。
所述计算机可执行指令还可以使所述至少一个处理器通过重新组织、减少或移除被剪裁的对象中可见的内容来调整被剪裁对象，使得被剪裁的对象完全包含在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中调整后的对象从人眼位置坐标对乘员完全可见。
该设备可以进一步包括抬头显示器，该抬头显示器包括两个或更多个虚拟图像平面，并且计算机可执行指令可以进一步使得至少一个处理器通过将被剪裁对象的内容从两个平面的第一平面移动到两个平面的另一平面来调整被剪裁对象。
所述计算机可执行指令还可以使所述至少一个处理器通过基于检测到的人眼位置坐标和人眼位置坐标距人眼中心的距离或方向来确定被剪裁对象的被剪裁部分的坐标和尺寸中的至少一个，来确定抬头显示器的人眼窗口中是否存在至少一个对象被剪裁。
所述计算机可执行指令还可以使所述至少一个处理器通过根据所确定的所述剪裁的对象的被剪裁的部分的坐标和尺寸中的至少一个来变换、平移、移除和重新格式化所述被剪裁的对象的内容来调整所述被剪裁的对象。
从以下示例性实施例和附图的详细描述中，示例性实施例的其他目的、优点和新颖特征将变得更加明显。
附图说明
图1示出了根据一个示例性实施例的对人眼窗口的内容进行重新格式化的设备的框图；
图2示出了根据示例性实施例的重新格式化人眼窗口内容的方法的流程图；
图3示出了根据示例性实施例的一个方面的乘员观察抬头显示设备的图示；和
图4示出了根据示例性实施例的一个方面的人眼窗口的重新格式化内容的图示。
具体实施方式
现在将参照附图中的图1-4详细描述一种重新格式化人眼窗口(eyebox)的内容的设备和方法，其中相同的附图标记始终指代相同的元件。
以下公开将使本领域技术人员能够实践本发明的概念。然而，这里公开的示例性实施例仅仅是示例性的，并且不将本发明的构思限制于这里描述的示例性实施例。此外，每个示例性实施例的特征或方面的描述通常应被认为可用于其他示例性实施例的方面。
还应当理解，这里所述的第一元件“连接到”、“附着到”、“形成在”或“设置在”第二元件上，第一元件可以直接连接到、直接形成在或直接设置在第二元件上，或者在第一元件和第二元件之间可以有中间元件，除非所述的是第一元件“直接”连接到、附着到、形成在或设置在第二元件上。此外，如果第一元件被配置成从第二元件“发送”或“接收”信息，则第一元件可以直接向第二元件发送或从第二元件接收信息，经由总线发送或接收信息，经由网络发送或接收信息，或者经由中间元件发送或接收信息，除非第一元件被指示为“直接”向第二元件发送信息或从第二元件接收信息。
在全部公开内容中，所公开的一个或多个元件可以组合成单个设备或者组合成一个或多个设备。此外，可以在分立的设备上提供单独的元件。
车辆配备抬头显示器为乘员提供信息，同时最大限度地减少乘员的视线和注意力离开道路的时间。由于抬头显示器内部光学元件的孔径和尺寸有限，所以抬头显示器的人眼窗口是有限的。人眼窗口是空间中的一个区域，在此区域中抬头显示器的投射内容对乘员完全可见，无需后期图像处理。人眼窗口的中心被指定为由车辆几何形状所限定的眼椭圆的中心。可用人眼窗口可以是人眼窗口的虚拟区域的子集。可用人眼窗口是这样一个区域，如果内容被调整以适合该可用人眼窗口，则可以从乘员的当前人眼位置坐标完整无剪裁地观察到该内容。
当乘员的一只或两只人眼位于人眼窗口之外时，人眼窗口的有限尺寸可能会对投影的信息或内容产生剪裁效果。如果观察者的人眼位于人眼窗口之外，或者偏离可看到全部内容或投影信息的位置，则当从观察者的人眼位置坐标观察时，该人眼中看不到投影信息或内容，或者，投影信息或内容可能被剪裁。为了解决由于有限的人眼窗口大小而导致的裁剪效果和被裁剪的投影对象，操作者可能必须重新定位他们的头部或身体。然而，另一种方法可以是将抬头显示器显示的内容调整或重新格式化到可用人眼窗口中，使得所述内容对于操作者来说看起来是完整或未剪裁的，从而有效允许乘员或操作者观察完整或连贯内容。
图1示出了根据一个示例性实施例的重新格式化人眼窗口100的内容的设备的框图。如图1所示，根据示例性实施例，重新格式化人眼窗口100的内容的设备包括控制器101、电源102、存储器103、输出部104、用户输入部106、传感器107和通信设备108。然而，对人眼窗口100的内容进行重新格式化的设备不限于上述配置，并且可以被配置为包括附加元件和/或省略一个或多个上述元件。对人眼窗口100的内容进行重新格式化的设备可以作为车辆的一部分或者作为独立部件来实现。
控制器101控制重新格式化人眼窗口100的内容的设备的整体操作和功能。控制器101可以控制对人眼窗口100的内容进行重新格式化的设备的存储器103、输出部104、用户输入部106、传感器107和通信设备108中的一个或多个。控制器101可以包括处理器、微处理器、中央处理器、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件组件的组合中的一个或多个。
控制器101被配置为发送信号至所述设备的存储器103、输出部104、用户输入部106、传感器107和通信设备108中的一个或多个和/或从其接收信息，所述设备重新格式化人眼窗口100的内容。所述信息可以通过总线或网络发送和接收，或者可以直接从对人眼窗口100的内容进行重新格式化的设备的存储器103、输出部104、用户输入部106、传感器107和通信设备108中的一个或多个读取或写入。合适的网络连接的示例包括控制器局域网(CAN)、面向媒体的系统传输(MOST)、本地互连网(LIN)、局域网(LAN)和其他合适的连接，例如以太网。
电源102向对人眼窗口100的内容进行重新格式化的设备的控制器101、存储器103、输出部104、用户输入部106、传感器107和通信设备108中的一个或多个提供电力。电源102可以包括电池、插座、电容器、太阳电池、发电机、风能设备、交流发电机等中的一个或多个。
存储器103被配置为用于存储信息和检索由重新格式化人眼窗口100的内容的设备使用的信息。存储器103可以由控制器101控制，以存储和检索关于内容、对象、人眼位置和人眼窗口的信息。存储器103还可以包括计算机指令，该计算机指令被配置为由处理器执行，以执行重新格式化人眼窗口100的内容的设备的功能。关于对象或内容的信息可以包括维度、区域、优先级或重要性中的一个或多个以及显示信息。关于人眼位置的信息可以包括坐标信息。有关人眼窗口的信息可包括人眼窗口尺寸、坐标范围、中心坐标。
存储器103可以包括软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及其他类型的适合于存储机器可执行指令的介质/机器可读介质中的一个或多个。
输出部104以一种或多种形式输出信息，包括：视觉、听觉和/或触觉形式。输出部104可以由控制器101控制，以向重新格式化人眼窗口100的内容的设备的用户提供输出。输出部104可以包括扬声器、显示器、透明显示器、居中显示器、抬头显示器、挡风玻璃显示器、触觉反馈设备、振动设备、触觉反馈设备、敲击反馈设备、全息显示器、仪表灯、指示灯等中的一个或多个。在一个示例中，输出部104是抬头显示器，其使用图形指示符来显示对象或内容，诸如速度、温度或其他信息。图形指示符可以具有可调整的特征，包括图形指示符的阴影度、图形指示符的透明度、图形指示符的大小、图形指示符相对于其他图形指示符的大小、图形指示符的颜色、图形指示符的形状。
用户输入部106被配置为向重新格式化人眼窗口100的内容的设备提供信息和命令。用户输入部106可用于提供用户输入等到控制器101。用户输入部106可以包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、相机、触控板、鼠标、触摸板等中的一个或多个。用户输入部106可以被配置成接收用户输入，以确认或忽略由输出部104输出的通知。用户输入部106还可以被配置成接收用户输入，以循环浏览抬头显示器上的对象、图形指示符或内容。
传感器107被配置为检测乘员。传感器107可以是雷达传感器、微波传感器、超声波传感器、相机、红外传感器、激光雷达LIDAR和激光传感器中的一个或多个传感器。在一个示例中，传感器107被实现为驾驶员监控系统中的相机。例如，控制器101可以从传感器107接收关于乘员人眼位置的信息。来自传感器107的信息可以通过总线、存储器103或通信设备108提供给控制器101。
通信设备108可以由重新格式化人眼窗口100的内容的设备使用，根据各种通信方法与各种类型的外部设备通信。通信设备108可以用于向/从重新格式化人眼窗口100的内容的设备的控制器101发送/接收对象信息。通信设备108可以包括各种通信模块，例如远程信息处理单元、广播接收模块、近场通信NFC模块、全球定位系统GPS接收器、有线通信模块或无线通信模块中的一个或多个。广播接收模块可以包括地面广播接收模块，该地面广播接收模块包括接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近距离的外部设备通信的模块。全球定位系统接收器是从全球定位系统卫星接收全球定位系统信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器局域网CAN或外部网络的有线网络接收信息的模块。无线通信模块是通过使用诸如IEEE 802.11协议、WiMAX、Wi-Fi或IEEE通信协议的无线通信协议连接到外部网络并与外部网络通信的模块。无线通信模块还可以包括移动通信模块，该移动通信模块访问移动通信网络，并根据各种移动通信标准执行通信，例如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee。
对人眼窗口100的内容进行重新格式化的设备的控制器101可以被配置为检测乘员的人眼位置并确定人眼位置坐标，确定当从该人眼位置坐标观察时抬头显示器的人眼窗口中是否存在至少一个对象被剪裁；以及调整该被剪裁的对象，使得当乘员从所述人眼位置坐标观察时，所述被剪裁的对象不被剪裁。
对人眼窗口100的内容进行重新格式化的设备的控制器101可以被配置成调整被剪裁的对象，使得被调整的对象显示在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中从人眼位置坐标观察时被调整的对象对于乘员是完全可见的。
对人眼窗口100的内容进行重新格式化的设备的控制器101还可以被配置为通过在对应于人眼位置坐标的方向上平移被剪裁的对象来调整被剪裁的对象。
对人眼窗口100的内容进行重新格式化的设备的控制器101还可以被配置为通过将被剪裁的对象缩放到更小的尺寸来调整被剪裁的对象，使得被剪裁的对象完全包含在可用人眼窗口内，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中从人眼位置坐标观察时被调整的对象对于乘员是完全可见的。
对人眼窗口100的内容进行重新格式化的设备的控制器101还可以被配置为通过重新组织、减少或移除在被剪裁的对象中可见的内容来控制调整被剪裁的对象，使得被剪裁的对象完全包含在可用人眼窗口中，该可用人眼窗口是人眼窗口的虚拟区域的子集，其中从人眼位置坐标观察时被调整的对象对乘员完全可见的。
对人眼窗口100的内容进行重新格式化的设备的控制器101还可以被配置为通过将被剪裁的对象的内容从两个平面中的第一平面移动到两个平面中的另一平面来调整被剪裁对象。
对人眼窗口100的内容进行重新格式化的设备的控制器101还可以被配置为通过基于检测到的人眼位置坐标和人眼位置坐标距人眼窗口中心的距离或方向来确定被剪裁对象的被剪裁部分的坐标和尺寸中的至少一个，来确定抬头显示器的人眼窗口中是否存在至少一个对象被剪裁。控制器101然后可以根据所确定的被剪裁对象的被剪裁部分的坐标和尺寸中的至少一个，通过变换、平移、移除和重新格式化被剪裁对象的内容来调整被剪裁对象。
图2示出了根据示例性实施例的重新格式化人眼窗口内容的方法的流程图。图2的方法可以由重新格式化人眼窗口100的内容的设备执行，或者可以作为可由计算机执行以执行该方法的指令被编码到计算机可读介质中。
参照图2，在操作S210中，检测乘员的人眼位置，并检测人眼位置坐标。基于人眼位置坐标，然后在操作S220中确定人眼窗口中是否存在至少一个对象被剪裁。在操作S230中，调整被剪裁的对象，使得当乘员从人眼位置坐标观察时，对象变得未被剪裁。对象的调整可以包括缩放、变换、平移、移除和重新格式化对象的内容中的一个或多个，使得内容适合于可用人眼窗口。
图3示出了根据示例性实施例的一个方面的乘员观察抬头显示设备的图示。乘员301能够通过人眼窗口302观察虚拟图像311。人眼窗口由抬头显示器中每个光学元件的孔径和图像生成单元(PGU)的视角决定。抬头显示设备包括图像生成单元305，图像生成单元305包括光源和显示器。折光镜306将图像生成单元305生成的图像反射到光学部件307处，光学部件307产生光路304。折光镜306可以是平面的或非球面的。光学部件307可以是组合器或挡风玻璃。
图4示出了根据示例性实施例的一个方面的重新格式化人眼窗口的内容的图示。参考图4，示出了内容调整的三个示例。然而，重新格式化内容的设备和方法不限于这三个示例，并且可以包括对现在在图4中示出的内容重新格式化的其他方法。
图411示出了当乘员从人眼窗口上方或高于人眼窗口的位置观察时从底部剪裁的内容。如果发生这种类型的剪裁，并且取决于乘员的人眼位置的尺寸，可以在图示412中重新组织和减少内容，使得从乘员检测到的人眼位置坐标，只有速度对于乘员以未剪裁的方式可见。在该示例中，所述对象的内容可以通过重要性区分优先级，并且该内容可以根据重要性和乘员从其检测到的人眼位置可以看到的人眼窗口的区域来显示。
图421显示了当乘员从人眼窗口下方或低于人眼窗口的位置观察时从顶部剪裁的内容。如果发生这种类型的剪裁，并且取决于乘员的人眼位置的尺寸，内容可以被缩放到更小的尺寸，并且在图示422中被平移，使得从乘员的检测到的人眼位置坐标，整个内容以未剪裁的方式对乘员可见。在该示例中，内容或对象可以根据乘员从其检测到的人眼位置可以看到的人眼窗口的区域被缩放到缩小的尺寸。
图431显示了当乘员从人眼窗口的上方或高于人眼窗口的位置观察时，从底部剪裁的内容。如果发生这种类型的剪裁，并且取决于在乘员人眼位置处可见的图像尺寸，在图示432中，内容可以被向上平移和倾斜，使得从乘员检测到的人眼位置坐标，整个内容对于乘员以未剪裁的方式可见。在该示例中，内容或对象可仍然适合于乘员可看到的人眼窗口的区域，因此内容或对象被移动到乘员从乘员的检测到的人眼位置可看到的人眼窗口的区域。
本文公开的过程、方法或算法可以被传送到处理设备、控制器或计算机/由处理设备、控制器或计算机实现，处理设备、控制器或计算机可以包括任何现有的可编程电子控制设备或专用电子控制设备。类似地，过程、方法或算法可以以多种形式存储为可由控制器或计算机执行的数据和指令，包括但不限于永久存储在诸如只读存储器设备的不可写存储介质上的信息和可替换地存储在诸如软盘、磁带、光盘、随机存取存储器设备以及其他磁性和光学介质的可写存储介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。可替代地，可以使用合适的硬件组件，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或设备，或者硬件、软件和固件组件的组合来整体或部分地实施过程、方法或算法。
上面已经参照附图描述了一个或多个示例性实施例。上述示例性实施例应该仅被认为是描述性的而不是限制性的。此外，在不脱离由权利要求书限定的本发明构思的精神和范围的情况下，可以调整示例性实施例。

Claims (10)

1.一种重新格式化人眼窗口内容的设备，该设备包括：
至少一个存储器，包括计算机可执行指令；和
至少一个处理器，配置为读取和执行所述计算机可执行指令，所述计算机可执行指令使得所述至少一个处理器：
检测乘员人眼的位置并确定人眼位置坐标；
确定当从人眼位置坐标观察时抬头显示器的人眼窗口中是否存在的至少一个对象被剪裁；以及
调整被剪裁的对象，使得当乘员从所述人眼位置坐标观察时所述被剪裁的对象不被剪裁。
2.根据权利要求1所述的设备，其中，所述人眼位置坐标反映相对于所述人眼窗口的空间位置。
3.根据权利要求1所述的设备，其中，所述人眼窗口包括空间中的虚拟区域，从所述虚拟区域，由抬头显示器投影的图像对乘员完全可见，并且
其中，所述计算机可执行指令还使得所述至少一个处理器调整所述被剪裁的对象，使得所述被调整的对象显示在可用人眼窗口内，所述可用人眼窗口是所述人眼窗口的虚拟区域的子集，其中，被调整的对象从所述人眼位置坐标对乘员完全可见。
4.根据权利要求1所述的设备，还包括抬头显示器，所述抬头显示器包括光源、显示器、镜和组合器。
5.根据权利要求1所述的设备，其中，所述计算机可执行指令还使得所述至少一个处理器通过在对应于所述人眼位置坐标的方向上平移所述被剪裁的对象来调整所述被剪裁的对象。
6.根据权利要求1所述的设备，其中，所述计算机可执行指令还使得所述至少一个处理器通过将所述被剪裁的对象缩放到较小的尺寸来调整所述被剪裁的对象，使得所述被剪裁的对象完全包含在可用人眼窗口内，所述可用人眼窗口是所述人眼窗口的虚拟区域的子集，其中，所述被调整的对象从所述人眼位置坐标对于所述乘员完全可见。
7.根据权利要求1所述的设备，其中，所述计算机可执行指令还使得所述至少一个处理器通过重新组织、减少或移除所述被剪裁的对象中可见的内容来调整所述被剪裁的对象，使得所述被剪裁的对象完全包含在可用人眼窗口内，所述可用人眼窗口是所述人眼窗口的虚拟区域的子集，其中，所述被调整的对象从人眼位置坐标对于所述乘员完全可见。
8.根据权利要求1所述的设备，还包括抬头显示器，所述抬头显示器包括两个或更多个虚拟图像平面，并且
其中，所述计算机可执行指令还使得所述至少一个处理器通过将所述被剪裁的对象的内容从所述两个平面的第一平面移动到所述两个平面的另一平面来调整所述被剪裁的对象。
9.根据权利要求1所述的设备，其中，所述计算机可执行指令还使得所述至少一个处理器通过基于检测到的人眼位置坐标和人眼位置坐标距人眼窗口中心的距离或方向来确定所述被剪裁对象的被剪裁的部分的坐标和尺寸中的至少一个，以此确定抬头显示器的人眼窗口中是否存在至少一个对象被剪裁。
10.根据权利要求9所述的设备，其中，所述计算机可执行指令还使得所述至少一个处理器根据所确定的被剪裁的对象的被剪裁的部分的坐标和尺寸中的至少一个，通过变换、平移、移除和重新格式化所述被剪裁的对象的内容来调整所述被剪裁的对象。
CN202011138619.0A 2019-10-23 2020-10-22 重新格式化人眼窗口内容的方法和设备 Pending CN112698719A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/661,227 US10926638B1 (en) 2019-10-23 2019-10-23 Method and apparatus that reformats content of eyebox
US16/661,227 2019-10-23

Publications (1)

Publication Number Publication Date
CN112698719A true CN112698719A (zh) 2021-04-23

Family

ID=74659199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011138619.0A Pending CN112698719A (zh) 2019-10-23 2020-10-22 重新格式化人眼窗口内容的方法和设备

Country Status (3)

Country Link
US (1) US10926638B1 (zh)
CN (1) CN112698719A (zh)
DE (1) DE102020124591B4 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880036B2 (en) 2021-07-19 2024-01-23 GM Global Technology Operations LLC Control of ambient light reflected from pupil replicator
US11602993B1 (en) * 2021-09-17 2023-03-14 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for adjusting the transparency of a digital needle
US11630302B1 (en) 2022-04-06 2023-04-18 GM Global Technology Operations LLC Driving guidance system for a motor vehicle having an augmented reality head up display
US12030512B2 (en) 2022-04-06 2024-07-09 GM Global Technology Operations LLC Collision warning system for a motor vehicle having an augmented reality head up display
US11654771B1 (en) 2022-07-20 2023-05-23 GM Global Technology Operations LLC Multi-view display device for a co-pilot application of a motor vehicle
US11915395B2 (en) 2022-07-20 2024-02-27 GM Global Technology Operations LLC Holographic display system for a motor vehicle with real-time reduction of graphics speckle noise

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
US20140375543A1 (en) * 2013-06-25 2014-12-25 Honda Motor Co., Ltd. Shared cognition
US20150199019A1 (en) * 2014-01-16 2015-07-16 Denso Corporation Gesture based image capturing system for vehicle
CN105774679A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 一种汽车、车载抬头显示系统及其投影图像高度调节方法
US20160266391A1 (en) * 2015-03-11 2016-09-15 Hyundai Mobis Co., Ltd. Head up display for vehicle and control method thereof
CN106125306A (zh) * 2016-06-28 2016-11-16 科世达（上海）管理有限公司 一种抬头显示系统、车辆控制系统及车辆
JP2017024444A (ja) * 2015-07-15 2017-02-02 アルパイン株式会社 画像生成装置および画像生成方法
DE102015116160A1 (de) * 2015-09-24 2017-03-30 Denso Corporation Head-Up Display mit situationsbasierter Anpassung der Darstellung von virtuellen Bildinhalten
JP2018185654A (ja) * 2017-04-26 2018-11-22 日本精機株式会社 ヘッドアップディスプレイ装置
CN110114711A (zh) * 2017-02-10 2019-08-09 金泰克斯公司 包括投影系统的车辆显示器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961117B1 (en) 2008-09-16 2011-06-14 Rockwell Collins, Inc. System, module, and method for creating a variable FOV image presented on a HUD combiner unit
US8629903B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
EP2462480A2 (en) 2009-08-07 2012-06-13 Light Blue Optics Ltd. Head up displays
US9047703B2 (en) 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
DE102014015241B4 (de) 2014-10-16 2023-11-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Darstellung von Inhalten in einer Projektion eines Headup-Displays eines Fahrzeuges, sowie ein Kraftfahrzeug
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
CN109477967A (zh) 2016-05-11 2019-03-15 威瑞股份公司 具可变焦平面的抬头显示系统
DE102016225353A1 (de) 2016-12-16 2018-06-21 Continental Automotive Gmbh Verfahren zum Anpassen eines von einer Bilderzeugungseinheit erzeugten Bildes und Head-up Display zur Ausführung des Verfahrens
US20190339535A1 (en) * 2017-01-02 2019-11-07 Visteon Global Technologies, Inc. Automatic eye box adjustment

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
JP2014225017A (ja) * 2013-05-15 2014-12-04 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の乗員の視野に画像情報を投影するための装置及び方法
US20140375543A1 (en) * 2013-06-25 2014-12-25 Honda Motor Co., Ltd. Shared cognition
US20150199019A1 (en) * 2014-01-16 2015-07-16 Denso Corporation Gesture based image capturing system for vehicle
CN105774679A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 一种汽车、车载抬头显示系统及其投影图像高度调节方法
US20160266391A1 (en) * 2015-03-11 2016-09-15 Hyundai Mobis Co., Ltd. Head up display for vehicle and control method thereof
JP2017024444A (ja) * 2015-07-15 2017-02-02 アルパイン株式会社 画像生成装置および画像生成方法
DE102015116160A1 (de) * 2015-09-24 2017-03-30 Denso Corporation Head-Up Display mit situationsbasierter Anpassung der Darstellung von virtuellen Bildinhalten
CN106125306A (zh) * 2016-06-28 2016-11-16 科世达（上海）管理有限公司 一种抬头显示系统、车辆控制系统及车辆
CN110114711A (zh) * 2017-02-10 2019-08-09 金泰克斯公司 包括投影系统的车辆显示器
JP2018185654A (ja) * 2017-04-26 2018-11-22 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
DE102020124591A1 (de) 2021-04-29
DE102020124591B4 (de) 2023-12-28
US10926638B1 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112698719A (zh) 重新格式化人眼窗口内容的方法和设备
US9819920B2 (en) Head-up display device
EP3015904A1 (en) Head-up display device
KR102578517B1 (ko) 전자 장치 및 그 제어 방법
US10071747B2 (en) System for a vehicle
US9933692B2 (en) Head-up display device
CN109086786B (zh) 对lidar数据进行分类以实现目标探测的方法和装置
CN108569298B (zh) 用于增强俯视图图像的方法和装置
US20190187790A1 (en) Vehicle display device and control method thereof
EP3245104A1 (en) In-vehicle projection display system with dynamic display area
WO2018179786A1 (ja) 情報表示装置
JP6620977B2 (ja) 表示制御装置、投影装置、および表示制御プログラム
JP2019010919A (ja) 走行支援装置及びコンピュータプログラム
JP6295360B1 (ja) メッセージ表示用プログラム、メッセージ表示装置、及びメッセージ表示方法
EP3173278B1 (en) Vehicle display control device
JP6891926B2 (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
US20180272978A1 (en) Apparatus and method for occupant sensing
US20210116710A1 (en) Vehicular display device
US20190122382A1 (en) Method and apparatus that display view alert
US10160274B1 (en) Method and apparatus that generate position indicators for towable object
US20180222389A1 (en) Method and apparatus for adjusting front view images
JP6415968B2 (ja) 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体
US20190102202A1 (en) Method and apparatus for displaying human machine interface
JP6939147B2 (ja) 走行情報案内装置及びコンピュータプログラム
WO2024031709A1 (zh) 一种显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination