CN117681656A - 用于配置抬头显示器的电子装置和方法 - Google Patents

用于配置抬头显示器的电子装置和方法 Download PDF

Info

Publication number
CN117681656A
CN117681656A CN202211100405.3A CN202211100405A CN117681656A CN 117681656 A CN117681656 A CN 117681656A CN 202211100405 A CN202211100405 A CN 202211100405A CN 117681656 A CN117681656 A CN 117681656A
Authority
CN
China
Prior art keywords
display
processor
coordinate value
driver
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211100405.3A
Other languages
English (en)
Inventor
丁筱雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN117681656A publication Critical patent/CN117681656A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明提供一种用于配置抬头显示器的电子装置和方法。方法包含：取得对应于驾驶人之视线的第一坐标值，并且取得对应于第一坐标值的统计值；将第一坐标值与统计值输入至量子机器学习模型以取得第一预测统计值；以及根据第一坐标值和第一预测统计值配置抬头显示器的显示区域。本发明可动态地调整抬头显示器的显示区域。

Description

用于配置抬头显示器的电子装置和方法
技术领域
本发明是有关于一种用于配置抬头显示器的电子装置和方法。
背景技术
目前，抬头显示器(head-up display，HUD)系统已经成为包含飞机或汽车等载具的标准配备之一。抬头显示器用以将仪表信息投影到载具的驾驶人的视线前方，以避免驾驶人频繁低头看仪表板而分散注意力。随着增强实境(augmented reality，AR)技术出现，抬头显示器系统所提供的信息更加多样化。例如，抬头显示器系统可利用例如摄影机等装置取得载具的外部环境信息，从而根据外部环境信息产生导航信息，并将导航信息投影至挡风玻璃。
虽然HUD技术变得日益复杂且发挥着越来越重要的作用，但HUD技术仍存在一个难以解决的问题，即HUD的投影图像可能会遮蔽驾驶人的视线，降低驾驶人对路况的掌握度。因此，如何避免HUD的投影图像遮蔽驾驶人的视线，是本领域人员致力的目标之一。
发明内容
本发明提供一种用于配置抬头显示器的电子装置和方法，可动态地调整抬头显示器的显示区域。
本发明的一种用于配置抬头显示器的电子装置，包含处理器、存储介质以及收发器。存储介质存储量子机器学习模型。处理器耦接存储介质和收发器，其中处理器经配置以执行：通过收发器取得对应于驾驶人的视线的第一坐标值，并且取得对应于第一坐标值的统计值；将第一坐标值与统计值输入至量子机器学习模型以取得第一预测统计值；以及根据第一坐标值和第一预测统计值配置抬头显示器的显示区域。
在本发明的一实施例中，上述的处理器更经配置以执行：通过收发器取得载具的速度；以及根据速度配置显示区域的尺寸。
在本发明的一实施例中，上述的速度与尺寸负相关。
在本发明的一实施例中，上述的处理器更经配置以执行：通过收发器取得对应于驾驶人的视线的平均凝视时间；以及根据平均凝视时间配置抬头显示器的显示内容，其中显示内容的信息量与平均凝视时间成反比。
在本发明的一实施例中，上述的处理器更经配置以执行：通过收发器取得载具的速度；以及根据速度决定信息量，其中信息量与速度负相关。
在本发明的一实施例中，上述的处理器更经配置以执行：根据抬头显示器的显示内容判断书写方向；以及根据书写方向决定显示内容在显示区域中的位置。
在本发明的一实施例中，上述的处理器更经配置以执行：通过收发器取得量子机器学习模型的训练数据，其中训练数据包含历史坐标值、历史统计值、对应于载具的历史速度以及对应于载具的历史相对车流量；根据历史坐标值、历史统计值、历史速度和历史相对车流量计算对应于驾驶人的视线的理想统计值；以及根据损失函数训练量子机器学习模型，其中损失函数关联于量子机器学习模型的输出统计值与理想统计值之间的误差。
在本发明的一实施例中，上述的处理器更经配置以执行：取得由量子机器学习模型根据第一坐标值和统计值输出的分别对应于多个统计值的多个机率；以及根据多个机率以从多个候选统计值中选择对应于最大机率的候选统计值以作为第一预测统计值。
在本发明的一实施例中，上述的处理器更经配置以执行：通过收发器取得对应于视线的第二坐标值；将第二坐标值与第一预测统计值输入至量子机器学习模型以取得第二预测统计值；以及根据第二坐标值和第二预测统计值配置显示区域。
在本发明的一实施例中，上述的统计值包含标准差以及正负号。
本发明的一种用于配置抬头显示器的方法，包含：取得对应于驾驶人的视线的第一坐标值，并且取得对应于第一坐标值的统计值；将第一坐标值与统计值输入至量子机器学习模型以取得第一预测统计值；以及根据第一坐标值和第一预测统计值配置抬头显示器的显示区域。
基于上述，本发明的电子装置可根据驾驶人的视线动态地调整抬头显示器的显示区域。电子装置除了可避免抬头显示器的投影图像持续遮蔽特定区域而导致驾驶人对路况的掌握度降低，还可辅助驾驶人更加快速和正确地理解抬头显示器所显示的信息。
附图说明
图1根据本发明的一实施例绘示一种用于配置抬头显示器的电子装置的示意图。
图2根据本发明的一实施例绘示用于配置抬头显示器的方法的流程图。
图3根据本发明的一实施例绘示集合Q的示意图。
图4根据本发明的一实施例绘示抬头显示器的显示内容的示意图。
图5根据本发明的一实施例绘示一种用于配置抬头显示器的方法的流程图。
附图符号说明：
100、电子装置；
110、处理器；
120、存储介质；
130、收发器；
200、量子机器学习模型；
40、中心点；
400、显示区域；
41、视角；
42、视野；
P、集合Q中的任意点；
Q、集合；
S201、S202、S203、S204、S205、S206、S501、S502、S503:步骤。
具体实施方式
对于驾驶人而言，抬头显示器时常分散驾驶人的注意力，所以抬头显示器的投影的显示位置和显示信息必须谨慎的安排，才不会影响驾驶人观看路况或判断行车状态。为了方便驾驶人观看抬头显示器所显示的信息，抬头显示器的显示区域需与驾驶人的视线相关联。然而，驾驶人的视线受到多重因素影响。若要以机器学习技术预测驾驶人的视线，将需要花费非常大量的训练样本和运算资源。有鉴于此，本发明提出一种基于量子力学视觉流理论的配置抬头显示器的方法，通过凝视时间(gaze duration)、车速和车流量等参数改进驾驶人和载具之间的通讯过程，智慧地调整抬头显示器的显示区域和显示内容。本发明可避免抬头显示器分散驾驶人的注意力，藉以提升驾驶人的行车安全。
图1根据本发明的一实施例绘示一种用于配置抬头显示器的电子装置100的示意图。电子装置100包含处理器110、存储介质120以及收发器130。
处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可程序化的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、专用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、图像处理单元(image processing unit，IPU)、算术逻辑单元(arithmetic logic unit，ALU)、复杂可编程逻辑装置(complex programmable logic device，CPLD)、现场可程序化逻辑闸阵列(field programmable gate array，FPGA)或其他类似元件或上述元件的组合。处理器110可耦接至存储介质120以及收发器130，并且存取和执行存储于存储介质120中的多个模组和各种应用程序。
存储介质120例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合，而用于存储可由处理器110执行的多个模组或各种应用程序。在本实施例中，存储介质120可储存包含量子机器学习模型200的多个模组，其功能将于后续说明。
收发器130以无线或有线的方式传送及接收信号。收发器130还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。
图2根据本发明的一实施例绘示用于配置抬头显示器的方法的流程图，其中所述方法可由如图1所示的电子装置100实施。需注意的是，图2的流程图并不用以限制步骤S203至步骤S205的执行次序。举例来说，步骤S205可先于步骤S204执行，也可后于步骤S204执行。
电子装置100可通过收发器130通讯连接至抬头显示器，并且配置抬头显示器以将抬头显示器所显示的图像投影到一介质(例如：挡风玻璃)上的显示区域中。在步骤S201中，处理器110可通过收发器130取得对应于驾驶人的视线(line of sight)的坐标值(x(t),y(t))，并且取得对应于坐标值的统计值(±Δx(t-ΔT),±Δy(t-ΔT))，其中x(t)为时间点t时驾驶人的视线所凝视的位置的X坐标值，y(t)为时间点t时驾驶人的视线所凝视的位置的Y坐标值，Δx(t-ΔT)为时间点(t-ΔT)时驾驶人的视线在X轴上的标准差，并且Δy(t-ΔT)为时间点(t-ΔT)时驾驶人的视线在Y轴上的标准差，其中ΔT为取样时间间隔。上述的X轴和Y轴可对应于笛卡儿坐标系。上述的坐标值的单位可包含但不限于像素(pixel)。
在一实施例中，处理器110可通过收发器130通讯连接至摄影机，其中所述摄影机用以拍摄驾驶人员的脸部的图像。处理器110可对图像执行虹膜追踪技术以判断驾驶人的视线停留在挡风玻璃中的位置，从而根据所述位置取得坐标值(x(t),y(t))。也就是说，坐标值(x(t),y(t))与驾驶人对挡风玻璃的凝视(fixation)或回视(refixation)相关。
驾驶人的两个眼睛可能分别注视(gaze)挡风玻璃上的不同位置。据此，处理器110可对坐标值(x(t),y(t))进行与双眼视觉有关的校正。举例来说，处理器110可取得分别对应于两个眼睛的视线的两个坐标值，并且计算两个坐标值的平均以产生经校正的坐标值(即：坐标值((x(t),y(t)))。以坐标值x(t)为例，如方程式(1)所示，x1(t)为时间点t时驾驶人之左眼视线所凝视的位置的X坐标值，并且x2(t)为时间点t时驾驶人之右眼视线所凝视的位置的X坐标值。
在取得坐标值(x(t),y(t))，处理器110可进一步取得对应于时间点t的统计值(±Δx(t-ΔT),±Δy(t-ΔT))。统计值可包含标准差(standard deviation)以及正负号(plus or minus sign)。统计值(±Δx(t-ΔT),±Δy(t-ΔT))的来源有两种。具体来说，量子机器学习模型200可根据对应于先前时间点的统计值产生对应于当前时间点的统计值。举例来说，若处理器110侦测到量子机器学习模型200输出过统计值(±Δx(t-2ΔT),±Δy(t-2ΔT))，则处理器110可将(±Δx(t-2ΔT),±Δy(t-2ΔT))输入至量子机器学习模型200以取得统计值(±Δx(t-ΔT),±Δy(t-ΔT))，其中ΔT为取样时间间隔。另一方面，若处理器110并未侦测到量子机器学习模型200输出过任何统计值，代表处理器110无法利用量子机器学习模型200取得统计值(±Δx(t-ΔT),±Δy(t-ΔT))。据此，处理器110可根据在时间点(t-ΔT)之前所取样到的历史数据计算统计值(±Δx(t-ΔT),±Δy(t-ΔT))。举例来说，处理器110可根据坐标值(x(t-n),y(t-n))、坐标值(x(t-n+1),y(t-n+1))、…、坐标值(x(t-3ΔT),y(t-3ΔT))和坐标值(x(t-2ΔT),y(t-2ΔT))等多个历史坐标值来计算统计值(±Δx(t-ΔT),±Δy(t-ΔT))。简而言之，若统计值(±Δx(t-ΔT),±Δy(t-ΔT))为初始统计值，则处理器110根据历史坐标值计算统计值(±Δx(t-ΔT),±Δy(t-ΔT))。若统计值(±Δx(t-ΔT),±Δy(t-ΔT))非为初始统计值，则处理器110利用量子机器学习模型200取得统计值(±Δx(t-ΔT),±Δy(t-ΔT))。
在一实施例中，处理器110还可通过虹膜追踪技术判断驾驶人的视线停留在挡风玻璃上特定位置的时段。以坐标值(x(t),y(t))为例，处理器110可根据虹膜追踪技术判断驾驶人注视着坐标值(x(t),y(t))的时段为ΔD(t)。若坐标值(x(t),y(t))上存在由抬头显示器所投影的一文字，则处理器110可将时段ΔD(t)定义为对应于时间点t的凝视时间(gaze duration)。处理器110可根据分别对应于多个不同时间点的多个凝视时间来计算驾驶人的平均凝视时间驾驶人的阅读速度越快，则驾驶人的平均凝视时间/>通常越短。
驾驶人的两个眼睛可对应于不同的凝视时间。据此，处理器110可对凝视时间ΔD(t)进行与双眼视觉有关的校正。在一实施例中，处理器110可取得分别对应于两个眼睛的视线的两个凝视时间，并且计算两个凝视时间的平均以产生经校正的凝视时间(即：凝视时间ΔD(t))，如方程式(2)所示，其中ΔD1(t)为对应于驾驶人的左眼的凝视时间，并且ΔD2(t)为对应于驾驶人的右眼的凝视时间。
在一实施例中，处理器110可从两个凝视时间中选择较长的凝视时间以作为经校正的凝视时间(即：凝视时间ΔD(t))，如方程式(3)所示，其中ΔD1(t)为对应于驾驶人的左眼的凝视时间，并且ΔD2(t)为对应于驾驶人的右眼的凝视时间。
ΔD(t)＝max(ΔD1(t),ΔD2(t))…(3)
在取得坐标值(x(t),y(t))和统计值(±Δx(t-ΔT),±Δy(t-ΔT))后，在步骤S202中，处理器110将坐标值(x(t),y(t))和统计值(±Δx(t-ΔT),±Δy(t-ΔT))输入至量子机器学习模型200以取得预测统计值(±Δx(t),±Δy(t))。具体来说，量子机器学习模型200可根据输入的坐标值(x(t),y(t))和统计值(±Δx(t-ΔT),±Δy(t-ΔT))输出分别对应于多个候选统计值的多个机率。处理器110可根据多个机率以从多个候选统计值中选择对应于最大机率的候选统计值以作为预测统计值(±Δx(t),±Δy(t))。
图3根据本发明的一实施例绘示集合Q的示意图。量子机器学习模型200可基于量子力学的视觉流(visual flow)理论而根据输入的坐标值(x(t),y(t))和统计值(±Δx(t-ΔT),±Δy(t-ΔT))定义出集合Q，其中集合Q包含了预测统计值(±Δx(t),±Δy(t))的所有候选者。量子机器学习模型200还产生可对应于集合Q中的每一个候选者的机率。以Q集合中的候选统计值(±Δx1(t),±Δy1(t))为例，量子机器学习模型200可产生对应于候选统计值(±Δx1(t),±Δy1(t))的机率Ω(±Δx1(t),±Δy1(t))。若候选统计值(±Δx1(t),±Δy1(t))在Q集合中具有最大机率，则处理器110可从Q集合中选出候选统计值(±Δx1(t),±Δy1(t))以作为预测统计值(±Δx(t),±Δy(t))。也就是说，候选统计值(±Δx1(t),±Δy1(t))的机率Ω(±Δx1(t),±Δy1(t))需满足方程序(4)的限制，其中P为集合Q中的任意点。
量子机器学习模型200可以是由处理器110基于例如量子退火(Quantumannealing)演算法而训练的。具体来说，处理器110可通过收发器130连接外部传感器(例如：摄影机、光达或时速表)，以自外部传感器取得量子机器学习模型200的训练数据。训练数据可包含历史坐标值(x(k),y(k))、历史统计值(±Δx(k-ΔT),±Δy(k-ΔT))、对应于载具的车速的历史速度v(k)以及对应于载具的历史相对车流量r(k)，其中时间点k先于时间点t。历史相对车流量r(k)代表在时间点k之前单位时间内靠近过载具的其他载具的数量。处理器110可根据方程式(5)计算对应于驾驶人的视线的理想统计值(I(±Δx(k)),I(±Δy(k)))，其中Cx和Cy为预定义的常数。
处理器110可根据损失函数L来训练量子机器学习模型200，其中损失函数L用以表示量子机器学习模型200的输出统计值与理想统计值(I(±Δx(k)),I(±Δy(k)))之间的误差，如方程式(6)所示，其中代表量子机器学习模型200的输出统计值，I代表理想统计值(即：(I(±Δx(k)),I(±Δy(k))))，并且/>代表输出统计值/>与理想统计值I之间的误差，其中所述误差包含但不限于均方误差(mean square error，MSE)或平均绝对误差(meanabsolute error，MAE)。处理器110可将历史坐标值(x(k),y(k))和历史统计值(±Δx(k-ΔT),±Δy(k-ΔT))输入训练中的量子机器学习模型200以取得输出统计值/>并可通过最小化损失函数L来训练量子机器学习模型200。
回到图2，在步骤S203中，处理器110可根据坐标值(x(t),y(t))和预测统计值(±Δx(t),±Δy(t))决定抬头显示器的显示区域的位置。图4根据本发明的一实施例绘示抬头显示器的显示内容的示意图。在一实施例中，处理器110可根据方程序(7)计算显示区域400的中心点40的坐标值(C1,C2)，藉以决定显示区域400的位置。
显示内容可包含但不限于仪表板信息、导航信息或警示信息。以巡航定速(adaptive cruise control，ACC)系统或AR系统的应用为例，假设载具安装了本发明的电子装置100。当载具遇到前方障碍物时，除了ACC系统可自动降速外，电子装置100可配置抬头显示器以将警示信息投影到显示区域，藉以提示驾驶人ACC系统已经介入载具的操作，避免驾驶人慌恐。
在步骤S204，处理器110可决定显示区域400的尺寸以及将被抬头显示器投影至显示区域400的显示内容。具体来说，处理器110可根据当前载具的速度v(t)配置显示区域400的尺寸。处理器110可通过收发器130连接至载具的时速表以取得速度v(t)。另一方面，处理器110可根据驾驶人的平均凝视时间配置显示内容。
在一实施例中，载具的速度(例如：速度v(t))与显示区域400的尺寸负相关。人类双眼的视角(angle of view，AoV)与载具的速度有关。当载具的速度加快时，驾驶人的视角将会缩小，驾驶人对挡风玻璃的视野(field of view，FoV)也会缩小，如表1的范例所示。为了保证显示区域400的所有内容都可被驾驶人读到，处理器110可参考表1来配置显示区域400在水平方向(即：X轴)上的长度以使显示区域400不超出驾驶人的视野，如图4所示，可以明确驾驶人的视角41，并且驾驶人对挡风玻璃的视野42。
表1
载具的速度(km/h) 驾驶人在水平方向上的视角(°)
40 100
70 65
100 40
在一实施例中，驾驶人的平均凝视时间与显示内容的信息量成反比。载具的速度与驾驶人的反应时间(即：驾驶人感知到危险至驾驶人开始执行有效刹车所需的时间)成反比。当载具的速度加快时，驾驶人的反应时间将会缩短。考量到驾驶的安全性，驾驶人阅读显示内容的时间需小于驾驶人的反应时间。若将显示内容可包含的信息量量化为最大字数M，则最大字数M需满足方程式(8)的限制，其中RT(v(t))可表示载具的速度为v(t)时驾驶人的反应时间。
在一实施例中，存储介质120可预存载具的速度与驾驶人的反应时间的关系映射表。处理器110可根据关系映射表决定最大字数M。举例来说，假设驾驶人的平均凝视时间为30毫秒，抬头显示器的显示内容预计包含5个字，并且处理器110根据载具的速度和关系映射表判断驾驶人的反应时间RT(v(t))为1600毫秒。由于30*5<1600，故处理器110可判断显示内容包含的5个字并未超过最大字数M。因此，上述的5个字可全数包含于显示内容中。由方程式(8)可知，显示内容的信息量与反应时间正相关，并且与载具的速度负相关。也就是说，载具的速度越快，抬头显示器所能显示的信息量越少。载具的速度越慢，抬头显示器所能显示的信息量越多。
在步骤S205中，处理器110可决定显示内容在显示区域400中的位置。具体来说，处理器110可判断抬头显示器的显示内容的书写方向，并且根据书写方向决定显示内容在显示区域400中的位置。假设一文句是由左往右书写，当读者在阅读该文句时，读者分配给文句左边区域的注意力资源较少。大部分的注意力资源会被分配到包含阅读中或尚未被阅读的文字的右边区域。上述的右边区域称为知觉广度(perceptual span)。据此，处理器110可根据显示内容的书写方向判断显示区域的何处属于知觉广度，进而将显示内容设定在显示区域400中较偏向知觉广度的位置。
以图4为例，显示区域400的显示内容包含“8”、“0”、“k”、“m”、“/”和“h”等6个文字。由于显示内容的书写方向是由左向右书写，故处理器110可判断驾驶人的知觉广度位于显示区域400的右边区域(即：中心点40的右侧或中心点40的正X方向)。据此，处理器110可将显示内容的大部分配置在中心点40的右侧，并且将显示内容的小部分配置在中心点40的左侧(即：中心点40的负X方向)。在图4中，处理器110将显示内容中的4个文字配置在中心点40的右侧，并将显示内容中的2个文字配置在中心点40的左侧。
在步骤S206中，处理器110可通过收发器130以根据显示内容、显示内容的位置、显示区域的尺寸和显示区域的位置等参数配置抬头显示器。
图5根据本发明的一实施例绘示一种用于配置抬头显示器的方法的流程图，其中所述方法可由如图1所示的电子装置100实施。在步骤S501中，取得对应于驾驶人的视线的第一坐标值，并且取得对应于第一坐标值的统计值。在步骤S502中，将第一坐标值与统计值输入至量子机器学习模型以取得第一预测统计值。在步骤S503中，根据第一坐标值和第一预测统计值配置抬头显示器的显示区域。
综上所述，本发明的电子装置根据驾驶人的视线以及量子机器学习演算法预测出驾驶人的视线将会停留之处，并且将抬头显示器的显示区域设置在该处。藉由动态地调整显示区域的位置，将可避免挡风玻璃的特定区域持续地被遮蔽。电子装置可根据驾驶人的凝视时间、载具的车速和车流量等因素决定显示区域的尺寸或显示内容的多寡等，避免在驾驶人反应时间较短时显示过量的信息给驾驶人，从而分散驾驶人的注意力。因应于抬头显示器所显示的文字的书写方向的不同，电子装置可基于知觉广度理论来调整显示内容在显示区域中的位置，辅助驾驶人更加快速和正确地理解抬头显示器所显示的信息。

Claims (11)

1.一种用于配置抬头显示器的电子装置，其特征在于，包括：
收发器；
存储介质，存储量子机器学习模型；以及
处理器，耦接所述存储介质和所述收发器，其中所述处理器经配置以执行：
通过所述收发器取得对应于驾驶人之视线的第一坐标值，并且取得对应于所述第一坐标值的统计值；
将所述第一坐标值与所述统计值输入至所述量子机器学习模型以取得第一预测统计值；以及
根据所述第一坐标值和所述第一预测统计值配置所述抬头显示器的显示区域。
2.如权利要求1所述的电子装置，其特征在于，所述处理器更经配置以执行：
通过所述收发器取得载具的速度；以及
根据所述速度配置所述显示区域的尺寸。
3.如权利要求2所述的电子装置，其特征在于，所述速度与所述尺寸负相关。
4.如权利要求1所述的电子装置，其特征在于，所述处理器更经配置以执行：
通过所述收发器取得对应于所述驾驶人的所述视线的平均凝视时间；以及
根据所述平均凝视时间配置所述抬头显示器的显示内容，其中所述显示内容的信息量与所述平均凝视时间成反比。
5.如权利要求4所述的电子装置，其特征在于，所述处理器更经配置以执行：
通过所述收发器取得载具的速度；以及
根据所述速度决定所述信息量，其中所述信息量与所述速度负相关。
6.如权利要求1所述的电子装置，其特征在于，所述处理器更经配置以执行：
根据所述抬头显示器的显示内容判断书写方向；以及
根据所述书写方向决定所述显示内容在所述显示区域中的位置。
7.如权利要求1所述的电子装置，其特征在于，所述处理器更经配置以执行：
通过所述收发器取得所述量子机器学习模型的训练数据，其中所述训练数据包括历史坐标值、历史统计值、对应于载具的历史速度以及对应于所述载具的历史相对车流量；
根据所述历史坐标值、所述历史统计值、所述历史速度和所述历史相对车流量计算对应于驾驶人之视线的理想统计值；以及
根据损失函数训练所述量子机器学习模型，其中所述损失函数关联于所述量子机器学习模型的输出统计值与所述理想统计值之间的误差。
8.如权利要求1所述的电子装置，其特征在于，所述处理器更经配置以执行：
取得由所述量子机器学习模型根据所述第一坐标值和所述统计值输出的分别对应于多个候选统计值的多个机率；以及
根据所述多个机率以从所述多个候选统计值中选择对应于最大机率的候选统计值以作为所述第一预测统计值。
9.如权利要求1所述的电子装置，其特征在于，所述处理器更经配置以执行：
通过所述收发器取得对应于所述视线的第二坐标值；
将所述第二坐标值与所述第一预测统计值输入至所述量子机器学习模型以取得第二预测统计值；以及
根据所述第二坐标值和所述第二预测统计值配置所述显示区域。
10.如权利要求1所述的电子装置，其特征在于，所述统计值包括标准差以及正负号。
11.一种用于配置抬头显示器的方法，其特征在于，包括：
取得对应于驾驶人的视线的第一坐标值，并且取得对应于所述第一坐标值的统计值；
将所述第一坐标值与所述统计值输入至量子机器学习模型以取得第一预测统计值；以及
根据所述第一坐标值和所述第一预测统计值配置所述抬头显示器的显示区域。
CN202211100405.3A 2022-08-25 2022-09-09 用于配置抬头显示器的电子装置和方法 Pending CN117681656A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111131987A TW202409639A (zh) 2022-08-25 2022-08-25 用於配置抬頭顯示器的電子裝置和方法
TW111131987 2022-08-25

Publications (1)

Publication Number Publication Date
CN117681656A true CN117681656A (zh) 2024-03-12

Family

ID=84044888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211100405.3A Pending CN117681656A (zh) 2022-08-25 2022-09-09 用于配置抬头显示器的电子装置和方法

Country Status (5)

Country Link
US (1) US11919395B1 (zh)
EP (1) EP4328062A1 (zh)
JP (1) JP7472245B2 (zh)
CN (1) CN117681656A (zh)
TW (1) TW202409639A (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5723106B2 (ja) 2010-05-18 2015-05-27 東芝アルパイン・オートモティブテクノロジー株式会社 車両用ディスプレイ装置及び車両用ディスプレイ方法
US9483109B2 (en) * 2012-07-12 2016-11-01 Spritz Technology, Inc. Methods and systems for displaying text using RSVP
DE102013015205B3 (de) 2013-09-13 2015-02-05 Audi Ag Verfahren und System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen
JP6213300B2 (ja) 2014-02-26 2017-10-18 マツダ株式会社 車両用表示装置
US9904362B2 (en) 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
US9690104B2 (en) 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
EP3040809B1 (en) * 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
CN107851424B (zh) * 2015-07-29 2020-03-17 富士胶片株式会社 投影型显示装置及投影控制方法
US10520724B2 (en) * 2016-01-29 2019-12-31 Automotive Visual Technologies, Llc Multi-wavelength head up display systems and methods
US20180229654A1 (en) * 2017-02-16 2018-08-16 Regents Of The University Of Minnesota Sensing application use while driving
JP6876580B2 (ja) * 2017-09-15 2021-05-26 マクセル株式会社 情報表示装置
WO2019123326A1 (es) * 2017-12-19 2019-06-27 Pontificia Universidad Javeriana Sistema y método de interacción con un dispositivo móvil utilizando un visualizador head-up
TWI642972B (zh) 2018-03-07 2018-12-01 和碩聯合科技股份有限公司 抬頭顯示系統及其控制方法
JP6928570B2 (ja) * 2018-03-22 2021-09-01 マクセル株式会社 情報表示装置
CN112088329B (zh) 2018-05-04 2022-12-02 哈曼国际工业有限公司 用于多平面平视显示器的可再配置的光学器件
JP7210929B2 (ja) * 2018-08-07 2023-01-24 トヨタ自動車株式会社 運転意識推定装置
EP3887891A4 (en) * 2018-11-29 2022-08-17 Corning Incorporated REVERSED CURVE ASPHERIC MIRROR FOR HEAD-UP DISPLAY SYSTEM AND METHOD OF MANUFACTURE THEREOF
US11281289B2 (en) * 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
DE102020202380A1 (de) * 2020-02-25 2021-08-26 Siemens Mobility GmbH Verfahren zur Verkehrsbeeinflussung und Verkehrsbeeinflussungseinrichtung
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US20220129708A1 (en) * 2020-10-22 2022-04-28 Applied Materials Israel Ltd. Segmenting an image using a neural network
GB2605991A (en) * 2021-04-21 2022-10-26 Zeta Specialist Lighting Ltd Traffic control at an intersection
CA3215159A1 (en) * 2021-06-23 2022-12-29 Yudong CAO Application benchmark using empirical hardness models

Also Published As

Publication number Publication date
TW202409639A (zh) 2024-03-01
US11919395B1 (en) 2024-03-05
EP4328062A1 (en) 2024-02-28
US20240066986A1 (en) 2024-02-29
JP2024031734A (ja) 2024-03-07
JP7472245B2 (ja) 2024-04-22

Similar Documents

Publication Publication Date Title
US20200329192A1 (en) In-vehicle display control device, in-vehicle display system, in-vehicle display control method, and program
CN114373335B (zh) 一种车辆的碰撞预警方法、装置、电子设备及存储介质
CN111989915A (zh) 用于视觉推断的动态图像区域选择
CN111913183A (zh) 车辆侧向避障方法、装置、设备及车辆
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
JP2016078498A (ja) 表示制御装置、表示システム
CN112109550A (zh) 基于ar-hud的预警信息的显示方法、装置、设备及车辆
CN110688887A (zh) 无后视镜车辆的横向图像处理装置和方法
US10354148B2 (en) Object detection apparatus, vehicle provided with object detection apparatus, and non-transitory recording medium
CN117681656A (zh) 用于配置抬头显示器的电子装置和方法
US11798140B2 (en) Head-up display, video correction method, and video correction program
US20220058416A1 (en) Printed character recognition
CN115171384A (zh) 一种车载显示过程中关键车位置延迟补偿方法及装置
US20240071104A1 (en) Image processing device, image processing method, and recording medium
EP4054183A1 (en) Object detection device, object detection method, and object detection program
EP3042798A1 (en) Display control apparatus, projection apparatus, display control method, display control program, and non-transitory computer readable medium
US20220254140A1 (en) Method and System for Identifying Object
US20200051283A1 (en) Apparatus for providing vehicle image, system having the same, and method for providing the vehicle image
US20240112307A1 (en) Image processing device and image display device
EP2581875A1 (en) Inverse transformation table generation method, inverse transformation table generation program, image transformation device, image transformation method, and image transformation program
DE102018207162A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels
US20240227678A9 (en) Display control device, display program storage medium, and display method
US20240131989A1 (en) Display control device, display program storage medium, and display method
CN115771460B (zh) 车辆变道信息的展示方法、装置、电子设备及存储介质
US11836933B2 (en) Method for calculating information relative to a relative speed between an object and a camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination