CN110244458B - 抬头显示系统及其控制方法 - Google Patents
抬头显示系统及其控制方法 Download PDFInfo
- Publication number
- CN110244458B CN110244458B CN201910094946.1A CN201910094946A CN110244458B CN 110244458 B CN110244458 B CN 110244458B CN 201910094946 A CN201910094946 A CN 201910094946A CN 110244458 B CN110244458 B CN 110244458B
- Authority
- CN
- China
- Prior art keywords
- projection
- processor
- image
- sight line
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 15
- 210000001508 eye Anatomy 0.000 claims description 48
- 230000003068 static effect Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 description 8
- 102100031476 Cytochrome P450 1A1 Human genes 0.000 description 7
- 101000941690 Homo sapiens Cytochrome P450 1A1 Proteins 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 102100026533 Cytochrome P450 1A2 Human genes 0.000 description 4
- 101000855342 Homo sapiens Cytochrome P450 1A2 Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 101000725156 Aplysia californica Cerebral peptide 1 Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 101800000398 Nsp2 cysteine proteinase Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种抬头显示系统及其控制方法,该抬头显示系统应用于移动载具,包括眼球追踪装置与抬头显示装置。眼球追踪装置用以在移动载具起步前预先定位移动载具的驾驶人的初始视线位置,以及实时检测驾驶人的视线位置。抬头显示装置,包括投影装置与处理器。处理器耦接眼球追踪装置与投影装置,处理器比对视线位置与初始视线位置,并根据比对结果控制投影装置投影显示画面至第一投影位置或第二投影位置,第一投影位置对应于初始视线位置及第二投影位置对应于视线位置。一种抬头显示系统的控制方法也被提供。
Description
技术领域
本发明涉及一种抬头显示系统及其控制方法,且特别涉及一种应用于移动载具的抬头显示系统及其控制方法。
背景技术
近年来,各种用于交通工具上的显示装置已相继地被研发。传统的显示装置通常装设于车辆的仪表板上。然而,驾驶人低头观看装设于仪表板上的显示装置时容易造成行车安全的顾虑,因此,将影像投射于挡风玻璃上的抬头显示器(head up display,HUD)目前被广泛地使用在汽车装置中。抬头的意思是指使用者不需要低头就能够看到他需要的重要信息,因此抬头显示器可将驾驶人所需信息,例如车速、转速、车门是否关闭、行车里程或是油耗等信息投射在挡风玻璃上供驾驶人观看,使驾驶人不用分心低头或转头,而可以有助行车安全。
然而,一般的抬头显示器都是投影在固定位置,因此当驾驶人视线移开时或是视线位置改变时,所投影的信息不会随之改变位置,因此驾驶人无法直接得知这些信息,仍需低头或转头来观看投影画面。除此之外,随着交通工具行进所伴随的震动,久而久之将会影响到抬头显示器的位置投影精确度,使得投影位置逐渐偏离原本预期的投影位置,影响观看方便度与影像品质。上述这些问题会影响抬头显示器的使用品质。
发明内容
本发明提供一种抬头显示系统及其控制方法,可以让投影画面随着驾驶人视线的移动而改变显示位置。
本发明的实施例的一种抬头显示系统,应用于移动载具,包括抬头显示装置与眼球追踪装置。眼球追踪装置用以在移动载具起步前预先定位移动载具的驾驶人的初始视线位置,以及实时检测驾驶人的视线位置。抬头显示装置包括投影装置与处理器。处理器耦接眼球追踪装置与投影装置,处理器比对视线位置与初始视线位置,并根据比对结果控制投影装置投影显示画面至第一投影位置或第二投影位置,第一投影位置对应于初始视线位置及第二投影位置对应于视线位置。
本发明的实施例的一种抬头显示系统的控制方法,包括以下步骤:当移动载具起步前,通过眼球追踪装置预先定位移动载具的驾驶人的初始视线位置,且根据初始视线位置产生第一投影位置;通过眼球追踪装置实时检测驾驶人的视线位置,且根据视线位置实时产生第二投影位置;以及比对视线位置与初始视线位置,并根据比对结果控制投影装置投影显示画面至第一投影位置或第二投影位置。
基于上述,本发明实施例的抬头显示系统及其控制方法,应用于移动载具上,通过在移动载具起步前预先定位初始视线位置,以及实时追踪驾驶人的视线位置,然后将驾驶人目前的视线位置与初始视线位置比对,以控制投影的显示画面的位置,如此一来本发明实施例的抬头显示系统及其控制方法可以让投影画面随着驾驶人的视线移动而改变显示位置,使得使用更加便利。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合说明书附图作详细说明如下。
附图说明
图1是依照本发明一实施例的抬头显示系统的方框图。
图2是依照本发明一实施例的抬头显示系统的控制方法的流程图。
图3是依照本发明一实施例的抬头显示系统与移动载具的示意图。
图4是依照本发明另一实施例的抬头显示系统的控制方法的流程图。
图5是依照本发明一实施例的挡风玻璃上的定位点与视线位置分布的示意图。
图6是依照本发明另一实施例的抬头显示系统的方框图。
图7是依照本发明一实施例的抬头显示系统的投影校正方法的流程图。
图8是依照本发明一实施例的挡风玻璃上的校正定位点的位置示意图。
附图标记说明:
10、10’:抬头显示系统
100、300:控制方法
110:眼球追踪装置
112:电磁波发射装置
114:电磁波影像获取装置
120:抬头显示装置
130:处理器
140:存储器
150:投影装置
160:影像获取装置
170:环境影像获取装置
210:驾驶人
220:车辆
222:挡风玻璃
224:车壳
230:显示画面
400:投影校正方法
CP11、CP12、CP1、CP2、CP3、CP31、CP4:校正定位点
IP1:第一投影位置
IP2:第二投影位置
M1:照后镜
SI:初始视线位置
S:视线位置
P1~P5:定位点
S101、S102、S103、S301、S302、S310~S334:抬头显示系统的控制方法的步骤
S410~S460:抬头显示系统的投影校正方法的步骤
具体实施方式
图1是依照本发明一实施例的抬头显示系统的方框图。图2是依照本发明一实施例的抬头显示系统的控制方法的流程图。请参照图1与图2,图2的控制方法100适用于图1的抬头显示系统10,以下即搭配抬头显示系统10中的各项元件说明本实施例的抬头显示系统10的及其控制方法100。抬头显示系统10包括眼球追踪装置110、抬头显示装置120,抬头显示装置120包括处理器130、存储器140,以及投影装置150。
抬头显示系统10适于设置于移动载具上,并于移动载具的驾驶人行驶或骑乘上述移动载具的过程中持续的投影显示画面以供驾驶人观看。上述移动载具是一种经由人类操控而移动的交通工具,例如是各类汽车、公车、脚踏车、机车、船只、飞机及机动机械等,本发明对此并不限制。此外,抬头显示系统10的眼球追踪装置110用以追踪驾驶人的视线方向或视线位置。
首先,于步骤S101,在移动载具起步前,处理器130通过眼球追踪装置110预先定位驾驶人在静止状态的视线位置以作为初始视线位置,且根据初始视线位置产生第一投影位置。接着,进行步骤S102,处理器130通过眼球追踪装置110实时检测驾驶人的视线位置(包括移动载具起步前或起步后),且根据视线位置实时产生第二投影位置。接着,于步骤S103中,处理器130在产生第二投影位置后,可以比对驾驶人此时的视线位置与初始视线位置,并根据比对结果来控制投影装置150的投影方向以选择将显示画面投影至第一投影位置或第二投影位置。第一投影位置与第二投影位置分别可以位于初始视线位置与视线位置的下方,在此,上下方向是相对于驾驶人而言,例如驾驶人的头顶方向为上方,驾驶人的脚底方向为下方,或者是相对于驾驶人的眼睛,第一投影位置与初始视线位置形成一锐角,第二投影位置与视线位置也形成一锐角。
眼球追踪装置110是一种能够跟踪与测量眼球位置及眼球运动信息的一种设备,适于用以检测驾驶人的眼球特征,可朝驾驶人的眼球发射电磁波,并且拍摄眼部影像。在本实施例中,眼球追踪装置110包括电磁波发射装置112与电磁波影像获取装置114。于一实施例中,电磁波发射装置112可以发射电磁波照射驾驶人的眼睛区域,让眼睛产生亮点。在此的电磁波发射装置112可以是红外线发射器或是发射其他波段电磁波的发射装置,本发明对此不加以限制。电磁波影像获取装置114用以获取驾驶人的脸部影像或电磁波照射在眼睛区域并被眼睛区域反射后的眼部影像,电磁波影像获取装置114为可对电磁波发射装置112所发出的电磁波发生反应的影像获取装置,例如当电磁波发射装置112是红外线发射器时,选用红外线摄像机作为电磁波影像获取装置114。电磁波发射装置112与电磁波影像获取装置114都耦接至处理器130,因此处理器130可以控制电磁波发射装置112以及接收眼部影像,处理器130可以检测眼部影像中的驾驶人的瞳孔位置以及亮点位置,并且依据瞳孔位置与亮点位置两者的位置对应关系,判断目前眼球的视线注视位置。
处理器130耦接眼球追踪装置110、存储器140与投影装置150,以控制抬头显示系统10的整体运行。在本实施例中,处理器130例如是中央处理单元(Central ProcessingUnit,CPU),或是其他可程序化的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他具备运算能力的硬件装置,但本发明并不以此为限。
存储器140例如是任意形式的固定式或可移动式随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合,其是用以存储行抬头显示系统10运行中可能使用的数据、程序码、影像等。亦即,处理器130经配置以执行存储器140所存储的多个指令来控制抬头显示系统10。
图3是依照本发明一实施例的抬头显示系统与移动载具的示意图。请参照图3,在此实施例中,将抬头显示系统10应用至汽车驾驶环境中,当驾驶人210位于车辆220内(亦即移动载具)时,抬头显示装置120会投影显示画面230至挡风玻璃222上以供驾驶人210观看。显示画面230例如可以显示车辆220的车速、方向、转速、车门是否关闭、行车里程、油耗、导航信息或是来电提示等信息,本发明不限制显示画面230的显示内容。
眼球追踪装置110可被配置在车辆220面对驾驶人210的一侧,以方便让电磁波发射装置112对驾驶人眼睛发射电磁波,例如包含挡风玻璃222的那一侧,电磁波影像获取装置114也可与电磁波发射装置112配置在同一侧,例如图3所显示一起配置在仪表板区域。此外,电磁波影像获取装置114与电磁波发射装置112也可分开配置,例如电磁波影像获取装置114可设置于照后镜M1的一侧,或是车壳224上,以朝驾驶人210的方向获取驾驶人210的眼部影像,从而检测驾驶人210的视线位置,而电磁波发射装置112则可配置在方向盘中间或是挡风玻璃222的上方。
然而,图3仅为示范性说明,本发明对于眼球追踪装置110与抬头显示装置120的实施方式、数量与实际位置并不限制,其可依据实际应用情况而设计。
图4是依照本发明另一实施例的抬头显示系统的控制方法的流程图。请参照图4,本实施例的控制方法300适用于上述实施例中的抬头显示系统10以及控制方法100,以下即搭配抬头显示系统10中的各项元件以及图1至图3的实施例来说明抬头显示系统10依据驾驶人210的视线位置改变投影位置的详细步骤。
在车辆220开始起步前,先进行步骤S301,开始预先定位步骤。在步骤S310中,处理器130控制投影装置150在挡风玻璃222的不同位置分别投影定位点。
图5是依照本发明一实施例的挡风玻璃上的定位点与视线位置分布的示意图。请参考图5,在挡风玻璃222的四个角落与中间5个位置分别投影5个定位点P1~P5。投影装置150可以一次投影一个定位点或是一次投影多个定位点,本发明对此并不限制。
接着,进行驾驶人210的视线定位。处理器130先通过眼球追踪装置110获得驾驶人210按序注视多个定位点P1~P5时的眼部影像,再根据这些眼部影像来决定初始视线位置IS。于步骤S312,电磁波发射装置112发射电磁波照射驾驶人210的眼睛,于步骤S314,驾驶人210注视其中一个定位点,例如是左上角落的定位点P1,于步骤S316,电磁波影像获取装置114拍摄驾驶人210观看定位点P1的眼部影像,并将眼部影像提供给处理器130。特别说明,步骤S310与步骤S312的顺序并不固定,可以先对眼睛照射电磁波再投影定位点让驾驶人210观看,本发明对上述步骤顺序并不限制。
接着,于步骤S318中,处理器130判断是否已接收驾驶人210观看所有定位点P1~P5的眼部影像,如果为否,则回到步骤S314(如果投影装置150一次只投影一个定位点则回到步骤S310),驾驶人210注视下一个不重复的定位点,例如定位点P2~P5的其中之一。特别说明的是,本发明并不限制驾驶人210观看定位点P1~P5的先后顺序与次数。等到处理器130判断已经接收驾驶人210观看所有定位点P1~P5的眼部影像,则进入下一步骤S320。于步骤S320,处理器130根据对应多个定位点P1~P5的眼部影像来决定初始视线位置IS以及第一投影位置IP1。
初始视线位置IS例如可为驾驶人210正坐在驾驶座上注视前方的视线位置。第一投影位置IP1可由初始视线位置IS推算,例如以驾驶人210的眼睛为参考点,第一投影位置IP1位于初始视线位置IS下方15度的位置,这是让驾驶人210易于观看又不至于影响视线的位置。
接着,进行步骤S302,开始实时追踪步骤。于步骤S322中,处理器130通过眼球追踪装置110实时取得驾驶人210的视线位置。如果眼球追踪装置110顺利检测到驾驶人210的眼球变化,使处理器130可取得此时的视线位置,则执行步骤S324,由处理器130比对视线位置与初始视线位置SI是否符合以产生比对结果。当比对结果为符合,即当视线位置符合初始视线位置SI,选择执行步骤S326,显示画面230被投影至第一投影位置IP1;当比对结果为不符合,即当视线位置例如为视线位置S,不符合初始视线位置SI,选择执行步骤S328,显示画面230被投影至第二投影位置IP2,之后再重复执行步骤S302。处理器130根据视线位置S推算第二投影位置IP2,第二投影位置IP2例如是位于视线位置S下方15度的位置。
当于步骤S322中,因为某些因素,例如剧烈震动、急煞等,使得眼球追踪装置110实时检测视线位置失败,则执行步骤S330,处理器130控制投影装置150投影显示画面230至预设的第一投影位置IP1。接着,于步骤S332,投影显示画面230持续被投影至预设的第一投影位置IP1,且处理器130保持等待并暂时停止步骤S302的实时追踪动作,直到步骤S334,处理器130判断车辆220的车速为0(移动载具静止不动),则重新执行步骤S302,以更新初始视线位置IS与第一投影位置IP1。
在一实施例中,在步骤S330后,除了执行步骤S332等待重新定位初始视线位置IS,也会同时执行步骤S302,以尝试取得实时的视线位置,也就是说显示画面230被投影至第一投影位置IP1直到眼球追踪装置110重新检测到视线位置,一但取得新的视线位置,处理器130重新比对视线位置与初始视线位置IS,以继续提供随驾驶人210视线方向变化而调整显示位置的显示画面。
图6是依照本发明另一实施例的抬头显示系统的方框图,图7是依照本发明一实施例的抬头显示系统的投影校正方法的流程图,图8是依照本发明一实施例的挡风玻璃上的校正定位点的位置示意图。请参照图6与图7,本实施例的抬头显示系统10’与投影校正方法400适用于上述实施例中的抬头显示系统10、控制方法100以及控制方法300,差异在于抬头显示系统10’相较于抬头显示系统10多了影像获取装置160与环境影像获取装置170。以下搭配抬头显示系统10’中的各项元件以及图3的实施例先来说明抬头显示系统10’的影像校正的详细步骤。
在本实施例中,抬头显示系统10’还包括配置在面向挡风玻璃222的位置的影像获取装置160,例如是彩色摄像机等,耦接处理器130,用以获取挡风玻璃222的影像。由于移动载具行进所带来的震动会影响抬头显示装置120的投影精确度,因此可以在特定时间周期或是累积里程超过门限值后,自动或手动进行投影校正操作。
于步骤S410,当车辆220(移动载具)静止时,投影装置150在挡风玻璃222的每一个角落分别投影校正定位点,例如图8显示的挡风玻璃222的左上角落投影校正定位点CP11。接着,于步骤S420,处理器130控制影像获取装置160获取挡风玻璃222上校正定位点的影像,例如获取挡风玻璃222上被投影在左上角落的校正定位点CP11的影像。于步骤S430,处理器130更依据校正定位点的影像判断此校正定位点是否位于对应的角落的边缘临界位置。例如,处理器130依据校正定位点CP11的影像判断校正定位点CP11是否位于左上角落的边缘临界位置。在此的边缘临界位置是指挡风玻璃222的边界极限点。举例来说,处理器130可以判断上述校正定位点CP11的影像是否为穿透挡风玻璃222的影像或是被不透明车壳224反射的影像,借此判断校正定位点CP11是否为挡风玻璃222的左上角的边缘临界位置。在此实施例中,校正定位点CP11的投影光线会穿透挡风玻璃222,表示位在挡风玻璃222的内部,因此被判断不是挡风玻璃222的左上角的边缘临界位置,因此接着执行步骤S440。
于步骤S440与步骤S410,当处理器130判断校正定位点不位于对应的角落的边缘临界位置时,处理器130调整校正定位点的投影位置并控制投影装置150在左上角落的不同位置重新投影新的校正定位点CP12,并且重新执行步骤S420与步骤S430,处理器130判断校正定位点CP12的影像是被不透明车壳224反射的影像,表示校正定位点CP12的投影位置超出挡风玻璃222的范围,因此再回到步骤S440。如此重复数次,直到处理器130判断校正定位点CP1是挡风玻璃222的左上角的边缘临界位置,才把校正定位点CP1的影像设定为左上角的校正定位影像,之后执行下一步骤S450。于步骤S450,处理器130判断是否接收挡风玻璃222的所有角落的校正定位点影像,例如处理器130判断只有接收挡风玻璃222左上角落的校正定位点影像,因此重新执行步骤S410,例如改对右上角落投影校正定位点CP31。重复执行步骤S410到步骤S450,直到处理器130找到挡风玻璃222所有的角落的边缘临界位置,例如校正定位点CP1、CP2、CP3与CP4。
于步骤S460,处理器依据这些校正定位影像判断挡风玻璃222的边界以校正投影坐标。
因此,在本实施例中,抬头显示系统10’除了可以提供随驾驶人视线改变而适应性改变显示位置的功能外,还可以具有投影校正的技术技术效果。
在本实施例中,抬头显示系统10’还包括环境影像获取装置170,环境影像获取装置170例如是彩色摄像机等摄像装置,耦接处理器130,可配置在后照镜M1中或是车辆220的其他地方,用以获取车辆220的周围环境影像,特别是后方影像,包含正后方、左后方或右后方环境影像等等,本发明对于环境影像获取装置170的装设位置与获取的影像内容并不加以限制。
抬头显示系统10’所提供的显示画面230的内容还可对应于驾驶人210的视线动作。举例来说,当车辆220的方向灯被开启,且处理器130判断视线位置相对于初始视线位置的偏移方向与被启动的方向灯的指示方向相同时,处理器130可以控制显示画面230除了显示原本的画面外,还可以显示从环境影像获取装置170接收的右后方环境影像或左后方环境影像,例如打右转方向灯且驾驶人210视线偏向右方,显示画面230还会另外显示右后方环境影像,同理,打左转方向灯且驾驶人210视线偏向左方,显示画面230还显示左后方环境影像,如此一来,驾驶人210就不需要大幅度摆动头部来观看后照镜M1的影像。在一实施例中,当驾驶人210执行车辆220的倒车档时,处理器控制显示画面显示原本的驾驶信息外,还显示正后方环境影像、右后方环境影像与左后方环境影像。在一实施例中,驾驶人210也可以注视特定的定位点持续超过一预设时间来触发其他功能,例如通过环境影像获取装置170提供倒车影像等等。本发明对于视线的触发动作与触发内容并不加以限制。因此,抬头显示系统10’还可以具有随着驾驶人的视线方向来提供相应的显示画面的功能。
另外需要说明的是,于一实施例中,抬头显示系统10’可以不包括影像获取装置160或环境影像获取装置170,本发明并不限制影像获取装置160与环境影像获取装置170需同时存在。
综上所述,本发明实施例的抬头显示系统及其控制方法,适于应用于移动载具上。通过在移动载具起步前预先定位初始视线位置,以及实时追踪驾驶人的视线位置,然后比对驾驶人目前的视线位置与初始视线位置,以控制投影装置投影显示画面至原本预设的第一投影位置或对应于目前的视线位置的第二投影位置,如此一来本发明实施例的抬头显示系统及其控制方法可以让显示画面随着驾驶人的视线而移动,甚至能通过驾驶人的视线移动来触发显示画面的显示内容。除此之外,本发明实施例的抬头显示系统及其控制方法还可以在移动载具的静止移动状态,通过投影装置投影定位点以重新定义挡风玻璃的范围大小,达到校正投影坐标的功能。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域中技术人员,在不脱离本发明的构思和范围内,当可作些许的变动与润饰,故本发明的保护范围当视权利要求所界定者为准。
Claims (20)
1.一种抬头显示系统,应用于移动载具,其特征在于,所述的抬头显示系统包括:
眼球追踪装置,用以在所述移动载具起步前预先定位所述移动载具的驾驶人在静止状态的视线位置以作为初始视线位置,以及实时检测所述驾驶人在所述移动载具起步前或起步后的视线位置;以及
抬头显示装置,包括:
投影装置,用以投影显示画面;以及
处理器,耦接所述眼球追踪装置与所述投影装置,所述处理器比对所述起步前或起步后的视线位置与所述初始视线位置,并根据比对结果控制所述投影装置投影所述显示画面至第一投影位置或第二投影位置,所述第一投影位置对应于所述初始视线位置及所述第二投影位置对应于所述起步前或起步后的视线位置。
2.如权利要求1所述的抬头显示系统,其特征在于,当所述比对结果指示所述起步前或起步后的视线位置符合所述初始视线位置时,所述显示画面被投影至所述第一投影位置,且当所述比对结果指示所述起步前或起步后的视线位置不符合所述初始视线位置时,所述显示画面被投影至所述第二投影位置。
3.如权利要求1所述的抬头显示系统,其特征在于,所述处理器控制所述投影装置在挡风玻璃的不同位置分别投影定位点,且通过所述眼球追踪装置获得所述驾驶人按序注视多个定位点时的眼部影像,所述处理器根据所述注视多个定位点的眼部影像来决定所述初始视线位置。
4.如权利要求1所述的抬头显示系统,其特征在于,所述的抬头显示系统还包括:
影像获取装置,配置在面向挡风玻璃的位置且耦接所述处理器,
其中,当所述移动载具静止时,所述投影装置在所述挡风玻璃的每一个角落分别投影校正定位点,并由所述影像获取装置获取所述校正定位点的影像。
5.如权利要求4所述的抬头显示系统,其特征在于,所述处理器还依据所述校正定位点的影像判断所述校正定位点是否位于每一个所述角落的边缘临界位置,当所述处理器判断所述校正定位点位于每一个所述角落的边缘临界位置时,所述处理器将所述校正定位点的影像设定为每一个所述角落的校正定位影像。
6.如权利要求5所述的抬头显示系统,其特征在于,所述处理器还依据每一个所述角落的所述校正定位影像判断所述挡风玻璃的边界以校正投影坐标。
7.如权利要求5所述的抬头显示系统,其特征在于,当所述处理器判断所述校正定位点不位于每一个所述角落的边缘临界位置时,所述处理器重新投影所述校正定位点。
8.如权利要求1所述的抬头显示系统,其特征在于,当所述眼球追踪装置实时检测所述起步前或起步后的视线位置失败时,所述处理器控制所述投影装置投影所述显示画面至所述第一投影位置。
9.如权利要求6所述的抬头显示系统,其特征在于,在所述移动载具停止移动后,当所述眼球追踪装置重新定位所述初始视线位置。
10.如权利要求6所述的抬头显示系统,其特征在于,所述显示画面被投影至所述第一投影位置直到所述眼球追踪装置重新检测到所述起步前或起步后的视线位置,且所述处理器重新比对所述起步前或起步后的视线位置与所述初始视线位置。
11.如权利要求1所述的抬头显示系统,其特征在于,所述第一投影位置与所述第二投影位置分别是位于所述初始视线位置与所述起步前或起步后的视线位置的下方。
12.如权利要求1所述的抬头显示系统,其特征在于,所述的抬头显示系统还包括:
环境影像获取装置,耦接所述处理器,用以获取所述移动载具的正后方环境影像、右后方环境影像或左后方环境影像;
当所述移动载具的方向灯被开启,且所述处理器判断所述起步前或起步后的视线位置相对于所述初始视线位置的偏移方向与所述方向灯的指示方向相同时,所述处理器还控制所述显示画面显示从所述环境影像获取装置接收的所述右后方环境影像或所述左后方环境影像;以及
当所述驾驶人执行所述移动载具的倒车档时,所述处理器还控制所述显示画面显示所述正后方环境影像、所述右后方环境影像与所述左后方环境影像。
13.如权利要求1所述的抬头显示系统,其特征在于,所述眼球追踪装置包括:
电磁波发射装置,耦接所述处理器,配置在所述移动载具面向所述驾驶人的一侧,用以发射电磁波以照射所述驾驶人的眼睛区域;
电磁波影像获取装置,耦接所述处理器,与所述电磁波发射装置配置在同一侧,用以获取所述电磁波被所述眼睛区域反射后的眼部影像;以及
其中,所述处理器控制所述电磁波发射装置以及接收所述眼部影像,且依据所述眼部影像计算所述驾驶人的视线位置。
14.如权利要求13所述的抬头显示系统,其特征在于,所述电磁波发射装置为红外线发射器,且所述电磁波影像获取装置为红外线摄影机。
15.一种应用于移动载具的抬头显示系统的控制方法,其特征在于,所述的应用于移动载具的抬头显示系统的控制方法包括:
当所述移动载具起步前,通过眼球追踪装置预先定位驾驶人在静止状态的视线位置以作为初始视线位置,且根据所述初始视线位置产生第一投影位置;
通过所述眼球追踪装置实时检测所述驾驶人在所述移动载具起步前或起步后的视线位置,且根据所述起步前或起步后的视线位置实时产生第二投影位置;以及
比对所述起步前或起步后的视线位置与所述初始视线位置,并根据比对结果控制投影装置投影显示画面至所述第一投影位置或所述第二投影位置。
16.如权利要求15所述的控制方法,其特征在于,所述的根据所述比对结果控制所述投影装置投影所述显示画面至所述第一投影位置或所述第二投影位置的步骤包括:
当所述比对结果指示所述起步前或起步后的视线位置符合所述初始视线位置,所述显示画面被投影至所述第一投影位置,且当所述比对结果指示所述起步前或起步后的视线位置不符合所述初始视线位置,所述显示画面被投影至所述第二投影位置。
17.如权利要求15所述的控制方法,其特征在于,所述的控制方法还包括:
当所述移动载具静止时,通过所述投影装置在挡风玻璃的每一个角落分别投影校正定位点,并通过影像获取装置获取所述校正定位点的影像。
18.如权利要求17所述的控制方法,其特征在于,所述的通过所述影像获取装置获取所述校正定位点的影像的步骤还包括:
依据所述校正定位点的影像判断所述校正定位点是否位于每一个所述角落的边缘临界位置,当所述校正定位点被判断位于每一个所述角落的边缘临界位置时,将所述校正定位点的影像设定为每一个所述角落的校正定位影像。
19.如权利要求18所述的控制方法,其特征在于,还依据每一个所述角落的所述校正定位影像来判断所述挡风玻璃的边界以校正投影坐标。
20.如权利要求18所述的控制方法,其特征在于,所述的依据所述校正定位点的影像判断所述校正定位点是否位于每一个所述角落的边缘临界位置的步骤还包括:
当所述校正定位点被判断不位于每一个所述角落的边缘临界位置时,处理器重新投影所述校正定位点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107107758 | 2018-03-07 | ||
TW107107758A TWI642972B (zh) | 2018-03-07 | 2018-03-07 | 抬頭顯示系統及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110244458A CN110244458A (zh) | 2019-09-17 |
CN110244458B true CN110244458B (zh) | 2021-12-14 |
Family
ID=65431560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910094946.1A Active CN110244458B (zh) | 2018-03-07 | 2019-01-31 | 抬头显示系统及其控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10795166B2 (zh) |
CN (1) | CN110244458B (zh) |
TW (1) | TWI642972B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10864853B2 (en) * | 2018-01-31 | 2020-12-15 | Osram Opto Semiconductors Gmbh | Apparatus, vehicle information system and method |
CN108399903B (zh) * | 2018-03-27 | 2020-11-27 | 京东方科技集团股份有限公司 | 一种成像位置的调节方法及装置、平视显示系统 |
TWI704501B (zh) * | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
DE102018215185B3 (de) * | 2018-09-06 | 2019-10-10 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Einstellen eines Head-Up-Displays in einem Kraftfahrzeug, Einstellvorrichtung zur Verwendung in einem solchen Verfahren oder mit einer solchen Vorrichtung |
CN110780445A (zh) * | 2018-11-12 | 2020-02-11 | 芋头科技(杭州)有限公司 | 用于装配光学成像系统的主动校准的方法及系统 |
US11487132B2 (en) * | 2018-11-12 | 2022-11-01 | Yutou Technology (Hangzhou) Co., Ltd. | Active alignment for assembling optical devices |
EP3896960A4 (en) * | 2018-12-11 | 2022-01-26 | Sony Group Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM |
US11987182B2 (en) | 2018-12-11 | 2024-05-21 | Sony Group Corporation | Image processing apparatus, image processing method, and image processing system |
CN109727317B (zh) * | 2019-01-07 | 2021-02-09 | 京东方科技集团股份有限公司 | 增强现实系统及控制方法 |
US11861063B2 (en) * | 2019-02-05 | 2024-01-02 | Samsung Electronics Co., Ltd. | Eye-tracking device and display apparatus including the same |
CN110861580B (zh) * | 2019-11-19 | 2022-07-22 | 博泰车联网科技(上海)股份有限公司 | 驾驶方法及相关产品 |
CN111123518B (zh) * | 2019-12-05 | 2021-12-03 | 浙江合众新能源汽车有限公司 | 一种汽车的ar-hud显示的智能控制方法与系统 |
TWI767232B (zh) * | 2020-05-20 | 2022-06-11 | 財團法人工業技術研究院 | 透明顯示系統、視差校正方法與圖像輸出方法 |
CN111923835A (zh) * | 2020-08-13 | 2020-11-13 | 启明信息技术股份有限公司 | 一种基于车辆后视显示方法 |
US11391945B2 (en) * | 2020-08-31 | 2022-07-19 | Sony Interactive Entertainment LLC | Automatic positioning of head-up display based on gaze tracking |
CN112344963B (zh) * | 2020-11-05 | 2021-09-10 | 的卢技术有限公司 | 一种基于增强现实抬头显示设备的测试方法及系统 |
CN112428936B (zh) * | 2020-11-27 | 2022-04-29 | 奇瑞汽车股份有限公司 | 自动调节抬头显示器参数的方法和装置 |
CN115097929A (zh) * | 2022-03-31 | 2022-09-23 | Oppo广东移动通信有限公司 | 车载投屏方法、装置、电子设备、存储介质和程序产品 |
US11858349B1 (en) * | 2022-07-25 | 2024-01-02 | GM Global Technology Operations LLC | Head-up display providing a gamified experience to a driver during calibration mode |
TW202409639A (zh) | 2022-08-25 | 2024-03-01 | 緯創資通股份有限公司 | 用於配置抬頭顯示器的電子裝置和方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6580448B1 (en) * | 1995-05-15 | 2003-06-17 | Leica Microsystems Ag | Process and device for the parallel capture of visual information |
US20060262140A1 (en) * | 2005-05-18 | 2006-11-23 | Kujawa Gregory A | Method and apparatus to facilitate visual augmentation of perceived reality |
KR101544524B1 (ko) * | 2010-12-16 | 2015-08-17 | 한국전자통신연구원 | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 |
CA2750287C (en) * | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
US8692739B2 (en) * | 2011-09-22 | 2014-04-08 | GM Global Technology Operations LLC | Dynamic information presentation on full windshield head-up display |
GB201305726D0 (en) * | 2013-03-28 | 2013-05-15 | Eye Tracking Analysts Ltd | A method for calibration free eye tracking |
JP2015034919A (ja) * | 2013-08-09 | 2015-02-19 | 株式会社デンソー | 情報表示装置 |
CN103728727A (zh) * | 2013-12-19 | 2014-04-16 | 财团法人车辆研究测试中心 | 自动调整可视范围的信息显示系统及其显示方法 |
JP6221941B2 (ja) * | 2014-05-26 | 2017-11-01 | 株式会社デンソー | ヘッドアップディスプレイ装置 |
GB2528446B (en) * | 2014-07-21 | 2021-08-04 | Tobii Tech Ab | Method and apparatus for detecting and following an eye and/or the gaze direction thereof |
CN105487226A (zh) * | 2014-09-19 | 2016-04-13 | 深圳富泰宏精密工业有限公司 | 抬头显示器 |
US9690104B2 (en) | 2014-12-08 | 2017-06-27 | Hyundai Motor Company | Augmented reality HUD display method and device for vehicle |
WO2016115870A1 (zh) * | 2015-01-21 | 2016-07-28 | 成都理想境界科技有限公司 | 双目ar头戴显示设备及其信息显示方法 |
CN106483659A (zh) * | 2015-08-24 | 2017-03-08 | 福特全球技术公司 | 用于观察具有抬头显示器的车辆的驾驶员的眼睛的方法 |
DE102015216127A1 (de) * | 2015-08-24 | 2017-03-02 | Ford Global Technologies, Llc | Verfahren zum Eye-Tracking in einem Fahrzeug mit Head-up-Display |
JP6516642B2 (ja) * | 2015-09-17 | 2019-05-22 | アルパイン株式会社 | 電子装置、画像表示方法および画像表示プログラム |
DE102015226428A1 (de) * | 2015-12-22 | 2017-07-06 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Betreiben einer Intensitätsregelung eines Sichtfeldanzeigegeräts |
JP6409015B2 (ja) * | 2016-03-29 | 2018-10-17 | 矢崎総業株式会社 | 車両用投影表示装置 |
DE102016214047A1 (de) * | 2016-07-29 | 2018-02-01 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeug mit einstellbarem Head-up-Display |
CN106445104A (zh) * | 2016-08-25 | 2017-02-22 | 蔚来汽车有限公司 | 车用hud显示系统及方法 |
KR101737737B1 (ko) * | 2016-09-06 | 2017-05-18 | 덴소코리아일렉트로닉스 주식회사 | 차량용 카메라 hud 통합 클러스터 시스템 |
CN106226910A (zh) * | 2016-09-08 | 2016-12-14 | 邹文韬 | Hud系统及其影像调整方法 |
CN106874895B (zh) * | 2017-03-31 | 2019-02-05 | 北京七鑫易维信息技术有限公司 | 一种视线追踪装置及头戴式显示设备 |
KR102673292B1 (ko) * | 2018-10-11 | 2024-06-10 | 현대자동차주식회사 | 차량의 표시 제어 장치 및 방법 |
-
2018
- 2018-03-07 TW TW107107758A patent/TWI642972B/zh active
-
2019
- 2019-01-31 CN CN201910094946.1A patent/CN110244458B/zh active Active
- 2019-03-04 US US16/292,044 patent/US10795166B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TW201939102A (zh) | 2019-10-01 |
CN110244458A (zh) | 2019-09-17 |
TWI642972B (zh) | 2018-12-01 |
US10795166B2 (en) | 2020-10-06 |
US20190278094A1 (en) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110244458B (zh) | 抬头显示系统及其控制方法 | |
JP3979330B2 (ja) | 車両用画像表示装置 | |
US10732412B2 (en) | Display device for vehicle | |
CN108025645B (zh) | 车辆用显示装置以及车辆用显示方法 | |
JP2011033928A (ja) | 表示制御装置および表示制御プログラム | |
US10706585B2 (en) | Eyeball information estimation device, eyeball information estimation method, and eyeball information estimation program | |
JP2010018201A (ja) | 運転者支援装置、運転者支援方法および運転者支援処理プログラム | |
US20180335633A1 (en) | Viewing direction detector and viewing direction detection system | |
JP2018118622A (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
JP2007112300A (ja) | 自動サンバイザ | |
US20150232017A1 (en) | Axial direction control device and program thereof | |
WO2013118446A1 (ja) | ヘッドライト制御装置 | |
JP3877116B2 (ja) | 車両の表示装置 | |
KR20200046613A (ko) | 운전자 감시 카메라의 보정장치 및 그 방법 | |
US10887529B2 (en) | Display control device and display control method | |
JP2009248812A (ja) | 運転支援装置 | |
JP2010029262A (ja) | 視線計測装置及びプログラム | |
CN111556281A (zh) | 车用安全系统及其操作方法 | |
US20180077330A1 (en) | Vehicular visual recognition device | |
US20220194187A1 (en) | Dimming light that is interfering with an observer's vision | |
WO2017090318A1 (ja) | 表示補正装置 | |
WO2015092977A1 (ja) | 視線検出装置、および視線検出方法 | |
US10703298B2 (en) | Display device, display control method, and storage medium | |
JP2016000560A (ja) | 車両設定装置 | |
JP2019026198A (ja) | ヘッドアップディスプレイ装置とそのためのドライバ視点検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |