CN114929501A - 车辆用显示装置 - Google Patents

车辆用显示装置 Download PDF

Info

Publication number
CN114929501A
CN114929501A CN202180008936.7A CN202180008936A CN114929501A CN 114929501 A CN114929501 A CN 114929501A CN 202180008936 A CN202180008936 A CN 202180008936A CN 114929501 A CN114929501 A CN 114929501A
Authority
CN
China
Prior art keywords
eye
user
driver
vehicle
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180008936.7A
Other languages
English (en)
Inventor
秦诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of CN114929501A publication Critical patent/CN114929501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)

Abstract

本发明提供了一种即便有外界光入射也能够稳定地检测使用者的眼的位置的车辆用显示装置。本发明的作为车辆用显示装置的平视显示装置(1)，能够将显示光(L1)投影至车辆的前挡风玻璃(2)，以与透过前挡风玻璃(2)的实景叠加的方式利用被前挡风玻璃(2)反射的显示光(L1)生成虚像(V)并显示，并且，将红外光(L2)投影至车辆的驾驶员(D)来拍摄驾驶员(D)，并基于该拍摄图像检测驾驶员(D)的眼(E)的位置，其中，控制部(10)检测拍摄图像中的驾驶员(D)的面部的特征点的位置并预先存储其与检测到的眼(E)的位置之间的位置关系，在难以检测拍摄图像中的眼(E)的位置的情况下，基于此时检测到的特征点的位置和预先存储的位置关系，推定驾驶员(D)的视点位置。

Description

车辆用显示装置
技术领域
本发明涉及一种能够将虚像显示于车辆的前挡风玻璃、组合器等、并且检测使用者的眼的位置的平视显示装置等车辆用显示装置。
背景技术
平视显示装置以与透过车辆的前挡风玻璃、组合器等反射透光部件的实景(车辆前方的风景)叠加的方式利用被该反射透光部件反射的显示光生成虚像并显示，该平视显示装置通过极力地抑制车辆的驾驶员等使用者的视线移动并利用虚像提供使用者所期望的信息，有助于安全舒适的车辆运行。
此外，在平视显示装置中，对使用者照射红外光来拍摄使用者，基于该拍摄图像检测使用者的眼的位置(瞳孔等的位置)，从而掌握使用者的东张西望、打瞌睡等状态。
例如，专利文献1中记载的平视显示装置，通过组合器部件朝向使用者反射从显示机构发出的可见光并形成显示像，该平视显示装置具备：红外线照射机构，其朝向使用者照射红外线；反射镜部件，其朝向组合器部件反射从显示机构发出的可见光，并使被使用者和组合器部件反射的红外线透过；多个拍摄机构，其感受透过反射镜部件的红外线并分别从不同的方向拍摄使用者；以及图像处理机构，其基于拍摄机构拍摄到的图像计算出使用者的眼的位置，该平视显示装置能够高精度地计算出使用者的眼的位置。
现有技术文献
技术文献
专利文献1：日本特开2008-126984号公报
发明内容
发明所要解决的课题
然而，存在如下问题：当太阳光、路灯的光等强烈的外界光入射至平视显示装置时，在拍摄图像上会加入外界光的干扰，导致使用者的眼的位置的检测失败。在专利文献1中记载的平视显示装置中，当外界光的红外成分透过反射镜部件入射至拍摄机构时，会在拍摄图像上形成由色饱和等引起的曝光过度的干扰区域，该干扰区域即便在拍摄图像中不一定与使用者的眼的位置(眼的像的位置)重合，也有可能妨碍眼的位置的检测。
本发明是鉴于以上情况而完成的，其目的在于提供一种即便有外界光入射也能够稳定地检测使用者的眼的位置的车辆用显示装置。
用于解决课题的手段
为了解决上述问题，本发明的车辆用显示装置，其能够将显示光投影至设置在车辆上的反射透光部件，以与透过所述反射透光部件的实景叠加的方式利用被所述反射透光部件反射的显示光生成虚像并显示，并且将红外光投影至所述车辆的使用者来拍摄所述使用者，基于该拍摄图像检测所述使用者的视点位置，其特征在于，具备：眼检测机构，其检测所述拍摄图像中的所述使用者的眼的位置；视点位置检测机构，其基于由所述眼检测机构检测到的所述眼的位置，检测所述视点位置；特征点检测机构，其检测所述拍摄图像中的所述使用者的特征点的位置；以及存储机构，其存储由所述眼检测机构检测到的所述眼的位置与由所述特征点检测机构检测到的所述特征点的位置之间的位置关系，在难以通过所述眼检测机构检测所述眼的位置的情况下，所述视点位置检测机构基于由所述特征点检测机构检测到的所述特征点的位置和存储在所述存储机构中的所述位置关系，推定所述视点位置。“难以通过所述眼检测机构检测所述眼的位置的情况”并非仅指眼检测机构在眼的位置的检测上失败的情况，还包括满足由于外界光的入射等而被认为难以检测眼的位置这一规定条件的情况。
此外，也可以是，本发明的车辆用显示装置具备检测所述使用者的面部的朝向的面部朝向检测机构，所述视点位置检测机构基于由所述面部朝向检测机构检测到的所述面部的朝向，推定所述视点位置。
也可以是，所述眼检测机构检测通过在所述虚像的显示过程中的定期或不定期的拍摄而得到的拍摄图像中的所述使用者的左右眼的位置，所述存储机构存储从所述左右眼的间隔距离在规定基准时刻以后变为最大时的拍摄图像得到的所述位置关系。
或者，也可以是，本发明的车辆用显示装置具备获取所述使用者的视线信息的视线信息获取机构，所述眼检测机构检测通过在所述虚像的显示过程中的定期或不定期的拍摄而得到的拍摄图像中的所述眼的位置，所述存储机构存储基于由所述视线信息获取机构获取的视线信息而从所述使用者朝向正面时的拍摄图像得到的所述位置关系。“所述使用者朝向正面时”表示上述使用者朝向所要拍摄的方向时，并非仅指使用者的面部、视线严格地朝向拍摄方向的情况，还包括满足被认为面部、视线朝向拍摄方向这一规定条件的情况。
发明效果
根据本发明的车辆用显示装置，即便有外界光入射也能够稳定地检测使用者的眼的位置。
附图说明
图1是示出具体实施方式的平视显示装置的说明图。
图2是与特征点一起示出基于图1的平视显示装置的驾驶员的拍摄图像的说明图。
图3是示出外界光侵入图1的平视显示装置的情况的说明图。
图4是示出包括由外界光产生的干扰区域的拍摄图像的说明图。
图5(a)是在从上面观察时示出驾驶员视觉辨认虚像且面部朝向正面的情况的说明图，(b)是在从上面观察时示出驾驶员的面部朝向斜向的情况的说明图。
具体实施方式
基于附图对用于实施本发明的方式进行说明。
如图1所示，本实施方式的作为车辆用显示装置(车载显示器)的平视显示装置(HUD)1设置于车辆的前挡风玻璃2的下方，将可见光即显示光L1投影至前挡风玻璃2的一部分。显示光L1被前挡风玻璃2反射而生成虚像V，使车辆的驾驶员D以与透过前挡风玻璃2的实景叠加的方式视觉辨认虚像V。
此外，HUD1具有监控驾驶员D的状态的DMS(驾驶员监控系统)的功能，能够将红外光L2投影至驾驶员D来拍摄驾驶员D，并基于拍摄图像检测驾驶员D的眼E的位置。
详细而言，HUD1被壳体3覆盖以与外部区隔开，该壳体3由黑色的ABS树脂等成型以防止外界光侵入，在壳体3上形成有省略图示的由聚碳酸酯等透明的树脂覆盖的透光部4。在壳体3的内部保持并收纳有显示单元5、折返镜6、凹面镜7、红外光照射单元8、照相机9和控制部10。
在此，显示单元5设置有由芯片型发光二极管构成的光源和液晶面板，液晶面板对光源的出射光进行二维调制，从而对可见光即影像光(显示光L1)进行投影显示，但也可以使用DMD(数字微镜显示器)等反射型器件。折返镜6是在成型为具有平面部分的聚碳酸酯等树脂上蒸镀铝等金属而成的，单纯反射光。凹面镜7是在成型为具有凹面部分的聚碳酸酯等树脂上蒸镀铝等金属而成的，具有放大反射可见光并且使红外光透过的特性。
红外光照射单元8设置于凹面镜7的背侧(相对于凹面镜7，透光部4和折返镜6的相反侧)，朝向凹面镜7照射由发光二极管构成的光源发出的红外光(近红外线)。照相机9具备对从红外光照射单元8照射的波段的红外光具有感光度的拍摄元件、以及能够透过红外光以使该拍摄元件成像的镜头，拍摄近红外线图像。
控制部10由微处理器、存储器、用于使它们动作的各种电子部件、基板和外壳构成，其对显示单元5进行控制，以基于车辆信息、驾驶员D的输入信息适当地显示HUD1的影像。
此外，如图2所示，控制部10基于照相机9的拍摄图像P的对比度，检测驾驶员D的左右眼E的瞳孔C(或虹膜I的中心)的位置，并检测出该左右瞳孔C的中间点C1的位置作为视点位置。检测到的视点位置能够用于驾驶员D的状态检测(东张西望、打瞌睡等)、HUD1的显示控制。
进一步地，控制部10基于照相机9的拍摄图像P的对比度，检测驾驶员D的面部F的轮廓F1(包括下颌的前端F2)、左右耳Y、左右耳Y的中心Y1、左右眉毛B、左右眉毛B的中心B1、眉间Q、左右眼E的轮廓E1(包括外眼角E2和内眼角E3)、鼻N的轮廓N1(包括左右鼻翼N2)、左右鼻翼N2的中心N3、左右鼻孔N4、左右鼻孔N4的中心N5、鼻梁N6、鼻尖N7、人中R、口M的轮廓M1(包括左右嘴角M2)、左右嘴角M2的中心M3等特征点T的位置，并且将检测到的瞳孔C的位置与检测到的特征点T的位置之间的位置关系存储于内部存储器(以下，也将用于获取存储在控制部10中的位置关系的拍摄图像称为“基准图像”)。
在HUD1中，来自显示单元5的显示光L1被折返镜6反射，接着，被凹面镜7放大反射，通过透光部4而投影至前挡风玻璃2。投影至前挡风玻璃2的显示光L1被放大反射至驾驶员D一侧，生成虚像V并以与透过前挡风玻璃2的实景叠加的方式显示给驾驶员D。
另一方面，来自红外光照射单元8的红外光L2透过凹面镜7，通过透光部4而投影至前挡风玻璃2，被前挡风玻璃2反射至驾驶员D一侧而照射驾驶员D。而且，当被驾驶员D反射时，红外光L2的一部分会沿着相反的路径行进，并由透过凹面镜7而入射至照相机9的红外光L2拍摄驾驶员D，将该拍摄图像P输入至控制部10。该拍摄在虚像V的显示过程中定期或不定期地进行，在此，在虚像V显示期间，进行定期的帧率的动态图像拍摄。
当输入驾驶员D的拍摄图像P时，控制部10检测驾驶员D的左右眼E的瞳孔C的位置，并检测出该左右瞳孔C的中间点C1的位置作为视点位置。不过，原本应该得到如图2所示的驾驶员D的拍摄图像P，但如图3所示，当太阳光等强烈的外界光L3的红外成分透过前挡风玻璃2、透光部4和凹面镜7而入射至照相机9时，在拍摄图像P上会产生如图4所示的曝光过度的干扰区域S，有可能妨碍驾驶员D的眼E(在图4中为右眼E)的位置的检测。
因此，控制部10预先从正常地(在面部F未被干扰区域S遮挡的状态下)拍摄到的拍摄图像P获取瞳孔C的位置与特征点T的位置之间的位置关系并存储，然后，针对拍摄到的拍摄图像P，在由于干扰区域S的存在而难以检测瞳孔C的位置的情况下，基于从该拍摄图像P检测到的特征点T的位置和预先存储的上述位置关系，推定左右瞳孔C的位置，进而推定视点位置(中间点C1的位置)。
在本实施方式的HUD1中，控制部10检测拍摄图像P中的驾驶员D的眼E(瞳孔C)的位置，并基于检测到的眼E的位置，检测视点位置。进一步地，控制部10检测拍摄图像P(基准图像)中的驾驶员D的面部F的特征点T的位置(优选多个特征点T的位置)，存储检测到的眼E的位置与检测到的特征点T的位置之间的位置关系，在难以检测眼E的位置的情况下，基于此时检测到的特征点T的位置和预先存储的位置关系，推定视点位置。
因此，即便由于外界光L3的影响而难以检测左右眼E中的一方或双方的位置，只要通过拍摄得到特征点T的位置就能够推定眼E的位置，降低了眼E的位置的检测失败的概率，即便有外界光L3入射也能够稳定地检测眼E的位置。
此外，驾驶员D的拍摄在虚像V的显示过程中进行，因此，能够假定驾驶员D在HUD1的眼动范围平面内朝向车辆的正面方向(照相机9的拍摄方向)视觉辨认虚像V的状况(否则，驾驶员D无法视觉辨认虚像V)。另一方面，将驾驶员D尽量朝向正面的状态的拍摄图像P作为基准图像，更易于高精度地推定视点位置，因此，通过在虚像V的显示过程中进行驾驶员D的拍摄，能够提高视点位置的推定精度。
若将驾驶员D更确实地朝向正面的拍摄图像P作为基准图像，则控制部10检测通过虚像V的显示过程中的定期或不定期的拍摄而得到的拍摄图像P中的驾驶员D的左右眼E的位置，将该左右眼E的间隔距离(在此，为左右瞳孔C的间隔)在规定基准时刻(也可以是开始显示虚像V的时间点)以后变为最大时的拍摄图像P作为基准图像，由此更新基准图像，并基于该基准图像计算出位置关系并存储即可。
即，驾驶员D越准确朝向正面，左右眼E的间隔距离越大，因此，若新拍摄到的拍摄图像P中的左右眼E的间隔距离比作为基准图像的拍摄图像P中的左右眼E的间隔距离大，则将该新的拍摄图像P作为基准图像并将从其中得到的位置关系重写至控制部10，对存储在控制部10中的位置关系进行更新，由此，能够基于驾驶员D更确实地朝向正面的状况下的位置关系，准确地推定视点位置。
或者，若控制部10基于拍摄图像P获取与驾驶员D的视线相关的信息，且基于该获取的视线信息认为驾驶员D朝向正面，则将此时的拍摄图像P作为基准图像并存储从其中得到的位置关系，由此，能够基于驾驶员D更确实地朝向正面的状况下的位置关系，准确地推定视点位置。若在基准图像中提高驾驶员D朝向正面的精度，则在认为新拍摄到的拍摄图像P中的驾驶员D的视线比在某个时间点作为基准图像的拍摄图像P中的驾驶员D的视线更朝向正面时，也可以将该新的拍摄图像P作为基准图像并将从其中得到的位置关系重写至控制部10，对存储在控制部10中的位置关系进行更新。
此外，控制部10也根据拍摄图像P中的特征点T的位置检测驾驶员D的面部F的朝向，在由于外界光L3的影响而难以检测左右眼E中的一方或双方的位置的情况下，基于此时检测到的特征点T的位置、预先存储的位置关系以及面部F的朝向，推定视点位置。
例如，如图5所示，控制部10在对于驾驶员D将瞳孔C与耳Y之间的距离K存储为位置关系中的一个的情况下(原本只要在拍摄图像P上掌握位置关系即可，但在图5中，为了方便，示出了驾驶员D的耳Y与瞳孔C之间的距离)，若在难以检测眼E的位置时驾驶员D的面部F朝向正面(图5(a))，则使用该距离K来推定视点位置，但若在难以检测眼E的位置时驾驶员D的面部F以角度θ朝向斜向(图5(b))，则不使用距离K而是使用距离Kcosθ来推定视点位置。即，即便左右瞳孔C位于在车辆的前后方向(进深方向)上错开的位置，该间隔(瞳孔间的距离)在车辆的左右方向上变窄，也能够抑制瞳孔C的位置的推定精度降低的情况。
以上，例示了用于实施本发明的方式，但本发明的实施方式并不限定于上述实施方式，也可以在不脱离发明的主旨的范围内进行适当变更等。
例如，在上述实施方式中，将车辆的前挡风玻璃作为反射透光部件来投影显示光，但也可以代替前挡风玻璃而使用组合器。
此外，也可以在左右眼中的一只眼E的位置的推定中使用从左右眼中的另一只眼E得到的位置关系，若无法获取右眼E的瞳孔C的位置但能够获取外眼角E2和内眼角E3的位置，且能够获取左眼E的瞳孔C、外眼角E2和内眼角E3的位置，则也可以基于针对左眼E得到的瞳孔C与外眼角E2和内眼角E3的位置关系以及右眼E的外眼角E2和内眼角E3的位置，推定右眼E的瞳孔C的位置。
进一步地，也可以在驾驶员D坐在车辆的驾驶座上之后，在面部F与HUD显示(虚像V)正对的状态下，作为DMS的校准而进行拍摄，将该拍摄图像作为基准图像。
附图标记说明
1：平视显示装置(车辆用显示装置)；
2：前挡风玻璃(反射透光部件)；
9：照相机；
10：控制部(眼检测机构、视点位置检测机构、特征点检测机构、存储机构、面部朝向检测机构、视线信息获取机构)；
C：瞳孔；
D：驾驶员(使用者)；
E：眼；
F：面部；
L1：显示光；
L2：红外光；
P：拍摄图像；
T：特征点；
V：虚像。

Claims (4)

1.一种车辆用显示装置，其能够将显示光投影至设置在车辆上的反射透光部件，以与透过所述反射透光部件的实景叠加的方式利用被所述反射透光部件反射的显示光生成虚像并显示，并且将红外光投影至所述车辆的使用者来拍摄所述使用者，基于该拍摄图像检测所述使用者的视点位置，其特征在于，具备：
眼检测机构，其检测所述拍摄图像中的所述使用者的眼的位置；
视点位置检测机构，其基于由所述眼检测机构检测到的所述眼的位置，检测所述视点位置；
特征点检测机构，其检测所述拍摄图像中的所述使用者的特征点的位置；以及
存储机构，其存储由所述眼检测机构检测到的所述眼的位置与由所述特征点检测机构检测到的所述特征点的位置之间的位置关系，
在难以通过所述眼检测机构检测所述眼的位置的情况下，所述视点位置检测机构基于由所述特征点检测机构检测到的所述特征点的位置和存储在所述存储机构中的所述位置关系，推定所述视点位置。
2.根据权利要求1所述的车辆用显示装置，其特征在于，具备检测所述使用者的面部的朝向的面部朝向检测机构，
所述视点位置检测机构基于由所述面部朝向检测机构检测到的所述面部的朝向，推定所述视点位置。
3.根据权利要求1或2所述的车辆用显示装置，其特征在于，所述眼检测机构检测通过在所述虚像的显示过程中的定期或不定期的拍摄而得到的拍摄图像中的所述使用者的左右眼的位置，
所述存储机构存储从所述左右眼的间隔距离在规定基准时刻以后变为最大时的拍摄图像得到的所述位置关系。
4.根据权利要求1或2所述的车辆用显示装置，其特征在于，具备获取所述使用者的视线信息的视线信息获取机构，
所述眼检测机构检测通过在所述虚像的显示过程中的定期或不定期的拍摄而得到的拍摄图像中的所述眼的位置，
所述存储机构存储基于由所述视线信息获取机构获取的视线信息而从所述使用者朝向正面时的拍摄图像得到的所述位置关系。
CN202180008936.7A 2020-02-28 2021-02-24 车辆用显示装置 Pending CN114929501A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020032500 2020-02-28
JP2020-032500 2020-02-28
PCT/JP2021/006796 WO2021172333A1 (ja) 2020-02-28 2021-02-24 車両用表示装置

Publications (1)

Publication Number Publication Date
CN114929501A true CN114929501A (zh) 2022-08-19

Family

ID=77491093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180008936.7A Pending CN114929501A (zh) 2020-02-28 2021-02-24 车辆用显示装置

Country Status (5)

Country Link
US (1) US11816862B2 (zh)
JP (1) JPWO2021172333A1 (zh)
CN (1) CN114929501A (zh)
DE (1) DE112021001292T5 (zh)
WO (1) WO2021172333A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877116B2 (ja) * 1999-09-07 2007-02-07 マツダ株式会社 車両の表示装置
EP1083076A3 (en) 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP4895324B2 (ja) * 2006-11-27 2012-03-14 日本精機株式会社 ヘッドアップディスプレイ装置
JP5181939B2 (ja) * 2008-09-03 2013-04-10 アイシン・エィ・ダブリュ株式会社 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム
JP4686586B2 (ja) * 2008-09-19 2011-05-25 株式会社東芝 車載用表示装置及び表示方法
JP5353734B2 (ja) 2010-01-28 2013-11-27 トヨタ自動車株式会社 撮像装置
JP5392276B2 (ja) * 2011-02-03 2014-01-22 株式会社デンソー 虚像表示装置
KR20130068732A (ko) 2011-12-16 2013-06-26 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법
JP2019206262A (ja) 2018-05-29 2019-12-05 日本精機株式会社 表示装置
US10860093B1 (en) * 2019-08-28 2020-12-08 GM Global Technology Operations LLC Eye location tracking device integrated with head-up display

Also Published As

Publication number Publication date
JPWO2021172333A1 (zh) 2021-09-02
WO2021172333A1 (ja) 2021-09-02
US11816862B2 (en) 2023-11-14
DE112021001292T5 (de) 2023-01-26
US20230054971A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
JP6470335B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US9092671B2 (en) Visual line detection device and visual line detection method
JP5151207B2 (ja) 表示装置
JP4682470B2 (ja) スキャン型ディスプレイ装置
US10395510B2 (en) Reminding method and reminding device
US10304253B2 (en) Computer program, object tracking method, and display device
JP2007004448A (ja) 視線検出装置
JP2015194884A (ja) 運転者監視システム
JP2006248365A (ja) 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置
JP7018634B2 (ja) 眼球運動測定装置及び眼球運動解析システム
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
US20230013134A1 (en) Electronic device
JPH11142784A (ja) 位置検出機能付きヘッドマウントディスプレイ
JP6717330B2 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
JP4692496B2 (ja) 車両用表示装置
JP2009240551A (ja) 視線検出装置
JP2022056520A (ja) 車両用表示装置
JP2016170052A (ja) 目検出装置及び車両用表示システム
CN114929501A (zh) 车辆用显示装置
JP2021133801A (ja) 車両用表示装置
JP2017162233A (ja) 視線検出装置および視線検出方法
WO2021153615A1 (ja) 視点検知システム
JP2021160439A (ja) ヘッドアップディスプレイ装置
JP2019151205A (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
JP2021119065A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination