CN109421535B - 车辆用显示装置和显示控制方法 - Google Patents

车辆用显示装置和显示控制方法 Download PDF

Info

Publication number
CN109421535B
CN109421535B CN201810988761.0A CN201810988761A CN109421535B CN 109421535 B CN109421535 B CN 109421535B CN 201810988761 A CN201810988761 A CN 201810988761A CN 109421535 B CN109421535 B CN 109421535B
Authority
CN
China
Prior art keywords
vehicle
image
driver
preceding vehicle
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810988761.0A
Other languages
English (en)
Other versions
CN109421535A (zh
Inventor
若月伴丈
小笠原一贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN109421535A publication Critical patent/CN109421535A/zh
Application granted granted Critical
Publication of CN109421535B publication Critical patent/CN109421535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

提供一种能够在驾驶者的视线总是朝向的位置固定显示向驾驶者告知的信息的车辆用显示装置和显示控制方法。车辆用显示装置(1)包括：获取前方图像(20)的车辆前方照相机(2)；从前方图像(20)检测白线(21a)、(21b)的位置和在行车线(22)上存在先行车(30)的情况下该先行车(30)的位置的图像分析部(12)；基于白线(21a)、(21b)的位置、或者白线(21a)、(21b)的位置和先行车(30)的位置在行车线(22)上设定描绘区域(23)，基于描绘区域(23)的形状将包含路径引导信息的告知图像(25)描绘在描绘区域(23a)的控制部(13)。控制部(13)使告知图像(25)与显示图像的描绘区域(23a)的形状的变化一致地变形。

Description

车辆用显示装置和显示控制方法
技术领域
本发明涉及车辆用显示装置和显示控制方法。
背景技术
以往提供有如下平视显示器装置：搭载在汽车等车辆，从显示装置向挡风玻璃投影出显示图像，将该显示图像与实际场景重叠而提供给驾驶者目视。
例如在专利文献1公开的导航装置中，在与实际场景重叠显示引导信息时，决定驾驶者不应看漏的障碍物等的优先度，对于优先度比引导信息高的障碍物，以使其被目视性不会显著下降的方式决定引导信息的显示位置、显示方法。
现有技术文献
专利文献
专利文献1：日本专利特开2006－162442号公报
发明内容
本发明欲解决的问题
然而，在上述专利文献1中，由于在车辆行驶中引导信息的显示位置、显示方法被变更，因此，驾驶者需要搜寻显示在挡风玻璃的引导信息，存在改善的余地。
本发明的目的在于提供一种能够在驾驶者的视线总是朝向的位置固定显示向驾驶者告知的信息的车辆用显示装置和显示控制方法。
用于解决问题的方案
为达到上述目的，本发明所涉及的车辆用显示装置具有在车辆的驾驶者的前方投影出显示图像，使所述显示图像与所述车辆前方的实际场景重叠显示的图像显示单元，所述车辆用显示装置的特征在于，包括：前方图像获取单元，对所述车辆前方的实际场景进行拍摄并获取前方图像；白线检测单元，从所述前方图像检测夹着在所述车辆前方延伸的行车线的一对着色线的位置、以及在所述行车线上存在先行车的情况下该先行车的位置；描绘区域设定单元，基于一对所述着色线的位置、或者一对所述着色线的位置和所述先行车的位置，在所述行车线上设定描绘区域；描绘单元，基于所述描绘区域的形状，将包含向所述驾驶者告知的路径引导信息的告知图像描绘在所述描绘区域，所述描绘单元使所述告知图像与所述显示图像中的所述描绘区域的形状的变化一致地变形。
另外，在所述车辆用显示装置中，优选的是所述描绘区域设定单元根据示出所述前方图像的所述着色线的位置的坐标、或者示出所述前方图像中的所述着色线的位置的坐标和示出所述先行车的位置的坐标，在不与所述先行车重叠，且从所述车辆的前方在所述行车线上沿着所述着色线延伸的区域设定所述描绘区域。
另外，在所述车辆用显示装置中，优选的是还包括：驾驶者图像获取单元，对所述驾驶者进行拍摄并获取驾驶者图像；眼点检测单元，从所述驾驶者图像检测所述驾驶者的眼点的位置，所述描绘单元根据所述眼点的位置来调整所述显示图像中的所述描绘区域的位置。
为达到上述目的，本发明所涉及的显示控制方法是车辆用显示装置的显示控制方法，所述车辆用显示装置具有在车辆的驾驶者的前方投影出显示图像，使所述显示图像与所述车辆前方的实际场景重叠显示的图像显示单元，所述显示控制方法的特征在于，包括：拍摄所述车辆前方的实际场景并获取前方图像前方图像获取步骤；从所述前方图像检测夹着在所述车辆前方延伸的行车线的一对着色线的位置、以及在所述行车线上存在先行车的情况下该先行车的位置的白线检测步骤；基于一对所述着色线的位置、或者一对所述着色线的位置和所述先行车的位置，在所述行车线上设定描绘区域的描绘区域设定步骤；基于所述描绘区域的形状，将包含向所述驾驶者告知的路径引导信息的告知图像描绘在所述描绘区域的描绘步骤，所述描绘步骤中使所述告知图像与所述显示图像中的所述描绘区域的形状的变化一致地变形。
发明的效果
根据本发明所涉及的车辆用显示装置和显示控制方法，取得的效果是：能够在驾驶者的视线总是朝向的位置固定显示向驾驶者告知的信息。
附图说明
图1是实施方式所涉及的车辆用显示装置的概要构成图。
图2是实施方式所涉及的车辆用显示装置的框图。
图3是示出实施方式所涉及的车辆用显示装置的动作例的流程图。
图4是实施方式所涉及的前方图像的白线检测的说明图。
图5(A)、图5(B)是实施方式所涉及的前方图像的白线检测的说明图。
图6是实施方式所涉及的前方图像的白线检测和先行车检测的说明图。
图7是实施方式所涉及的驾驶者图像的眼点检测的说明图。
图8是实施方式所涉及的从前方图像向显示图像转换的说明图。
图9是显示在实施方式所涉及的描绘区域的显示图像的说明图。
标记的说明
1：车辆用显示装置
2：车辆前方照相机
3：驾驶者照相机
4：车辆用显示装置主体
5：导航装置
11：图像显示部
12：图像分析部
13：控制部
14：反射镜
15、16、17：通信线路
20：前方图像
21a、21b：白线
22：行车线
23、23a：描绘区域
24：显示范围
25、25a：告知图像
26、26a：指引图形
30：先行车
40：驾驶者图像
100：车辆
101：方向盘
102：仪表板
103：车顶
104：挡风玻璃
105：转向柱
D：驾驶者
S：虚像
L：激光
EP：眼点
ER：眼范围
具体实施方式
下面，参照附图来详细说明本发明的实施方式所涉及的车辆用显示装置和显示控制方法。此外，本发明不限于以下所示的实施方式。另外，下述实施方式中的构成要素包含本领域技术人员能容易替换的要素、或者实质上相同的要素。
[实施方式]
图1是实施方式所涉及的车辆用显示装置的概要构成图。图2是实施方式所涉及的车辆用显示装置的框图。图3是示出实施方式所涉及的车辆用显示装置的动作例的流程图。图4是实施方式所涉及的前方图像的白线检测的说明图。图5(A)、图5(B)是实施方式所涉及的前方图像的白线检测的说明图。图6是实施方式所涉及的前方图像的白线检测和先行车检测的说明图。图7是实施方式所涉及的驾驶者图像的眼点检测的说明图。图8是实施方式所涉及的从前方图像向显示图像转换的说明图。图9是显示在实施方式所涉及的描绘区域的显示图像的说明图。此外，图4所示的前方图像是在平坦的道路上拍摄的图像。图5(A)所示的前方图像是在斜坡上拍摄的图像，图5(B)所示的前方图像是在向右方以曲线状拐弯的道路上拍摄的。
本实施方式所涉及的车辆用显示装置1如图1和图2所示，例如是搭载在汽车等车辆100的平视显示器(Head Up Display：HUD)装置。车辆用显示装置1在车辆100的驾驶者D的前方投影出显示图像，使显示图像重叠显示在车辆前方的实际场景。显示图像被投影到挡风玻璃104上的显示范围24(参照图8)。显示图像包含向驾驶者D告知的告知图像25、25a(参照图9)。告知图像25是根据后述的描绘区域23a的形状变形之前的原始图像。告知图像25a是根据描绘区域23a的形状变形之后的图像。在告知图像2中5例如表示路径引导信息等。路径引导信息包含车辆100拐弯的方向、到拐弯的距离、作为记号的地标、行车线(车道)信息等。作为路径引导信息的告知图像25，例如有拐弯的方向的箭头。车辆用显示装置1在挡风玻璃104投影出显示图像，在车辆100的驾驶者D的前方显示虚像S。虚像S是在驾驶者D的眼点EP上目视到的图像。挡风玻璃104具有半透过性，将从车辆用显示装置1射入的激光L向眼点EP反射。眼点EP是坐在车辆100的驾驶座106的驾驶者D的视线位置。眼点EP例如表示驾驶者D的双眼之间(眉间)。眼点EP被预先设定为车辆100的位于所谓的眼范围ER内。此处，眼范围ER是“汽车的驾驶者眼范围”，相当于根据车辆100预先决定的驾驶者D的视线位于的区域。眼范围ER是在车辆100中统计地表示驾驶者D的眼睛位置的分布，例如相当于驾驶者D坐在驾驶座106的状态下包含预定比例(例如95％)的驾驶者D的眼睛的位置的区域。驾驶者D将由挡风玻璃104反射的图像识别为虚像S。虚像S对于驾驶者D而言，被识别为存在于挡风玻璃104的前方。车辆用显示装置1随着车辆100的启动(例如接通点火开关)而启动，随着车辆100的停止(例如断开点火开关)而停止，但不限于此。车辆用显示装置1具体包含车辆前方照相机2、驾驶者照相机3、车辆用显示装置主体4而构成。
车辆前方照相机2是前方图像获取单元，逐次拍摄车辆100前方的实际场景，获取该前方的图像即前方图像20(参照图4等)。车辆前方照相机2配置在车辆100的车厢内。车辆前方照相机2例如配置在车辆100的车厢内的车顶103。车辆前方照相机2可以设置在配置在车顶103的后方反射镜(未图示)。车辆前方照相机2设置为通过挡风玻璃104对车辆100的前方拍摄。车辆前方照相机2的拍摄范围如图8所示，被设定为至少能够拍摄在道路上画出的白线和在车辆100的前方行驶的先行车30。车辆前方照相机2利用通信线路15与车辆用显示装置主体4连接。车辆前方照相机2将拍摄的图像作为前方图像20，经由通信线路15逐次输出至车辆用显示装置主体4。输出的图像也包含动态图像。
驾驶者照相机3是驾驶者图像获取单元，逐次拍摄驾驶者D，获取该驾驶者D的图像即驾驶者图像40(参照图7)。驾驶者照相机3配置在车辆100的车厢内的驾驶者D的前方。驾驶者照相机3例如配置在转向柱105的上部，且从驾驶者D观察的方向盘101的背后。驾驶者照相机3被设置为至少拍摄驾驶者D的眼点EP。驾驶者照相机3的拍摄范围如图7所示，被决定为至少能够拍摄包含驾驶者D的双眼的脸部。驾驶者照相机3利用通信线16与车辆用显示装置主体4连接。驾驶者照相机3将拍摄的图像作为驾驶者图像40，经由通信线16逐次输出至车辆用显示装置主体4。输出的图像也包含动态图像。
车辆用显示装置主体4通过向挡风玻璃104照射激光L从而投影出显示图像，在驾驶者D的前方显示虚像S。车辆用显示装置主体4配置在车辆100的仪表板102的内侧。在仪表板102的上表面设置有开口102b。车辆用显示装置主体4经由开口102b向挡风玻璃104照射激光L，从而投影出显示图像。车辆用显示装置主体4如图2所示，包含图像显示部11、图像分析部12、控制部13而构成。
图像显示部11是图像显示单元，具有在车辆100的驾驶者D的前方投影出显示图像，使显示图像重叠显示在车辆前方的实际场景的功能。图像显示部11基于来自控制部13的信息，在车辆前方的实际场景重叠显示虚像S。图像显示部11例如是TFT-LCD(Thin FilmTransistor-Liquid Crystal Display，薄膜晶体管液晶显示器)等液晶显示装置。图像显示部11具有未图示的液晶显示部和背光源。液晶显示部显示任意的图像、例如彩色图像。背光源从液晶显示部的背面侧照射光，将显示在液晶显示部的图像向反射镜14投影。反射镜14将从图像显示部11投影的图像向挡风玻璃104反射。由反射镜14反射并投影的图像被挡风玻璃104向驾驶者D反射。被挡风玻璃104反射的图像在从驾驶者D观察的情况下，在挡风玻璃104的车辆前方的位置成像为虚像S。
图像分析部12是白线检测单元，具有从图4所示的前方图像20检测夹着在车辆前方延伸的行车线22的一对白线21a、21b的位置的功能。白线21a、21b的位置例如以在前方图像20设定的平面上的坐标表示。行车线22是在前方图像20被在车辆100的前方延伸的一对白线21a、21b夹着的区域。因此，行车线22由白线21a、21b的位置特定。另外，图像分析部12是先行车检测单元，具有从图6所示的前方图像20检测在行车线22上存在先行车30的情况下该先行车30的位置的功能。先行车30的位置例如以前方图像20的坐标、先行车30的高度H、先行车30的宽度W表示。此外，图像分析部12的构成可以是利用先进驾驶辅助系统(Advanced Driver Assistance System)，检测先行车30的位置。
另外，图像分析部12是眼点检测单元，具有从驾驶者图像40检测驾驶者D的眼点EP的位置的功能。眼点EP的位置例如以在车辆100设定的3维垂直坐标表示。示出眼点EP的位置的坐标包含车辆100的车宽方向的位置和车辆高度方向的位置，并且可以包含车辆前后方向的位置。此外，构成可以是眼点EP的位置不只由图像分析部12算出，而且由控制部13算出。
控制部13是描绘区域设定单元，具有基于一对白线21a、21b的位置或者一对白线21a、21b的位置和先行车30的位置，在行车线22上设定描绘区域23的功能。描绘区域23是描绘包含向驾驶者D告知的路径引导信息的告知图像25的区域，设定在行车线22上。路径引导信息从后述的导航装置5得到。由于有的情况下在行车线22上存在先行车30，因此，描绘区域23是基于前方图像20的白线21a、21b的位置、或者前方图像20的白线21a、21b的位置和先行车30的位置而设定的。描绘区域23以不与先行车30重叠，且从车辆100的前方在行车线22上沿着白线21a、21b延伸的区域表示。另外，控制部13是描绘单元，具有将包含路径引导信息的告知图像25描绘在描绘区域23的功能。控制部13例如是具有CPU(Central ProcessingUnit)、存储器、各种接口等的计算机，控制车辆前方照相机2、驾驶者照相机3、图像显示部11和图像分析部12。控制部13与车辆前方照相机2、驾驶者照相机3、图像显示部11和导航装置5分别能通信地连接。控制部13从导航装置5获取路径引导信息，决定能否显示该路径引导信息。控制部13可以与图像显示部11和图像分析部12一体构成。
导航装置5是所谓的车载导航，是对包含驾驶者D的车辆100的乘客提供本车位置、周边的详细的地图信息，进行向目的地的路径引导的装置。导航装置5基于来自GPS(GlobalPositioning System)卫星的信息等，获取本车位置。另外，导航装置5从内部的存储器读出地图信息、路径引导信息等，或者利用通信从外部获取。导航装置5利用通信线路17与控制部13连接，经由通信线路17将获取的路径引导信息输出至控制部13。
接下来，参照图3～图9来说明车辆用显示装置1的动作。
在图3中，在步骤S1中，图像分析部12拍摄由车辆前方照相机2获取的前方图像20，从前方图像20进行白线检测和先行车检测。图像分析部12在行车线22上不存在先行车30，不能检测先行车30的情况下，仅进行白线检测。图像分析部12利用白线检测，获取示出前方图像20的白线21a、21b的位置的坐标。示出白线21a的位置的坐标(以下也称作“白线21a的坐标”。)如图4、图5(A)和图5(B)所示，例如以a1(X1、Y1)、a2(X3、Y3)、a3(X5、Y5)、a4(X7、Y7)表示。另一方面，示出白线21b的位置的坐标(以下也称作“白线21b的坐标”)以b1(X2、Y2)、b2(X4、Y4)、b3(X6、Y6)、b4(X8、Y8)表示。另外，图像分析部12在行车线22上存在先行车30的情况下，利用先行车检测，如图6所示，获取表示先行车30的位置的坐标CA(X20、Y20)、先行车30的高度H和先行车30的宽度W。示出先行车30的位置的坐标(以下也称作“先行车30的坐标”)CA为图6所示的矩形的区域31的左上角的坐标，但不限于此。该区域31由坐标CA、高度H和宽度W规定。
在步骤S2中，图像分析部12获取由驾驶者照相机3拍摄的驾驶者图像40，从驾驶者图像40进行驾驶者D的眼点检测。图像分析部12利用眼点检测来获取示出驾驶者D的眼点EP的位置的坐标。
在步骤S3中，控制部13从导航装置5获取路径引导信息等。控制部13决定能否显示获取的路径引导信息。控制部13例如在从导航装置5获取的路径引导信息中，到交叉路口的距离为预定值(例如40m)的情况下，开始路线规划的显示，或者在切换了速度限制的时间点，开始显示。
在步骤S4中，控制部13如图6所示，基于白线21a、21b的位置、或者白线21a、21b的位置和先行车30的位置，设定行车线22上的描绘区域23。更具体而言，控制部13根据前方图像20中的白线21a、21b的坐标、或者前方图像20中的白线21a、21b的坐标和示出先行车30的位置的坐标，在不与先行车30重叠，且从车辆100的前方在行车线22上沿着白线21a、21b延伸的区域设定描绘区域23。控制部13在行车线22上不存在先行车30，而根据白线21a、21b的坐标设定描绘区域23的情况下，将描绘区域23设定为预先决定的大小。优选的是预先决定的描绘区域23的大小是考虑到描绘在描绘区域23a的告知图像25a的被目视性的尺寸。
在步骤S5中，控制部13如图8所示，将描绘区域23转换为适于由图像显示部11投影的显示图像的尺寸的描绘区域23a。在步骤S4中设定的描绘区域23以前方图像20的坐标设定，由于与利用图像显示部11投影的显示图像的分辨率、显示范围24不同，因此不能直接使用。因此，控制部13将描绘区域23基于显示图像的分辨率和显示范围24放大后，平行移动，从而转换为与显示图像对应的描绘区域23a的坐标。控制部13例如将示出描绘区域23的坐标a1(X1、Y1)、a2(X3、Y3)、a3(X5、Y5)、b1(X2、Y2)、b2(X4、Y4)、b3(X6、Y6)，转换为示出描绘区域23a的坐标a′1(X′1、Y′1)、a′2(X′3、Y′3)、a′3(X′5、Y′5)、b′1(X′2、Y′2)、b′2(X′4、Y′4)、b′3(X′6、Y′6)。示出转换后的描绘区域23a的坐标在与车辆前方的实际场景重叠的情况下，不需要一定与白线21a、21b重叠，但优选的是不为夹着描绘区域23a的白线21a、21b的宽度方向的外侧。并且，在步骤S5中，控制部13根据在步骤S2检测的眼点EP的位置，对描绘区域23a的位置进行微调。
在步骤S6中，控制部13如图9所示，将包含路径引导信息的告知图像25根据描绘区域23a的形状变形为告知图像25a并进行描绘。告知图像25例如在具有向右方指引的指引图形26的情况下，指引图形26根据描绘区域23a的形状而变形为有纵深的指引图形26a。并且，控制部13使告知图像25与显示图像的描绘区域23a的形状的变化一致地变形。
在步骤S7中，控制部13对投影在挡风玻璃104的显示图像的失真进行校正。由于显示图像会因配置在车辆用显示装置主体4内的曲面状的反射镜14、弯曲的挡风玻璃104的反射面而失真，因此，基于在步骤S2检测的眼点EP的位置来计算显示图像的失真，并强制性地使图像失真以减轻显示图像的失真。步骤S7结束后返回步骤S1，重复动作处理。
如上所述，本实施方式所涉及的车辆用显示装置1包括：获取前方图像20的车辆前方照相机2；从前方图像20检测白线21a、21b的位置和在行车线22上存在先行车30的情况下该先行车30的位置的图像分析部12。车辆用显示装置1还包括基于白线21a、21b的位置、或者白线21a、21b的位置和先行车30的位置在行车线22上设定描绘区域23，基于描绘区域23的形状将包含路径引导信息的告知图像25描绘在描绘区域23a的控制部13。控制部13使告知图像25与显示图像的描绘区域23a的形状的变化一致地变形。
根据本实施方式所涉及的车辆用显示装置1和显示控制方法，能够在驾驶者D的视线总是朝向的行车线22上固定显示向驾驶者D告知的信息。其结果是，驾驶者D不需要搜寻显示在挡风玻璃104的引导信息，可以提高驾驶者D使用HUD时的安全性，并且提高HUD的便利性。另外，由于将告知图像25基于描绘区域23的形状描绘在描绘区域23a，与描绘区域23a的形状的变化一致地使其变形，因此，对于车辆前方的实际场景的随着时间的变化，能够将告知图像25a不与白线21a、21b、先行车30重叠地显示，可以提高路径引导信息等的被目视性。
另外，本实施方式所涉及的车辆用显示装置1的控制部13根据示出前方图像20的白线21a、21b的位置的坐标、或者示出白线21a、21b的位置的坐标和示出先行车30的位置的坐标，在不与先行车30重叠，且从车辆100的前方在行车线22上沿着白线21a、21b延伸的区域设定描绘区域23。由此，能够不与白线21a、21b或者白线21a、21b和先行车30重叠地，在行车线22上设定描绘区域23。其结果是，除了上述效果外，可以提高描绘在描绘区域23a的告知图像25a的被目视性。
另外，本实施方式所涉及的车辆用显示装置1还包括拍摄驾驶者D并获取驾驶者图像40的驾驶者照相机3，图像分析部12从驾驶者图像40检测驾驶者D的眼点EP的位置，控制部13根据眼点EP的位置来调整显示图像的描绘区域23a的位置。由此，在车辆前方照相机2的位置与驾驶者D的眼点EP的位置不同的情况下，能够根据驾驶者D的眼点EP的位置来调整描绘区域23a的位置，可以进一步提高描绘在描绘区域23a的告知图像25a的被目视性。
[变形例]
此外，在上述实施方式中，在本车即车辆100与先行车30的车间距离短的情况下，有可能无法确保所需大小的描绘区域23，从而导致描绘在描绘区域23a的告知图像25a的被目视性下降。因此，可以构成为提高告知图像25a整体或者指引图形26a自身的透射率，将告知图像25a的一部分与先行车30重叠显示。另外，在将告知图像25基于描绘区域23a的形状描绘在该描绘区域23a的情况下，考虑到告知图像25a的被目视性，可以不进行告知图像25的变形。即，也可以构成为，在即使根据描绘区域23a的形状使告知图像25变形也不能识别指引图形26a的情况下，将告知图像25不加变形地进行显示。
另外，在上述实施方式中，构成为无论描绘在行车线22上的道路标识存在与否，都在描绘区域23a描绘告知图像25a，但不限于此。例如，可以构成为图像分析部12根据前方图像20检测行车线22上的道路标识。而且，也可以构成为，在行车线22上检测到道路标识的情况下，控制部13进行限制，使得不在检测到的道路标识上设定描绘区域23。
另外，在上述实施方式中，白线21a、21b的坐标如图4、图5(A)和图5(B)所示，位于各白线21a、21b的宽度方向(X轴方向)的中央，但只要是能够确定白线21a、21b的位置的位置即可，不限于此。
另外，在上述实施方式中，夹着行车线22的一对白线21a、21b为白色线，但不限于此，任意一条也可以是黄色线。另外，一对白线21a、21b中的任意一条可以是实线，另一条可以是虚线。另外，一对白线21a、21b也可以是任意一条为黄色线的2条实线。另外，在一对白线21a、21b中的一条白线的位置无法检测到的情况下，可以使用之前最新检测到的白线21a或者白线21b的位置来确定行车线22。或者，也可以将一条白线与另一条白线之间的X方向的距离(行车线宽度)例如预先规定为3m，在不能检测一条白线的位置的情况下，使用该行车线宽度来进行行车线22的确定。此外，这里虽然将行车线宽度假设为3m，但不限于此，可以构成为根据车道的种类(例如一般国道、高速车道等)使行车线宽度不同。
另外，在上述实施方式中，车辆前方照相机2和驾驶者照相机3分别经由通信线路15、16以有线方式与车辆用显示装置主体4连接，但也可以无线连接。由此，不需要通信线路15、16自身、布线作业，并且能够改善车辆前方照相机2和驾驶者照相机3的布局的限制。
另外，在上述实施方式中，控制部13从搭载在车辆100的导航装置5获取路径引导信息等，但不限于此。例如，控制部13也可以构成为利用无线通信从外部获取路径引导信息等。
另外，在上述实施方式中，作为向驾驶者D告知的信息的一个例子，说明了路径引导信息，但只要是用于辅助驾驶者D的驾驶的信息即可，例如可以是车速信息、车辆状态信息、道路信息、外部环境信息、乘客信息等。

Claims (3)

1.一种车辆用显示装置，具有在车辆的驾驶者的前方投影出显示图像，使所述显示图像与所述车辆前方的实际场景重叠显示的图像显示单元，所述车辆用显示装置的特征在于，包括：
前方图像获取单元，对所述车辆前方的实际场景进行拍摄并获取前方图像；
白线检测单元，在向所述车辆前方延伸的行车线上不存在先行车的情况下，该白线检测单元从所述前方图像检测夹着所述行车线的一对着色线的位置，在所述行车线上存在所述先行车的情况下，该白线检测单元从所述前方图像检测一对所述着色线的位置及所述先行车的位置；
描绘区域设定单元，在所述行车线上不存在所述先行车的情况下，该描绘区域设定单元根据示出所述前方图像中的一对所述着色线的位置的坐标，将从所述车辆的前方在所述行车线上沿着所述着色线延伸的区域设定为描绘区域，在所述行车线上存在所述先行车的情况下，该描绘区域设定单元根据示出所述前方图像中的所述着色线的位置的坐标以及示出所述先行车的位置的坐标，将不与所述先行车重叠且从所述车辆的前方在所述行车线上沿着一对所述着色线延伸的区域设定为所述描绘区域；以及
描绘单元，基于所述描绘区域的形状，将包含向所述驾驶者告知的路径引导信息的告知图像描绘在所述描绘区域，
所述描绘单元使所述告知图像与所述显示图像中的所述描绘区域的形状的变化相一致地变形为具有纵深的告知图像，并且在所述车辆与所述先行车之间的车间距离比能够确保所述告知图像的目视性所需大小的描绘区域的距离短的情况下，将所述告知图像的一部分重叠显示在所述先行车上，当将所述告知图像的一部分重叠显示在所述先行车上时，与仅在所述描绘区域显示所述告知图像时相比，提高所述告知图像整体的透射率。
2. 如权利要求1所述的车辆用显示装置，还包括：
驾驶者图像获取单元，对所述驾驶者进行拍摄并获取驾驶者图像；以及
眼点检测单元，从所述驾驶者图像检测所述驾驶者的眼点的位置，
所述描绘单元根据所述眼点的位置来调整所述显示图像中的所述描绘区域的位置。
3.一种显示控制方法，是车辆用显示装置的显示控制方法，
所述车辆用显示装置具有在车辆的驾驶者的前方投影出显示图像，使所述显示图像与所述车辆前方的实际场景重叠显示的图像显示单元，所述显示控制方法的特征在于，包括：
拍摄所述车辆前方的实际场景并获取前方图像的前方图像获取步骤；
其在向所述车辆前方延伸的行车线上不存在先行车的情况下，从所述前方图像检测夹着所述行车线的一对着色线的位置，在所述行车线上存在所述先行车的情况下从所述前方图像检测一对所述着色线的位置及所述先行车的位置的白线检测步骤；
在所述行车线上不存在所述先行车的情况下，根据示出所述前方图像中的一对所述着色线的位置的坐标，将从所述车辆的前方在所述行车线上沿着所述着色线延伸的区域设定为描绘区域，在所述行车线上存在所述先行车的情况下，根据示出所述前方图像中的所述着色线的位置的坐标以及示出所述先行车的位置的坐标，将不与所述先行车重叠且从所述车辆的前方在所述行车线上沿着一对所述着色线延伸的区域设定为所述描绘区域的描绘区域设定步骤；以及
基于所述描绘区域的形状，将包含向所述驾驶者告知的路径引导信息的告知图像描绘在所述描绘区域的描绘步骤，
所述描绘步骤中，使所述告知图像与所述显示图像中的所述描绘区域的形状的变化相一致地变形为具有纵深的告知图像，并且在所述车辆与所述先行车之间的车间距离比能够确保所述告知图像的目视性所需大小的描绘区域的距离短的情况下，将所述告知图像的一部分重叠显示在所述先行车上，当将所述告知图像的一部分重叠显示在所述先行车上时，与仅在所述描绘区域显示所述告知图像时相比，提高所述告知图像整体的透射率。
CN201810988761.0A 2017-08-29 2018-08-28 车辆用显示装置和显示控制方法 Active CN109421535B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017163941A JP6991794B2 (ja) 2017-08-29 2017-08-29 車両用表示装置および表示制御方法
JP2017-163941 2017-08-29

Publications (2)

Publication Number Publication Date
CN109421535A CN109421535A (zh) 2019-03-05
CN109421535B true CN109421535B (zh) 2022-02-25

Family

ID=65321916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810988761.0A Active CN109421535B (zh) 2017-08-29 2018-08-28 车辆用显示装置和显示控制方法

Country Status (4)

Country Link
US (1) US20190064531A1 (zh)
JP (1) JP6991794B2 (zh)
CN (1) CN109421535B (zh)
DE (1) DE102018214346B4 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7205154B2 (ja) 2018-10-16 2023-01-17 トヨタ自動車株式会社 表示装置
US11562576B2 (en) * 2020-08-05 2023-01-24 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102322869A (zh) * 2011-08-24 2012-01-18 深圳市凯立德科技股份有限公司 一种投影式车载导航显示方法、装置及系统
CN102735253A (zh) * 2011-04-05 2012-10-17 现代自动车株式会社 用于在挡风玻璃上显示道路引导信息的装置和方法
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法
CN106915302A (zh) * 2015-12-24 2017-07-04 Lg电子株式会社 用于车辆的显示装置及其控制方法
WO2017138297A1 (ja) * 2016-02-08 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
JP2006162442A (ja) 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
WO2013113500A1 (de) 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
EP2936235B1 (en) * 2012-12-21 2021-10-13 Harman Becker Automotive Systems GmbH System for a vehicle
CN105438066A (zh) 2014-08-22 2016-03-30 怡利电子工业股份有限公司 能同时显示导航资讯与行车安全提示的装置
JP2016090344A (ja) 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
CA2976543A1 (en) * 2016-08-23 2018-02-23 8696322 Canada Inc. System and method for augmented reality head up display for vehicles
JP6855350B2 (ja) * 2017-08-08 2021-04-07 アルパイン株式会社 ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735253A (zh) * 2011-04-05 2012-10-17 现代自动车株式会社 用于在挡风玻璃上显示道路引导信息的装置和方法
CN102322869A (zh) * 2011-08-24 2012-01-18 深圳市凯立德科技股份有限公司 一种投影式车载导航显示方法、装置及系统
CN106915302A (zh) * 2015-12-24 2017-07-04 Lg电子株式会社 用于车辆的显示装置及其控制方法
WO2017138297A1 (ja) * 2016-02-08 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法

Also Published As

Publication number Publication date
CN109421535A (zh) 2019-03-05
US20190064531A1 (en) 2019-02-28
DE102018214346B4 (de) 2024-03-07
JP2019039883A (ja) 2019-03-14
DE102018214346A1 (de) 2019-02-28
JP6991794B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
US20190080496A1 (en) Vehicle display device and display control method
KR102206272B1 (ko) 주차 지원 방법 및 주차 지원 장치
JP6252365B2 (ja) 安全確認支援システム、安全確認支援方法
CN111433067A (zh) 平视显示装置及其显示控制方法
CN110001400B (zh) 车辆用显示装置
EP2455927A1 (en) Driving support device, driving support method, and program
EP2511893A1 (en) Information display apparatus and information display method
WO2015163205A1 (ja) 車両用表示システム
JP5136950B2 (ja) 車載機器の操作装置
WO2017082067A1 (ja) 自動車用画像表示システム
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP6626069B2 (ja) 車両用表示装置
CN109421535B (zh) 车辆用显示装置和显示控制方法
CN113448096B (zh) 车辆用显示装置
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
JP2009214831A (ja) 車両用表示装置
EP3888966B1 (en) Vehicle display device
CN115079411A (zh) 车辆用显示装置
JP6365409B2 (ja) 車両の運転者のための画像表示装置
JP6996542B2 (ja) 車両用表示制御装置及び車両用表示ユニット
JP7313896B2 (ja) 車両用表示装置
JP4033170B2 (ja) 車両用表示装置
US20240101138A1 (en) Display system
JP2023017648A (ja) 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
JP2023183870A (ja) 表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant