CN109927552B - 车辆用显示装置 - Google Patents

车辆用显示装置 Download PDF

Info

Publication number
CN109927552B
CN109927552B CN201811323094.0A CN201811323094A CN109927552B CN 109927552 B CN109927552 B CN 109927552B CN 201811323094 A CN201811323094 A CN 201811323094A CN 109927552 B CN109927552 B CN 109927552B
Authority
CN
China
Prior art keywords
vehicle
base point
intersection
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811323094.0A
Other languages
English (en)
Other versions
CN109927552A (zh
Inventor
若月伴丈
小笠原一贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN109927552A publication Critical patent/CN109927552A/zh
Application granted granted Critical
Publication of CN109927552B publication Critical patent/CN109927552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Instrument Panels (AREA)

Abstract

提供一种车辆用显示装置，其能够减少驾驶员对应该转弯的道路的误认。车辆用显示装置(1)从前方图像(21)获取夹着向车辆前方延伸的车道(22)的一对白线(23L，23R)的多个点位置(Ln，Rn)。在多个点位置沿着各白线连续的方向上分别生成插值表达式(43L，43R)。基于到车辆前方的交叉路口(F)为止的距离信息，在任意一个插值表达式上决定基点(BP)。生成将多个有限元模型(45a)在一对插值表达式之间排列的道路形状模型(45)，该有限元模型由基点和在比基点更趋向车辆侧的各插值表达式上设定的多个顶点(VLn，VRn)来定义。将原显示图像(25)与道路形状模型贴合进行纹理映射，将道路形状模型进行透视投影变换并作为显示图像(25a)进行显示。

Description

车辆用显示装置
技术领域
本发明涉及一种车辆用显示装置。
背景技术
近年，在汽车等车辆中，存在搭载有平视显示器(HUD：Head Up Display)等车辆用显示装置的车辆。在车辆用显示装置中，通过反射镜等光学系统将显示器所显示的显示图像向挡风玻璃投影，从而使驾驶员将显示图像作为虚像来视觉识别。例如，在专利文献1中，为了将与交叉路口的像重叠的箭头图形易于理解地进行显示，而通过从拍摄的道路的图像对白线进行图像识别来获取道路宽度，并根据道路宽度来变更箭头图形的长度和宽度。另外，在专利文献1中，根据从现在位置到引导对象的交叉路口为止的距离来改变箭头图形的形状本身。
现有技术文献
专利文献
专利文献1：日本特开2016-90344号公报
发明内容
发明欲解决的技术问题
然而，在上述专利文献1中，当道路不平坦而有起伏时，与交叉路口的像重叠的箭头图形变成从道路浮起的状态，由于箭头图形所指示的位置与实际的交叉路口的位置偏离，所以存在驾驶员误认应该转弯的道路的可能性。
本发明的目的在于提供一种车辆用显示装置，其能够减少驾驶员对应该转弯的道路的误认。
用于解决问题的技术手段
为了达成上述目的，本发明所涉及的车辆用显示装置，其向车辆的驾驶员的前方投影显示图像，并将所述显示图像与所述车辆前方的实际场景重叠地显示，所述车辆用显示装置的特征在于，包括：视点位置检测单元，其检测所述驾驶员的视点位置；三维坐标获取单元，其从拍摄所述车辆前方的实际场景而得到的前方图像来获取夹着向所述车辆前方延伸的车道的一对着色线的多个三维坐标；假想线生成单元，其在多个所述三维坐标沿着各所述着色线连续的方向上分别生成假想线；基点决定单元，其基于到所述车辆前方的标志为止的距离信息，而在任意一个所述假想线上决定基点；三维模型生成单元，其生成将多个有限元模型在一对所述假想线之间排列的三维模型，所述有限元模型由所述基点和在比所述基点更趋向所述车辆侧的各所述假想线上设定的多个顶点来定义；以及显示控制单元，其将成为所述显示图像的来源的原显示图像贴附在所述三维模型并进行纹理映射，并将从所述驾驶员的视点位置观察所述三维模型时的图像作为所述显示图像来进行显示。
另外，优选为，在上述车辆用显示装置中，所述标志为交叉路口，所述基点决定单元在到目的地为止的引导路径中，基于所述交叉路口处的车辆的左右转弯信息以及到所述交叉路口为止的距离信息，而在所述车辆的右侧的所述假想线或左侧的所述假想线的任意一个处决定基点。
另外，优选为，在上述车辆用显示装置中，在所述车辆左转弯的情况下，所述基点决定单元基于到所述交叉路口的中心为止的距离，而在所述车辆的左侧的所述假想线上决定所述基点，在所述车辆右转弯的情况下，所述基点决定单元基于到所述交叉路口为止的距离，而在所述车辆的右侧的所述假想线上决定所述基点，该到所述交叉路口为止的距离由到所述交叉路口的中心为止的距离与从所述交叉路口向右转弯方向延伸的车道的宽度相加得到。
另外，优选为，在上述车辆用显示装置中，在所述车辆右转弯的情况下，所述基点决定单元基于到所述交叉路口的中心为止的距离，而在所述车辆的右侧的所述假想线上决定所述基点，在所述车辆左转弯的情况下，所述基点决定单元基于到所述交叉路口为止的距离，而在所述车辆的左侧的所述假想线上决定所述基点，该到所述交叉路口为止的距离由到所述交叉路口的中心为止的距离与从所述交叉路口向左转弯方向延伸的车道的宽度相加得到。
发明效果
根据本发明所涉及的车辆用显示装置，起到能够减少驾驶员对应该转弯的道路的误认的效果。
附图说明
图1是示出搭载有实施方式所涉及的车辆用显示装置的车辆的概要构成的示意图。
图2是示出实施方式所涉及的车辆用显示装置的概要构成的框图。
图3是示出实施方式所涉及的车辆用显示装置的动作例的流程图。
图4是实施方式所涉及的车辆用显示装置中的眼点检测的说明图。
图5是实施方式所涉及的车辆用显示装置中的白线的点位置检测的说明图。
图6是实施方式所涉及的车辆用显示装置中的路径引导信息的说明图。
图7是实施方式所涉及的车辆用显示装置中的白线的插值表达式的说明图。
图8是实施方式所涉及的车辆用显示装置中的基点位置的说明图。
图9是实施方式所涉及的车辆用显示装置中的左转弯时的基点位置的说明图。
图10是实施方式所涉及的车辆用显示装置中的右转弯时的基点位置的说明图。
图11是实施方式所涉及的车辆用显示装置中的道路形状模型的说明图。
图12是实施方式所涉及的车辆用显示装置中的道路形状模型的说明图。
图13是示出实施方式所涉及的车辆用显示装置中的显示图像的一例的图。
图14是示出实施方式所涉及的车辆用显示装置中的显示图像的一例的图。
图15是实施方式的变形例所涉及的车辆用显示装置中的道路形状模型的说明图。
符号说明
1 车辆用显示装置
2 驾驶员摄像机
3 车辆前方摄像机
4 装置主体
5 导航装置
11 白线位置检测部
12 视点位置检测部
13 控制部
14 图像投影部
20 驾驶员图像
21 前方图像
22，44 车道
23，23L，23R 白线
25 原显示图像
25a 显示图像
26 引导图像
43，43L，43R 插值表达式
45 道路形状模型
45a 有限元模型
100 车辆
104 挡风玻璃
BP，BPL，BPR 基点
D 驾驶员
F 交叉路口
EP 眼点
S 虚像
具体实施方式
以下，参照附图对本发明的实施方式所涉及的车辆用显示装置进行详细说明。另外，并不是由以下所示的实施方式来限定本发明。再有，在下述实施方式的构成要素中，包含本领域技术人员能够容易替换的要素，或实质上相同的要素。另外，下述的实施方式的构成要素在不超出本发明的要旨的范围内，能够进行种种的省略、置换、变更。
[实施方式]
图1所示的本实施方式所涉及的车辆用显示装置1例如是搭载于汽车等车辆100的HUD。车辆用显示装置1将显示图像从装置主体4向车辆100的挡风玻璃104进行投影，并使虚像S从车辆100的驾驶员D的视点位置(眼点EP)被视觉识别，该虚像S与已向挡风玻璃104投影的显示图像对应。挡风玻璃104具有半透过性，并将从装置主体4入射的显示光L向着驾驶员D的眼点EP反射。眼点EP是已就坐于驾驶座106处的驾驶员D的视点位置。驾驶员D能够将向挡风玻璃104投影的显示图像视觉识别为存在于车辆100的前进方向上的前方的虚像S。在装置主体4中，显示图像被显示器41显示，并被光学系统42反射而向着挡风玻璃104进行投影。本实施方式中的车辆用显示装置1被构成为包含驾驶员摄像机2、车辆前方摄像机3、装置主体4和导航装置5。
驾驶员摄像机2被设置于车辆100的车厢内，并对驾驶员D的脸部连续摄像。驾驶员摄像机2构成视点位置检测单元。驾驶员摄像机2例如是单眼式的摄像机，并被设置于车厢内的转向柱105的上部，且从驾驶员D处观察被设置于方向盘101的背后。驾驶员摄像机2通过通信线路16与装置主体4连接，且将拍摄到的图像作为驾驶员图像20依次输出到装置主体4。例如如图4所示，驾驶员图像20是从正面观察驾驶员D的脸部的静止画面。此外，驾驶员图像20也可以是动态画面。
车辆前方摄像机3被设置于车辆100的车厢内，其穿过挡风玻璃104对车辆前方的实际场景进行连续摄像。车辆前方摄像机3例如是所谓立体摄像机，并被设置于车厢内的车顶103、后视镜(未图示)处。车辆前方摄像机3通过通信线路15与装置主体4连接，并将已拍摄的图像作为前方图像21向装置主体4依次输出。例如如图5所示，前方图像21是拍摄车辆前方的实际场景所得到的静止画面。此外，前方图像21也可以是动态画面。
装置主体4将显示图像投影到挡风玻璃104。装置主体4例如被配置于车辆100的仪表盘102的内侧。在仪表盘102的上表面设置有开口102a。装置主体4通过开口102a向挡风玻璃104照射显示光L，从而投影显示图像。
导航装置5是所谓的汽车导航系统，其对车辆100的驾驶员D提供本车辆的位置、周边的详细的地图信息、去往目的地的路径引导信息等。导航装置5基于从GPS(GlobalPositioning System)卫星得到的信息等来获取本车辆的位置。另外，导航装置5也从内部的储存器(未图示)读取路径引导信息等，或者利用通信而从外部获取路径引导信息等。导航装置5通过通信线路17与控制部13连接，并根据要求将路径引导信息等向控制部13输出。
如图2所示，本实施方式的装置主体4被构成为包含白线位置检测部11、视点位置检测部12、控制部13和图像投影部14。白线位置检测部11、视点位置检测部12以及控制部13例如是在具有CPU(Central Processing Unit)、储存器以及各种接口等的微处理器上发挥功能的部分。
白线位置检测部11是三维坐标获取单元，其基于被输入的前方图像21而从夹着向车辆前方延伸的车道22的一对白线23L(23)，23R(23)检测(抽取)多个点位置L0～Ln，R0～Rn(n：整数、下文同样)。车道22，例如是双向通行中的左侧通行分区，且是单向通行的通行分区。如图5所示，车道22例如在车辆前方的交叉路口F处与车道44交叉。例如在如白线23那样被交叉路口F切断的情况下，前方图像21的白线也存在沿着水平方向夹着车道44的白线。因此，例如在通过图像识别处理来从前方图像21将全部的白线检测完之后，白线位置检测部11确定沿着车辆100的前进方向向车辆前方直线状或大致直线状(也包含曲线状)地延伸的白线组，并从该白线组抽取多个点位置L0～Ln，R0～Rn。多个点位置L0～Ln，R0～Rn用以车辆前方摄像机3的位置为坐标原点的三维坐标来表示，例如用L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)来表示。白线位置检测部11将多个点位置L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)向控制部13输出。
视点位置检测部12基于被输入的驾驶员图像20来检测驾驶员D的眼点EP。视点位置检测部12构成视点位置检测单元。视点位置检测部12例如基于驾驶员图像20中的驾驶员D的脸部的眉间的位置来检测驾驶员D的眼点EP。眼点EP例如用以驾驶员摄像机2的位置为坐标原点的三维坐标(眼点EP(x，y，z))来表示。视点位置检测部12将眼点EP(x，y，z)向控制部13输出。
控制部13与驾驶员摄像机2、车辆前方摄像机3、导航装置5、白线位置检测部11、视点位置检测部12以及图像投影部14之间能够通信地被连接，并控制该各部。本实施方式的控制部13具备：作为假想线生成单元的功能、作为基点决定单元的功能、作为三维模型生成单元的功能和作为显示控制单元的功能。
控制部13作为假想线生成单元而具有沿着各白线23L，23R在多个三维坐标连续的方向上分别生成假想线的功能。控制部13输入白线23L，23R的多个点位置L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)。如图7所示，控制部13在多个点位置L0(x，y，z)～Ln(x，y，z)沿着白线23L连续的方向上生成插值表达式43L(43)来作为假想线。另外，控制部13在多个点位置R0(x，y，z)～Rn(x，y，z)沿着白线23R连续的方向上生成插值表达式43R(43)。本实施方式中的插值表达式43由例如线性插值，拉格朗日插值，子画面插值等构成，但不限于这些。
如图8所示，控制部13作为基点决定单元而具有基于到车辆前方的标志为止的距离信息来在任意一个插值表达式43L，43R上决定基点BP的功能。此处标志是例如到目的地为止的引导路径上的交叉路口F。交叉路口F广义上是指十字路口，T字路口、其他2个以上的道路交汇的情况下的该2个以上的道路(在区分人行道和车道的道路上指车道)的交汇部分。交叉路口F是车道22和车道44交叉的场所中，车辆前方跟前的右转弯或左转弯的部分。如图6所示，到车辆前方的标志为止的距离信息例如是从车辆100的前方前端到交叉路口F的中心C为止的距离G。基点BP是后述的道路形状模型45的基准点，其用三维坐标(基点BP(x，y，z))来表示。基点BP在车辆100的右转弯时和左转弯时在不同的插值表达式43上被决定。即，右转弯时的基点BP在插值表达式43R上被决定，左转弯时的基点BP在插值表达式43L上被决定。控制部13在到目的地为止的引导路径中，基于交叉路口F处的车辆100的左右转弯信息以及到交叉路口F的中心C为止的距离信息，而在车辆100的右侧的插值表达式43R或左侧的插值表达式43L的任意一个决定基点BP。交叉路口F处的车辆100的左右转弯信息被包含在从导航装置5输入的路径引导信息中，例如是具有图12所示那样的引导图形26的原显示图像25。原显示图像25是重叠显示的信息，且是显示器41所显示的显示图像的来源。到交叉路口F的中心C为止的距离信息被包含在从导航装置5输入的路径引导信息中。如图9所示，在车辆100左转弯的情况下，控制部13基于到交叉路口F的中心C为止的距离G，而在车辆100的左侧的插值表达式43L上决定基点BPL(BP)。反之，如图10所示，在车辆100右转弯的情况下，控制部13基于到交叉路口F为止的距离(G+W)，而在车辆100的右侧的插值表达式43R上决定基点BPR(BP)，该距离(G+W)由到交叉路口F的中心C为止的距离G与从交叉路口F向右转弯方向延伸的车道44的宽度W相加得到。在车道44是单向通行的情况下，基点BPL和基点BPR的任何一个都由到交叉路口F的中心C为止的距离G来决定，但是在车道44是双向通行的情况下，由互相不同的距离G和距离(G+W)来决定。此处车道44的宽度W例如是道路结构条例的车道宽度的最小值，即2.75m。车道44的宽度W例如从导航装置5获取，但是并不限于此。
如图11所示，控制部13作为三维模型生成单元而具有生成道路形状模型45的功能，该道路形状模型45由多个有限元模型45a在一对插值表达式43L，43R之间排列而成。有限元模型45a通过基点BP和在比基点BP更趋向车辆100侧的各插值表达式43L，43R上设定的多个顶点VL1(x，y，z)～VLn(x，y，z)，VR1(x，y，z)～VLn(x，y，z)而被定义，例如是板状多边形。道路形状模型45是以基点BP为基准而在假想空间形成的三维(3D)模型。本实施方式的道路形状模型45中，在插值表达式43L上设定的顶点VL1(x，y，z)成为基点BPL。另一方面，在插值表达式43R上设定的顶点VR1(x，y，z)成为基点BPR。
如图12及图13所示，控制部13作为显示控制单元而具有将原显示图像25贴合到道路形状模型45以进行纹理映射，并将从驾驶员D的眼点EP观察道路形状模型45时的图像(平面图像)作为显示图像25a而从图像投影部14进行投影的功能。控制部13对进行了纹理映射的道路形状模型45进行透视投影变换，从而生成平面图像即显示图像25a。另外，为了抵消挡风玻璃104和光学系统42引起的虚像S的歪斜，控制部13将显示器41显示的显示图像25a进行反向歪斜。控制部13将显示图像25a向图像投影部14输出。
图像投影部14将显示图像25a向挡风玻璃104投影。图像投影部14被构成为包含显示器41和光学系统42。显示器41具有未图示的液晶显示部和背光源。液晶显示部例如由TFT－LCD(Thin Film Transistor －Liquid Crystal Display(薄膜晶体管液晶显示器))等构成。背光源从液晶显示部的背面侧照射光，以将液晶显示部所显示的图像向着光学系统42进行投影。光学系统42将从显示器41投影的图像向着挡风玻璃104反射。被光学系统42所反射的图像由挡风玻璃104而向着驾驶员D投影。
接着，参照图3说明本实施方式所涉及的车辆用显示装置1的动作。本处理与车辆100的启动(例如点火开关ON)一同进行，并与车辆100的停止(例如点火开关OFF)一同终止，但是并不限定于此。另外，图示的各步骤并不限于图示的顺序。
首先，在步骤S1中，视点位置检测部12从驾驶员图像20检测驾驶员D的眼点EP(x，y，z)。视点位置检测部12将检测出的驾驶员D的眼点EP(x，y，z)向控制部13输出。
接着，在步骤S2中，白线位置检测部11从前方图像21检测白线23L，23R的多个点位置L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)。白线位置检测部11例如在前方图像21中确定白线23L，23R，并将各白线23L，23R上的多个点抽样作为点位置L0～L5，R0～R5。白线位置检测部11求出从车辆100到各点位置L0～L5，R0～R5的距离，并检测各点位置L0～L5，R0～R5的三维坐标。白线位置检测部11将检测出的点位置L0(x，y，z)～L5(x，y，z)、R0(x，y，z)～R5(x，y，z)向控制部13输出。
接着，在步骤S3中，控制部13从导航装置5获取路径引导信息。在该路径引导信息中至少包含交叉路口F的左右转弯信息、到交叉路口F的中心C为止的距离信息。
接着，在步骤S4中，控制部13从白线23L，23R的多个点位置L0(x，y，z)～Ln(x，y，z)、R0(x，y，z)～RN(x，y，z)来生成白线23L，23R的插值表达式43L，43R。
接着，在步骤S5中，控制部13从路径引导信息和白线23L，23R的插值表达式43L，43R来求得基点BPL，BPR。
接着，在步骤S6中，控制部13从白线23L，23R的插值表达式43L，43R和基点BPL，BPR来生成道路形状模型45。控制部13利用基点BP和比基点BP更趋向车辆100侧的各插值表达式43L，43R上所设定的多个顶点VL1(x，y，z)～VL6(x，y，z)，VR1(x，y，z)～VL6(x，y，z)来定义有限元模型45a。控制部13将多个有限元模型45a在一对插值表达式43L，43R之间排列以生成道路形状模型45。此外，插值表达式43L，43R是曲线的情况下，若增加顶点VL，VR的数目，则会变得更接近曲线。
接着，在步骤S7中，控制部13对道路形状模型45贴合基于路径引导信息的纹理。控制部13将原显示图像25与道路形状模型45贴合以进行纹理映射。
接着，在步骤S8中，控制部13进行被纹理映射了的道路形状模型45的透视投影变换。如图13所示，控制部13使从驾驶员D的眼点EP观察道路形状模型45时的图像成为显示图像25a。
在步骤S9中，控制部13对向挡风玻璃104投影的显示图像25a的歪斜进行校正，并通过图像投影部14而与实际场景重叠地显示。
如上，本实施方式所涉及的车辆用显示装置1基于向车辆前方延伸的一对白线23L，23R和到交叉路口F为止的距离G来决定基点BP，并以基点BP为基准来生成道路形状模型45，并对已将原显示图像25进行纹理映射过的道路形状模型45进行透视投影变换从而生成显示图像25a。由此，例如如图14所示，即使在车辆前方的道路存在向下倾斜，显示图像25a所指示的方向也能够与实际场景中的交叉路口F的右转弯方向或左转弯方向一致，从而能够减少驾驶员D对应该转弯的道路的误认。另外，车辆用显示装置1从前方图像21获取夹着向车辆前方延伸的车道22的一对白线23L，23R的点位置L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)。由此，能够容易识别车辆前方的道路形状。另外，车辆用显示装置1在多个点位置L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)沿着各白线23L，23R连续的方向上生成插值表达式43L，43R。由此，即使在例如白线23L，23R中断的交叉路口F，也能够容易地决定基点BP。另外，因为车辆用显示装置1基于到车辆前方的交叉路口F为止的距离信息，而在任意一个插值表达式43上决定基点BP，因此能够与交叉路口F一致地高精度决定成为道路形状模型45的基准的基点BP。另外，车辆用显示装置1生成多个有限元模型45a在一对插值表达式43L，43R之间被排列的道路形状模型45，该有限元模型45a由基点和多个被设定的顶点VL1(x，y，z)～VLn(x，y，z)，VR1(x，y，z)～VRn(x，y，z)来定义。由此，不需要在每个重叠显示的信息都生成新的三维模型，且能够实现重叠制图处理的共通化。其结果，能够降低开发成本，从而能够实现装置的低成本化。另外，车辆用显示装置1将原显示图像25与道路形状模型45贴合并进行纹理映射，并将从驾驶员D的眼点EP观察道路形状模型45时的图像作为显示图像25a进行显示。由此，仅将重叠显示的信息与道路形状模型45贴合即可，因此例如显示图像25a的变更变得容易。
另外，本实施方式所涉及的车辆用显示装置1，在到目的地为止的引导路径中，基于交叉路口F处的车辆100的左右转弯信息以及到交叉路口F为止的距离信息，而在车辆100的右侧的插值表达式43R或左侧的插值表达式43L的任意一个处决定基点BP。由此，即使在车辆前方的道路上存在起伏，也能够与实际场景一致地高精度生成道路形状模型45。
另外，本实施方式所涉及的车辆用显示装置1在车辆100左转弯的情况下，基于到交叉路口F的中心C为止的距离G，而在车辆100的左侧的插值表达式43L上决定基点BPL，在右转弯的情况下，基于到交叉路口F为止的距离，而在车辆100的右侧的插值表达式43R上决定基点BPR，其中，该到交叉路口F为止的距离由到交叉路口F的中心C为止的距离G与从交叉路口F向右转弯方向延伸的车道44的宽度W相加得到。由此，即使从交叉路口F向右转弯方向延伸的车道是双向通行，也能够与实际场景一致地高精度生成道路形状模型45。
此外，虽然在上述实施方式中，车辆100的交通环境是以左侧通行为前提，但是并不限于此。在右侧通行时，在车辆100右转弯的情况下，控制部13基于到交叉路口F的中心C为止的距离G，而在车辆100的右侧的插值表达式43R上决定基点BPR。另一方面，在车辆100左转弯的情况下，控制部13基于到交叉路口F为止的距离，而在车辆100的左侧的插值表达式43L上决定基点BPL，其中，该到交叉路口F为止的距离由到交叉路口F的中心C为止的距离G与从交叉路口F向左转弯方向延伸的车道44的宽度W相加得到。通过像这样的结构，从而即使车辆100的交通环境是右侧通行，也能够得到与上述车辆用显示装置1同样的效果。
另外，虽然在上述实施方式中，对道路形状模型45，将具有引导图形26的原显示图像25作为纹理进行贴合，但是并不限于此，例如，也可以是具有图15所示的制动距离27的原显示图像25。制动距离27是车辆100为了停下所必要的距离，用在水平方向延伸的棒状的图形来表示。该情况下，根据车辆100的行驶速度来决定基点BP的位置，并生成道路形状模型45，从而即使车辆前方的道路存在起伏，也能够高精度地显示制动距离27。
另外，虽然在上述实施方式中，将到车辆前方的标志为止的距离信息说明为从车辆100的前方前端到交叉路口F的中心C为止的距离G，但是并不限于此，只要是无误差地获得到标志为止的距离的值即可。例如，也可以是从车辆前方摄像机3到标志为止的距离。
另外，虽然在上述实施方式中，车辆前方摄像机3是所谓立体摄像机的复眼式摄像机，但是并不限于此，也可以是单眼摄像机。即，只要能够检测白线23L,23R的多个点位置L0(x，y，z)～Ln(x，y，z)，R0(x，y，z)～Rn(x，y，z)，也可以是单眼摄像机。
另外，虽然在上述实施方式中，控制部13将显示图像25a通过图像显示部14而与实际场景重叠地显示，但是优选为设置于与车道22上的道路标识(未图示)不重合的位置。
另外，虽然在上述实施方式中，白线位置检测部11从前方图像21检测向车辆前方延伸的白线23，但是并不限于此，也可以是黄线(黄色线)，也可以是白线和黄线的组合。白线和黄线可以是实线，也可以是虚线，还可以是它们的组合。
另外，虽然在上述实施方式中，驾驶员摄像机2和车辆前方摄像机3分别通过有线形式与装置主体4连接，但是也可以通过无线形式连接。由此，不再需要布线作业。
另外，虽然在上述实施方式中，控制部13从导航装置5获取原显示图像25，但是并不限于此。例如，也可以构成为控制部13通过无线通信从外部获取路径引导信息。
另外，虽然在上述实施方式中，控制部13进行白线检测从而生成道路形状模型45，但是并不限于此。也可以使控制部13例如从导航装置5获取道路形状数据，并基于该道路形状数据和到交叉路口F为止的距离信息来生成道路形状模型45。该情况下，例如通过倾斜仪来获取车辆100的倾斜角度，在透视投影变换时基于倾斜角度来调整眼点EP的视线角度，从而能够实现。

Claims (1)

1.一种车辆用显示装置，其向车辆的驾驶员的前方投影显示图像，并将所述显示图像与所述车辆前方的实际场景重叠地显示，所述车辆用显示装置的特征在于，包括：
视点位置检测单元，其检测所述驾驶员的视点位置；
三维坐标获取单元，其从拍摄所述车辆前方的实际场景而得到的前方图像来获取夹着向所述车辆前方延伸的车道的一对着色线的多个三维坐标；
假想线生成单元，其在多个所述三维坐标沿着各所述着色线连续的方向上分别生成假想线；
基点决定单元，其基于到所述车辆前方的标志为止的距离信息，而在任意一个所述假想线上决定基点；
三维模型生成单元，其生成将多个有限元模型在一对所述假想线之间排列的三维模型，所述有限元模型由所述基点和在比所述基点更趋向所述车辆侧的各所述假想线上设定的多个顶点来定义；以及
显示控制单元，其将成为所述显示图像的来源的原显示图像贴附在所述三维模型并进行纹理映射，并将从所述驾驶员的视点位置观察所述三维模型时的图像作为所述显示图像来进行显示，
所述标志为交叉路口，
所述基点决定单元在到目的地为止的引导路径中，基于所述交叉路口处的车辆的左右转弯信息以及到所述交叉路口为止的距离信息，而在所述车辆的右侧的所述假想线或左侧的所述假想线的任意一个处决定基点，
车辆的交通环境是以左侧通行为前提，
在所述车辆左转弯的情况下，所述基点决定单元基于到所述交叉路口的中心为止的距离，而在所述车辆的左侧的所述假想线上决定所述基点，
在所述车辆右转弯的情况下，所述基点决定单元基于到所述交叉路口为止的距离，而在所述车辆的右侧的所述假想线上决定所述基点，该到所述交叉路口为止的距离由到所述交叉路口的中心为止的距离与从所述交叉路口向右转弯方向延伸的车道的宽度相加得到，或者
车辆的交通环境是以右侧通行为前提，
在所述车辆右转弯的情况下，所述基点决定单元基于到所述交叉路口的中心为止的距离，而在所述车辆的右侧的所述假想线上决定所述基点，
在所述车辆左转弯的情况下，所述基点决定单元基于到所述交叉路口为止的距离，而在所述车辆的左侧的所述假想线上决定所述基点，该到所述交叉路口为止的距离由到所述交叉路口的中心为止的距离与从所述交叉路口向左转弯方向延伸的车道的宽度相加得到。
CN201811323094.0A 2017-11-10 2018-11-08 车辆用显示装置 Active CN109927552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-216975 2017-11-10
JP2017216975A JP6626069B2 (ja) 2017-11-10 2017-11-10 車両用表示装置

Publications (2)

Publication Number Publication Date
CN109927552A CN109927552A (zh) 2019-06-25
CN109927552B true CN109927552B (zh) 2022-02-11

Family

ID=66335840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811323094.0A Active CN109927552B (zh) 2017-11-10 2018-11-08 车辆用显示装置

Country Status (4)

Country Link
US (1) US10870350B2 (zh)
JP (1) JP6626069B2 (zh)
CN (1) CN109927552B (zh)
DE (1) DE102018218955B4 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147066A1 (ja) * 2017-02-08 2018-08-16 株式会社デンソー 車両用表示制御装置
KR102673292B1 (ko) * 2018-10-11 2024-06-10 현대자동차주식회사 차량의 표시 제어 장치 및 방법
NL2023628B9 (nl) * 2019-08-09 2021-08-20 Wilhelmus Maria Van Bentum Johannes Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voer- of (lucht)vaartuig, autonoom rijdend voer- of (lucht)vaartuig voorzien van een dergelijk systeem.
US11350042B2 (en) * 2020-04-08 2022-05-31 Gopro, Inc. Field variable tone mapping for 360 content
US11562576B2 (en) * 2020-08-05 2023-01-24 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
DE102020130227A1 (de) 2020-11-16 2022-05-19 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem zur Anzeige eines Bildes in einem Innenraum eines Kraftfahrzeuges sowie hiermit ausgestattetes Kraftfahrzeug
CN113627273B (zh) * 2021-07-19 2023-05-26 成都圭目机器人有限公司 一种基于视觉的高速公路里程桩号定位方法
CN116777799A (zh) * 2022-03-11 2023-09-19 佛吉亚歌乐电子(厦门)有限公司 车辆导航图像合成系统、方法、装置及存储介质
TWI860138B (zh) * 2023-10-24 2024-10-21 亞東學校財團法人亞東科技大學 利用佩珀爾幻象基礎建構之互動體驗系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735253A (zh) * 2011-04-05 2012-10-17 现代自动车株式会社 用于在挡风玻璃上显示道路引导信息的装置和方法
CN106405835A (zh) * 2015-08-03 2017-02-15 丰田自动车株式会社 显示装置
CN106470877A (zh) * 2014-07-01 2017-03-01 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
JP2017128234A (ja) * 2016-01-20 2017-07-27 パナソニックＩｐマネジメント株式会社 表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07257228A (ja) * 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
JPH10274537A (ja) * 1997-03-31 1998-10-13 Toyota Motor Corp 車両用案内表示装置
JP4609695B2 (ja) * 2003-10-21 2011-01-12 日本精機株式会社 車両用表示装置
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
EP1798648B1 (en) * 2005-12-13 2017-03-15 Sumitomo Rubber Industries, Ltd. Method for pneumatic tire simulation
JP4819553B2 (ja) * 2006-04-04 2011-11-24 クラリオン株式会社 ナビゲーション装置
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP5327025B2 (ja) * 2009-12-03 2013-10-30 アイシン・エィ・ダブリュ株式会社 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP5502448B2 (ja) * 2009-12-17 2014-05-28 富士重工業株式会社 路面形状認識装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
DE102011006347B4 (de) * 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von grafischen Fahrhinweisen
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
WO2015118859A1 (ja) * 2014-02-05 2015-08-13 パナソニックＩｐマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
JP2016090344A (ja) 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735253A (zh) * 2011-04-05 2012-10-17 现代自动车株式会社 用于在挡风玻璃上显示道路引导信息的装置和方法
CN106470877A (zh) * 2014-07-01 2017-03-01 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
CN106405835A (zh) * 2015-08-03 2017-02-15 丰田自动车株式会社 显示装置
JP2017128234A (ja) * 2016-01-20 2017-07-27 パナソニックＩｐマネジメント株式会社 表示装置

Also Published As

Publication number Publication date
CN109927552A (zh) 2019-06-25
DE102018218955B4 (de) 2024-03-28
US20190143816A1 (en) 2019-05-16
US10870350B2 (en) 2020-12-22
JP6626069B2 (ja) 2019-12-25
JP2019086479A (ja) 2019-06-06
DE102018218955A1 (de) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109927552B (zh) 车辆用显示装置
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
KR101558353B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
CN110001400B (zh) 车辆用显示装置
US11525694B2 (en) Superimposed-image display device and computer program
US20120123613A1 (en) Driving support device, driving support method, and program
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
US20190080496A1 (en) Vehicle display device and display control method
JPWO2018066710A1 (ja) 走行支援装置及びコンピュータプログラム
WO2019097755A1 (ja) 表示装置及びコンピュータプログラム
JP6945933B2 (ja) 表示システム
KR20150054022A (ko) 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
JP7151073B2 (ja) 表示装置及びコンピュータプログラム
WO2021020145A1 (ja) 表示制御装置
WO2018173512A1 (ja) 車両用表示制御装置及び車両用表示ユニット
JP2008236711A (ja) 運転支援方法及び運転支援装置
CN109421535B (zh) 车辆用显示装置和显示控制方法
KR20150055183A (ko) 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
WO2025037146A1 (ja) 車両の車線逸脱警告方法および装置
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
WO2016088151A1 (ja) 車載用表示装置、車両及び表示方法
JP2025069500A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び車両用表示システム
JP7313896B2 (ja) 車両用表示装置
JP2017173536A (ja) 車両用表示装置
JP7383529B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant