CN105723431B - 驾驶辅助图像生成装置、显示装置、显示系统及生成方法 - Google Patents

驾驶辅助图像生成装置、显示装置、显示系统及生成方法 Download PDF

Info

Publication number
CN105723431B
CN105723431B CN201380080870.8A CN201380080870A CN105723431B CN 105723431 B CN105723431 B CN 105723431B CN 201380080870 A CN201380080870 A CN 201380080870A CN 105723431 B CN105723431 B CN 105723431B
Authority
CN
China
Prior art keywords
assistant images
driving assistant
reminders
driving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380080870.8A
Other languages
English (en)
Other versions
CN105723431A (zh
Inventor
对马尚之
村山修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN105723431A publication Critical patent/CN105723431A/zh
Application granted granted Critical
Publication of CN105723431B publication Critical patent/CN105723431B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的驾驶辅助图像生成装置具备：驾驶辅助图像存储部，其存储表示在道路上或道路周围提示的提示物的提示内容的多个驾驶辅助图像；以及图像生成部，其根据预先设定的优先顺序，从存储于驾驶辅助图像存储部的驾驶辅助图像中选择1个或多个驾驶辅助图像，使用所选择的驾驶辅助图像生成在车辆内的显示部上显示的图像。

Description

驾驶辅助图像生成装置、显示装置、显示系统及生成方法
技术领域
本发明涉及通过在车内的显示部显示道路上或道路周围的提示物来辅助驾驶的驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生成程序。
背景技术
在道路上提示了表示限制速度或禁止停车等信息的交通标识。虽然车辆的搭乘者会通过目视来识别该交通标识，但需要将视线移至交通标识，搭乘者经常看漏交通标识。已提出下述这样的技术：利用设置于车辆中的照相机取得道路的前方风景的图像，从所取得的图像中识别交通标识，显示在显示部上，以便搭乘者在这样的看漏交通标识的情况下能够确认看漏的交通标识(例如，专利文献1)。
在先技术文献
专利文献
专利文献1：日本特公平4-5239号公报
发明内容
发明要解决的课题
但是，专利文献1所述的技术只是将利用照相机拍摄的最近的交通标识的图像显示在显示部上。因此，在专利文献1所述的技术中，无法追溯到过去确认多个交通标识的图像，从而变得不方便。特别是，在车辆的行进中连续地提示多个标识的情况下，由于连续地显示交通标识，因此，在确认被显示的交通标识之前下一个交通标识会被显示，需要再次进行确认。
本发明为了解决上述那样的课题，目的在于提供能够追溯到过去确认交通标识等提示物的驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生成程序。
用于解决问题的手段
本发明的驾驶辅助图像生成装置的特征在于具备：驾驶辅助图像存储部，其存储表示在道路上或道路周围提示的提示物的提示内容的多个驾驶辅助图像；以及图像生成部，其根据预先设定的优先顺序，从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，使用所选择的所述驾驶辅助图像来生成显示在所述车辆内的显示部上的图像。
本发明的驾驶辅助图像显示装置具备显示部，所述显示部显示表示在道路上或道路周围提示的提示物的提示内容的驾驶辅助图像，其特征在于，所述显示部显示包含如下驾驶辅助图像的图像，该驾驶辅助图像表示在车辆通过的道路上或道路周围提示的多个提示物中的、在车辆朝目的地行进时通过的道路上或道路周围提示、且根据预先设定的优先顺序选择的1个或多个提示物的内容。
本发明的驾驶辅助图像显示系统的特征在于，具备：摄像装置，其拍摄在道路上或道路周围提示的提示物；和驾驶辅助图像显示装置，其具备驾驶辅助图像存储部、图像生成部以及车辆内的显示部，该驾驶辅助图像存储部存储表示由所述摄像装置拍摄的提示物的提示内容的多个驾驶辅助图像，该图像生成部根据预先设定的优先顺序从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在所述车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，根据所选择的所述驾驶辅助图像来生成待显示的图像，该显示部显示由所述图像生成部生成的图像。
本发明的驾驶辅助图像生成方法的特征在于，使计算机执行以下处理：使存储表示在道路上或道路周围提示的提示物的提示内容的多个驾驶辅助图像的驾驶辅助图像存储部存储所述驾驶辅助图像的处理；和图像生成处理，根据预先设定的优先顺序，从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，使用所选择的所述驾驶辅助图像来生成在所述车辆内的显示部上显示的图像。
发明的效果
本发明的驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生成程序能够显示多个表示提示物的内容的驾驶辅助图像，因此，搭乘者能够追溯到过去确认驾驶辅助图像。
附图说明
图1是实施方式1的驾驶辅助图像显示系统的结构图。
图2是实施方式1的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成部的结构的图。
图3是对实施方式1的提示物识别处理部的模式匹配进行说明的图。
图4是实施方式1的选择画面的示例。
图5是在实施方式1的选择画面上显示时刻的示例。
图6是实施方式1的驾驶辅助图像显示系统的动作流程图。
图7是实施方式1的摄像装置所拍摄的摄像图像的示例。
图8是实施方式1的提示物识别处理部提取的驾驶辅助图像的示例。
图9是实施方式3的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成部的结构的图。
图10是实施方式3的驾驶辅助图像显示系统的动作流程图。
图11是将实施方式3的提示物内容判定部44所具有的识别信息与提示物的内容对应起来的表的示例。
图12是实施方式3的选择画面的示例。
图13是实施方式3的图像生成部所生成的选择画面的示例，是强调选择显示的示例。
图14是实施方式3的图像生成部所生成的选择画面的示例，是优先显示违反法规的提示物的图。
图15是实施方式4的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成部的结构的图。
图16是实施方式4的驾驶辅助图像显示系统的动作流程图。
图17是实施方式5的驾驶辅助图像显示系统的动作流程图。
图18是实施方式6的图像生成部所生成的选择画面的示例。
图19是实施方式6的图像生成部所生成的选择画面的其它示例。
具体实施方式
实施方式1.
以下，使用图1对本发明的实施方式1的驾驶辅助图像显示系统的结构进行说明。
实施方式1的驾驶辅助图像显示系统具备摄像装置1、导航装置2、显示部3、驾驶辅助图像生成部4及操作输入部5。摄像装置1、导航装置2、显示部3、驾驶辅助图像生成部4及操作输入部5通过车载LAN6而以有线或无线的方式连接。并且，由显示部3和驾驶辅助图像生成部4构成驾驶辅助图像显示装置。
摄像装置1是安装于车辆的前方外部的照相机，拍摄并取得包含道路上或道路周围的提示物的风景图像作为图像。在此，提示物是指，设置于车辆行进的道路上或道路周围的交通标识、商店招牌、或道路上涂写的文字等显示信息的提示物。例如，提示物也可以是道路上提示的、对搭乘者显示交通拥堵或使用防滑链等信息的电光提示板。摄像装置1以预先确定的时间间隔来拍摄提示物，将与所拍摄的图像相关的信息输出至后述的驾驶辅助图像生成部4。摄像装置1不限于以预先确定的时间间隔来拍摄包含提示物的风景图像，也可以构成为在提示物出现在摄像装置1的摄像范围内的情况下进行拍摄。另外，摄像装置1的安装位置如图1那样是设定为车辆的前方外部，但只要是能够拍摄提示物的位置即可，也可以设置成从车辆内部拍摄车辆外部。在以下的说明中，将摄像装置1取得的包含提示物的风景图像作为摄像图像。
导航装置2具备：位置确定单元(未图示)，其用利用GPS(Global PositionSystem：全球定位系统)等来确定车辆的位置；和引导单元(未图示)，其将车辆引导至被设定的目的地或经过地，通过由搭乘者设定目的地和经过地而将车辆引导至目的地和经过地。后述的驾驶辅助图像生成部4能够从导航装置2取得与目的地、经过地、车辆位置相关的信息。
显示部3是配置有车辆的计速器、转速计、燃料计等显示车辆行进所需要的信息的测量仪表类的仪表板，从后述的驾驶辅助图像生成部4接收图像信息，显示对应的图像。关于仪表板，以往，机械式的仪表是主流，但是，近年，由于液晶显示装置等的低成本化、大画面化，正在从机械式显示器向非机械式显示器置换。由此，仪表板的显示的内容的自由度增加，能够显示后述的驾驶辅助图像和选择画面，特别是便利性得到提高。并且，显示部3不限于仪表板，只要是能够显示图像的部件即可。例如，显示部3也可以是显示导航装置2的引导显示的监视器、设置于车辆的挡风玻璃近前的平视显示器及智能手机等便携终端。
驾驶辅助图像生成部4从由摄像装置1取得的摄像图像中提取提示物，生成在显示部3上显示的提示物的图像(以下称作驾驶辅助图像)。并且，生成供搭乘者选择在显示部3上显示的驾驶辅助图像的画面(以下称作选择画面)。
操作输入部5是这样的输入部：搭乘者进行操作，以使显示部3显示由驾驶辅助图像生成部4生成的选择画面和驾驶辅助图像。操作输入部5例如可以是选择按钮、仪表板或导航装置2的显示器等的触摸面板，只要能够通过搭乘者的操作来指示选择画面和驾驶辅助图像的显示即可。
车载LAN6以有线或无线的方式连接摄像装置1、导航装置2、显示部3、驾驶辅助图像生成部4及操作输入部5。摄像装置1、导航装置2、显示部3、驾驶辅助图像生成部4及操作输入部5经由车载LAN6进行信息的交换。
在此，使用图2对驾驶辅助图像生成部4的结构进行详细说明。图2是实施方式 1的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成部的结构的图。
驾驶辅助图像生成部4具备提示物识别处理部41、驾驶辅助图像存储部42及图像生成部43。图2所示的提示物识别处理部41、图像生成部43可以由硬件构成，也可以通过使计算机执行规定程序来实现。
提示物识别处理部41从由摄像装置1取得的摄像图像中识别出提示物，提取识别为该提示物的区域。在提示物的识别中使用模式匹配等方法。具体而言，预先登记与提示物相关的信息，提示物识别处理部41通过对照从摄像装置1取得的摄像图像与所登记的提示物的形状以及颜色，来识别提示物。例如，在摄像装置1拍摄了图3 所示的包含蓝色且长方形的提示物的摄像图像的情况下，提示物识别处理部41从预先登记的提示物的图案中检索蓝色且长方形的图案。在检索的结果为提取出与蓝色且长方形对应的图案的情况下，提示物识别处理部41将摄像图像的蓝色且长方形的部分识别为提示物。在识别出提示物的情况下，提示物识别处理部41提取识别为提示物的区域。
驾驶辅助图像存储部42将由提示物识别处理部41提取的驾驶辅助图像的信息与识别信息对应起来存储于驾驶辅助图像存储部42。识别信息是识别所存储的驾驶辅助图像的信息，例如是从导航装置2获得的车辆的位置信息。另外，识别信息不限于车辆的位置信息，也可以是摄像时的时刻、所拍摄的提示物的内容、所拍摄的提示物的画质、搭乘者是否已识别出提示物的信息等。以后，在驾驶辅助图像显示系统的处理中，在进行驾驶辅助图像信息的交换的情况下，假设能够通过该识别信息识别驾驶辅助图像。在本实施方式中，将识别信息作为车辆位置信息。
图像生成部43根据预先设定的显示模式生成选择画面，显示在显示部3上。显示模式是指预先在图像生成部43编程的动作步骤，用于确定存储于驾驶辅助图像存储部42的多个驾驶辅助图像中的显示在选择画面上的图像的优先顺序。搭乘者通过操作操作输入部5，能够变更图像生成部43的显示模式。
例如，在由搭乘者选择了按照“拍摄提示物的位置接近当前所在地的顺序”进行显示的显示模式的情况下，图像生成部43生成用于按照拍摄提示物的位置接近当前所在地的顺序显示驾驶辅助图像的选择画面。在选择画面中，也可以显示驾驶辅助图像本身，也可以显示时刻等驾驶辅助图像的识别信息。在显示识别信息的情况下，搭乘者选择与期望显示的驾驶辅助图像对应的识别信息。
图4示出了根据显示模式在选择画面上显示驾驶辅助图像的示例。如果显示模式是“拍摄提示物的位置接近当前所在地的顺序”，则最初被显示的图像是拍摄提示物的位置最接近当前所在地的驾驶辅助图像A。搭乘者通过操作选择按钮31a、31b，能够更换要显示的驾驶辅助图像。例如，通过操作选择按钮31b，能够显示第二接近当前所在地的驾驶辅助图像B。接着，通过对选择按钮31b的操作，能够依次显示驾驶辅助图像C、D。如果操作选择按钮31a，则返回前面的驾驶辅助图像。并且，在操作输入部5是设置于车辆的方向盘等上的机械式按钮的情况下，利用操作输入部5 操作显示在显示部3的选择画面上的光标等来操作选择按钮31。另一方面，在操作输入部5是设置于显示部3的触摸面板的情况下，搭乘者通过直接用手指按下显示部 3的选择按钮31，能够更换驾驶辅助图像。
图5示出根据显示模式而将作为与驾驶辅助图像对应的识别信息的时刻显示在选择画面上的示例。如果显示模式是“拍摄提示物的位置接近当前所在地的顺序”，则最初被显示的图像是拍摄与当前所在地最接近的提示物的时刻。该情况下，搭乘者通过操作选择按钮31a、31b，也能够选择与期望显示的驾驶辅助图像对应的时刻。例如，在搭乘者期望显示30分钟之前通过的地点的驾驶辅助图像的情况下，通过选择距当前时刻30分钟之前的时刻，能够显示在30分钟之前拍摄的提示物的驾驶辅助图像。如图4的驾驶辅助图像、图5的时刻那样，将根据显示模式而显示的能够选择的显示称作选择显示。即，选择显示是用于供搭乘者选择在显示部3上显示的驾驶辅助图像的图标或图像，在选择画面上显示。通过由搭乘者对选择显示进行选择，驾驶辅助图像生成部4将对应的驾驶辅助图像显示在显示部3上。选择显示例如是驾驶辅助图像本身、识别信息本身以及与识别信息对应的文字等，只要搭乘者能够识别出期望的驾驶辅助图像即可。
作为选择显示，在与驾驶辅助图像对应的识别信息是车辆位置信息的情况下，例如也可以使用十字路口的名称等。该情况下，只要从导航装置2接收与十字路口的名称相关的信息作为车辆位置信息，作为识别信息对应地预先存储于驾驶辅助图像存储部42即可。如果将十字路口名作为选择显示，则在车辆将A站作为目的地行进而经过了A站的情况下，十字路口的名称等“A站前”等也会作为选择显示而被显示，因此，搭乘者能够容易地确认弄错的道路。
以下，使用图6至图8对实施方式1的驾驶辅助图像显示系统的动作(对于ST2 以后，是实施方式1的程序的处理步骤)进行说明。图6是实施方式1的驾驶辅助图像显示系统的动作流程图。图7是实施方式1的摄像装置所拍摄的摄像图像的示例。图8是实施方式1的提示物识别处理部提取的驾驶辅助图像的示例。在以下的说明中，假设由搭乘者设定在图像生成部43中的显示模式是拍摄提示物的位置接近当前所在地的顺序的模式。另外，对在选择画面上显示的选择显示为驾驶辅助图像本身的示例进行说明。
在图6的ST1中，摄像装置1拍摄道路或道路周围提示的提示物。在本实施方式的驾驶辅助图像显示系统的动作的说明中，假定摄像装置1拍摄提示物，获得了图 7中例示的摄像图像。图7的斜线部是提示物的区域以外的背景。另外，图7的虚线部内示出提示物。摄像装置1将拍摄的摄像图像的信息输出至驾驶辅助图像生成部4。
在ST2中，提示物识别处理部41从摄像装置1取得摄像图像的信息，通过模式匹配识别提示物。并且，提示物识别处理部41通过模式匹配提取识别为提示物的提示物区域(图7的虚线部内)，获得驾驶辅助图像(图8)。另外，提示物识别处理部 41取得摄像图像的信息，并且，从导航装置2接收与拍摄提示物时的车辆位置相关的信息(以下称作摄像时位置信息)。
在ST3中，提示物识别处理部41将通过提取而获得的驾驶辅助图像的信息与摄像时位置信息对应起来存储于驾驶辅助图像存储部42。
在ST4中，图像生成部43确认是否从操作输入部5出现选择画面的显示指示。在存在选择画面的显示指示的情况下，前进至ST5，开始生成选择画面。另外，在不存在显示指示的情况下，再次重复执行ST1至ST3。在之后的说明中，驾驶辅助图像生成部4多次重复ST1至ST3，在驾驶辅助图像存储部42中存储多个驾驶辅助图像。
在ST5中，图像生成部43从导航装置2取得生成选择画面时的车辆的位置信息 (以下，称作生成时位置信息)，开始生成选择画面。
另外，图像生成部43根据所设定的显示模式，依次读出驾驶辅助图像，生成选择画面。该示例的情况下，显示模式是“拍摄提示物的位置接近当前所在地的顺序”。因此，图像生成部43对生成时位置信息与表示摄像时位置信息的识别信息进行比较，读出最接近生成时位置信息的驾驶辅助图像，生成图4所示的选择显示，生成配置有该选择显示的选择画面。
在ST6中，图像生成部43将生成的选择画面显示在显示部3上。此时，搭乘者通过操作选择按钮31a、选择按钮31b，能够更换显示在选择画面上的驾驶辅助图像。例如，在搭乘者操作了1次图4所示的选择按钮31b的情况下，图像生成部43选择与生成时位置信息第二接近的识别信息所对应的驾驶辅助图像，再次生成选择画面。选择按钮31的操作是由操作输入部5进行的。每当搭乘者操作选择按钮31时，重复执行ST5、6。
在ST7中，在由搭乘者选择了选择画面的选择显示的情况下，图像生成部43接收驾驶辅助图像的显示指示，从驾驶辅助图像存储部42中选择并读出与选择显示对应的驾驶辅助图像，显示在显示部3上。
如上所述，实施方式1的驾驶辅助图像显示系统存储多个表示提示物的驾驶辅助图像，根据显示模式选择驾驶辅助图像，生成选择画面，因此，能够追溯到过去确认搭乘者看漏的提示物，并且，能够使搭乘者容易地检索所需的驾驶辅助图像。
实施方式2.
以下，使用图2、图6对实施方式2进行说明。实施方式2的驾驶辅助图像显示系统的特征在于，使用导航装置2中设定的目的地或经过地的位置信息作为车辆位置信息来生成选择画面。并且，实施方式2的驾驶辅助图像显示系统的结构与图1以及图2中示出的结构相同，省略其说明。
在图6的ST5中，图像生成部43取得导航装置2中设定的目的地或经过地的位置信息，代替生成时位置信息。
另外，图像生成部43从驾驶辅助图像存储部42优先取得驾驶辅助图像，生成选择画面，该驾驶辅助图像是将所取得的接近目的地或经过地的摄像时位置信息作为识别信息而对应起来的图像。
如上所述，在车辆经过了目的地的情况下，实施方式2的驾驶辅助图像显示系统能够使搭乘者容易地检索出表示本来应转弯的十字路口等的驾驶辅助图像。
实施方式3.
以下，使用图9至图14对本发明的实施方式3的驾驶辅助图像显示系统的结构进行说明。并且，在图9的说明中，对与实施方式1的驾驶辅助图像显示系统的结构相当的部分标记与图1以及图2相同的标号，省略其说明。
实施方式3的驾驶辅助图像显示系统的特征在于，根据提示物的内容生成选择画面。
以下，使用图9对实施方式3的驾驶辅助图像显示系统的结构进行说明。图9 是实施方式3的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成部的结构的图。
在本实施方式中，驾驶辅助图像生成部4具备提示物内容判定部44。并且，图9 所示的提示物内容判定部44可以由硬件构成，也可以通过使计算机执行规定程序来实现。
提示物内容判定部44对由提示物识别处理部41从摄像图像中提取的驾驶辅助图像的内容进行判定，将与所判定的提示物的内容对应的识别信息和驾驶辅助图像对应起来存储于驾驶辅助图像存储部42中。在本实施方式中，识别信息表示根据提示物的内容而预先确定的识别编号。例如，提示物的内容是交通标识、商店招牌等的分类。并且，提示物的内容也可以更详细地分类，例如也可以被分类成表示与安全相关的内容的交通标识、表示限速的交通标识、表示特定地域的路线的交通标识、表示拥堵信息的交通标识、表示使用防滑链的交通标识等。
在此，说明提示物内容判定部44判定提示物的内容的判定方法。提示物内容判定部44具有文字识别单元(未图示)，识别提示物的文字，对内容进行分类。在文字的识别中，例如使用如下这样的OCR(Optical character recognition)等技术：利用与预先存储的文字的模式的对照来确定文字。
虽然说明了提示物内容判定部44识别文字作为提示物的内容的判定方法的情况，但并不限定于此，只要使用能够判定提示物的内容的方法即可。例如，也可以使用下述这样的模式匹配：预先登记与提示物相关的信息，通过将驾驶辅助图像与所登记的提示物的形状以及颜色进行对照来确定提示物。
图像生成部43根据由提示物内容判定部44判定的提示物的内容生成选择画面。
接下来，使用图10至图14，对实施方式3的驾驶辅助图像显示系统的动作(对于ST2以后，是实施方式3的程序的处理步骤)进行说明。图10是实施方式3的驾驶辅助图像显示系统的动作流程图。图11是将实施方式3的提示物内容判定部44所具有的识别信息与提示物的内容对应起来的表的示例。图12是实施方式3的选择画面的示例。图13是实施方式3的图像生成部所生成的选择画面的示例，是强调选择显示的示例。图14是实施方式3的图像生成部所生成的选择画面的示例，是优先显示违反法规的提示物的图。以下，在图10的说明中，对于与实施方式1的驾驶辅助图像显示系统的动作相应的步骤，标记与图6相同的标号，省略其说明。另外，在图像生成部43中，作为显示模式，设定成“优先显示与安全相关的提示物”。
在ST31中，提示物内容判定部44从提示物识别处理部41取得在ST1、ST2中生成的驾驶辅助图像。并且，提示物内容判定部44使用文字识别或模式匹配等判定所取得的驾驶辅助图像的内容。
在ST32中，提示物内容判定部44使在ST31中识别出内容的驾驶辅助图像和与该驾驶辅助图像(提示物)的内容对应的识别信息对应起来存储于驾驶辅助图像存储部42。例如，提示物内容判定部44预先对提示物的内容进行分类，存储将相同种类的内容、即相同范畴的提示物与相同的识别信息对应起来的表，根据该表来确定识别信息。例如，在图11中，在识别信息“1”的行中，对应着与安全相关的提示物的内容。提示物内容判定部44判定驾驶辅助图像的内容，在判定为是表示“使用防滑链”的提示物的情况下，将驾驶辅助图像与识别信息“1”对应起来存储于驾驶辅助图像存储部 42。另外，在图11的识别信息“2”的行中，对应着与限制信息相关的提示物的内容。假设在ST31中提示物内容判定部44判定为驾驶辅助图像表示“禁止右转”的情况下，在ST32中，提示物识别处理部44将驾驶辅助图像与识别信息“2”对应起来存储于驾驶辅助图像存储部42。
在ST51中，在ST4中存在驾驶辅助图像的显示指示的情况下，图像生成部43 生成选择画面。在该示例中，由于显示模式是“优先显示与安全相关的提示物”，因此，图像生成部43从驾驶辅助图像存储部42中检索和表示与安全相关的提示物的识别信息“1”对应的驾驶辅助图像。图像生成部43使用通过检索获得的驾驶辅助图像来生成选择画面。
在ST6、7中，驾驶辅助图像显示系统显示选择画面，搭乘者在该选择画面上操作选择按钮31，由此，显示期望的驾驶辅助图像。例如，如图12A所示，选择画面能够优先显示与安全相关的驾驶辅助图像。图12A是表示容易打滑的情况的提示物的驾驶辅助图像。
并且，在存储于本实施方式的驾驶辅助图像存储部42的驾驶辅助图像中存在多个与安全相关的驾驶辅助图像的情况下，图像生成部43也可以构成为，从与安全相关的多个驾驶辅助图像中的最接近车辆的当前位置的驾驶辅助图像开始显示。即，可以与实施方式1的驾驶辅助图像显示系统组合来实施。
另外，本实施方式的驾驶辅助图像显示系统也可以构成为在选择画面上仅显示与安全相关的选择画面，不显示其它选择画面。
此外，在本实施方式的驾驶辅助图像显示系统中，虽然图像生成部43根据显示模式将优先显示的选择显示显示在选择画面上，但是，也可以构成为，除了改变顺序外，还生成根据设定的显示模式进行了驾驶辅助图像的强调显示后的选择画面。例如，如图13所示，也可以合成强调选择画面中的与安全相关的驾驶辅助图像的框。并且，强调显示不限于加上框，只要是驾驶辅助图像的闪烁、对比度的变更、放大、添上“危险”等文字等、能够强调驾驶辅助图像即可。
另外，在本实施方式的驾驶辅助图像显示系统中，在选择了使与法规相关的驾驶辅助图像优先的显示模式的情况下，图像生成部43也可以从转速计等车载设备(未图示)取得与本车的速度等相关的信息，对违反限速的信息优先显示。例如，假设本车在提示了表示限制速度为50km的提示物的道路上以80km行驶。该情况下，提示物内容判定部44对提示物的内容与来自转速计等车载设备的信息进行比较，在违反的情况下，将表示违反的识别信息与表示限制速度50km的驾驶辅助图像对应起来。图像生成部43根据识别信息检索被判断为违反的驾驶辅助图像，如图14所示，在选择画面的左上上方强调显示与表示限制速度50km的驾驶辅助图像对应的选择显示。
此外，在本实施方式的驾驶辅助图像显示系统中，提示物的内容也可以是画质。例如，提示物内容判定部44具备画质判定单元(未图示)，所述画质判定单元在驾驶辅助图像的画质为一定的阈值以下的情况下判定为画质差，在判定为画质差的情况下，将该驾驶辅助图像与表示是画质差的驾驶辅助图像的识别信息对应起来。图像生成部43能够优先显示画质好的驾驶辅助图像的选择显示。通过以这种方式来构成，能够优先显示画质好的驾驶辅助图像的选择显示，搭乘者自己无需判别画质。
另外，本实施方式的驾驶辅助图像显示系统虽然在选择画面上显示表示驾驶辅助图像的选择显示，但并不限定于此，也可以显示表示驾驶辅助图像的内容的选择显示。例如，也可以显示“引导标识”、“限制标识”等提示物的种类，也可以直接示出“注意落石”、“慢行”等提示物的内容。
如上所述，实施方式3的驾驶辅助图像显示系统由于根据提示物的内容来生成选择画面，因此，能够在追溯到过去确认提示物时向搭乘者优先显示所需的驾驶辅助图像显示，能够减轻搭乘者的检索负担。
实施方式4.
以下，使用图15、图16，对实施方式4的驾驶辅助图像显示系统进行说明。图 15是实施方式4的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成部的结构的图。图16是实施方式4的驾驶辅助图像显示系统的动作流程图。
实施方式4的驾驶辅助图像显示系统的特征在于，具备视线检测判定装置7，该视线检测判定装置7通过检测搭乘者的视线来判定是否已识别出提示物。
以下，使用图15对实施方式4的驾驶辅助图像显示系统的结构进行说明。在图 15的说明中，对与实施方式1至实施方式3的驾驶辅助图像显示系统的结构相应的部分，标记与图2、图9相同的标号，省略其说明。
视线检测判定装置7设置在车辆的内部，具备照相机，该照相机检测表示搭乘者的视线的方向的视线信息。并且，视线检测判定装置7始终监视视线信息，判定搭乘者是否已识别出提示物。视线检测判定装置7经由车载LAN6以有线或无线的方式与图1所示的摄像装置1、导航装置2、显示部3、驾驶辅助图像生成部4连接。
视线检测判定装置7中设定有预先确定的时间，在搭乘者的视线在该确定的时间内朝向提示物所处的方向的情况下，判定为搭乘者已识别出提示物。视线检测判定装置7在判定为搭乘者未识别出提示物的情况下，将表示搭乘者未识别出提示物的识别判定信息输出至提示物识别处理部41。
接下来，使用图16对驾驶辅助图像显示系统的动作(对于ST2以后，是实施方式4的程序的处理步骤)进行说明。在图16的说明中，对于与实施方式1至实施方式3的驾驶辅助图像显示系统的动作相应的步骤，标记与图6、图10相同的标号，并省略其说明。
在ST211中，视线检测判定装置7判定搭乘者是否已识别出ST1中拍摄的提示物。并且，在ST1和ST2中，假设视线检测判定部7已检测出搭乘者的视线信息。并且，视线检测判定装置7在判定为搭乘者未识别出由摄像装置1拍摄的提示物的情况下，将识别判定信息输出至提示物识别处理部41。
在ST311中，提示物识别处理部41在从视线检测判定装置7接收到识别判定信息的情况下，将表示搭乘者未识别出提示物的识别信息与驾驶辅助图像对应起来存储于驾驶辅助图像存储部42。
驾驶辅助图像生成部4在ST4中从操作输入部5接收到显示选择画面的操作的情况下，执行ST511的处理。
在ST511中，图像生成部43从驾驶辅助图像存储部42优先取得与表示搭乘者未识别出提示物的识别信息对应的驾驶辅助图像，生成选择画面。
在上述的说明中，虽然视线检测判定装置7在判定为搭乘者未识别出所拍摄的提示物的情况下，将识别判定信息输出至提示物识别处理部41，但是，也可以构成为，视线检测判定装置7将识别判定信息输出至图像生成部43，图像生成部43在接收到识别判定信息的情况下，生成选择画面。通过以这种方式来构成，在搭乘者看漏提示物的情况下，能够与搭乘者的操作无关地自动显示驾驶辅助图像。
如上所述，由于实施方式4的驾驶辅助图像显示系统将搭乘者未识别出的提示物优先显示在选择画面上，因此，在搭乘者追溯到过去确认提示物时，能够容易地确认看漏的提示物。
实施方式5.
实施方式5的驾驶辅助图像显示系统的特征在于，显示最优先的1个或多个驾驶辅助图像而无需生成选择画面。
以下，使用图17对实施方式5的驾驶辅助图像显示系统的动作(对于ST2以后，是实施方式5的程序的处理步骤)进行说明。图17是实施方式5的驾驶辅助图像显示系统的动作流程图。在图17的说明中，对于与实施方式1的驾驶辅助图像显示系统的动作相当的部分，标记与图6、图10以及图16相同的标号，省略其说明。另外，关于实施方式5的驾驶辅助图像的结构，设为与图1、图2、图9、图15相同的结构，省略其说明。
在ST4111中，图像生成部43确认是否从操作输入部5出现驾驶辅助图像的显示指示。在存在驾驶辅助图像的显示指示的情况下，前进至ST7，根据所设定的显示模式，读出驾驶辅助图像，显示在显示部3上。在显示驾驶辅助图像的动作中，图像生成部43也可以以基于显示模式的顺序按照每个显示指示来读出并显示驾驶辅助图像，也可以预先一并读出驾驶辅助图像，按每个显示指示依次显示。
另外，图像生成部43也可以构成为与ST4111的显示指示无关地自动显示驾驶辅助图像。例如，在违反了限制信息的情况下，将与该限制信息相关的提示物的图像作为驾驶辅助图像进行显示。
如上所述，实施方式5的驾驶辅助图像显示系统根据显示模式显示最优先的驾驶辅助图像而不显示选择画面，因此，能够省去搭乘者操作选择画面的麻烦。
实施方式6.
在实施方式6中，使用图18、图19，对实施方式1至实施方式5的驾驶辅助图像显示系统的显示方式进行说明。图18是实施方式6的图像生成部所生成的选择画面的示例。图19是实施方式6的图像生成部所生成的选择画面的其它示例。
在实施方式1至实施方式5的驾驶辅助图像显示系统的说明中，虽然在显示部3 上显示1个选择显示或驾驶辅助图像，但也可以构成为同时显示多个选择显示或驾驶辅助图像。
例如，如图18所示，图像生成部43也可以生成同时显示多个选择显示的选择画面。在该情况下，图像生成部43以基于显示模式的顺序来生成选择显示。例如，在显示模式是拍摄提示物的顺序的情况下，以图18的左上、右上、右中央、左中央、左下、右下的顺序进行显示。并且，顺序不限于此，也可以按照右上、左上、右中央、左中央、右下、左下的顺序进行显示等，适当地进行变更。
另外，在图18的说明中，图像生成部43虽然显示1个范畴的提示物，但也可以同时显示多个范畴的提示物。例如，图像生成部43也可以显示“与十字路口相关的提示物”和“与安全以及限制相关的提示物”作为在显示部3上显示的范畴。具体而言，如图19所示，在选择画面的左半部分显示“与十字路口相关的提示物”，在选择画面的右半部分显示“与安全以及限制相关的提示物”。另外，也可以设置用于选择所显示的提示物的范畴的显示(例如“十字路口”、“安全和限制”)，仅将选择的范畴的提示物显示在显示部3上。例如，当期望确认搭乘者看漏的与安全以及限制相关的提示物时，通过选择“安全以及限制”，能够优先地仅显示与安全以及限制相关的提示物。
这样，在同时显示不同的范畴的提示物的情况下，也可以设置多个显示部3，按照不同的每个范畴的提示物同时显示选择画面。例如，图像生成部43也可以在一方的显示部3上显示“与十字路口相关的提示物”的驾驶辅助图像，在另一方的显示部3 上显示“与安全以及限制相关的提示物”。
另外，本实施方式的图像生成部43还能够应用于不显示选择画面而显示最优先的驾驶辅助图像的实施方式5的驾驶辅助图像显示系统。
在实施方式1至实施方式6的驾驶辅助图像显示系统中，虽然搭乘者使用操作输入部5来选择决定待显示的驾驶辅助图像的优先顺序的显示模式，但也可以通过搭乘者的声音进行选择。另外，也可以周期性地自动切换显示。
并且，在实施方式1至实施方式6的驾驶辅助图像显示系统中，由摄像装置1 在每次摄像时将驾驶辅助图像存储于驾驶辅助图像存储部42，但不一定需要在每次摄像时将驾驶辅助图像存储于驾驶辅助图像存储部42。例如，还可考虑以前通过了一次的地点处的驾驶辅助图像已经被存储于驾驶辅助图像存储部42的情况。该情况下，在车辆再次通过相同地点的情况下，驾驶辅助图像生成系统也可以构成为，根据从导航装置2接收的车辆的位置信息读出驾驶辅助图像，显示选择画面或驾驶辅助图像。通过以这种方式来构成，能够省略通过摄像装置1拍摄提示物的动作，能够减轻装置的负担。
另外，实施方式1至实施方式6的驾驶辅助图像显示系统也可以接收其它车辆拍摄的驾驶辅助图像的信息，来代替读出本车辆的驾驶辅助图像。例如，通过将具备实施方式1至实施方式6的驾驶辅助图像显示系统的其它车辆以前拍摄并提取的驾驶辅助图像的信息发送至外部服务器进行存储，驾驶辅助图像生成部4能够经由道路上设置的路边设备等来访问服务器，取得驾驶辅助图像的信息。
此外，在实施方式1至实施方式6的驾驶辅助图像生成部4的说明中，提示物识别处理部41虽然获得了直接提取摄像图像而得到的驾驶辅助图像，但并不限于此，也可以利用与所拍摄的提示物对应的CG(Computer Graphics)从最初开始生成驾驶辅助图像。在利用CG生成驾驶辅助图像的情况下，驾驶辅助图像生成部4具备存储部(未图示)，并生成与由摄像装置1拍摄的提示物对应的提示物的CG图像，所述存储部预先存储与提示物对应的CG图像或与提示物的一部分对应的CG图像的部分 (parts)。在利用CG生成驾驶辅助图像的情况下，提示物识别处理部41只要从由摄像装置1拍摄的摄像图像中识别提示物，将与识别出的提示物对应的CG图像预先存储于驾驶辅助图像存储部42即可。
另外，实施方式1至实施方式6的驾驶辅助图像显示系统也可以不是根据摄像图像生成驾驶辅助图像，而是使用表示预先与地图数据一起存储的提示物的内容的图像信息。
并且，如果使用摄像图像，则在实际的提示物的内容被变更的情况下、或者新的提示物被提示的情况下，也能够显示最新的正确信息作为驾驶辅助图像。例如，虽然在道路上或道路周围提示的提示物与道路的新设对应地被新提示出来，但只要使用拍摄新提示的提示物的图像，则在不存在表示预先与地图数据一起存储的提示物的内容的图像信息的情况下，也能够获得最新的驾驶辅助图像。
并且，实施方式1至实施方式6的驾驶辅助图像生成部4虽然被设置于车辆中，但并不限于此，也可以设于在车辆外的特定场所设置的服务器等中。例如，车辆所具备的显示部3也可以利用无线通信接收由设置于服务器侧的驾驶辅助图像生成部4 生成的驾驶辅助图像。另外，显示部3也可以构成为，与智能手机等的通信单元以有线或无线的方式连接，经由该智能手机与服务器进行通信。
另外，实施方式1至实施方式6的驾驶辅助图像显示系统的特征的结构可以搭载于1个同一驾驶辅助图像显示系统中。
标号说明
1：摄像装置；2：导航装置；3：显示部；4：驾驶辅助图像生成部；5：操作输入部；6：车载LAN；7：视线检测判定装置；41：提示物识别处理部；42：驾驶辅助图像存储部；43：图像生成部；44：提示物内容判定部。

Claims (15)

1.一种驾驶辅助图像生成装置，该驾驶辅助图像生成装置具备：
驾驶辅助图像存储部，其存储表示在道路上或道路周围提示的提示物的提示内容的多个驾驶辅助图像；
图像生成部，其根据预先设定的优先顺序，从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，使用所选择的所述驾驶辅助图像来生成显示在所述车辆内的显示部上的图像；以及
视线检测判定装置，其判定车辆的搭乘者是否已识别出所述提示物，
所述驾驶辅助图像存储部将所述驾驶辅助图像与表示所述视线检测判定装置判定为所述车辆的搭乘者未识别出提示物的信息对应起来进行存储，
所述图像生成部优先选择存储于所述驾驶辅助图像存储部的驾驶辅助图像中的与表示所述提示物未被识别出的信息对应的所述驾驶辅助图像。
2.根据权利要求1所述的驾驶辅助图像生成装置，其特征在于，
所述驾驶辅助图像存储部将所述驾驶辅助图像和与车辆位置相关的信息对应起来进行存储，
所述图像生成部根据所述与车辆位置相关的信息，选择存储于所述驾驶辅助图像存储部的所述多个驾驶辅助图像中的用于生成所述图像的驾驶辅助图像。
3.根据权利要求1所述的驾驶辅助图像生成装置，其特征在于，
所述驾驶辅助图像生成装置具备提示物内容判定部，所述提示物内容判定部判定所述提示物的内容，
所述驾驶辅助图像存储部将所述驾驶辅助图像与表示由所述提示物内容判定部判定的提示物的内容的信息对应起来进行存储，
所述图像生成部根据所述提示物的内容，选择存储于所述驾驶辅助图像存储部的所述多个驾驶辅助图像中的用于生成所述图像的驾驶辅助图像。
4.根据权利要求3所述的驾驶辅助图像生成装置，其特征在于，
所述图像生成部选择存储于所述驾驶辅助图像存储部的所述多个驾驶辅助图像中的具有不同种类的内容的提示物的多个驾驶辅助图像，根据所选择的多个驾驶辅助图像，按照每个所述种类生成所述图像。
5.根据权利要求1所述的驾驶辅助图像生成装置，其特征在于，
所述图像生成部使用所选择的所述驾驶辅助图像或与所述驾驶辅助图像对应的识别信息，生成用于供搭乘者选择待显示的驾驶辅助图像的选择显示。
6.根据权利要求1所述的驾驶辅助图像生成装置，其特征在于，
所述图像生成部选择存储于所述驾驶辅助图像存储部的多个驾驶辅助图像，生成同时显示所选择的多个驾驶辅助图像的图像。
7.一种驾驶辅助图像显示装置，其具备显示部、驾驶辅助图像存储部以及图像生成部，所述显示部显示表示在道路上或道路周围提示的提示物的提示内容的驾驶辅助图像，其特征在于，
所述显示部显示包含如下驾驶辅助图像的图像，该驾驶辅助图像表示在车辆通过的道路上或道路周围提示的多个提示物中的、在车辆朝目的地行进时通过的道路上或道路周围提示、且根据预先设定的优先顺序选择的1个或多个提示物的内容；
所述驾驶辅助图像存储部存储表示在道路上或道路周围提示的提示物的提示内容的多个驾驶辅助图像；
所述图像生成部根据预先设定的优先顺序，从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，使用所选择的所述驾驶辅助图像来生成显示在所述显示部上的图像；
所述驾驶辅助图像存储部将所述驾驶辅助图像与表示所述车辆的搭乘者未识别出提示物的信息对应起来进行存储，
所述图像生成部优先选择存储于所述驾驶辅助图像存储部的驾驶辅助图像中的与表示所述提示物未被识别出的信息对应的所述驾驶辅助图像。
8.根据权利要求7所述的驾驶辅助图像显示装置，其特征在于，
所述显示部基于根据车辆的位置而设定的优先顺序来显示图像。
9.根据权利要求7所述的驾驶辅助图像显示装置，其特征在于，
所述显示部基于根据所述提示物的内容而设定的优先顺序来显示图像。
10.根据权利要求9所述的驾驶辅助图像显示装置，其特征在于，
所述显示部按每个种类显示具有不同的所述种类的内容的提示物的驾驶辅助图像作为所述图像。
11.根据权利要求7所述的驾驶辅助图像显示装置，其特征在于，
在车辆的搭乘者未识别出所述提示物的情况下，所述显示部显示包含如下驾驶辅助图像的图像，其中该驾驶辅助图像表示根据所述优先顺序选择的1个或多个提示物的内容。
12.根据权利要求7所述的驾驶辅助图像显示装置，其特征在于，
所述显示部显示用于供搭乘者选择待显示的驾驶辅助图像的选择画面。
13.根据权利要求7所述的驾驶辅助图像显示装置，其特征在于，
所述显示部同时显示多个驾驶辅助图像。
14.一种驾驶辅助图像显示系统，其特征在于，该驾驶辅助图像显示系统具备：
摄像装置，其拍摄在道路上或道路周围提示的提示物；
驾驶辅助图像显示装置，其具备驾驶辅助图像存储部、图像生成部以及车辆内的显示部，该驾驶辅助图像存储部存储表示由所述摄像装置拍摄的提示物的提示内容的多个驾驶辅助图像，该图像生成部根据预先设定的优先顺序从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在所述车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，根据所选择的所述驾驶辅助图像来生成待显示的图像，该显示部显示由所述图像生成部生成的图像；以及
视线检测判定装置，其判定车辆的搭乘者是否已识别出所述提示物，
所述驾驶辅助图像存储部将所述驾驶辅助图像与表示所述视线检测判定装置判定为所述车辆的搭乘者未识别出提示物的信息对应起来进行存储，
所述图像生成部优先选择存储于所述驾驶辅助图像存储部的驾驶辅助图像中的与表示所述提示物未被识别出的信息对应的所述驾驶辅助图像。
15.一种驾驶辅助图像生成方法，使计算机执行以下处理：
使存储表示在道路上或道路周围提示的提示物的提示内容的多个驾驶辅助图像的驾驶辅助图像存储部存储所述驾驶辅助图像的处理；
图像生成处理，根据预先设定的优先顺序，从存储于所述驾驶辅助图像存储部的驾驶辅助图像中选择表示在车辆朝目的地行进时通过的道路上或道路周围提示的提示物的提示内容的1个或多个驾驶辅助图像，使用所选择的所述驾驶辅助图像来生成在所述车辆内的显示部上显示的图像；以及
判定车辆的搭乘者是否已识别出所述提示物，
其中，使所述驾驶辅助图像存储部将所述驾驶辅助图像与表示判定为所述车辆的搭乘者未识别出提示物的信息对应起来进行存储，
在所述图像生成处理中，优先选择存储于所述驾驶辅助图像存储部的驾驶辅助图像中的与表示所述提示物未被识别出的信息对应的所述驾驶辅助图像。
CN201380080870.8A 2013-11-12 2013-11-12 驾驶辅助图像生成装置、显示装置、显示系统及生成方法 Expired - Fee Related CN105723431B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/006638 WO2015071924A1 (ja) 2013-11-12 2013-11-12 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム

Publications (2)

Publication Number Publication Date
CN105723431A CN105723431A (zh) 2016-06-29
CN105723431B true CN105723431B (zh) 2019-02-05

Family

ID=53056896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380080870.8A Expired - Fee Related CN105723431B (zh) 2013-11-12 2013-11-12 驾驶辅助图像生成装置、显示装置、显示系统及生成方法

Country Status (5)

Country Link
US (1) US10315516B2 (zh)
EP (1) EP3070698B1 (zh)
JP (1) JP6203281B2 (zh)
CN (1) CN105723431B (zh)
WO (1) WO2015071924A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503612A (ja) * 2016-12-22 2020-01-30 ニッサン ノース アメリカ，インク 自律走行車両サービスシステム
JP6950282B2 (ja) * 2017-05-26 2021-10-13 株式会社アイシン 周辺監視装置
US10094679B1 (en) * 2017-06-02 2018-10-09 International Business Machines Corporation Generating a navigation route referencing digital signage
CN107274701B (zh) * 2017-08-14 2020-06-30 绍兴市亚索新能源科技有限公司 一种用于汽车的山体坠物智能规避方法及其系统
JP2019104315A (ja) * 2017-12-11 2019-06-27 トヨタ紡織株式会社 乗物のモニター装置
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
JP7176398B2 (ja) 2018-12-21 2022-11-22 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
US11956316B2 (en) * 2019-10-03 2024-04-09 Sumitomo Electric Industries, Ltd. Vehicle-mounted apparatus, vehicle-mounted communication system, and communication management method
JP6976378B2 (ja) * 2020-05-12 2021-12-08 株式会社エイチアイ 情報処理方法、プログラム及び車載装置
CN112885087A (zh) * 2021-01-22 2021-06-01 北京嘀嘀无限科技发展有限公司 确定路况信息的方法、装置、设备和介质和程序产品
EP4364997A1 (en) * 2022-11-04 2024-05-08 FERRARI S.p.A. Content display device for road vehicle equipped with time measurement system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356078A (zh) * 2005-12-12 2009-01-28 松下电器产业株式会社 安全行驶辅助装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59127200A (ja) 1983-01-11 1984-07-21 株式会社デンソー 車載交通情報報知装置
US7489303B1 (en) * 2001-02-22 2009-02-10 Pryor Timothy R Reconfigurable instrument panels
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US20080147253A1 (en) * 1997-10-22 2008-06-19 Intelligent Technologies International, Inc. Vehicular Anticipatory Sensor System
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
EP2305106A1 (en) * 2002-02-19 2011-04-06 Volvo Technology Corporation Method for monitoring and managing driver attention loads
JP4070507B2 (ja) * 2002-05-17 2008-04-02 アルパイン株式会社 三次元地図表示方法およびナビゲーション装置
JP4093026B2 (ja) 2002-11-18 2008-05-28 日本電気株式会社 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
US20050146607A1 (en) * 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System
JP2007225282A (ja) * 2004-03-31 2007-09-06 Pioneer Electronic Corp 情報提示装置、情報提示プログラム及び情報提示方法等
KR100716977B1 (ko) * 2004-07-23 2007-05-10 삼성전자주식회사 디지털 영상 기기
DE102004042382B4 (de) 2004-09-02 2013-03-07 Robert Bosch Gmbh Verfahren und System zum Hinweis auf Verkehrszeichen
JP4539361B2 (ja) 2005-02-16 2010-09-08 アイシン精機株式会社 移動体通信装置
JP4639880B2 (ja) 2005-03-23 2011-02-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
JP4548607B2 (ja) * 2005-08-04 2010-09-22 アルパイン株式会社 標識提示装置及び標識提示方法
JP4836582B2 (ja) 2006-01-05 2011-12-14 株式会社日立製作所 車載装置
JP2007240198A (ja) * 2006-03-06 2007-09-20 Aisin Aw Co Ltd ナビゲーション装置
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
US20100023257A1 (en) * 2006-12-11 2010-01-28 Mitsubishi Electric Corporation Navigation apparatus
JP5053776B2 (ja) 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP4941234B2 (ja) * 2007-10-31 2012-05-30 株式会社エクォス・リサーチ 道路標識表示装置
JP2010055157A (ja) 2008-08-26 2010-03-11 Panasonic Corp 交差点状況認識システム
JP5361541B2 (ja) * 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
US9564049B2 (en) * 2012-08-24 2017-02-07 Traffic Emergency Displays, Inc. Electronic traffic alert system
US20140327772A1 (en) * 2013-05-03 2014-11-06 Magna Electrics Inc. Vehicle vision system with traffic sign comprehension
DE102013016244A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356078A (zh) * 2005-12-12 2009-01-28 松下电器产业株式会社 安全行驶辅助装置

Also Published As

Publication number Publication date
US10315516B2 (en) 2019-06-11
CN105723431A (zh) 2016-06-29
EP3070698A1 (en) 2016-09-21
JPWO2015071924A1 (ja) 2017-03-09
EP3070698A4 (en) 2017-07-26
WO2015071924A1 (ja) 2015-05-21
US20160272065A1 (en) 2016-09-22
EP3070698B1 (en) 2019-07-17
JP6203281B2 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
CN105723431B (zh) 驾驶辅助图像生成装置、显示装置、显示系统及生成方法
CN100587404C (zh) 导航设备与对车辆导航的方法
CN105723432B (zh) 驾驶辅助图像生成装置及方法、驾驶辅助图像显示装置及系统
JP4886044B2 (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラム、および記録媒体
US20170309257A1 (en) Display control device
CN106323309A (zh) 车辆驾驶辅助装置、车辆用显示装置以及车辆
JP6323074B2 (ja) 表示物情報表示装置
US9404765B2 (en) On-vehicle display apparatus
JP6603506B2 (ja) 駐車位置案内システム
JP2016095688A (ja) 車載用情報表示装置
JP5078677B2 (ja) ナビゲーションシステム
JP2012155516A (ja) 車両挙動記録システム
CN105575149A (zh) 一种路线指示装置及方法
JP2014163814A (ja) 走行案内システム、走行案内方法及びコンピュータプログラム
CN111521192A (zh) 定位方法、导航信息显示方法、定位系统及电子设备
JP2013036930A (ja) ナビゲーション装置およびこれを備えたナビゲーションシステム
JP2013174620A (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラム、および記録媒体
JP6435798B2 (ja) 車両情報案内システム、車両情報案内方法及びコンピュータプログラム
JP2014074627A (ja) 車両用ナビゲーションシステム
JP7172880B2 (ja) サーバ装置および画像提供方法
JP2014154125A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2013217808A (ja) 車載機器
JP2012216919A (ja) 移動体周辺撮像システム、移動体周辺撮像装置、移動体周辺撮像方法及びコンピュータプログラム
JP2011179920A (ja) 表示制御装置、表示制御方法、プログラム、および記録媒体
JP2014153867A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190205

Termination date: 20201112

CF01 Termination of patent right due to non-payment of annual fee