CN109791738A - 行驶辅助装置以及计算机程序 - Google Patents

行驶辅助装置以及计算机程序 Download PDF

Info

Publication number
CN109791738A
CN109791738A CN201780060967.0A CN201780060967A CN109791738A CN 109791738 A CN109791738 A CN 109791738A CN 201780060967 A CN201780060967 A CN 201780060967A CN 109791738 A CN109791738 A CN 109791738A
Authority
CN
China
Prior art keywords
mentioned
road
linking
visual confirmation
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780060967.0A
Other languages
English (en)
Other versions
CN109791738B (zh
Inventor
坂井孝光
神保希美
广田智明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN109791738A publication Critical patent/CN109791738A/zh
Application granted granted Critical
Publication of CN109791738B publication Critical patent/CN109791738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供一种能够进行针对连接道路的适当的行驶辅助的行驶辅助装置以及计算机程序。具体而言，构成为获取对车辆的周边环境进行拍摄的拍摄图像，并在三维表示地图的地图图像中获取从与拍摄图像的拍摄方向相同方向表示与拍摄图像的拍摄范围相同范围的地图图像亦即地图信息图像，并基于拍摄图像和地图信息图像，判定针对在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路的驾驶员的视觉确认性，并输出视觉确认性的判定结果。

Description

行驶辅助装置以及计算机程序
技术领域
本发明涉及进行车辆的行驶辅助的行驶辅助装置以及计算机程序。
背景技术
近年来，例如作为针对车辆的行驶辅助之一，判定处于移动体的周边的危险因素，并进行基于判定结果的传达、车辆控制等。所谓的危险因素是在移动体行驶时应注意的因素，特别是作为危险因素之一可举出在处于车辆的周围的分支点与车辆所行驶的道路连接的道路(以下，称为连接道路)。连接道路为有在该道路上移动的其它车辆、行人、自行车等在今后进入车辆所行驶的道路的可能性的道路。因此，驾驶员掌握连接道路的存在非常重要，以对那样的其它车辆、行人、自行车等的进入预先加以注意。
其中，对于尽管是连接道路但在周围没有障碍物而由驾驶员能够明确视觉确认的连接道路，即使未传达，驾驶员也能够清楚地掌握连接道路的存在，而实施以该连接道路为对象的辅助(例如传达、车辆控制等)的必然性很小。另一方面，对于由于周围的障碍物而驾驶员难以视觉确认的连接道路，优选作为辅助对象。因此，为了对驾驶员进行适当的行驶辅助，判定驾驶员对连接道路的视觉确认性很重要。因此，例如在日本特开2012－192878号公报中，公开了在车辆的行驶中使用设置于车辆的照相机、传感器以及通信设备实时检测处于周边的其它车辆等障碍物的位置、移动速度，在判定为车辆的死角区域包含连接道路，并且死角区域的危险度较高的情况下，进行用于避开位于连接道路的其它车辆的驾驶辅助。
专利文献1:日本特开2012－192878号公报(第8－11页)
然而，在上述专利文献1中，基于本车辆与其它车辆的位置关系俯瞰地判定死角区域，但由于未考虑驾驶员实际能够视觉确认的周边环境，所以存在被判定为死角区域的区域与实际的驾驶员的死角区域不同的情况。因此，存在实际上未包含于死角区域的连接道路也被判定为危险因素，而成为辅助对象的可能性。
发明内容
本发明是为了消除上述以往的问题点而完成的，目的在于提供一种通过判定驾驶员对连接道路的视觉确认性并且输出判定结果，而能够进行针对连接道路的适当的行驶辅助的行驶辅助装置以及计算机程序。
为了实现上述目的，本发明的行驶辅助装置具有：周边环境拍摄单元，获取拍摄图像，该拍摄图像由具备与驾驶员的视线开始点以及视线方向对应的光轴的拍摄装置对车辆的周边环境拍摄而成；连接道路确定单元，基于上述拍摄图像和车辆周边的地图信息，在上述拍摄图像中确定在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路所存在的位置；视觉确认性判定单元，基于上述拍摄图像中的上述连接道路的位置与处于车辆的周围的障碍物的位置的位置关系，来判定驾驶员对上述连接道路的视觉确认性；以及输出单元，输出上述视觉确认性判定单元的判定结果。
此外，所谓的“视觉确认性”既有仅单纯地表示驾驶员是否能够看见连接道路的情况，也有表示驾驶员观察连接道路的难易程度、或驾驶员掌握连接道路的状况的难易程度的情况。而且，上述“视觉确认性”除了是否能够看见连接道路的整体的判断指标以外，还使用是否能够看见连接道路的至少一部分、是否能够看见连接道路的特定的位置等的判断指标来确定。
另外，所谓的“输出判定结果”除了传达判定结果以外，也包含进行基于判定结果的车辆控制。
另外，本发明的计算机程序是进行车辆的行驶辅助的程序。具体而言，使以下部件发挥作用：周边环境拍摄单元，获取拍摄图像，该拍摄图像由具备与驾驶员的视线开始点以及视线方向对应的光轴的拍摄装置对车辆的周边环境拍摄而成；连接道路确定单元，基于上述拍摄图像和车辆周边的地图信息，在上述拍摄图像中确定在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路所存在的位置；视觉确认性判定单元，基于上述拍摄图像中的上述连接道路的位置与处于车辆的周围的障碍物的位置的位置关系，来判定驾驶员对上述连接道路的视觉确认性；以及输出单元，输出上述视觉确认性判定单元的判定结果。
根据具有上述结构的本发明的行驶辅助装置以及计算机程序，通过判定驾驶员对连接道路的视觉确认性并且输出判定结果，能够进行针对连接道路的适当的行驶辅助。例如，对于视觉确认性较低而可能成为危险因素的连接道路进行传达、车辆控制等行驶辅助，另一方面，对于不必要的传达、车辆控制，能够尽可能地限制。
附图说明
图1是表示本实施方式的导航装置的框图。
图2是本实施方式的行驶辅助处理程序的流程图。
图3是表示拍摄图像的拍摄范围的图。
图4是对拍摄图像和地图信息图像进行比较的图。
图5是表示对拍摄图像设定的判定区域的图。
图6是表示判定区域与障碍物的重叠比例的计算例的图。
图7是表示划分判定区域后的例子的图。
图8是表示划分判定区域后的例子的图。
图9是表示传达不可视道路的重叠图像的例子的图。
具体实施方式
以下，基于具体化为导航装置的一个实施方式并参照附图对本发明的行驶辅助装置进行详细说明。首先，使用图1对本实施方式的导航装置1的简要结构进行说明。图1是表示本实施方式的导航装置1的框图。
如图1所示，本实施方式的导航装置1具有：检测搭载有导航装置1的车辆的当前位置的当前位置检测部11；记录有各种数据的数据记录部12；基于所输入的信息来进行各种运算处理的导航ECU13；受理来自用户的操作的操作部14；对用户显示车辆周边的地图、对导航装置1设定的与引导路径相关的信息等的液晶显示器15；输出与路径引导相关的语音指导、针对危险因素的警告等的扬声器16；对作为存储介质的DVD进行读取的DVD驱动器17；以及在与探测中心、VICS(注册商标：Vehicle Information and Communication System：车辆信息和通信系统)中心等信息中心之间进行通信的通信模块18。另外，导航装置1经由CAN等车载网络，连接有HUD(平视显示器)19、车外照相机20。
以下，依次对导航装置1所具有的各构成要素进行说明。
当前位置检测部11由GPS21、车速传感器22、转向传感器23、陀螺仪传感器24等构成，能够检测当前的车辆的位置、方位、车辆的行驶速度、当前时刻等。在这里，特别是车速传感器22是用于检测车辆的移动距离、车速的传感器，根据车辆的驱动轮的旋转产生脉冲，并将脉冲信号输出至导航ECU13。而且，导航ECU13通过对所产生的脉冲进行计数来计算驱动轮的旋转速度、移动距离。此外，导航装置1无需具备全部的上述4种传感器，也可以为导航装置1仅具备它们中的1种或者多种传感器的结构。
另外，数据记录部12具备作为外部存储装置以及记录介质的硬盘(未图示)、以及用于读出记录于硬盘的地图信息DB31、拍摄图像DB32、规定的程序等并且向硬盘写入规定的数据的驱动器亦即记录头(未图示)。此外，作为数据记录部12，也可以代替硬盘具有存储卡、CD、DVD等光盘。另外，地图信息DB31、拍摄图像DB32也可以储存于外部的服务器，由导航装置1通过通信来获取。
在这里，地图信息DB31分别存储二维地图信息33和三维地图信息34。二维地图信息33是在一般的导航装置1中使用的地图信息，例如，包含与道路(路段)相关的路段数据、与节点相关的节点数据、与设施相关的设施数据、路径探索处理所使用的探索数据、用于显示地图的地图显示数据、与各交叉点相关的交叉点数据、用于检测地点的检索数据等。
另一方面，三维地图信息34是与三维地表示地图的地图图像相关的信息。特别是在本实施方式中，为与三维地表示道路的轮廓的地图图像相关的信息。此外，也可以为也表示道路的轮廓以外的信息的地图图像。例如，也可以为也三维表示设施形状、道路的区划线、道路标志、广告牌等的地图图像。
而且，导航装置1使用二维地图信息33进行液晶显示器15中的地图图像的显示、引导路径的探索等一般的功能。另外，如后述那样，使用三维地图信息34进行连接道路的视觉确认性的判定的处理。
另外，拍摄图像DB32是储存由车外照相机20拍摄到的拍摄图像35的存储单元。此外，由车外照相机20拍摄到的拍摄图像35被累积地储存于拍摄图像DB32，从旧的图像开始依次删除。
另一方面，导航ECU(电子控制单元)13是进行导航装置1的整体的控制的电子控制单元，具备作为运算装置以及控制装置的CPU41、以及在CPU41进行各种运算处理时作为工作存储器来使用并且存储探索出路径时的路径数据等的RAM42、除了控制用的程序以外还记录有后述的行驶辅助处理程序(参照图2)等的ROM43、存储从ROM43读出的程序的闪存44等内部存储装置。此外，导航ECU13具有作为处理算法的各种单元。例如，周边环境拍摄单元获取拍摄图像，该拍摄图像是由具备与驾驶员的视线开始点以及视线方向对应的光轴的车外照相机20拍摄车辆的周边环境所得的。连接道路确定单元基于拍摄图像和车辆周边的地图信息，在拍摄图像中确定在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路所存在的位置。视觉确认性判定单元基于拍摄图像中的连接道路的位置与处于车辆的周围的障碍物的位置的位置关系，来判定驾驶员对连接道路的视觉确认性。输出单元输出视觉确认性判定单元的判定结果。
操作部14在输入作为行驶开始地点的出发地以及作为行驶结束地点的目的地时等被操作，具有各种按键、按钮等多个操作开关(未图示)。而且，导航ECU13基于通过各开关按下等而输出的开关信号进行控制，以执行对应的各种动作。此外，操作部14也可以具有设置于液晶显示器15的前面的触摸面板。另外，也可以具有麦克风和声音识别装置。
另外，在液晶显示器15上，显示包含道路的地图图像、交通信息、操作引导、操作菜单、按键的引导、在导航装置1中设定的引导路径、沿着引导路径的引导信息、新闻、天气预报、时刻、邮件、电视节目等。此外，在本实施方式中，由于作为信息的显示单元具备HUD19，所以若是对于上述地图图像等的显示也由HUD19进行的结构，则也可以省略液晶显示器15。
另外，扬声器16基于来自导航ECU13的指示输出引导沿着引导路径的行驶的语音指导、交通信息的引导。另外，在本实施方式中，特别是也输出被判定为视觉确认性低于阈值的连接道路的传达。
另外，DVD驱动器17是能够读取记录于DVD、CD等记录介质的数据的驱动器。而且，基于读取到的数据进行音乐、影像的播放、地图信息DB31的更新等。此外，也可以代替DVD驱动器17设置用于读写存储卡的卡槽。
另外，通信模块18是用于接收从交通信息中心，例如，VICS中心、探测中心等发送出的交通信息的通信装置，例如移动电话机、DCM相当于通信模块。
另一方面，HUD19设置于车辆的仪表板内部，并在内部具有显示影像的影像显示面亦即液晶显示器、屏幕。而且，构成为将显示于液晶显示器、屏幕的影像经由HUD19所具备的凹面镜等，进一步反射至驾驶座位的前方的前窗使车辆的乘员视觉确认。此外，构成为在乘员通过反射前窗视觉确认液晶显示器、屏幕所显示的影像的情况下，乘员在前窗的前方的远方的位置将液晶显示器、屏幕所显示的影像视觉确认为虚像，而不是在前窗的位置。其结果，能够在前方环境的实景上重叠虚像来使乘员视觉确认。
此外，作为在液晶显示器、屏幕上显示的影像，有与车辆相关的信息、用于乘员的驾驶的辅助的各种信息。特别是在本实施方式中，显示用于向驾驶员提示判定为视觉确认性低于阈值的连接道路的信息。
另外，在本实施方式中，作为显示重叠于前方环境的实景的图像的单元使用HUD19，但也可以使用其它单元。例如，也可以使用对前窗显示影像的挡风玻璃显示(WSD)。例如，也可以将前窗作为屏幕从投影仪显示影像，也可以将前窗作为透射液晶显示器。通过WSD对前窗显示的图像与HUD19相同为重叠于前方环境的实景的图像。
另一方面，车外照相机20例如由使用CCD等固体拍摄元件的照相机构成，安装于车辆的后视镜的背侧、前保险杠等，并且将其光轴方向设置为比水平朝向下方规定角度。而且，车外照相机20对车辆的行进方向前方的周边环境进行拍摄。另外，导航ECU13通过如后述那样将拍摄到的拍摄图像与三维地图信息34的图像进行比较，进行处于车辆周边的连接道路的视觉确认性的判定。此外，车外照相机20也可以构成为配置于车辆的侧方、后方。另外，优选车外照相机20的设置位置调整为与驾驶员的眼睛的位置(视线开始点)大致相同，且光轴方向与通常时的驾驶员的视线方向大致相同。因此，由车外照相机20拍摄到的图像与驾驶员的视场一致，而能够更加适当地进行连接道路的视觉确认性的判定。
此外，在本实施方式中，特别是基于车外照相机20的拍摄图像与三维地图信息34，来判定存在于驾驶员的视场内并且在处于车辆的周围的分支点与车辆所行驶的道路连接的连接道路的视觉确认性。上述连接道路是在该道路上移动的其它车辆、行人、自行车等今后有进入车辆所行驶的道路的可能性的道路。因此，在如后述那样针对连接道路的驾驶员的视觉确认性较低(即，预测为驾驶员未掌握连接道路)的情况下，进行传达，以使驾驶员掌握连接道路的存在。
接着，基于图2对在具有上述结构的本实施方式的导航装置1中由CPU41执行的行驶辅助处理程序进行说明。图2是本实施方式的行驶辅助处理程序的流程图。在这里，行驶辅助处理程序是在车辆的ACC电源(accessory power supply)被开启后执行，并基于由车外照相机20拍摄到的拍摄图像和三维地图信息34判定驾驶员的连接道路的视觉确认性，并传达视觉确认性较低的连接道路的程序。另外，在以下的图2中用流程图表示的程序被存储于导航ECU13所具备的RAM42、ROM43等，并由CPU41执行。
首先，在行驶辅助处理程序中，在步骤(以下，简写为S)1中，CPU41基于当前位置检测部11的检测结果来获取车辆的当前位置以及方位。具体而言，使用二维地图信息33来获取表示车辆的当前位置的地图上的位置坐标。此外，在检测车辆的当前位置时，也进行使车辆的当前位置与二维地图信息33匹配的地图匹配处理。进一步，车辆的当前位置也可以使用高精度定位技术来确定。在这里，所谓的高精度定位技术是通过图像识别来检测从设置于车辆的照相机获取到的白线、路面喷图信息，进一步，通过将白线、路面喷图信息与预先存储的地图信息DB进行比较，能够检测行驶车道、高精度的车辆位置的技术。此外，对于高精度定位技术的详细内容，由于已经公知所以省略。此外，优选车辆的当前位置以及方位最终也在三维地图信息34的地图上确定。
接下来，在S2中，CPU41从拍摄图像DB32中获取最近由车外照相机20拍摄到的拍摄图像。此外，由车外照相机20拍摄到的拍摄图像是对应于驾驶员的视线开始点(视点)以及视线方向而对车辆的行进方向前方，即驾驶员视觉确认的前方环境(驾驶员的视场)拍摄的图像。
接着，在S3中，CPU41获取地图信息DB31中储存的三维地图信息34内，特别是在上述S1中确定出的车辆的当前位置周边(例如距离车辆的当前位置300m周围)的三维地图信息34。
之后，在S4中，CPU41获取在上述S2中获取到的拍摄图像的拍摄范围。在这里，如图3所示，拍摄图像35的拍摄范围能够使用进行拍摄的时刻的车外照相机20的焦点P的位置、光轴方向α、视角φ来确定。此外，视角φ是由车外照相机20预先决定的固定值。另一方面，焦点P的位置基于在上述S1中获取的车辆的当前位置和车辆上的车外照相机20的设置位置来决定。另外，光轴方向α基于在上述S1中获取的车辆的方位和车辆上的车外照相机20的设置方向来决定。
接下来，在S5中，CPU41使用在上述S3中获取的三维地图信息34，生成对与在上述S4中获取中拍摄图像的拍摄范围相同范围从与拍摄图像的拍摄方向相同方向三维地表示地图的俯瞰图像(以下，称为地图信息图像)。此外，地图信息图像本身是与拍摄图像相同的二维的图像。
在这里，图4是表示与拍摄图像51对应地生成的地图信息图像52的一个例子的图。如图4所示，地图信息图像52为描绘有表示拍摄图像51的拍摄范围(即驾驶员的视场内)所包含的道路的轮廓53的线的图像。而且，在地图信息图像52中也描绘在拍摄图像51中因其它车辆等障碍物而被隐藏的道路的轮廓。
接着，在S6中，CPU41通过对在上述S2中获取到的拍摄图像进行图像识别处理，检测位于车辆的周边的障碍物。作为图像识别处理，进行二值化处理、使用特征点、模板的模式匹配处理等，但对于那些图像识别处理由于已经公知所以省略详细说明。另外，在上述S3中，也分别获取“障碍物的种类”、“形状(检测的范围)”、“离本车辆的距离”、“位置坐标”。作为“障碍物的种类”，例如有车、行人、自行车等。“位置坐标”为在拍摄图像上设定有正交坐标系的拍摄图像上的位置坐标。另外，作为障碍物的检测方法，除了从车外照相机20的拍摄图像中检测以外，也可以使用设置于车辆的传感器来检测，也可以从外部通过通信获取与障碍物相关的信息。此外，障碍物未必是形状固定的物体，只要是阻碍连接道路的视觉确认性的物体例如也可以是光、黑暗。
例如，在图4所示的例子中，作为障碍物检测出3台车辆54～56，对于各车辆54～56确定“障碍物的种类”、“形状(检测的范围)”、“离本车辆的距离”、“位置坐标”。
进一步，在S7中，CPU41确定在上述S6中检测出的障碍物的朝向(行进方向)和检测出障碍物的场所。此外，“障碍物的朝向(行进方向)”可以根据障碍物的种类和形状来确定，也可以基于以规定间隔连续地拍摄的拍摄图像中的障碍物的位置的变化来确定。另外，“检测障碍物的场所”基于在上述S6中检测出的障碍物的位置坐标和在上述S5中生成的地图信息图像，来确定障碍物位于道路上，还是位于道路外。进一步，在位于道路上的情况下，优选也确定位于车辆所行驶的车道上，还是位于对置车道上，还是位于连接道路上。另外，上述S7将在上述S6中检测出的全部的障碍物作为对象来进行。
例如，在图4所示的例子中，对于3台车辆54～56，将“障碍物的朝向(行进方向)”确定为后方(与本车辆的方位相反方向)。另外，“检测障碍物的场所”被确定为对置车道上。
接下来，在S8中，CPU41对在上述S2中获取的拍摄图像，设定用于判定存在于驾驶员的视场内的连接道路的视觉确认性的判定区域。此外，所谓的“连接道路”是在处于车辆的周围的分支点与车辆所行驶的道路连接的道路。例如，在图4所示的例子中，与分支点57连接的道路58、59相当于连接道路。此外，在本实施方式中，特别是将在与车辆所行驶的道路交叉的方向上连接的道路58、59设为连接道路的对象，但也可以将在行进方向上连接的道路60也包含于连接道路。另外，在有多个连接道路的情况下，对每个连接道路设定判定区域。此外，在上述S2中获取的拍摄图像内(即驾驶员的视场内)不存在连接道路的情况(视为也存在被障碍物等隐藏而看不见的情况)不进行S8以后的处理而结束该行驶辅助处理。
以下，使用图5对上述S8的判定区域的设定方法进行详细说明。在以下的说明中，以对连接道路59设定的判定区域为例进行说明，上述连接道路59与处于车辆的行进方向前方的分支点57在右方连接。
首先，CPU41基于在上述S5中生成的地图信息图像52，在拍摄图像51中确定连接道路59所存在的位置。具体而言，在地图信息图像52中确定与被连接道路59的轮廓53围起的区域对应的拍摄图像51的区域。确定出的区域为在拍摄图像51中连接道路59所存在的位置。例如在图5中，标注阴影的区域为在拍摄图像51中连接道路59所存在的位置。接着，CPU41基于确定出的连接道路59的位置，在拍摄图像51中确定连接道路59与分支点57连接的最靠近本车辆侧的端部X。接下来，将在拍摄图像51上确定出的端部X设为原点，并将距离连接的分支点57在沿着连接道路59远离的方向上为3m、在高度方向上为2m的矩形区域设定为判定区域61。同样地，对其它连接道路也设定判定区域。
此外，在上述S8中设定的判定区域61为将存在于拍摄图像51内，即驾驶员的视场内的连接道路59为对象，至少包含连接道路59的一部分的区域。更具体而言，对包含从连接道路59与分支点57连接的端部沿着连接道路59距离3mm以内的道路部分的区域设定判定区域61。
接下来，在S9中，CPU41基于在上述S2中获取的拍摄图像中的连接道路的位置与相同拍摄图像中的障碍物的位置的位置关系，来判定驾驶员对存在于拍摄图像内(即驾驶员的视场内)的连接道路的视觉确认性。此外，在存在多个连接道路的情况下，对每个连接道路判定视觉确认性。特别是在本实施方式中，基于在上述S8中设定的判定区域内的连接道路与障碍物的位置关系，判定驾驶员对连接道路的视觉确认性。
以下，使用图6对上述S9的视觉确认性的判定方法进行详细说明。在以下的说明中，以针对连接道路59的视觉确认性的判定为例进行说明，其中，上述连接道路59与处于车辆的行进方向前方的分支点57在右方连接。
首先，CPU41确定在上述S6中检测出的障碍物(在图6所示的例子中为车辆54～56)在拍摄图像51中存在的位置。接下来，计算车辆54～56与判定区域61重叠的重叠比例。具体而言，如图6所示，计算判定区域61的整个区域的面积内车辆54～56重叠的面积的比例来作为重叠比例。此外，车辆54～56的位置、形状在上述S6中检测。而且，将计算出的重叠比例设为表示驾驶员对连接道路59的视觉确认性的数值。此外，CPU41在计算出的重叠比例(视觉确认性)为阈值(例如80％)以上的情况下判定为驾驶员无法视觉确认相应的连接道路，在重叠比例小于阈值的情况下判定为驾驶员能够视觉确认相应的连接道路。
另外，如图8所示，也可以将判定区域61划分为多个区划。例如，在图8中，示出将判定区域61划分为以连结对置的各边的中点的线为边界的4个区划71～74的例子。进一步，在本实施方式中，如以下的(A)、(B)所示，也能够对区划71～74的每一个设定不同的视觉确认性的计算基准。此外，在以下的说明中，将左上的区划设为区划71、将左下的区划设为区划72、将右上的区划设为区划73、将右下的区划设为区划74进行说明。
(A)作为一个例子，设定在多个区划71～74内距离与分支点连接的端部越近的区划，越容易将重叠比例计算为更高的计算基准。在这里，由于距离与分支点连接的端部近的区划为位于连接道路的入口附近的区划，所以尤其是在驾驶员判断是否有从连接道路进入车辆所行驶的道路的车辆、行人时成为重要的区划。因此，设定距离与分支点连接的端部越近的区划，越容易将重叠比例计算为更高的计算基准。
例如，如图5所示，对于对与处于车辆的行进方向前方的分支点57在右方连接的连接道路59设定的判定区域61而言，对距离分支点57近的区划71、72设定与区划73、74相比容易计算出更高的重叠比例的计算基准。例如，对于区划71、72计算障碍物实际与区划71、72重叠的比例的1.2倍的比例来作为重叠比例。另一方面，对于区划73、74计算障碍物实际与区划73、74重叠的比例的0.8倍的比例作为重叠比例。而且，将对每一个区划计算出的重叠比例合计所得的值设为障碍物与判定区域61重叠的重叠比例。
此外，对于对与分支点在左方连接的连接道路设定的判定区域而言，与上述例子左右相反。
(B)作为另一例子，设定在多个区划71～74内越处于下侧的区划，越容易将重叠比例计算为更高的计算基准。在这里，如图5所示，由于判定区域61基于连接道路59的近前侧的端部X来设定下端，所以处于下侧的区划72、74与连接道路59重叠的比例比处于上侧的区划71、73高。即，由于处于下侧的区划为在连接道路上移动的车辆、行人所处的可能性较高的区划，所以尤其是在驾驶员判断是否有从连接道路进入车辆所行驶的道路的车辆、行人时成为重要的区划。因此，设定越是处于下侧的区划，越容易将重叠比例计算为更高的计算基准。
例如，对于区划72、74而言，计算障碍物实际与区划72、74重叠的比例的1.2倍的比例来作为重叠比例。另一方面，对于区划71、73而言，计算障碍物实际与区划71、73重叠的比例的0.8倍的比例来作为重叠比例。而且，将对每一个区划计算出的重叠比例合计所得的值设为障碍物与判定区域61重叠的重叠比例。
此外，也可以对上述(A)和(B)进行组合。在该情况下，对于区划71、72、74，计算障碍物实际与区划71、72、74重叠的比例的1.2倍的比例来作为重叠比例。另一方面，对于区划73，计算障碍物实际与区划73重叠的比例的0.8倍的比例来作为重叠比例。而且，将对每一个区划计算出的重叠比例合计所得的值设为障碍物与判定区域61重叠的重叠比例。进一步，对于区间72，也可以为1.4倍。
另外，也可以根据连接道路的道路宽度变更划分判定区域61的边界。具体而言，如图8所示，在连接道路的道路宽度较窄的情况下，使对上下进行划分的边界向下侧移动，在连接道路的道路宽度较宽的情况下，使对上下进行划分的边界向上侧移动。由此，在上述(B)中能够进行适当的重叠比例的修正。
接下来，在S10中，CPU41判定在距离车辆可停止距离，是否具有在上述S9中计算出的重叠比例(视觉确认性)为阈值(例如80％)以上的连接道路，即在驾驶员的视场内驾驶员无法视觉确认的连接道路。此外，“可停止距离”为车辆在规定的加速度(对驾驶员不产生负担的上限加速度)以下能够停止的距离，可基于车辆的当前的车速来计算。另外，在上述S10中成为判断基准的阈值能够适当地变更，例如也可以为50％。另外，也可以为能够根据周边环境来变更阈值。例如，若是夜晚、降雨时等视野较差的环境，则将阈值设定为比其他环境的情况高。
而且，在判定为在距离车辆可停止距离，有在上述S9中计算出的重叠比例(视觉确认性)为阈值(例如80％)以上的连接道路，即驾驶员无法视觉确认的连接道路的情况(S10：是)下，移至S11。针对于此，在判定为没有在上述S9中计算出的重叠比例(视觉确认性)为阈值(例如80％)以上的连接道路、或即使有也是可停止距离外的情况(S10：否)下，移至S13。
在S11中，CPU41基于在上述S6中确定出的障碍物的种类和在上述S7中确定出的障碍物的朝向(行进方向)以及检测场所，判定是否是与连接道路重叠的障碍物是车辆，且该车辆位于连接道路上。在这里，即使连接道路与其它车辆重叠而无法视觉确认，若该其它车辆是在连接道路上行驶的车辆，则驾驶员也能够根据该其它车辆的位置一定程度上掌握连接道路的位置、形状，且驾驶员也能够判断是否有从连接道路进入本车辆所行驶的道路的车辆。因此，在那样的情况下，例外地即使为视觉确认性为阈值以下的连接道路，也视为驾驶员能够视觉确认。
而且，在判定为与连接道路重叠的障碍物是车辆，且该车辆位于连接道路上的情况(S11：是)下，移至S13。与此相对，在判定为与连接道路重叠的障碍物是车辆以外、或即使是车辆也未位于连接道路上的情况(S11：否)下，移至S12。
在S12中，CPU41对HUD19发送控制信号，并对HUD19的液晶显示器输出提示存在判定为驾驶员无法视觉确认的连接道路(以下，称为不可视道路)的影像。具体而言，显示重叠于在不可视道路内包含与分支点连接的端部的范围被驾驶员视觉确认的重叠图像。另外，也可以从扬声器16输出警告不可视道路的声音。
例如，图9是表示在上述S12中显示的重叠图像的一个例子的图。
如图9所示，在车辆的行进方向的规定距离(25m)前方的位置，显示提示存在不可视道路的感叹号的虚像(重叠图像)75。特别是，由于虚像75重叠于不可视道路内包含与分支点连接的端部的范围，即不可视道路的入口附近而被驾驶员视觉确认，所以即使在有从不可视道路进入本车辆所行驶的道路的其它车辆、行人的情况下，也能够对其它车辆、行人的进入预先加以注意。
另外，优选从车辆到不可视道路的距离越接近，越增大在上述S12中显示的重叠图像的尺寸。由此，能够使驾驶员在视觉上掌握到不可视道路的距离。
另一方面，在S13中，CPU41判定为在拍摄图像内(即驾驶员的视场内)没有驾驶员无法视觉确认的连接道路，特别是不进行针对连接道路的传达并结束该行驶辅助处理。
此外，作为输出判定驾驶员对连接道路的视觉确认性的判定结果的输出单元，在本实施方式中，特别地进行提示驾驶员存在被判定为驾驶员无法视觉确认(视觉确认性为阈值以下)的不可视道路的传达，但作为输出判定结果的输出单元，也可以进行基于判定结果的车辆控制。例如，能够进行用于使驾驶员注意不可视道路的车辆控制、或避开不可视道路的车辆控制。具体而言，有在不可视道路的近前减速的车辆控制。另外，也能够将判定结果应用于自动驾驶车辆。
进一步，若能够通过机械学习判别在不可视道路中存在什么样的危险因素，则更为具体而言也可以进行确定危险因素的传达(例如“请注意从处于车辆的前方死角的交叉道路进入的行人”)。
如以上详细说明的那样，在本实施方式的导航装置1以及由导航装置1执行的计算机程序中，通过以下步骤能够进行针对连接道路的适当的行驶辅助：获取对车辆的周边环境拍摄到的拍摄图像(S2)，并在三维表示地图的地图图像中获取从与拍摄图像的拍摄方向相同方向表示与拍摄图像的拍摄范围相同范围的地图图像亦即地图信息图像(S5)，并基于拍摄图像和地图信息图像，判定针对在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路的驾驶员的视觉确认性(S10)，并输出视觉确认性的判定结果(S12)。例如，对于视觉确认性较低而可能成为危险因素的连接道路进行传达、车辆控制等行驶辅助，另一方面对于不必要的传达、车辆控制，能够尽可能地限制。
此外，本发明并不限于上述实施方式，当然能够在不脱离本发明的主旨的范围内进行各种改进、变形。
例如，在本实施方式中，三维地图信息34是与三维表示道路的轮廓的地图图像相关的信息，但也可以为表示道路的轮廓以外的信息的地图信息。例如，也可以为表示设施形状、道路的区划线、道路标志、广告牌等的地图图像。
另外，在本实施方式中，作为将不可视道路提示给驾驶员的传达，显示重叠于不可视道路的入口附近而被视觉确认的图像(图9)，但重叠图像也可以为其它形式的图像。例如，也可以显示重叠于不可视道路的轮廓而被视觉确认的线段的图像。
另外，在本实施方式中，将判定区域61设为横3m纵2m的矩形形状，但判定区域61的尺寸、形状能够适当地变更，例如也可以为圆形状。另外，在图7中，示出了将判定区域61划分为4个区划的例子，但划分的数量也可以为3个以下或5个以上。
另外，在本实施方式中，行驶辅助处理程序(图2)由导航装置1来实施，但也可以为由导航装置以外的车载器来实施的结构。例如，也可以为由HUD19的控制部、车辆控制ECU、其他的车载器来执行的结构。此外，在由HUD19的控制部执行的情况下，本发明的行驶辅助装置也可以由HUD19构成。另外，也可以为车载器不实施全部的处理，而由外部服务器来实施部分处理。
另外，上述对将本发明的行驶辅助装置具体化后的实施例进行了说明，但行驶辅助装置也能够具有以下的结构，在该情况下起到以下的效果。
例如，第一结构如下。
具有：周边环境拍摄单元(41)，获取拍摄图像，该拍摄图像由具备与驾驶员的视线开始点以及视线方向对应的光轴的拍摄装置(20)对车辆的周边环境拍摄而成；连接道路确定单元(41)，基于上述拍摄图像和车辆周边的地图信息，在上述拍摄图像中确定在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路所存在的位置；视觉确认性判定单元(41)，基于上述拍摄图像中的上述连接道路的位置与处于车辆的周围的障碍物(54～56)的位置的位置关系，判定驾驶员对上述连接道路的视觉确认性；以及输出单元(41)，输出上述视觉确认性判定单元的判定结果。
根据具有上述结构的行驶辅助装置，通过判定驾驶员对连接道路的视觉确认性并且输出判定结果，能够进行针对连接道路的适当的行驶辅助。例如，对于视觉确认性较低而可能成为危险因素的连接道路进行传达、车辆控制等行驶辅助，而对于不必要的传达、车辆控制，能够尽可能地限制。
另外，第二结构如下。
具有障碍物检测单元(41)，上述障碍物检测单元(41)从上述拍摄图像中检测处于车辆的周围的上述障碍物的位置和形状，上述视觉确认性判定单元(41)基于由上述障碍物检测单元检测出的上述障碍物的位置和形状，判定驾驶员对上述连接道路的视觉确认性。
根据具有上述结构的行驶辅助装置，特别是在连接道路的视觉确认性被处于车辆的周围的障碍物阻碍的情况下，能够判定正确的驾驶员对连接道路的视觉确认性。
另外，第三结构如下。
具有判定区域设定单元(41)，上述判定区域设定单元(41)对上述拍摄图像中的至少包含上述连接道路的一部分的区域，设定成为判定上述连接道路的视觉确认性的对象的判定区域(61)，上述视觉确认性判定单元(41)基于上述判定区域内的上述连接道路与上述障碍物的位置关系判定驾驶员对上述连接道路的视觉确认性。
根据具有上述结构的行驶辅助装置，由于基于包含连接道路的一部分的特定的区域中的连接道路与障碍物的位置关系来判定连接道路的视觉确认性，所以尤其能够考虑驾驶员掌握连接道路时重要的区域来判定连接道路的视觉确认性。
另外，第四结构如下。
上述判定区域设定单元(41)对上述连接道路内包含从与分支点连接的端部沿着上述连接道路规定距离以内的道路部分的区域设定上述判定区域(61)。
根据具有上述结构的行驶辅助装置，特别是由于以连接道路的入口附近的范围为对象来判定视觉确认性，所以能够考虑驾驶员是否能够视觉确认从连接道路进入车辆所行驶的道路之前的车辆、行人来判定连接道路的视觉确认性。
另外，第五结构如下。
上述视觉确认性判定单元(41)计算上述障碍物与上述判定区域(61)内重叠的重叠比例，并基于计算出的上述重叠比例判定驾驶员对上述连接道路的视觉确认性。
根据具有上述结构的行驶辅助装置，特别是在连接道路的视觉确认性被处于车辆的周围的障碍物阻碍的情况下，能够判定正确的驾驶员对连接道路的视觉确认性。
另外，第六结构如下。
上述视觉确认性判定单元(41)将上述判定区域(61)划分为多个区划，并且对上述多个区划的每一个按照不同的计算基准计算上述重叠比例。
根据具有上述结构的行驶辅助装置，能够考虑判定区域内，特别是驾驶员掌握连接道路时成为重要的区划中的视觉确认性来判定连接道路的视觉确认性。
另外，第七结构如下。
上述视觉确认性判定单元(41)设定越是上述多个区划内接近与分支点连接的端部的区划，越容易将上述重叠比例计算为更高的计算基准。
根据具有上述结构的行驶辅助装置，能够重视判定区域内，特别是连接道路的入口附近的区划中的视觉确认性来判定连接道路的视觉确认性。
另外，第八结构如下。
上述视觉确认性判定单元(41)设定越是上述多个区划内处于下方的区划，越容易将上述重叠比例计算为更高的计算基准。
根据具有上述结构的行驶辅助装置，能够重视判定区域内，特别是与连接道路重叠的比例较高的区划中的视觉确认性来判定连接道路的视觉确认性。
另外，第九结构如下。
上述视觉确认性判定单元(41)根据上述连接道路的道路宽度变更划分上述判定区域(61)的边界。
根据具有上述结构的行驶辅助装置，能够根据连接道路的道路宽度，适当地划分判定区域内，特别是与连接道路重叠的比例较高的区划。
另外，第十结构如下。
上述视觉确认性判定单元(41)在上述重叠比例为阈值以上的情况下判定为不能由上述驾驶员视觉确认上述连接道路，并且在上述重叠比例小于阈值的情况下判定为能够由上述驾驶员视觉确认上述连接道路。
根据具有上述结构的行驶辅助装置，特别是在连接道路的视觉确认性被处于车辆的周围的障碍物阻碍的情况下，能够根据障碍物与连接道路的重叠比例正确地判定驾驶员是否能够视觉确认连接道路。
另外，第十一结构如下。
上述视觉确认性判定单元(41)在上述障碍物(54～56)是位于本车辆的周边的其它车辆的情况下，判定上述其它车辆是否位于上述连接道路上，在判定为上述其它车辆位于上述连接道路上的情况下，不管上述拍摄图像中的上述连接道路的位置与上述其它车辆的位置的位置关系如何，都判定为驾驶员能够视觉确认上述连接道路。
根据具有上述结构的行驶辅助装置，即使在连接道路的视觉确认性被处于车辆的周围的障碍物阻碍的情况下，在例外地障碍物是在连接道路上移动的车辆的情况下，也能够判定为驾驶员能够视觉确认连接道路。
附图标记说明
1…导航装置；13…导航ECU；19…HUD；20…车外照相机；31…地图信息DB；32…拍摄图像DB；33…二维地图信息；34…三维地图信息；41…CPU；42…RAM；43…ROM；51…拍摄图像；52…地图信息图像；54～56…障碍物；58、59…连接道路；61…判定区域；75…虚像。

Claims (12)

1.一种行驶辅助装置，具有：
周边环境拍摄单元，获取拍摄图像，该拍摄图像由具备与驾驶员的视线开始点以及视线方向对应的光轴的拍摄装置对车辆的周边环境拍摄而成；
连接道路确定单元，基于上述拍摄图像和车辆周边的地图信息，在上述拍摄图像中确定在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路所存在的位置；
视觉确认性判定单元，基于上述拍摄图像中的上述连接道路的位置与处于车辆的周围的障碍物的位置的位置关系，判定驾驶员对上述连接道路的视觉确认性；以及
输出单元，输出上述视觉确认性判定单元的判定结果。
2.根据权利要求1所述的行驶辅助装置，其中，
具有障碍物检测单元，该障碍物检测单元从上述拍摄图像检测处于车辆的周围的上述障碍物的位置和形状，
上述视觉确认性判定单元基于由上述障碍物检测单元检测出的上述障碍物的位置和形状，判定驾驶员对上述连接道路的视觉确认性。
3.根据权利要求1或2所述的行驶辅助装置，其中，
具有判定区域设定单元，该判定区域设定单元对上述拍摄图像中的至少包含上述连接道路的一部分的区域，设定成为判定上述连接道路的视觉确认性的对象的判定区域，
上述视觉确认性判定单元基于上述判定区域内的上述连接道路与上述障碍物的位置关系来判定驾驶员对上述连接道路的视觉确认性。
4.根据权利要求3所述的行驶辅助装置，其中，
上述判定区域设定单元对上述连接道路内包含从与分支点连接的端部沿着上述连接道路规定距离以内的道路部分的区域设定上述判定区域。
5.根据权利要求3或4所述的行驶辅助装置，其中，
上述视觉确认性判定单元计算上述障碍物与上述判定区域内重叠的重叠比例，并基于计算出的上述重叠比例判定驾驶员对上述连接道路的视觉确认性。
6.根据权利要求5所述的行驶辅助装置，其中，
上述视觉确认性判定单元将上述判定区域划分为多个区划，并且对上述多个区划的每一个按照不同的计算基准计算上述重叠比例。
7.根据权利要求6所述的行驶辅助装置，其中，
上述视觉确认性判定单元设定越是上述多个区划内接近与分支点连接的端部的区划，越容易将上述重叠比例计算为更高的计算基准。
8.根据权利要求6或7所述的行驶辅助装置，其中，
上述视觉确认性判定单元设定越是上述多个区划内处于下方的区划，越容易将上述重叠比例计算为更高的计算基准。
9.根据权利要求6～8中任一项所述的行驶辅助装置，其中，
上述视觉确认性判定单元根据上述连接道路的道路宽度变更划分上述判定区域的边界。
10.根据权利要求5～9中任一项所述的行驶辅助装置，其中，
上述视觉确认性判定单元在上述重叠比例为阈值以上的情况下判定为不能由上述驾驶员视觉确认上述连接道路，并且在上述重叠比例小于阈值的情况下判定为能够由上述驾驶员视觉确认上述连接道路。
11.根据权利要求10所述的行驶辅助装置，其中，
上述视觉确认性判定单元在上述障碍物是位于本车辆的周边的其它车辆的情况下，判定上述其它车辆是否位于上述连接道路上，
在判定为上述其它车辆位于上述连接道路上的情况下，不管上述拍摄图像中的上述连接道路的位置与上述其它车辆的位置的位置关系如何，都判定为驾驶员能够视觉确认上述连接道路。
12.一种计算机程序，用于使计算机作为如下部件发挥功能：
周边环境拍摄单元，获取拍摄图像，该拍摄图像由具备与驾驶员的视线开始点以及视线方向对应的光轴的拍摄装置对车辆的周边环境拍摄而成；
连接道路确定单元，基于上述拍摄图像和车辆周边的地图信息，在上述拍摄图像中确定在处于车辆的周围的分支点与车辆所行驶的道路连接的道路亦即连接道路所存在的位置；
视觉确认性判定单元，基于上述拍摄图像中的上述连接道路的位置与处于车辆的周围的障碍物的位置的位置关系，判定驾驶员对上述连接道路的视觉确认性；以及
输出单元，输出上述视觉确认性判定单元的判定结果。
CN201780060967.0A 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序 Active CN109791738B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016199254 2016-10-07
JP2016-199254 2016-10-07
PCT/JP2017/036561 WO2018066711A1 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN109791738A true CN109791738A (zh) 2019-05-21
CN109791738B CN109791738B (zh) 2021-12-21

Family

ID=61831788

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780060967.0A Active CN109791738B (zh) 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序
CN201780060977.4A Withdrawn CN109791053A (zh) 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序
CN201780060962.8A Pending CN109791737A (zh) 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201780060977.4A Withdrawn CN109791053A (zh) 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序
CN201780060962.8A Pending CN109791737A (zh) 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序

Country Status (5)

Country Link
US (3) US10733462B2 (zh)
EP (3) EP3496069B1 (zh)
JP (3) JP6700623B2 (zh)
CN (3) CN109791738B (zh)
WO (3) WO2018066710A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613335A (zh) * 2019-10-03 2021-04-06 本田技研工业株式会社 识别装置、识别方法及存储介质
CN113903103A (zh) * 2020-06-22 2022-01-07 丰田自动车株式会社 局部图像生成装置、局部图像生成方法以及存储介质
CN116583889A (zh) * 2020-11-27 2023-08-11 日产自动车株式会社 车辆辅助方法及车辆辅助装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018063460A1 (en) * 2016-09-30 2018-04-05 General Electric Company System and method for optimization of deep learning architecture
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
CN108346107B (zh) * 2017-12-28 2020-11-10 创新先进技术有限公司 一种社交内容风险识别方法、装置以及设备
US11041730B2 (en) * 2018-03-02 2021-06-22 DeepMap Inc. Reverse rendering of an image based on high definition map data
US11846514B1 (en) 2018-05-03 2023-12-19 Zoox, Inc. User interface and augmented reality for representing vehicles and persons
US10809081B1 (en) * 2018-05-03 2020-10-20 Zoox, Inc. User interface and augmented reality for identifying vehicles and persons
US10837788B1 (en) 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
EP3865822A1 (en) * 2018-05-15 2021-08-18 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
JP6766844B2 (ja) * 2018-06-01 2020-10-14 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US11002066B2 (en) * 2018-06-19 2021-05-11 Apple Inc. Systems with dynamic pixelated windows
JP7070157B2 (ja) * 2018-06-29 2022-05-18 富士通株式会社 画像処理プログラム、画像処理装置及び画像処理方法
US11195030B2 (en) * 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11055857B2 (en) * 2018-11-30 2021-07-06 Baidu Usa Llc Compressive environmental feature representation for vehicle behavior prediction
US20220065649A1 (en) * 2019-01-18 2022-03-03 Vestel Elektronik Sanayi Ve Ticaret A.S. Head-up display system
US10824947B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
JP7332726B2 (ja) * 2019-06-10 2023-08-23 華為技術有限公司 ヒートマップを使用したドライバーの注目の検出
US11386675B2 (en) * 2019-09-09 2022-07-12 Hyundai Motor Company Device and method for generating vehicle data, and system
JP7407034B2 (ja) * 2020-03-19 2023-12-28 本田技研工業株式会社 走行経路設定装置、走行経路を設定する方法およびプログラム
JP2022123940A (ja) * 2021-02-15 2022-08-25 本田技研工業株式会社 車両制御装置
JP2022161066A (ja) * 2021-04-08 2022-10-21 トヨタ自動車株式会社 表示制御システム、表示制御方法及びプログラム
CN113899355A (zh) * 2021-08-25 2022-01-07 上海钧正网络科技有限公司 地图更新方法、装置、云端服务器和共享骑行设备
US20230177839A1 (en) * 2021-12-02 2023-06-08 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
EP1378724A1 (en) * 2002-07-01 2004-01-07 Mazda Motor Corporation Route guidance system based on visual activity of the driver
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2010134639A (ja) * 2008-12-03 2010-06-17 Honda Motor Co Ltd 視覚支援装置
CN102754138A (zh) * 2010-03-16 2012-10-24 三菱电机株式会社 道路车辆协调型安全驾驶辅助装置
CN104112370A (zh) * 2014-07-30 2014-10-22 哈尔滨工业大学深圳研究生院 基于监控图像的停车场智能车位识别方法及系统
CN104571513A (zh) * 2014-12-31 2015-04-29 东莞市南星电子有限公司 一种通过遮蔽摄像区域模拟触摸指令方法及系统
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置
JP2016060336A (ja) * 2014-09-17 2016-04-25 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016070193A1 (en) * 2014-10-31 2016-05-06 Nodal Inc. Systems, apparatus, and methods for improving safety related to movable/moving objects
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333317A (ja) 1994-06-14 1995-12-22 Mitsubishi Electric Corp 移動体間距離認識装置
JPH09196695A (ja) 1996-01-18 1997-07-31 Matsushita Electric Ind Co Ltd ナビゲーション案内装置
JP3932127B2 (ja) * 2004-01-28 2007-06-20 マツダ株式会社 車両用画像表示装置
JP2006172215A (ja) * 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd 運転支援システム
JP4483764B2 (ja) 2005-10-28 2010-06-16 株式会社デンソー 運転支援システムおよびプログラム
JP2008046766A (ja) * 2006-08-11 2008-02-28 Denso Corp 車両外部情報表示装置
CN101512617B (zh) * 2006-09-04 2012-02-01 松下电器产业株式会社 行驶信息提供装置
US20100070173A1 (en) * 2006-12-05 2010-03-18 Navitime Japan Co., Ltd. Navigation system, portable terminal device, and peripheral-image display method
JP5771889B2 (ja) * 2009-03-04 2015-09-02 日産自動車株式会社 経路案内装置及び経路案内方法
JP2010261747A (ja) * 2009-04-30 2010-11-18 Denso Corp 警報装置
JP5407898B2 (ja) * 2010-01-25 2014-02-05 株式会社豊田中央研究所 対象物検出装置及びプログラム
EP2615596A4 (en) * 2010-09-08 2017-12-06 Toyota Jidosha Kabushiki Kaisha Moving-object prediction device, virtual-mobile-object prediction device, program, mobile-object prediction method, and virtual-mobile-object prediction method
JP5704902B2 (ja) 2010-11-26 2015-04-22 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置及び運転支援方法
JP5743576B2 (ja) 2011-02-02 2015-07-01 スタンレー電気株式会社 物体検出システム
JP2012192878A (ja) 2011-03-17 2012-10-11 Toyota Motor Corp 危険度判定装置
JP5840046B2 (ja) * 2012-03-23 2016-01-06 株式会社豊田中央研究所 情報提供装置、情報提供システム、情報提供方法、及びプログラム
WO2013145216A1 (ja) * 2012-03-29 2013-10-03 トヨタ自動車株式会社 運転支援装置
US10270642B2 (en) * 2012-12-05 2019-04-23 Origin Wireless, Inc. Method, apparatus, and system for object tracking and navigation
DE102012218360A1 (de) * 2012-10-09 2014-04-10 Robert Bosch Gmbh Blickfeldanzeige für ein Fahrzeug
JP6136237B2 (ja) 2012-12-19 2017-05-31 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
US9330256B2 (en) * 2013-02-01 2016-05-03 Qualcomm Incorporated Location based process-monitoring
JP2015104930A (ja) 2013-11-28 2015-06-08 株式会社デンソー ヘッドアップディスプレイ装置
JP2016122308A (ja) * 2014-12-25 2016-07-07 クラリオン株式会社 車両制御装置
JP6418574B2 (ja) * 2015-01-14 2018-11-07 株式会社デンソーアイティーラボラトリ 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
WO2016170602A1 (ja) * 2015-04-21 2016-10-27 日産自動車株式会社 車両誘導装置及び車両誘導方法
JP6540817B2 (ja) * 2015-10-09 2019-07-10 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP6623044B2 (ja) 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
EP1378724A1 (en) * 2002-07-01 2004-01-07 Mazda Motor Corporation Route guidance system based on visual activity of the driver
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2010134639A (ja) * 2008-12-03 2010-06-17 Honda Motor Co Ltd 視覚支援装置
CN102754138A (zh) * 2010-03-16 2012-10-24 三菱电机株式会社 道路车辆协调型安全驾驶辅助装置
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置
CN104112370A (zh) * 2014-07-30 2014-10-22 哈尔滨工业大学深圳研究生院 基于监控图像的停车场智能车位识别方法及系统
JP2016060336A (ja) * 2014-09-17 2016-04-25 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016070193A1 (en) * 2014-10-31 2016-05-06 Nodal Inc. Systems, apparatus, and methods for improving safety related to movable/moving objects
CN104571513A (zh) * 2014-12-31 2015-04-29 东莞市南星电子有限公司 一种通过遮蔽摄像区域模拟触摸指令方法及系统
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613335A (zh) * 2019-10-03 2021-04-06 本田技研工业株式会社 识别装置、识别方法及存储介质
CN113903103A (zh) * 2020-06-22 2022-01-07 丰田自动车株式会社 局部图像生成装置、局部图像生成方法以及存储介质
CN113903103B (zh) * 2020-06-22 2023-04-11 丰田自动车株式会社 局部图像生成装置、局部图像生成方法以及存储介质
CN116583889A (zh) * 2020-11-27 2023-08-11 日产自动车株式会社 车辆辅助方法及车辆辅助装置

Also Published As

Publication number Publication date
EP3496069A4 (en) 2019-06-12
EP3496033A4 (en) 2019-10-23
JPWO2018066712A1 (ja) 2019-04-25
US20190251374A1 (en) 2019-08-15
EP3496068A4 (en) 2019-06-12
JP6658905B2 (ja) 2020-03-04
EP3496033A1 (en) 2019-06-12
EP3496069A1 (en) 2019-06-12
CN109791738B (zh) 2021-12-21
US10878256B2 (en) 2020-12-29
US20190344803A1 (en) 2019-11-14
WO2018066711A1 (ja) 2018-04-12
CN109791737A (zh) 2019-05-21
US10733462B2 (en) 2020-08-04
CN109791053A (zh) 2019-05-21
JP6700623B2 (ja) 2020-05-27
US20190197323A1 (en) 2019-06-27
JPWO2018066711A1 (ja) 2019-06-24
WO2018066712A1 (ja) 2018-04-12
EP3496069B1 (en) 2022-10-26
EP3496068A1 (en) 2019-06-12
JPWO2018066710A1 (ja) 2019-06-24
JP6566145B2 (ja) 2019-08-28
WO2018066710A1 (ja) 2018-04-12

Similar Documents

Publication Publication Date Title
CN109791738A (zh) 行驶辅助装置以及计算机程序
US11535155B2 (en) Superimposed-image display device and computer program
JP5729176B2 (ja) 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
JP2021039085A (ja) 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
JP2019164611A (ja) 走行支援装置及びコンピュータプログラム
JP2018173399A (ja) 表示装置及びコンピュータプログラム
JP6444508B2 (ja) 表示制御装置およびナビゲーション装置
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
JP2017062706A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP7143728B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP6939147B2 (ja) 走行情報案内装置及びコンピュータプログラム
JP2011198002A (ja) 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2014154125A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2017062527A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2023038558A (ja) 重畳画像表示装置
JP2023008462A (ja) 重畳画像表示装置
JP2021081232A (ja) 重畳画像表示装置及びコンピュータプログラム
JP2022077198A (ja) 重畳画像表示装置
JP2022110828A (ja) 重畳画像表示装置
JP2021076415A (ja) 重畳画像表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant