CN116348933A - 障碍物信息获取系统 - Google Patents

障碍物信息获取系统 Download PDF

Info

Publication number
CN116348933A
CN116348933A CN202180072196.3A CN202180072196A CN116348933A CN 116348933 A CN116348933 A CN 116348933A CN 202180072196 A CN202180072196 A CN 202180072196A CN 116348933 A CN116348933 A CN 116348933A
Authority
CN
China
Prior art keywords
obstacle
vehicle
image
control unit
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180072196.3A
Other languages
English (en)
Inventor
藤田邦光
竹内锐典
二村光宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN116348933A publication Critical patent/CN116348933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Abstract

本发明提供一种无论是否实施了针对障碍物的躲避操作，都能够获取障碍物的信息的技术。障碍物信息获取系统，具有：图像获取部，获取对车辆正在行驶的道路进行拍摄而得到的图像；图像识别部，根据所述图像检测道路上的障碍物和车道；以及障碍物信息获取部，基于所述图像中的所述障碍物所处的车道的可通行宽度，获取将所述障碍物的位置与所述图像对应关联的障碍物信息。

Description

障碍物信息获取系统
技术领域
本发明涉及障碍物信息获取系统。
背景技术
以往，已知在车辆中检测道路上的落下物(障碍物)的技术。在专利文献1中记载了如下内容：将表示车辆是否对落下物进行了躲避操作的信息和落下物的位置信息从该车辆向服务器发送，在服务器中，在对同一落下物进行了躲避操作的车辆的比例为规定以上的情况下，向后续车通知应该躲避落下物。
现有技术文献
专利文献
专利文献1：日本特开2020-087309号公报
发明内容
发明所要解决的问题
但是，在现有技术中，在如下情况下无法判定为应躲避落下物。例如，在距落下物很近的距离通过了落下物的旁边的情况(以微小的转向操作通过)、行驶在与存在落下物的车道相邻的车道上的情况(不进行躲避操作)等。
本发明是鉴于上述问题而完成的，其目的在于，提供一种无论是否实施了针对障碍物的躲避操作，都能够获取障碍物的信息的技术。
解决问题的技术手段
为了实现上述目的，障碍物信息获取系统具有：图像获取部，获取对车辆正在行驶的道路进行拍摄而得到的图像；图像识别部，根据图像检测道路上的障碍物和车道；以及障碍物信息获取部，基于图像中的障碍物所处的车道的可通行宽度，获取将障碍物的位置与图像对应关联的障碍物信息。
即，在障碍物信息获取系统中，根据图像确定障碍物所处的车道的可通行宽度，并基于车道的可通行宽度，来获取将障碍物的位置与图像对应关联的障碍物信息。因此，根据该障碍物信息获取系统，无论实际上是否实施了躲避操作，都能够获取障碍物信息。
附图说明
图1是表示障碍物信息获取系统的结构的框图。
图2A是表示拍摄到的图像的例子的图，图2B是表示包括车宽轴和车长轴的俯视图。
图3A～图3C是障碍物信息获取处理的流程图。
图4A～图4B是第二实施方式的障碍物信息获取处理的流程图。
图5是第三实施方式的障碍物信息获取处理的流程图。
图6是表示拍摄到的图像的例子的图。
具体实施方式
在此，按照下述的顺序对本发明的实施方式进行说明。
(1)第一实施方式：
(1-1)障碍物信息获取系统的结构：
(1-2)障碍物信息获取处理：
(2)第二实施方式：
(3)第三实施方式：
(4)其他实施方式：
(1)第一实施方式：
(1-1)障碍物信息获取系统的结构：
图1是表示本发明的障碍物信息获取系统的结构的框图。在本实施方式中，障碍物信息获取系统具有车载系统100、服务器200、车载系统300。车载系统100在本实施方式中设置于作为探测车辆发挥功能的车辆，其具有对该车辆的周围的图像进行拍摄并向服务器200发送的功能。车载系统300设置于基于从服务器200传送的信息来实施引导的车辆(引导车辆)。
车载系统100具有控制部120、存储介质130、摄像头140、GNSS接收部141、车速传感器142、陀螺仪传感器143、用户I/F部144、以及通信部145。控制部120是具有CPU、RAM、ROM等的计算机。车载系统100能够由控制部120执行存储于存储介质130、ROM中的程序。在存储介质130中预先地存储有地图信息130a和车体信息130b。另外，在存储介质130中存储有包括在行驶过程中拍摄到的图像以及与该图像对应关联的信息的图像信息130c。
地图信息130a是用于探测车辆的当前位置的确定、路径引导等的信息，包括表示在探测车辆行驶的道路上设定的节点的位置等的节点数据、表示用于确定节点间的道路的形状的形状插值点的位置等的形状插值点数据、表示节点彼此的连接的道路链数据、表示在道路及其周边存在的地上物的位置或形状等的地上物数据等。此外，在本实施方式中，节点表示交叉点。另外，在道路链数据中对应关联有表示该道路链数据所表示的道路区间存在的车道的数量以及种类、车道的宽度的信息。在本实施方式中，节点、形状插值点所表示的位置表示道路区间上的中央线的位置，能够根据该位置、车道的数量以及车道的宽度来确定车道的位置、车道所存在的范围。车体信息130b是搭载有车载系统100的探测车辆的车体的信息，车体信息130b包括表示探测车辆的全长、整体宽度、高度等车体的尺寸的信息。
GNSS接收部141是接收Global Navigation Satellite System(全球导航卫星系统)的信号的装置，接收来自导航卫星的电波，经由未图示的接口输出用于计算探测车辆的当前位置的信号。控制部120获取该信号并获取地图的坐标系中的探测车辆的当前位置(纬度、经度等)。车速传感器142输出与探测车辆所具有的车轮的旋转速度对应的信号。控制部120经由未图示的接口获取该信号，来获取车速。陀螺仪传感器143检测关于探测车辆的水平面内的旋转的角加速度，并输出与探测车辆的朝向对应的信号。控制部120获取该信号来获取探测车辆的行进方向。车速传感器142以及陀螺仪传感器143等用于确定探测车辆的行驶轨迹，在本实施方式中，基于探测车辆的出发地和行驶轨迹来确定当前位置，基于该出发地和行驶轨迹所确定的探测车辆的当前位置基于GNSS接收部141的输出信号被校正。
摄像头140是获取朝向探测车辆的前方的视野内的图像的装置。摄像头140的光轴固定于探测车辆，在车载系统100中该光轴的方向可以是已知的。在本实施方式中，摄像头140以探测车辆的车宽方向与光轴中心垂直且探测车辆的行进方向前方包含在视野内的姿势，安装于探测车辆。控制部120能够获取该摄像头140的输出的图像，并通过由特征量的提取等来解析图像，来检测拍摄图像中包含的检测对象的图像。
用户I/F部144是用于输入利用者的指示或者用于向利用者提供各种信息的接口部，并且具有未图示的触摸面板方式的显示器、扬声器等。即，用户I/F部144具有图像、声音的输出部以及用户的指示的输入部。用户I/F部144的输出部能够作为通过该输出部的输出来引导任意的信息的引导部发挥功能(后述的用户I/F部344也一样)。通信部145包括用于与其他的装置进行无线通信的电路。在本实施方式中，控制部120能够经由通信部145通过无线通信与服务器200交换各种的信息。
控制部120能够执行包含当前位置的地图的显示、引导到目的地的路径的未图示的导航程序。另外，控制部120当从由摄像头140拍摄到的图像中检测在道路上存在的障碍物时，能够实现获取将障碍物的位置和该图像对应关联的障碍物信息的功能。该功能能够通过障碍物信息获取程序121来实现。为了实现该功能，障碍物信息获取程序121具有图像获取部121a、图像识别部121b、以及障碍物信息获取部121c。关于引导控制部121d，将在第三实施方式中说明。
图像获取部121a是使控制部120执行获取对探测车辆正行驶的道路进行拍摄而得到的图像的功能的程序模块。在本实施方式中，在探测车辆正在行驶的过程中，控制部120每隔恒定周期对摄像头140进行控制，拍摄包括探测车辆的前方的道路在内的风景。通过拍摄从摄像头140输出的图像作为图像信息130c被存储在存储介质130中。此外，在本实施方式中，控制部120基于GNSS接收部141、车速传感器142、陀螺仪传感器143的输出信号，来获取探测车辆的当前位置，将拍摄图像时的探测车辆的当前位置以及拍摄时刻对应关联并作为图像信息130c存储于存储介质130。此外，控制部120通过地图匹配处理来获取探测车辆正在行驶的道路区间。另外，控制部120通过后述的图像识别处理来检测车道的边界线、中央线、车道外侧线等划分线的位置，从而能够获取探测车辆正在行驶的车道。
图像识别部121b是使控制部120实现从图像检测道路上的障碍物和车道的功能的程序模块。控制部120进行图像识别处理来检测检测对象。在本实施方式中，检测对象包括周边车辆(乘用车、卡车、公共汽车、两轮车等)、交通标志、信号灯、道路周边的构造物(电线杆、护栏等)、路面标识(文字、人行横道、中央线、车道边界线、车道外侧线等)等。
控制部120获取图像信息130c，实施基于透镜的失真校正等。控制部120对失真校正后的图像，识别在车道外侧线、车道边界线、中央线等在路上喷涂的线。划分线识别处理可以通过各种方法来实施。例如，可举出控制部120执行利用霍夫变换等的直线检测处理，由检测出的直线夹着的区域的颜色为白色等规定的颜色，在该区域的宽度为规定距离以内的情况下，识别为车道边界线等、中央线等在路上进行了喷涂的线的处理等。
进而，控制部120使用YOLO(You Only Look Once)、图案匹配等，执行用于检测上述的检测对象的图像识别处理。图像识别处理的结果，控制部120从拍摄图像中检测检测对象的图像。此外，上述的划分线识别处理也可以通过YOLO或图案匹配等来进行。例如，当识别作为检测对象之一的周边车辆时，控制部120在图像内确定包围该周边车辆的边界框。边界框的大小以及位置表示周边车辆的图像的大小、拍摄到的图像内的周边车辆的位置。图2A是表示由摄像头140拍摄并进行了失真校正后的图像I的一例的图。如图2A所示，在本实施方式中，边界框B是包围从图像I检测出的周边车辆的矩形区域。
边界框B的大小、位置例如由边界框B的左上的顶点的坐标和右下的顶点的坐标来表示。控制部120根据边界框B的对角两个顶点的坐标，获取边界框B的高度h(像素数)和边界框B的代表坐标Bo(x、y)。代表坐标Bo例如是边界框B的中心坐标(宽度方向以及高度方向的中点)等。控制部120基于边界框B的代表坐标Bo的位置，确定从探测车辆观察到的周边车辆的相对方位。另外，控制部120基于边界框B的高度h以及周边车辆的种类，来确定从探测车辆到周边车辆的距离。
具体而言，在图像I内的各坐标中对应关联有以探测车辆为基准的情况下的映现于该坐标的物体的相对方位，并将表示对应关系的信息存储于存储介质130。控制部120基于该对应关系，获取映现于代表坐标Bo的周边车辆的相对方位。在本实施方式中，定义以探测车辆为基准的车辆坐标系。车辆坐标系是由相互正交的车宽轴(图2B所示的X轴)和车长轴(图2B所示的Y轴)定义的坐标系。
图2B表示包括车宽轴和车长轴的平面。在该图中，点O是探测车辆的车辆坐标系的原点。在图2B的例子中，车长轴与表示探测车辆正行驶的道路区间的道路链平行。相对方位例如由将车辆坐标系的原点O和与代表坐标Bo对应的地点P连接的直线SL与车长轴所成的角度(θ)来表现(例如在θ为负值的情况下，朝向行进方向前方为车长轴的左侧，在正值的情况下为右侧)。
进而，控制部120通过图像识别处理来确定边界框B内的周边车辆的种类。周边车辆的种类可以分类为例如公共汽车、卡车、乘用车、两轮车等。另外，在本实施方式中，对周边车辆的每个种类规定了代表的车高(例如乘用车的情况为1.5[m]等)。进而，预先测量探测车辆与周边车辆的直线距离、以及由摄像头140对该周边车辆进行拍摄的情况下的边界框B的高度h。而且，针对周边车辆的每个种类，在存储介质130中存储有表示边界框B的高度h与以车辆坐标系的原点为基准的直线距离之间的对应关系的信息。
例如，将如果包围车高的代表的实际尺寸为1.5[m]的乘用车的边界框的高度为h1像素，则直线距离为D1[m]，如果为h2像素，则直线距离为D2[m]这些内容对应关联。对于公共汽车、卡车、两轮车等其他种类，也分别将表示对应关系的信息存储于存储介质130。控制部120基于该对应关系，计算与边界框B的高度h对应的直线距离D(参照图2B)。如上所示，控制部120基于摄像头140拍摄到的图像，获取图像内所包含的周边车辆的相对方位θ与探测车辆的直线距离D。
在本实施方式中，按照摄像头140的每个拍摄周期拍摄图像，针对各图像进行周边车辆的确定以及直线距离、相对方位的确定。因此，能够在数帧的拍摄过程中识别同一周边车辆。因此，在本实施方式中，控制部120在拍摄同一周边车辆的期间，对该周边车辆赋予相同的识别信息。因此，控制部120确定确定了相对方位θ和直线距离D的各周边车辆的图像的特征(例如，颜色、边界框B内的图案等)，并将与该特征对应的识别信息(例如编号等)与表示相对方位θ、直线距离D、周边车辆的特征的信息以及图像的拍摄时刻对应关联地存储在存储介质130中。
每当拍摄图像时，为了对同一周边车辆赋予同一识别信息，控制部120参照存储介质130，判定上一张的图像和与由最新的图像识别出的周边车辆对应关联的图像的特征是否一致。在一致的情况下，控制部120也对由最新的图像识别出的周边车辆赋予在上一张的图像中对周边车辆赋予的识别信息。其结果，对由摄像头140持续拍摄的周边车辆赋予同一识别信息。当然，即使在连续的帧中拍摄到特征同一的图像，控制部120也可以进行在两者的图像的距离为阈值以上的情况下，不视为同一等的各处理。无论哪种情况，在检测到赋予了同一识别信息的图像的期间，都能够视为持续检测到同一周边车辆。
接着，控制部120获取由图像识别处理识别出的各周边车辆的相对方位θ、直线距离D、以及与特征对应的识别信息。即，每当获取图像信息130c时进行图像识别处理，因此，控制部120根据在当前以前的规定期间内拍摄到的图像信息130c中实施的图像识别处理的结果，按照时间序列获取在该规定期间得到的相对方位θ、直线距离D、以及与特征对应的识别信息。
另外，控制部120获取与成为相对方位θ以及直线距离D的计算源的图像信息130c分别对应关联的探测车辆的当前位置(由摄像头140拍摄图像信息130c时的当前位置)、行进方位(车长轴所示的方位)。然后，控制部120基于相对方位θ、直线距离D、探测车辆的当前位置以及探测车辆的行进方位，获取地图的坐标系中的周边车辆的位置。即，针对对应关联了相同的识别信息的每个周边车辆，获取地图的坐标系中的位置。
进而，控制部120确定周边车辆所处的道路区间以及车道。即，控制部120基于探测车辆正行驶的道路区间及其周边的道路区间的节点数据以及形状插值数据和周边车辆的位置，来确定该周边车辆所处的道路区间，并基于该道路区间的节点数据以及形状插值数据，来确定该道路区间上的中央线的位置。进而，控制部120参照地图信息130a并基于该道路区间的车道信息，来确定该道路区间上的车道的宽度。然后，控制部120基于中央线与周边车辆的距离，来获取周边车辆所处的车道。此外，也可以基于从图像检测出的周边车辆所处的车道的区域的宽度方向的两端的划分线的线种以及从地图信息130a获取到的车道信息，来确定周边车辆所处的车道。
在当前以前的规定期间内拍摄到的图像信息130c中，在某个识别信息的周边车辆的位置的变化量为阈值以下的情况下，控制部120将该周边车辆视为停止车辆。另外，在本实施方式中，由于交通堵塞而停止的周边车辆不视为障碍物。具体而言，例如，在探测车辆和朝向与该探测车辆的行进方向相同的行进方向的周边车辆均停止的情况下，控制部120将停止的周边车辆不视为障碍物。另一方面，周边车辆停止在确定的位置，而探测车辆、朝向与该探测车辆的行进方向相同的行进方向的其他周边车辆正在移动的情况下，控制部120将停止的周边车辆视为障碍物。另外，例如，在判定为该周边车辆所处的车道的行进方向与探测车辆的行进方向相同，探测车辆已经经过该周边车辆的旁边而该周边车辆持续停止的情况下，控制部120将该周边车辆视为障碍物。
接下来，对车辆以外的障碍物的检测进行说明。控制部120将在图像内被划分线夹着的区域确定为路面(车道)的区域。控制部120在划分线以外的路面标识存在于图像内的情况下识别该路面标识。而且，控制部120在检测到路面(车道)的区域中至少包含一部分的物体即路面标识以外的物体的情况下，获取以探测车辆为基准的该物体的相对位置。例如控制部120能够根据该物体的例如中央部在图像内的坐标，来获取该物体与探测车辆的直线距离、相对方位。控制部120基于图像拍摄时的探测车辆的当前位置以及行进方位、该直线距离、相对方位，来确定地图的坐标系中的该物体的位置。在当前以前的规定期间内拍摄到的图像信息130c中，按时间序列针对同一物体获取位置。在该物体的位置的变化量为阈值以下的情况下，控制部120将该物体视为障碍物。
障碍物信息获取部121c是使控制部120实现基于图像中的障碍物所处的车道的可通行宽度，获取将障碍物的位置与图像对应关联的障碍物信息的功能的程序模块。在本实施方式中，基于图像，计算障碍物所处的车道的可通行宽度，在可通行宽度为规定值以下的情况下，将障碍物信息发送至服务器200。可通行宽度是车道的整体宽度中的未被障碍物占据的部分的宽度。控制部120根据障碍物所处的车道上的障碍物的位置，来确定在车道中未被障碍物占据的部分，计算该部分在实际空间中的宽度。具体而言，例如，控制部120获取障碍物的图像的底部的水平方向上的端部的图像内的坐标，计算在图像内从该端部向水平方向延伸的直线与表示障碍物所处的车道的边界的划分线的交点的坐标。控制部120获取将端部和交点连接的线段的长度(像素数)。图2A的w表示包含障碍物的图像的一例中的该线段。在图像I中，针对每个y坐标预先定义x方向的像素数与实际空间中的距离之间的对应关系，该对应关系被存储在存储介质130中。根据端部以及交点的y坐标、将端部与交点连接的线段的长度(像素数)、以及该对应关系，控制部120能够获取障碍物的端部与表示车道的边界的划分线之间的实际距离(可通行宽度)。
控制部120判定该可通行宽度是否为规定值以下。规定值是用于辨别是否存在为了躲避障碍物而驶出到障碍物所处的车道的外侧进行行驶的可能性的值。例如，能够采用从车道的宽度本身的值到对能够设想的车辆最大宽度追加规定的余量的值为止的值作为规定值。控制部120在可通行宽度为规定值以下的情况下，获取将包含图像信息130c中的作为对象的障碍物的至少一个的图像与该障碍物的位置对应关联的障碍物信息，并发送至服务器200。障碍物的位置包括地图的坐标系中的坐标、表示障碍物所处的道路区间的道路链ID、障碍物所处的车道的识别信息。此外，障碍物信息也可以包括图像的拍摄日期时间、拍摄时的探测车辆的位置。在可通行宽度大于规定值的情况下，在本实施方式中，控制部120不将障碍物信息发送至服务器200。因此，在该情况下，在本实施方式中，在引导车辆中不进行与该障碍物相关的引导。
此外，在本实施方式中，在障碍物的种类为车辆且通过图像识别处理而得到的车辆的种类为公共汽车的情况下，控制部120不计算车道的可通行宽度，另外，不将障碍物信息发送至服务器200。此外，也可以构成为，判定被检测为障碍物的公共汽车的停止位置是否为公共汽车停靠站，在是公共汽车停靠站的情况下，不将障碍物信息发送至服务器200。在公共汽车停止在公共汽车停靠站的情况下，控制部120将其视为是用于乘降的临时停车，在本实施方式中，不将关于公共汽车的障碍物信息发送至服务器200。其结果，能够防止没必要地将大量的障碍物信息发送至服务器200。此外，公共汽车停靠站的位置能够基于地图信息130a获取，能够基于探测车辆的位置、朝向(行进方位)和拍摄图像计算公共汽车的位置，通过对照公共汽车的位置和公共汽车停靠站的位置，能够判定公共汽车是否在公共汽车停靠站停车。此外，通过检测表示图像所包含的公共汽车停靠站的招牌等，从而也能够判定为公共汽车的位置相当于公共汽车停靠站。
另外，在本实施方式中，在障碍物的高度为基准以下的情况下，控制部120不将关于该障碍物的障碍物信息发送至服务器200。在障碍物的高度为基准以下的情况(在此，设想为平坦状态的瓦楞纸板、平坦状态的塑料袋、压扁的空罐等薄且平坦的物体)下，视为存在即使不躲避也能够行驶的可能性，不发送障碍物信息。其结果，能够防止没必要地将大量的障碍物信息发送至服务器200。此外，图像内的物体的底部的坐标、从该底部起的图像的高度方向(y方向)中的物体的像素数、以及该物体的实际的高度之间的对应关系预先存储于存储介质130，障碍物的高度能够基于图像内的障碍物的坐标、图像的高度方向(y方向)的障碍物的像素数和该对应关系而获取。
如上所述，根据本实施方式，在基于由探测车辆所具有的摄像头140拍摄到的图像而存在为了躲避障碍物而驶出车道进行行驶的可能性的情况下，能够将将障碍物的位置与图像对应关联的障碍物信息发送至服务器200。因此，无论实际是否进行了躲避操作，都能够获取障碍物信息。例如，也能够从由未进行急打方向盘等躲避操作且未判断为躲避操作程度的缓打方向盘操作等通过了障碍物的探测车辆、为了在障碍物所处的车道以外的车道(例如，相邻的车道、对向车道)上行驶而未进行躲避操作的探测车辆所拍摄到的图像，获取障碍物信息。
接着，对服务器200的结构进行说明。在本实施方式中，服务器200具有将障碍物信息向引导车辆传送的功能。服务器200可以由一台构成，也可以由多台构成。服务器200具有控制部220、存储介质230、通信部240。控制部220是具有CPU，RAM，ROM等的计算机。控制部220能够执行存储于存储介质230、ROM中的障碍物信息获取程序221。
通信部240具有与其他装置进行通信的电路。控制部220能够通过障碍物信息获取程序221的处理，经由通信部240与车载系统100、300等进行无线通信。在存储介质230中存储有地图信息230a。地图信息230a与地图信息130a的结构是共通的。
在本实施方式中，当执行障碍物信息获取程序221时，控制部220作为障碍物信息获取部221a、引导控制部221b发挥功能。在本实施方式中，通过障碍物信息获取部221a的功能，当从搭载于作为探测车辆发挥功能的车辆的车载系统100接收障碍物信息时，控制部220将其(障碍物信息230b)保存于存储介质230。另外，控制部220对障碍物信息所包含的图像进行上述的图像识别处理，检测障碍物，计算障碍物所处的车道中的可通行宽度。控制部220在从多个探测车辆分别获取关于位于同一地点的障碍物的障碍物信息的情况下，例如，也可以根据各障碍物信息所包含的图像分别计算可通行宽度，并计算可通行宽度的统计值。另外，由于障碍物的位置有可能发生变化，因此，也可以将从当前时刻起带恒定时间以前计算出的可通行宽度作为统计值计算的对象以外。
引导控制部221b是使控制部220实现基于障碍物信息进行与障碍物相关的引导的功能的程序模块。此外，在本实施方式中，引导控制部通过服务器200的引导控制部221b和引导车辆的引导控制部32a的协作而被实现。在本实施方式中。服务器200中的引导控制部221b是确定位于包含障碍物的位置的规定范围内的车辆，并将障碍物信息传送至该车辆，在该车辆中进行基于障碍物信息的引导的功能。在本实施方式中，包含障碍物的位置的规定范围也可以设想为以障碍物的位置为中心的规定距离四方的范围、半径规定距离的范围、包含障碍物的位置的网格等。
为了实现该功能，控制部220获取从能够通信的车载系统(搭载于能够成为引导车辆的车辆的车载系统)发送的车辆位置信息，并在存储介质230中保存可能成为引导车辆的车辆的位置。控制部220基于障碍物信息230b，设定包含障碍物的位置的规定范围，确定位于该规定范围内的车辆。此外，也可以在所确定的车辆中包括探测车辆。然后，对所确定的车辆传送障碍物信息。在本实施方式中，从服务器200传送的障碍物信息包括障碍物的位置、障碍物所处的道路区间以及车道、可通行宽度(或者其统计值)。在本实施方式中，从服务器200传送的障碍物信息也可以不包括包含障碍物的图像。
接下来，对搭载于引导车辆的车载系统300的结构进行说明。车载系统300具有控制部320、存储介质330、摄像头340、GNSS接收部341、车速传感器342、陀螺仪传感器343、用户I/F部344、以及通信部345。车载系统300所具有的这些结构具有与车载系统100所具有的140至145的结构相同的功能。另外，存储于存储介质330的地图信息330a是与地图信息130a共通的结构。车体信息330b是搭载有车载系统300的引导车辆的车体的信息，包括该引导车辆的全长、整体宽度、高度等信息。
控制部320能够执行包含引导车辆的当前位置的地图的显示、引导至目的地为止的路径的未图示的导航程序。在本实施方式中，控制部320能够执行作为导航程序的一个功能的障碍物信息获取程序321。障碍物信息获取程序321具有引导控制部321a。引导控制部321a是使控制部320实现基于障碍物信息进行引导的功能的程序模块。控制部320通过引导控制部321a的功能，获取引导车辆的当前位置。另外，构成为将表示引导车辆的当前位置的车辆位置信息以规定的时机发送至服务器200。进而，当从服务器200获取障碍物信息时，控制部320根据障碍物信息确定障碍物的位置、障碍物所处的道路区间以及车道。在引导车辆正行驶在障碍物所处的道路区间以及车道上且未通过障碍物的位置的情况下，控制部320判定引导车辆的通行宽度是否大于可通行宽度。即，控制部320参照车体信息330b，获取引导车辆的整体宽度，计算在整体宽度加上规定的余量的宽度后的通行宽度。
预想在引导车辆的通行宽度大于作为障碍物信息而接收到的可通行宽度的情况下，为了躲避障碍物而驶出到相邻的车道，控制部320进行将障碍物所处的车道以外的车道作为推荐车道的车道变更引导。在引导车辆的通行宽度为可通行宽度以下的情况下，判断为即使不驶出到相邻的车道也能够躲避障碍物，控制部320进行报告存在障碍物的情况并催促注意唤起的引导。引导车辆的通行宽度根据引导车辆的整体宽度等而不同，因此，如本实施方式那样，通过针对每个引导车辆计算引导车辆的通行宽度并与可通行宽度进行比较，能够对需要进行车道变更的引导车辆进行车道变更引导。
控制部320通过在用户I/F部344的触摸面板显示器所显示的地图中，在障碍物的位置显示表示障碍物的图标，来通知障碍物的位置。另外，也可以计算沿着引导车辆到障碍物的道路的距离K[m]，通过声音通知在K[m]前方存在障碍物。另外，在进行车道变更引导的情况下，控制部320通过显示车道列表图等来通知正在行驶的道路区间的车道中的障碍物所处的车道、和与该车道不同的推荐车道。
此外，引导车辆的车载系统300也可以具有与探测车辆的车载系统100同等的功能。即，也可以构成为，在通过从服务器200发送的障碍物信息所示的障碍物的位置时，将被引导车辆拍摄到的图像与障碍物的位置对应关联的障碍物信息发送至服务器200。这样一来，服务器200能够基于从引导车辆发送的图像，来识别障碍物还存在于道路上(未从道路撤去)。另外，由于对同一障碍物进行拍摄而得到图像的蓄积数量增加，因此，基于该图像计算的可通行宽度的统计值的可信度变高。
此外，也可以构成为，引导车辆的控制部320对在该障碍物的位置的规定距离前(在摄像头340的视野内包含障碍物的位置的程度的距离)由摄像头340拍摄到的图像进行解析，即使没有从图像识别出障碍物的存在，也将图像与拍摄时的引导车辆的位置以及拍摄日期时间对应关联地发送至服务器200。这样一来，在服务器200中，若从引导车辆获取该图像、拍摄日期时间、拍摄位置，则对图像进行图像识别处理，在障碍物已被撤去的情况下，能够识别出障碍物不包含在图像中。在基于一个以上的图像识别出到目前为止拍摄到障碍物存在的位置的图像中不包含障碍物的情况下，服务器200的控制部220也可以判定为障碍物从路上已被撤去，之后结束该障碍物的障碍物信息的传送。
(1-2)障碍物信息获取处理：
接着，参照图3A对在探测车辆的车载系统100中控制部120所执行的障碍物信息获取处理进行说明。图3A的处理每经过恒定时间被执行。当开始图3A的障碍物信息获取处理时，控制部120获取探测车辆的当前位置(步骤S100)。即，控制部120通过GNSS接收部141、车速传感器142、陀螺仪传感器143的输出、使用了地图信息130a的地图匹配处理，获取探测车辆的当前位置以及正在行驶的道路区间(道路链)。另外，检测由摄像头140拍摄到的图像中包含的划分线并确定探测车辆行驶中的车道。
接着，控制部120通过图像获取部121a的处理，获取拍摄图像(步骤S102)。即，控制部120获取由摄像头140拍摄到的图像。接着，控制部120通过图像识别部121b的功能，进行图像识别(步骤S105)。即，控制部120针对在步骤S102中获取到的图像，进行用于检测检测对象的图像识别处理。然后，如上所述地进行车道、障碍物的检测。
接着，控制部120通过图像识别部121b的功能，来判定障碍物是否存在(步骤S110)。即，控制部120判定步骤S105的图像识别处理的结果是否检测到障碍物。在步骤S110中未判定为存在障碍物的情况下，控制部120结束障碍物信息获取处理。在步骤S110中判定为有障碍物的情况下，控制部120通过图像识别部121b的功能，判定障碍物是否为车辆(步骤S115)。即，控制部120判定在图像中是否检测到尽管周围的车辆正在行驶但仍继续停止的车辆。
在步骤S115中判定为障碍物是车辆的情况下，控制部120判定障碍物是否为公共汽车(步骤S120)。即，控制部120判定通过图像识别处理得到的周边车辆的种类是否为公共汽车。在步骤S120中判定为障碍物为公共汽车的情况下，控制部120结束障碍物信息获取处理。
在步骤S115中未判定为障碍物是车辆的情况下，控制部120判定车辆以外的障碍物的高度是否为基准以上(步骤S125)。即，控制部120基于图像的高度方向上的障碍物的像素数和障碍物的图像中的坐标等，来计算障碍物的高度。在步骤S125中未判定为高度为基准以上的情况下，控制部120结束障碍物信息获取处理。
在步骤S120中未判定为障碍物是公共汽车的情况下，即，在障碍物是乘用车、卡车等公共汽车以外的停止车辆的情况下，控制部120通过障碍物信息获取部121c的功能，来计算可通行宽度(步骤S130)。另外，在步骤S125中判定为高度为基准以上的情况下，控制部120也执行步骤S130。在步骤S130中，车道的整体宽度中的未被障碍物占据的部分的宽度被计算为可通行宽度。
在执行步骤S130之后，控制部120通过障碍物信息获取部121c的功能，判定可通行宽度是否为规定值以下(步骤S135)，在为规定值以下的情况下，将障碍物的位置与图像对应关联的障碍物信息发送至服务器200(步骤S140)。在本实施方式中，障碍物信息包括：包含障碍物的至少一个的图像、该障碍物的位置(地图的坐标系中的坐标、表示障碍物所处的道路区间的道路链ID、障碍物所处的车道的识别信息)、图像的拍摄日期时间、拍摄时的探测车辆的位置等。在步骤S135中未判定为可通行宽度为规定值以下的情况下，控制部120结束障碍物信息获取处理。
图3B是由服务器200执行的障碍物信息获取处理的流程图。图3B的处理每经过恒定时间被反复执行。当开始图3B的处理时，控制部220通过障碍物信息获取部221a的功能，获取障碍物信息(步骤S200)。即，控制部220获取从探测车辆的车载系统100接收到的障碍物信息，根据障碍物信息来获取障碍物所处的道路区间(道路链)。
接着，控制部220通过引导控制部221b的功能，获取车辆位置信息(步骤S205)。即，控制部220获取从引导车辆的车载系统300发送的车辆位置信息。
接着，控制部220将障碍物信息发送至包含障碍物的位置的规定范围内的引导车辆(步骤S210)。即，控制部220基于在步骤S200中获取的障碍物信息和在步骤S205中获取的车辆位置信息，确定位于包含障碍物的位置的规定范围内的引导车辆，向该引导车辆的车载系统300传送障碍物信息。
图3C是由车载系统300执行的障碍物信息获取处理的流程图。图3C所示的处理每经过恒定时间被反复执行。当开始图3C所示的障碍物信息获取处理时，控制部320通过引导控制部321a的功能来获取当前位置(步骤S300)。即，控制部320通过GNSS接收部341、车速传感器342、陀螺仪传感器343的输出、使用了地图信息330a的地图匹配处理，来获取引导车辆的当前位置以及行驶中的道路区间(道路链)。另外，控制部320检测摄像头340所拍摄到的图像中包含的划分线并确定引导车辆正在行驶的车道。
接着，控制部320通过引导控制部321a的功能来获取障碍物信息(步骤S305)。即，控制部320获取从服务器200传送的障碍物信息。障碍物信息包括障碍物所处的道路区间以及车道。
接着，控制部320通过引导控制部321a的功能，判定引导车辆是否正在行驶在障碍物所处的道路区间以及车道且还未通过障碍物(步骤S310)。即，控制部320判定引导车辆是否正行驶在与障碍物相同的道路区间且正行驶在与障碍物所处的车道相同的车道。在道路区间和车道均相同的情况下，控制部320基于引导车辆的当前位置和障碍物的位置、道路区间的形状、车道的行进方向，来判定引导车辆是未通过障碍物还是已经通过了障碍物。
在步骤S310中，在未判定为引导车辆正行驶在障碍物所处的道路区间以及车道且未通过障碍物的情况下，控制部320结束图3C的处理。在步骤S310中，在判定为引导车辆正行驶在障碍物所处的道路区间以及车道且未通过障碍物的情况下，控制部320通过引导控制部321a的功能，判定引导车辆的通行宽度是否大于可通行宽度(步骤S315)。即，控制部320基于车体信息330b获取引导车辆的通行宽度，将该通行宽度与由服务器200获取到的可通行宽度进行比较。在步骤S315中，在判定为引导车辆的通行宽度大于可通行宽度的情况下，控制部320通过引导控制部321a的功能，进行车道变更引导(步骤S320)。在步骤S315中，在未判定为引导车辆的通行宽度大于可通行宽度的情况下，控制部320通过引导控制部321a的功能，进行注意唤起引导(步骤S325)。此外，也可以进行步骤S320、步骤S325的引导，而不管是否是到目的地的路径引导中。
(2)第二实施方式：
第二实施方式与第一实施方式不同的点在于，根据可通行宽度向服务器200发送的障碍物信息的内容。参照图3A具体地说明。在步骤S130中，基于图像计算可通行宽度之后，判断可通行宽度是否为规定值以下，在非规定值以下的情况下(步骤S135：否)，将包含障碍物的位置但不包含图像的障碍物信息发送至服务器200。在可通行宽度为规定值以下(步骤S135：是)的情况下，与第一实施方式同样地，将障碍物的位置与图像对应关联的障碍物信息发送至服务器200(步骤S140)。在该情况下，作为规定值，例如能够采用对能够设想的车辆最大宽度追加了规定的余量的值。即，在判断为即使是整体宽度最大的车辆也不会行驶到车道外地通行的情况下，障碍物的位置上传至服务器200，但包含障碍物的图像不上传至服务器200(该情况的障碍物信息不包含图像但包含障碍物的位置)。这样，在本实施方式的情况下，针对对大多数的车辆的通行不会造成大的影响的程度的障碍物不发送图像，因此，能够防止没必要地将大量的图像发送至服务器200。
图4A是第二实施方式的服务器200中的障碍物信息获取处理的流程图，图4B是第二实施方式的引导车辆的车载系统300中的障碍物信息获取处理的流程图。在图4A以及图4B中，用粗线框示出与第一实施方式不同的处理步骤。在服务器200中，在接收到包含障碍物的位置但不包含图像的障碍物信息的情况下(图4A的步骤S206中判定为否)，控制部220向位于包含障碍物的位置的规定范围内的引导车辆发送包含障碍物的位置和实施注意唤起引导的意思的障碍物信息(步骤S207)。在车载系统300中，在从服务器200接收到的障碍物信息中包含进行注意唤起引导的意思的情况下(在图4B的步骤S306中判定为是)，在到达障碍物的位置之前通知障碍物的位置并进行注意唤起引导(步骤S325)。
另一方面，在服务器200中，在接收到将障碍物的位置与图像对应关联的障碍物信息的情况下(在图4A的步骤S206中判定为是)，控制部220与第一实施方式同样地，对接收到的图像进行图像识别处理并计算可通行宽度，将包含障碍物的位置和可通行宽度的障碍物信息发送至车载系统300(步骤S210)。在车载系统300中，从服务器200接收到的障碍物信息中不包含进行注意唤起引导的意思的情况下(在图4B的步骤S306中判定为否)，与第一实施方式同样地，进行步骤S310以后的处理。
(3)第三实施方式：
在第三实施方式中，探测车辆的车载系统100的控制部120除了图像获取部121a、图像识别部121b、障碍物信息获取部121c以外，还具有引导控制部121d。图5是第三实施方式的探测车辆的障碍物信息获取处理的流程图。在图5中用粗框示出了与第一实施方式不同的处理步骤。在第三实施方式中，当通过对拍摄图像进行的图像识别处理来识别应该引导的障碍物的存在时，车载系统100的控制部120基于图像来计算可通行宽度(步骤S130)。然后，控制部120通过引导控制部121d的功能，来判定探测车辆是否正行驶在障碍物所处的车道(步骤S145)。在步骤S145中，在未判定为正行驶在障碍物的车道的情况下，控制部120结束障碍物信息获取处理。在步骤S145中，在判定为正行驶在障碍物的车道的情况下，控制部120通过引导控制部121d的功能，判定探测车辆的通行宽度是否大于可通行宽度(步骤S150)。在探测车辆的通行宽度大于可通行宽度的情况下(在步骤S150中判定为是)，控制部120通过引导控制部121d的功能，进行将障碍物所处的车道以外的车道作为推荐车道的车道变更引导(步骤S155)。另外，在探测车辆的通行宽度为可通行宽度以下的情况下(在步骤S150中判定为否)，控制部120通过引导控制部121d的功能，通过通知障碍物的位置而进行注意唤起引导(步骤S160)。此外，探测车辆的通行宽度是对车体信息130b的整体宽度追加了规定的余量后的值。根据本实施方式，在检测到障碍物的探测车辆中，也能够不经由服务器200地进行用于应对障碍物的引导。
(4)其他实施方式：
以上的实施方式是为了实施本发明的一例，除此以外，还能够采用各种实施方式。例如，障碍物信息获取系统可以是搭载于车辆等的装置，也可以是由可移动型的终端来实现的装置，也可以是由多个装置(例如，车载系统100内的控制部120和摄像头140内的控制部等)实现的系统。另外，构成障碍物信息获取系统的图像识别部、障碍物信息获取部的功能也可以由服务器实现。另外，图像识别部、障碍物信息获取部的功能也可以由引导车辆的车载系统实现。车载系统300、车载系统100都能够成为探测车辆的车载系统，也都能够成为引导车辆的车载系统。也可以省略上述实施方式中的一部分的结构，也可以变动或省略处理的顺序。
图像获取部只要能够获取对探测车辆正在行驶的道路进行拍摄而得到的图像即可。安装于探测车辆的摄像头可以是在视野中包含探测车辆的前方的道路的摄像头，也可以是在视野中包含后方的道路、侧方的道路的摄像头。以能够确定摄像头所拍摄到的图像中包含的物体的位置(以探测车辆为基准的相对位置)的方式预先调整即可。如果能够获取以探测车辆为基准的相对位置，则能够基于该相对位置和探测车辆的绝对位置，获取物体的绝对位置。
图像识别部只要能够从图像中检测道路上的障碍物和车道即可，可以采用任意方法。例如，所拍摄到的图像中是否包含障碍物也可以通过与障碍物所具有的图案进行对照来进行，也可以使用将障碍物的图像作为教师数据进行机器学习而得到的模型来进行。另外，图像识别部只要能够基于图像来确定障碍物所处的道路区间中的全部车道中的障碍物所处的车道即可。此外，表示障碍物、车道的边界的划分线也可以通过并用摄像头和摄像头以外的检测装置(例如雷达、LiDAR等)来检测。
障碍物信息获取部只要能够基于图像中的障碍物所处的车道的可通行宽度，获取将障碍物的位置与图像对应关联的障碍物信息即可。障碍物是成为车辆通行时的阻碍的物体即可。障碍物可以是存在于路面上的物体，例如是形成于道路的凹部。在是凹部的情况下，大小小于大小基准的情况、深度浅于深度基准的情况可以作为障碍物信息获取的对象以外。
障碍物信息是至少将包含障碍物的图像与该障碍物的位置对应关联的信息。障碍物的位置既可以是直接表示障碍物的位置的坐标，也可以是间接表示的信息。在为后者的情况下，例如障碍物信息也可以是包含障碍物的图像拍摄时的探测车辆的位置以及行进方位与拍摄图像对应关联的信息。
能够与服务器进行通信的车载系统也可以构成为，将车辆位置信息也与搭载有该车载系统的车辆的ID对应关联地发送到服务器，还可以构成为：还将车体信息与车辆的ID对应关联地发送。在该情况下，能够在服务器中基于各车辆的车体信息来确定各车辆的通行宽度，能够在服务器中进行可通行宽度与引导车辆的通行宽度的大小比较。然后，对于通行宽度大于可通行宽度的引导车辆的车载系统，如果正行驶在障碍物所处的车道，则通知进行车道变更引导，对于通行宽度为可通行宽度以下的引导车辆的车载系统，也可以通知进行注意唤起引导。而且，在引导车辆的车载系统中，也可以构成为按照该通知进行引导。
另外，在上述实施方式中，虽然将障碍物信息向位于包含障碍物的位置的规定范围内的引导车辆传送，但也可以进一步限定传送目的地。例如，可以向正行驶在障碍物所处的道路区间的车辆发送障碍物信息，还可以向正行驶在障碍物所处的车道的车辆集中发送障碍物信息。另外，在到目的地为止的路径已被设定的情况下且在路径中包含障碍物所处的道路区间的情况下，也可以向该车辆发送障碍物信息。
此外，在上述实施方式中，虽然构成为在探测车辆中进行图像识别处理并计算可通行宽度，在服务器中再次对图像进行图像识别处理并计算可通行宽度，但也可以在探测车辆中计算出可通行宽度的情况下，在服务器中不再次进行图像识别处理。即，也可以将作为由探测车辆的图像识别处理的结果而获取到的可通行宽度包含在障碍物信息中来发送至服务器，在服务器中采用从探测车辆发送来的可通行宽度来进行引导控制部的处理。另外，例如，也可以采用在服务器中不进行针对图像的图像识别处理而在引导车辆中进行针对图像的图像识别处理，来获取可通行宽度的结构。在该情况下，从服务器向引导车辆传送的障碍物信息包括障碍物的位置、包含障碍物的至少一张的图像。
另外，服务器从探测车辆接收到的包含障碍物的图像也可以被用在用于计算可通行宽度的图像识别处理以外。例如，在服务器中，也可以为了确定障碍物的种类(车辆、轮胎、箱、袋、动物的尸体等)而进行图像识别处理。另外，例如也可以收集图像作为用于通过机器学习生成在图像中是否包含障碍物的模型、从包含障碍物的图像获取障碍物的种类的模型等的教师数据。另外，例如，也可以用于在引导车辆的引导控制部中显示该图像的障碍物部分。
另外，在上述实施方式中，列举图像内所包含的障碍物的个数为一个的例子进行了说明，但在同一车道存在多个障碍物的情况下也能够基于可通行宽度获取障碍物信息。在同一车道存在多个障碍物的情况下，如果道路的延伸方向上的各障碍物的间隔小于预先决定的值且道路的宽度方向上的各障碍物的间隔例如小于预先决定的值，则可以视为一个障碍物来计算可通行宽度。
引导控制部也可以在正行驶在障碍物所处的第一车道以外的第二车道的第二车辆中也进行注意唤起引导。由于在正行驶在障碍物所处的第一车道的第一车辆有可能突然行驶到第一车道以外的车道(例如第二车道)，因此，也可以进行注意唤起引导。第二车道可以是行进方向与第一车道相同的车道，也可以是对向车道(无中央隔离带)。第二车道可以是与第一车道相邻的车道，第二车道和第一车道也可以隔着一个以上的车道而相邻。
此外，不仅在具有多个车道的道路区间存在障碍物的情况下，在道路区间仅存在单一车道的情况下，也可以通知障碍物的位置并进行注意唤起的引导。在仅存在单一车道的道路区间中，在障碍物的位置的可通行宽度为车辆的通行宽度以下的情况下，引导控制部也可以构成为引导该道路区间的躲避。
引导控制部也可以由服务器实现。即，服务器的引导控制部221b进行引导车辆的确定，进行引导车辆中的引导的内容(车道变更引导、注意唤起等)的选定和引导车辆中的引导时机(引导实施地点)的决定，将引导内容、引导时机的信息向引导对象发送。也可以构成为，在引导车辆中按照该信息控制用户I/F部344来执行引导。
可通行宽度也可以是在障碍物所处的车道上距路面的高度方向上的未被障碍物占据的部分的长度。例如，图6示出了在道路上从路面经由空间存在障碍物的例子。作为这样的障碍物，例如可以设想是树木的枝干、招牌、或者这些的飞离物等。图6示意性地示出了道路旁边的树木的枝干的一部分向道路伸出的例子。图像识别部通过YOLO、图案匹配、轮廓检测等图像识别处理，来检测车道、障碍物。在该例的情况下，障碍物是向道路伸出的枝干、树叶的部分。图像识别部获取将障碍物的下端部从铅垂上方向路面投影的情况下的地点P1的、从探测车辆观察到的相对方位θ和直线距离D。然后，图像识别部基于该相对方位θ、直线距离D、探测车辆的当前位置以及行进方位，获取障碍物的地点P1的、地图的坐标系中的位置。另外，障碍物信息获取部获取以障碍物的下端和地点P1为两端的线段wh的长度。预先确定线段Wh的图像内的长度以及线段wh的下端(P1)的图像内的位置与实际空间中的线段wh的长度之间的对应关系，使用该对应关系，图像识别部获取障碍物的下端部与路面的实际空间中的长度(wh)。实际空间中的该长度(wh)是在障碍物所处的车道上距路面的高度方向上的、未被障碍物占据的部分的长度(高度方向上的可通行宽度)。引导控制部使引导车辆获取障碍物的位置、包含障碍物所处的车道的高度方向的可通行宽度的障碍物信息。在引导车辆中，引导车辆的高度方向上的通行宽度(从车体信息获取引导车辆的整体高度，对整体高度追加规定的余量的高度，设为高度方向上的通行宽度)与高度方向上的可通行宽度进行比较，进行与障碍物相关的引导。例如，在引导车辆的高度方向上的通行宽度大于高度方向上的可通行宽度的情况下，进行将障碍物所处的车道以外的车道作为推荐车道的车道变更引导。另外，例如，引导车辆的高度方向上的通行宽度为高度方向上的可通行宽度以下的情况下，进行通知障碍物的存在的注意唤起引导。当然，障碍物信息也可以包括车道的宽度方向上的可通行宽度、以及高度方向上的可通行宽度这两者，也可以进行引导车辆的整体宽度方向上的通行宽度与宽度方向上的可通行宽度的比较、以及引导车辆的高度方向上的通行宽度与高度方向上的可通行宽度(wh)的比较，进行与对应于这些结果的内容的障碍物相关的引导。
进而，如本发明所述，根据对行驶中的道路进行拍摄而得到的图像，检测道路上的障碍物和车道，基于图像中的障碍物所处的车道的可通行宽度，来获取将障碍物的位置与图像对应关联的障碍物信息的方法也能够应用于程序、方法。另外，以上那样的系统、程序、方法既有作为单独的装置来实现的情况，也存在利用与车辆所具有的各部共有的部件来实现的情况，包括各种方式。另外，能够使一部分是软件且一部分是硬件等进行适当地变更。进而，作为控制系统的程序的存储介质，发明也成立。当然，该程序的存储介质既可以是磁存储介质，也可以是半导体存储器，在今后开发的任何存储介质中也能够完全相同地考虑。
附图标记的说明：
100：车载系统、120：控制部、121：障碍物信息获取程序、121a：图像获取部、121b：图像识别部、121c：障碍物信息获取部、121d：引导控制部、130：存储介质、130a：地图信息、130b：车体信息、130c：图像信息、140：摄像头、141：GNSS接收部、142：车速传感器、143：陀螺仪传感器、144：用户I/F部、145：通信部、200：服务器、220：控制部、221：障碍物信息获取程序、221a：障碍物信息获取部、221b：引导控制部、230：存储介质、230a：地图信息、230b：障碍物信息、240：通信部、300：车载系统、320：控制部、321：障碍物信息获取程序、321a：引导控制部、330：存储介质、330a：地图信息、330b：车体信息、340：摄像头、341：GNSS接收部、342：车速传感器、343：陀螺仪传感器、344：用户I/F部、345：通信部、B：边界框、Bo：代表坐标

Claims (5)

1.一种障碍物信息获取系统，其中，
具有：
图像获取部，获取对车辆正在行驶的道路进行拍摄而得到的图像；
图像识别部，根据所述图像检测道路上的障碍物和车道；以及
障碍物信息获取部，基于所述图像中的所述障碍物所处的车道的可通行宽度，获取将所述障碍物的位置与所述图像对应关联的障碍物信息。
2.如权利要求1所述的障碍物信息获取系统，其中，
所述可通行宽度是所述障碍物所处的车道的整体宽度中的未被所述障碍物占据的部分的宽度，
在所述可通行宽度为规定值以下的情况下，获取所述障碍物信息。
3.如权利要求1或2所述的障碍物信息获取系统，其中，
在所述障碍物的高度为基准以下的情况下，不获取所述障碍物信息。
4.如权利要求1至3中任一项所述的障碍物信息获取系统，其中，
所述障碍物信息获取系统具有引导控制部，所述引导控制部基于所述障碍物信息使引导部进行引导，
所述引导控制部在行驶在所述障碍物所处的车道且未通过所述障碍物的位置的引导车辆中，使所述引导部获取所述障碍物信息，所述障碍物信息包括道路上的所述障碍物的位置、以及表示所述障碍物所处的车道的所述可通行宽度的信息，使所述引导部基于所述障碍物的位置和所述可通行宽度，进行与所述障碍物相关的引导。
5.如权利要求1至3中任一项所述的障碍物信息获取系统，其中，
所述障碍物信息获取系统具有引导控制部，所述引导控制部基于所述障碍物信息使引导部进行引导，
所述引导控制部在行驶在所述障碍物所处的车道且未通过所述障碍物的位置的引导车辆中，使所述引导部通知所述障碍物的存在，使所述引导部在所述引导车辆的通行宽度大于所述可通行宽度的情况下，进行将所述障碍物所处的车道以外的车道作为推荐车道的车道变更引导。
CN202180072196.3A 2020-10-22 2021-07-19 障碍物信息获取系统 Pending CN116348933A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020177046 2020-10-22
JP2020-177046 2020-10-22
PCT/JP2021/026924 WO2022085258A1 (ja) 2020-10-22 2021-07-19 障害物情報取得システム

Publications (1)

Publication Number Publication Date
CN116348933A true CN116348933A (zh) 2023-06-27

Family

ID=81290416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180072196.3A Pending CN116348933A (zh) 2020-10-22 2021-07-19 障碍物信息获取系统

Country Status (5)

Country Link
US (1) US20230373475A1 (zh)
EP (1) EP4235616A4 (zh)
JP (1) JP7449497B2 (zh)
CN (1) CN116348933A (zh)
WO (1) WO2022085258A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182753A (ja) * 2003-11-28 2005-07-07 Denso Corp 車両運転支援装置
JP4774849B2 (ja) 2005-07-27 2011-09-14 日産自動車株式会社 車両の障害物表示装置
JP2008143263A (ja) * 2006-12-07 2008-06-26 Mazda Motor Corp 車両の走行制御装置
JP2013037601A (ja) 2011-08-10 2013-02-21 Suzuki Motor Corp 運転支援装置
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
JP2018089990A (ja) 2016-11-30 2018-06-14 三菱自動車工業株式会社 運転支援装置
WO2018179275A1 (ja) 2017-03-30 2018-10-04 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP7135796B2 (ja) 2018-11-30 2022-09-13 トヨタ自動車株式会社 サーバ装置、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
JP6791093B2 (ja) * 2017-10-23 2020-11-25 株式会社デンソー 自動運転制御装置、車両の自動運転制御方法
JP2019151207A (ja) * 2018-03-02 2019-09-12 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7113383B2 (ja) 2018-03-26 2022-08-05 パナソニックＩｐマネジメント株式会社 運転支援システム、運転支援装置、運転支援方法

Also Published As

Publication number Publication date
US20230373475A1 (en) 2023-11-23
EP4235616A4 (en) 2024-03-27
EP4235616A1 (en) 2023-08-30
JP7449497B2 (ja) 2024-03-14
WO2022085258A1 (ja) 2022-04-28
JPWO2022085258A1 (zh) 2022-04-28

Similar Documents

Publication Publication Date Title
CN113034960B (zh) 用于更新精密路线地图的对象变化检测系统及其方法
US9389093B2 (en) Traffic signal recognition apparatus
EP2461305B1 (en) Road shape recognition device
US10984557B2 (en) Camera calibration using traffic sign recognition
CN102208011B (zh) 图像处理系统及车辆控制系统
US11143512B2 (en) Image data generation device for vehicle, travel trajectory data generation system, and storage medium
US20180299893A1 (en) Automatically perceiving travel signals
EP3842751B1 (en) System and method of generating high-definition map based on camera
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
US20180300565A1 (en) Automatically perceiving travel signals
CN111508276B (zh) 基于高精地图的v2x逆向超车预警方法、系统和介质
US11928871B2 (en) Vehicle position estimation device and traveling position estimation method
US10846546B2 (en) Traffic signal recognition device
JP2022024741A (ja) 車両制御装置、車両制御方法
US20180300566A1 (en) Automatically perceiving travel signals
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
JP7449497B2 (ja) 障害物情報取得システム
JP2022007526A (ja) 周辺車両判別システム、周辺車両判別プログラム
CN110550036B (zh) 驾驶辅助设备、车辆及驾驶辅助系统
JP2022112572A (ja) 障害物情報案内システム
EP4092651A1 (en) Nearby vehicle position estimation system, and nearby vehicle position estimation program
WO2023286303A1 (ja) 車両制御装置
WO2023054655A1 (ja) 先行車両判定システム
KR20230106195A (ko) 주차공간 인식방법 및 장치
CN117809285A (zh) 一种应用于港口外集卡的交通标志牌测距方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination