CN114763999A - 地图生成装置、地图生成方法以及地图生成用计算机程序 - Google Patents

Abstract

本发明涉及地图生成装置、地图生成方法及计算机程序。地图生成装置具有：交叉路口检测部(12)，从鸟瞰图像中检测交叉路口和与其连接的多条道路；车道检测部(13)，针对与交叉路口连接的各道路，检测该道路包含的向交叉路口进入的进入车道和从交叉路口退出的退出车道；标示结构检测部(14)，针对各道路，从鸟瞰图像中检测示于该道路的表示车辆可行进方向的道路标示或表示车辆可行进方向的道路结构；及车道网络生成部(15)，针对各道路，基于标示在该道路的进入车道上的道路标示或该道路的结构，以将该道路的进入车道与多条道路中车辆可从该道路的进入车道行进的其他道路的退出车道连结的方式生成表示交叉路口的车道彼此的连接关系的车道网络。

Description

地图生成装置、地图生成方法以及地图生成用计算机程序

技术领域

本发明涉及根据图像生成地图的地图生成装置、地图生成方法以及地图生成用计算机程序。

背景技术

提出了根据表示有道路的图像生成包含被利用于自动地驾驶车辆的信息的地图的技术(参照日本特开2017-54346号公报和日本特开2020-38365号公报)。日本特开2017-54346号公报所公开的道路数据生成装置提取处于地上道路高度的路面高平坦区域，并提取路面高平坦区域中的除去具有比预先设定的道路上限宽度宽的宽度的区域的剩余区域内的中心线作为道路区域种子(开端)。而且该道路数据生成装置使用从DSM(数字表面模型)获得的高度信息和从航拍照片图像获得的光谱信息，从道路区域种子进行区域生长，生成道路区域。另外，日本特开2020-38365号公报所公开的交叉路口内的行驶轨道数据生成装置使用拍摄交叉路口而得到的图像数据识别交叉路口内的道路标示(路标)，依照该识别结果生成行驶轨道数据，该行驶轨道数据是能够确定自动驾驶用的交叉路口内的行驶轨道的数据。

发明内容

作为包含于地图的被利用于自动地驾驶车辆的信息之一，有为了设定被自动驾驶控制的车辆的行驶预定轨迹而参照的表示车道彼此间的连接关系的信息。于是，为了生成地图，特别是关于交叉路口，要求取得表示在与交叉路口连接的各道路间车辆能够行驶的车道间的连接关系的信息。

于是，本发明的目的在于，提供一种地图生成装置，其能够基于鸟瞰图像，在与交叉路口连接的各道路间，自动地提取车辆能够行驶的车道间的连接关系。

作为本发明的一个技术方案，提供一种地图生成装置。该地图生成装置具有：交叉路口检测部，其从鸟瞰图像中检测交叉路口和与交叉路口连接的多条道路；车道检测部，其针对与交叉路口连接的多条道路中的每条道路，检测该道路所包含的向交叉路口进入的进入车道和从交叉路口退出的退出车道；标示结构检测部，其从鸟瞰图像中，针对多条道路中的每条道路，检测该道路中示出的表示车辆能够行进的方向的道路标示或者表示车辆能够行进的方向的道路结构；以及车道网络(lane network)生成部，其针对多条道路中的每条道路，基于该道路的进入车道上所标示的道路标示或者该道路的结构，以将该道路的进入车道与多条道路中的、车辆能够从该道路的进入车道行进的其他道路的退出车道连结的方式，生成表示交叉路口处的车道彼此的连接关系的车道网络。

在该地图生成装置中，优选为，标示结构检测部检测表示车辆能够行进的方向的箭头作为道路标示，车道网络生成部针对多条道路中的每条道路，以将该道路的进入车道仅与多条道路中的该道路以外的其他道路中的、位于由该道路的进入车道上所标示的箭头所示的方向的道路的退出车道连接的方式生成车道网络。

或者，在该地图生成装置中，优选为，标示结构检测部检测将与交叉路口连接的多条道路中的任何一条道路的进入车道和多条道路中的任何一条道路以外的其他道路的退出车道直接连接的旁通路(bypass)作为道路结构，车道网络生成部以将由旁通路连接的进入车道与退出车道连接的方式生成车道网络。

作为本发明的另一技术方案，提供一种地图生成方法。该地图生成方法包括：从鸟瞰图像中检测交叉路口和与交叉路口连接的多条道路；针对与交叉路口连接的多条道路中的每条道路，检测该道路所包含的向交叉路口进入的进入车道和从交叉路口退出的退出车道；从鸟瞰图像中，针对多条道路中的每条道路，检测该道路中示出的表示车辆能够行进的方向的道路标示或者表示车辆能够行进的方向的道路结构；以及针对多条道路中的每条道路，基于该道路的进入车道上所标示的道路标示或者该道路的结构，以将该道路的进入车道与多条道路中的、车辆能够从该道路的进入车道行进的其他道路的退出车道连结的方式，生成表示交叉路口处的车道彼此的连接关系的车道网络。

作为本发明的又一技术方案，提供一种地图生成用计算机程序。该地图生成用计算机程序包含用于使计算机执行以下处理的命令：从鸟瞰图像中检测交叉路口和与交叉路口连接的多条道路；针对与交叉路口连接的多条道路中的每条道路，检测该道路所包含的向交叉路口进入的进入车道和从交叉路口退出的退出车道；从鸟瞰图像中，针对多条道路中的每条道路，检测该道路中示出的表示车辆能够行进的方向的道路标示或者表示车辆能够行进的方向的道路结构；以及针对多条道路中的每条道路，基于该道路的进入车道上所标示的道路标示或者该道路的结构，以将该道路的进入车道与多条道路中的、车辆能够从该道路的进入车道行进的其他道路的退出车道连结的方式，生成表示交叉路口处的车道彼此的连接关系的车道网络。

本发明涉及的地图生成装置取得如下效果：能够基于鸟瞰图像，在与交叉路口连接的各道路间，自动地提取车辆能够行驶的车道间的连接关系。

附图说明

图1是一个实施方式涉及的地图生成装置的硬件结构图。

图2是一个实施方式涉及的地图生成装置的处理器的功能框图。

图3A是交叉路口区域检测的概要的说明图。

图3B是交叉路口区域检测的概要的说明图。

图3C是交叉路口区域检测的概要的说明图。

图4是基于骨架化(梗概化)或者细线化处理的交叉路口的基准点检测的概要的说明图。

图5是表示基于行进方向指示标记决定进入车道与退出车道的连接关系的一例的图。

图6是地图生成处理的工作流程图。

图7是表示基于道路结构决定进入车道与退出车道的连接关系的一例的图。

具体实施方式

以下，参照附图，对地图生成装置和该地图生成装置中利用的地图生成方法以及地图生成用计算机程序进行说明。该地图生成装置从表示有道路的鸟瞰图像中检测包含交叉路口和与交叉路口连接的多条道路的交叉路口区域。另外，该地图生成装置针对与交叉路口连接的多条道路中的每条道路，检测向交叉路口进入的进入车道和从交叉路口退出的退出车道。而且该地图生成装置针对与交叉路口连接的多条道路中的每条道路，以将该道路的进入车道与其他道路中的车辆能够从该道路的进入车道行进的道路的退出车道连结的方式，生成表示交叉路口处的车道彼此间的连接关系的车道网络。此时，该地图生成装置从鸟瞰图像中，针对与交叉路口连接的多条道路中的每条道路，检测该道路的进入车道上示出的表示车辆能够行进的方向的道路标示，按照该道路标示所表示的方向，以与车辆能够从该进入车道行进的其他道路的退出车道连结的方式生成车道网络。

此外，在以下说明的各实施方式或者变形例中，成为地图生成处理的对象的表示有道路的鸟瞰图像例如可以设为通过从垂直上方拍摄地面而得到并且能够识别道路上表示的各个道路标示的图像，例如表示有高分辨率的卫星照片或者航空照片的图像。另外，在以下的说明中，有时将成为地图生成处理的对象的鸟瞰图像简称为图像。

图1是一个实施方式涉及的地图生成装置的硬件结构图。如图1所示，地图生成装置1具有通信接口2、输入装置3、显示装置4、存储器5、存储介质访问装置6以及处理器7。

通信接口2具有用于与遵照以太网(注册商标)等通信标准的通信网络连接的通信接口及其控制电路。通信接口2从经由通信网络连接的其他设备(未图示)接收各种信息或者数据并交给处理器7。通信接口2接收的数据也可以包含成为地图生成处理的对象的表示有道路的图像、和表示该图像中示出的地理范围的信息(例如，该图像中示出的区域的预定位置(例如左上端或中心)的经度和纬度、该区域的水平方向和垂直方向的实际空间大小、以及方位)。另外，通信接口2也可以将从处理器7收到的作为地图生成处理的执行结果而得到的、地图信息的一例的道路地图经由通信网络向其他设备输出。

输入装置3例如具有键盘和鼠标之类的定点设备。而且，输入装置3生成与由用户进行的操作、例如选择成为地图生成处理的对象的图像的操作、指示开始执行地图生成处理的操作、或者使显示装置4显示所生成的道路地图的操作相应的操作信号，并将该操作信号向处理器7输出。

显示装置4例如具有液晶显示器或者有机EL显示器。而且，显示装置4显示从处理器7收到的显示用数据、例如表示被执行地图生成处理的图像的候选的数据或者所生成的道路地图或其一部分。

此外，输入装置3和显示装置4也可以是如触摸面板显示器那样一体化的装置。

存储器5是存储部的一例，例如是可读写半导体存储器和只读半导体存储器。而且，存储器5例如存储由处理器7执行的地图生成处理用的计算机程序、在该地图生成处理中使用的各种数据、例如规定在地图生成处理中使用的识别器的参数组、以及在该地图生成处理的执行过程中生成的各种数据。再者，存储器5也可以存储成为地图生成处理的对象的图像以及表示该图像中示出的地理范围的信息。再者，存储器5也可以存储所生成的道路地图。

存储介质访问装置6例如是对磁盘、半导体存储卡和光存储介质之类的存储介质8进行访问的装置。此外，存储介质访问装置6与存储介质8一起构成存储部的另一例。存储介质访问装置6例如读入存储于存储介质8的在处理器7上执行的地图生成处理用的计算机程序、或者成为地图生成处理的对象的图像，并交给处理器7。或者，存储介质访问装置6也可以从处理器7接收所生成的道路地图，将该道路地图写入到存储介质8。

处理器7是处理部的一例，例如具有一个或多个CPU及其外围电路。再者，处理器7也可以具有数值运算用的运算电路、图形处理用的运算电路以及逻辑运算用的运算电路。而且，处理器7对地图生成装置1整体进行控制。另外，处理器7针对成为地图生成处理的对象的表示有道路的图像执行地图生成处理。

图2是与地图生成处理有关的处理器7的功能框图。如图2所示，处理器7具有停止线检测部11、交叉路口区域检测部12、车道检测部13、标示结构检测部14、车道网络生成部15以及地图生成部16。处理器7所具有的这些各部例如是由在处理器7上执行的计算机程序实现的功能模块。或者，处理器7所具有的这些各部也可以是设置于处理器7的专用的运算电路。

停止线检测部11检测图像中表示的各个临时停止线(停车线)。为此，停止线检测部11例如通过将图像输入到被预先学习为从图像中检测临时停止线的识别器来检测各个临时停止线。停止线检测部11能够使用例如具有卷积神经网络(CNN：ConvolutionalNeural Network)型架构的所谓的深度神经网络(DNN)作为这种识别器。更具体而言，这种识别器例如能够设为全卷积网络(FCN：Fully Convolutional Network)、U-Net或PSPNet之类的语义分割用的CNN、或者Mask-RCNN之类的实例分割用的CNN。或者另外，这种识别器也可以是SSD(Single Shot MultiBox Detector)或Faster R-CNN之类的物体检测用的CNN。再者，这种识别器也可以是依照AdaBoost之类的神经网络以外的机器学习方法的识别器。或者另外，停止线检测部11也可以利用模板匹配之类的机器学习以外的方法来检测临时停止线。

停止线检测部11将表示检测出的各个临时停止线的在图像上的位置和尺寸的信息通知给交叉路口区域检测部12、车道检测部13以及地图生成部16。

交叉路口区域检测部12是交叉路口检测部的一例，针对图像中表示的各个交叉路口，检测包含该交叉路口和与该交叉路口连接的多条道路的预定区域(以下，简称为交叉路口区域)。为此，交叉路口区域检测部12例如通过将图像输入到被预先学习为从图像中检测表示交叉路口的中心的道路标示(以下，称为交叉路口标记)以及表示有道路的道路区域的识别器，检测各个交叉路口标记以及道路区域。交叉路口区域检测部12能够使用与关于停止线检测部11说明过的识别器同样的识别器、例如语义分割用或实例分割用的CNN作为这种识别器。在使用语义分割用的CNN作为识别器的情况下，交叉路口区域检测部12通过对表示交叉路口标记的像素的集合应用聚类处理或者打标签处理，将表示交叉路口标记的像素的集合按各个交叉路口标记进行分类即可。此外，也可以为，停止线检测部11中使用的识别器被预先学习为不仅从图像中检测临时停止线而且还从图像中检测交叉路口标记和道路区域。在该情况下，交叉路口区域检测部12从停止线检测部11接收表示临时停止线在图像上的位置和尺寸的信息的同时，一起接收表示交叉路口标记和道路区域的在图像上的位置和尺寸的信息即可。

在检测出交叉路口标记和道路区域时，交叉路口区域检测部12针对检测出的每个交叉路口标记，按照以下的步骤检测交叉路口区域。

交叉路口区域检测部12将图像上的检测出的交叉路口标记内的预定的点、例如交叉路口标记的重心的位置设定为交叉路口内的基准点。而且，交叉路口区域检测部12从基准点沿着放射方向以等角度间隔设定多条扫描线，并按每条扫描线，检测该扫描线与道路区域和该区域以外的区域的边界(以下，称为道路端)或者将临时停止线延伸到道路端所成的线交叉的位置，作为交叉路口区域的外缘。通过这样决定交叉路口区域的外缘，从而使得交叉路口区域包含与交叉路口连接的各道路的临时停止线，因此，变得易于求取与交叉路口连接的各道路具有的车道的数量。

另外，对于各条扫描线中的、在从交叉路口的基准点到预先设定的最远端之间不存在上述那样的与临时停止线等交叉的位置的扫描线，交叉路口区域检测部12检测其最远端的位置作为交叉路口区域的外缘候选。而且，对于到达最远端的位置成为了外缘候选的道路，交叉路口区域检测部12使外缘候选排列的外缘候选线朝向基准点慢慢靠近，将该外缘候选线的长度与其紧前面的长度相比增长了预定比率以上时的从基准点远离预定像素数的位置的外缘候选线设定为交叉路口区域的外缘。由此，交叉路口区域检测部12针对与交叉路口连接的各道路中的没有设置临时停止线的道路，也能够使该道路与交叉路口的连接之处包含于交叉路口区域。因此，能够适当地设定与该没有设置临时停止线的道路有关的车道网络。

交叉路口区域检测部12针对与交叉路口连接的各道路，检测由将设定在该道路上的外缘彼此连结而成的线包围的区域作为交叉路口区域。

图3A～图3C是交叉路口区域检测的概要的说明图。如图3A所示，从交叉路口内的基准点301沿着放射方向设定的各扫描线302与道路端303或者将临时停止线304延伸到道路端303所成的线交叉的位置被设定为交叉路口区域的外缘。但是，对于从基准点301来看位于右侧的道路305，由于不存在临时停止线，因而在预先设定的最远端的位置设定交叉路口区域的外缘的候选线311。

如图3B所示，对于道路305，当使外缘候选线朝向基准点301慢慢靠近时，在位置306处，该外缘候选线的长度与其紧前面的长度相比增长预定比率以上。于是，从位置306起远离基准点301预定像素数的位置的外缘候选线被设定为道路305上的交叉路口区域的外缘的一部分312。

如图3C所示，最终，由针对各道路所求出的外缘包围的区域成为交叉路口区域313。

此外，根据交叉路口不同，存在没有设置交叉路口标记的情况。于是，交叉路口区域检测部12也可以按照以下的步骤设定关于没有设置交叉路口标记的交叉路口的基准点。

交叉路口区域检测部12通过针对利用识别器检测出的道路区域，应用骨架化处理，从而求取表示各道路的连接关系的骨架网络。由此，各道路变为由一根线表示，因此，在交叉路口，成为多条线交叉的节点。于是，交叉路口区域检测部12将每一个3度以上的节点作为基准点。此外，交叉路口区域检测部12也可以通过对道路区域执行细线化处理以取代将道路区域骨架化，从而求取表示各道路的连接关系的被细线化得到的网络。在该情况下也同样地，交叉路口区域检测部12将每一个3度以上的节点作为基准点即可。通过这样的基于网络设定基准点，交叉路口区域检测部12针对没有设置交叉路口标记的交叉路口，也能够在交叉路口内设定基准点，作为其结果，对于这样的交叉路口也能够适当地设定交叉路口区域。

图4是基于骨架化或细线化处理的交叉路口的基准点检测的概要的说明图。如图4所示，在图像400中示出的道路区域被骨架化或细线化而得到的骨架或细线化的网络401中，在各个交叉路口出现了3度以上的节点402。于是，可知能够将各节点402设定为用于交叉路口区域检测的基准点。

或者，交叉路口区域检测部12也可以将表示道路端的各个像素作为母点，针对道路区域执行沃罗诺伊(Voronoi)分割处理。在该情况下，将会在各条道路的大致中心画出沃罗诺伊边界，因此，在交叉路口，出现多个沃罗诺伊边界交叉的沃罗诺伊点。于是，交叉路口区域检测部12将每一个沃罗诺伊点作为基准点即可。在该情况下，交叉路口区域检测部12也可以能够针对没有设置交叉路口标记的交叉路口，在交叉路口内设定基准点，作为其结果，对于这样的交叉路口也能够适当地设定交叉路口区域。

交叉路口区域检测部12针对检测出的各个交叉路口区域，将表示图像上的该交叉路口区域的信息通知给车道检测部13、车道网络生成部15以及地图生成部16。

车道检测部13针对检测出的各个交叉路口区域内包含的交叉路口所连接的各道路，检测向该交叉路口进入的进入车道和从交叉路口退出的退出车道中的至少一方。

例如，车道检测部13针对关注的道路，如果临时停止线的长度在对道路宽度乘以预定系数(例如0.5)所得到的值以下，则判定为该道路包含进入车道和退出车道双方。另一方面，如果临时停止线的长度长于对道路宽度乘以预定系数所得到的值，车道检测部13则判定为该道路仅包含进入车道。此外，车道检测部13能够将关注的道路的宽度计算为与该道路的延伸方向大致正交的方向上的道路端之间的距离。另外，在利用上述的识别器检测出分道线(车道区划线)的情况下，车道检测部13针对关注的道路的进入车道和退出车道分别判定为存在由该分道线所划分的数量的车道。此时，车道检测部13针对设置有临时停止线的道路，也可以根据分道线与临时停止线的位置关系，判定进入车道的数量和退出车道的数量。例如，车道检测部13针对关注的道路，将对在与该道路的延伸方向大致正交的方向上设置在不与设置于该道路的临时停止线重叠的位置上的分道线的数量加上1所得到的数作为退出车道的数量。另外，车道检测部13针对关注的道路，将对在与该道路的延伸方向大致正交的方向上设置在与设置于该道路的临时停止线重叠的位置上的分道线的数量加上1所得到的数作为进入车道的数量。再者，车道检测部13也可以针对关注的道路，在与该道路的延伸方向大致正交的方向上，对于从临时停止线的道路的中央侧的一端起位于预定范围内的分道线，作为区分进入车道和退出车道的线，在进入车道和退出车道的数量的计数中不进行参照。此外，预定范围例如设定为比图像上的车辆的宽度小的尺寸。

另外，在没有设置临时停止线的道路上检测出一条分道线的情况下，车道检测部13也可以判定为该道路上包含由分道线划分的两条车道。而且，车道检测部13将该两条车道中的按照图像中表示的地区的道路法规而能够向交叉路口进入的一条车道判定为进入车道、将另一条车道判定为退出车道即可。再者，对于没有检测出临时停止线和分道线的任一方的道路(以下，为便于说明，称为无停止线道路)，车道检测部13判定为无停止线道路上仅包含退出车道。或者，对于无停止线道路，车道检测部13也可以基于与连接于相同的交叉路口的其他道路具有的车道的关系，判定无停止线道路的车道是进入车道还是退出车道。例如，在关注的交叉路口区域所包含的交叉路口为十字路口、且位于与无停止线道路隔着基准点而相向的位置的道路上设置有临时停止线并且该道路的车道仅为进入车道的情况下，车道检测部13判定为无停止线道路仅包含退出车道。另一方面，在关注的交叉路口区域所包含的交叉路口为十字路口、且位于与关注的无停止线道路隔着基准点而相向的位置的道路也为无停止线道路的情况下，也可以设为所关注的无停止线道路所包含的一条车道是既能够向关注的交叉路口进入也能够从关注的交叉路口退出的车道，即，是进入车道且是退出车道。如此，通过根据临时停止线的有无以及临时停止线的长度与道路的宽度之比来检测进入车道和退出车道，车道检测部13能够高精度地检测与交叉路口连接的各道路所包含的进入车道和退出车道。

车道检测部13针对各个交叉路口区域，将表示该交叉路口区域内包含的交叉路口所连接的各道路的进入车道和退出车道的信息通知给车道网络生成部15。

标示结构检测部14从鸟瞰图像中，针对各个交叉路口，并针对与该交叉路口连接的多条道路中的每条道路，检测该道路上示出的表示车辆能够行进的方向的道路标示(以下，称为行进方向指示标记)。为此，标示结构检测部14例如通过将图像输入到识别器，从图像中检测各个行进方向指示标记，并且识别所检测出的行进方向指示标记所表示的车辆能够行进的方向的类别(直行指示用箭头、右转指示用箭头、左转指示用箭头、直行和左转指示用箭头等，以下简称为行进方向指示标记的类别)。识别器被预先学习为，从图像中检测行进方向指示标记，并且识别行进方向指示标记的类别。标示结构检测部14能够使用与关于停止线检测部11说明过的识别器同样的物体检测用的识别器、例如SSD或Faster R-CNN之类的物体检测用的CNN作为这种识别器。或者，标示结构检测部14也可以利用如按行进方向指示标记的每个类别预先存储于存储器5的模板与图像间的模板匹配之类的机器学习以外的方法，检测行进方向指示标记，并且识别检测出的行进方向指示标记的类别。

标示结构检测部14将表示检测出的各个行进方向指示标记的在图像上的位置的信息(例如，行进方向指示标记的重心位置、或者包围行进方向指示标记的矩形区域的左上端像素的位置和右下端像素的位置)以及该行进方向指示标记的类别交给车道网络生成部15。

车道网络生成部15针对各个交叉路口区域，以针对该交叉路口区域内包含的交叉路口所连接的多条道路中的每条道路，将该道路的进入车道和与该交叉路口连接的其他道路的退出车道连结的方式，生成表示交叉路口处的车道彼此间的连接关系的车道网络。由此，对于各交叉路口，获得以车道为单位表示车辆能够行进的方向的信息。

在本实施方式中，车道网络生成部15针对各交叉路口区域，基于与交叉路口连接的各道路的进入车道上所标示的行进方向指示标记，确定该道路的进入车道和与交叉路口连接的各道路中的车辆能够从该道路的进入车道行进的其他道路的退出车道。而且，车道网络生成部15以将各道路的进入车道与车辆能够从该进入车道行进的其他道路的退出车道连结的方式生成车道网络。

为此，车道网络生成部15针对检测出的行进方向指示标记中的每一个，参照表示该行进方向指示标记在图像上的位置的信息和各交叉路口区域在图像上的位置，确定设置有该行进方向指示标记的道路和进入车道、以及包含与设置有该行进方向指示标记的道路连接的交叉路口的交叉路口区域。再者，车道网络生成部15参照行进方向指示标记的类别，确定该行进方向指示标记所表示的车辆能够行进的方向。而且，车道网络生成部15将从设置有该行进方向指示标记的进入车道来看位于由该行进方向指示标记所表示的方向上的道路的退出车道确定为与该进入车道连接的退出车道，并将设置有该行进方向指示标记的进入车道与所确定的退出车道连接。

图5是表示基于行进方向指示标记决定进入车道与退出车道的连接关系的一例的图。如图5所示，交叉路口501连接有4条道路502～505。其中，相对于交叉路口501而从下侧连接的道路502的进入车道502a上标示有表示右转的行进方向指示标记510。于是，车道网络生成部15在生成车道网络时，如用线520所示的那样，将道路502以外的其他道路503～505中的从道路502的进入车道502a来看位于最右侧的道路505的退出车道505b与进入车道502a连结。

另外，在行进方向指示标记示出多个方向的情况下，车道网络生成部15将设置有该行进方向指示标记的道路的进入车道、与从该进入车道来看位于行进方向指示标记所示的各方向上的道路的退出车道连接即可。

再次参照图5，道路505的进入车道505a上标示有表示直行和左转的行进方向指示标记511。因此，车道网络生成部15在生成车道网络时，如用线521和线522所示的那样，将道路505以外的其他道路502～504中的从道路505的进入车道505a来看位于直行方向的道路503的退出车道503a、和从进入车道505a来看位于最左侧的道路502的退出车道502b与进入车道505a连结。

此外，在与交叉路口连接的任一道路的进入车道上都没有标示行进方向指示标记的情况下，车道网络生成部15也可以以将该进入车道和与该交叉路口连接的其他道路的退出车道中的每一条连接的方式生成车道网络。

另外，在与交叉路口连接的道路设置有多条进入车道且对每条进入车道标示有行进方向指示标记的情况下，车道网络生成部15按每条进入车道执行上述的处理即可。另外，当在位于由与交叉路口连接的道路的进入车道上所标示的行进方向指示标记所表示的方向上的道路设置有多条退出车道的情况下，车道网络生成部15以将该进入车道与这些多条退出车道中的每一条连接的方式生成车道网络即可。

车道网络生成部15针对相互连接的进入车道和退出车道中的每一条，以将该进入车道的横向上的中点、例如该进入车道上所标示的临时停止线的中点与该退出车道的横向上的中点连接的方式生成车道网络即可。再者，车道网络生成部15也可以用曲线将相互连接的进入车道与退出车道之间连接以使车辆能够沿着车道网络行驶。

车道网络生成部15将表示对于各个交叉路口区域的车道网络的信息通知给地图生成部16。

地图生成部16生成包含表示对于各交叉路口区域的车道网络的信息的地图。另外，地图生成部16针对从图像中检测出的各条道路，使地图包含与该道路所包含的车道的数量和设置于各车道的道路标示有关的信息。

此时，地图生成部16也可以按每个交叉路口区域，参照表示成为地图生成处理的对象的图像中示出的地理范围的信息和图像上的该交叉路口区域的位置，求取该交叉路口的位置，使表示该位置的位置信息(例如经度和纬度)与道路地图相关联。同样地，地图生成部16也可以针对各道路，将该道路按预定长度的区间进行划分，按每个区间，参照表示成为地图生成处理的对象的图像中示出的地理范围的信息和图像上的该区间的位置，求取该区间的位置，使表示该位置的位置信息与道路地图相关联。

再者，地图生成部16也可以通过将按每个图像生成的道路地图结合从而生成更大范围的道路地图。此时，地图生成部16通过按每个图像参照表示该图像中示出的地理范围的信息，以相同道路的相同位置彼此重叠的方式将从各个图像得到的道路地图结合即可。

地图生成部16将生成的道路地图存储于存储器5或者经由存储介质访问装置6写入到存储介质8。或者，地图生成部16也可以将生成的道路地图经由通信接口2向其他设备输出。

图6是地图生成处理的工作流程图。处理器7对每个成为地图生成处理的对象的鸟瞰图像，按照下述的工作流程图执行地图生成处理即可。

处理器7的停止线检测部11检测鸟瞰图像中表示的各个临时停止线(步骤S101)。另外，处理器7的交叉路口区域检测部12检测鸟瞰图像中表示的各个交叉路口区域(步骤S102)。

处理器7的车道检测部13针对检测出的各个交叉路口区域，针对与该交叉路口连接的各道路，基于该道路的临时停止线的有无以及临时停止线的长度与该道路的宽度之比，检测进入车道和退出车道中的至少一方(步骤S103)。

处理器7的标示结构检测部14从鸟瞰图像中，针对各个交叉路口区域，针对该交叉路口区域内包含的交叉路口所连接的多条道路中的每条道路，检测该道路上示出的行进方向指示标记(步骤S104)。

处理器7的车道网络生成部15针对各个交叉路口区域，针对该交叉路口区域内包含的交叉路口所连接的多条道路中的每条道路，按照该道路的进入车道上所标示的行进方向指示标记所表示的方向，以将该道路的进入车道与车辆能够从该进入车道行进的其他道路的退出车道连结的方式生成车道网络(步骤S105)。

而且，处理器7的地图生成部16生成包含表示对于各交叉路口区域的车道网络的信息的道路地图(步骤S106)。然后，处理器7结束地图生成处理。

如以上说明的那样，该地图生成装置检测表示有道路的鸟瞰图像中示出的各个交叉路口区域，针对检测出的各个交叉路口区域，针对与交叉路口连接的各道路检测进入车道和退出车道。而且该地图生成装置针对与交叉路口连接的多条道路中的每条道路，以将该道路的进入车道与其他道路中的车辆能够从该道路的进入车道行进的道路的退出车道连结的方式生成车道网络。此时，该地图生成装置从鸟瞰图像中，针对与交叉路口连接的多条道路中的每条道路，检测该道路的进入车道上示出的表示车辆能够行进的方向的道路标示，按照该道路标示所表示的方向，确定车辆能够从该进入车道行进的其他道路的退出车道。如此，该地图生成装置能够基于鸟瞰图像，在与交叉路口连接的各道路间，自动地提取能够行驶的车道间的连接关系。

此外，根据交叉路口不同，可能存在即使没有道路标示，也仅能左转(日本等)、仅能右转(美国等)的车道。例如有时在某条道路到达交叉路口之前，在该道路上，左转专用车道会从成为基于信号灯的交通管控对象的其他车道分支而经由旁通路向从该道路来看左侧的道路的退出车道连接。

于是，根据变形例，标示结构检测部14也可以从鸟瞰图像中，针对各个交叉路口区域，针对该交叉路口区域内包含的交叉路口所连接的多条道路中的每条道路，取代检测行进方向指示标记、或者与检测行进方向指示标记一起，检测表示车辆能够行进的方向的道路结构(以下，称为行进方向指定结构)。行进方向指定结构能够设为如上述那样具有将与交叉路口连接的多条道路中的任一条道路的进入车道和该多条道路中的其他道路的退出车道连接的旁通路的结构。

例如，标示结构检测部14针对各个交叉路口区域，通过从图像中截取包含该交叉路口区域的预定范围而输入到被预先学习为检测行进方向指定结构的识别器，从而按每个交叉路口区域检测行进方向指定结构。标示结构检测部14能够使用例如SSD或Faster R-CNN之类的物体检测用的CNN作为这种识别器。或者，标示结构检测部14也可以利用预先存储于存储器5的表示行进方向指定结构的模板与该预定范围的模板匹配之类的机器学习以外的方法，检测行进方向指定结构。

标示结构检测部14将表示包含在图像上检测出的行进方向指定结构的区域的信息交给车道网络生成部15。

车道网络生成部15针对被检测出行进方向指定结构的交叉路口区域，基于图像上的行进方向指定结构和与交叉路口连接的各道路的位置关系，确定设置有该行进方向指定结构的道路、以及行进方向指定结构相对于该道路的相对位置(即朝向交叉路口位于左侧还是右侧)。此外，行进方向指定结构一般设置为使车辆能够不横穿对向车道地从进入车道向退出车道移动。因此，在像日本这种具有规定了车辆左侧通行的交通法规的国家，行进方向指定结构设置为，从在交叉路口成为左转的车道、即朝向交叉路口而位于道路的左端的进入车道分支，并向在交叉路口与该道路交叉的其他道路中的朝向交叉路口而位于右端的退出车道合流。相反，在像美国这样具有规定车辆右侧通行的交通法规的国家，行进方向指定结构设置为，从在交叉路口成为右转的车道、即朝向交叉路口而位于道路的右端的进入车道分支，并向在交叉路口与该道路交叉的其他道路中的朝向交叉路口而位于左端的退出车道合流。于是，车道网络生成部15也可以通过参照表示图像中示出的地理范围的经度和纬度的信息，确定对该地理范围适用的交通法规(左侧通行或右侧通行)，从而判定行进方向指定结构设置于左转和右转中的哪一方的车道。而且，车道网络生成部15也可以基于该判定结果，确定行进方向指定结构相对于道路的相对位置。

图7是表示该变形例涉及的基于道路结构决定进入车道与退出车道的连接关系的一例的图。如图7所示，交叉路口701连接有4条道路702～705。其中，在相对于交叉路口701而从下侧连接的道路702的左端的进入车道702a、与相对于交叉路口701而从左侧连接的道路703的退出车道703a之间，设置有从道路702向左侧分支并将交叉路口本身作为旁路而与道路703合流的旁通路706。该旁通路706是行进方向指定结构的一例。于是，标示结构检测部14检测将进入车道702a和退出车道703a直接连接的旁通路706，如由箭头710所示那样，车道网络生成部15以将由旁通路706连接的道路702的进入车道702a和道路703的退出车道703a连结的方式生成车道网络。

根据该变形例，地图生成装置即使不检测道路标示，也能够在与交叉路口连接的各道路间，自动地提取可行驶的车道间的连接关系。

再者，使计算机实现上述的实施方式或者变形例涉及的地图生成装置的处理器所具有的各部的功能的计算机程序也可以以存储在能够由计算机读取的记录介质中的形式来提供。此外，能够由计算机读取的记录介质例如能够设为磁记录介质、光记录介质或者半导体存储器。

Claims (5)

1.一种地图生成装置，具有：

交叉路口检测部，其从鸟瞰图像中检测交叉路口和与所述交叉路口连接的多条道路；

车道检测部，其针对与所述交叉路口连接的所述多条道路中的每条道路，检测该道路所包含的向所述交叉路口进入的进入车道和从所述交叉路口退出的退出车道；

标示结构检测部，其从所述鸟瞰图像中，针对所述多条道路中的每条道路，检测该道路中示出的表示车辆能够行进的方向的道路标示或者表示车辆能够行进的方向的道路结构；以及

车道网络生成部，其针对所述多条道路中的每条道路，基于该道路的进入车道上所标示的所述道路标示或者该道路的结构，以将该道路的进入车道与所述多条道路中的、车辆能够从该道路的进入车道行进的其他道路的退出车道连结的方式，生成表示所述交叉路口处的车道彼此的连接关系的车道网络。

2.根据权利要求1所述的地图生成装置，

所述标示结构检测部检测表示车辆能够行进的方向的箭头作为所述道路标示，

所述车道网络生成部针对所述多条道路中的每条道路，以将该道路的进入车道仅与所述多条道路中的该道路以外的其他道路中的、位于由该道路的进入车道上所标示的所述箭头所示的方向的道路的退出车道连接的方式生成所述车道网络。

3.根据权利要求1所述的地图生成装置，

所述标示结构检测部检测将所述多条道路中的任何一条道路的进入车道与所述多条道路中的所述任何一条道路以外的其他道路的退出车道直接连接的旁通路作为所述道路结构，

所述车道网络生成部以将由所述旁通路连接的进入车道与退出车道连接的方式生成所述车道网络。

4.一种地图生成方法，包括：

从鸟瞰图像中检测交叉路口和与所述交叉路口连接的多条道路；

针对与所述交叉路口连接的所述多条道路中的每条道路，检测该道路所包含的向所述交叉路口进入的进入车道和从所述交叉路口退出的退出车道；

从所述鸟瞰图像中，针对所述多条道路中的每条道路，检测该道路中示出的表示车辆能够行进的方向的道路标示或者表示车辆能够行进的方向的道路结构；以及

针对所述多条道路中的每条道路，基于该道路的进入车道上所标示的所述道路标示或者该道路的结构，以将该道路的进入车道与所述多条道路中的、车辆能够从该道路的进入车道行进的其他道路的退出车道连结的方式，生成表示所述交叉路口处的车道彼此的连接关系的车道网络。

5.一种地图生成用计算机程序，使计算机执行：

从鸟瞰图像中检测交叉路口和与所述交叉路口连接的多条道路；

针对与所述交叉路口连接的所述多条道路中的每条道路，检测该道路所包含的向所述交叉路口进入的进入车道和从所述交叉路口退出的退出车道；

从所述鸟瞰图像中，针对所述多条道路中的每条道路，检测该道路中示出的表示车辆能够行进的方向的道路标示或者表示车辆能够行进的方向的道路结构；以及

针对所述多条道路中的每条道路，基于该道路的进入车道上所标示的所述道路标示或者该道路的结构，以将该道路的进入车道与所述多条道路中的、车辆能够从该道路的进入车道行进的其他道路的退出车道连结的方式，生成表示所述交叉路口处的车道彼此的连接关系的车道网络。

Images