CN114509060A - 地图生成装置、地图生成方法以及地图生成用计算机程序 - Google Patents

Abstract

提供一种地图生成装置、地图生成方法以及地图生成用计算机程序。地图生成装置具有：道路区域检测部(12)，其从鸟瞰图像中检测表示了道路的道路区域；交叉路口中心候选检测部(13)，其检测道路区域的骨架线，将骨架线的分支点分别检测为交叉路口中心的候选；交叉路口区域检测部(14)，其针对交叉路口中心的各个候选，从鸟瞰图像中检测包含该中心的候选的交叉路口区域的候选，将交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的交叉路口区域的候选检测为一个交叉路口区域。

Description

地图生成装置、地图生成方法以及地图生成用计算机程序

技术领域

本发明涉及从图像生成地图的地图生成装置、地图生成方法以及地图生成用计算机程序。

背景技术

提出了从表示有道路的图像生成包含用于使车辆自动驾驶的信息的地图的技术(例如参照日本特开2020－38365号公报)。日本特开2020－38365号公报所公开的交叉路口内的行驶轨道数据生成装置使用拍摄了交叉路口的图像数据来识别交叉路口内的道路标示，根据其识别结果来生成行驶轨道数据，该行驶轨道数据是能够确定自动驾驶用的交叉路口内的行驶轨道的数据。

发明内容

在上述技术中，基于交叉路口内的道路标示的识别结果来生成行驶轨道数据。但是，有时根据交叉路口而不存在表示交叉路口中心的道路标示这样的表示交叉路口内的预定点的道路标示。

因此，本发明的目的在于提供一种地图生成装置，能够根据鸟瞰图像来检测不存在表示中心的道路标示的交叉路口。

作为本发明的一个技术方案，提供一种地图生成装置。该地图生成装置具有：道路区域检测部，其从鸟瞰图像中检测表示了道路的道路区域；交叉路口中心候选检测部，其检测道路区域的骨架线，将骨架线的分支点分别检测为交叉路口中心的候选；交叉路口区域检测部，其针对交叉路口中心的各个候选，从鸟瞰图像中检测包含该中心的候选的交叉路口区域的候选，将交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的交叉路口区域的候选检测为一个交叉路口区域。

在该地图生成装置中，优选道路区域检测部从鸟瞰图像中进一步检测以横穿道路的方式设置的道路标示，交叉路口区域检测部对于彼此至少部分重叠的2个以上的交叉口区域的候选，在这些交叉路口区域的候选的中心的候选彼此之间存在道路标示的情况下，将该2个以上的交叉路口区域的候选分别检测为单独的交叉路口区域。

另外，优选该地图生成装置还具有环岛检测部，该环岛检测部从交叉路口中心的各个候选中检测经由骨架线形成闭合曲线的多个候选，判定是否能够用以检测出的多个候选的重心为中心的圆来近似该闭合曲线，在能够用圆近似该闭合曲线的情况下，将包含所检测出的多个候选的各个候选的区域检测为表示了环岛的区域。

进而，在该地图生成装置中，优选道路区域检测部从鸟瞰图像中进一步检测道路端部或表示道路端部的道路标示，在交叉路口中心的各个候选中，交叉路口区域检测部在经过该中心的候选的任一条骨架线与沿着经过该中心的候选的其他的任一条骨架线的道路端部或表示道路端部的道路标示交叉的情况下，不将针对该中心的候选的交叉路口区域的候选检测为交叉路口区域。

或者，在该地图生成装置中，优选鸟瞰图像包含对该鸟瞰图像的各像素所表示的地点在实际空间中的高度进行表示的高度信息，在交叉路口中心的各个候选中，交叉路口区域检测部在与经过该中心的候选的任一条骨架线上的任一位置相当的地点在实际空间中的高度和与经过该中心的候选的其他的任一条骨架线上的任一位置相当的地点在实际空间中的高度之差为预定的高度差阈值以上的情况下，不将针对该中心的候选的交叉路口区域的候选检测为交叉路口区域。

本发明的另一技术方案提供一种地图生成方法。该地图生成方法包括：从鸟瞰图像中检测表示了道路的道路区域；检测道路区域的骨架线，将骨架线的分支点分别检测为交叉路口中心的候选；针对交叉路口中心的各个候选，从鸟瞰图像中检测包含该中心的候选的表示交叉路口的交叉路口区域的候选，将交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的交叉路口区域的候选检测为一个交叉路口区域。

本发明的又一技术方案提供一种地图生成用计算机程序。该地图生成用计算机程序使计算机执行：从鸟瞰图像中检测表示了道路的道路区域；检测道路区域的骨架线，将骨架线的分支点分别检测为交叉路口中心的候选；针对交叉路口中心的各个候选，从鸟瞰图像中检测包含该中心的候选的表示交叉路口的交叉路口区域的候选，将交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的交叉路口区域的候选检测为一个交叉路口区域。

本发明涉及的地图生成装置实现能够从鸟瞰图像中检测不存在表示中心的道路标示的交叉路口的效果。

附图说明

图1是一个实施方式涉及的地图生成装置的硬件结构图。

图2是一个实施方式涉及的地图生成装置的处理器的功能框图。

图3是基于骨架化或细线化处理的交叉路口中心的候选检测的概要的说明图。

图4A是交叉路口区域的候选检测的概要的说明图。

图4B是交叉路口区域的候选检测的概要的说明图。

图4C是交叉路口区域的候选检测的概要的说明图。

图5A是表示所生成的车道网络的一个例子的图。

图5B是表示所生成的车道网络的一个例子的图。

图6是地图生成处理的工作流程图。

图7是变形例涉及的地图生成装置的处理器的功能框图。

具体实施方式

以下，参照附图对地图生成装置、在该地图生成装置中使用的地图生成方法以及地图生成用计算机程序进行说明。该地图生成装置从显示有道路的鸟瞰图像中检测交叉路口的暂时停止线、包括交叉路口和与交叉路口连接的多条道路的交叉路口区域。此时，该地图生成装置在鸟瞰图像上检测表示了道路的道路区域的骨架线，将骨架线的每个分支点作为交叉路口中心的候选。进而，该地图生成装置针对交叉路口中心的每个候选，从鸟瞰图像中检测交叉路口区域的候选。并且，该地图生成装置检测与其他交叉路口区域的候选不重叠的交叉路口区域的候选来作为交叉路口区域，另一方面，检测至少部分重叠的2个以上的交叉路口区域的候选来作为一个交叉路口区域。进而，该地图生成装置针对与交叉路口连接的多条道路的每条道路，以将该道路的进入车道和其他道路中的车辆能够从该道路的进入车道行进的退出车道连结的方式生成表示交叉路口的车道彼此的连接关系的车道网络。

再者，在以下说明的各实施方式或变形例中，成为地图生成处理的对象的表示有道路的鸟瞰图像例如能够通过从铅锤上方拍摄地面而得到，且设为能够识别表示于道路上的各道路标示的图像、例如高分辨率的卫星照片或者航空照片所示出的图像。另外，在以下的说明中，有时将作为地图生成处理的对象的鸟瞰图像仅称为图像。

图1是一个实施方式涉及的地图生成装置的硬件结构图。如图1所示，地图生成装置1具有通信接口(I/F)2、输入装置3、显示装置4、存储器5、存储介质访问装置6、处理器7。

通信接口2具有用于与按照以太网(注册商标)等通信标准的通信网络连接的通信接口和其控制电路。通信接口2从经由通信网络连接的其他设备(未图示)接收各种信息或者数据，并传送给处理器7。通信接口2接收的数据也可以包括成为地图生成处理的对象的表示有道路的图像、和对该图像所表示的地理范围进行表示的信息(例如，该图像所表示的区域的预定位置(例如左上端或中心)的纬度及经度、该区域的水平方向和垂直方向的实际空间大小、以及方位)。另外，通信接口2也可以经由通信网络向其他设备输出从处理器7接收到的道路地图，该道路地图是作为地图生成处理的执行结果而得到的地图信息的一个例子。

输入装置3具有例如键盘和鼠标这样的指向设备。并且，输入装置3生成与由用户进行的操作、例如选择成为地图生成处理的对象的图像的操作、指示开始执行地图生成处理的操作、或者使所生成的道路地图显示在显示装置4的操作对应的操作信号，向处理器7输出该操作信号。

显示装置4例如具有液晶显示器或有机EL显示器。并且，显示装置4显示从处理器7接收到的显示用的数据、例如表示执行地图生成处理的图像的候选的数据、或者所生成的道路地图或其一部分。

再者，输入装置3和显示装置4可以是如触摸面板显示器那样一体化的装置。

存储器5是存储部的一个例子，例如是可读写半导体存储器和只读半导体存储器。并且，存储器5例如存储由处理器7执行的地图生成处理用的计算机程序、在该地图生成处理中使用的各种数据、例如规定在地图生成处理中使用的识别器的参数组以及在该地图生成处理的执行过程中生成的各种数据。进而，存储器5也可以存储成为地图生成处理的对象的图像、和对该图像所表示的地理范围进行表示的信息。进而，存储器5还可以存储所生成的道路地图。

存储介质访问装置6是对例如磁盘、半导体存储卡以及光存储介质这样的存储介质8进行访问的装置。再者，存储介质访问装置6与存储介质8一起构成存储部的另一个例子。存储介质访问装置6读取例如存储于存储介质8的在处理器7上执行的地图生成处理用的计算机程序、或者成为地图生成处理的对象的图像，并交给向处理器7。或者，存储介质访问装置6也可以从处理器7接收所生成的道路地图，将该道路地图写入到存储介质8。

处理器7是处理部的一个例子，例如具有一个或多个CPU及其外围电路。进而，处理器7也可以具有数值运算用的运算电路、图形处理用的运算电路以及逻辑运算用的运算电路。并且，处理器7对地图生成装置1的整体进行控制。另外，处理器7对成为地图生成处理的对象的表示有道路的图像执行地图生成处理。

图2是与地图生成处理相关的处理器7的功能框图。如图2所示，处理器7具有停止线检测部11、道路区域检测部12、交叉路口中心候选检测部13、交叉路口区域检测部14、车道检测部15、车道网络生成部16、地图生成部17。处理器7具有的这些各部例如是通过在处理器7上执行的计算机程序来实现的功能模块。或者，处理器7具有的这些各部也可以是设置于处理器7的专用运算电路。

停止线检测部11检测表示于图像的各个暂时停止线。因此，停止线检测部11例如通过向为了从图像中检测暂时停止线而预先进行了学习的识别器输入图像，从而检测各个暂时停止线。停止线检测部11能够使用例如具有卷积神经网络(Convolutional NeuralNetwork，CNN)型的架构的所谓的深度神经网络(DNN)来作为这种识别器。更具体而言，这种识别器例如能够采用Fully Convolutional Network(FCN，全卷积网络)、U-Net或者PSPNet这样的语义分割用的CNN、或者Mask-RCNN这样的实例分割用的CNN。或者，这种识别器也可以是Single Shot MultiBox Detector(SSD)或者Faster R-CNN这样的物体检测用的CNN。而且，这种识别器还可以是AdaBoost这样的神经网络以外的依照机器学习方法的识别器。或者，停止线检测部11也可以利用模板匹配这样的机器学习以外的方法来检测暂时停止线。

停止线检测部11将表示所检测出的各个暂时停止线在图像上的位置及尺寸的信息通知给交叉路口区域检测部14、车道检测部15以及地图生成部17。

道路区域检测部12从图像中检测表示有道路的道路区域。因此，道路区域检测部12例如通过向为了从图像中检测表示有道路的道路区域而预先进行了学习的识别器输入图像，从而检测道路区域。道路区域检测部12能够使用与针对停止线检测部11说明过的识别器同样的识别器、例如语义分割用或实例分割用的CNN来作为那样的识别器。

道路区域检测部12将表示所检测出的道路区域的信息通知给交叉路口中心候选检测部13和交叉路口区域检测部14。

再者，在停止线检测部11中使用的识别器可以预先进行学习以使得不仅检测暂时停止线、也从图像中检测道路区域。在该情况下，交叉路口中心候选检测部13从停止线检测部11接收表示暂时停止线在图像上的位置及尺寸的信息、和表示道路区域在图像上的位置及尺寸的信息即可。再者，在该情况下，停止线检测部11成为道路区域检测部的另一个例子。

交叉路口中心候选检测部13检测表示于图像的各个交叉路口中心的候选。在本实施方式中，交叉路口中心候选检测部13通过对检测出的道路区域应用骨架化处理，求出表示各道路的连接关系的骨架网络。由此，各道路用一根骨架线来表示，因此，交叉路口变为多个骨架线交叉的节点。因此，交叉路口中心候选检测部13检测表示骨架线的分支点的次数为3以上的节点的各个节点来作为交叉路口中心的候选。再者，交叉路口中心候选检测部13也可以通过对道路区域执行细线化处理来代替将道路区域骨架化，从而求出表示各道路的连接关系的被细线化的骨架线的网络。在该情况下，也同样地，交叉路口中心候选检测部13将次数3以上的节点分别作为交叉路口中心的候选即可。通过利用这样的网络，交叉路口中心候选检测部13对于未设置表示交叉路口中心位置的交叉路口标记的交叉路口也能够检测交叉路口中心的候选，作为其结果，对于这样的交叉路口，也能够适当地设定交叉路口区域。

图3是基于骨架化或细线化处理的交叉路口中心的候选检测的概要的说明图。如图3所示，在通过对表示于图像300的道路区域进行骨架化或者细线化而得到的骨架或者细线化网络301中，在各个交叉路口表现有次数3以上的节点302。于是，可知各节点302被检测为交叉路口中心的候选。

或者，交叉路口中心候选检测部13也可以将表示道路端部的各个像素作为母点，对道路区域执行泰森多边形分割(Voronoi tessellation)处理。在该情况下，在各个道路的大致中心绘制泰森多边形边界，因此，泰森多边形边界表示道路区域的骨架线。并且，在交叉路口呈现多个泰森多边形边界交叉的泰森多边形点。于是，交叉路口中心候选检测部13检测各泰森多边形点来作为交叉路口中心的候选即可。在该情况下，交叉路口中心候选检测部13针对未设置交叉路口标记的交叉路口，也能够检测交叉路口中心的候选，作为其结果，对于这样的交叉路口，也能够适当地设定交叉路口区域。

交叉路口中心候选检测部13将表示所检测出的各个交叉路口中心的候选的位置和道路区域的信息交给交叉路口区域检测部14。

交叉路口区域检测部14针对表示于图像的各个交叉路口，检测包含该交叉路口和与该交叉路口连接的多条道路的预定区域(以下仅称为交叉路口区域)。

因此，交叉路口区域检测部14针对交叉路口中心的各个候选，从图像中检测包含该候选的交叉路口区域的候选。并且，交叉路口区域检测部14将所检测出的交叉路口区域的候选中的与其他交叉路口区域的候选不重叠的候选作为交叉路口区域。进而，交叉路口区域检测部14针对交叉路口区域的各候选中的彼此至少部分重叠的2个以上的交叉路口区域，将该重叠的2个以上的交叉路口区域的候选检测为一个交叉路口区域。

在本实施方式中，交叉路口区域检测部14针对交叉路口中心的每个候选，按照以下的顺序检测交叉路口区域的候选。

交叉路口区域检测部14从所关注的交叉路口中心的候选起沿着放射方向以等角度间隔来设定多条扫描线，按每条扫描线检测该扫描线与道路区域和其以外的区域的边界(以下，称为道路端)或将暂时停止线延伸至道路端部的线交叉的位置来作为交叉路口区域的候选的边缘。通过像这样地决定交叉路口区域的候选的边缘，在交叉路口区域的候选中包含与交叉路口连接的各道路的暂时停止线，因此，容易求出与交叉路口连接的各道路所具有的车道的数量。

另外，在各个扫描线中的从所关注的交叉路口中心的候选到预先设定的最远端之间，对于不存在与如上述这样的暂时停止线等交叉的位置的扫描线，交叉路口区域检测部14检测其最远端的位置来作为交叉路口区域的候选的边缘候选。并且，对于到达最远端的位置成为了边缘候选的道路，交叉路口区域检测部14使边缘候选排列的边缘候选线向所关注的交叉路口中心的候选逐渐靠近，将从所关注的交叉路口中心的候选远离该边缘候选线的长度比其紧接着之前的长度长了预定比率以上时的预定像素数的位置的边缘候选线设定为交叉路口区域的候选的边缘。由此，交叉路口区域检测部14对于与交叉路口连接的各道路中的未设置暂时停止线的道路，也能够将该道路与交叉路口的连接部位包含于交叉路口区域的候选。因此，能够适当地设定与未设置该暂时停止线的道路有关的车道网络。

交叉路口区域检测部14对于与交叉路口连接的各道路，检测用将设定于该道路上的边缘彼此连结而成的线包围的区域来作为交叉路口区域的候选。

图4A～图4C是交叉路口区域的候选检测的概要的说明图。如图4A所示，从交叉路口中心的候选401沿着放射方向设定的各扫描线402与道路端403或将暂时停止线404延伸至道路端403的线交叉的位置被设定为交叉路口区域的候选的边缘。但是，对于从交叉路口中心的候选401来看位于右侧的道路405，由于不存在暂时停止线，所以在预先设定的最远端的位置设定交叉路口区域的候选的边缘的候选线411。

如图4B所示，对于道路405，当使边缘候选线411向交叉路口中心的候选401逐渐靠近时，在位置406，该边缘候选线的长度比其紧接着之前的长度长预定比率以上。于是，距交叉路口中心的候选401比距位置406远预定像素数的位置的边缘候选线被设定为道路405的交叉路口区域的候选的边缘的一部分412。

如图4C所示，最终用针对各道路求出的边缘包围的区域成为交叉路口区域的候选413。

在此，再次参照图3，例如在交叉路口311，仅检测出一个交叉路口中心的候选302，但在交叉路口312，检测出两个交叉路口中心的候选302a、302b。并且，针对交叉路口中心的候选302a设定的交叉路口区域的候选312a和针对交叉路口中心的候选302b设定的交叉路口区域的候选312b彼此部分重叠。其原因是，在如交叉路口312那样对称性低的交叉路口、或者五岔路这样的交叉的道路的数量多的交叉路口，在道路区域的骨架线中容易产生多个3次以上的节点。并且，由于针对从这样的交叉路口检测出的多个交叉路口中心的候选分别设定的交叉路口区域的候选是针对相同的交叉路口而设定的，所以彼此至少部分重叠。

因此，交叉路口区域检测部14将所检测出的各交叉路口区域的候选中的与其他交叉路口区域的候选不重叠的候选分别检测为交叉路口区域。另一方面，交叉路口区域检测部14将所检测出的各交叉路口区域的候选中的彼此至少部分重叠的2个以上的交叉路口区域的候选检测为一个交叉路口区域。此时，交叉路口区域检测部14既可以将该重叠的2个以上的交叉路口区域的候选的任一个作为交叉路口区域，或者也可以将成为该重叠的2个以上的交叉路口区域的候选的并集的区域或成为候选的交集的区域作为交叉路口区域。例如，在图3所示的例子中，在交叉路口311，针对交叉路口中心的候选302设定的交叉路口区域的候选313与其他交叉路口区域的候选不重叠，因此，该交叉路口区域的候选313本身被检测为一个交叉路口区域。另一方面，针对交叉路口中心的候选302a设定的交叉路口区域的候选312a和针对交叉路口中心的候选302b设定的交叉路口区域的候选312b彼此部分重叠，因此，成为交叉路口区域的候选312a和交叉路口区域的候选312b的并集的区域整体被检测为一个交叉路口区域。

交叉路口区域检测部14针对所检测出的各个交叉路口区域，将表示图像上的该交叉路口区域的信息通知给车道检测部15、车道网络生成部16以及地图生成部17。

车道检测部15针对所检测出的各个交叉路口区域所含有的交叉路口所连接的各道路，检测向该交叉路口进入的进入车道和从交叉路口退出的退出车道中的至少一方。

例如，车道检测部15针对所关注的道路，如果暂时停止线的长度为对道路宽度乘以预定系数(例如0.5)而得到的值以下，则判定为在该道路包含进入车道和退出车道这两方。另一方面，如果暂时停止线的长度比对道路宽度乘以预定系数而得到的值大，则车道检测部15判定为在该道路仅包含进入车道。再者，车道检测部15能够算出所关注的道路的宽度来作为与该道路的延伸方向大致正交的方向上的道路端部间的距离。另外，在利用上述识别器检测出车道区划线的情况下，车道检测部15针对所关注的道路的进入车道和退出车道分别判定为存在被该车道区划线区划的数量的车道。此时，车道检测部15也可以针对设置有暂时停止线的道路，根据车道区划线和暂时停止线的位置关系来判定进入车道的数量和退出车道的数量。例如，车道检测部15针对所关注的道路，在与该道路的延伸方向大致正交的方向上，将对与设置于该道路的暂时停止线不重叠的位置处所设置的车道区划线的数量加上1而得到的数量作为退出车道的数量。另外，车道检测部15针对所关注的道路，在与该道路的延伸方向大致正交的方向上，将对与设置于该道路的暂时停止线重叠的位置处所设置的车道区划线的数量加上1而得到的数量作为进入车道的数量。进而，车道检测部15也可以针对所关注的道路，在与该道路的延伸方向大致正交的方向上，对于从暂时停止线的道路的中央侧的一端起位于预定范围内的车道区划线，作为区分进入车道和退出车道的线，在进入车道和退出车道的数量的计数中不进行参照。再者，预定范围例如设定为比图像上的车辆的宽度小的尺寸。

另外，在未设置暂时停止线的道路中检测出一条车道区划线的情况下，车道检测部15也可以判断为在该道路中包含用车道区划线区划的两条车道。并且，车道检测部15将该两条车道中的按照表示于图像的地区的道路法规能够进入交叉路口的一条车道判定为进入车道，将另一条车道判定为退出车道即可。进而，对于暂时停止线和车道区划线都未被检测到的道路(以下，为了便于说明，称为无停止线道路)，车道检测部15判定为在无停止线道路中仅包含退出车道。或者，对于无停止线道路，车道检测部15也可以基于与相同的交叉路口连接的其他道路具有的车道的关系，判定无停止线道路的车道是为进入车道、还是为退出车道。例如，所关注的交叉路口区域所含有的交叉路口是十字路口、在位于与无停止线道路隔着基准点相向的位置的道路设置有暂时停止线、且该道路的车道仅为进入车道的情况下，车道检测部15判定为无停止线道路仅包含退出车道。另一方面，也可以设为：在所关注的交叉路口区域所含有的交叉路口是十字路口、位于与所关注的无停止线道路隔着基准点相向的位置的道路也是无停止线道路的情况下，所关注的无停止线道路所含有的一条车道是既能够进入所关注的交叉路口、也能够从所关注的交叉路口退出的车道，即是进入车道且是退出车道。这样，通过根据暂时停止线的有无、以及暂时停止线的长度相对于道路的宽度的比来检测进入车道和退出车道，车道检测部15能够高精度地检测与交叉路口连接的各道路所含有的进入车道和退出车道。

车道检测部15针对各个交叉路口区域，将与该交叉路口区域所包含的交叉路口连接的各道路的进入车道和退出车道的数量通知给车道网络生成部16。

车道网络生成部16针对各交叉路口区域，以对于与该交叉路口区域所包含的交叉路口连接的多个道路分别连结该道路的进入车道和与该交叉路口连接的其他道路的退出车道的方式，生成表示在交叉路口的车道彼此的连接关系的车道网络。由此，针对各交叉路口，能够得到以车道为单位表示车辆能够行进的方向的信息。

图5A和图5B是表示所生成的车道网络的一个例子的图。如图5A所示，在表示于图像500的交叉路口501连接有四条道路502～505。其中，对于交叉路口501，在从左侧连接的道路502、从上侧连接的道路503、从下侧连接的道路505分别设置有暂时停止线510。并且，根据暂时停止线510的长度和道路的宽度，判定为在道路503和道路505中包含进入车道和退出车道、在道路502中仅包含进入车道。另外，针对交叉路口501，在从右侧连接的道路504未设置暂时停止线，判定为仅包含退出车道。

因此，在图5B所示的车道网络520中，道路502的进入车道与道路503～505各自的退出车道连接。另外，道路503的进入车道503a与道路504的退出车道以及道路505的退出车道505b连接。另一方面，道路503的退出车道503b与道路502的进入车道以及道路505的进入车道505a连接。同样地，道路505的进入车道505a与道路504的退出车道以及道路503的退出车道503b连接，道路505的退出车道505b与道路502的进入车道以及道路503的进入车道503a连接。并且，道路504的退出车道与道路502、道路503以及道路505各自的进入车道连接。

车道网络生成部16将表示针对各交叉路口区域的车道网络的信息通知给地图生成部17。

地图生成部17生成包含表示针对各交叉路口区域的车道网络的信息的地图。另外，地图生成部17针对从图像中检测出的各个道路，将与该道路所含有的车道的数量和设置于各车道的道路标示有关的信息包含于地图。

此时，地图生成部17也可以按每个交叉路口区域，参照对成为了地图生成处理的对象的图像所表示的地理范围进行表示的信息和图像上的该交叉路口区域的位置，求出该交叉路口的位置，使表示该位置的位置信息(例如纬度以及经度)与道路地图相关联。同样地，地图生成部17也可以针对各道路按预定长度的区间划分该道路，按每个区间参照对成为了地图生成处理的对象的图像所表示的地理范围进行表示的信息和图像上的该区间的位置，求出该区间的位置，使表示该位置的位置信息与道路地图相关联。

进而，地图生成部17也可以通过对按每个图像而生成的道路地图进行结合来生成更大范围的道路地图。此时，地图生成部17通过按每个图像参照对该图像所表示的地理范围进行表示的信息，以相同道路的相同位置彼此重叠的方式结合由各个图像得到的道路地图即可。

地图生成部17将所生成的道路地图存储在存储器5中，或经由存储介质访问装置6写入到存储介质8中。或者，地图生成部17也可以将所生成的道路地图经由通信接口2输出给其他设备。

图6是地图生成处理的工作流程图。处理器7按成为地图生成处理的对象的每个鸟瞰图像，按照下述的工作流程图来执行地图生成处理即可。

处理器7的停止线检测部11检测表示于鸟瞰图像的各个暂时停止线(步骤S101)。另外，处理器7的道路区域检测部12检测表示于鸟瞰图像的道路区域(步骤S102)。然后，处理器7的交叉路口中心候选检测部13检测道路区域的骨架线，检测该骨架线的各分支点来作为交叉路口中心的候选(步骤S103)。

处理器7的交叉路口区域检测部14针对交叉路口中心的候选分别检测包含该中心的候选的交叉路口区域的候选(步骤S104)。然后，交叉路口区域检测部14检测各交叉路口区域的候选中的彼此不重叠的交叉路口区域的候选来分别作为交叉路口区域(步骤S105)。进而，交叉路口区域检测部14检测各交叉路口区域的候选中的彼此至少部分重叠的2个以上的交叉路口区域的候选来作为一个交叉路口区域(步骤S106)。

针对所检测出的各个交叉路口区域，处理器7的车道检测部15关于与其交叉路口连接的各道路，基于该道路有无暂时停止线和暂时停止线的长度相对于该道路的宽度之比来检测进入车道和退出车道中的至少一方(步骤S107)。

处理器7的车道网络生成部16针对各个交叉路口区域，以对于与该交叉路口区域所含有的交叉路口连接的多条道路分别连结该道路的进入车道和与该交叉路口连接的其他道路的退出车道的方式生成车道网络(步骤S108)。

然后，处理器7的地图生成部17生成包含对针对各交叉路口区域的车道网络进行表示的信息的道路地图(步骤S109)。然后，处理器7结束地图生成处理。

如以上说明的那样，该地图生成装置检测鸟瞰图像上的道路区域的骨架线，并检测该骨架线的分支点来作为交叉路口的中点的候选。进而，该地图生成装置按每个交叉路口中心的候选，检测交叉路口区域的候选。并且，该地图生成装置检测与其他交叉路口区域的候选不重叠的交叉路口区域的候选来作为交叉路口区域，另一方面，检测至少部分重叠的2个以上的交叉路口区域的候选来作为一个交叉路口区域。因此，该地图生成装置能够从鸟瞰图像中检测不存在表示中心的道路标示的交叉路口。

再者，有时根据场所而相互接近地设置多个交叉路口。在这种情况下，有时针对多个交叉路口分别检测出的交叉路口区域的候选彼此部分重叠。但是，有时在该多个交叉路口的任一个设置暂时停止线或者人行横道这样的如横穿道路那样的道路标示。并且，有时该道路标示存在于多个交叉路口之间。

因此，根据变形例，道路区域检测部12通过向识别器输入图像，从图像中进一步检测道路标示。在该情况下，用于检测道路区域的识别器被预先进行学习以使得不仅检测道路区域、也检测道路标示即可。

交叉路口区域检测部14对于彼此至少部分重叠的2个以上的交叉路口区域的候选，在这些交叉路口区域的候选的中心的候选彼此之间存在横穿道路的道路标示的情况下，将这些交叉路口区域的各个候选检测为单独的交叉路口区域。由此，即使多个交叉路口相互接近，该地图生成装置也能够高精度地检测这些交叉路口。

进而，在多个道路立体地交叉的地点，有时在该交叉的地点，道路区域的骨架线的分支点会被检测为交叉路口中心的候选。在这种情况下，对于该交叉路口中心的候选，优选不检测为交叉路口区域。再者，在这种地点中，一方的道路与另一方的道路的边界交叉。

因此，根据变形例，道路区域检测部12通过向识别器输入图像，从图像中进一步检测道路端部或表示道路端部的区划线这样的道路标示。在该情况下，用于检测道路区域的识别器被预先进行学习以使得不仅检测道路区域、也检测道路端部或表示道路端部的道路标示即可。

交叉路口区域检测部14针对所关注的交叉路口中心的候选，在沿着经过该中心的候选的任一条骨架线而存在道路端部或表示道路端部的道路标示、且经过该中心的候选的其他骨架线与该道路端部或表示道路端部的道路标示交叉的情况下，不将针对关注的交叉路口中心的候选所设定的交叉路口区域的候选检测为交叉路口区域。由此，交叉路口区域检测部14能够防止将道路彼此立体交叉的地点误检测为交叉路口区域。

再者，有时图像针对各像素而具有对该像素所表示的地点在实际空间中的高度进行表示的高度信息。在这种情况下，交叉路口区域检测部14也可以针对所关注的交叉路口中心的候选，将高度差和预定的高度差阈值进行比较，该高度差是与经过该中心的候选的骨架线上的各位置相当的地点在实际空间中的高度和与经过该中心的候选的其他骨架线上的各位置相当的地点在实际空间中的高度之差。并且，交叉路口区域检测部14也可以设为针对任两个地点，在其差为高度差阈值以上的情况下，不将针对所关注的交叉路口中心的候选设定的交叉路口区域的候选检测为交叉路口区域。在该情况下，交叉路口区域检测部14也能够防止将道路彼此立体交叉的地点误检测为交叉路口区域。

另外，有时根据道路而在交叉路口设置有环岛。在环岛中设置有环状的道路，在该环状的道路连接有多条道路。因此，通过检测这种道路的结构，地图生成装置能够检测环岛。

图7是该变形例涉及的地图生成装置的处理器7的功能框图。如图7所示，处理器7具有停止线检测部11、道路区域检测部12、交叉路口中心候选检测部13、交叉路口区域检测部14、环岛检测部18、车道检测部15、车道网络生成部16以及地图生成部17。处理器7具有的这些各部例如是通过在处理器7上执行的计算机程序来实现的功能模块。或者，处理器7具有的这些各部也可以是设置于处理器7的专用运算电路。在该变形例中，与上述实施方式相比，不同点是处理器7具有环岛检测部18。因此，以下对环岛检测部18及其关联部分进行说明。对于处理器7具有的其他构成要素的详细，请参照上述实施方式中的对应的构成要素的说明。

环岛检测部18检测各交叉路口中心的候选中的经由骨架线形成闭合曲线的多个候选。此时，环岛检测部18按照从多条线的组合中检测闭合曲线的任一方法，从道路区域的骨架线的各种组合中检测成为闭合曲线的骨架线的组合，将所检测出的组合所含有的任一条骨架线所经过的交叉路口中心的候选检测为形成闭合曲线的交叉路口中心的候选即可。再者，环岛检测部18也可以仅针对长度为与一个环岛的环状的道路的长度相当的预定的长度阈值以下的闭合曲线，检测形成该闭合曲线的交叉路口中心的候选。并且，环岛检测部18判定是否能够用以形成该闭合曲线的多个候选的重心为中心的圆来近似该闭合曲线。例如，环岛检测部18在闭合曲线与圆的最小平方误差为预定的阈值以下的情况下判定为能够用圆来近似该闭合曲线即可。在能够用圆近似该闭合曲线的情况下，环岛检测部18检测包含形成该闭合曲线的多个候选的每一个候选的区域来作为表示了环岛的区域。例如，环岛检测部18针对形成该闭合曲线的多个候选分别检测成为按照与交叉路口区域检测部14同样的方法检测出的交叉路口区域的候选的并集的区域来作为表示了环岛的区域。或者，环岛检测部18也可以将近似该闭合曲线的圆的中心作为表示环岛的区域的中心。并且，环岛检测部18也可以将圆形状的区域作为表示环岛的区域，所述圆形状的区域是将从表示了环岛的区域的中心到该闭合曲线的距离的平均值与预定的偏置(offset)相加而得到的值作为半径的区域。

在环岛中，能够从与环岛连接的各道路的进入车道向环状的道路进入，并且，能够从环状的道路向各道路的退出车道退出。因此，车道网络生成部16针对表示了环岛的区域，以将与环岛连接的各道路的进入车道和环岛的环状道路的车道连接、并且将环岛的环状道路的车道和该各道路的退出车道连接的方式生成车道网络即可。

根据该变形例，地图生成装置能够与其他交叉路口区别地检测构成为环岛的交叉路口。

再者，有时根据交叉路口，通过道路标示限制了从与该交叉路口连接的某一条道路退出。在这种情况下，在鸟瞰图像中未表示有道路标示的显示内容，因此，要求不参照道路标示而针对与交叉路口连接的各道路判定能否退出。

因此，根据变形例，车道网络生成部16也可以通过向识别器输入交叉路口区域来生成该交叉路口区域的车道网络，所述识别器被预先进行学习以使得针对与交叉路口连接的各道路来输出该道路的进入车道和其他道路的退出车道中的车辆能够行进的退出车道的连接关系。作为那种识别器，车道网络生成部16例如可以使用Graph Parsing NeuralNetwork(GPNN，图解析神经网络)。另外，车道网络生成部16为了根据交叉路口区域所包含的各像素的值求出向GPNN输入的特征矢量，可以使用Variational Auto-Encoder(VAE，变分自编码器)或者包含位置敏感ROI(Position-Sensitive ROI(PSRoI))池化(Pooling)层的可变形卷积网络(Deformable Convolutional Network)这样的具有CNN型的架构的DNN。车道网络生成部16将通过向这些DNN输入交叉路口区域的各像素的值而生成的featuremap作为向GPNN输入的特征矢量即可。

根据该变形例，车道网络生成部16即使是在针对与交叉路口连接的任一条道路而通过道路标示限制了从交叉路口向该道路的退出的情况下，也能够适当生成车道网络。

进而，使计算机实现上述的实施方式或变形例涉及的地图生成装置的处理器具有的各部的功能的计算机程序也可以以存储在能够被计算机读取的记录介质中的形式来提供。再者，能够被计算机读取的记录介质可以设为例如磁记录介质、光记录介质或半导体存储器。

如以上这样，本领域技术人员能够在本发明的范围内与实施的方式相匹配地进行各种变更。

Claims (7)

1.一种地图生成装置，具有：

道路区域检测部，其从鸟瞰图像中检测表示了道路的道路区域；

交叉路口中心候选检测部，其检测所述道路区域的骨架线，将所述骨架线的分支点分别检测为交叉路口中心的候选；

交叉路口区域检测部，其针对所述交叉路口中心的各个候选，从所述鸟瞰图像中检测包含该中心的候选的表示交叉路口的交叉路口区域的候选，将所述交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的所述交叉路口区域的候选检测为一个交叉路口区域。

2.根据权利要求1所述的地图生成装置，

所述道路区域检测部从所述鸟瞰图像中进一步检测以横穿道路的方式设置的道路标示，

所述交叉路口区域检测部针对所述彼此至少部分重叠的2个以上的所述交叉路口区域的候选，在该交叉路口区域的候选的所述中心的候选彼此之间存在所述道路标示的情况下，将该2个以上的所述交叉路口区域的候选分别检测为单独的交叉路口区域。

3.根据权利要求1或2所述的地图生成装置，

还具有环岛检测部，所述环岛检测部从所述交叉路口中心的各个候选中检测经由所述骨架线形成闭合曲线的多个候选，判定是否能够用以所述多个候选的重心为中心的圆来近似所述闭合曲线，在能够用圆近似所述闭合曲线的情况下，将包含所检测出的所述多个候选的各个候选的区域检测为表示了环岛的区域。

4.根据权利要求1～3中任一项所述的地图生成装置，

所述道路区域检测部从所述鸟瞰图像中进一步检测道路端部或表示道路端部的道路标示，

在所述交叉路口中心的各个候选中，在经过该中心的候选的任一条所述骨架线与沿着经过该中心的候选的其他的任一条所述骨架线的所述道路端部或表示所述道路端部的道路标示交叉的情况下，所述交叉路口区域检测部不将针对该中心的候选的所述交叉路口区域的候选检测为所述交叉路口区域。

5.根据权利要求1～3中的任一项所述的地图生成装置，其中，

所述鸟瞰图像包含对所述鸟瞰图像的各像素所表示的地点在实际空间中的高度进行表示的高度信息，

在所述交叉路口中心的各个候选中，在与经过该中心的候选的任一条所述骨架线上的任一位置相当的地点在实际空间中的高度和与经过该中心的候选的其他的任一条所述骨架线上的任一位置相当的地点在实际空间中的高度之差为预定的高度差阈值以上的情况下，所述交叉路口区域检测部不将针对该中心的候选的所述交叉路口区域的候选检测为所述交叉路口区域。

6.一种地图生成方法，包括：

从鸟瞰图像中检测表示了道路的道路区域；

检测所述道路区域的骨架线，将所述骨架线的分支点分别检测为交叉路口中心的候选；

针对所述交叉路口中心的各个候选，从所述鸟瞰图像中检测包含该中心的候选的表示交叉路口的交叉路口区域的候选，将所述交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的所述交叉路口区域的候选检测为一个交叉路口区域。

7.一种地图生成用计算机程序，使计算机执行：

从鸟瞰图像中检测表示了道路的道路区域；

检测所述道路区域的骨架线，将所述骨架线的分支点分别检测为交叉路口中心的候选；

针对所述交叉路口中心的各个候选，从所述鸟瞰图像中检测包含该中心的候选的表示交叉路口的交叉路口区域的候选，将所述交叉路口区域的各个候选中的彼此至少部分重叠的2个以上的所述交叉路口区域的候选检测为一个交叉路口区域。

Images