CN113495940B - 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质 - Google Patents
道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质 Download PDFInfo
- Publication number
- CN113495940B CN113495940B CN202110330059.7A CN202110330059A CN113495940B CN 113495940 B CN113495940 B CN 113495940B CN 202110330059 A CN202110330059 A CN 202110330059A CN 113495940 B CN113495940 B CN 113495940B
- Authority
- CN
- China
- Prior art keywords
- road
- partial
- area
- road area
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004590 computer program Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
提供道路区域校正装置、道路区域校正方法以及计算机程序,能够将从俯瞰图像抽取出的道路区域校正成分别准确地进行覆盖对应的各个道路。道路区域校正装置具有:划分部(12),将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域;对应建立部(13),关于多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来;以及校正部(14),关于多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的道路区间的方式校正道路区域。
Description
技术领域
本发明涉及用于对图像上的表示道路的道路区域进行校正的道路区域校正装置、道路区域校正方法以及道路区域校正用计算机程序。
背景技术
提出有根据卫星照片或者航空照片所呈现的图像生成地图的技术(例如,参照专利文献1~3)。例如,在专利文献1所公开的地图信息的显示方法中,显示地图部分的面的显示在2维视图或者3维视图中至少部分基于航空照片以及/或者卫星照片。另外,在专利文献2所公开的技术中,在根据远程感测图像生成地图的情况下,辨识阴影的区域。进而,专利文献3所公开的道路辨识系统生成抽取出表示图像中的道路的部分的道路范围图像,生成对该道路范围图像中的表示地上物的部分进行了标记的地上物抽取图像。然后,道路辨识系统抽取与地上物抽取图像中的道路矢量平行的直线分量,生成沿着该直线分量对地上物抽取图像进行区域分割的道路区域分割图像,根据道路区域分割图像的各区域所包含的地上物的大小以及所占比例,对该区域的属性进行分类。
现有技术文献
专利文献
专利文献1:日本特表2008-509441号公报
专利文献2:日本特开平11-283012号公报
专利文献3:日本特开2007-33931号公报
发明内容
然而,在上述技术中,有时未准确地抽取表示图像上的道路的区域(以下,有时简称为“道路区域”)。
因而,本发明的目的在于提供一种道路区域校正装置,能够校正为将从俯瞰图像抽取出的道路区域分别准确地覆盖到对应的各条道路。
作为本发明的一个方式,提供道路区域校正装置。该道路区域校正装置具有:划分部,将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域;对应建立部,关于多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来;以及校正部,关于多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的道路区间的方式校正道路区域。
在该道路区域校正装置中,优选:划分部通过对道路区域进行细线化或者骨架化,从而求出道路区域的骨架线的集合,以使该骨架线的集合中包含的端点或者骨架线彼此的分支点成为各个骨架线的端点的方式,将骨架线的集合分割为各个骨架线,将道路区域中包含的各像素与分割后的各个骨架线中的最近的骨架线关联起来,关于分割后的各个骨架线的每一个骨架线,将与该骨架线关联起来的像素的集合作为多个部分道路区域之一,从而将道路区域划分为多个部分道路区域。
或者,在该道路区域校正装置中,优选:划分部以表示道路区域的边界的每个像素为母点,对道路区域进行泰森多边形(Voronoi)分割,从而求出关于道路区域的泰森多边形边界的集合,以使泰森多边形边界的集合中包含的泰森多边形点或者端点成为各个泰森多边形边界的端点的方式,将该泰森多边形边界的集合分割为各个泰森多边形边界,将道路区域所包含的各像素与分割后的各个泰森多边形边界中的最近的泰森多边形边界关联起来,关于分割后的各个泰森多边形边界的每一个泰森多边形边界,将与该泰森多边形边界关联起来的像素的集合作为多个部分道路区域之一,从而将道路区域划分为多个部分道路区域。
进而,在该道路区域校正装置中,优选:对应建立部获取表示俯瞰图像所呈现的实际空间的区域的位置以及范围的信息,关于多个部分道路区域的各个部分道路区域,根据俯瞰图像中的该部分道路区域的基准点的位置和俯瞰图像所呈现的实际空间的区域的位置以及范围,求出该部分道路区域在实际空间中的位置,将多个道路区间中的、离该部分道路区域在实际空间中的位置最近的道路区间作为处于该部分道路区域的位置的道路区间。
进而,在该道路区域校正装置中,优选:校正部以将被与多个道路区间中的相同的道路区间对应起来的多个部分道路区域中的一个以上的部分道路区域夹着或者包围的、不包含于道路区域的俯瞰图像的像素包含到道路区域中的方式,校正道路区域。
作为本发明的另一方式,提供道路区域校正方法。该道路区域校正方法包括:将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域,关于多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示的、处于部分道路区域的位置的道路区间对应起来,关于多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的道路区间的方式校正道路区域。
作为本发明的又一方式,提供道路区域校正用计算机程序。该道路区域校正用计算机程序包含用于使计算机执行如下步骤的命令:将呈现有从俯瞰图像抽取出的道路的道路区域划分为多个部分道路区域,关于多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示的、处于部分道路区域的位置的道路区间对应起来,关于多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的道路区间的方式校正道路区域。
本发明的道路区域校正装置起到能够校正为将从俯瞰图像抽取出的道路区域准确地覆盖到对应的各条道路的每一条道路的效果。
附图说明
图1是一个实施方式的道路区域校正装置的硬件结构图。
图2是道路区域校正装置的处理器的功能框图。
图3是示出俯瞰图像以及抽取出的道路区域的一个例子的图。
图4是示出对道路区域进行分割而得到的多个部分道路区域的一个例子的图。
图5是示出校正前的道路区域和校正后的道路区域的一个例子的图。
图6是道路区域校正处理的动作流程图。
符号说明
1:道路区域校正装置;2:通信接口;3:输入装置;4:显示装置;5:存储器;6:存储介质访问装置;7:处理器;8:存储介质;11:抽取部;12:划分部;13:对应建立部;14:校正部。
具体实施方式
以下,参照附图,说明道路区域校正装置以及在该道路区域校正装置中利用的道路区域校正方法以及道路区域校正用计算机程序。
优选在用于车辆的自动驾驶控制的所谓的高精度地图信息中包含各条道路上的每个车道的信息,以使得车辆控制装置能够参照该高精度地图信息而适当地进行与车道变更、合流或者超车等有关的控制。为了生成这样的高精度地图信息,考虑利用诸如航空照片或者卫星照片所呈现的图像的呈现有道路的俯瞰图像。在这样的情况下,要求从俯瞰图像抽取出的道路区域准确地覆盖对应的各条道路。
因而,该道路区域校正装置将从俯瞰图像抽取出的道路区域划分为多个部分道路区域,关于多个部分道路区域的各个部分道路区域,将该部分道路区域与表示各个道路区间在实际空间中的位置的地图信息(以下,有时称为“道路地图信息”)所示出的、处于该部分道路区域的位置的道路区间对应起来。然后,该道路区域校正装置关于多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的道路区间的方式校正道路区域。
此外,在以下说明的各实施方式或者变形例中,作为道路区域校正处理的对象的俯瞰图像例如能够采用高分辨率的卫星照片或者航空照片所呈现的图像。另外,道路地图信息例如能够采用在导航装置中为了探索直至目的地的路线而使用的地图信息。但是,道路地图信息不限于此,只要为表示各个道路区间在实际空间中的位置的信息即可。进而,道路地图信息也可以包含表示各个道路区间的连接关系的信息。
以下,说明一个实施方式的道路区域校正装置。该道路区域校正装置抽取俯瞰图像上的表示道路的道路区域,并对抽取出的道路区域进行校正,以使得准确地覆盖对应的各条道路。
图1是道路区域校正装置的硬件结构图。如图1所示,道路区域校正装置1具有通信接口2、输入装置3、显示装置4、存储器5、存储介质访问装置6以及处理器7。
通信接口2具有用于与遵循以太网(注册商标)等通信标准的通信网络连接的通信接口及其控制电路。通信接口2从经由通信网络连接的其它设备(未图示)接收各种信息或者数据,并交付给处理器7。在通信接口2接收的数据中也可以包含:呈现有作为道路区域校正处理的对象的道路的俯瞰图像和表示该俯瞰图像所呈现的地理范围的信息(例如,呈现于该俯瞰图像的区域的预定的位置(例如,左上端或者中心)的纬度以及经度、该区域的水平方向以及垂直方向的实际空间中的尺寸及方位)。进而,在通信接口2接收的数据中也可以包含道路地图信息。另外,通信接口2也可以经由通信网络将从处理器7收到的表示作为道路区域校正处理的执行结果得到的道路区域的信息(以下,有时简称为“道路区域信息”)输出到其它设备。
输入装置3例如具有键盘和鼠标这样的指示器件(Pointing device)。然后,输入装置3生成与由用户进行的操作例如选择作为道路区域校正处理的对象的俯瞰图像的操作、指示开始执行道路区域校正处理的操作或者使所生成的道路区域信息显示于显示装置4的操作相应的操作信号,并将该操作信号输出到处理器7。
显示装置4例如具有液晶显示器或者有机EL显示器。然后,显示装置4显示从处理器7收到的显示用的数据,例如表示执行道路区域校正处理的俯瞰图像的候补的数据、或者所生成的道路区域信息或其一部分。
此外,输入装置3和显示装置4也可以为如触摸面板显示器那样一体化的装置。
存储器5为存储部的一个例子,例如为能够读写的半导体存储器和只读半导体存储器。然后,存储器5例如存储由处理器7执行的道路区域校正处理用的计算机程序、在该道路区域校正处理中使用的各种数据,该各种数据例如为:作为道路区域校正处理的对象的俯瞰图像以及表示该俯瞰图像所呈现的地理的范围的信息、道路地图信息、规定在道路区域校正处理中使用的识别器的参数群以及在该道路区域校正处理的执行过程中生成的各种数据。进而,存储器5也可以存储所生成的道路区域信息。
存储介质访问装置6例如为访问诸如磁盘、半导体存储器卡以及光存储介质的存储介质8的装置。此外,存储介质访问装置6与存储介质8一起构成存储部的另一个例子。存储介质访问装置6例如读入存储于存储介质8的、在处理器7上执行的道路区域校正处理用的计算机程序或者作为道路区域校正处理的对象的俯瞰图像以及表示该俯瞰图像所呈现的地理的范围的信息,并交付给处理器7。或者,存储介质访问装置6也可以从处理器7接收生成的道路区域信息,将该道路区域信息写入到存储介质8。
处理器7为处理部的一个例子,例如具有一个或者多个CPU及其周边电路。进而,处理器7也可以具有数值运算用的运算电路、图形处理用的运算电路以及逻辑运算用的运算电路。而且,处理器7控制整个道路区域校正装置1。另外,处理器7对作为道路区域校正处理的对象的呈现有道路的俯瞰图像执行道路区域校正处理。
图2是处理器7的功能框图。如图2所示,处理器7具有抽取部11、划分部12、对应建立部13以及校正部14。处理器7所具有的这些各部分例如为由在处理器7上执行的计算机程序实现的功能模块。或者,处理器7所具有的这些各部分也可以为设置于处理器7的专用的运算电路。
抽取部11从作为对象的俯瞰图像抽取道路区域。为此,抽取部11例如通过将作为对象的俯瞰图像输入到识别器,从而抽取道路区域,该识别器是为了针对图像的每个像素输出该像素所表示的物体的种类而预先学习的。
作为识别器,例如抽取部11能够使用具有卷积神经网络(Convolutional NeuralNetwork,CNN)型的架构的所谓的深度神经网络(Deep Neural Network,DNN)。具体而言,作为识别器,抽取部11能够使用语义分割用的CNN,例如Fully Convolutional Network(FCN)(Long,J.,Shelhamer及其他,“Fully convolutional networks for semanticsegmentation”,In CVPR,2015年))、U-Net、SegNet、PSPNet或者RefineNet这样的CNN。亦或者,作为识别器,抽取部11也可以使用遵循诸如随机森林的其它语义分割技术的识别器。
图3是示出俯瞰图像以及抽取出的道路区域的一个例子的图。在图3中,图像300为作为道路区域抽取的对象的俯瞰图像的一个例子,2值图像310表示从俯瞰图像300抽取出的道路区域311。此外,在该例中,道路区域311用黑色表示。由于诸如建筑物的影子b罩盖俯瞰图像300中呈现的道路301的原因,关于道路301的一部分,存在难以识别为道路的部位。因此,未准确地抽取道路区域,作为其结果,尽管道路301未中断,但在道路区域311却存在中断的部位311a。同样地,虽然在道路301的车道间没有空间,但在道路区域311内存在孔311b。在参照道路区域311生成高精度地图信息时,这样的中断部位311a以及孔311b可能成为导致无法准确求出车道网络的主要原因,该车道网络表示高精度地图信息所包含的每个车道的连接关系。因此,优选以消除中断部位311a以及孔311b的方式校正道路区域311。
抽取部11将表示抽取出的道路区域的信息交付给划分部12以及校正部14。此外,表示道路区域的信息例如能够采用2值图像,该2值图像具有与作为道路区域的抽取对象的俯瞰图像相同的尺寸,且包含于道路区域的像素与不包含于道路区域的像素具有互不相同的值。
划分部12将道路区域划分为多个部分道路区域。在本实施方式中,划分部12关于多个部分道路区域的各个部分道路区域,以易于与道路地图信息中示出的各个道路区间中的任意道路区间对应起来的方式,例如以将道路区域的延伸方向上的任意的端部或者交叉点等分支点作为任意的部分道路区域的一端的方式,将道路区域划分为多个部分道路区域。为此,划分部12例如通过对道路区域进行骨架化或者细线化,从而求出表示道路区域的骨架的、以一个像素的宽度连续的骨架线的集合(以下,有时称为“骨架网链路”)。此外,划分部12对道路区域应用各种骨架处理的算法或者各种细线化处理的算法中的任意算法,求出道路区域的骨架网链路即可。
划分部12将道路区域的骨架网链路分割为多个部分骨架线。此时,划分部12以将各个部分骨架线的一端作为骨架网链路所包含的骨架线彼此的分支点或者骨架线的端点的方式决定各个部分骨架线即可。进而,划分部12也可以将骨架线弯折预定角度以上的位置作为骨架线的端点。
划分部12关于道路区域所包含的各像素,与多个部分骨架线中的离该像素最近的部分骨架线关联起来。然后,划分部12关于各部分骨架线,将成为与该部分骨架线关联起来的像素的集合的区域作为一个部分道路区域。由此,划分部12能够将道路区域以易于与道路地图信息所示的任意的道路区间对应起来的方式划分为多个部分道路区域。
图4是示出将道路区域进行分割而得到的多个部分道路区域的一个例子的图。在图4的左侧所示的2值图像400中,道路区域401用黑色表示。通过对道路区域401应用细线化处理或者骨架处理,能够得到用白线表示的骨架网链路402。然后,如图4的右侧所示的图像410那样,通过将道路区域401内的各像素与骨架网链路402所包含的各部分骨架线中的任意部分骨架线关联起来,能够得到各个部分道路区域411。
划分部12将表示各个部分道路区域的信息交付给对应建立部13。此外,表示各个部分道路区域的信息例如能够采用如下图像:具有与作为道路区域的抽取对象的俯瞰图像相同的尺寸,且针对每个部分道路区域,包含于该部分道路区域的像素的值与包含于其它部分道路区域的像素的值不同。
对应建立部13关于多个部分道路区域的各个部分道路区域,将该部分道路区域与道路地图信息示出的、处于该部分道路区域的位置的道路区间对应起来。在本实施方式中,对应建立部13对多个部分道路区域进行相同的处理,将部分道路区域与道路区间对应起来即可,所以,以下说明针对关注的一个部分道路区域的处理。
对应建立部13经由通信接口2或者从存储器5或存储介质8获取表示作为道路区域的抽取对象的原俯瞰图像的地理范围的信息、即表示该俯瞰图像所呈现的实际空间的区域的位置以及范围的信息。然后,对应建立部13根据关注的部分道路区域的基准点的俯瞰图像中的位置和该俯瞰图像所呈现的实际空间的区域的位置以及范围,求出该部分道路区域在实际空间中的位置。例如,对应建立部13求出关注的部分道路区域的重心位置或者对应的骨架线的中点的位置,作为该部分道路区域的基准点。然后,对应建立部13关于俯瞰图像的水平方向以及垂直方向的各个方向,将该俯瞰图像所呈现的区域的实际空间中的尺寸乘以从该俯瞰图像的预定位置(例如,左上端或者中心)至关注的部分道路区域的基准点的位置的距离与该俯瞰图像的尺寸之比,从而能够求出从与俯瞰图像的预定位置对应的实际空间中的位置至该部分道路区域在实际空间中的位置的偏离量。进而,对应建立部13能够根据该偏离量、与俯瞰图像的预定位置对应的实际空间中的位置的纬度以及经度以及该俯瞰图像的水平方向或者垂直方向的方位,求出实际空间中的关注的部分道路区域的位置。
对应建立部13参照道路地图信息所示出的各个道路区间的位置确定该各个道路区间中的、离关注的部分道路区域的实际空间的位置最近的道路区间。然后,对应建立部13将所确定的道路区间作为处于关注的部分道路区域的位置的道路区间,与关注的部分道路区域对应起来即可。由此,对应建立部13能够将关注的部分道路区域与处于该部分道路区域的位置的道路区间准确地对应起来。此外,对应建立部13也可以对一个部分道路区域设定多个基准点。然后,对应建立部13可以通过对多个基准点分别进行与上述处理同样的处理,从而将多个道路区间与该部分道路区域对应起来。或者,对应建立部13也可以将两个以上的部分道路区域与一个道路区间对应起来。
对应建立部13关于多个部分道路区域的各个部分道路区域,将表示与该部分道路区域对应起来的道路区间的信息通知给校正部14。此外,表示道路区间的信息例如能够采用在道路地图信息中分配给该道路区间的识别编号(例如,链路ID)。
校正部14关于多个部分道路区域的各个部分道路区域,对该部分道路区域进行校正,以覆盖对应的道路区间。此时,校正部14关于被与相同的道路区间对应的一个以上的部分道路区域夹着或者包围的、不包含于道路区域的俯瞰图像的像素(例如,与图3中的中断部位311a或者孔311b相当的像素),也进行校正以使得包含到道路区域中即可。为此,校正部14例如通过对各部分道路区域执行预定次数以上的基于形态的膨胀收缩运算,能够以堵塞包含于部分道路区域内的孔或者横切对应的道路区间的方式消除中断部分,以覆盖对应的道路区间的方式校正各部分道路区域。但是,校正部14关于被与不同的道路区间对应的两个部分道路区域夹着或者包围的、不包含于任何的部分道路区域的像素,保留原样。这样的不作为校正对象的像素彼此连续存在的区域与作为校正对象的像素连续存在的区域不同,与和不同的道路区间对应的两个以上的部分道路区域相接。因此,对应建立部13能够区分作为校正对象的像素和不作为校正对象的像素。
此外,关于各部分道路区域,若不与道路区间建立对应而对道路区域直接应用基于形态的膨胀收缩运算,在如环形交叉路口那样道路自身具有看起来如孔那样的部分的情况下,有时会错误地堵塞这样的部分。但是,根据本实施方式,校正部14能够防止这样的错误的道路区域的校正。
图5是示出校正前的道路区域和校正后的道路区域的一个例子的图。左侧所示的2值图像500表示校正前的道路区域501,另一方面,右侧所示的2值图像510表示校正后的道路区域511。在2值图像500以及2值图像510各自中,道路区域用黑色表示。校正前的道路区域501包括中断部位501a以及孔501b,相对于此,校正后的道路区域511没有这样的中断部位以及孔。因此,可知与校正前的道路区域501相比,校正后的道路区域511更准确地表示出道路整体。
校正部14经由存储介质访问装置6将表示校正后的道路区域的信息写入到存储介质8。或者,校正部14也可以经由通信接口2将表示校正后的道路区域的信息输出到其它设备。又或者,校正部14也可以使表示校正后的道路区域的信息显示于显示装置4。
表示校正后的道路区域的信息例如被用作表示在原来的俯瞰图像中作为车道区划线、临时停止线等道路标识的检测对象的区域的信息。然后,例如,通过将在原来的俯瞰图像中对校正后的道路区域以外进行掩膜处理而得到的图像输入到为了检测道路标识而预先学习的识别器,从而检测道路标识。然后,利用检测到的道路标识来生成高精度地图信息。
图6是道路区域校正处理的动作流程图。处理器7针对作为道路区域校正处理的对象的每个俯瞰图像,依照下述动作流程图执行道路区域校正处理即可。
处理器7的抽取部11通过将俯瞰图像输入到识别器,从而抽取该俯瞰图像上的道路区域(步骤S101)。处理器7的划分部12将抽取出的道路区域划分为多个部分道路区域(步骤S102)。
处理器7的对应建立部13关于多个部分道路区域的各个部分道路区域,将该部分道路区域与道路地图信息所示出的处于该部分道路区域的位置的道路区间对应起来(步骤S103)。然后,处理器7的校正部14关于多个部分道路区域的各个部分道路区域,对该部分道路区域进行矫正,以覆盖对应的道路区间(步骤S104)。在步骤S104之后,处理器7结束道路区域校正处理。
如以上说明那样,该道路区域校正装置将从俯瞰图像抽取出的道路区域划分为多个部分道路区域,关于多个部分道路区域的各个部分道路区域,将该部分道路区域与道路地图信息所示出的处于该部分道路区域的位置的道路区间对应起来。然后,该道路区域校正装置关于多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的道路区间的方式校正道路区域。因此,该道路区域校正装置能够将从俯瞰图像抽取出的道路区域校正成分别准确地覆盖对应的各条道路。
根据变形例,划分部12也可以依照细线化处理或者骨架处理以外的手法将道路区域划分为多个部分道路区域。例如,划分部12也可以通过对道路区域应用泰森多边形分割处理,从而将道路区域划分为多个部分道路区域。在该情况下,划分部12通过以表示道路区域的2值图像中的表示道路区域的边界的像素分别为母点,对该2值图像进行泰森多边形分割,从而求出泰森多边形边界。此外,划分部12依照执行泰森多边形分割的任意的算法求出泰森多边形边界即可。
泰森多边形边界设置于离最近的两个母点为等距离的位置。因而,在以表示道路区域的边界的像素分别为母点的情况下,泰森多边形边界被以沿着各个道路延伸、且位于各个道路内的方式求出。进而,在交叉点处,泰森多边形边界彼此交叉。因而,在各个交叉点处,出现泰森多边形边界交叉的点即泰森多边形点。因而,划分部12通过以将泰森多边形点或者泰森多边形边界的端点分别作为一端的方式对泰森多边形边界进行分割,能够求出与上述实施方式中的骨架网链路同样的骨架线的集合。然后,划分部12与上述实施方式同样地,将道路区域所包含的各像素与分割后的各个泰森多边形边界中的、离该像素最近的泰森多边形边界关联起来。然后,划分部12关于分割后的各个泰森多边形边界,将作为与该泰森多边形边界关联的像素的集合的区域作为一个部分道路区域即可。根据该变形例,针对每个交叉点求出一个泰森多边形点,所以划分部12能够抑制在交叉点处设定多个部分道路区域。因此,划分部12能够将道路区域更适当地分割为多个部分道路区域。
根据其它实施方式,道路区域校正装置也可以经由通信接口2从其它设备接收作为道路区域校正处理的对象的俯瞰图像以及表示从该俯瞰图像抽取出的道路区域的信息。在该情况下,也可以省略抽取部11。
进而,使计算机实现上述各实施方式或者变形例的道路区域校正装置的处理器所具有的各部分的功能的计算机程序也可以以存储于能够由计算机读取的记录介质的形式提供。此外,能够由计算机读取的记录介质例如能够采用磁记录介质、光记录介质或者半导体存储器。
Claims (8)
1.一种道路区域校正装置,具有:
划分部,将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域;
对应建立部,关于所述多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来;以及
校正部,关于所述多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的所述道路区间的方式校正所述道路区域,
所述划分部通过对所述道路区域进行细线化或者骨架化,从而求出所述道路区域的骨架线的集合,以使所述骨架线的集合中包含的端点或者骨架线彼此的分支点成为各个骨架线的端点的方式将所述骨架线的集合分割为所述各个骨架线,将所述道路区域中包含的各像素与分割后的所述各个骨架线中的最近的骨架线关联起来,关于分割后的所述各个骨架线的每一个骨架线,将与该骨架线关联起来的像素的集合作为所述多个部分道路区域之一,从而将所述道路区域划分为所述多个部分道路区域。
2.一种道路区域校正装置,具有:
划分部,将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域;
对应建立部,关于所述多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来;以及
校正部,关于所述多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的所述道路区间的方式校正所述道路区域,
所述划分部以表示所述道路区域的边界的每个像素为母点,对所述道路区域进行泰森多边形分割,从而求出关于所述道路区域的泰森多边形边界的集合,以使所述泰森多边形边界的集合中包含的泰森多边形点或者端点成为各个泰森多边形边界的端点的方式,将所述泰森多边形边界的集合分割为所述各个泰森多边形边界,将所述道路区域所包含的各像素与分割后的所述各个泰森多边形边界中的最近的泰森多边形边界关联起来,关于分割后的所述各个泰森多边形边界的每一个泰森多边形边界,将与该泰森多边形边界关联起来的像素的集合作为所述多个部分道路区域之一,从而将所述道路区域划分为所述多个部分道路区域。
3.根据权利要求1或2所述的道路区域校正装置,其中,
所述对应建立部获取表示所述俯瞰图像所呈现的实际空间的区域的位置以及范围的信息,关于所述多个部分道路区域的各个部分道路区域,根据所述俯瞰图像中的该部分道路区域的基准点的位置和所述俯瞰图像所呈现的所述实际空间的区域的位置以及范围,求出该部分道路区域在实际空间中的位置,将所述多个道路区间中的、离该部分道路区域在实际空间中的位置最近的道路区间作为处于该部分道路区域的位置的道路区间。
4.根据权利要求1或2所述的道路区域校正装置,其中,
所述校正部以将被与所述多个道路区间中的相同的道路区间对应起来的所述多个部分道路区域中的一个以上的部分道路区域夹着或者包围的、不包含于所述道路区域的所述俯瞰图像的像素包含于所述道路区域的方式,校正所述道路区域。
5.一种道路区域校正方法,包括:
将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域,
关于所述多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来,
关于所述多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的所述道路区间的方式校正所述道路区域,
在将道路区域划分为多个部分道路区域时,
通过对所述道路区域进行细线化或者骨架化,从而求出所述道路区域的骨架线的集合,以使所述骨架线的集合中包含的端点或者骨架线彼此的分支点成为各个骨架线的端点的方式将所述骨架线的集合分割为所述各个骨架线,将所述道路区域中包含的各像素与分割后的所述各个骨架线中的最近的骨架线关联起来,关于分割后的所述各个骨架线的每一个骨架线,将与该骨架线关联起来的像素的集合作为所述多个部分道路区域之一,从而将所述道路区域划分为所述多个部分道路区域。
6.一种道路区域校正方法,包括:
将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域,
关于所述多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来,
关于所述多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的所述道路区间的方式校正所述道路区域,
在将道路区域划分为多个部分道路区域时,
以表示所述道路区域的边界的每个像素为母点,对所述道路区域进行泰森多边形分割,从而求出关于所述道路区域的泰森多边形边界的集合,以使所述泰森多边形边界的集合中包含的泰森多边形点或者端点成为各个泰森多边形边界的端点的方式,将所述泰森多边形边界的集合分割为所述各个泰森多边形边界,将所述道路区域所包含的各像素与分割后的所述各个泰森多边形边界中的最近的泰森多边形边界关联起来,关于分割后的所述各个泰森多边形边界的每一个泰森多边形边界,将与该泰森多边形边界关联起来的像素的集合作为所述多个部分道路区域之一,从而将所述道路区域划分为所述多个部分道路区域。
7.一种能够由计算机读取的记录介质,存储有道路区域校正用计算机程序,该道路区域校正用计算机程序用于使计算机执行如下步骤:
将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域,
关于所述多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来,
关于所述多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的所述道路区间的方式校正所述道路区域,
在将道路区域划分为多个部分道路区域时,
通过对所述道路区域进行细线化或者骨架化,从而求出所述道路区域的骨架线的集合,以使所述骨架线的集合中包含的端点或者骨架线彼此的分支点成为各个骨架线的端点的方式将所述骨架线的集合分割为所述各个骨架线,将所述道路区域中包含的各像素与分割后的所述各个骨架线中的最近的骨架线关联起来,关于分割后的所述各个骨架线的每一个骨架线,将与该骨架线关联起来的像素的集合作为所述多个部分道路区域之一,从而将所述道路区域划分为所述多个部分道路区域。
8.一种能够由计算机读取的记录介质,存储有道路区域校正用计算机程序,该道路区域校正用计算机程序用于使计算机执行如下步骤:
将从俯瞰图像抽取出的呈现有道路的道路区域划分为多个部分道路区域,
关于所述多个部分道路区域的各个部分道路区域,将该部分道路区域与表示多个道路区间各自的位置的地图信息所示出的、处于该部分道路区域的位置的道路区间对应起来,
关于所述多个部分道路区域的各个部分道路区域,以使该部分道路区域覆盖对应的所述道路区间的方式校正所述道路区域,
在将道路区域划分为多个部分道路区域时,
以表示所述道路区域的边界的每个像素为母点,对所述道路区域进行泰森多边形分割,从而求出关于所述道路区域的泰森多边形边界的集合,以使所述泰森多边形边界的集合中包含的泰森多边形点或者端点成为各个泰森多边形边界的端点的方式,将所述泰森多边形边界的集合分割为所述各个泰森多边形边界,将所述道路区域所包含的各像素与分割后的所述各个泰森多边形边界中的最近的泰森多边形边界关联起来,关于分割后的所述各个泰森多边形边界的每一个泰森多边形边界,将与该泰森多边形边界关联起来的像素的集合作为所述多个部分道路区域之一,从而将所述道路区域划分为所述多个部分道路区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-068673 | 2020-04-06 | ||
JP2020068673A JP7207359B2 (ja) | 2020-04-06 | 2020-04-06 | 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113495940A CN113495940A (zh) | 2021-10-12 |
CN113495940B true CN113495940B (zh) | 2024-03-01 |
Family
ID=75252477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110330059.7A Active CN113495940B (zh) | 2020-04-06 | 2021-03-29 | 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11842494B2 (zh) |
EP (1) | EP3893149A1 (zh) |
JP (1) | JP7207359B2 (zh) |
CN (1) | CN113495940B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113899384B (zh) * | 2021-12-09 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 车道级道路的路口面显示方法、装置、设备、介质及程序 |
CN115294489B (zh) * | 2022-06-22 | 2023-06-09 | 太原理工大学 | 一种灾害视频数据的语义分割方法和系统 |
CN115292305B (zh) * | 2022-10-09 | 2023-01-24 | 交通运输部科学研究院 | 一种地物抽稀方法和装置 |
CN117409328B (zh) * | 2023-12-14 | 2024-02-27 | 城云科技(中国)有限公司 | 用于道路病害检测的无因果性目标检测模型、方法及应用 |
CN118038084B (zh) * | 2024-04-15 | 2024-06-18 | 江西核工业测绘院集团有限公司 | 一种用于地理数据测绘的多元化骨架线提取处理系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001041754A (ja) * | 1999-07-28 | 2001-02-16 | Zenrin Co Ltd | 地図表示装置及びその方法 |
JP2001307121A (ja) * | 2000-02-14 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 地図情報修正装置および地図情報修正方法 |
CN101010710A (zh) * | 2005-07-07 | 2007-08-01 | 松下电器产业株式会社 | 地图信息校正装置、地图信息校正方法、程序、和使用地图信息校正装置的信息提供装置和信息获取装置 |
CN105676253A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 |
WO2018113787A1 (zh) * | 2016-12-23 | 2018-06-28 | 中兴通讯股份有限公司 | 一种区域划分方法及装置和存储介质 |
JP2019027965A (ja) * | 2017-08-01 | 2019-02-21 | パイオニア株式会社 | 補正装置、補正方法およびプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11283012A (ja) | 1998-03-31 | 1999-10-15 | Hitachi Software Eng Co Ltd | 陰の認識方法 |
JP2003132353A (ja) | 2001-10-29 | 2003-05-09 | Pasuko:Kk | 中心線生成プログラム |
US7613331B2 (en) * | 2003-01-22 | 2009-11-03 | Increment P Corporation | Recording medium storing map information, map information processing device, map information processing system, map information processing method, map information processing program and recording medium storing the map information processing program |
JP2006023958A (ja) | 2004-07-07 | 2006-01-26 | Hitachi Software Eng Co Ltd | 道路領域決定可能プログラム及び道路領域決定方法 |
US7660441B2 (en) * | 2004-07-09 | 2010-02-09 | Southern California, University | System and method for fusing geospatial data |
DE102004038739A1 (de) | 2004-08-10 | 2006-02-23 | Robert Bosch Gmbh | Verfahren zur Darstellung von Karteninformationen |
JP2007033931A (ja) | 2005-07-27 | 2007-02-08 | Hitachi Software Eng Co Ltd | 衛星画像等を用いた地図作成のための道路認識システム |
JP4902575B2 (ja) | 2008-02-27 | 2012-03-21 | 日立オートモティブシステムズ株式会社 | 道路標示認識装置、および道路標示認識方法 |
US8060271B2 (en) * | 2008-06-06 | 2011-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detecting principal directions of unknown environments |
JP6550305B2 (ja) | 2015-09-10 | 2019-07-24 | 株式会社パスコ | 道路データ生成装置、道路データ生成方法、及びプログラム |
CN106997466B (zh) * | 2017-04-12 | 2021-05-04 | 百度在线网络技术(北京)有限公司 | 用于检测道路的方法和装置 |
-
2020
- 2020-04-06 JP JP2020068673A patent/JP7207359B2/ja active Active
-
2021
- 2021-03-26 EP EP21165338.1A patent/EP3893149A1/en active Pending
- 2021-03-29 CN CN202110330059.7A patent/CN113495940B/zh active Active
- 2021-03-30 US US17/217,062 patent/US11842494B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001041754A (ja) * | 1999-07-28 | 2001-02-16 | Zenrin Co Ltd | 地図表示装置及びその方法 |
JP2001307121A (ja) * | 2000-02-14 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 地図情報修正装置および地図情報修正方法 |
CN101010710A (zh) * | 2005-07-07 | 2007-08-01 | 松下电器产业株式会社 | 地图信息校正装置、地图信息校正方法、程序、和使用地图信息校正装置的信息提供装置和信息获取装置 |
CN105676253A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 |
WO2018113787A1 (zh) * | 2016-12-23 | 2018-06-28 | 中兴通讯股份有限公司 | 一种区域划分方法及装置和存储介质 |
JP2019027965A (ja) * | 2017-08-01 | 2019-02-21 | パイオニア株式会社 | 補正装置、補正方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7207359B2 (ja) | 2023-01-18 |
US11842494B2 (en) | 2023-12-12 |
JP2021165913A (ja) | 2021-10-14 |
US20210312176A1 (en) | 2021-10-07 |
CN113495940A (zh) | 2021-10-12 |
EP3893149A1 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113495940B (zh) | 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质 | |
CN108304835B (zh) | 文字检测方法和装置 | |
CN109214248B (zh) | 用于识别无人驾驶车辆的激光点云数据的方法和装置 | |
US11486727B2 (en) | Map generation device, map generation method, and map generation computer program | |
US8761435B2 (en) | Detecting geographic features in images based on invariant components | |
CN113033497B (zh) | 车道线识别方法、装置、设备及计算机可读存储介质 | |
CN110222641B (zh) | 用于识别图像的方法和装置 | |
CN111950555A (zh) | 文本识别方法、装置、可读介质及电子设备 | |
US20220155097A1 (en) | Apparatus, method, and computer program for generating map | |
KR20190029975A (ko) | 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치 | |
US20220219700A1 (en) | Apparatus, method, and computer program for generating map | |
CN112241442A (zh) | 地图更新方法、装置、计算机设备和存储介质 | |
CN113808004B (zh) | 图像变换装置、图像变换方法以及图像变换用计算机程序 | |
CN115014328A (zh) | 一种栅格地图的动态加载方法、装置、设备和介质 | |
CN112765302B (zh) | 位置信息的处理方法、装置及计算机可读介质 | |
CN111598917B (zh) | 数据嵌入方法、装置、设备及计算机可读存储介质 | |
CN115410173B (zh) | 多模态融合的高精地图要素识别方法、装置、设备及介质 | |
JP3064334B2 (ja) | 図面処理方法および装置 | |
CN116342745A (zh) | 车道线数据的编辑方法、装置、电子设备及存储介质 | |
CN116206326A (zh) | 缺失检测模型的训练方法、导流区的缺失检测方法及装置 | |
US11835359B2 (en) | Apparatus, method and computer program for generating map | |
WO2021153409A1 (ja) | アセットデータ作成システム、およびプログラム | |
JP2001084357A (ja) | 道路幅員データの抽出方法 | |
US20240153266A1 (en) | Information processing device and information processing method | |
CN114596698B (zh) | 道路监控设备位置判断方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |