JP2022082569A

JP2022082569A - Map generation device, map generation method, and computer program for map generation

Info

Publication number: JP2022082569A
Application number: JP2022034754A
Authority: JP
Inventors: 諒五十嵐; Ryo Igarashi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-06-07
Filing date: 2022-03-07
Publication date: 2022-06-02
Anticipated expiration: 2039-06-07
Also published as: JP7310957B2

Abstract

PROBLEM TO BE SOLVED: To provide a map generation device that generates map information including information for each lane on a road from an image showing the road.

SOLUTION: A map generation device includes: a vehicle detection unit 21 that detects a plurality of vehicles located on a road from an image showing the road; a lane detection unit 22 that detects each of lines in which two or more of the detected vehicles are lined up as an individual lane; and a map generation unit 23 that generates map information representing each of the detected lanes. This allows the map generation device to detect individual lanes and generate the map information including information for each lane on the road, even if lane markings are not displayed on the road.

SELECTED DRAWING: Figure 5

Description

本発明は、画像から地図を生成する地図生成装置、地図生成方法及び地図生成用コンピュータプログラムに関する。 The present invention relates to a map generator that generates a map from an image, a map generation method, and a computer program for map generation.

ナビゲーションシステムなどで利用するために、地図を生成する技術が提案されている（例えば、特許文献１を参照）。例えば、特許文献１に開示された地図情報作成装置は、所定の間隔のポイント毎の緯度／経度／高度の３次元点群情報と、画素毎または数画素毎の緯度／経度の２次元地図情報とを合成して、２次元地図情報にポイント毎の高度の情報を付加した基本地図情報を作成し、移動体から取得した位置情報の移動軌跡に基づいて特定された道路の情報を基本地図情報に付加して道路地図情報を作成する。 A technique for generating a map has been proposed for use in a navigation system or the like (see, for example, Patent Document 1). For example, the map information creating device disclosed in Patent Document 1 has three-dimensional point group information of latitude / longitude / altitude for each point at a predetermined interval, and two-dimensional map information of latitude / longitude for each pixel or every few pixels. The basic map information is created by adding the altitude information for each point to the two-dimensional map information, and the road information specified based on the movement trajectory of the position information acquired from the moving body is used as the basic map information. Create road map information in addition to.

特開２０１８－１０６０１７号公報Japanese Unexamined Patent Publication No. 2018-106017

近年、車両を自動運転制御する技術の開発が進んでいる。車両の自動運転制御では、車線変更、合流、または追い越しなどに関する制御を適切に行うことが求められる。また、道路によっては、車線ごとに異なる交通規則（例えば、右側の車線は右折専用車線であり、左側の車線は直進または左折用車線であるなど）が適用されることがある。そのため、自動運転制御において利用される地図情報には、個々の道路における車線ごとの情報が含まれることが好ましい。しかしながら、上記の技術で作成された地図情報には、個々の道路における車線ごとの情報は含まれない。また、実際に道路を車両が走行し、その車両に取り付けられたカメラにより得られた映像を参照して、個々の道路における車線ごとの情報を含む地図情報を生成することはできるが、このようにして地図情報を生成するには非常に多くの工数と費用が掛かる。 In recent years, the development of technology for automatically driving and controlling vehicles has been progressing. In automatic driving control of vehicles, it is required to appropriately control lane changes, merging, overtaking, and the like. Also, depending on the road, different traffic rules may be applied to each lane (for example, the right lane is a right turn lane and the left lane is a straight or left turn lane). Therefore, it is preferable that the map information used in the automatic driving control includes information for each lane on each road. However, the map information created by the above technique does not include information for each lane on each road. In addition, it is possible to generate map information including information for each lane on each road by referring to the image obtained by the camera attached to the vehicle when the vehicle actually travels on the road. It takes a lot of man-hours and costs to generate map information.

そこで、本発明は、道路が表された画像から、道路における車線ごとの情報を含む地図情報を生成する地図生成装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a map generation device that generates map information including information for each lane on a road from an image showing a road.

本発明の一つの形態として、地図生成装置が提供される。この地図生成装置は、道路が表された画像から、道路上に位置する複数の車両を検出する車両検出部と、検出された複数の車両のうちの二つ以上が並ぶ線のそれぞれを個々の車線として検出する車線検出部と、検出された車線のそれぞれを表す地図情報を生成する地図生成部とを有する。 As one embodiment of the present invention, a map generator is provided. This map generator individually detects a vehicle detection unit that detects a plurality of vehicles located on the road from an image showing the road, and a line in which two or more of the detected vehicles are lined up. It has a lane detection unit for detecting as a lane and a map generation unit for generating map information representing each of the detected lanes.

この地図生成装置において、車線検出部は、画像から道路を検出し、道路に沿って、検出された複数の車両のうちの二つ以上が並ぶ線を車線として検出することが好ましい。 In this map generation device, it is preferable that the lane detection unit detects a road from an image and detects as a lane a line in which two or more of the detected plurality of vehicles are lined up along the road.

本発明の他の形態として、地図生成方法が提供される。この地図生成方法は、道路が表された画像から、道路上に位置する複数の車両を検出し、検出された複数の車両のうちの二つ以上が並ぶ線のそれぞれを個々の車線として検出し、検出された車線のそれぞれを表す地図情報を生成する、ことを含む。 As another embodiment of the present invention, a map generation method is provided. This map generation method detects multiple vehicles located on the road from an image showing the road, and detects each of the lines in which two or more of the detected vehicles are lined up as individual lanes. Includes generating map information representing each of the detected lanes.

本発明のさらに他の形態として、地図生成用コンピュータプログラムが提供される。この地図生成用コンピュータプログラムは、道路が表された画像から、道路上に位置する複数の車両を検出し、検出された複数の車両のうちの二つ以上が並ぶ線のそれぞれを個々の車線として検出し、検出された車線のそれぞれを表す地図情報を生成する、ことをコンピュータに実行させるための命令を含む。 As yet another embodiment of the present invention, a computer program for map generation is provided. This map generation computer program detects multiple vehicles located on the road from the image showing the road, and each of the lines in which two or more of the detected vehicles are lined up is regarded as an individual lane. Includes instructions for the computer to detect and generate map information representing each of the detected lanes.

本発明のさらに他の形態として、地図生成装置が提供される。この地図生成装置は、道路が表された画像から、道路及び停止線を抽出する抽出部と、道路の幅に対する停止線の長さの比に応じて、道路に含まれる車線を検出する車線検出部と、検出された車線のそれぞれを表す地図情報を生成する地図生成部とを有する。 As yet another embodiment of the present invention, a map generator is provided. This map generator has an extraction unit that extracts roads and stop lines from an image showing a road, and lane detection that detects lanes included in the road according to the ratio of the length of the stop line to the width of the road. It has a unit and a map generation unit that generates map information representing each of the detected lanes.

本発明に係る地図生成装置は、道路が表された画像から、道路における車線ごとの情報を含む地図情報を生成することができるという効果を奏する。 The map generation device according to the present invention has an effect that map information including information for each lane on the road can be generated from an image showing the road.

第１の実施形態による、地図生成装置のハードウェア構成図である。It is a hardware block diagram of the map generator by 1st Embodiment. 第１の実施形態による、地図生成装置のプロセッサの機能ブロック図である。It is a functional block diagram of the processor of the map generator by 1st Embodiment. 境界特徴物、ボロノイ境界及び交差点エリアの検出結果の一例を示す図である。It is a figure which shows an example of the detection result of a boundary feature, a Voronoi boundary, and an intersection area. 第１の実施形態による、地図生成処理の動作フローチャートである。It is an operation flowchart of the map generation processing by 1st Embodiment. 第２の実施形態による、地図生成装置が有するプロセッサの機能ブロック図である。It is a functional block diagram of the processor which the map generator has by 2nd Embodiment. 画像から検出された個々の車両に基づく車線検出の一例を示す図である。It is a figure which shows an example of the lane detection based on the individual vehicle detected from the image. 第２の実施形態による、地図生成処理の動作フローチャートである。It is an operation flowchart of the map generation process according to the 2nd Embodiment. （ａ）及び（ｂ）は、それぞれ、道路に表示された停止線の一例を示す図である。(A) and (b) are diagrams showing an example of a stop line displayed on a road, respectively.

以下、図を参照しつつ、地図生成装置、及び、その地図生成装置で利用される地図生成方法及び地図生成用コンピュータプログラムについて説明する。この地図生成装置は、道路が表された画像から車線の境界線を表す境界特徴物が表された画素を抽出し、その境界特徴物に基づいて道路を車線ごとに区分する。あるいは、この地図生成装置は、道路が表された画像に写っている、道路上の個々の車両を検出し、検出した車両が並ぶ線のそれぞれを、個々の車線として検出する。 Hereinafter, the map generation device, the map generation method used in the map generation device, and the map generation computer program will be described with reference to the figure. This map generator extracts pixels representing boundary features representing lane boundaries from an image showing roads, and divides the road into lanes based on the boundary features. Alternatively, the map generator detects individual vehicles on the road in an image showing the road, and detects each of the lines in which the detected vehicles are lined up as individual lanes.

なお、以下に説明する各実施形態または変形例において、地図生成処理の対象となる、道路が表された画像は、例えば、地面を鉛直上方から撮影することで得られ、かつ、道路上に表された個々の道路標示を識別可能な鳥瞰画像、例えば、高解像度の衛星写真あるいは航空写真が表された画像とすることができる。また、以下の説明では、地図生成処理の対象となる、道路が表された画像を、単に画像と呼ぶことがある。 In each embodiment or modification described below, the image showing the road, which is the target of the map generation processing, can be obtained by, for example, taking a picture of the ground from vertically above, and the image is displayed on the road. The individual road markings that have been made can be an identifiable bird's-eye view image, such as a high-resolution satellite or aerial photograph. Further, in the following description, an image showing a road, which is a target of map generation processing, may be simply referred to as an image.

最初に、第１の実施形態による地図生成装置について説明する。第１の実施形態による地図生成装置は、画像に表された境界特徴物を検出し、その境界特徴物に基づいて道路を車線ごとに区分する。 First, the map generator according to the first embodiment will be described. The map generator according to the first embodiment detects the boundary feature represented in the image and divides the road into lanes based on the boundary feature.

図１は、第１の実施形態による、地図生成装置のハードウェア構成図である。図１に示されるように、地図生成装置１は、通信インターフェース２と、入力装置３と、表示装置４と、メモリ５と、記憶媒体アクセス装置６と、プロセッサ７とを有する。 FIG. 1 is a hardware configuration diagram of a map generator according to the first embodiment. As shown in FIG. 1, the map generation device 1 includes a communication interface 2, an input device 3, a display device 4, a memory 5, a storage medium access device 6, and a processor 7.

通信インターフェース２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース２は、通信ネットワークを介して接続される他の機器（図示せず）から、様々な情報あるいはデータを受信してプロセッサ７へわたす。通信インターフェース２が受信するデータには、地図生成処理の対象となる、道路が表された画像と、その画像に表された地理的範囲を表す情報（例えば、その画像に表された領域の所定の位置（例えば、左上端または中心）の緯度及び経度、その領域の水平方向及び垂直方向の実空間サイズ、及び方位）が含まれていてもよい。また通信インターフェース２は、プロセッサ７から受け取った、地図生成処理の実行結果として得られた地図情報の一例である道路地図を、通信ネットワークを介して他の機器へ出力してもよい。 The communication interface 2 includes a communication interface for connecting to a communication network according to a communication standard such as Ethernet (registered trademark) and a control circuit thereof. The communication interface 2 receives various information or data from another device (not shown) connected via the communication network and passes it to the processor 7. The data received by the communication interface 2 includes an image representing a road, which is a target of map generation processing, and information representing a geographical range represented by the image (for example, a predetermined area represented by the image). The latitude and longitude of the location (eg, the upper left corner or center), the horizontal and vertical real space size of the area, and the orientation) may be included. Further, the communication interface 2 may output a road map, which is an example of the map information obtained as a result of executing the map generation process received from the processor 7, to another device via the communication network.

入力装置３は、例えば、キーボードと、マウスといったポインティングデバイスとを有する。そして入力装置３は、ユーザによる操作、例えば、地図生成処理の対象となる画像を選択する操作、地図生成処理の実行開始を指示する操作、あるいは、生成された道路地図を表示装置４に表示させる操作に応じた操作信号を生成し、その操作信号をプロセッサ７へ出力する。 The input device 3 has, for example, a keyboard and a pointing device such as a mouse. Then, the input device 3 is operated by the user, for example, an operation of selecting an image to be a target of the map generation process, an operation of instructing the start of execution of the map generation process, or displaying the generated road map on the display device 4. An operation signal corresponding to the operation is generated, and the operation signal is output to the processor 7.

表示装置４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを有する。そして表示装置４は、プロセッサ７から受け取った表示用のデータ、例えば、地図生成処理が実行される画像の候補を表すデータ、あるいは、生成された道路地図またはその一部を表示する。 The display device 4 has, for example, a liquid crystal display or an organic EL display. Then, the display device 4 displays display data received from the processor 7, for example, data representing an image candidate for which map generation processing is executed, or a generated road map or a part thereof.

なお、入力装置３と表示装置４とは、タッチパネルディスプレイのように一体化された装置であってもよい。 The input device 3 and the display device 4 may be integrated devices such as a touch panel display.

メモリ５は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ５は、例えば、プロセッサ７で実行される地図生成処理用のコンピュータプログラム、その地図生成処理で用いられる各種のデータ、例えば、地図生成処理で用いられる識別器を規定するパラメータ群、及び、その地図生成処理の実行中に生成される各種のデータを記憶する。さらに、メモリ５は、地図生成処理の対象となる画像、及び、その画像に表された地理的範囲を表す情報を記憶してもよい。さらに、メモリ５は、生成された道路地図を記憶してもよい。 The memory 5 is an example of a storage unit, and is, for example, a read / write semiconductor memory and a read-only semiconductor memory. The memory 5 is, for example, a computer program for map generation processing executed by the processor 7, various data used in the map generation processing, for example, a parameter group defining a classifier used in the map generation processing, and Stores various data generated during the execution of the map generation process. Further, the memory 5 may store an image to be processed for map generation and information representing a geographical range represented by the image. Further, the memory 5 may store the generated road map.

記憶媒体アクセス装置６は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。なお、記憶媒体アクセス装置６は、記憶媒体８とともに、記憶部の他の一例を構成する。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、プロセッサ７上で実行される地図生成処理用のコンピュータプログラム、あるいは、地図生成処理の対象となる画像を読み込み、プロセッサ７に渡す。あるいは、記憶媒体アクセス装置６は、生成された道路地図をプロセッサ７から受け取って、その道路地図を記憶媒体８に書き込んでもよい。 The storage medium access device 6 is a device for accessing a storage medium 8 such as a magnetic disk, a semiconductor memory card, and an optical storage medium. The storage medium access device 6 together with the storage medium 8 constitutes another example of the storage unit. The storage medium access device 6 reads, for example, a computer program for map generation processing executed on the processor 7 stored in the storage medium 8, or an image to be the target of the map generation processing, and passes the image to the processor 7. Alternatively, the storage medium access device 6 may receive the generated road map from the processor 7 and write the road map to the storage medium 8.

プロセッサ７は、処理部の一例であり、例えば、１個または複数個のＣＰＵ及びその周辺回路を有する。さらに、プロセッサ７は、数値演算用の演算回路、グラフィック処理用の演算回路及び論理演算用の演算回路を有していてもよい。そしてプロセッサ７は、地図生成装置１全体を制御する。また、プロセッサ７は、地図生成処理の対象となる、道路が表された画像に対して地図生成処理を実行する。 The processor 7 is an example of a processing unit, and has, for example, one or a plurality of CPUs and peripheral circuits thereof. Further, the processor 7 may have an arithmetic circuit for numerical operation, an arithmetic circuit for graphic processing, and an arithmetic circuit for logical operation. Then, the processor 7 controls the entire map generator 1. Further, the processor 7 executes the map generation processing on the image representing the road, which is the target of the map generation processing.

図２は、第１の実施形態による、プロセッサ７の機能ブロック図である。図２に示されるように、プロセッサ７は、抽出部１１と、車線検出部１２と、交差点エリア検出部１３と、交通規則設定部１４と、地図生成部１５とを有する。プロセッサ７が有するこれらの各部は、例えば、プロセッサ７上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ７が有するこれらの各部は、プロセッサ７に設けられる、専用の演算回路であってもよい。 FIG. 2 is a functional block diagram of the processor 7 according to the first embodiment. As shown in FIG. 2, the processor 7 has an extraction unit 11, a lane detection unit 12, an intersection area detection unit 13, a traffic rule setting unit 14, and a map generation unit 15. Each of these parts of the processor 7 is, for example, a functional module realized by a computer program executed on the processor 7. Alternatively, each of these parts of the processor 7 may be a dedicated arithmetic circuit provided in the processor 7.

抽出部１１は、画像の画素ごとに、その画素に表された道路上の特徴物の種類を出力する識別器に、地図生成処理の対象となる、道路が表された画像を入力する。これにより、抽出部１１は、その画像から、道路上の特徴物のうちの車線の境界を表す境界特徴物が表された画素、及び、交通規則を表す規則特徴物が表された画素などを抽出する。境界特徴物には、例えば、白線または黄線などの車線区画線、及び、縁石または中央分離帯といった道路境界線が含まれる。また、規則特徴物には、例えば、右左折などの矢印、一旦停止線、横断歩道、速度表示、停車禁止または特殊レーン（バス専用レーン、自転車専用レーンなど）を表す道路標示が含まれる。 For each pixel of the image, the extraction unit 11 inputs an image representing the road, which is the target of the map generation process, to the classifier that outputs the type of the feature on the road represented by the pixel. As a result, the extraction unit 11 extracts from the image pixels representing the boundary features representing the boundaries of the lanes among the features on the road, pixels representing the ruled features representing the traffic rules, and the like. Extract. Boundary features include, for example, lane markings such as white or yellow lines and road boundaries such as curbs or medians. Rule features also include, for example, arrows such as turning left and right, temporary stop lines, pedestrian crossings, speed indicators, road markings indicating no stops or special lanes (bus lanes, bicycle lanes, etc.).

抽出部１１は、識別器として、例えば、画像が入力される入力層と、画像が有する複数の画素のそれぞれに表された特徴物の識別結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワーク（Convolutional Neural Network, CNN）を用いることができる。具体的には、抽出部１１は、識別器として、セマンティックセグメンテーション用のCNN、例えば、Fully Convolutional Network(FCN)(Long, J., Shelhamer他, 「Fully convolutional networks for semantic segmentation」, In CVPR, 2015年)、SegNet、DeepLab、RefineNetあるいはPSPNetといったCNNを用いることができる。あるいはまた、抽出部１１は、識別器として、ランダムフォレストといった他のセマンティックセグメンテーション技術に従った識別器を用いてもよい。 As a classifier, the extraction unit 11 includes, for example, an input layer into which an image is input, an output layer that outputs identification results of features represented by each of a plurality of pixels of the image, and an input layer and an output layer. A convolutional neural network (CNN) having a plurality of hidden layers connected between the two can be used. Specifically, the extraction unit 11 uses a CNN for semantic segmentation as a classifier, for example, Fully Convolutional Network (FCN) (Long, J., Shelhamer et al., “Fully convolutional networks for semantic segmentation”, In CVPR, 2015. Year), SegNet, DeepLab, RefineNet or PSPNet can be used. Alternatively, the extraction unit 11 may use a classifier according to another semantic segmentation technique such as a random forest as the classifier.

抽出部１１は、画像を上記のような識別器に入力することで、画像に含まれる画素ごとに、その画素に表された特徴物を表す識別結果データを得る。識別結果データは、例えば、画像と同じサイズを持ち、かつ、各画素が、その画素に表される特徴物に相当する値（例えば、白線は１、矢印は２、横断歩道は３等）を持つ２次元データとして表される。なお、画像には、同じ種類の規則特徴物が複数表されていることがある。そこで抽出部１１は、同じ種類の規則特徴物が表された画素の集合に対してラベリング処理あるいはクラスタリング処理を実行することで、その規則特徴物が表された画素の集合を、個々の規則特徴物ごとに分類してもよい。この場合、識別結果データにおいて、異なる規則特徴物が表された画素同士は、互いに異なる値を有してもよい。抽出部１１は、識別結果データを、車線検出部１２、交差点エリア検出部１３、交通規則設定部１４及び地図生成部１５へわたす。 By inputting an image into the classifier as described above, the extraction unit 11 obtains identification result data representing a feature represented by the pixel for each pixel included in the image. The identification result data has, for example, the same size as the image, and each pixel has a value corresponding to the feature represented by the pixel (for example, the white line is 1, the arrow is 2, the pedestrian crossing is 3, etc.). It is represented as two-dimensional data that it has. It should be noted that the image may show a plurality of regular features of the same type. Therefore, the extraction unit 11 performs a labeling process or a clustering process on a set of pixels representing the same type of rule feature, so that the set of pixels representing the rule feature can be obtained as an individual rule feature. You may classify by thing. In this case, in the identification result data, the pixels representing different ruled features may have different values from each other. The extraction unit 11 passes the identification result data to the lane detection unit 12, the intersection area detection unit 13, the traffic rule setting unit 14, and the map generation unit 15.

車線検出部１２は、識別結果データに含まれる、境界特徴物が表された画素の集合に基づいて、画像に表された個々の道路について、その道路に含まれる個々の車線を検出する。本実施形態では、車線検出部１２は、境界特徴物が表された画素のそれぞれを母点として画像をボロノイ分割することでボロノイ境界を求め、求められたボロノイ境界のそれぞれを一つの車線として検出する。なお、車線検出部１２は、ボロノイ分割を実行する任意のアルゴリズムに従ってボロノイ境界を求めればよい。 The lane detection unit 12 detects each road included in the image for each road represented by the image based on the set of pixels representing the boundary features included in the identification result data. In the present embodiment, the lane detection unit 12 obtains a Voronoi boundary by dividing the image into Voronoi with each of the pixels representing the boundary feature as a base point, and detects each of the obtained Voronoi boundaries as one lane. do. The lane detection unit 12 may obtain the Voronoi boundary according to an arbitrary algorithm for executing the Voronoi division.

ボロノイ境界は、直近の二つの母点から等距離となる位置に設けられる。したがって、境界特徴物のそれぞれを母点とした場合、ボロノイ境界は、個々の車線に沿って延伸し、かつ、個々の車線内に位置するように求められることになる。したがって、車線検出部１２は、境界特徴物が表された画素のそれぞれを母点とするボロノイ境界を求めることで、個々の車線を正確に検出することができる。 The Voronoi boundary is set equidistant from the two nearest mother points. Therefore, when each of the boundary features is used as a starting point, the Voronoi boundary is required to extend along the individual lanes and to be located in the individual lanes. Therefore, the lane detection unit 12 can accurately detect each lane by obtaining a Voronoi boundary having each of the pixels representing the boundary feature as a base point.

車線検出部１２は、個々のボロノイ境界（すなわち、個々の車線）を表す車線検出結果データを交差点エリア検出部１３へわたす。なお、車線検出結果データは、例えば、地図生成処理の対象となる画像と同じサイズを持ち、ボロノイ境界が表された画素とそれ以外の画素とが互いに異なる値を持つ二値画像とすることができる。 The lane detection unit 12 passes lane detection result data representing individual Voronoi boundaries (that is, individual lanes) to the intersection area detection unit 13. The lane detection result data may be, for example, a binary image having the same size as the image to be processed for map generation, and having different values for the pixel showing the Voronoi boundary and the other pixels. can.

交差点エリア検出部１３は、画像上の交差点を含むエリアを交差点エリアとして検出する。本実施形態では、個々の車線を表すボロノイ境界が求められているので、交差点では、ボロノイ境界同士が交差する。したがって、個々の交差点には、ボロノイ境界が交差する点、すなわち、ボロノイ点が出現する。そこで、交差点エリア検出部１３は、ボロノイ点を含む所定の領域を交差点エリアとして検出する。これにより、交差点エリア検出部１３は、画像から個々の交差点を正確に検出できる。 The intersection area detection unit 13 detects an area including an intersection on the image as an intersection area. In the present embodiment, since the Voronoi boundaries representing individual lanes are required, the Voronoi boundaries intersect with each other at the intersection. Therefore, at each intersection, a point where the Voronoi boundary intersects, that is, a Voronoi point appears. Therefore, the intersection area detection unit 13 detects a predetermined area including the Voronoi point as an intersection area. As a result, the intersection area detection unit 13 can accurately detect each intersection from the image.

そのために、交差点エリア検出部１３は、車線検出結果データに表されるボロノイ点を特定する。そして交差点エリア検出部１３は、特定したボロノイ点ごとに、識別結果データを参照して、そのボロノイ点から、個々のボロノイ境界に沿って最も近い停止線または横断歩道までを含むエリアを交差点エリアとする。 Therefore, the intersection area detection unit 13 identifies the Voronoi point represented by the lane detection result data. Then, the intersection area detection unit 13 refers to the identification result data for each identified boronoy point, and sets the area including the boronoy point to the nearest stop line or pedestrian crossing along the individual boronoy boundary as the intersection area. do.

図３は、境界特徴物、ボロノイ境界及び交差点エリアの検出結果の一例を示す図である。図３に示される画像３００において、車線区画線及び車線境界線等の境界特徴物が表された画素３０１が抽出されている。そして境界特徴物が表された画素３０１を母点として求められた個々のボロノイ境界３０２が、それぞれ、一つの車線を表していることが分かる。また、ボロノイ点３０３のそれぞれについて、そのボロノイ点を含むように交差点エリア３０４が設定されていることが分かる。 FIG. 3 is a diagram showing an example of detection results of a boundary feature, a Voronoi boundary, and an intersection area. In the image 300 shown in FIG. 3, pixels 301 representing boundary features such as a lane marking line and a lane boundary line are extracted. Then, it can be seen that each Voronoi boundary 302 obtained with the pixel 301 representing the boundary feature as a mother point represents one lane. Further, it can be seen that the intersection area 304 is set so as to include the Voronoi point 303 for each of the Voronoi points 303.

交差点エリア検出部１３は、個々のボロノイ境界、すなわち、個々の車線を、交差点エリアと、交差点エリア間を接続する単路の何れかに区分する。すなわち、交差点エリア検出部１３は、個々のボロノイ境界のうちの何れの交差点エリアにも含まれない区間を単路とする。なお、同じ二つの交差点エリア間を結ぶ複数のボロノイ境界が存在する場合、交差点エリア検出部１３は、それらのボロノイ境界を一つの単路とする。したがって、複数の車線が設定された道路を表す単路については、その道路に含まれる車線の数だけのボロノイ境界が含まれる。これにより、画像に表された道路の個々の車線を表すレーンネットワークが形成される。 The intersection area detection unit 13 divides individual Voronoi boundaries, that is, individual lanes, into either an intersection area or a single road connecting the intersection areas. That is, the intersection area detection unit 13 sets a section that is not included in any of the intersection areas of the individual Voronoi boundaries as a single road. When there are a plurality of Voronoi boundaries connecting the same two intersection areas, the intersection area detection unit 13 sets those Voronoi boundaries as one single road. Therefore, for a single road representing a road with a plurality of lanes, Voronoi boundaries are included as many as the number of lanes included in the road. This forms a lane network that represents the individual lanes of the road represented in the image.

交差点エリア検出部１３は、検出した個々の交差点エリア、個々の単路及び個々の単路に含まれる車線を表す情報、すなわち、レーンネットワークを表す情報を交通規則設定部１４へわたす。なお、レーンネットワークを表す情報は、例えば、地図生成処理の対象となった画像における、個々の交差点エリアの位置及び範囲と、個々の単路の位置及びその単路に含まれる個々の車線の位置、その単路と接続される交差点エリアを示す情報が含まれる。 The intersection area detection unit 13 passes information representing the detected individual intersection areas, individual single roads, and lanes contained in the individual single roads, that is, information representing the lane network, to the traffic rule setting unit 14. The information representing the lane network is, for example, the position and range of each intersection area, the position of each single road, and the position of each lane included in the single road in the image targeted for map generation processing. , Contains information indicating the intersection area connected to the single road.

交通規則設定部１４は、検出された車線ごとに、その車線上の規則特徴物で表される交通規則をその車線に関連付ける。例えば、交通規則設定部１４は、識別結果データに表される規則特徴物のそれぞれについて、その規則特徴物が表された画素の集合の重心を求める。そして交通規則設定部１４は、識別結果データに表される規則特徴物のうち、特殊レーンあるいは右左折の矢印といった、個々の車線ごとに設定される交通規則を表す規則特徴物について、その規則特徴物が表された画素の集合の重心に最も近いボロノイ境界に対応する車線に、その規則特徴物が表す交通規則を関連付ける。 The traffic rule setting unit 14 associates a traffic rule represented by a rule feature on the lane with the lane for each detected lane. For example, the traffic rule setting unit 14 obtains the center of gravity of a set of pixels representing the rule feature for each rule feature represented in the identification result data. Then, the traffic rule setting unit 14 refers to the rule feature representing the traffic rule set for each lane, such as a special lane or a right / left turn arrow, among the rule features represented in the identification result data. The traffic rule represented by the rule feature is associated with the lane corresponding to the Boronoi boundary closest to the center of gravity of the set of pixels representing the object.

また、交通規則設定部１４は、識別結果データに表される規則特徴物のうち、制限速度、一旦停止あるいは停車禁止といった、道路そのものに設定される交通規則を表す規則特徴物について、その規則特徴物が表された画素の集合の重心が位置する単路に、その規則特徴物が表す交通規則を関連付ける。 Further, among the rule features represented in the identification result data, the traffic rule setting unit 14 determines the rule features of the rule features representing the traffic rules set on the road itself, such as speed limit, temporary stop or prohibition of stopping. The traffic rule represented by the rule feature is associated with the single road where the center of gravity of the set of pixels representing the object is located.

さらに、交通規則設定部１４は、右左折の矢印または一旦停止といった、交差点に関する交通規則を表す規則特徴物について、その規則特徴物が表された画素の集合の重心に最も近い交差点エリア、かつ、その重心が位置する車線に、その規則特徴物が表す交通規則を関連付ける。以上により、交通規則が関連付けられたレーンネットワークが求められる。 Further, the traffic rule setting unit 14 determines that the rule feature representing the traffic rule regarding the intersection, such as a right / left turn arrow or a temporary stop, is the intersection area closest to the center of gravity of the set of pixels representing the rule feature. The lane in which the center of gravity is located is associated with the traffic rule represented by the rule feature. From the above, a lane network associated with traffic rules is required.

交通規則設定部１４は、交通規則が関連付けられたレーンネットワークを表す情報を地図生成部１５へわたす。 The traffic rule setting unit 14 passes information representing the lane network to which the traffic rule is associated to the map generation unit 15.

地図生成部１５は、単路ごとに、検出された個々の車線の情報を含む道路地図を生成する。具体的に、地図生成部１５は、交通規則が関連付けられたレーンネットワークを表す情報に対して、識別結果データに表された一旦停止線が表された画素の集合の位置に、一旦停止線があることを表す情報を関連付ける。同様に、地図生成部１５は、交通規則が関連付けられたレーンネットワークを表す情報に対して、横断歩道が表された画素の集合の位置に、横断歩道があることを表す情報を関連付ける。さらに、地図生成部１５は、交通規則が関連付けられたレーンネットワークを表す情報において、識別結果データに表された、車線区画線が表された画素の位置に車線区画線があることを表す情報を関連付ける。同様に、地図生成部１５は、交通規則が関連付けられたレーンネットワークを表す情報において、識別結果データに表された、道路境界線が表された画素の位置に道路境界線があることを表す情報を関連付ける。これにより、地図生成処理の対象となった画像に表された地理的範囲の道路地図が生成される。 The map generation unit 15 generates a road map including information on the detected individual lanes for each single road. Specifically, the map generation unit 15 temporarily places a stop line at the position of a set of pixels in which the stop line is represented in the identification result data with respect to the information representing the lane network to which the traffic rule is associated. Associate information that indicates that there is. Similarly, the map generation unit 15 associates the information indicating that there is a pedestrian crossing with the information representing the lane network to which the traffic rule is associated at the position of the set of pixels representing the pedestrian crossing. Further, the map generation unit 15 provides information indicating that the lane marking line is located at the position of the pixel representing the lane marking line in the identification result data in the information representing the lane network to which the traffic rule is associated. Associate. Similarly, the map generation unit 15 has information indicating that the road boundary line is located at the position of the pixel representing the road boundary line in the identification result data in the information representing the lane network to which the traffic rule is associated. To associate. As a result, a road map of the geographical range represented by the image targeted for the map generation process is generated.

また、地図生成部１５は、交差点エリアごとに、地図生成処理の対象となった画像に表された地理的範囲を表す情報及び画像上のその交差点エリアの位置を参照して、その交差点の位置を求め、道路地図にその位置を表す位置情報（例えば、緯度及び経度）を関連付けてもよい。さらに、地図生成部１５は、単路のそれぞれについて、その単路を所定の長さの区間ごとに区分し、その区間ごとに、地図生成処理の対象となった画像に表された地理的範囲を表す情報及び画像上でのその区間の位置を参照して、その区間の位置を求め、道路地図にその位置を表す位置情報を関連付けてもよい。 Further, the map generation unit 15 refers to the information representing the geographical range represented by the image to be the target of the map generation processing and the position of the intersection area on the image for each intersection area, and the position of the intersection. May be obtained and the road map may be associated with position information (for example, latitude and longitude) indicating the position. Further, the map generation unit 15 divides each of the single roads into sections of a predetermined length, and for each section, the geographical range represented by the image to be the target of the map generation process. The position of the section may be obtained by referring to the information representing the section and the position of the section on the image, and the position information representing the position may be associated with the road map.

さらに、地図生成部１５は、画像ごとに生成された道路地図を結合することで、より広範囲な道路地図を生成してもよい。その際、地図生成部１５は、画像ごとに、その画像に表された地理的範囲を表す情報を参照することで、同じ道路の同じ位置同士が重なるように、個々の画像から得られた道路地図を結合すればよい。 Further, the map generation unit 15 may generate a wider range of road maps by combining the road maps generated for each image. At that time, the map generation unit 15 refers to the information representing the geographical range represented by the image for each image, so that the same positions of the same road overlap each other, and the roads obtained from the individual images. All you have to do is combine the maps.

地図生成部１５は、生成した道路地図を、メモリ５に記憶し、または、記憶媒体アクセス装置６を介して記憶媒体８に書き込む。あるいは、地図生成部１５は、生成した道路地図を、通信インターフェース２を介して他の機器へ出力してもよい。 The map generation unit 15 stores the generated road map in the memory 5 or writes it in the storage medium 8 via the storage medium access device 6. Alternatively, the map generation unit 15 may output the generated road map to another device via the communication interface 2.

図４は、第１の実施形態による、地図生成処理の動作フローチャートである。プロセッサ７は、地図生成処理の対象となる画像ごとに、下記の動作フローチャートに従って地図生成処理を実行すればよい。 FIG. 4 is an operation flowchart of the map generation process according to the first embodiment. The processor 7 may execute the map generation process according to the following operation flowchart for each image to be the map generation process.

プロセッサ７の抽出部１１は、画像を識別器に入力することで、境界特徴物が表された画素、及び、規則特徴物が表された画素などを抽出する（ステップＳ１０１）。 The extraction unit 11 of the processor 7 inputs an image to the classifier to extract pixels representing boundary features, pixels representing regular features, and the like (step S101).

プロセッサ７の車線検出部１２は、境界特徴物が表された画素のそれぞれを母点として画像をボロノイ分割することでボロノイ境界を求め、求められたボロノイ境界のそれぞれを一つの車線として検出する（ステップＳ１０２）。 The lane detection unit 12 of the processor 7 obtains a Voronoi boundary by dividing the image into Voronoi with each of the pixels representing the boundary feature as a base point, and detects each of the obtained Voronoi boundaries as one lane (). Step S102).

プロセッサ７の交差点エリア検出部１３は、ボロノイ境界同士が交差するボロノイ点ごとに、そのボロノイ点を含む所定の領域を交差点エリアとして検出する（ステップＳ１０３）。そして交差点エリア検出部１３は、個々のボロノイ境界を、個々の交差点エリアと、交差点エリア間を接続する単路の何れかに区分することでレーンネットワークを求める（ステップＳ１０４）。 The intersection area detection unit 13 of the processor 7 detects a predetermined area including the Voronoi points as an intersection area for each Voronoi point where the Voronoi boundaries intersect with each other (step S103). Then, the intersection area detection unit 13 obtains a lane network by dividing each Voronoi boundary into either an individual intersection area or a single road connecting the intersection areas (step S104).

プロセッサ７の交通規則設定部１４は、レーンネットワークの各車線について、その車線上の規則特徴物で表される交通規則をその車線に関連付ける（ステップＳ１０５）。また、交通規則設定部１４は、レーンネットワークの各単路について、その単路上に位置し、かつ、道路そのものに設定される交通規則を表す規則特徴物が表す交通規則を関連付ける（ステップＳ１０６）。さらに、交通規則設定部１４は、レーンネットワークの各交差点エリアについて、その交差点エリアまたはその近傍に位置する規則特徴物が表す、交差点に関する交通規則を関連付ける（ステップＳ１０７）。 For each lane of the lane network, the traffic rule setting unit 14 of the processor 7 associates the traffic rule represented by the rule feature on the lane with the lane (step S105). Further, the traffic rule setting unit 14 associates each single road of the lane network with a traffic rule represented by a rule feature that is located on the single road and represents the traffic rule set on the road itself (step S106). Further, the traffic rule setting unit 14 associates each intersection area of the lane network with a traffic rule regarding an intersection represented by a rule feature located at or near the intersection area (step S107).

プロセッサ７の地図生成部１５は、検出された個々の車線に関する情報を含む道路地図を生成する（ステップＳ１０８）。その際、地図生成部１５は、道路地図において、一旦停止線、横断歩道、車線区画線及び道路境界線のそれぞれが検出された位置に、それらが存在することを表す情報を関連付けてもよい。そしてプロセッサ７は、地図生成処理を終了する。 The map generation unit 15 of the processor 7 generates a road map including information about each detected lane (step S108). At that time, the map generation unit 15 may associate information indicating the existence of each of the stop line, the pedestrian crossing, the lane marking line, and the road boundary line at the position where each of them is detected on the road map. Then, the processor 7 ends the map generation process.

以上に説明してきたように、この地図生成装置は、道路が表された画像から車線の境界線を表す特徴物が表された画素を抽出し、抽出された画素を母点としてボロノイ分割することで求めたボロノイ境界のそれぞれを一つの車線として検出する。そのため、この地図生成装置は、道路が表された画像から、道路における車線ごとの情報を含む地図情報を生成することができる。またこの地図生成装置は、ボロノイ境界同士が交差するボロノイ点に基づいて交差点エリアを設定することで、地図情報に交差点に関する情報を含めることができる。さらに、この地図生成装置は、車線ごとに、その車線の交通規則を自動で関連付けることができるとともに、交差点に関連する交通規則を、車線ごとに自動で関連付けることができる。 As described above, this map generator extracts pixels representing features representing lane boundaries from an image showing a road, and divides the extracted pixels into Voronoi divisions using the extracted pixels as a mother point. Each of the Voronoi boundaries obtained in step 1 is detected as one lane. Therefore, this map generator can generate map information including information for each lane on the road from the image showing the road. Further, this map generator can include information about the intersection in the map information by setting the intersection area based on the Voronoi point where the Voronoi boundaries intersect with each other. Further, this map generator can automatically associate the traffic rules of the lane for each lane, and can automatically associate the traffic rules related to the intersection for each lane.

次に、第２の実施形態による地図生成装置について説明する。第２の実施形態による地図生成装置は、道路が表された画像に写っている複数の車両を検出し、検出した複数の車両のうちの二つ以上が並ぶ線のそれぞれを、個々の車線として特定する。 Next, the map generator according to the second embodiment will be described. The map generator according to the second embodiment detects a plurality of vehicles shown in an image showing a road, and sets each of the lines in which two or more of the detected vehicles are lined up as individual lanes. Identify.

なお、第１の実施形態による地図生成装置と、第２の実施形態による地図生成装置とは、プロセッサ７により実行される処理において相異する。そこで以下では、プロセッサ７により実行される、第２の実施形態による地図生成処理の詳細について説明する。 The map generation device according to the first embodiment and the map generation device according to the second embodiment are different in the processing executed by the processor 7. Therefore, in the following, the details of the map generation process according to the second embodiment, which is executed by the processor 7, will be described.

図５は、第２の実施形態による、プロセッサ７の機能ブロック図である。図５に示されるように、プロセッサ７は、車両検出部２１と、車線検出部２２と、地図生成部２３とを有する。プロセッサ７が有するこれらの各部は、例えば、プロセッサ７上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ７が有するこれらの各部は、プロセッサ７に設けられる、専用の演算回路であってもよい。 FIG. 5 is a functional block diagram of the processor 7 according to the second embodiment. As shown in FIG. 5, the processor 7 has a vehicle detection unit 21, a lane detection unit 22, and a map generation unit 23. Each of these parts of the processor 7 is, for example, a functional module realized by a computer program executed on the processor 7. Alternatively, each of these parts of the processor 7 may be a dedicated arithmetic circuit provided in the processor 7.

車両検出部２１は、道路生成処理の対象となる画像に表された車両を検出する。例えば、車両検出部２１は、画像を、車両検出用の識別器に入力することで、入力された画像に表された車両を検出する。車両検出部２１は、識別器として、例えば、入力された画像から、その画像に表された車両を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。車両検出部２１は、そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)(Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年を参照)、または、Faster R-CNN(Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年)といった、CNN型のアーキテクチャを持つDNNを用いることができる。 The vehicle detection unit 21 detects the vehicle represented in the image to be the target of the road generation process. For example, the vehicle detection unit 21 detects a vehicle represented by the input image by inputting an image into a discriminator for vehicle detection. As the discriminator, the vehicle detection unit 21 can use, for example, a deep neural network (DNN) pre-learned to detect the vehicle represented by the image from the input image. The vehicle detector 21 may include, for example, a Single Shot MultiBox Detector (SSD) (see Wei Liu et al., "SSD: Single Shot MultiBox Detector", ECCV2016, 2016) or Faster R-CNN (see, for example, Single Shot MultiBox Detector (SSD), ECCV2016, 2016). DNNs with a CNN-type architecture such as Shaoqing Ren et al., "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", NIPS, 2015) can be used.

あるいは、車両検出部２１は、識別器として、DNN以外の識別器を用いてもよい。例えば、車両検出部２１は、識別器として、画像上に設定されるウィンドウから算出される特徴量(例えば、Histograms of Oriented Gradients, HOG)を入力として、そのウィンドウに車両が表されているか否かの判定結果を出力するように予め学習されたサポートベクトルマシン(SVM)またはadaBoost識別器を用いてもよい。車両検出部２１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をSVMまたはadaBoost識別器へ入力することで、そのウィンドウに車両が表されているか否かの判定結果を得る。 Alternatively, the vehicle detection unit 21 may use a classifier other than the DNN as the classifier. For example, the vehicle detection unit 21 inputs a feature amount calculated from a window set on the image (for example, Histograms of Oriented Gradients, HOG) as a discriminator, and whether or not the vehicle is displayed in the window. A support vector machine (SVM) or an adaBoost classifier trained in advance may be used to output the determination result of. The vehicle detection unit 21 calculates the feature amount from the window while changing the position, size and aspect ratio of the window set on the image in various ways, and inputs the calculated feature amount to the SVM or adaBoost classifier. , Obtain a determination result as to whether or not a vehicle is displayed in the window.

あるいはまた、車両検出部２１は、識別器として、第１の実施形態における抽出部１１が利用する識別器と同様に、セマンティックセグメンテーション用の識別器を用いてもよい。この場合には、画像を識別器に入力することで、車両または車両の一部が表された画素の集合が抽出される。そこで、車両検出部２１は、抽出された画素の集合に対してラベリング処理を実行することで、互いに連結される個々の画素のグループを、それぞれ、一つの車両として検出すればよい。 Alternatively, the vehicle detection unit 21 may use a discriminator for semantic segmentation as the discriminator, similar to the discriminator used by the extraction unit 11 in the first embodiment. In this case, by inputting an image into the classifier, a set of pixels representing the vehicle or a part of the vehicle is extracted. Therefore, the vehicle detection unit 21 may detect each group of individual pixels connected to each other as one vehicle by executing a labeling process on the set of extracted pixels.

車両検出部２１は、検出された車両のそれぞれについて、その車両が表された領域内の所定の位置（例えば、その領域の重心）を、その車両の位置として、車線検出部２２へ通知する。 For each of the detected vehicles, the vehicle detection unit 21 notifies the lane detection unit 22 of a predetermined position (for example, the center of gravity of the area) in the area where the vehicle is represented as the position of the vehicle.

車線検出部２２は、画像から検出された複数の車両に基づいて車線を検出する。ここで、個々の車両は、一般に、車線に沿って走行する。そのため、画像上では、車線ごとに、その車線に沿って複数の車両が並ぶことが想定される。そこで、車線検出部２２は、画像上で検出された複数の車両のうちの二つ以上が並ぶ線を検出し、その検出された個々の線を、それぞれ、一つの車線として検出する。 The lane detection unit 22 detects a lane based on a plurality of vehicles detected from the image. Here, the individual vehicles generally travel along the lane. Therefore, on the image, it is assumed that a plurality of vehicles are lined up along the lane for each lane. Therefore, the lane detection unit 22 detects a line in which two or more of the plurality of vehicles detected on the image are lined up, and detects each of the detected individual lines as one lane.

例えば、車線検出部２２は、車両が並ぶ線の組み合わせを複数仮定する。そして車線検出部２２は、その複数の組み合わせのうち、各車両の位置から仮定した組み合わせに含まれる何れかの線までの距離の合計が最小となる組み合わせを特定し、その組み合わせに含まれる個々の線を車線として検出する。 For example, the lane detection unit 22 assumes a plurality of combinations of lines in which vehicles are lined up. Then, the lane detection unit 22 identifies a combination among the plurality of combinations that minimizes the total distance from the position of each vehicle to any line included in the assumed combination, and the individual combinations included in the combination. Detects a line as a lane.

仮定する車両が並ぶ線の組み合わせを決定するために、車線検出部２２は、例えば、画像から道路を検出する。そのために、車線検出部２２は、例えば、道路が表された画素を抽出するように予め学習されたセマンティックセグメンテーション用の識別器に画像を入力することで、道路が表された画素の集合を抽出する。なお、車線検出部２２は、このような識別器として、第１の実施形態による抽出部１１が利用する識別器と同様の識別器を用いることができる。車線検出部２２は、道路が表された画素の集合に対して細線化処理を実行することで得られた個々の線を一本の道路とし、その線同士が交差する位置を交差点として検出する。車線検出部２２は、二つの交差点間を連結する道路のそれぞれを、車線検出の対象となる単路とすればよい。あるいは、車線検出部２２は、道路が表された画素の集合に対して、第１の実施形態と同様に、ボロノイ分割を適用することで、その集合を単路と交差点エリアとに区分してもよい。この場合には、車線検出部２２は、道路が表された画素の集合のうち、道路以外が表された画素と隣接する画素を母点としてボロノイ分割を実行することで、単路ごとにボロノイ境界を求めることができる。そこで、車線検出部２２は、第１の実施形態と同様に、ボロノイ境界同士が交差するボロノイ点に基づいて交差点エリアを特定し、ボロノイ境界及びその周囲の道路が表された画素の集合のうち、交差点エリアに含まれない区間を個々の単路とすればよい。なお、車線検出の対象となる単路が曲線となっている場合には、車線検出部２２は、その単路を、直線で近似可能な区間ごとに区切り、区間ごとに、車線を検出してもよい。また、車線検出部２２は、車線検出の対象となる単路のそれぞれについて、抽出された道路が表された画素の集合から、その単路の延伸方向と直交する方向に並ぶその抽出された画素の数をカウントすることで、その単路の幅を求める。車線検出部２２は、単路の幅の中心またはその幅を所定数（例えば、２～６）で等分割して得られる個々の区間ごとに一つの線を仮定することで、仮定する車両が並ぶ線の組み合わせを決定することができる。 In order to determine the combination of lines in which the assumed vehicles are lined up, the lane detection unit 22 detects a road from an image, for example. Therefore, the lane detection unit 22 extracts a set of pixels representing a road by inputting an image into a classifier for semantic segmentation trained in advance so as to extract pixels representing the road, for example. do. The lane detection unit 22 can use a discriminator similar to the discriminator used by the extraction unit 11 according to the first embodiment as such a discriminator. The lane detection unit 22 treats each line obtained by executing a thinning process on a set of pixels representing a road as one road, and detects a position where the lines intersect as an intersection. .. The lane detection unit 22 may set each of the roads connecting the two intersections as a single road to be targeted for lane detection. Alternatively, the lane detection unit 22 divides the set into a single road and an intersection area by applying the Voronoi division to the set of pixels representing the road, as in the first embodiment. May be good. In this case, the lane detection unit 22 performs Voronoi division for each single road by executing the Voronoi division with the pixel adjacent to the pixel representing the other than the road as the base point among the set of pixels representing the road. Boundaries can be found. Therefore, the lane detection unit 22 identifies the intersection area based on the Voronoi point at which the Voronoi boundaries intersect, and is among the set of pixels representing the Voronoi boundary and the road around it, as in the first embodiment. , Sections not included in the intersection area may be individual single roads. When the single lane to be detected is a curved line, the lane detection unit 22 divides the single lane into sections that can be approximated by a straight line, and detects the lane for each section. May be good. Further, the lane detection unit 22 has extracted pixels for each of the single roads to be lane-detected, which are arranged in a direction orthogonal to the extending direction of the single road from a set of pixels representing the extracted roads. By counting the number of, the width of the single road is obtained. The lane detection unit 22 assumes a vehicle for each section obtained by equally dividing the center of the width of a single road or the width thereof by a predetermined number (for example, 2 to 6). The combination of lines can be determined.

図６は、画像から検出された個々の車両に基づく車線検出の一例を示す図である。図６に示される画像６００において、個々の車両６０１が検出されている。そして車両６０１が道路に沿って並ぶ線６０２のそれぞれが、一つの車線として検出される。 FIG. 6 is a diagram showing an example of lane detection based on an individual vehicle detected from an image. In the image 600 shown in FIG. 6, individual vehicles 601 are detected. Then, each of the lines 602 in which the vehicle 601 is lined up along the road is detected as one lane.

車線検出部２２は、個々の車線を表す車線検出結果データを地図生成部２３へわたす。 The lane detection unit 22 passes the lane detection result data representing each lane to the map generation unit 23.

地図生成部２３は、車線検出結果データを参照して道路地図を生成する。その際、地図生成部２３は、各単路に含まれる個々の車線に関する情報、例えば、各単路に含まれる車線の数などの情報を道路地図に含める。さらに、地図生成部２３は、第１の実施形態による地図生成部１５と同様に、地図生成処理の対象となった画像に表された地理的範囲を表す情報及び画像上での個々の交差点及び単路の位置を参照して、交差点及び単路のそれぞれについて、その交差点または単路の位置情報（例えば、緯度及び経度）を、道路地図に関連付けてもよい。さらにまた、地図生成部２３は、第１の実施形態による地図生成部１５と同様に、画像ごとに生成された道路地図を結合することで、より広範囲な道路地図を生成してもよい。 The map generation unit 23 generates a road map with reference to the lane detection result data. At that time, the map generation unit 23 includes information on individual lanes included in each single road, for example, information such as the number of lanes included in each single road in the road map. Further, the map generation unit 23, like the map generation unit 15 according to the first embodiment, has information representing the geographical range represented by the image targeted for the map generation process, individual intersections on the image, and the individual intersections on the image. For each of the intersection and the single road, the location information of the intersection or the single road (for example, latitude and longitude) may be associated with the road map with reference to the position of the single road. Furthermore, the map generation unit 23 may generate a wider range of road maps by combining the road maps generated for each image, as in the map generation unit 15 according to the first embodiment.

地図生成部２３は、生成した道路地図を、メモリ５に記憶し、または、記憶媒体アクセス装置６を介して記憶媒体８に書き込む。あるいは、地図生成部２３は、生成した道路地図を、通信インターフェース２を介して他の機器へ出力してもよい。 The map generation unit 23 stores the generated road map in the memory 5 or writes it in the storage medium 8 via the storage medium access device 6. Alternatively, the map generation unit 23 may output the generated road map to another device via the communication interface 2.

なお、本実施形態においても、プロセッサ７は、第１の実施形態における抽出部１１及び交通規則設定部１４と同様の処理を実行して、画像から規則特徴物が表された画素を抽出するとともに、規則特徴物ごとに、その規則特徴物が表された画素の集合に基づいて、車線ごと、単路ごと、あるいは、交差点ごとに、その車線、単路または交差点についての規則特徴物に相当する交通規則を関連付けてもよい。 Also in this embodiment, the processor 7 executes the same processing as the extraction unit 11 and the traffic rule setting unit 14 in the first embodiment to extract pixels representing the rule features from the image and at the same time. , Corresponds to a rule feature for a lane, track or intersection, lane by lane, track by track, or by intersection, based on a set of pixels representing the rule feature. Traffic rules may be associated.

図７は、第２の実施形態による、地図生成処理の動作フローチャートである。プロセッサ７は、地図生成処理の対象となる画像ごとに、下記の動作フローチャートに従って地図生成処理を実行すればよい。 FIG. 7 is an operation flowchart of the map generation process according to the second embodiment. The processor 7 may execute the map generation process according to the following operation flowchart for each image to be the map generation process.

プロセッサ７の車両検出部２１は、画像を識別器に入力することで、画像に表された複数の車両を検出する（ステップＳ２０１）。 The vehicle detection unit 21 of the processor 7 detects a plurality of vehicles represented by the image by inputting the image into the classifier (step S201).

プロセッサ７の車線検出部２２は、画像上で検出された複数の車両のうちの二つ以上が並ぶ線を検出し、その検出された個々の線を、それぞれ、一つの車線として検出する（ステップＳ２０２）。 The lane detection unit 22 of the processor 7 detects a line in which two or more of the plurality of vehicles detected on the image are lined up, and detects each of the detected lines as one lane (step). S202).

プロセッサ７の地図生成部２３は、検出された個々の車線に関する情報を含む道路地図を生成する（ステップＳ２０３）。そしてプロセッサ７は、地図生成処理を終了する。 The map generation unit 23 of the processor 7 generates a road map including information on each detected lane (step S203). Then, the processor 7 ends the map generation process.

以上に説明してきたように、この地図生成装置は、道路が表された画像から車両を検出し、検出された２以上の車両が並ぶ列のそれぞれを一つの車線として検出する。そのため、この地図生成装置は、道路上に車線区画線が表示されていなくても、車線を検出できる。その結果として、この地図生成装置は、道路が表された画像から、道路における車線ごとの情報を含む地図情報を生成することができる。 As described above, this map generator detects vehicles from an image showing a road, and detects each of the detected rows of two or more vehicles as one lane. Therefore, this map generator can detect a lane even if the lane marking line is not displayed on the road. As a result, the map generator can generate map information, including information for each lane on the road, from an image showing the road.

上記の各実施形態の変形例によれば、プロセッサ７は、前処理として、地図生成処理の対象となる画像に対して、超解像化処理を実行して解像度を向上し、オルソ（正射投影）補正処理を実行して画像に表されたビルの倒れこみを補正し、または、影の除去処理を実行してもよい。なお、プロセッサ７は、これらの処理として公知のものを利用すればよい。 According to the modification of each of the above embodiments, the processor 7 performs super-resolution processing on the image to be the map generation processing as preprocessing to improve the resolution, and ortho (orthographic projection). A projection) correction process may be performed to correct the collapse of the building shown in the image, or a shadow removal process may be executed. As the processor 7, a known processor may be used for these processes.

また他の変形例によれば、地図生成装置のプロセッサ７は、第１の実施形態による各部の処理だけでなく、第２の実施形態による車両検出部２１及び車線検出部２２の処理を実行してもよい。例えば、プロセッサ７は、第１の実施形態による抽出部１１及び車線検出部１２の処理を実行することにより検出された、すなわち、ボロノイ境界に基づいて検出された車線が一つである単路について、第２の実施形態による車両検出部２１及び車線検出部２２の処理を実行して、車両が並んでいる線を検出し、検出した個々の線のそれぞれを、その単路に含まれる車線として検出してもよい。これにより、地図生成装置は、車線区画線が表示された道路については、車線区画線を含む道路境界線に基づいて個々の車線を検出できるとともに、車線区画線が表示されない道路についても個々の車線を検出できる。 Further, according to another modification, the processor 7 of the map generator executes not only the processing of each part according to the first embodiment but also the processing of the vehicle detection unit 21 and the lane detection unit 22 according to the second embodiment. You may. For example, the processor 7 is detected by executing the processing of the extraction unit 11 and the lane detection unit 12 according to the first embodiment, that is, for a single lane having one lane detected based on the Voronoi boundary. , The processing of the vehicle detection unit 21 and the lane detection unit 22 according to the second embodiment is executed to detect the line in which the vehicles are lined up, and each of the detected individual lines is set as the lane included in the single road. It may be detected. As a result, the map generator can detect individual lanes based on the road boundary line including the lane lane marking for the road where the lane lane marking is displayed, and the individual lane for the road where the lane lane marking is not displayed. Can be detected.

第１の実施形態のさらに他の変形例によれば、車線検出部１２は、抽出部１１により抽出された、停止線が表された画素の集合に基づいて、停止線が単路全体を横切るように設けられているか否かを判定することで車線の数を判定してもよい。 According to still another modification of the first embodiment, the lane detection unit 12 has the stop line crossing the entire single road based on the set of pixels representing the stop line extracted by the extraction unit 11. The number of lanes may be determined by determining whether or not the lanes are provided.

図８（ａ）及び図８（ｂ）は、それぞれ、道路に表示された停止線の一例を示す図である。図８（ａ）に示される例では、道路８０１は一車線の道路であるため、停止線８０２は、道路８０１の幅全体にわたって描画され、道路８０１の両端の道路境界線と接続されている。これに対して、図８（ｂ）に示される例では、道路８１１は二車線の道路であるため、停止線８１２は、その停止線が対象とする車線のみを横切るように、すなわち、道路８１１の幅の略半分にわたって描画されている。このように、道路に含まれる車線の数に応じて、道路幅に対する停止線の長さの比が異なる。 8 (a) and 8 (b) are diagrams showing an example of a stop line displayed on the road, respectively. In the example shown in FIG. 8A, since the road 801 is a one-lane road, the stop line 802 is drawn over the entire width of the road 801 and is connected to the road boundaries at both ends of the road 801. On the other hand, in the example shown in FIG. 8B, since the road 811 is a two-lane road, the stop line 812 should cross only the target lane, that is, the road 811. It is drawn over approximately half the width of. In this way, the ratio of the length of the stop line to the width of the road differs depending on the number of lanes included in the road.

そこで、この変形例によれば、車線検出部１２は、交差点エリア検出部１３により特定された各単路のうち、停止線を表す画素の集合が抽出された単路について、その画素の集合に基づいて単路の幅に対する停止線の長さの比を算出する。なお、単路の幅は、例えば、その単路について抽出部１１により抽出された、その単路の両端の道路境界線を表す画素間の間隔とすることができる。あるいは、抽出部１１が利用する識別器が、道路そのものが表された画素も抽出できるように予め学習されてもよい。この場合には、単路の幅は、その単路を横切る方向における、道路そのものが表された画素が連続する数とすることができる。そして車線検出部１２は、単路の幅に対する停止線の長さの比が所定の閾値（例えば、0.6～0.8）よりも大きい場合、その単路において一つの車線を検出し、一方、その比が所定の閾値以下である場合、その単路において二つの車線を検出する。あるいは、車線検出部１２は、停止線を表す画素の集合が、その単路の両端のそれぞれの境界特徴物を表す画素の集合と連結している場合、その単路において一つの車線を検出し、一方、その単路の何れか一方の端部の境界特徴物を表す画素の集合と連結している場合、その単路において二つの車線を検出してもよい。なお、この変形例においても、地図生成部１５は、上記の実施形態と同様に、検出された個々の車線を表す道路地図を生成すればよい。 Therefore, according to this modification, the lane detection unit 12 uses the single road specified by the intersection area detection unit 13 as a set of pixels for a single road from which a set of pixels representing a stop line is extracted. Based on this, the ratio of the length of the stop line to the width of the single road is calculated. The width of the single road can be, for example, the distance between the pixels representing the road boundaries at both ends of the single road extracted by the extraction unit 11 for the single road. Alternatively, the classifier used by the extraction unit 11 may be learned in advance so that pixels representing the road itself can also be extracted. In this case, the width of the single road can be the number of consecutive pixels representing the road itself in the direction across the single road. Then, when the ratio of the length of the stop line to the width of the single road is larger than a predetermined threshold value (for example, 0.6 to 0.8), the lane detection unit 12 detects one lane on the single road, while the ratio. Is less than or equal to a predetermined threshold, two lanes are detected on the single road. Alternatively, the lane detection unit 12 detects one lane on the single lane when the set of pixels representing the stop line is connected to the set of pixels representing the boundary features at both ends of the single lane. On the other hand, if it is connected to a set of pixels representing a boundary feature at one end of the single road, two lanes may be detected on the single road. In this modification as well, the map generation unit 15 may generate a road map representing each detected lane, as in the above embodiment.

なお、この変形例においても、車線検出部１２は、ボロノイ境界に基づいて検出された車線の数が一つである単路についてのみ、停止線に基づく上記の車線の数の判定処理を行ってもよい。 Also in this modification, the lane detection unit 12 performs the above-mentioned number of lanes determination processing based on the stop line only for a single road in which the number of lanes detected based on the Voronoi boundary is one. May be good.

この変形例によれば、車線検出部は、車線区画線が表示されない道路についても個々の車線を検出できる。 According to this modification, the lane detection unit can detect individual lanes even on a road where the lane marking line is not displayed.

さらに、上記の各実施形態または変形例による地図生成装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。 Further, a computer program that enables a computer to perform the functions of each part of the processor of the map generator according to each of the above embodiments or modifications may be provided in a form stored in a recording medium readable by a computer. The recording medium that can be read by a computer can be, for example, a magnetic recording medium, an optical recording medium, or a semiconductor memory.

１地図生成装置
２通信インターフェース
３入力装置
４表示装置
５メモリ
６記憶媒体アクセス装置
７プロセッサ
８記憶媒体
１１抽出部
１２車線検出部
１３交差点エリア検出部
１４交通規則設定部
１５地図生成部
２１車両検出部
２２車線検出部
２３地図生成部 1 Map generator 2 Communication interface 3 Input device 4 Display device 5 Memory 6 Storage medium access device 7 Processor 8 Storage medium 11 Extraction unit 12 Lane detection unit 13 Crossing area detection unit 14 Traffic rule setting unit 15 Map generation unit 21 Vehicle detection unit 22 Lane detection unit 23 Map generation unit

Claims

A vehicle detection unit that detects multiple vehicles located on the road from an image showing the road,
A lane detection unit that detects each of the detected lines of two or more of the plurality of vehicles as individual lanes, and
A map generator that generates map information representing each of the detected lanes,
A map generator with.

The map generation according to claim 1, wherein the lane detection unit detects a road from the image and detects a line along the road in which two or more of the detected plurality of vehicles are lined up as a lane. Device.

From the image showing the road, multiple vehicles located on the road are detected and
Each of the detected lines in which two or more of the plurality of vehicles are lined up is detected as an individual lane.
Generates map information representing each of the detected lanes,
Map generation method including that.

From the image showing the road, multiple vehicles located on the road are detected and
Each of the detected lines in which two or more of the plurality of vehicles are lined up is detected as an individual lane.
Generates map information representing each of the detected lanes,
A computer program for map generation that lets a computer do that.

An extraction unit that extracts the road and the stop line from the image showing the road,
A lane detection unit that detects a lane included in the road according to the ratio of the length of the stop line to the width of the road.
A map generator that generates map information representing each of the detected lanes,
A map generator with.