JP2021119433A - 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、及び学習済みの学習モデル生成方法 - Google Patents

Abstract

【課題】学習用データの生成に係る労力を軽減する学習用データ生成装置を提供する。【解決手段】学習モデル生成システムにおいて、学習用データ生成装置１００は、地物が写った画像データを含む撮像情報と、地物の位置を示す位置情報を含む三次元地図情報とを取得する取得部１０と、撮像情報及び三次元地図情報とから、画像データの地物が写った領域を抽出した地物領域データを生成する地物領域抽出部２０と、地物領域データに、地物領域データに写った地物の属性を示す属性情報を付与し、学習用データを生成する属性情報付与部３０と、を備える。【選択図】図１

Description

本発明は、画像データに写った地物の属性を識別する学習モデルの学習に用いる学習用データを生成する学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、及び上記の学習モデルの学習を行い、学習済みの学習モデルの生成を行う学習済みの学習モデル生成方法に関するものである

自動車等の車両の自動運転においては、車両に取り付けられ、車両の内外の状況を検知するカメラやレーザレーダなどのさまざまなセンサに加え、車両が走行する道路を高精度に示すダイナミックマップと呼ばれる三次元地図情報が必要とされる。この高精度な三次元地図情報は、現実の道路周辺を実測した情報をもとに作成することが望ましい。例えば、三次元地図情報を生成する対象とする道路の路面や道路脇の設備といった地物の表面上の点の座標や輝度を示す三次元点群情報、あるいは道路の画像情報等を収集し、これら収集した情報を分析することでダイナミックマップを作成することができる。

道路の周辺を実測した情報を収集する方法として、モービルマッピングシステムを搭載した車両である測量車を実際に走行させ、道路面や道路脇の設備などの三次元点群情報などを収集する方法がある。このモービルマッピングシステムとは、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、慣性航法装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、及びオドメータ等の測位装置、並びに、レーザ光を走査してレーザ光があたった対象物の位置や反射輝度を計測するレーザレーダ、及びカメラ等の計測機器を備えた車両搭載型の計測装置であり、これら測位装置、計測装置が測量を行うことで、走行している車両の位置情報、走行している道路周辺の地物の表面上の点の座標や輝度を示す三次元点群情報、道路の画像情報等を収集する。

ここで、モービルマッピングシステムによって取得される情報は点群情報や画像情報であり、それら自体は地図情報ではないため、点群情報から地図情報を生成する図化処理が必要である。この図化処理は一度行ったら終わりではなく、時間の経過に伴う道路環境の変化に応じて更新処理を行う必要がある。また別の場合では、一つの地域で図化処理を完了したとしても、別の地域において、同様の図化処理を行う必要がある。

上記の図化処理には、道路標識や道路標示等の地物の種別を認識する認識処理が含まれる。この認識処理を人手で行うと多大な労力が必要となるため、例えば、学習済みの機械学習モデルを用いた画像認識処理が知られている（例えば、非特許文献１）。

ＺＨ ＯＵ， Ｌｉｐｕ ｅｔ ａｌ．， ＬＩＤＡＲ ａｎｄ ｖｉｓｉｏｎ−ｂａｓｅｄ ｒｅａｌ−ｔｉｍｅ ｔｒａｆｆｉｃ ｓｉｇｎ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｎｔｅｌｌｉｇｅｎｔ ｖｅｈｉｃｌｅ， １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ （ＩＴＳＣ）， ２０１４． １１． ２０， ｐｐ． ５７８−５８３

しかしながら、機械学習モデルを高精度に学習させるには膨大な量の学習用データの生成が必要となり、この学習用データの生成を手作業で行うと、結果的に多大な労力が必要となり、人的作業の削減を行うことができなかった。例えば、人がある画像の中から対象となる地物の領域を抽出し、抽出した領域の画像データに当該地物の種別を対応付けることにより学習用データを生成する必要があった。

本発明は、上記のような課題を解決するためになされたものであり、学習用データの生成に係る労力を軽減する学習用データ生成装置を得ることを目的とする。

本発明に係る学習用データ生成装置は、地物が写った画像データを含む撮像情報と、地物の位置を示す位置情報を含む三次元地図情報とを取得する取得部と、撮像情報及び三次元地図情報とから、画像データの地物が写った領域を抽出した地物領域データを生成する地物領域抽出部と、地物領域データに、地物領域データに写った地物の属性を示す属性情報を付与し、学習用データを生成する属性情報付与部と、を備えた。

本発明に係る学習用データ生成装置は、撮像情報及び三次元地図情報とから、画像データの地物が写った領域を抽出した地物領域データを生成する地物領域抽出部を備えたので、三次元地図情報に含まれる位置情報に基づき、画像データから地物が写った領域を抽出した地物領域データを生成することにより、学習用データの生成に係る労力を軽減することができる。

実施の形態１に係る学習用データ生成装置１００及び学習モデル生成システム１０００の構成を示す構成図である。 実施の形態１に係る学習部３００の構成を示す構成図である。 実施の形態１に係る学習用データ生成装置１００及び学習モデル生成システム１０００のハードウェア構成を示すハードウェア構成図である。 実施の形態１に係る学習用データ生成装置１００の動作を示すフローチャートである。 三次元地図情報が含む位置情報の具体例を示す概念図である。 撮像情報が含む画像データの具体例を示す概念図である。 位置情報が対応付けられた画像データの具体例を示す概念図である。 実施の形態１に係る学習モデル生成システム１０００の動作を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る学習用データ生成装置１００及び学習モデル生成システム１０００の構成を示す構成図である。ここで、学習モデル生成システム１０００は、学習モデルの学習を行い、学習済みの学習モデルを生成するものであり、学習用データ生成装置１００は、学習モデル生成システム１０００が学習モデルの学習を行うための学習用データを生成するものである。ここで、学習用データとは、地物が写った画像データと、画像データに写った地物の属性を示す属性情報がセットになったデータである。また、地物の属性とは、道路標識、道路標示、区画線や路肩縁等の分類を示すものと、個別の分類の中において、速度制限の道路標識や一方通行の道路標識等、分類の中での種別を示すもの、さらに、速度制限の速度等、種別の中でのより細かな種類を示すものを総合して含むものとする。

学習モデル生成システム１０００は、学習用データ生成装置１００、表示部２００、学習部３００、記憶部４００、及び入力部５００を備え、入力部５００は外部装置６００と接続される。外部装置６００は、地物の点群情報及び画像情報を取得するモービルマッピングシステム等の計測システム等を含むものである。

表示部２００は、学習用データ生成装置１００から入力された各種情報を表示するものであり、後述するようにディスプレイ等の表示装置により実現される。

記憶部４００は、各種情報を記憶するものであり、例えば、学習用データ生成装置１００が生成した学習用データや、学習部が学習を行った学習済みの学習モデルを記憶する。記憶部４００は、後述するようにハードディスク等の記憶装置により実現される。

また、実施の形態１において、記憶部４００には、後述する入力部５００を介して外部装置６００から撮像情報と三次元地図情報とが事前に入力され、記憶しているものとする。

この三次元地図情報は予め人の手により生成されたものであり、地物の位置情報と、当該地物の属性情報とを含む。実施の形態１に係る学習用データ生成装置１００は、ある地域において予め生成された三次元地図情報と、当該三次元地図情報を生成するのに用いられた撮像情報とに基づいて、学習用データを生成する。そして、学習用データ生成装置１００で生成された学習用データを用いて学習済みの学習モデルを生成することにより、同じ地域で三次元地図情報の更新を行う場合や、別の地域で三次元地図情報を生成したい場合において、当該学習済みの学習モデルを用いて地物の認識処理を行うことにより、図化処理に係る労力を軽減することができる。

入力部５００は、外部装置６００からユーザーにより入力された入力情報を受け付けるものであり、外部装置６００と学習モデル生成システム１０００とのインターフェースである。入力部５００は、後述するように、例えば、キーボードや通信装置等により実現される。

学習部３００は、学習用データ生成装置１００が生成し、記憶部４００に記憶された学習用データを用いて学習モデルの学習を行い、学習済みの学習モデルを生成するものである。

図２は、実施の形態１に係る学習部３００の構成を示す構成図である。
学習部３００は、学習用データ取得部３０１及びモデル生成部３０２を備える。

学習用データ取得部３０１は、学習モデルを学習させるための学習用データを取得するものである。実施の形態１において、学習用データ取得部３０１は、学習用データ生成装置１００が生成し、記憶部４００に記憶された学習用データを取得する。

モデル生成部３０２は、学習用データ取得部３０１が取得した学習用データを用いて学習モデルを学習させるものである。より具体的には、モデル生成部３０２は、学習前の学習モデル、あるいは前回学習後の学習モデルを記憶部４００から取得し、学習用データ取得部３０１が取得した学習用データを用いて学習モデルの学習を行う。モデル生成部３０２は、学習を行った後の学習済みの学習モデルを記憶部４００に出力し、記憶部４００は入力された学習モデルを記憶する。

実施の形態１において、モデル生成部３０２が生成する学習モデルは、画像データが入力されると、当該画像データに対して画像認識処理を行い、当該画像データに写っている地物の属性を識別し、当該識別結果を出力するものである。学習方法は、例えば、サポートベクターマシン、ロジスティック回帰、ディープニューラルネットワーク等の既存の教師あり学習の手法を用いることができる。

図１に戻り、学習用データ生成装置１００の構成について説明する。
学習用データ生成装置１００は、取得部１０、地物領域抽出部２０、及び属性情報付与部３０を備える。

取得部１０は、地物が写った画像データを含む撮像情報と、当該地物の位置情報を含む三次元地図情報とを取得するものである。実施の形態１において、取得部１０は、撮像情報取得部１１と、三次元地図情報取得部１２とを備える。

撮像情報取得部１１は、地物が写った画像データを含む撮像情報を取得するものである。実施の形態１において、撮像情報取得部１１は、記憶部４００に記憶された撮像情報を取得する。また、実施の形態１において、撮像情報取得部１１は、撮像情報として、画像データと、画像データを撮像した位置を示す撮像位置情報と、画像データを撮像した撮像装置の撮像角度を示す撮像角度情報とを取得する。

また、例えば、モービルマッピングシステムにより計測された撮像情報を取得する場合、ＧＮＳＳ受信機の位置と撮像装置とのオフセットから撮像装置の撮像位置が算出される。撮像情報取得部１１は、ＧＰＳ受信機の位置と撮像装置とのオフセットを示す情報を取得し、それらの情報から撮像位置を算出し、撮像位置情報を取得するようにしてもよいし、予め外部のコンピュータ等により算出された撮像位置を示す情報を直接撮像位置情報として取得するようにしてもよい。

三次元地図情報取得部１２は、地物の位置情報を含む三次元地図情報を取得するものである。実施の形態１において、三次元地図情報取得部１２は、記憶部４００に記憶された三次元地図情報を取得する。また、実施の形態１において、三次元地図情報取得部１２は、三次元地図情報として、地物の位置情報と、当該地物の属性を示す属性情報とを取得する。

ここで、三次元地図情報とは、実空間における地物の位置情報を含むものであり、例えば、高精度な三次元地図情報であるダイナミックマップデータを用いることができる。また、三次元地図情報に含まれる位置情報が示す位置は、平面直角座標系における座標値や、緯度、経度、標高等の実空間における三次元座標値で示される。

地物領域抽出部２０は、撮像情報及び三次元地図情報とから、画像データの地物が写った領域を抽出した地物領域データを生成するものである。ここで、地物領域データとは、画像データ上で地物が写った領域を切り出すことにより生成されたデータであり、画像データの一種である。

また、実施の形態１において、地物領域抽出部２０は、三次元地図情報に含まれるある地物に対して、学習用データを生成しようとする場合、当該地物の位置情報を参照し、当該位置情報が示す位置周辺の画像データのみを以下の対応付けの処理の対象とする。すなわち、地物領域抽出部２０は、位置情報、撮像位置情報、及び撮像角度情報に基づいて、位置情報が位置を示す地物が写った画像データを特定する。より具体的には、地物の位置情報が示す位置と、撮像位置情報とが示す位置との距離が、所定の閾値以下であり、撮像角度情報が示す角度が撮像位置を原点として位置情報が示す位置の方向を向いている画像データを、地物が写った画像データとして処理の対象とする。ここで、上記の条件に該当する画像データが複数存在する場合、その全ての画像データに対して、後述するステップＳ２からステップＳ４までの処理を行う。

また、実施の形態１において、地物領域抽出部２０は、位置情報、撮像位置情報、及び撮像角度情報に基づいて、画像データにおいて地物が写った領域を特定し、地物領域データを生成する。

三次元地図情報と撮像情報は以下の関係により対応付けられる。すなわち、三次元地図情報に含まれる位置情報が示す三次元座標値と、撮像情報が示す画像データ上の二次元座標値とは、位置情報、撮像位置情報及び撮像角度情報に基づき、以下の関係により対応付けられる。

点群データ内の任意の点Ｍ_Ｗ＝（Ｘ，Ｙ，Ｚ）^Ｔと、その点を画像上に変換したときの座標をｍ＝（ｕ，ｖ）^Ｔとするとき、これらの座標間の関係はカメラモデルを用いて以下のように記述される。なお、ここで述べるカメラモデルは、ピンホールカメラモデルと呼ばれ、一般に広く用いられているモデルである。点群データ中の点と画像中の画素（座標）との関係を記述できれば、ピンホールカメラモデル以外のモデルを用いてもかまわない。

３次元空間中の点の位置が世界座標系での座標値Ｍ_Ｗで与えられたとき、Ｍ_Ｗと画像を撮像したカメラを中心とする座標系（カメラ座標系）での３次元座標値Ｍ_Ｃとの関係は数式１で表される。

ここで、Ｒ_ＣとＴ_Ｃは、それぞれカメラの撮像角度と撮像位置とに基づき決定される、３×３の回転を表す行列と、３×１の並進を表すベクトルである。

カメラ座標系の点Ｍ_Ｃが、画像上に投影される点の座標は、以下に示される式により計算できる。まず、正規化カメラ座標での点ｍ_ｎを数式２により計算する。

次に、レンズ歪みを考慮した座標値ｍ_ｄ（正規化カメラ座標系）を数式３により計算する。

ここで、ｒ＝ｘ^２＋ｙ^２である。また、ｋ_１、ｋ_２、ｋ_３、ｐ_１、ｐ_２は歪みの具合を示すパラメータであり、カメラキャリブレーションにより事前に求められる。

最後に、次式を用いて画像上の座標を計算する。

ここで、Ａは内部パラメータと呼ばれる量であり、以下の式で表される。

ここで、α_ｘとα_ｙはそれぞれ水平・垂直方向のピクセル単位で表される焦点距離であり、ｕ_０、ｖ_０はカメラの光軸が画像平面と交差する点の座標値である。カメラの内部パラメータＡは、事前にカメラキャリブレーションを行うことで取得できる。また、カメラの位置については、例えばＧＮＳＳ測位による自車両の位置を、ＧＮＳＳ受信機とカメラとの位置関係（オフセット）で補正することで取得できる。カメラの姿勢については、例えばジャイロセンサによって取得できる。

属性情報付与部３０は、地物領域データに、地物の属性を示す属性情報を付与し、学習用データを生成するものである。属性情報付与部３０は、生成した学習用データを記憶部４００に出力する。ここで、付与する属性情報は、「道路標示」等を直接示すテキストであってもよいし、予め割り振られた数字等の識別子により、その属性を識別するものであってもよい。

次に、実施の形態１に係る学習用データ生成装置１００及び学習モデル生成システム１０００のハードウェア構成について説明する。学習用データ生成装置１００及び学習モデル生成システム１０００の各機能は、コンピュータにより実現される。図３は、実施の形態１に係る学習用データ生成装置１００及び学習モデル生成システム１０００のハードウェア構成を示すハードウェア構成図である。

図３に示したハードウェアには、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置１００００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク等の記憶装置１０００１、ディスプレイ等の表示装置１０００２、キーボードや通信装置等の入力インターフェース１０００３が備えられる。

図１に示す、取得部１０、地物領域抽出部２０、属性情報付与部３０、学習部３００の各機能は、記憶装置１０００１に記憶されたプログラムが処理装置１００００で実行されることにより実現される。また、表示部２００の機能は表示装置１０００２により実現され、入力部５００の機能は、入力インターフェース１０００３により実現され、記憶部４００の機能は記憶装置１０００１により実現される。

また、上記において一つの処理装置１００００で学習モデル生成システム１０００の各機能が実現される構成について説明したが、各機能を実現する処理装置は複数であってもよく、例えば、学習用データ生成装置１００の処理と、学習部３００の処理とを別の処理装置で実現する構成であってもよい。

また、記憶装置１０００１についても一つの記憶装置で実現される構成に限らず、複数の記憶装置に分けた情報を記憶したり、外部のサーバーに情報を記憶したりする構成であってもよい。

また、表示装置１０００２と入力インターフェース１０００３とは、別の装置として示したが、タッチパネル等の一つの装置で実現する構成であってもよい。

また、学習モデル生成システム１０００の各機能を実現する方法は、上記したハードウェアとプログラムの組み合わせに限らず、処理装置にプログラムをインプリメントしたＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のような、ハードウェア単体で実現するようにしてもよいし、一部の機能を専用のハードウェアで実現し、一部を処理装置とプログラムの組み合わせで実現するようにしてもよい。

以上のように、実施の形態１に係る学習用データ生成装置１００及び学習モデル生成システム１０００は構成される。

次に、実施の形態１に係る学習用データ生成装置１００が学習用データを生成する動作、すなわち、学習用データ生成方法について説明する。また、学習用データ生成方法における工程をコンピュータに実行させるプログラムが学習用データ生成プログラムである。

図４は、実施の形態１に係る学習用データ生成装置１００の動作を示すフローチャートである。

まず、ステップＳ１の取得工程において、取得部１０が撮像情報と三次元地図情報とを取得する。より具体的には、撮像情報取得部１１が、地物が写った画像データと、当該画像データを撮像した撮像装置の位置を示す撮像位置情報と、当該画像データを撮像した撮像装置の角度を示す撮像角度情報とを取得し、三次元地図情報取得部１２が、地物の位置を示す位置情報と、当該位置情報に対応付けられた属性情報とを含む三次元地図情報を取得する。

次に、ステップＳ２の地物領域抽出工程において、地物領域抽出部２０は、撮像情報と三次元地図情報とから、画像データの地物が写った領域を抽出した地物領域データを生成する。より具体的には、地物領域抽出部２０は、撮像情報に含まれる撮像位置情報、撮像角度情報、及び三次元地図情報に含まれる地物の位置情報に基づいて、画像データから地物を抽出し、地物領域データを生成する。

図５から図７を用いて、地物領域抽出工程の具体例について説明する。図５は、三次元地図情報が含む位置情報の具体例を説明するための概念図であり、図６は、画像データの具体例を説明するための概念図である。

図５には、位置情報が示す各種地物の位置が示されており、より具体的には、道路標識、道路標示、区画線の位置が示されている。例えば、位置Ａ１は道路標識の位置を示し、位置Ａ２は道路標示の位置を示す。地物領域抽出部２０は、図５に示される各種地物の位置情報を図６に示される画像データと対応付けることにより、地物の抽出を行う。位置情報と画像データの対応付けについては、例えば、上記において説明したピンホールカメラのモデルを用いて対応付ければよい。ここで、図６において、地物Ｂ１が図５における位置Ａ１の地物に対応し、地物Ｂ２が図５における位置Ａ２の地物に対応する。

図７は三次元地図情報に含まれる位置情報が対応付けられた画像データの具体例を説明するための概念図である。
ここで、三次元地図情報に含まれる位置情報を画像データ上の位置に変換したものを画像位置情報と呼ぶこととする。画像位置情報は画像データ上において地物が存在する領域である地物領域を示す。図７には、画像位置情報が示す各種地物の画像上の位置が示されている。例えば、地物領域Ｃ１は、道路標識の画像データ上の位置を示し、地物領域Ｃ２は、道路標示の画像データ上の位置を示している。そして、地物領域抽出部２０は、地物領域を抽出することにより、地物領域データを生成する。

次に、ステップＳ３の属性情報付与工程において、属性情報付与部３０は、ステップＳ２で生成された地物領域データに、地物領域データに写った地物の属性情報を示す属性情報を付与し、学習用データを生成する。実施の形態１において、属性情報付与部３０は、三次元地図情報に含まれる属性情報に基づいて、属性情報を付与することにより、学習用データの生成を行う。

例えば、図７において、地物領域Ｃ１に含まれる地物は、指定方向外進行禁止の道路標識であるため、地物領域Ｃ１から生成された地物領域データに対して、当該地物領域データに含まれる地物は道路標識であり、当該道路標識は指定方向外進行禁止の道路標識であることを示す属性情報を付与する。同様に、地物領域Ｃ２から生成された地物領域データに対しては、当該地物領域データに含まれる地物は道路標示であり、当該道路標示は横断歩道であることを示す属性情報を付与する。

次に、ステップＳ４の記憶工程において、記憶部４００は、入力された学習用データを記憶する。

以上のような動作により、実施の形態１に係る学習用データ生成装置１００は、三次元地図情報に含まれる位置情報に基づき、画像データから地物が写った領域を抽出した地物領域データを生成するので、学習用データの生成に係る労力を軽減することができる。

また、実施の形態１に係る学習用データ生成装置１００は、三次元地図情報が含む属性情報に基づいて、属性情報の付与を行う構成としたので、人が画像データに写った地物が何かを認識し、属性情報を付与する労力、すなわち、学習用データの生成に係る労力をさらに軽減することができる。

また、実施の形態１に係る学習用データ生成装置１００は、撮像情報として、画像データと、画像データを撮像した位置を示す撮像位置情報と、画像データを撮像した撮像装置の撮像角度を示す撮像角度情報とを取得し、位置情報、撮像位置情報、及び撮像位置情報に基づいて、位置情報が位置を示す地物が写った画像データを特定するようにしたので、全ての画像データではなく、一部の画像データのみを処理の対象とすればよく、コンピュータの計算時間を短縮することができる。

また、実施の形態１に係る学習用データ生成装置１００は、位置情報、撮像位置情報、撮像角度情報に基づいて、位置情報が示す地物が写った画像データを特定するようにしたので、画像データ上の地物が存在する位置を正確に特定することができる。

次に、実施の形態１に係る学習モデル生成システム１０００が学習済みの学習モデルの生成を行う動作、すなわち、学習済みの学習モデル生成方法について説明する。
図８は、実施の形態１に係る学習モデル生成システム１０００の動作を示すフローチャートである。

まず、ステップＳ２１の学習用データ取得工程において、学習用データ取得部３０１は、記憶部４００から学習用データを取得する。

次に、ステップＳ２２の学習工程において、モデル生成部３０２は、入力された学習用データを用いて学習モデルの学習を行う。モデル生成部３０２は、学習が終わった後、学習済みの学習モデルを記憶部４００に出力する。

最後に、ステップＳ２３の学習モデル記憶工程において、記憶部４００は、入力された学習済みの学習モデルを記憶する。

以上のような動作により、実施の形態１に係る学習モデル生成システム１０００は、学習用データ生成装置１００により生成された学習用データを用いて学習モデルの学習を行うことで、学習済みの学習モデルの生成に係る労力を軽減することができる。

以下において、実施の形態１に係る学習用データ生成装置１００の変形例について説明する。

上記において、属性情報付与部３０は、三次元地図情報に含まれる属性情報に基づいて、属性情報の付与を行う構成としたが、ユーザーから入力された入力情報に基づいて、地物領域データに属性情報の付与を行い、学習用データを生成する構成としても良い。このような構成とすることで、三次元地図情報に属性情報が含まれない場合でも、ユーザーが入力情報として属性情報を入力することで、学習用データを生成することができる。
また、上記において、外部装置６００からユーザーにより入力された入力情報を受け付ける工程を入力工程と呼ぶ。

また、この場合において、属性情報付与部３０は、属性情報の入力を促す表示を表示部２００に表示させるようにしてもよい。また、表示部２００は、三次元地図情報に属性情報が含まれ、属性情報付与部３０により自動で属性情報が付与される場合においても、生成された学習用データに誤りが無いかユーザーが確認するために、学習用データの内容について表示部に出力するようにしてもよい。

また、学習用データ生成装置１００は、生成された学習用データのうち、実際に学習に用いるデータ、あるいは、記憶部４００に記憶させるデータを選定するようにしてもよい。モービルマッピングシステム等の計測装置により、短時間で複数枚の画像データが得られている場合、同じ地物に対して複数個の学習用データが生成される可能性があるため、写りがよくなかったり、オクルージョンにより地物が隠れてしまっていたりするデータを除外するようにしてもよい。例えば、画素の輝度に対して予め閾値を設け、所定の閾値範囲内の地物領域データを用いて生成された学習用データのみを最終的な出力として選定したり、道路標識の学習用データに関しては、地物領域データの縦横のサイズ比が１対１に近いものを用いて生成された学習用データのみを選定したり、エッジ検出等により地物がオクルージョンにより欠けていないかを判定し、欠けの無い地物領域データを用いて生成された学習用データのみを選定したりするようにしてもよい。
上記の処理を行うことにより、地物が綺麗に写った、学習に適した学習用データのみを選定することができる。

また、学習用データ生成装置１００は、学習用データが学習用データ生成装置１００により生成されたことを示す識別情報を付与するようにしてもよい。識別情報を付与することにより、人の手により生成した学習用データと、学習用データ生成装置１００により生成された学習用データとを識別することができる。

本発明に係る学習用データ生成装置１００は、地物の属性を識別する学習モデルを学習させる学習システムに用いることができる。

１００ 学習用データ生成装置、１０００ 学習モデル生成システム、１０ 取得部、１１ 撮像情報取得部、１２ 三次元地図情報取得部、２０ 地物領域抽出部、３０ 属性情報付与部、２００ 表示部、３００ 学習部、３０１ 学習用データ取得部、３０２ モデル生成部、４００ 記憶部、５００ 入力部、６００ 外部装置、１００００ 処理装置、１０００１ 記憶装置、１０００２ 表示装置、１０００３ 入力インターフェース。

Claims (12)

1. 地物が写った画像データを含む撮像情報と、前記地物の位置を示す位置情報を含む三次元地図情報とを取得する取得部と、
   前記撮像情報と前記三次元地図情報とから、前記画像データの前記地物が写った領域を抽出した地物領域データを生成する地物領域抽出部と、
   前記地物領域データに、前記地物の属性を示す属性情報を付与し、学習用データを生成する属性情報付与部と、
   を備える学習用データ生成装置。
2. 前記三次元地図情報は、前記位置情報と、前記位置情報に対応付けられた前記属性情報とを含み、
   前記属性情報付与部は、前記三次元地図情報が含む前記属性情報に基づいて、前記地物領域データに前記属性情報を付与することにより、前記学習用データを生成する
   ことを特徴とする請求項１に記載の学習用データ生成装置。
3. 前記学習用データ生成装置は、
   外部装置からユーザーにより入力された入力情報を受け付ける入力部をさらに備え、
   前記属性情報付与部は、前記入力情報に基づいて、前記地物領域データに前記属性情報を付与することにより、前記学習用データを生成する
   ことを特徴とする請求項１に記載の学習用データ生成装置。
4. 前記取得部は、前記撮像情報として、前記画像データと、前記画像データを撮像した位置を示す撮像位置情報と、前記画像データを撮像した撮像装置の撮像角度を示す撮像角度情報とを取得し、
   前記地物領域抽出部は、前記位置情報、前記撮像位置情報、及び前記撮像角度情報に基づいて、前記位置情報が位置を示す前記地物が写った前記画像データを特定する
   ことを特徴とする請求項１から３のいずれか一項に記載の学習用データ生成装置。
5. 前記取得部は、前記撮像情報として、前記画像データと、前記画像データを撮像した位置を示す撮像位置情報と、前記画像データを撮像した撮像装置の撮像角度を示す撮像角度情報とを取得し、
   前記地物領域抽出部は、前記位置情報、前記撮像位置情報、及び前記撮像角度情報に基づいて、前記画像データにおいて前記地物が写った領域を特定し、前記地物領域データを生成する
   ことを特徴とする請求項１から３のいずれか一項に記載の学習用データ生成装置。
6. 地物が写った画像データを含む撮像情報と、前記地物の位置を示す位置情報を含む三次元地図情報とを取得する取得工程と、
   前記撮像情報及び前記三次元地図情報とから、前記画像データの前記地物が写った領域を抽出した地物領域データを生成する地物領域抽出工程と、
   前記地物領域データに、前記地物の属性を示す属性情報を付与し、学習用データを生成する属性情報付与工程と、
   を含む学習用データ生成方法。
7. 前記三次元地図情報は、前記位置情報と、前記位置情報に対応付けられた前記属性情報とを含み、
   前記属性情報付与工程において、前記三次元地図情報が含む前記属性情報に基づいて、前記地物領域データに前記属性情報を付与することにより、前記学習用データを生成する
   ことを特徴とする請求項６に記載の学習用データ生成方法。
8. 前記学習用データ生成方法は、
   外部装置からユーザーにより入力された入力情報を受け付ける入力工程をさらに含み、
   前記属性情報付与工程において、前記入力情報に基づいて、前記地物領域データに前記属性情報を付与することにより、前記学習用データを生成する
   ことを特徴とする請求項６に記載の学習用データ生成方法。
9. 前記取得工程において、前記撮像情報として、前記画像データと、前記画像データを撮像した位置を示す撮像位置情報と、前記画像データを撮像した撮像装置の撮像角度を示す撮像角度情報とを取得し、
   前記地物領域抽出工程において、前記位置情報、前記撮像位置情報、及び前記撮像角度情報に基づいて、前記位置情報が位置を示す前記地物が写った前記画像データを特定する
   ことを特徴とする請求項６から８のいずれか一項に記載の学習用データ生成方法。
10. 前記取得工程において、前記撮像情報として、前記画像データと、前記画像データを撮像した位置を示す撮像位置情報と、前記画像データを撮像した撮像装置の撮像角度を示す撮像角度情報とを取得し、
    前記地物領域抽出工程において、前記位置情報、前記撮像位置情報、及び前記撮像角度情報に基づいて、前記画像データにおいて前記地物が写った領域を特定し、前記地物領域データを生成する
    ことを特徴とする請求項６から８のいずれか一項に記載の学習用データ生成方法。
11. 請求項６から１０のいずれか一項に記載の全工程をコンピュータに実行させる学習用データ生成プログラム。
12. 地物が写った画像データを含む撮像情報と、前記地物の位置を示す位置情報を含む三次元地図情報とを取得する取得工程と、
    前記撮像情報及び前記三次元地図情報とから、前記画像データの前記地物が写った領域を抽出した地物領域データを生成する地物領域抽出工程と、
    前記地物領域データに、前記地物の属性を示す属性情報を付与し、学習用データを生成する属性情報付与工程と、
    前記学習用データを用いて学習モデルの学習を行う学習工程と、
    を含む学習済みの学習モデル生成方法。

Images