JP2021124633A

JP2021124633A - 地図生成システム及び地図生成プログラム

Info

Publication number: JP2021124633A
Application number: JP2020018739A
Authority: JP
Inventors: 千尋因幡; Chihiro Inaba; 亮恵崎山; Akie Sakiyama; 誠田村; Makoto Tamura; 俊幸萩谷; Toshiyuki Hagiya
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-02-06
Filing date: 2020-02-06
Publication date: 2021-08-30
Anticipated expiration: 2040-02-06
Also published as: US11488390B2; JP7238821B2; CN113220805B; US20210248387A1; CN113220805A

Abstract

【課題】所望の対象物を既存の地図上に追加及び更新することが可能な地図生成システム及び地図生成プログラムを提供することを目的とする。
【解決手段】地図生成システムは、複数の車両の各々から撮影することによって得られる画像情報に基づいて、予め定めた対象物を検出する対象物検出部５４と、対象物検出部５４によって検出された対象物と、当該対象物が検出された画像情報を撮影した車両との相対位置、及び当該対象物の撮影時の車両の位置情報に基づいて、対象物の位置情報を推定する推定部６２と、推定部６２によって推定された対象物の位置情報と、対象物が含まれる画像の特徴量とに基づいて、対象物の数と位置とを特定する同一対象物集約部６４と、を含む。
【選択図】図４

Description

本発明は、車両から撮影された画像データを使って、道路周辺設置物の地図を生成する地図生成システム及び地図生成プログラムに関する。

特許文献１には、道路地図データをより有用な内容に逐次更新することができる道路地図更新システムが提案されている。詳細には、特許文献１の技術では、新規道路判定手段により、走行中の道路が新規道路であるか否かを判定し、新規道路である場合の走行軌跡と、新規道路を走行中に車載カメラによって撮像した車両周囲の画像とを地図管理装置へ送信する。そして、地図管理装置は、走行軌跡から新規道路の形状を決定し、画像を解析することにより、新規道路のより詳細な情報及び新規道路の周辺にどのような施設が存在するかを決定する。

特開２００８−０３９６８７号公報

しかしながら、特許文献１の技術では、新規道路の形状や、周辺施設を追加及び更新することができるが、既存の地図において、道路周辺設置物等の任意の対象物を追加及び更新するためには改善の余地がある。

本発明は、上記事実を考慮して成されたもので、所望の対象物を既存の地図上に追加及び更新することが可能な地図生成システム及び地図生成プログラムを提供することを目的とする。

上記目的を達成するために請求項１に記載の地図生成システムは、複数の車両の各々から撮影することによって得られる画像情報に基づいて、予め定めた対象物を検出する検出部と、前記検出部によって検出された前記対象物と、当該対象物が検出された前記画像情報を撮影した車両との相対位置、及び当該対象物の撮影時の前記車両の絶対位置としての位置情報に基づいて、前記検出部によって検出された前記対象物の絶対位置としての位置情報を推定する推定部と、前記推定部によって推定された複数の対象物について、当該各々の対象物の位置情報と、当該各々の対象物が含まれる画像の画像情報とに基づいて、前記複数の対象物に含まれている同一の対象物を集約することで、前記対象物の数と位置とを特定する特定部と、を含む。

請求項１に記載の発明によれば、検出部では、複数の車両の各々から撮影することによって得られる画像情報に基づいて、予め定めた対象物が検出される。例えば、物体検出系のディープラーニング技術を利用して、画像情報から対象物を検出する。

推定部では、検出部によって検出された対象物と、当該対象物が検出された画像情報を撮影した車両との相対位置、及び当該対象物の撮影時の車両の絶対位置としての位置情報に基づいて、検出部によって検出された対象物の絶対位置としての位置情報が推定される。

そして、特定部では、推定部によって推定された複数の対象物について、当該各々の対象物の位置情報と、当該各々の対象物が含まれる画像の画像情報とに基づいて、複数の対象物に含まれている同一の対象物を集約することで、対象物の数と位置とが特定される。これにより、所望の対象物を既存の地図上に追加及び更新することが可能となる。

なお、請求項２に記載の発明のように、特定部は、推定部によって推定された対象物の推定位置でクラスタリングした各クラスタ内に存在する対象物の特徴量間の距離に基づいて、対象物の数と位置とを特定してもよい。これにより、同一の対象物を一つに集約して対象物の数と位置を特定することが可能となる。

或いは、請求項３に記載の発明のように、特定部は、推定部によって推定された対象物の推定位置、及び対象物の画像の特徴量に基づきクラスタリングした各クラスタ内に存在する対象物の特徴量距離に基づいて、対象物の数と位置とを特定してもよい。これにより、推定部の推定が失敗しても同一の対象物を一つに集約することが可能となる。

また、請求項４に記載の発明のように、特定部は、推定部によって推定された対象物の位置情報に基づいて、対象物の数と位置とを特定し、画像情報が表す画像内に複数の対象物が検出部によって検出された場合に、相対位置が予め定めた距離未満かつ検出部によって検出された対象物の画像上の重複が予め定めた閾値以上の対象物、または相対位置が予め定めた距離以上かつ対象物同士の距離が予め定めた閾値未満の対象物を同一の対象物として、対象物の数と位置とを特定してもよい。これにより、所望の対象物を既存の地図上に追加及び更新することが可能となる。

また、請求項５に記載の発明のように、検出部によって検出された対象物の種類を分類する分類部を更に含み、特定部は、分類部によって分類された種類毎の対象物の数と位置とを特定してもよい。これにより、所望の対象物を種類毎に既存の地図上に追加及び更新することが可能となる。

また、請求項６に記載の発明のように、予め定めた閾値以上の数の画像情報から対象物の数と位置が特定された場合に、既存の地図に対して対象物の情報を追加または削除して更新する地図更新部を更に含んでもよい。これにより、１回の対象物の検出で地図を更新する場合に比べて対象物の地図精度を向上できる。

なお、本発明は、請求項７に記載の発明のように、コンピュータを、請求項１〜６の何れか１項に記載の地図生成システムの各部として機能させるための地図生成プログラムとしてもよい。

以上説明したように本発明によれば、所望の対象物を既存の地図上に追加及び更新することが可能な地図生成システム及び地図生成プログラムを提供できる、という効果がある。

本実施形態に係る地図生成システムの概略構成を示す図である。検出対象物を検出して、既存の地図に検出した検出対象物の情報を追加する様子を示す図である。本実施形態に係る地図生成システムにおける車載器及び地図生成サーバの構成を示すブロック図である。本実施形態に係る地図生成システムにおける地図生成サーバの中央処理部の詳細な機能を示す機能ブロック図である。検出対象物の位置の推定を説明するための図である。検出した検出対象物の種類毎の分類結果と、推定位置の一例を示す図である。本実施形態に係る地図生成システムにおける車載器の制御部で行われる処理の流れの一例を示すフローチャートである。本実施形態に係る地図生成システムの地図生成サーバにおいて、画像情報及び車両情報を車載器から送信された場合に中央処理部（映像データ蓄積部）で行われる処理の流れの一例を示すフローチャートである。本実施形態に係る地図生成システムの地図生成サーバにおいて、画像情報及び車両情報を車載器から受信してＤＢに蓄積後に中央処理部（画像認識部）で行われる処理の流れの一例を示すフローチャートである。本実施形態に係る地図生成システムの地図生成サーバにおいて、対象物の検出及び分類が終了した後に中央処理部（提示情報生成部）で行われる処理の流れの一例を示すフローチャートである。検出対象物が地図上に追加された検出対象物地図の一例を示す図である。同一対象物集約部で行われる同一対象物集約処理の流れの第１例を示すフローチャートである。推定位置でクラスタリングを行って、画像の特徴量を導出して、特徴量距離で同一の対象物を判定して集約する例を説明するための図である。位置検出誤差が大きく、異なる位置に同一の対象物が検出され場合に、同一の対象物を判定して集約する例を説明するための図である。同一対象物集約部で行われる同一対象物集約処理の流れの第２例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る地図生成システムの概略構成を示す図である。

本実施形態に係る地図生成システム１０は、図１に示すように、車両１４に搭載された車載器１６と、地図生成サーバ１２とが通信ネットワーク１８を介して接続されている。本実施形態に係る地図生成システム１０では、複数の車両１４からの撮影によって得られる画像情報を地図生成サーバ１２に送信する。そして、地図生成サーバ１２が、車両１４から撮影された画像情報から道路周辺設置物等の任意の対象物を検出し、既存の地図に追加及び更新する処理を行う。例えば、図２に示すように、対象物として検出対象物を検出し、既存の地図に検出した検出対象物の情報を追加する処理を行う。なお、以下の説明では、具体例を挙げて説明する場合、対象物をスタンド看板として説明する場合があるが、対象物はスタンド看板に限るものではない。例えば、コンビニエンスストアののぼりや、道路上のゴミ箱、スクールゾーン、充電スタンドの場所、工事・道路障害場所等のスタンド看板以外の対象を検知して地図に位置や数を追加してもよい。

図３は、本実施形態に係る地図生成システム１０における車載器１６及び地図生成サーバ１２の構成を示すブロック図である。

車載器１６は、制御部２０、車両情報検出部２２、撮影部２４、通信部２６、及び表示部２８を備えている。

車両情報検出部２２は、車両１４の位置情報を少なくとも含む車両１４に関する車両情報を検出する。車両情報としては、位置情報の他に、例えば、車速、加速度、舵角、アクセル開度、経路等の車両情報を検出してもよい。車両情報検出部２２は、具体的には、車両１４の周辺環境がどのような状況かを表す情報を取得する複数種のセンサや装置を適用できる。センサや装置の一例としては、車速センサ、及び加速度センサなどの車両１４に搭載されるセンサや、ＧＮＳＳ（Global Navigation Satellite System）装置、車載通信機、ナビゲーションシステム、及びレーダ装置などが挙げられる。ＧＮＳＳ装置は、複数のＧＮＳＳ衛星からＧＮＳＳ信号を受信して自車両１４の位置を測位する。ＧＮＳＳ装置は受信可能なＧＮＳＳ信号の数が多くなるに従って測位の精度が向上する。車載通信機は、通信部２６を介して他の車両１４との間の車車間通信及び路側機との間の路車間通信の少なくとも一方を行う通信装置である。ナビゲーションシステムは、地図情報を記憶する地図情報記憶部を含み、ＧＮＳＳ装置から得られる位置情報と地図情報記憶部に記憶された地図情報とに基づいて、自車両１４の位置を地図上で表示したり、目的地迄の経路を案内する処理を行う。また、レーダ装置は、検出範囲が互いに異なる複数のレーダを含み、自車両１４の周辺に存在する歩行者や他車両１４等の物体を検出し、検出した物体と自車両１４の相対距離及び相対速度を取得する。また、レーダ装置は周辺の物体の探知結果を処理する処理装置を内蔵している。当該処理装置は、直近の複数回の探知結果に含まれる個々の物体との相対位置や相対速度の変化等に基づき、ノイズやガードレール等の路側物等を監視対象から除外し、歩行者や他車両１４等を監視対象物体として追従監視する。そしてレーダ装置は、個々の監視対象物体との相対位置や相対速度等の情報を出力する。

撮影部２４は、車室内に設けられ、車両１４の周辺を撮影し、撮影画像を表す画像情報を得る。例えば、撮影部２４は、車両１４に設けられて車両１４の前方、側方、及び後方の少なくとも１つの車両周辺を撮影する。また、撮影部２４は、車室内を更に撮影してもよい。

通信部２６は、通信ネットワーク１８を介して地図生成サーバ１２と通信を確立して、撮影部２４の撮影によって得られる画像情報や車両情報検出部２２によって検出された車両情報等の情報の送受信を行う。

表示部２８は、各種情報を表示することにより、乗員に各種情報を提供する。例えば、ナビゲーションシステムから提供される地図情報等を表示する。

制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を含む一般的なマイクロコンピュータで構成されている。また、制御部２０は、ＨＤＤ（Hard Disk Drive)等の記憶部を含み、撮影部２４によって撮影された撮影画像を表す画像情報、及び画像の撮影時に車両情報検出部２２によって検出された車両情報を保存し、地図生成サーバ１２にアップロードする処理等を行う。

一方、地図生成サーバ１２は、中央処理部３０、中央通信部３６、及びＤＢ（データベース）３８を備えている。

中央処理部３０は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を含む一般的なマイクロコンピュータで構成され、映像データ蓄積部４０、画像認識部５０、及び提示情報生成部６０の機能を備えている。中央処理部３０は、車載器１６から送信される画像情報及び車両情報をＤＢ３８に蓄積してデータベース化する処理を行うと共に、画像情報に基づいて、道路周辺設置物等の任意の対象物を検出し、既存の地図に対して対象物を追加及び更新する処理を行う。なお、中央処理部３０の各機能は、ＲＯＭ等に記憶されたプログラムを実行することにより実現される。

映像データ蓄積部４０は、車載器１６から送信される画像情報及び車両情報を集約してＤＢ３８に蓄積する処理を行う。

画像認識部５０は、ＤＢ３８に蓄積された画像情報及び車両情報に基づいて、道路周辺設置物等の任意の対象物を検出する処理を行う。

提示情報生成部６０は、画像認識部５０によって検出された対象物の位置を推定して、同一の対象物であるか等を判断しながら対象物の位置と数を検知して、既存の地図情報に対して対象物を追加または削除して更新する処理を行う。

中央通信部３６は、通信ネットワーク１８を介して車載器１６と通信を確立して、画像情報や車両情報等の各種情報の送受信を行う。

ＤＢ３８は、車載器１６から画像情報及び車両情報を受信し、受信した画像情報及び車両情報のそれぞれを蓄積する。

上述のように構成された地図生成システム１０では、車載器１６の撮影部２４によって撮影された画像情報が、位置情報を少なくとも含む車両情報と共に地図生成サーバ１２に送信されてＤＢ３８に蓄積される。

続いて、上述の中央処理部３０の映像データ蓄積部４０、画像認識部５０、及び提示情報生成部６０の機能の詳細について説明する。図４は、本実施形態に係る地図生成システム１０における地図生成サーバ１２の中央処理部３０の詳細な機能構成を示す機能ブロック図である。

映像データ蓄積部４０は、車両情報管理部４２、メタ情報付与部４４、及びプライバシー保護部４６の機能を有する。

車両情報管理部４２は、車載器１６から受信した画像情報及び車両情報を中央通信部３６から取得し、車載器１６から受信した画像情報と、位置情報やその他の情報を含む車両情報を紐付ける。

メタ情報付与部４４は、車両から得られる車両情報（例えば、車速や加速度等）もしくは画像そのものの鮮明度、照度などから撮影コンディションを判定し、画像情報と共に蓄積する。

プライバシー保護部４６は、プライバシーを侵害するような情報（例えば、顔や、個人を特定可能な情報等）を削除または視認不能な状態とする処理（例えば、モザイク処理等）を行う。

また、画像認識部５０は、キャリブレーション部５２、検出部としての対象物検出部５４、及び分類部としての対象物分類部５６の機能を有する。

キャリブレーション部５２は、撮影部２４のキャリブレーション情報（例えば、カメラの取り付け位置、角度、光学系のひずみ情報等の撮影部２４のパラメータ等）が得られない場合に、既知の対象物を使って、自動的にキャリブレーションを行う。既知の対象物の一例としては、横断歩道等の路上ペイントの他に、既知の道路幅、検知した白線等を用いてキャリブレーションを行う。なお、撮影部２４の設置時などに事前にキャリブレーションが行われ、その情報が得られる場合はキャリブレーション部５２によるキャリブレーションは省略され、車両情報管理部４２からキャリブレーション情報を取得する。

対象物検出部５４は、ＤＢ３８に蓄積された画像情報から予め定めた対象物（例えば、道路周辺設置物等の任意の対象物）を検出する。例えば、Ｙｏｌｏ（You only look once）やＳＳＤ（Single Shot MultiBox Detector）等の物体検出系のディープラーニング技術を利用して、画像情報から対象物を検出する。例えば、対象物としてスタンド看板を検出する場合には、作業者が撮影部２４によって撮影された動画からスタンド看板が写っているフレームを抜き出し、スタンド看板が写っている部分を枠で囲うことによりアノテーション情報を生成する。そして、生成したアノテーション情報を用いてスタンド看板を検出するモデルを構築して、モデルを用いて対象物を検出する。

対象物分類部５６は、対象物検出部５４によって検出された対象物の種別を分類する。本実施形態では、スタンド看板がどのようなメッセージのスタンド看板であるかを分類する。例えば、ＶＧＧ１９畳み込みニューラルネットワークやＩｎｃｅｐｔｉｏｎ等の画像認識系のディープラーニング技術を利用して対象物の種別を分類する。なお、対象物分類部５６は対象物検出部５４と一体としてもよい。例えば、作業者が動画からスタンド看板が写っているフレームを抜き出し、スタンド看板が写っている部分を枠で囲ってどのメッセージかを選択することによりアノテーション情報を生成する。そして、生成したアノテーション情報を用いてスタンド看板を検出するモデルを構築して、モデルを用いて対象物を検出し、メッセージの種別を分類する。

また、提示情報生成部６０は、推定部６２、特定部としての同一対象物集約部６４、及び地図更新部としての対象物地図更新部６６の機能を有する。

推定部６２は、撮影部２４のキャリブレーション情報、画像上での対象物の検出位置、及び車両情報に含まれる車両の位置情報から、対象物の位置情報を緯度経度として推定する。具体的には、図５に示すように、画像情報を鳥瞰図に変換して対象物のスタンド看板の位置情報を推定する。すなわち、変換した鳥瞰図から、横断歩道の四角の長さ等の既知の長さに基づいて、車両１４の位置から検出された対象物までの相対距離を推定し、車両情報に含まれる車両１４の位置情報を用いて、スタンド看板の位置を経度緯度として推定する。なお、車両のロール、ピッチ、及びヨーなどの姿勢情報を考慮することで、更に精度よく、相対位置を推定できる。

同一対象物集約部６４は、画像認識部５０による過去の対象物の認識結果を集約して地図上に提示するために、検出した対象物のどれとどれが同一の対象物であるかを認識して同一の対象物を集約することにより対象物の数と位置を特定する処理を行う。例えば、検出したスタンド看板の種類毎の分類結果と、推定位置の一例が図６の場合には、推定位置が同じ位置或いは予め定めた誤差範囲内のスタンド看板を同一のスタンド看板として一つの対象物として集約する。詳細には、画像の特徴量（例えば、局所特徴量等の特徴量）を導出して、クラスタリングを行い、特徴量距離で集約するスタンド看板を判断する。或いは、同一フレーム画像内に同一の種類のスタンド看板が存在する場合に、車両１４の位置から検出された対象物までの相対距離が予め定めた距離未満かつ検出された対象物の画像上の重複が予め定めた閾値以上の対象物、または上記相対距離が予め定めた距離以上かつ対象物同士の距離が予め定めた閾値未満の対象物を同一のスタンド看板として一つに集約する。

対象物地図更新部６６は、道路周辺設置物等の対象物が撤去されるなどして、対象物が予め定めた期間や回数検出されない場合に、ＤＢ３８から削除し、連続して検出が続けば新たに設置されたと判断して、地図の更新を行う。すなわち、対象物地図更新部６６は、周辺車両や歩行者等に隠れて対象物が検出されない可能性や、照明条件によって対象物が検出されない可能性があるため、１回の対象物の検出または１回の対象物の未検出では更新しない。

続いて、上述のように構成された本実施形態に係る地図生成システム１０で行われる具体的な処理について説明する。

まず、本実施形態に係る地図生成システム１０における車載器１６で行われる処理について説明する。図７は、本実施形態に係る地図生成システム１０における車載器１６の制御部２０で行われる処理の流れの一例を示すフローチャートである。なお、図７の処理は、例えば、図示しないイグニッションスイッチ等がオンされた場合に開始し、オフされた場合に終了する。

ステップ１００では、制御部２０が、撮影部２４を制御し、撮影部２４による車両１４の周辺の撮影を開始してステップ１０２へ移行する。

ステップ１０２では、制御部２０が、画像情報及び車両情報を取得してステップ１０４へ移行する。すなわち、制御部２０は、撮影部２４の撮影によって得られる画像情報を撮影部２４から取得すると共に、車両情報検出部２２によって検出された位置情報を含む車両情報を取得する。

ステップ１０４では、制御部２０が、取得した画像情報と車両情報とを対応付けて保存してステップ１０６へ移行する。

ステップ１０６では、制御部２０が、画像情報及び車両情報を地図生成サーバ１２に送信するか否かを判定する。該判定は、例えば、予め定めた時間になったか否かを判定する。或いは、画像情報及び車両情報の情報量が予め定めた閾値以上保存されたか否かを判定する。或いは、制御部２０の記憶容量の残量が予め定めた容量以下になったか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１０２に戻って上述の処理を繰り返す。

ステップ１０８では、制御部２０が、画像情報及び車両情報を地図生成サーバ１２に送信してステップ１０２に戻って上述の処理を繰り返す。

次に、本実施形態に係る地図生成システム１０における地図生成サーバ１２で行われる処理について説明する。

まず、車載器１６から画像情報及び車両情報が地図生成サーバ１２に送信された場合に行われる処理について説明する。図８は、本実施形態に係る地図生成システム１０の地図生成サーバ１２において、画像情報及び車両情報を車載器１６から送信された場合に中央処理部３０（映像データ蓄積部４０）で行われる処理の流れの一例を示すフローチャートである。なお、図８の処理は、複数の車両１４の車載器１６のうち何れかの車両１４から画像情報及び車両情報が地図生成サーバ１２に送信された場合に開始する。

ステップ２００では、車両情報管理部４２が、車載器１６から受信した画像情報及び車両情報を中央通信部３６から取得してステップ２０２へ移行する。

ステップ２０２では、車両情報管理部４２が、車載器１６から受信した画像情報及び車両情報を対応付けてステップ２０４へ移行する。すなわち、画像情報と、位置情報やその他の情報を含む車両情報とを紐付ける。

ステップ２０４では、メタ情報付与部４４が、画像情報及び車両情報をＤＢ３８に蓄積してステップ２０６へ移行する。詳細には、メタ情報付与部は、車両から得られる車両情報（例えば、車速や加速度等）もしくは画像そのものの鮮明度、照度などから撮影コンディションを判定し、画像情報と共に蓄積する。

ステップ２０６では、プライバシー保護部４６が、ＤＢ３８に蓄積した画像情報に対してプライバシー保護処理を行ってステップ２０８へ移行する。すなわち、プライバシー保護部４６が、プライバシーを侵害するような情報（例えば、顔や、個人を特定可能な情報等）を削除または視認不能な状態とする処理（例えば、モザイク処理等）を行う。

ステップ２０８では、映像データ蓄積部４０が、車載器１６から送信された車両情報及び車両情報を全て受信して上記処理を終了したか否かを判定する。該判定が、否定された場合にはステップ２００に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。

続いて、地図生成サーバ１２が、車載器１６から画像情報及び車両情報を受信してＤＢ３８に蓄積後に行われる処理について説明する。図９は、本実施形態に係る地図生成システム１０の地図生成サーバ１２において、画像情報及び車両情報を車載器１６から受信してＤＢ３８に蓄積後に中央処理部３０（画像認識部５０）で行われる処理の流れの一例を示すフローチャートである。なお、図９の処理は、例えば、図８の処理が終了後に開始する。

ステップ３００では、キャリブレーション部５２が、撮影部２４のキャリブレーション情報（例えば、撮影位置、角度、光学系のひずみ情報等の撮影部２４のパラメータ等）が得られない場合に、既知の対象物を使ってキャリブレーションを行ってステップ３０２へ移行する。例えば、横断歩道等の路上ペイントの他に、既知の道路幅、検知した白線等を用いてキャリブレーションを行う。なお、撮影部２４の設置時などに事前にキャリブレーションが行われ、その情報が得られる場合はキャリブレーション部５２によるキャリブレーションは省略され、車両情報管理部４２からキャリブレーション情報を取得する。

ステップ３０２では、対象物検出部５４が、ＤＢ３８に蓄積された画像情報から対象物を検出してステップ３０４へ移行する。すなわち、対象物検出部５４が、ＤＢ３８に蓄積された画像情報からスタンド看板を対象物として検出する。例えば、ＹｏｌｏやＳＳＤ等の物体検出系のディープラーニング技術を利用して、画像情報から対象物を検出する。

ステップ３０４では、対象物分類部５６が、対象物の種別を分類してステップ３０６へ移行する。すなわち、対象物分類部５６が、対象物検出部５４によって検出された対象物の種別を分類する。具体的には、スタンド看板がどのようなメッセージのスタンド看板であるかを分類する。例えば、ＶＧＧ１９畳み込みニューラルネットワークやＩｎｃｅｐｔｉｏｎ等の画像認識系のディープラーニング技術を利用してスタンド看板の種別を分類する。

ステップ３０６では、画像認識部５０が、ＤＢ３８に蓄積された全ての画像情報について上記処理が終了したか否かを判定する。該判定が否定された場合にはステップ３００に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。

続いて、地図生成サーバ１２において、対象物の検出及び分類が終了した後に行われる処理について説明する。図１０は、本実施形態に係る地図生成システム１０の地図生成サーバ１２において、対象物の検出及び分類が終了した後に中央処理部３０（提示情報生成部６０）で行われる処理の流れの一例を示すフローチャートである。なお、図１０の処理は、例えば、予め定めた期間毎（例えば、１ヶ月毎や１年毎等）に行われる。

ステップ４００では、推定部６２が、対象物の位置座標を推定してステップ４０２へ移行する。例えば、推定部６２が、図５に示すように、画像情報を鳥瞰図に変換して対象物のスタンド看板の位置を推定する。すなわち、変換した鳥瞰図から、横断歩道の四角の長さ等の既知の長さに基づいて、車両１４の位置から検出された対象物までの距離を推定し、車両情報に含まれる車両１４の位置情報を用いて、スタンド看板の位置を経度緯度として推定する。

ステップ４０２では、推定部６２が、全ての検出した対象物について位置座標の推定が終了したか否かを判定する。該判定が否定された場合にはステップ４００に戻って上述の処理を繰り返し、判定が肯定されたところでステップ４０４へ移行する。

ステップ４０４では、同一対象物集約部６４が、同一対象物集約処理を行ってステップ４０６へ移行する。すなわち、画像認識部５０による過去の対象物の認識結果を集約して地図上に提示するために、検出した対象物のどれとどれが同一の対象物であるかを認識して同一の対象物を集約する処理を行うことにより、スタンド看板等の対象物の数と位置を特定する。なお、同一対象物集約処理の詳細については後述する。

ステップ４０６では、対象物地図更新部６６が、検出回数が閾値以上の対象物について地図更新を行って一連の処理を終了する。すなわち、対象物地図更新部６６が、道路周辺設置物等の対象物が撤去される場合、対象物が予め定めた期間や回数検出されないので、ＤＢ３８から削除し、連続して検出が続けば新たに設置されたと判断して、地図の更新を行う。１回の対象物の検出で地図を更新した場合には、誤検出が含まれる場合があるため、複数回の検出で地図を更新することで、対象物の地図の精度を向上できる。これにより、アプリケーション等によって地図上にスタンド看板の位置を追加して表示することが可能となる。例えば、ユーザのコンピュータや携帯端末等にインストールされたアプリケーションによって地図を表示することで、図１１に示すように、スタンド看板が地図上に追加されたスタンド看板地図を表示することが可能となる。

次に、上述の同一対象物集約部６４で行われる同一対象物集約処理の詳細について説明する。図１２は、同一対象物集約部６４で行われる同一対象物集約処理の流れの第１例を示すフローチャートである。なお、第１例は、画像マッチング技術を適用して同一の対象物であるか否かを判定する例である。

ステップ５００では、同一対象物集約部６４が、推定部６２による推定位置を用いてクラスタリングを行ってステップ５０２へ移行する。例えば、図１３に示すように、推定位置で対象物をクラスタリングする。なお、クラスタリングの手法は、各種周知の手法を適用できる。

ステップ５０２では、同一対象物集約部６４が、最も大きいクラスタに注目してステップ５０４へ移行する。例えば、図１３では、最も多い、４つの対象物を含むクラスタに注目する。

ステップ５０４では、同一対象物集約部６４が、注目クラスタ内の対象物の特徴量を導出してステップ５０６へ移行する。例えば、図１３では、４つの対象物のそれぞれについて画像の局所特徴量を導出する。

ステップ５０６では、同一対象物集約部６４が、特徴量距離を導出してステップ５０８へ移行する。例えば、図１３に示すように、各対象物間の特徴量距離を導出する。

ステップ５０８では、同一対象物集約部６４が、特徴量距離が予め定めた閾値以下の対象物を同一と判定して集約してステップ５１０へ移行する。これにより、位置検出誤差が大きい場合、異なる位置に同一の対象物が検出されることがあるが、図１４に示すように丸で囲われた対象物は同一と判定して集約することができる。

ステップ５１０では、同一対象物集約部６４が、全てのクラスタについて処理が終了したか否かを判定する。該判定が否定された場合にはステップ５１２へ移行し、肯定された場合には一連の処理を終了する。

ステップ５１２では、同一対象物集約部６４が、注目するクラスタを次に大きいクラスタに注目してステップ５０４に戻って上述の処理を繰り返す。

すなわち、図１２の処理では、推定部６２によって推定された推定位置でクラスタリング（例えば、数１０ｍ程度）を行い、クラスタリングによって分割された各集合内の対象物に対して、画像の局所特徴量を導出する。そして、特徴量距離（類似度）を導出し、特徴量距離が近いものを同一の対象物と判定し、同一の対象物と判定されたものを、一つの対象物として集約する。これにより、対象物の数と位置を特定することが可能となる。

なお、図１２では、ステップ５００において推定位置でクラスタリングを行う形態を説明したが、これに限定されるものではない。例えば、ステップ５００は、地図の次元（２次元）と特徴量距離（例えば、２５６次元）をまとめてクラスタリングしてもよい。これにより、対象物の位置の推定が失敗しても同一の対象物を集約することが可能となる。この場合、地図の次元と特徴量距離の次元に対して重み付けを付与してクラスタリングしてもよい。また、対象物の推定位置としては、推定した対象物の緯度経度の２次元を適用してもよいし、自車位置の緯度経度と自車位置からの相対位置の４次元を適用してもよい。

次に、同一対象物集約処理の第２例について説明する。図１５は、同一対象物集約部６４で行われる同一対象物集約処理の流れの第２例を示すフローチャートである。なお、第２例は、第１例に比べてヒューリスティックな方法である。

ステップ６００では、同一対象物集約部６４が、同フレーム内に複数の対象物が存在するか否かを判定する。該判定が否定された場合にはステップ６０２へ移行し、肯定された場合にはステップ６０４へ移行する。

ステップ６０２では、同一対象物集約部６４が、同フレーム内の複数の対象物を異なる対象物と判定して一連の処理を終了する。

一方、ステップ６０４では、同一対象物集約部６４が、予測ラベルが同一であるか否かを判定する。該判定は、画像認識部５０の認識結果に基づいて、対象物の種別が同一であるか否かを判定する。例えば、同じメッセージのスタンド看板か否かを判定する。該判定が否定された場合にはステップ６０２へ移行し、肯定された場合にはステップ６０６へ移行する。

ステップ６０６では、同一対象物集約部６４が、車の距離が３ｍ未満か否かを判定する。該判定は、車両と検出された対象物との距離が３ｍ未満か否かを判定する。該判定が否定された場合にはステップ６０８へ移行し、肯定された場合にはステップ６１０へ移行する。なお、ステップ６０６では、一例として３ｍ未満か否かを判定するが、距離は３ｍに限るものではなく、予め定めた距離が適用される。

ステップ６０８では、同一対象物集約部６４が、推定位置の距離が２ｍ未満か否かを判定する。該判定は、検出された対象物と対象物の距離が２ｍ未満であるか否かを判定する。該判定が否定された場合にはステップ６０２へ移行し、肯定された場合はステップ６１２へ移行する。なお、ステップ６０８では、一例として２ｍ未満か否かを判定するが、距離は２ｍに限るものではなく、予め定めた距離が適用される。

ステップ６１０では、同一対象物集約部６４が、矩形の重複が６０％以上であるか否かを判定する。該判定が否定された場合にはステップ６０２へ移行し、肯定された場合にはステップ６１２へ移行する。

ステップ６１２では、同一対象物集約部６４が、同フレーム内の複数の対象物を同一対象物と判定して一連の処理を終了する。これにより、位置検出誤差が大きい場合、異なる位置に同一の対象物が検出されるが、図１４に示すように、丸で囲われた対象物は同一と判定して集約することができる。

なお、上記の実施形態では、同一対象物集約処理の第１例と第２例を別々の処理として説明したが、第１例と第２例の処理を共に行う形態としてもよい。例えば、第２例の処理を行って後に、第１例の処理を続けて行ってもよい。

また、上記の実施形態では、映像データ蓄積部４０、画像認識部５０、及び提示情報生成部６０の機能を単一の地図生成サーバ１２に備える例を説明したが、これに限るものではない。例えば、複数のサーバに各機能を分散してもよい。

また、上記の実施形態では、推定部６２が、対象物の位置を推定する際に、車両１４の位置から対象物までの相対距離を推定して、車両１４の位置情報を用いて、スタンド看板の位置を経度緯度として推定したが、相対距離の推定方法はこれに限るものではない。例えば、レーダ装置等の周辺監視装置の情報が車両情報に含まれる場合には、周辺監視装置によって検出された相対距離を用いてもよい。具体的には、車両の走行方向に対する対象物の方向を画像情報から導出し、導出した方向の物体までの相対距離を検出することにより車両と対象物の相対距離を推定する。

また、上記の各実施形態における車載器１６及び地図生成サーバ１２のそれぞれで行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０地図生成システム
１２地図生成サーバ
１４車両
１６車載器
２２車両情報検出部
２４撮影部
５４対象物検出部（検出部）
５６対象物分類部（分類部）
６２推定部
６４同一対象物集約部（特定部）
６６対象物地図更新部（地図更新部）

Claims

複数の車両の各々から撮影することによって得られる画像情報に基づいて、予め定めた対象物を検出する検出部と、
前記検出部によって検出された前記対象物と、当該対象物が検出された前記画像情報を撮影した車両との相対位置、及び当該対象物の撮影時の前記車両の絶対位置としての位置情報に基づいて、前記検出部によって検出された前記対象物の絶対位置としての位置情報を推定する推定部と、
前記推定部によって推定された複数の対象物について、当該各々の対象物の位置情報と、当該各々の対象物が含まれる画像の画像情報とに基づいて、前記複数の対象物に含まれている同一の対象物を集約することで、前記対象物の数と位置とを特定する特定部と、
を含む地図生成システム。
前記特定部は、前記推定部によって推定された前記対象物の推定位置でクラスタリングした各クラスタ内に存在する前記対象物の特徴量間の距離に基づいて、前記対象物の数と位置とを特定する請求項１に記載の地図生成システム。
前記特定部は、前記推定部によって推定された前記対象物の推定位置、及び前記対象物の画像の特徴量に基づきクラスタリングした各クラスタ内に存在する前記対象物の特徴量距離に基づいて、前記対象物の数と位置とを特定する請求項１に記載の地図生成システム。
前記特定部は、前記推定部によって推定された前記対象物の位置情報に基づいて、前記対象物の数と位置とを特定し、前記画像情報が表す画像内に複数の前記対象物が前記検出部によって検出された場合に、前記相対位置が予め定めた距離未満かつ前記検出部によって検出された前記対象物の画像上の重複が予め定めた閾値以上の前記対象物、または前記相対位置が予め定めた距離以上かつ前記対象物同士の距離が予め定めた閾値未満の前記対象物を同一の前記対象物として、前記対象物の数と位置とを特定する請求項１に記載の地図生成システム。
前記検出部によって検出された前記対象物の種類を分類する分類部を更に含み、前記特定部は、前記分類部によって分類された種類毎の前記対象物の数と位置とを特定する請求項１〜４の何れか１項に記載の地図生成システム。
予め定めた閾値以上の数の前記画像情報から前記対象物の数と位置が特定された場合に、既存の地図に対して前記対象物の情報を追加または削除して更新する地図更新部を更に含む請求項１〜５の何れか１項に記載の地図生成システム。
コンピュータを、請求項１〜６の何れか１項に記載の地図生成システムの各部として機能させるための地図生成プログラム。