JP2018169924A - 学習データ収集装置、学習データ収集システムおよび学習データ収集方法 - Google Patents

Abstract

【課題】駐車可能な駐車スペースの学習データを効率よく収集することができる学習データ収集装置、学習データ収集システムおよび学習データ収集方法を提供すること。【解決手段】実施形態に係る学習データ収集装置は、取得部と、特定部と、対応付け部とを備える。取得部は、自車両が駐車する前に自車両上で撮像された撮像画像を取得する。特定部は、自車両が実際に駐車した駐車位置を特定する。対応付け部は、取得部によって取得された撮像画像と特定部によって特定された駐車位置とを対応付ける。【選択図】図１Ｂ

Description

本発明は、学習データ収集装置、学習データ収集システムおよび学習データ収集方法に関する。

車両上で撮像された撮像画像から駐車可能な駐車スペースを検出し、検出した駐車スペースに車両を駐車する運転支援装置が提案されている。かかる運転支援装置は、多様な駐車スペースの学習データに基づく学習辞書を記憶し、かかる学習辞書に基づいて撮像画像から駐車スペースを検出する（例えば、特許文献１参照）。

特開２００９−２４１９２５号公報

しかしながら、運転支援装置に用いられる学習辞書には、膨大な量の学習データを必要とするが、学習データを如何に効率よく収集するかについては考慮されていなかった。

本発明は、上記に鑑みてなされたものであって、駐車可能な駐車スペースの学習データを効率よく収集することができる学習データ収集装置、学習データ収集システムおよび学習データ収集方法を提供することを目的とする。

実施形態に係る学習データ収集装置は、取得部と、特定部と、対応付け部とを備える。取得部は、自車両が駐車する前に前記自車両上で撮像された撮像画像を取得する。特定部は、前記自車両が実際に駐車した駐車位置を特定する。対応付け部は、前記取得部によって取得された前記撮像画像と前記特定部によって特定された前記駐車位置とを対応付ける。

本発明によれば、駐車可能な駐車スペースの学習データを効率よく収集することができる。

図１Ａは、学習データ収集装置の搭載例を示す図である。 図１Ｂは、学習データ収集方法の概要を示す図である。 図１Ｃは、学習データ収集システムの概要を示す図である。 図２は、学習データ収集システムのブロック図である。 図３Ａは、特定部による処理を説明する図（その１）である。 図３Ｂは、特定部による処理を説明する図（その２）である。 図４は、導出部および判定部による処理を説明する図である。 図５は、対応付け部による処理を説明する図である。 図６は、学習データ収集装置が実行する処理手順を示すフローチャートである。 図７は、学習データ収集システムの適用例を示す運転支援装置のブロック図である。 図８は、運転支援装置が実行する処理手順を示すフローチャートである。

以下に、添付図面を参照して、実施形態に係る学習データ収集装置、学習データ収集システムおよび学習データ収集方法を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る学習データ収集装置および学習データ収集方法の概要について説明する。図１Ａは、学習データ収集装置の搭載例を示す図である。図１Ｂは、学習データ収集方法の概要を示す図である。

なお、図１Ａでは、車両Ｃが駐車場の入口にいる場面を示している。図１Ａに示すように、実施形態に係る学習データ収集装置１は、車両Ｃに搭載される。また、車両Ｃは、例えば、車両Ｃの前方を撮像する撮像装置２を備える。

学習データ収集装置１は、撮像装置２によって撮像された撮像画像Ｆから車両Ｃが駐車可能な駐車スペースＳを検出するための学習データを収集する。ここで、従来技術において、かかる学習データを収集するために、技術者等が撮像画像Ｆから駐車スペースＳを確認し、撮像画像Ｆに対して駐車スペースＳを手動で入力する必要があった。つまり、従来技術においては、手動で学習データを作成する必要があった。

しかしながら、撮像画像Ｆから精度よく駐車スペースＳを検出するためには、大量の学習データを収集する必要がある。このため、従来技術のように、手動で学習データを作成するにはデータ数や時間に限界があり、効率的な学習データの収集が望まれる。

そこで、実施形態に係る学習データ収集方法では、車両Ｃが駐車前に撮像した撮像画像Ｆと、車両Ｃが実際に駐車した駐車位置Ｐとを対応付けることで駐車スペースＳの学習データを効率よく収集することとした。

具体的には、図１Ｂに示すように、実施形態に係る学習データ収集方法は、まず、車両Ｃが駐車する前に撮像装置２によって撮像された撮像画像Ｆを取得する（ステップＳ１）。

続いて、実施形態に係る学習データ収集方法では、車両Ｃが実際に駐車した駐車位置Ｐを特定する（ステップＳ２）。なお、ここでは、車両Ｃが図１Ａに示す２番の位置に駐車したものとする。

そして、実施形態に係る学習データ収集方法では、ステップＳ１で取得した撮像画像Ｆに駐車位置Ｐを対応付ける（ステップＳ３）。図１Ｂに示す例では、撮像画像Ｆにおいて特定した駐車位置Ｐにハッチングを施して示す。また、以下では、撮像画像Ｆに駐車位置Ｐを対応付けた結果を学習データと記載する場合がある。

ここで、車両Ｃの運転者（以下、単に運転者という）は、駐車時において、空いている駐車スペースＳに車両Ｃを駐車させる。換言すると、駐車位置Ｐは、撮像画像Ｆの撮像時において駐車可能な駐車スペースＳとなる。

つまり、実施形態に係る学習データ収集方法では、撮像画像Ｆに駐車位置Ｐを対応付けることで、駐車スペースＳの学習データを効率よく作成することができる。

このため、実施形態に係る学習データ収集方法では、学習データの作成に際して、従来技術のように、人の手を必要とせず、自動的に学習データを収集することが可能となる。

さらに、実施形態に係る学習データ収集方法では、ドライブレコーダ等の一般的に普及している撮像装置２を用いて学習データを収集することが可能である。このため、実施形態に係る学習データ収集方法では、膨大な学習データを収集することができる。

したがって、実施形態に係る学習データ収集方法によれば、駐車可能な駐車スペースＳの学習データを効率よく収集することができる。

次に、図１Ｃを用いて実施形態に係る学習データ収集システムの概要について説明する。図１Ｃは、学習データ収集システム１００の概要を示す図である。

図１Ｃに示すように、学習データ収集システム１００は、学習データ収集装置１と、通信装置３０と、学習サーバ５０とを備える。なお、ここでは、説明を簡略化するために、学習データ収集装置１および通信装置３０がそれぞれ１つである場合を示しているが、学習データ収集システム１００には、複数の学習データ収集装置１や通信装置３０が含まれる。

学習データ収集装置１は、既に説明したように、撮像装置２から入力される撮像画像Ｆと、車両Ｃが実際に駐車した駐車位置Ｐとを対応付けた学習データを通信装置３０を介して学習サーバ５０へ送信する。

通信装置３０は、例えば、学習データ収集装置１と、近距離無線通信により通信し、また、学習サーバ５０と、例えば、広域通信網を用いて通信することができる。

このように、学習データ収集システム１００では、学習データ収集装置１と、通信装置３０との通信に近距離無線通信を用いることで、学習データ収集装置１から学習サーバ５０へ学習データを直接送信する場合に比べて、通信料を抑えることができる。換言すると、学習データ収集システム１００のランニングコストを抑えることができる。

また、通信装置３０は、同図に示すように、例えば、駐車場の出入り口に設けられ、車両Ｃが入庫時に、駐車ゲートを通過した際に、学習データ収集装置１に対して撮像装置２から撮像画像Ｆの取得指示を送信する。

換言すると、通信装置３０は、学習データ収集装置１に対して撮像装置２から撮像画像Ｆの取得させるトリガを与える。これにより、学習データ収集装置１は、車両Ｃが実際に駐車する前の撮像画像Ｆを取得することができる。

ここで、撮像装置２が車両Ｃの前方を撮像するドライブレコーダであると仮定する。かかる場合に、通信装置３０は、車両Ｃの前方が駐車スペースＳとなる位置を車両Ｃが通過した際に、上記した取得指示を学習データ収集装置１へ送信する。換言すると、通信装置３０は、車両Ｃの前方が壁などの遮蔽物である場合、上記の取得指示を送信しない。

これにより、かかる取得指示を受けて学習データ収集装置１によって取得された撮像画像Ｆには、駐車場が広範囲にわたって写ることになる。したがって、学習データ収集装置１は、駐車スペースＳが撮像された撮像画像Ｆを取得することができる。

また、通信装置３０を駐車場の出入り口に設けることで、学習データ収集装置１は、同じ駐車スペースＳの学習データを収集することができる。これにより、学習サーバ５０は、同じ場所で作成された学習データを蓄積することができるため、機械学習を容易にすることができる。

そして、通信装置３０は、車両Ｃが出庫する際に、学習データ収集装置１から学習データを受信し、受信した学習データを学習サーバ５０へ送信する。

なお、学習データ収集装置１は、撮像画像Ｆと、駐車位置Ｐに関する情報（以下、駐車位置情報という場合がある）とを別々に通信装置３０へ送信することもできる。

具体的には、例えば、学習データ収集装置１は、車両Ｃが入庫する際に、上記の取得指示を受けて取得した撮像画像Ｆを通信装置３０へ送信しておき、その後、出庫する際に、駐車位置情報を通信装置３０へ送信することもできる。

学習サーバ５０は、通信装置３０から送信される学習データをビッグデータとして記憶し、かかるビッグデータに基づいて駐車可能な駐車スペースＳを学習する。

なお、ここでは、通信装置３０が駐車場の出入り口に配置される場合について示したが、これに限定されるものではない。すなわち、撮像装置２の撮像画像Ｆに少なくとも１つ以上の駐車スペースＳが写るように学習データ収集装置１に上記の取得指示を送信することができれば、通信装置３０を設置する位置は問わない。

また、例えば、ショッピングモール等の大きい駐車場である場合、通信装置３０を複数設けるようにしてもよい。かかる場合に、複数の出入り口の全てに通信装置３０を設けるようにしてもよいし、あるいは、駐車場の区画ごとに通信装置３０を設けることもできる。

次に、図２を用いて実施形態に係る学習データ収集システム１００の構成について説明する。図２は、学習データ収集システム１００のブロック図である。なお、図２には、撮像装置２、車速センサ３、舵角センサ４およびシフトセンサ５を併せて示す。また、学習データ収集装置１に撮像装置２を含める構成とすることにしてもよい。また、通信装置３０については、既に説明したため、ここでの説明は省略する。

図２に示すように、学習データ収集装置１は、撮像装置２と、車速センサ３と、舵角センサ４と、シフトセンサ５に接続される。撮像装置２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、例えば、車両Ｃの前方を撮像する。撮像装置２によって撮像された撮像画像Ｆは、学習データ収集装置１へ出力される。なお、撮像装置２は、車両Ｃの後方を撮像するバックカメラや、サイドカメラであってもよい。また、撮像装置２は、学習データ収集装置１の指示に基づいて撮像画像Ｆを撮像することもできる。

車速センサ３は、車両Ｃの車速パルス信号を計測することで車両Ｃの走行速度を検出し、かかる走行速度を示す車速信号を学習データ収集装置１へ出力する。舵角センサ４は、車両Ｃの舵角を計測し、かかる舵角を示す舵角信号を学習データ収集装置１へ出力する。

シフトセンサ５は、車両Ｃの現在のシフト位置に応じたシフト信号を学習データ収集装置１へ出力する。なお、以下では、車速センサ３、舵角センサ４およびシフトセンサ５から学習データ収集装置１へ出力される信号を総称して「走行信号」と記載する場合がある。

学習データ収集装置１は、制御部１０と、記憶部２０と、通信部３１とを備える。制御部１０は、取得部１１と、特定部１２と、導出部１３と、判定部１４とを備える。また、記憶部２０は、画像情報２１を記憶する。

制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Desk Drive）、入出力ポートなどを有するコンピュータや各種回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶された各種プログラムを読み出して実行することによって、制御部１０の取得部１１、特定部１２、導出部１３、判定部１４および対応付け部１５として機能する。

また、制御部１０の取得部１１、特定部１２、導出部１３、判定部１４および対応付け部１５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部２０は、たとえば、ＲＯＭ、ＲＡＭおよびＨＤＤに対応する。ＲＯＭ、ＲＡＭおよびＨＤＤは、画像情報２１や各種プログラムの情報等を記憶することができる。なお、制御部１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記憶媒体を介して画像情報２１や各種情報を取得することとしてもよい。

制御部１０の取得部１１は、撮像装置２から撮像画像Ｆを取得する。取得部１１は、取得した撮像画像Ｆを画像情報２１として記憶部２０に記憶させるとともに、特定部１２へ出力する。

記憶部２０の画像情報２１は、撮像画像Ｆが時系列に並べて記憶された情報である。画像情報２１は、取得部１１によって最新の撮像画像Ｆが記憶されると、時間的に最も古い撮像画像Ｆから順次削除して更新される。

特定部１２は、車速センサ３、舵角センサ４およびシフトセンサ５から入力される上記した走行信号に基づいて車両Ｃが実際に駐車した駐車位置Ｐを特定する。そして、特定部１２は、特定した駐車位置Ｐを対応付け部１５へ出力する。

ここで、図３Ａおよび図３Ｂを用いて特定部１２による処理の具体例について説明する。図３Ａおよび図３Ｂは、特定部１２による処理を説明する図である。

特定部１２は、例えば、車両Ｃが駐車する前に撮像装置２によって撮像画像Ｆが撮像された撮像位置から車両Ｃが実際に駐車するまでの車両Ｃの走行軌跡Ｖｐに基づいて駐車位置Ｐを特定することができる。

なお、ここでは、図３Ａに示すように、車両Ｃが地点Ｐ０において、撮像装置２が駐車する前の撮像画像Ｆを撮像し、その後、地点Ｐ１を経由して地点Ｐ１からバック走行により地点Ｐ２に駐車したものとする。

かかる場合に、特定部１２は、上記した走行信号に基づいて走行軌跡Ｖｐを算出する。そして、特定部１２は、図３Ｂに示すように撮像画像Ｆが撮像された地点Ｐ０を始点として平面座標に走行軌跡Ｖｐを投映することで、車両Ｃが実際に駐車した駐車位置である走行軌跡Ｖｐの終点である地点Ｐ２の座標を算出する。

このように、特定部１２は、走行軌跡Ｖｐに基づいて駐車位置Ｐを特定することで、駐車位置Ｐを正確に特定することができる。なお、特定部１２は、走行軌跡Ｖｐを算出する代わりに、ＧＰＳ（Global Positioning System）を用いて地点Ｐ０および地点Ｐ１の位置情報を取得し、かかる位置情報に基づいて車両Ｃの駐車位置Ｐの座標を算出することにしてもよい。

ここで、特定部１２は、車両Ｃの駆動源が停止した地点を走行軌跡Ｖｐの終点として駐車位置Ｐとして特定する。なお、「駆動源」とは、車両Ｃがガソリン車であれば、エンジンを指し、車両Ｃが電気自動車であれば、モータを指す。また、車両Ｃがハイブリッド車であれば、エンジンおよびモータの双方を指す。

また、「駆動源が停止した」とは、運転者が車両Ｃの駆動源を意図して停止させたことを意味する。これは、運転者による駐車後の挙動として、駆動源を停止させることが多いためである。

つまり、特定部１２は、車両Ｃの駆動源が停止した位置を駐車位置Ｐとして特定することで、車両Ｃが駐車したことを精度よく認識することができる。

なお、特定部１２は、駆動源の停止に限らず、車両Ｃが所定時間（例えば、１０分間）以上停車したことを条件として駐車したことを認識することにしてもよい。また、特定部１２は、車両Ｃのシフトレバがリバースからパーキングへ切り替わったことを条件として駐車したことを認識するようにしてもよい。

図２の説明に戻り、制御部１０の導出部１３について説明する。導出部１３は、時系列の撮像画像ＦからオプティカルフローＶを導出する。導出部１３によって導出されたオプティカルフローＶは、判定部１４へ出力される。

判定部１４は、導出部１３によって生成されたオプティカルフローＶに基づいて撮像画像Ｆの被写体が移動物か否かを判定し、判定結果を対応付け部１５へ出力する。

ここで、図４を用いて導出部１３および判定部１４による処理の具体例について説明する。図４は、導出部１３および判定部１４による処理の具体例について説明する図である。図４の上図には、時系列的に連続する撮像画像Ｆ１および撮像画像Ｆ２を示し、時刻ｔ０の撮像画像Ｆ１を図３Ａに示した地点Ｐ０で撮像された撮像画像Ｆであるものとする。

図４に示すように、導出部１３は、撮像画像Ｆ１と、時刻ｔ０以降の時刻ｔ１に撮像された撮像画像Ｆ２とに基づいてオプティカルフローＶを導出する。具体的には、まず、導出部１３は、例えばソベルフィルタ等の既知の手法を用いることで、撮像画像Ｆ１および撮像画像Ｆ２から特徴点の抽出処理を行う。

続いて、導出部１３は、勾配法であるLucas-Kaneda法やHorn-Schunk法といった既知の手法によって抽出した特徴点に基づいてオプティカルフローＶを生成することができる。

なお、図４の中図では、導出部１３によって導出されたオプティカルフローＶを矢印で示している。また、導出部１３は、勾配法に限らず、ブロックマッチング法によってオプティカルフローＶを生成してもよい。

ここで、例えば、路面や、静止している車両などの静止物に対応するオプティカルフローＶは、車両Ｃの移動距離および移動方向に比例して変化する。一方、移動している他車両や歩行者などの移動物に対応するオプティカルフローＶは、静止物に対応するオプティカルフローＶとは異なり、車両Ｃの移動距離および移動方向に加えて、移動物の移動距離および移動方向に応じて変化する。

このため、判定部１４は、静止物と異なるオプティカルフローＶを、移動物に対応するオプティカルフローＶとして判定することができる。そして、判定部１４は、撮像画像Ｆ１において上記した移動物に対応するオプティカルフローＶの始点に写る被写体を移動物であると判定することができる。

図４の下図に示す例では、撮像画像Ｆ１において移動物が存在する領域に移動物が存在することを示すマークＭを重畳して示す。そして、判定部１４は、撮像画像Ｆ１におけるマークＭの座標情報を対応付け部１５へ出力する。

なお、ここでは、導出部１３が、撮像画像Ｆ１と、撮像画像Ｆ１の後に撮像された撮像画像Ｆ２とに基づいてオプティカルフローＶを生成する場合について説明したが、これに限定されるものではない。

すなわち、導出部１３は、撮像画像Ｆ１と、撮像画像Ｆ１よりも前に撮像された撮像画像Ｆとに基づいてオプティカルフローＶを生成することにしてもよい。また、導出部１３は、撮像画像Ｆ１を含む３フレーム以上の撮像画像ＦからオプティカルフローＶを生成することにしてもよい。

また、ここでは、判定部１４がオプティカルフローＶに基づいて移動物および静止物を判定する場合について説明したが、これに限定されるものではない。判定部１４は、撮像画像Ｆから既存の画像認識処理によって歩行者等の移動物を認識することで、被写体が移動物であるか静止物であるかを判定することにしてもよい。

図２の説明に戻り、制御部１０の対応付け部１５について説明する。対応付け部１５は、撮像画像Ｆと、特定部１２によって特定された駐車位置Ｐとを対応付けて、対応付け後の学習データを通信部３１および通信装置３０を介して学習サーバ５０へ送信する。

ここで、図５を用いて対応付け部１５による処理の詳細について説明する。図５は、対応付け部１５による処理を説明する図である。同図に示すように、まず、対応付け部１５は、特定部１２によって特定された駐車位置Ｐを、撮像装置２の視点位置２ａに基づいて撮像画像Ｆ１上の座標へ変換する。

そして、対応付け部１５は、撮像画像Ｆ１における駐車位置Ｐの画素に「１」を対応付けて、駐車位置Ｐ以外の撮像画像Ｆの画素に「０」を対応付ける。なお、同図に示す例では、撮像画像Ｆにおける駐車位置Ｐの画素にハッチングを施して示している。

このように、対応付け部１５は、車両Ｃが実際に駐車した駐車位置Ｐを撮像画像Ｆに対応付けることで、駐車可能な駐車スペースＳの学習データを効率よく作成することができる。

また、対応付け部１５は、判定部１４による判定結果を撮像画像Ｆに対応付けることもできる。具体的には、判定部１４によって移動物が存在すると判定された撮像画像Ｆの各画素に例えば、図４に示したようにマークＭを重畳させる。

つまり、対応付け部１５は、撮像画像Ｆに移動物の有無を対応付けた学習データを作成することができる。これにより、後述する学習サーバ５０は、かかる学習データからより細かなパターン解析を行うことが可能となる。

なお、ここでは、対応付け部１５が、学習データを通信装置３０を介して学習サーバ５０へ送信する場合について説明したが、これに限定されるものではない。すなわち、学習データ収集システム１００に、通信装置３０を含めない構成とすることにしてもよい。かかる場合に、学習データ収集装置１の通信部３１は、学習サーバ５０へ学習データを直接送信することができる。

また、かかる場合に、対応付け部１５は、記憶部２０に学習データを記憶させておき、例えば、車両Ｃの点検時などにおいて、ディーラーで記憶部２０に記憶された学習データを回収するようにしてもよい。かかる場合に、通信部３１を省略することができるため、学習データ収集装置１の製造コストや、ランニングコストを抑制することができる。

なお、学習データ収集装置１は、通信部３１の代わりに、例えば、ナビゲーション装置（図示略）や、運転者が所有する通信端末などの車両Ｃに搭載された他の通信機器を共有して用いることもできる。これにより、学習データ収集装置１の製造コストや、ランニングコストを削減することができる。

次に、学習サーバ５０について説明する。学習サーバ５０は、制御部５１と、記憶部５３と、通信部５５とを備える。通信部５５は、通信装置３０を介して学習データ収集装置１から送信される学習データを受信する。学習サーバ５０の制御部５１は、学習部５２を備え、学習データ収集装置１によって収集された学習データに基づいて駐車スペースＳを学習する。

具体的には、学習部５２は、機械学習のアルゴリズムとして例えば、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Networks）等のディープラーニングを用いることができる。そして、学習部５２は、学習結果を記憶部５３の学習辞書データベース５４に記憶させる。

このとき、学習部５２は、撮像画像Ｆの被写体に移動物を含む場合、かかる撮像画像Ｆに基づく学習データを排除して駐車可能な駐車スペースＳを学習することができる。これにより、移動物の影響による学習エラーを排除することができる。

なお、学習部５２は、かかる移動物が含まれる学習データを移動物が含まれる学習データのみを用いて移動物が含まれる場合の駐車スペースＳを学習するようにしてもよい。換言すると、学習部５２は、移動物が含まれる学習データと、移動物が含まれない学習データとを別々に学習するようにしてもよい。

また、学習部５２は、例えば、車両Ｃの車種や、撮像画像Ｆが撮像された位置を学習結果に反映することができる。学習部５２は、車両Ｃの車種を考慮して学習することで、車種に応じて駐車可能な駐車スペースＳを学習することが可能である。つまり、軽自動車専用の駐車スペースＳや、大型車専用の駐車スペースＳ等を学習することもできる。

また、学習部５２は、撮像画像Ｆが撮像された位置を考慮することで、例えば、トラックが多い駐車場等を学習することができる。かかる場合に、学習部５２は、駐車場ごとに、撮像画像Ｆからトラックの裏の駐車スペースＳに他車両が隠れている可能性を算出することもできる。

なお、学習部５２は、ディープラーニングに限られず、ＳＶＭ（Support Vector Machine）や、アダブースト（AdaBoost）等の識別器を用いることにしてもよい。

次に、図６を用いて実施形態に係る学習データ収集装置１が実行する処理手順について説明する。図６は、学習データ収集装置１が実行する処理手順を示すフローチャートである。

図６に示すように、まず、取得部１１は、撮像画像Ｆを取得する（ステップＳ１０１）。続いて、特定部１２は、駐車位置Ｐを特定する（ステップＳ１０２）。

次に、導出部１３は、撮像画像Ｆに基づいてオプティカルフローＶを導出し（ステップＳ１０３）、判定部１４は、被写体が移動物か静止物かを判定する（ステップＳ１０４）。

そして、対応付け部１５は、撮像画像Ｆに駐車位置および移動物を対応付けて（ステップＳ１０５）、学習データを通信装置３０へ送信し（ステップＳ１０６）、処理を終了する。

上述したように、実施形態に係る学習データ収集装置１は、取得部１１と、特定部１２と、対応付け部１５とを備える。取得部１１は、車両Ｃが駐車する前に車両Ｃ上で撮像された撮像画像Ｆを取得する。特定部１２は、車両Ｃが実際に駐車した駐車位置Ｐを特定する。対応付け部１５は、取得部１１によって取得された撮像画像Ｆと、特定部１２によって特定された駐車位置Ｐとを対応付ける。したがって、実施形態に係る学習データ収集装置１によれば、駐車可能な駐車スペースＳの学習データを効率よく収集することができる。

次に、図７および図８を用いて学習データ収集システム１００によって作成された学習辞書の活用方法について説明する。図７は、学習データ収集システム１００の適用例を示す運転支援装置４０のブロック図である。

なお、同図には、撮像装置２および車両制御装置４６を併せて示す。なお、撮像装置２については、既に説明をしたため、ここでの説明は省略する。同図に示すように、運転支援装置４０は、制御部４１と、記憶部４４とを備える。制御部４１は、検出部４２と、軌跡算出部４３とを備える。また、記憶部４４は、学習辞書４５を記憶する。なお、かかる学習辞書４５は、学習データ収集システム１００によって作成され、車両Ｃの車種等にあわせて最適化された情報である。

検出部４２は、撮像装置２から入力される撮像画像Ｆと、記憶部４４の学習辞書４５とに基づいて車両Ｃが駐車可能な駐車スペースＳを検出する。例えば、検出部４２は、撮像画像Ｆと、学習辞書４５とのマッチング処理によって駐車スペースＳを検出することができる。

そして、検出部４２は、検出した駐車スペースＳの位置を軌跡算出部４３へ出力する。軌跡算出部４３は、車両Ｃの現在地から検出部４２から入力される駐車スペースＳまでの車両Ｃの走行軌跡を算出する。

例えば、軌跡算出部４３は、車両Ｃが他車両等の障害物と接触しないよう走行軌跡を算出することができる。そして、軌跡算出部４３は、算出した走行軌跡を車両制御装置４６へ出力する。

車両制御装置４６は、軌跡算出部４３から入力される走行軌跡に基づいて車両Ｃのハンドルやアクセル、ブレーキ、シフトレバ等を制御することで、車両Ｃを駐車スペースＳに駐車させる。

なお、検出部４２は、検出した駐車スペースＳを図示しない表示装置等を用いて運転者に報知するようにしてもよい。これにより、車両制御装置４６を備えない車両Ｃであっても運転者は、駐車可能な駐車スペースＳを認識することができる。

なお、ここでは、撮像装置２が１つである場合について示したが、撮像装置２は、複数であってもよい。かかる場合に、複数の撮像装置２は、車両Ｃの全方位を撮像することができる。

また、ここでは、図２に示した学習データ収集装置１と、運転支援装置４０とが、別体である場合について説明したが、学習データ収集装置１に運転支援装置４０を含める構成としてもよい。かかる場合に、学習辞書４５は、図２に示した通信部３１を介して取得するようにしてもよい。

次に、図８を用いて運転支援装置４０によって実行される処理手順について説明する。図８は、運転支援装置４０が実行する処理手順を示すフローチャートである。

同図に示すように、まず、検出部４２は、撮像装置２から撮像画像Ｆを取得し（ステップＳ２０１）、かかる撮像画像Ｆから駐車スペースＳを検出する（ステップＳ２０２）。

続いて、軌跡算出部４３は、駐車スペースＳまでの走行軌跡を算出し（ステップＳ２０３）、走行軌跡を車両制御装置４６へ出力して（ステップＳ２０４）、処理を終了する。

ところで、上述した実施形態では、学習データ収集装置１が撮像画像Ｆに対して駐車位置Ｐを後から対応付ける場合について説明したが、学習データ収集装置１は、特定した駐車位置Ｐに対して撮像画像Ｆを対応付けることもできる。

具体的には、学習データ収集装置１は、撮像画像Ｆに撮像画像Ｆが撮像された撮像位置を対応付けて記憶部２０へ記憶しておく。そして、学習データ収集装置１は、駐車位置Ｐを特定した場合に、駐車前の撮像画像Ｆの撮像位置と駐車位置Ｐとの位置関係に基づいてかかる撮像画像Ｆに駐車位置Ｐを対応付けることもできる。

すなわち、学習データ収集装置１は、車両Ｃが駐車したことを認識したのちに、過去の撮像画像Ｆに対して実際に駐車した駐車位置Ｐを対応付けることができる。

これにより、学習データ収集装置１は、多くのシチュエーションにおける学習データを収集することが可能となる。なお、かかるシチュエーションとして、縦列駐車なとのシーンなどが挙げられる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 学習データ収集装置
２ 撮像装置
１１ 取得部
１２ 特定部
１３ 導出部
１４ 判定部
１５ 対応付け部
３０ 通信装置
５０ 学習サーバ
５２ 学習部
５４ 学習辞書データベース
１００ 学習データ収集システム

Claims (6)

1. 自車両が駐車する前に前記自車両上で撮像された撮像画像を取得する取得部と、
   前記自車両が実際に駐車した駐車位置を特定する特定部と、
   前記取得部によって取得された前記撮像画像と前記特定部によって特定された前記駐車位置とを対応付ける対応付け部と
   を備えることを特徴とする学習データ収集装置。
2. 前記特定部は、
   前記自車両の駆動源が停止した位置を前記駐車位置として特定すること
   を特徴とする請求項１に記載の学習データ収集装置。
3. 前記特定部は、
   前記取得部によって前記撮像画像が取得された位置から前記自車両が駐車するまでの走行軌跡に基づいて前記駐車位置を特定すること
   を特徴とする請求項１または２に記載の学習データ収集装置。
4. 時系列の複数の前記撮像画像からオプティカルフローを導出する導出部と、
   前記導出部によって導出された前記オプティカルフローに基づいて前記撮像画像の被写体が移動物か静止物かを判定する判定部と
   をさらに備え、
   前記対応付け部は、
   前記判定部による判定結果を前記撮像画像の被写体に対応付けること
   を特徴とする請求項１、２または３に記載の学習データ収集装置。
5. 請求項１〜４のいずれか一つに記載の学習データ収集装置と、
   前記学習データ収集装置によって収集された情報に基づいて撮像画像から駐車可能な駐車スペースを検出するための指標となる学習辞書を作成する学習サーバと、
   前記学習データ収集装置と通信し、前記学習データ収集装置と前記学習サーバとの情報の送受信を仲介する通信装置と
   を備えることを特徴とする学習データ収集システム。
6. 自車両が駐車する前に前記自車両上で撮像された撮像画像を取得する取得工程と、
   前記自車両が実際に駐車した駐車位置を特定する特定工程と、
   前記取得工程によって取得された前記撮像画像と、前記特定工程によって特定された前記駐車位置とを対応付ける対応付け工程と
   を含むことを特徴とする学習データ収集方法。

Images