JP2021140699A - 特定領域検知装置 - Google Patents

Abstract

【課題】撮影画像から駐車区画などの特定領域を高精度で検知する。【解決手段】特定領域検知装置は、学習モデルを用いて、推定用撮影画像から、複数の第１の点と、複数の第２の点と、を推定する点推定部と、前記点に関する第１のベクトルと第２のベクトルの双方向ベクトルを推定するベクトル推定部と、第１のベクトルの終点から第２の点までの距離である第１の距離と、第２のベクトルの終点から第１の点までの距離である第２の距離と、を比較し、第１の距離のほうが小さければ第１のベクトルを選択し、第２の距離のほうが小さければ第２のベクトルを選択する選択部と、選択部によって選択されたベクトルに基づいて、推定用撮影画像における特定領域ごとの第１の点と第２の点の組み合わせを決定する決定部と、決定部による点の組み合わせの決定結果に基づいて、前記特定領域を検知する検知部と、を備える。【選択図】図３

Description

本発明の実施形態は、特定領域検知装置に関する。

従来、例えば、車両において、駐車場を撮影し、その撮影画像から個別の駐車区画を検知する技術がある。その場合、例えば、深層学習を用いた手法の一例では、まず、撮影画像から四角形状の駐車区画の角の点を複数検出したのち、点に関するベクトルの情報を利用して同じ駐車区画を構成する点同士を結合させてグループ化することで駐車区画を検知する。

特開２０１８−４１１７６号公報

Zhe Cao et al.、" OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"、[online]、２０１９年５月３０日、ＩＥＥＥ、[令和２年２月２３日検索]、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1812.08008.pdf＞

しかしながら、上述の従来技術では、ベクトルの誤差が大きいために駐車区画を正しく検知できない場合があるという問題があった。

そこで、実施形態の課題の一つは、撮影画像から駐車区画などの特定領域を高精度で検知することができる特定領域検知装置を提供することである。

本発明の実施形態にかかる特定領域検知装置は、例えば、学習用撮影画像を用いて撮影領域に存在する特定領域における所定の相対位置を示す第１の点、第２の点を含む所定数の点で定義される前記特定領域について学習することで作成された学習モデルを用いて、推定用撮影画像から、複数の前記第１の点と、複数の前記第２の点と、を推定する点推定部と、１つの前記第１の点と１つの前記第２の点の組み合わせについて、前記第１の点を始点とし、当該第１の点が属する特定領域における前記第２の点の位置として推定される位置を終点とする第１のベクトルを推定するとともに、前記第２の点を始点とし、当該第２の点が属する特定領域における前記第１の点の位置として推定される位置を終点とする第２のベクトルを推定するベクトル推定部と、前記第１のベクトルの終点から前記第２の点までの距離である第１の距離と、前記第２のベクトルの終点から前記第１の点までの距離である第２の距離と、を比較し、前記第１の距離のほうが小さければ前記第１のベクトルを選択し、前記第２の距離のほうが小さければ前記第２のベクトルを選択する選択部と、前記選択部によって選択されたベクトルに基づいて、前記推定用撮影画像における前記特定領域ごとの前記第１の点と前記第２の点の組み合わせを決定する決定部と、前記決定部による点の組み合わせの決定結果に基づいて、前記特定領域を検知する検知部と、を備える。

この構成によれば、特定領域を検知する際に、前記第１の点と前記第２の点の組み合わせについて前記第１のベクトルと前記第２のベクトルの双方向ベクトルを推定し、前記第１の距離と前記第２の距離の小さいほうのベクトルを選択して用いることで、特定領域を高精度で検知することができる。

また、前記特定領域検知装置において、例えば、前記特定領域は、前記第１の点、前記第２の点を含む４つの点で定義される駐車区画である。

この構成によれば、特定領域として第１の点、第２の点を含む４つの点で定義される四角形状の駐車区画を高精度で推定することができる。

また、前記特定領域検知装置において、例えば、前記決定部は、前記選択部によって選択されたベクトルに基づいて、前記推定用撮影画像における前記駐車区画ごとの前記第１の点と前記第２の点の組み合わせを決定する際に、複数の前記第１の点と複数の前記第２の点の２部グラフに対応するコスト行列を用いてコスト最小となる前記第１の点と前記第２の点の組み合わせを探索することで、前記第１の点と前記第２の点の組み合わせを決定し、その場合、前記第１の距離と前記第２の距離の小さいほうを前記コストとする。

この構成によれば、駐車区画を検知する場合に、上述の２部グラフとコスト行列を用いることで、容易かつ高精度に駐車区画を推定することができる。

また、前記特定領域検知装置において、例えば、前記決定部は、前記コスト行列に対してハンガリアン法を適用してコスト最小となる前記第１の点と前記第２の点の組み合わせを探索する。

この構成によれば、コスト行列に対してハンガリアン法を適用することで、簡潔なアルゴリズムで高精度に駐車区画を推定することができる。

また、前記特定領域検知装置は、例えば、前記検知部によって検知された前記駐車区画を表示部に表示させる表示制御部を、さらに備える。

この構成によれば、検知された駐車区画を表示させることで、運転者に対する駐車支援等を行うことができる。

図１は、実施形態の特定領域検知装置を搭載可能な車両の例を示す模式的な平面図である。 図２は、実施形態の特定領域検知装置を含む駐車支援システムの構成の例示的なブロック図である。 図３は、実施形態のＣＰＵの構成の例示的なブロック図である。 図４は、実施形態において、駐車区画を定義する４つの角の点の説明図である。 図５は、実施形態における撮影画像の例を示す模式図である。 図６は、実施形態におけるベクトルに関する説明図である。 図７は、実施形態における２部グラフとコスト行列の例を示す模式図である。 図８は、実施形態における推奨駐車区画の表示例を示す模式図である。 図９は、実施形態の特定領域検知装置による学習時の処理を示すフローチャートである。 図１０は、実施形態の特定領域検知装置による駐車支援時の全体処理を示すフローチャートである。 図１１は、図１０のステップＳ２の処理の詳細を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、実施形態の特定領域検知装置を搭載可能な車両１０の例を示す模式的な平面図である。車両１０は、例えば、内燃機関（不図示のエンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（不図示のモータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ〜１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４は、車両１０が移動可能な路面や路面に付された指標（駐車区画を示す区画線、車線分離線や矢印等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ａの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ａ）を含む後方領域を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ｂやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ｂ）を含む前方画像を撮像可能である。

また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。

本実施形態の特定領域検知装置は、撮像部１４で得られた撮像画像（以下、撮影画像ともいう。）に基づいて、演算処理を実行することで、特定領域の一例である駐車区画を検知することができる。

図２は、実施形態の特定領域検知装置を含む駐車支援システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electro-Luminescent Display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図２に例示されるように、駐車支援システム１００は、撮像部１４（１４ａ〜１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（Electronic Control Unit）を備える。駐車支援システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御を実行できる。例えば、駐車支援システム１００では、ＥＣＵ２４や、モニタ装置２２等の他、操舵システム２８、舵角センサ３０、ブレーキシステム３２、駆動システム３４、アクセルセンサ３６、シフトセンサ３８、車輪速センサ４０等が車内ネットワーク２６を介して電気的に接続されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、操舵システム２８、ブレーキシステム３２、駆動システム３４等を制御することができる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、トルクセンサ２８ａ、ブレーキセンサ３２ａ、舵角センサ３０、アクセルセンサ３６、シフトセンサ３８、車輪速センサ４０等の検出結果や、操作入力部２０等の操作信号等を、受け取ることができる。

ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（Central Processing Unit）、ＲＯＭ２４ｂ（Read Only Memory）、ＲＡＭ２４ｃ（Random Access Memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（Solid State Drive、フラッシュメモリ）等を備えている。ＣＰＵ２４ａは、各種の演算処理や制御を実行する。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１４で得られた画像データを用いた画像処理や、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。また、ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がＯＦＦされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

図１に例示されるように、車両１０は、例えば、四輪自動車であり、左右二つの前輪１２Ｆと、左右二つの後輪１２Ｒとを有する。これら四つの車輪１２は、いずれも転舵可能に構成されうる。図２に例示されるように、操舵システム２８は、車両１０の少なくとも二つの車輪１２を操舵する。操舵システム２８は、トルクセンサ２８ａとアクチュエータ２８ｂとを有する。操舵システム２８は、ＥＣＵ２４等によって電気的に制御されて、アクチュエータ２８ｂを動作させる。操舵システム２８は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム２８は、アクチュエータ２８ｂによって操舵部（例えば、ステアリングホイール）にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ２８ｂによって車輪１２を転舵したりする。この場合、アクチュエータ２８ｂは、一つの車輪１２を転舵してもよいし、複数の車輪１２を転舵してもよい。また、トルクセンサ２８ａは、例えば、運転者が操舵部に与えるトルクを検出する。

舵角センサ３０は、例えば、操舵部の操舵量を検出するセンサである。舵角センサ３０は、例えば、ホール素子などを用いて構成される。ＥＣＵ２４は、運転者による操舵部の操舵量や、自動操舵時の各車輪１２の操舵量等を、舵角センサ３０から取得して各種制御を実行する。なお、舵角センサ３０は、操舵部に含まれる回転部分の回転角度を検出する。

ブレーキシステム３２は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１０の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム３２は、アクチュエータ３２ｂを介して、車輪１２ひいては車両１０に制動力を与える。また、ブレーキシステム３２は、左右の車輪１２の回転差などからブレーキのロックや、車輪１２の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ３２ａは、例えば、制動操作部（例えば、ブレーキペダル）の可動部の位置を検出するセンサである。

駆動システム３４は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム３４は、アクセルセンサ３６により検出された運転者（利用者）の要求操作量（例えばアクセルペダルの踏み込み量）にしたがいエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、利用者の操作に拘わらず、車両１０の走行状態に応じて、操舵システム２８やブレーキシステム３２の制御と協働してエンジンやモータの出力値を制御しうる。車両１０が自動走行モードで走行している場合も同様である。

アクセルセンサ３６は、例えば、加速操作部（例えば、アクセルペダル）の可動部の位置を検出するセンサである。アクセルセンサ３６は、可動部としてのアクセルペダルの位置を検出することができる。

シフトセンサ３８は、例えば、変速操作部（例えば、シフトレバー）の可動部の位置を検出するセンサである。シフトセンサ３８は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ３８は、変位センサを含んでもよいし、スイッチとして構成されてもよい。ＥＣＵ２４は、シフトセンサ３８の検出結果に基づいて、車両１０が前進走行要求を受けているか、後退走行要求を受けているかの判定を行うことができる。

車輪速センサ４０は、各車輪１２に設けられ各車輪１２の回転量や単位時間当たりの回転数を検出するセンサであり、検出した回転数を示す車輪速パルス数を検出値として出力する。車輪速センサ４０は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ２４は、車輪速センサ４０から取得した検出値に基づき、車両１０の車速や移動量などを演算し、各種制御を実行する。ＥＣＵ２４は、各車輪１２の車輪速センサ４０の検出値に基づいて車両１０の車速を算出する場合、四輪のうち最も小さな検出値の車輪１２の速度に基づき車両１０の車速を決定し、各種制御を実行する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、例であって、種々に設定（変更）することができる。

ＥＣＵ２４は、例えば、撮像部１４から取得した撮影画像に基づいて、駐車支援処理を実行したり、撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信したりする。

図３は、実施形態のＣＰＵ２４ａ（特定領域検知装置）の構成の例示的なブロック図である。ＣＰＵ２４ａは、例えば、撮影画像に基づいて、撮影領域における駐車区画を検知する。具体的には、ＣＰＵ２４ａは、各モジュールとして、取得部２４１、点推定部２４２、ベクトル推定部２４３、選択部２４４、決定部２４５、検知部２４６、表示制御部２４７、設定部２４８、算出部２４９および学習部２５０を備える。なお、各モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置に記憶されたプログラムを読み出し、それを実行することで実現される。また、以下において、ＣＰＵ２４ａが行う処理のうち、各部２４１〜２５０以外が行う処理について説明する場合は、動作主体を「ＣＰＵ２４ａ」と表記する。

取得部２４１は、各構成から各種データを取得する。例えば、取得部２４１は、撮像部１４から撮影画像を取得する。

以下、特定領域の一例として、第１の点、第２の点を含む４つの点で定義される駐車区画を例に挙げて説明する。ここで、図４は、実施形態において、駐車区画を定義する４つの角の点の説明図である。本実施形態の学習モデルにおいて、四角形状の駐車区画は、４つの角の点Ｐ１〜点Ｐ４で定義される。具体的には、駐車区画への車両進入方向を基準に、手前の左側の点が点Ｐ１で、手前の右側の点が点Ｐ２で、奥の右側の点が点Ｐ３で、奥の左側の点が点Ｐ４である。なお、図４では駐車区画の一部に白線が示されているが、白線は無くてもよい。

また、学習モデルは、例えば、深層学習（ディープラーニング）により作成することができる。深層学習では、この点Ｐ１〜点Ｐ４で駐車区画を定義した教師データ（正解データ）を用いて学習を行う。その場合、例えば、パラメータを用いて関数を構築し、正解データについて損失を定義し、この損失を最小化することで学習を行う。

以下では、点Ｐ１〜点Ｐ４のうちの任意の２点を第１の点、第２の点として説明する。

図３に戻って、点推定部２４２は、学習用撮影画像を用いて撮影領域に存在する特定領域における所定の相対位置を示す第１の点、第２の点を含む所定数の点で定義される特定領域について学習することで作成された学習モデルを用いて、推定用撮影画像から、複数の第１の点と、複数の第２の点と、を推定する。

その場合、点推定部２４２は、点を推定する際、点をガウシアン分布として推定し、ＮＭＳ（Non Maximum Suppression）による後処理を行うことが好ましい。これにより、点の推定の精度を上げることができる。この理由の１つとしては、教師データにおける駐車区画の角の点の座標真値が人の手でピクセル単位で与えられるため、必ずしも厳密に正確な位置に真値が指定されているとは限らないことが挙げられる。そこで、推定する点をガウシアン分布として扱うことで、この真値の誤差を吸収して学習モデルを高精度に学習させることができる。

ベクトル推定部２４３は、１つの第１の点と１つの第２の点の組み合わせについて、第１の点を始点とし、当該第１の点が属する特定領域における第２の点の位置として推定される位置を終点とする第１のベクトルを推定するとともに、第２の点を始点とし、当該第２の点が属する特定領域における第１の点の位置として推定される位置を終点とする第２のベクトルを推定する。

選択部２４４は、第１のベクトルの終点から第２の点までの距離である第１の距離と、第２のベクトルの終点から第１の点までの距離である第２の距離と、を比較し、第１の距離のほうが小さければ第１のベクトルを選択し、第２の距離のほうが小さければ第２のベクトルを選択する。

決定部２４５は、選択部によって選択されたベクトルに基づいて、推定用撮影画像における特定領域ごとの第１の点と第２の点の組み合わせを決定する。例えば、決定部２４５は、選択部２４４によって選択されたベクトルに基づいて、推定用撮影画像における駐車区画ごとの第１の点と第２の点の組み合わせを決定する際に、複数の第１の点と複数の第２の点の２部グラフに対応するコスト行列を用いてコスト最小となる第１の点と第２の点の組み合わせを探索することで、第１の点と第２の点の組み合わせを決定し、その場合、第１の距離と第２の距離の小さいほうをコストとする。また、決定部２４５は、コスト行列に対してハンガリアン法を適用してコスト最小となる第１の点と第２の点の組み合わせを探索する。

検知部２４６は、決定部２４５による点の組み合わせの決定結果に基づいて、駐車区画を検知する。

ここで、点推定部２４２、ベクトル推定部２４３、選択部２４４、決定部２４５、検知部２４６の処理について、図５〜図７を参照して説明する。図５は、実施形態における撮影画像の例を示す模式図である。図６は、実施形態におけるベクトルに関する説明図である。図７は、実施形態における２部グラフとコスト行列の例を示す模式図である。

図５に示すように、点推定部２４２によって、撮影画像（魚眼画像）において、各駐車区画の角の点として、点Ｐ１ａ、Ｐ２ａ、点Ｐ１ｂ、Ｐ２ｂ、点Ｐ４ｂ、点Ｐ１ｃ、Ｐ２ｃ、点Ｐ３ｃ、点Ｐ４ｃ、点Ｐ１ｄ、Ｐ２ｄ、点Ｐ３ｄ、点Ｐ４ｄが推定されたものとする。なお、実際には各駐車区画の角の点として存在している部分でも、車両等で隠れて見えていないものは対象とならない。そして、ここでは、一例として、１つの駐車区画を構成する点Ｐ１〜点Ｐ４の４点のうち、すべてが見えていなくても、いずれか１点が見えている場合は、計算の対象とする。

ここで、図６に示すように、ベクトル推定部２４３は、所定の点Ｐ１と所定の点Ｐ４の点の組み合わせについて、点Ｐ１を始点とし、点Ｐ１が属する駐車区画における点Ｐ４の位置として推定される位置Ｐ１ｅを終点とする第１のベクトルＶ１を推定する。また、ベクトル推定部２４３は、それとともに、Ｐ４を始点とし、Ｐ４が属する駐車区画におけるＰ１の位置として推定される位置Ｐ４ｅを終点とする第２のベクトルＶ２を推定する。

そして、選択部２４４は、第１のベクトルＶ１の終点Ｐ１ｅからＰ４までの距離Ｄ１と、第２のベクトルＶ２の終点Ｐ４ｅからＰ１までの距離Ｄ２と、を比較し、距離Ｄ１のほうが小さければ第１のベクトルＶ１を選択し、距離Ｄ２のほうが小さければ第２のベクトルＶ２を選択する。

従来技術では、ベクトル推定の処理で片方向のベクトルだけを推定し、そのベクトルを利用して同じ駐車区画を構成する点同士を結合させていた。しかし、ベクトルの誤差が大きいために駐車区画を正しく検知できない場合があるという問題があった。

ここで、発明者らのこれまでの知見から、上述のように双方向ベクトル（Ｖ１、Ｖ２）を推定して、両者にずれがある場合、両方のベクトルの誤差がともに大きいことは稀であり、そして、上述の２つの距離（Ｄ１、Ｄ２）の短いほうに対応するベクトルは高精度である可能性が高いことがわかっている。そこで、本実施形態では、双方向ベクトルを推定し、上述の２つの距離（Ｄ１、Ｄ２）の短いほうに対応するベクトルを採用することで、駐車区画の検知精度を有意に高めることができるようになった。

決定部２４５は、点同士のマッチングを行って複数の点を駐車区画ごとに分類するため、点同士の対応を２部グラフとみなし、２部グラフの最適マッチング問題に帰着する。具体的には、決定部２４５は、点Ｐ１と点Ｐ４の組み合わせを決定する際に、複数の点Ｐ１と複数の点Ｐ４の２部グラフに対応するコスト行列を用いてコスト最小となる点Ｐ１と点Ｐ４の組み合わせを探索することで、点Ｐ１と点Ｐ４の点の組み合わせを決定する。その場合、距離Ｄ１と距離Ｄ２の小さいほうをコストとする。

また、最適マッチング問題を解くために、例えば、ハンガリアン法を活用することができる。ハンガリアン法とは、いわゆる割当問題を解くための手法であり、行列について、各行の各要素からその行の最小値を引き、その後さらに各列の各要素からその列の最小値を引く、等の操作を行う周知のアルゴリズムである。ここでのハンガリアン法では、２部グラフに対応するコスト行列を作成し、コスト最小の組み合わせを探索する。つまり、決定部２４５は、コスト行列に対してハンガリアン法を適用してコスト最小となる点Ｐ１と点Ｐ４の組み合わせを探索する。

図７（ａ）は、点Ｐ１（点Ｐ１ａ〜点Ｐ１ｄ）と点Ｐ４（点Ｐ４ａ〜点Ｐ４ｄ）を選択した場合の２部グラフを示す。また、図７（ｂ）は、その場合のコスト行列を示す。コストＳ_１〜Ｓ_１６は、距離Ｄ１と距離Ｄ２の小さいほうである。

このようにして、点Ｐ１（点Ｐ１ａ〜点Ｐ１ｄ）と点Ｐ４（点Ｐ４ａ〜点Ｐ４ｄ）の組み合わせを探索すれば、適切な組み合わせを容易かつ高精度で得ることができる。なぜなら、同じ駐車区画に属する２点を選択したときに、上述のコストが最小になる確率が非常に高いからである。

また、点Ｐ１と点Ｐ４だけでなく、同様に、点Ｐ２と点Ｐ３、点Ｐ１と点Ｐ２等の組み合わせについても、上述の計算（マッチング）を行い、適切な組み合わせを得ることができる。

そして、検知部２４６は、点Ｐ１と点Ｐ４、点Ｐ２と点Ｐ３、点Ｐ１と点Ｐ２等の組み合わせに関する最尤推定の後、例えば、点Ｐ１と点Ｐ２の組み合わせを基準にして、マッチング結果を統合することで、複数の点を駐車区画ごとに分類する。なお、統合されなかった点の組み合わせについては、推定結果から除外する。

表示制御部２４７は、検知部２４６によって検知された駐車区画を表示装置１６（表示部）に表示させる。ここで、図８は、実施形態における推奨駐車区画の表示例を示す模式図である。図８に示す推奨駐車区画ＰＲは、例えば、駐車可能な駐車区画が複数ある場合の１つの駐車区画である。

図３に戻って、設定部２４８は、ユーザによって操作入力部を用いた目標駐車区画の入力操作があった場合に、その目標駐車区画を設定する。

算出部２４９は、設定部２４８によって目標駐車区画の設定が行われた場合に、周知の移動経路算出技術を用いて、車両の現在位置から目標駐車区画までの移動経路を算出する。

学習部２５０は、学習データを用いて学習モデルの学習を行う。ここで、図９を参照して、実施形態の特定領域検知装置による学習時の処理について説明する。図９は、実施形態の特定領域検知装置による学習時の処理を示すフローチャートである。

まず、ステップＳ１０１において、取得部２４１は、あらかじめ撮影された撮影画像に対して駐車区画の角の点の座標真値および正しい点の組み合わせのアノテーションが付与された学習データを取得する。

次に、ステップＳ１０２において、学習部２５０は、深層学習用の学習モデルに学習データを入力する。

次に、ステップＳ１０３において、学習部２５０は、駐車区画の角の点の座標と、それらの点を結合するための双方向ベクトルを推定する。

次に、ステップＳ１０４において、学習部２５０は、推定結果（推定によって得られた駐車区画の角の点の座標と双方向ベクトル）と、真値（真値座標とそれに基づいて算出される双方向ベクトル）との誤差を算出する。

次に、ステップＳ１０５において、学習部２５０は、学習終了条件を満たしたか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ１０６に進む。例えば、ステップＳ１０４で算出した誤差が所定値以下になった場合、学習部２５０は、学習終了条件を満たしたと判定する。

ステップＳ１０６において、学習部２５０は、誤差に基づいて学習モデルを更新する。ステップＳ１０６の後、ステップＳ１０１に戻る。

次に、図１０を参照して、実施形態の特定領域検知装置による駐車支援時の全体処理について説明する。図１０は、実施形態の特定領域検知装置による駐車支援時の全体処理を示すフローチャートである。この処理は、例えば、運転者が、ボタン、タッチパネル、音声認識装置などの操作入力部を用いて指示を与えることで開始する。

まず、ステップＳ１において、取得部２４１は、撮像部１４から撮影画像を取得する。次に、ステップＳ２において、ＣＰＵ２４ａは、駐車可能な駐車区画を検知する。ここで、図１１は、図１０のステップＳ２の処理の詳細を示すフローチャートである。

ステップＳ２１において、点推定部２４２は、学習モデルを用いて、撮影画像（推定用撮影画像）から、駐車区画の角の点を推定する。

次に、ステップＳ２２において、ベクトル推定部２４３は、上述の双方向ベクトルを推定する。なお、説明の都合上、ステップＳ２１とステップＳ２２を分けて説明したが、ステップＳ２１、Ｓ２２を並行して行ってもよい。

次に、ステップＳ２３において、選択部２４４は、双方向ベクトルのうち、上述の第１の距離と第２の距離の小さいほうに対応するベクトルを選択する。

次に、決定部２４５は、ステップＳ２４において、ステップＳ２３で選択されたベクトルに基づいて、コスト行列、ハンガリアン法等を用いて点同士をマッチングし、ステップＳ２５において、複数の点を駐車区画ごとに分類する。

次に、ステップＳ２６において、検知部２４６は、ステップＳ２５における分類結果に基づいて駐車区画を検知する。

図１０に戻って、ステップＳ２の後、ステップＳ３において、ＣＰＵ２４ａは、推定駐車区画を検知する。例えば、駐車可能な駐車区画が複数ある場合に、ＣＰＵ２４ａは、所定の基準に基づいて１つの駐車区画を推定駐車区画として決定する。ＣＰＵ２４ａは、例えば、カメラ画像に大きく映った（つまり、距離の近い）駐車区画や、目的地施設に近い駐車区画などを推定駐車区画として決定する。

次に、ステップＳ４において、表示制御部２４７は、ステップＳ３で決定した推定駐車区画を表示装置１６に表示させる。

次に、ステップＳ５において、ＣＰＵ２４ａは、ユーザによって操作入力部を用いた目標駐車区画の入力操作があったか否かを判定し、Ｙｅｓの場合はステップＳ６に進み、Ｎｏの場合はステップＳ３に戻る。

ステップＳ６において、設定部２４８は目標駐車区画を設定し、表示制御部２４７は目標駐車区画が設定された旨を表示装置１６に表示させる。

次に、ステップＳ７において、算出部２４９は、周知の移動経路算出技術を用いて、車両の現在位置から目標駐車区画までの移動経路を算出する。

次に、ステップＳ８において、ＣＰＵ２４ａは、駐車支援を実行する。例えば、ＣＰＵ２４ａは、駐車支援として「完全自動駐車支援」を実行する場合、操舵システム２８、ブレーキシステム３２、駆動システム３４等を制御して、移動経路に沿って車両１０を移動させる。また、ＣＰＵ２４ａは、駐車支援として「半自動駐車支援」や「誘導支援」を実行する場合、音声や表示により操作内容を運転者に報知して運転者が操作の一部または全てを実行することにより駐車動作が実現される。そして、例えば、車両が安全に駐車スペースに駐車した場合等に、処理を終了する。

このようにして、本実施形態の特定領域検知装置によれば、特定領域を検知する際に、前記第１の点と前記第２の点の組み合わせについて前記第１のベクトルと前記第２のベクトルの双方向ベクトルを推定し、前記第１の距離と前記第２の距離の小さいほうのベクトルを選択して用いることで、特定領域を高精度で検知することができる。

また、特定領域として第１の点、第２の点を含む４つの点で定義される四角形状の駐車区画を高精度で推定することができる。

また、駐車区画を検知する場合に、上述の２部グラフとコスト行列を用いることで、容易かつ高精度に駐車区画を推定することができる。

また、コスト行列に対してハンガリアン法を適用することで、簡潔なアルゴリズムで高精度に駐車区画を推定することができる。

また、検知された駐車区画を表示させることで、運転者に対する駐車支援等を行うことができる。

なお、本実施形態のＣＰＵ２４ａで実行される駐車支援処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、駐車支援処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される駐車支援処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、撮影画像に基づいて検知する特定領域は、駐車区画に限定されず、人や車両などであってもよい。その場合、検知対象を所定数の点で定義すればよい。

また、学習や推論で使用する撮影画像は、魚眼画像に限定されず、広角画像、通常画像、あるいは、複数の撮影画像を元に合成された俯瞰画像等であってもよい。

また、コスト行列に用いるコストは、上述の例に限定されず、他の値であってもよい。

また、図９の学習時の処理について、例えば、学習終了条件が満たされた場合（ステップＳ１０５でＹｅｓ）、誤差に基づいて学習モデルを更新して（ステップＳ１０６に相当する処理を行って）から処理を終了してもよい。

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２０…操作入力部、２４…ＥＣＵ、２４ａ…ＣＰＵ、１００…駐車支援システム、２４１…取得部、２４２…点推定部、２４３…ベクトル推定部、２４４…選択部、２４５…決定部、２４６…検知部、２４７…表示制御部、２４８…設定部、２４９…算出部、２５０…学習部。

Claims (5)

1. 学習用撮影画像を用いて撮影領域に存在する特定領域における所定の相対位置を示す第１の点、第２の点を含む所定数の点で定義される前記特定領域について学習することで作成された学習モデルを用いて、推定用撮影画像から、複数の前記第１の点と、複数の前記第２の点と、を推定する点推定部と、
   １つの前記第１の点と１つの前記第２の点の組み合わせについて、前記第１の点を始点とし、当該第１の点が属する特定領域における前記第２の点の位置として推定される位置を終点とする第１のベクトルを推定するとともに、前記第２の点を始点とし、当該第２の点が属する特定領域における前記第１の点の位置として推定される位置を終点とする第２のベクトルを推定するベクトル推定部と、
   前記第１のベクトルの終点から前記第２の点までの距離である第１の距離と、前記第２のベクトルの終点から前記第１の点までの距離である第２の距離と、を比較し、前記第１の距離のほうが小さければ前記第１のベクトルを選択し、前記第２の距離のほうが小さければ前記第２のベクトルを選択する選択部と、
   前記選択部によって選択されたベクトルに基づいて、前記推定用撮影画像における前記特定領域ごとの前記第１の点と前記第２の点の組み合わせを決定する決定部と、
   前記決定部による点の組み合わせの決定結果に基づいて、前記特定領域を検知する検知部と、を備える特定領域検知装置。
2. 前記特定領域は、前記第１の点、前記第２の点を含む４つの点で定義される駐車区画である、請求項１に記載の特定領域検知装置。
3. 前記決定部は、前記選択部によって選択されたベクトルに基づいて、前記推定用撮影画像における前記駐車区画ごとの前記第１の点と前記第２の点の組み合わせを決定する際に、
   複数の前記第１の点と複数の前記第２の点の２部グラフに対応するコスト行列を用いてコスト最小となる前記第１の点と前記第２の点の組み合わせを探索することで、前記第１の点と前記第２の点の組み合わせを決定し、その場合、前記第１の距離と前記第２の距離の小さいほうを前記コストとする、請求項２に記載の特定領域検知装置。
4. 前記決定部は、前記コスト行列に対してハンガリアン法を適用してコスト最小となる前記第１の点と前記第２の点の組み合わせを探索する、請求項３に記載の特定領域検知装置。
5. 前記検知部によって検知された前記駐車区画を表示部に表示させる表示制御部を、さらに備える、請求項２に記載の特定領域検知装置。

Images