JP2021062749A - 駐車支援装置 - Google Patents

Abstract

【課題】適切に目標駐車位置を設定できる駐車支援装置を提供する。【解決手段】駐車支援装置１は、車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部１１と、撮像画像を撮像するカメラ３の撮影範囲において車両と共に移動する移動領域を算定する移動領域算定部１２と、撮像画像において車両の側方に路面に沿って設定された基準領域のうち、移動領域と重複する重複領域を算定する重複領域算定部１３と、基準領域から重複領域を除いて、車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部１４と、撮像画像の検出領域内において地物を検出する地物検出部１５と、を備える。【選択図】図２

Description

本発明は、車両の駐車を支援する駐車支援装置に関する。

従来、車両を駐車する際に、運転者の負担を軽減すべく駐車操作を支援する駐車支援装置が利用されてきた。このような駐車操作の支援にあっては、車両が駐車可能な駐車区画を検出する検出支援、検出された駐車区画から自車を駐車させる目標駐車区画を設定する設定支援、駐車を開始する駐車開始位置まで車両を案内する開始位置案内支援、駐車開始位置から目標駐車区画へ車両を案内する駐車位置案内支援といったものがある。これらの一連の支援中においては、駐車区画を規定する地物を認識することが重要である。このような地物の認識に関する技術として、例えば下記に出典を示す特許文献１に記載のものがある。

特許文献１には、駐車区画に対して目標位置を精度良く設定する駐車支援装置が開示されている。この駐車支援装置は、駐車区画の境界を示す境界表示を検出し、当該境界表示の特徴データを記憶する。駐車支援装置は、これらの境界表示及び特徴データに基づいて、目標位置を決定している。

特開２０１６−１２４４０１号公報

特許文献１に記載の技術は、車両の左右両側に、車体の右端部及び左端部から近い領域に検出範囲が設定され、この検出範囲において駐車区画（境界表示）を検出している。例えば、車両から側方に突出する突出物がある場合には検出範囲に当該突出部が含まれ、境界表示を誤検出する可能性がある。また、ステアリングの舵角によっては、操舵輪が検出範囲に含まれることもあり、境界表示を誤検出する可能性がある。係る場合、境界表示の誤検出により、目標駐車位置が所期の位置からずれる可能性があり、改良の余地がある。

そこで、適切に目標駐車位置を設定できる駐車支援装置が求められる。

本発明に係る駐車支援装置の特徴構成は、車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像を撮像するカメラの撮像範囲において前記車両と共に移動する移動領域を算定する移動領域算定部と、前記撮像画像において前記車両の側方に前記路面に沿って設定された基準領域のうち、前記移動領域と重複する重複領域を算定する重複領域算定部と、前記基準領域から前記重複領域を除いて、前記車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部と、前記撮像画像の前記検出領域内において前記地物を検出する地物検出部と、を備えている点にある。

このような特徴構成とすれば、車両と共に移動する移動領域を除いて設定された検出領域において地物を検出するので、車両と共に移動する移動領域（車両と共に移動する物体）に起因した地物の誤検出を防止できる。また、基準領域から取り除く移動領域を最小限に抑えることができるので、地物の認識精度に対する影響も低減することができる。したがって、適切に目標駐車位置を設定することが可能となる。

また、前記移動領域算定部は、前記車両の状態を示す車体情報及び前記車両の周囲の物体を示す物体情報の少なくともいずれか一方に基づいて前記移動領域を算定すると好適である。

このような構成とすれば、車両の状態に応じて適切に移動領域を算定することができるので、車両の状態や車両の周囲の状況に応じて検出領域を設定することが可能となる。

また、前記車体情報は、前記車両のドアの開閉状態を示す開閉情報、及び前記車両の操舵輪の切れ角を示す角度情報の少なくともいずれか一方であると好適である。

このような構成とすれば、移動領域の算定を開閉情報や角度情報に基づいて、定量的に行うことが可能となる。

また、前記物体情報は、前記車両の周囲の物体を検出する物体検出部の検出結果、及び前記撮像画像を用いて画像認識処理により前記物体を検出した検出結果の少なくともいずれか一方であると好適である。

このような構成とすれば、移動領域の算定を物体検出部や画像認識処理により検出された物体に基づいて行うことができる。

また、過去に取得された前記撮像画像である第１撮像画像において検出された前記地物の端部の位置を示す位置情報を、前記車両の移動量を示す移動量情報に基づいて算定する位置情報算定部と、前記位置情報算定部によって算出された前記地物の端部の位置を示す前記位置情報を記憶する記憶部と、を更に備え、前記記憶部は、前記地物検出部が新たに取得された前記撮像画像である第２撮像画像において前記地物の端部が検出できない場合に、前記記憶部に記憶された前記地物の端部の位置を示す前記位置情報を出力すると好適である。

このような構成とすれば、車両の移動量を示す移動量情報に基づいて、過去に検出されていた地物の端部の位置を算定するので、当該過去の地物の端部を継続して追跡することができる。したがって、新たに取得された撮像画像から地物の端部が検出できない場合には、新たに取得された撮像画像において上記追跡していた地物の位置情報で示される位置に対応する位置に端部があるものとすることが可能となる。

駐車支援装置が支援する車両の模式図である。 駐車支援装置の構成を示すブロック図である。 左側撮像画像の一例である。 右側撮像画像の一例である。 左側撮像画像に含まれる移動領域の一例である。 基準領域を示す図である。 検出領域を示す図である。 補完画像の生成について説明する図である。 表示部に表示される表示画像の一例である。

本発明に係る駐車支援装置は、駐車区画を規定する地物を適切に認識することができるように構成される。ここで、本実施形態における駐車区画とは、例えば駐車場等において１台毎に車両を駐車することができるように仕切られたスペースである。地物とは、路面（地面）に設置された物である。したがって、駐車区画を規定する地物とは、駐車場等において１台毎に車両を駐車するスペースを仕切るために、路面に設置された物が相当する。具体的には、路面に付された区画線等の指標や、ブロックや縁石や生垣等（以下「ブロック等」とする）が相当する。本駐車支援装置は、このような指標やブロック等を適切に認識することができるように構成される。以下、本実施形態の駐車支援装置１について説明する。

図１は、駐車支援装置１が駐車を支援する車両２の模式図である。図１に示されるように、車両２には、車両２の周囲の情景を撮像するカメラ３が設けられる。本実施形態では、カメラ３は、左のサイドミラー４及び右のサイドミラー５に設けられる。以下では、理解を容易にするために、夫々を区別する場合には左のサイドミラー４に設けられたカメラ３を左側カメラ３Ａとし、右のサイドミラー５に設けられたカメラ３を右側カメラ３Ｂとして説明する。

カメラ３は、車両２の側方の路面の撮像画像を撮像する。車両２の側方とは、車両２の車体２Ａの幅方向外側である。上述したようにカメラ３は、左側カメラ３Ａと右側カメラ３Ｂとを含んで構成される。このため、左側カメラ３Ａは車体２Ａの左外側の路面の撮像画像を撮像し、右側カメラ３Ｂは車体２Ａの右外側の路面の撮像画像を撮像する。左側カメラ３Ａ及び右側カメラ３Ｂによる撮像画像は、画像データとして駐車支援装置１に伝達される。

図２は、駐車支援装置１の構成を示すブロック図である。図２に示されるように、駐車支援装置１は、撮像画像取得部１１、移動領域算定部１２、重複領域算定部１３、検出領域設定部１４、地物検出部１５、撮像画像記憶部３１、位置情報算定部５１を備えて構成される。これらの各機能部は車両２の駐車支援に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。

撮像画像取得部１１は、車両２の側方の路面を撮像した撮像画像を取得する。上述したように、本実施形態では、左側カメラ３Ａが車体２Ａの左外側の路面の撮像画像（以下「左側撮像画像」とする）を撮像し、右側カメラ３Ｂが車体２Ａの右外側の路面の撮像画像（以下「右側撮像画像」とする）を撮像する。撮像画像取得部１１は、左側カメラ３Ａから左側撮像画像を取得し、右側カメラ３Ｂから右側撮像画像を取得する。ここで、左側カメラ３Ａ及び右側カメラ３Ｂは、夫々、継続して左側撮像画像及び右側撮像画像を撮像する。このため、撮像画像取得部１１も継続して左側撮像画像及び右側撮像画像を取得する。

図３には左側撮像画像の一例が示され、図４には右側撮像画像の一例が示される。本実施形態では、左側カメラ３Ａ及び右側カメラ３Ｂは魚眼レンズを介して車両２の側方の路面を撮像する。このため、図３及び図４に示されるように、本実施形態における右側撮像画像及び左側撮像画像は、所謂魚眼画像となる。

図２に戻り、移動領域算定部１２は、撮像画像を撮像するカメラ３の撮像範囲において車両２と共に移動する移動領域８（図５参照）を算定する。撮像画像とは、上述した左側撮像画像及び右側撮像画像である。また、カメラ３は、上述したように左のサイドミラー４及び右のサイドミラー５に設けられる。車両２と共に移動する移動領域８とは、車両２と一体となって移動する物体が占める領域である。したがって、撮像画像を撮像するカメラ３の撮像範囲において車両２と共に移動する移動領域８とは、左側撮像画像及び右側撮像画像の夫々を撮像する、左のサイドミラー４及び右のサイドミラー５との夫々に設けられた左側カメラ３Ａ及び右側カメラ３Ｂの撮像範囲において、車両２と一体となって移動する物体が占める領域を意味する。このような移動領域８としては、例えば車両２の車輪や、車両２のドアや、窓から左のサイドミラー４及び右のサイドミラー５よりも下方に出した乗員の体の一部（例えば手や腕等）の領域が挙げられる。

図５には、例えば左側撮像画像に含まれる、移動領域８の一例が示される。図５の例にあっては車両２が４輪操舵であって、左前車輪６及び左後車輪７が車両２と共に移動する。したがって、図５の左側撮像画像に含まれる左前車輪６及び左後車輪７の領域が、移動領域８にあたる。移動領域算定部１２は、左側撮像画像及び右側撮像画像に含まれる、このような移動領域８を算定する。

ここで、移動領域算定部１２は、撮像画像に基づいて移動領域８を算定するように構成することが可能である。例えば、移動領域算定部１２は、撮像画像に移動領域８が含まれない場合の撮像画像を予め記憶しておき、当該移動領域８が含まれない場合の撮像画像と、移動領域８を算定する撮像画像（移動領域８の算定対象である撮像画像）とを用いて画像認識により移動領域８を算定するように構成することが可能である。

更に、移動領域算定部１２は、車両２の状態を示す車体情報に基づいて移動領域８を算定するように構成することも可能である。車両２の状態を示す車体情報とは、車両２の各機能部の動作状態や各機能部の位置を示す情報である。具体的には、車体情報は、車両２のドアの開閉状態を示す開閉情報や、車両２の操舵輪の切れ角を示す角度情報が相当する。開閉情報は、車両２のドアの開度を検出するセンサの検出結果とすると好適である。また、角度情報は操舵輪の切れ角を検出するセンサの検出結果とすることも可能であるし、操舵輪の切れ角を操舵するステアリングの舵角を検出するセンサの検出結果とすることも可能である。移動領域算定部１２が、このような開閉状態や操舵輪の切れ角にも基づいて移動領域８を算定するように構成する場合には、ドアの開度と移動領域８との関係や、操舵輪の切れ角と移動領域８との関係を予め記憶しておき、開閉情報や角度情報を取得した場合にこれらの関係に基づき移動領域８を算定するように構成することが可能である。なお、上述した各種センサによる検出結果は、各センサと移動領域算定部１２とがＣＡＮ（Controller Area Network）通信を行うことで伝達することが可能である。

また、移動領域算定部１２は、車両２の周囲の物体を示す物体情報に基づいて移動領域８を算定するように構成することも可能である。車両２の周囲の物体を示す物体情報とは、具体的には、車両２の周囲の物体を検出する物体検出部の検出結果、及び撮像画像を用いて画像認識処理により物体を検出した検出結果の少なくともいずれか一方である。物体検出部とは、例えばソナーやレーザーレーダ等のような所謂障害物センサが相当する。このような障害物センサの検出結果や、撮像画像を用いて物体が存在しているか否かを検出した検出結果が、車両２の周囲の物体を示す物体情報にあたる。したがって、移動領域算定部１２は、障害物センサの検出結果や、撮像画像を用いて物体が存在しているか否かを検出した検出結果に基づいて、移動領域８を算定することも可能である。なお、移動領域算定部１２は、上述した車体情報及び物体情報の双方に基づいて移動領域８を算定しても良いし、いずれか一方を用いて移動領域８を算定しても良い。

重複領域算定部１３は、撮像画像において車両２の側方に路面に沿って設定された基準領域９のうち、移動領域８と重複する重複領域１０を算定する。図６には、左側撮像画像において、車両２の側方に路面に沿って設定された基準領域９の一例が示される。基準領域９は、後述する検出領域２０の基となるものであって、車両２の平面視において車両２の前後方向に沿う長さが車両２の全長よりも長く、車両２の幅方向に沿う長さが車両２の車幅よりも長い領域として設定される。撮像画像において、このような基準領域９と上述した移動領域８とが互いに重複する領域が重複領域１０（図７参照）に相当する。したがって、図７に示されるように移動領域８の一部が基準領域９に含まれる場合には、重複領域１０は移動領域８のうち、基準領域９に含まれる領域を除いた領域となる。なお、図示はしないが、基準領域９が車体２Ａと接して設定される場合において、移動領域８の全てが基準領域９に含まれる場合には、重複領域１０は移動領域８と等しい領域となる。

検出領域設定部１４は、基準領域９から重複領域１０を除いて、車両２の駐車区画を規定する地物を検出する検出領域２０（図７参照）を設定する。基準領域９は、重複領域算定部１３において用いられた基準領域９であって、基準領域９のサイズを規定する情報は、重複領域算定部１３と検出領域設定部１４とで共有される。また、重複領域１０は重複領域算定部１３により算定結果として伝達される。基準領域９から重複領域１０を除いた領域が検出領域２０に相当する。検出領域設定部１４は、後述する地物検出部１５が車両２の駐車区画を規定する地物の検出する領域として利用する検出領域２０を撮像画像において設定する。

地物検出部１５は、撮像画像の検出領域２０内において地物を検出する。地物とは、本実施形態では上述したように、路面に付された区画線等の指標やブロック等である。地物検出部１５は、検出領域設定部１４により撮像画像上において設定された検出領域２０内の区画線等の指標やブロック等を検出する。この検出は、公知であるので詳細な説明は省略するが、例えば検出領域２０において、公知のエッジ抽出によりエッジ検出を行い、検出されたエッジに基づいて指標やブロック等であるか否かを判定することで検出可能である。

本駐車支援装置１は、以上のように、例えば操舵輪やドア等を検出領域２０から除外することで、地物の誤判定を防止することが可能となる。したがって、駐車支援装置１は、適切に目標駐車位置を設定することができる。

ここで、車両２の移動状況によっては、所定時間前に検出されていた地物の上に車両２の一部（例えば車輪）が乗り上げていることもある。係る場合、地物検出部１５は、上述したエッジ抽出が行うことができず、駐車支援装置１は適切に目標駐車位置を設定することができない。

そこで、位置情報算定部５１が、過去に取得された撮像画像である第１撮像画像において検出された地物の端部の位置を示す位置情報を、車両２の移動量を示す移動量情報に基づいて算定するように構成すると好適である。過去に取得された撮像画像とは、車両２が今回、駐車区画に駐車すべく地物を検出するに至った以降にカメラ３により撮像された撮像画像である。このような撮像画像は、撮像画像記憶部３１に記憶するように構成すると良い。このような過去に取得された撮像画像は、本駐車支援装置１では第１撮像画像と称される。第１撮像画像は、図８の（Ａ）に示されるような、車両２が地物の算定を開始してから、例えば地物の全体の形状が含まれるようなものを優先的に記憶しておくと良い。なお、撮像画像記憶部３１に記憶された第１撮像画像は、所定時間や所定日数が経過する毎に撮像画像記憶部３１から消去するように構成しても良いし、今回の駐車区画への駐車が完了した際に、撮像画像記憶部３１から消去するように構成しても良い。

車両２の移動量とは、車両２が走行して移動した距離及び方位で規定される量であって、上述した角度情報や走行距離を算定する距離センサの検出結果に基づき算定することが可能である。もちろん、ＧＰＳ情報（位置情報）に基づいて算定することも可能である。このような量は、移動量情報として示される。したがって、位置情報算定部５１は、地物の端部が隠れていない第１撮像画像を撮像画像記憶部３１から取得し、角度情報や距離センサの検出結果等に基づいて算定される移動量情報を用いて、第１撮像画像において検出されていた地物の端部の位置を示す位置情報を算定する。このような位置情報によれば、第１撮像画像において検出されていた地物の端部を追跡することができることから、位置情報算定部５１は追跡部であるとも言える。このような位置情報算定部５１によって算出された地物の端部の位置を示す位置情報は記憶部（図示せず）に記憶すると良い。

係る場合、地物検出部１５が新たに取得された撮像画像である第２撮像画像において地物の端部が検出できない場合に、記憶部が当該記憶部に記憶された地物の端部の位置を示す位置情報を出力すると良い。新たに取得された撮像画像とは、最新の撮像画像である。このような最新の撮像画像は、本駐車支援装置１では第２撮像画像と称される。第２撮像画像は、車両２の状況によっては、図８の（Ｂ）（図７と同じ）に示されるように、車両２の少なくとも一部と地物とが互いに重複することがある。

上述したように、地物検出部１５は、撮像画像取得部１１が撮像画像を取得する毎に、地物を検出するが、例えば図８の（Ｂ）の例のように、地物上に車両２（車輪等）が位置していると、端部を適切に検出できないことから、記憶部に記憶された地物の端部の位置に、端部があるものとみなす。

図８の（Ｃ）には第１撮像画像において検出された地物の平面図が示される。理解を容易にするために、図８の（Ａ）及び（Ｃ）の夫々について対応する地物同士に同じ符号Ｚ１，Ｚ２を付している。図８の（Ｄ）には図８の（Ｂ）の第２撮像画像において検出された地物の平面図が示される。図８の（Ｄ）では、図８の（Ｂ）に示される地物Ｚ１が検出されておらず、図示しない右側カメラ３Ｂの第２撮像画像にうつる地物Ｚ２が示される。

係る場合、上述した第１撮像画像において検出された地物の端部の位置情報（図８の（Ｃ）における地物の端部の位置情報）に基づき、地物Ｚ１の端部が補完（生成）される。図８の（Ｅ）には第２撮像画像において、第１撮像画像において検出された地物の端部の位置情報を使って補完された地物Ｚ１が示される。これにより、地物の全体形状を特定でき、駐車支援装置１は適切に目標駐車位置を設定することが可能となる。

ここで、車両２の車内には例えばカーナビゲーションシステム等に利用可能な表示装置が設けられる。この表示装置の表示画面には、カメラ３により撮像された撮像画像を用いて車両２の周囲の情景を表示することがあるが、上述したように、例えば操舵輪やドア等を検出領域２０から除外する状況にあっては、表示画面に表示される地物を乗員が把握し辛いことが想定される。

そこで、表示装置の表示画面に表示する地物においても、第１撮像画像において検出した地物の端部の位置情報を使って、補完画像を生成して表示するように構成することも可能である。このような表示の一例が図９に示される。このように車両２と地物が重複し、地物検出部１５により検出されない場合でも、補完画像を生成して表示することで、乗員が地物全体の形状を把握することが可能となる。

〔その他の実施形態〕
上記実施形態では、撮像画像における移動領域８が車輪やドアであるとして説明した。例えばカメラ３を左のサイドミラー４及び右のサイドミラー５以外に設ける場合には、移動領域８として左のサイドミラー４及び右のサイドミラー５を含むことも可能である。もちろん、車輪やドアや左のサイドミラー４及び右のサイドミラー５以外のものであっても良い。

上記実施形態では、車体情報は、車両２のドアの開閉状態を示す開閉情報、及び車両２の操舵輪の切れ角を示す角度情報であるとして説明したが、車両情報は車両２のドアの開閉状態を示す開閉情報、及び車両２の操舵輪の切れ角を示す角度情報でいずれか一方であっても良い。また、物体情報も、車両２の周囲の物体を検出する物体検出部の検出結果、及び撮像画像を用いて画像認識処理により物体を検出した検出結果のいずれか一方で良い。

上記実施形態では、駐車支援装置１が、位置情報算定部５１を備えているとして説明したが、位置情報算定部５１を備えずに構成することも可能である。また、表示装置の表示画面に補完画像を表示しないように構成することも可能である。

上記実施形態では、カメラ３として、左側カメラ３Ａと右側カメラ３Ｂとを用いた場合の例を挙げて説明したが、フロントカメラやリアカメラを用いてもよい。

本発明は、車両の駐車を支援する駐車支援装置に用いることが可能である。

１：駐車支援装置
２：車両
３：カメラ
８：移動領域
９：基準領域
１０：重複領域
１１：撮像画像取得部
１２：移動領域算定部
１３：重複領域算定部
１４：検出領域設定部
１５：地物検出部
２０：検出領域
５１：位置情報算定部

Claims (5)

1. 車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像を撮像するカメラの撮像範囲において前記車両と共に移動する移動領域を算定する移動領域算定部と、
   前記撮像画像において前記車両の側方に前記路面に沿って設定された基準領域のうち、前記移動領域と重複する重複領域を算定する重複領域算定部と、
   前記基準領域から前記重複領域を除いて、前記車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部と、
   前記撮像画像の前記検出領域内において前記地物を検出する地物検出部と、
   を備える駐車支援装置。
2. 前記移動領域算定部は、前記車両の状態を示す車体情報及び前記車両の周囲の物体を示す物体情報の少なくともいずれか一方に基づいて前記移動領域を算定する請求項１に記載の駐車支援装置。
3. 前記車体情報は、前記車両のドアの開閉状態を示す開閉情報、及び前記車両の操舵輪の切れ角を示す角度情報の少なくともいずれか一方である請求項２に記載の駐車支援装置。
4. 前記物体情報は、前記車両の周囲の物体を検出する物体検出部の検出結果、及び前記撮像画像を用いて画像認識処理により前記物体を検出した検出結果の少なくともいずれか一方である請求項２又は３に記載の駐車支援装置。
5. 過去に取得された前記撮像画像である第１撮像画像において検出された前記地物の端部の位置を示す位置情報を、前記車両の移動量を示す移動量情報に基づいて算定する位置情報算定部と、
   前記位置情報算定部によって算出された前記地物の端部の位置を示す前記位置情報を記憶する記憶部と、を更に備え、
   前記記憶部は、前記地物検出部が新たに取得された前記撮像画像である第２撮像画像において前記地物の端部が検出できない場合に、前記記憶部に記憶された前記地物の端部の位置を示す前記位置情報を出力する請求項１から４のいずれか一項に記載の駐車支援装置。

Images