JP2021136687A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】駐車区画線及び駐車枠の検出を高精度に行うことが可能な画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置１００は、所定タイミングで車両Ｖの周囲を撮像するカメラ２０から出力される画像信号に基づく俯瞰画像Ｇから線を抽出する線抽出部１１１、抽出された線について、所定条件を備えているか否かを判定する追跡判定部１１２、所定条件を備えていると判定された線と、過去の所定タイミングで撮像された画像信号に基づく俯瞰画像Ｇから線抽出部１１１を用いて抽出された線との類似度及び一致度を比較する比較部１１４、類似度及び前記一致度が所定値以上となる線を駐車区画線と判定する駐車区画線判定部１１５、駐車区画線と判定された線を用いて駐車枠を設定する駐車枠設定部１１６を備える。【選択図】図３

Description

本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠を推定する画像処理装置及び画像処理方法に関するものである。

車両を所定の駐車区画に駐車する際に、駐車目標とする駐車枠を自動的に検出して、車両を自動駐車させる駐車支援装置が実用化されている（例えば、特許文献１参照）。この特許文献１に開示の技術では、車両に搭載された撮像装置で撮像された撮像画像から駐車区画線を検出し、検出した駐車区画線に基づいて駐車可能な駐車枠を検出している。このとき、駐車区画線の延びる角度や隣接する駐車区画線との距離等に基づいて、駐車枠が斜め駐車枠、並列駐車枠、縦列駐車枠のいずれであるかを判定している。

ところで、斜め駐車枠を判定する場合、斜め駐車枠の連続性に基づいて判定を行っている。つまり、所定の駐車エリアから、斜め駐車枠が複数連続して検出された場合は、斜め駐車枠を有する駐車場であることがわかる。これに対して、検出した駐車枠の中で斜め駐車枠が１つのみである場合は、本来は並列駐車枠又は縦列駐車枠の１つであったものが、斜め駐車枠と誤検出された可能性がある。

特開２０１６−１６６８１号公報

駐車区画線や駐車枠の検出は、車両の移動に伴ってダイナミックに実行される。このため、検出タイミングによっては、駐車中の他車両、その他の障害物の存在、自車両、壁、フェンス等の比較的大きな影、木漏れ日、道路照明灯等による光の反射等によって、駐車区画線が不検出となったり、駐車区画線以外の線を駐車区画線として誤検出してしまったりすることがある。この結果、斜め駐車枠の連続性の判定に影響したり、並列駐車枠等を斜め駐車枠と誤認したりして、駐車枠の検出に影響するおそれがある。

そこで、本発明は、駐車区画線及び駐車枠の検出を高精度に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。

前記目的を達成するために、本発明の画像処理装置は、所定タイミングで車両の周囲を撮像する撮像装置から出力される画像信号に基づく画像から線を抽出する線抽出部と、前記線抽出部で抽出された前記線について、所定条件を備えているか否かを判定する追跡判定部と、前記追跡判定部で所定条件を備えていると判定された前記線と、過去の所定タイミングで撮像された画像信号に基づく画像から前記線抽出部を用いて抽出された線との類似度及び一致度を比較する比較部と、前記比較部での比較の結果、前記類似度及び前記一致度が所定値以上となる前記線を、駐車区画線と判定する駐車区画線判定部と、前記駐車区画線判定部で駐車区画線と判定された線を用いて駐車枠を設定する駐車枠設定部と、を備えたことを特徴とする。

このように構成された本発明の画像処理装置では、所定タイミングで撮像された画像から抽出され、所定条件を備えていると判定された線と、過去の所定タイミングで撮像された画像から抽出された線とを比較する。比較の結果、類似度及び一致度が所定以上となる線を、駐車区画線と判定する。そして、駐車区画線と判定された線を用いて駐車枠を設定する。

このことにより、影や駐車中の他車両等の影響で、検出タイミングによって駐車区画線の不検出や誤検出があり、駐車枠を構成する駐車区画線と判定されない線があっても、この線を追跡対象として追跡し続けることで、従来は検出できなかった駐車枠を、適切に検出できる。したがって、駐車区画線及び駐車枠の検出を高精度に行うことが可能となる。

本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。 実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。 実施の形態である画像処理装置の概略構成を示す機能ブロック図である。 実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。 追跡判定部の動作の一例を説明するためのフローチャートであり、（ａ）は線の追跡判定工程、（ｂ）は類似性、一致性の判定（比較）工程、（ｃ）は追跡情報の追加判定（駐車区画線判定）工程を説明するためのフローチャートである。 実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた駐車区画線の一例を示す。 実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像に、検出されたエッジ及び駐車枠を模式的に示した図である。 実施の形態である画像処理装置の動作の一例を説明するための図であり、車両の移動により図６とは異なるタイミングで取得された俯瞰画像に、検出されたエッジ及び駐車枠を模式的に示した図である。 実施の形態である画像処理装置の動作の一例を説明するための図であり、車両の移動により図６、図７とは異なるタイミングで取得された俯瞰画像に、検出されたエッジ及び駐車枠を模式的に示した図である。 追跡判定部の動作の一例を説明するための図であり、車両の移動により図６〜図８とは異なるタイミングで取得された俯瞰画像に、検出されたエッジ及び駐車枠を模式的に示した図である。

（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図２は駐車支援装置の撮像装置の配置位置の一例を示す図である。

図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。

車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。

前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ〜２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ２０ａ〜２０ｄにより、車両Ｖの周囲の路面Ｒを撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ〜２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。

図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２１と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３３とを有する。

カメラＥＣＵ２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラＥＣＵ２１は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。

ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。

車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。

操舵角センサ３３は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３３で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２１が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。

ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワーステアリングアクチュエータ５１を駆動して、車両Ｖの操舵角を制御する。

スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６１を駆動して、車両Ｖのスロットルを制御する。

ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７１を駆動して、車両Ｖのブレーキを制御する。

なお、カメラＥＣＵ２１、車輪速センサ３２及び操舵角センサ３３と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network）８０によって接続される（「ＣＡＮ」は登録商標）。

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ８１によって接続される。

以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２１により主に構成されている。

（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。制御部１１０は、カメラＥＣＵ２１のＣＰＵから主に構成されており、記憶部１２０は、カメラＥＣＵ２１のＲＯＭ、ＲＡＭ、フラッシュメモリ等から主に構成されている。

制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述する線抽出部１１１、駐車区画線検出部１１２、追跡判定部１１３、比較部１１４、駐車区画線判定部１１５、駐車枠設定部１１６等により検出、推定された駐車スペースを区画する駐車区画線や駐車スペースに基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車スペース、駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。

車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３３（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワーステアリングアクチュエータ５１、スロットルアクチュエータ６１及びブレーキアクチュエータ７１（図３ではアクチュエータとのみ図示している）を駆動制御する。

制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

この図３に示すように、制御部１１０は、線抽出部１１１、駐車区画線検出部１１２、追跡判定部１１３、比較部１１４、駐車区画線判定部１１５、駐車枠設定部１１６、車速取得部１１７、斜め駐車枠判定部１１８及び表示制御部１１９を有する。

線抽出部１１１は、車両Ｖの周囲の路面Ｒを撮像するカメラ２０から出力される画像信号に基づいて、エッジ検出により駐車場Ｐ等の路面Ｒ上の駐車区画線Ｋのエッジを検出し、検出したエッジに基づいて線を抽出する。ここでいう駐車区画線Ｋとは、主に路面Ｒ上に設けられた駐車領域を区画する境界線（直線）として描かれた線のことである。図５に、車両Ｖと、この車両Ｖが駐車を行おうとしている駐車場Ｐの路面Ｒ上に描かれた駐車区画線Ｋの一例を示す。駐車区画線Ｋの間が、駐車スペースを表す駐車枠Ａ，Ｂである。図５の例では、車両Ｖの進行方向に対する駐車区画線Ｋ（Ｋ１〜Ｋ５）の角度θ１が９０［deg］よりも小さく、基本的に車両Ｖをバックして駐車する、いわゆる後退駐車を行う駐車枠Ａ１〜Ａ４からなる後退駐車枠群ＡＧと、車両Ｖの進行方向に対する駐車区画線Ｋ（ｋ１〜ｋ５）の角度θ２が９０［deg］よりも大きく（相対角度としては９０［deg］よりも小さい）、基本的に車両Ｖを前進して駐車する、いわゆる前進駐車を行う駐車枠Ｂ（Ｂ１〜Ｂ４）からなる前進駐車枠群ＢＧとが駐車場Ｐに設けられている。

また、図６〜図９は、カメラ２０で撮影された画像信号を合成して生成された俯瞰画像Ｇと、この俯瞰画像Ｇから検出されたエッジを模式的に示した図である。図６〜図９の俯瞰画像Ｇでは、車両Ｖの走行方向に沿う方向をＸ軸とし、走行方向に直交する方向をＹ軸としている。

図６〜図９に示される俯瞰画像Ｇは、カメラ２０ａ〜２０ｄで撮影された画像信号に基づいて、それぞれ車両Ｖを真上から見下ろした俯瞰画像ｇ１，ｇ２，ｇ３，ｇ４に変換して、さらに各俯瞰画像ｇ１を合成して生成された画像である。俯瞰画像Ｇの中心部分には、車両Ｖを真上から見下ろした状態を示すアイコンＩが表示される。

駐車区画線は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、線抽出部１１１によって検出される駐車区画線は、「白線」に限定されるものではなく、一般に、路面Ｒとの間にコントラストを有する境界線を駐車区画線として検出すればよい。

線抽出部１１１は、俯瞰画像Ｇを所定方向に走査（スキャン）して、画像信号に含まれる輝度又は色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって１つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。

なお、走査の方向は、路面Ｒに描かれた駐車区画線Ｋに交差する方向に設定するのが望ましい。すなわち駐車区画線Ｋが車両Ｖの進行方向（図５の矢印参照）と直交する方向、又は図５に示すように斜めに交差する方向に延在しているときには、俯瞰画像Ｇ（図６等参照）上で進行方向（図６等ではＸ軸方向）に沿って走査するのが望ましい。これに対して、駐車区画線Ｋが車両Ｖの進行方向に沿って延在しているときは、俯瞰画像Ｇ上で進行方向と直交する方向（図６等ではＹ軸方向）に走査するのが望ましい。一般には、駐車区画線Ｋが延びている方向は未知であるため、線抽出部１１１は、俯瞰画像Ｇ上で車両Ｖの進行方向及びこれに直交する方向にそれぞれ沿って、２回に分けて走査することが望ましい。

そして、線抽出部１１１は、検出した複数のエッジから、隣り合った画素の輝度差又は色のパラメータ差がプラス方向に所定値よりも大きくなるエッジをプラスエッジ（「立上りエッジ」ともいう）として検出し、隣り合った画素の輝度差又は色のパラメータ差がマイナス方向に所定値よりも大きくなるエッジをマイナスエッジ（「立下がりエッジ」ともいう）として検出する。

ここで、輝度に基づいてエッジを抽出する場合は、輝度が低く暗い画素（例えば黒い画素）から、閾値よりも大きな差を持って輝度が高く明るい画素（例えば白い画素）に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。つまり、走査位置が路面Ｒから駐車区画線と推定されるものに切替わったことを示す。また、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出する。つまり、走査位置が駐車区画線と推定されるものから路面Ｒに切替わったことを示す。

これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面の色のパラメータと、駐車区画線の色のパラメータとを比較する。線抽出部１１１は、色のパラメータの値が大きくなる方向に変化（マイナス方向に変化）した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化（プラス方向に変化）した画素の並びをプラスエッジとして検出する。また、路面よりも駐車区画線の輝度が低い（或いは色のパラメータが大きい）場合は、輝度や色のパラメータの変化は逆転する。いずれの場合でも駐車区画線等の境界線では、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。

線抽出部１１１は、上記走査を複数ライン（行）分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分（画素の並び、画素列）を、プラスエッジの線分として検出する。さらに連続するマイナスエッジで構成される線分（画素列）を、マイナスエッジの線分として検出する。

また、線抽出部１１１は、検出したプラスエッジの線分及びマイナスエッジの線分に対して、基準長さに従って長さによるフィルタリングを行い、基準長さに満たないプラスエッジの線分及びマイナスエッジの線分を破棄してもよい。また、長さに加えて、線分が延びる方向（角度）によってフィルタリングしてもよい。

線抽出部１１１は、検出したプラスエッジの線分及びマイナスエッジの線分の各々の始点及び終点の位置（座標）を算出する。線抽出部１１１は、算出した位置に基づいて、所定間隔かつ所定の角度で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、線を構成するエッジのペアであると判定する。これに対して、ペアの見つからないエッジの線分や、所定の角度以外の方向に延びるエッジの線分等はノイズとして破棄する。

駐車区画線検出部１１２は、線抽出部１１１が線として検出したプラスエッジの線分とマイナスエッジの線分のペアに基づいて、駐車区画線を検出する。より詳細には、駐車区画線検出部１１２は、検出された線のエッジのペアの中から、予め決められた基準長さ以上の長さを有し、かつ予め決められた方向（角度）に延びるプラスエッジの線分及びマイナスエッジの線分のペアを抽出する。抽出したプラスエッジの線分とマイナスエッジの線分の距離を始点等の位置に基づいて算出し、この距離が所定の線幅±閾値の範囲内であれば、駐車区画線を構成するエッジのペアと判定する。駐車区画線検出部１１２は、当該ペアと判定したプラスエッジの線分とマイナスエッジの線分のそれぞれの始点及び終点の位置（座標）を、駐車区画線データ１２４として記憶部１２０の一時記憶部１２３に登録（記憶）する。

駐車区画線検出時の基準長さは、例えば、車両Ｖの車長分（例えば５ｍ）の長さとすることができるが、本実施の形態では、車長よりも短い長さとしている。角度は、車両Ｖの走行方向、画像を撮影したカメラ２０の向き等を考慮した角度としている。図６の場合は、駐車区画線は、走行方向に対して駐車スペースに向かって斜めに延びる直線であるため、角度＝４５°±閾値としている。

図６に、所定の検出タイミングで取得された俯瞰画像Ｇから検出されたプラスエッジを太実線で、マイナスエッジを太破線で模式的に示す。この俯瞰画像Ｇには、後退駐車枠群ＡＧが映っている。以下では、画像処理装置１００によって、後退駐車枠Ａを検出することを想定して説明するが、前進駐車枠群ＢＧの前進駐車枠Ｂの検出にも適用できる。この図６の例では、車両Ｖ（アイコンＩ）の右側の駐車区画線Ｋ１とＫ３（実際には、駐車区画線Ｋ１とＫ３の像）の両側の、Ｘ軸方向における走査元側にプラスエッジの線分Ｅｐ（Ｅｐ１，Ｅｐ３）が検出され、走査先側にマイナスエッジの線分Ｅｍ（Ｅｍ１，Ｅｍ３）が検出された。駐車区画線Ｋ２は、駐車枠Ａ１に駐車している他車両ｖ１によって隠れているため、線として抽出されないか、又は基準長さより短くノイズとして破棄され、この結果、駐車区画線として検出されない。

また、車両Ｖが路面Ｒ上を移動し、図６とは異なる検出タイミング（時間）で図７に示すような俯瞰画像Ｇが取得されたとする。この場合、駐車区画線Ｋ１は、図６の検出タイミングでは駐車区画線として検出されているが、図７のタイミングでは他車両ｖ１に隠れて駐車区画線として検出されない。また、駐車区画線Ｋ２は、図６の検出タイミングでは駐車区画線として検出されていないが、図７の検出タイミングではプラスエッジの線分Ｅｐ２とマイナスエッジの線分Ｅｍ２で構成される駐車区画線として検出されている。この結果、駐車区画線Ｋ２と駐車区画線Ｋ３との間の駐車枠Ａ２は検出されるが、駐車区画線Ｋ１と駐車区画線Ｋ２との間の駐車枠Ａ１は不検出となる。さらには、斜め駐車枠の判定を行った場合、斜め駐車枠としての連続性がないため、駐車枠Ａ２も駐車目標として登録されずに破棄される場合もある。

このような不具合を回避するため、追跡判定部１１３、比較部１１４、駐車区画線判定部１１５によって、線抽出部１１１が抽出したが駐車枠を構成する駐車区画線とされなかった線を追跡（トラッキング）し続け、駐車区画線が他車両ｖ１等によって隠れて不検出となった場合でも、隠れた駐車区画線で区画される駐車枠を検出できるように制御している。

このため、追跡判定部１１３は、所定のタイミングで線抽出部１１１が抽出した線について、所定条件を備えているか否かを判定し、所定条件を備えていると判定した線を、追跡対象の線として抽出する。また、追跡判定部１１３は、抽出した線の情報を記憶部１２０に記憶する。比較部１１４は、追跡判定部１１３により所定条件を備えていると判定された線と、過去の所定タイミングで撮像された画像信号に基づく俯瞰画像Ｇから線抽出部１１１を用いて抽出された線との類似度及び一致度を比較する。駐車区画線判定部１１５は、比較部１１４での比較の結果、類似度及び一致度が所定値以上となる追跡対象の線を、駐車区画線と判定する。

以下、追跡判定部１１３、比較部１１４、駐車区画線判定部１１５の処理の詳細を説明する。追跡判定部１１３は以下の（１）の処理を実行し、比較部１１４は、以下の（２）の処理を実行し、駐車区画線判定部１１５は以下の（３）の処理を実行する。
（１）線の追跡判定
（２）類似性、一致性判定（比較）
（３）追跡情報の追加判定（駐車区画線判定）

（１）線の追跡判定
追跡判定部１１３は、所定範囲の線を追跡候補の線として抽出すべく、以下の条件を満たすか否かを判定（線の追跡判定）する。条件を満たしている線を、追跡対象(トラッキング対象)と判定し、この追跡対象の線の情報（例えば、プラスエッジの線分とマイナスエッジの線分の始点と終点の座標値）を、追跡情報データ１２５として記憶部１２０の一時記憶部１２３に登録する。

・線の長さが所定の長さ（例えば、１．５ｍ相当)以上か。
この条件により、駐車区画線以外の短い線を排除でき、駐車区画線である確実性の高い線を追跡対象として抽出できる。
・線の角度が所定の角度（例えば、６５〜４０［deg］）の範囲内か。
この条件により、例えば斜め駐車枠を構成する線を抽出できる。
・プラスエッジの線分及びマイナスエッジの線分に基づいて算出した線の幅が所定の幅（例えば、８[pixel]≒２４[cm])以内か。
この条件により、駐車区画線の幅のばらつき、レンズの歪みや俯瞰変換等による駐車区画線画像の幅の拡縮を吸収できる。
・プラスエッジの線分及びマイナスエッジの線分の角度差が所定の角度差（例えば、３[deg]）以内か。
この条件により、両エッジの角度に多少の誤差があっても、追跡対象の線として適切に抽出できる。

（２）類似性、一致性判定（比較）
比較部１１４は、検出された駐車区画線と、記憶部１２０に記憶された追跡対象の線の追跡情報データ１２５に対して、「類似しているか」の観点と「一致しているか」の観点の２段階の判定を行う。２段階の判定を行うことで、例えば、異なる検出タイミングで、斜め線の角度が微小に変化して検出された場合であっても、別々の追跡対象の線として登録されることはなく、一つの追跡対象の線として登録され、処理精度や処理速度を向上できる。

［類似性の判定］
比較部１１４は、下記条件をすべて満たすか否かを判定し、条件を満たす場合は類似すると判定し、次の一致性の判定を行う。条件を満たさない場合は類似しないと判定し、次の一致性の判定は行わない。
・追跡候補の線と、追跡情報データとのプラスエッジの線分同士の角度差及びマイナスエッジの線分同士の角度差が、所定の角度差（例えば、１１[deg]）以内か。
・追跡候補の線と、追跡情報データとのプラスエッジの線分及びマイナスエッジの線分のそれぞれの始点の距離差、終点の距離差が所定の距離差（例えば、１２[pixel]≒３６[cm])以内か。

［一致性の判定］
この一致性の判定は、車両Ｖの車速が所定値以下（例えば、０[km/h]）の場合は行わない。これにより、車両Ｖの停車中や所定値以下の低速走行中に、他車両等の立体物による線の誤検出があっても、これらを追跡対象とすることがなく、処理精度を向上できる。車速は、後述の車速取得部１１７によって取得される。

比較部１１４は、下記条件をすべて満たすか否かを判定し、条件を満たす場合に一致すると判定し、検知回数をカウントアップする。条件を満たさない場合は一致しないと判定し、検知回数をカウントアップしない。

・追跡候補の線と、追跡情報データとのプラスエッジの線分同士の角度差及びマイナスエッジの線分同士の角度差が、所定の角度差（例えば、２[deg]）以内か。
・追跡候補の線と、追跡情報データとのプラスエッジの線分及びマイナスエッジの線分のそれぞれの始点の距離差、終点の距離差が所定の距離差（例えば、参考値２[pixel]）以内か。

（３）追跡情報の追加判定（駐車区画線判定）
駐車区画線判定部１１５は、下記条件をすべて満足する場合、追跡対象の線の追跡情報を、駐車区画線として追加対象と判定する。この追跡対象の線の追跡情報を、駐車区画線検出部１１２が検出した駐車区画線に追加すべく、駐車区画線判定部１１５は、駐車区画線データ１２４として記憶部１２０に登録する。以上により、追跡対象の線が他車両ｖ１等に隠れることによって検出されなかった場合でも、当該追跡対象の線を駐車区画線とすることで、駐車枠検出を適切に行える。これに対して、条件を満足しない場合、駐車区画線判定部１１５は、追加対象外と判定し、駐車区画線データ１２４として登録しない。

・追跡対象の線（追跡情報）が、今回の検出タイミング（以下、「本周期」という。）
では駐車区画線として未検知であること。
この条件を満たすことで、俯瞰画像Ｇ上に表示されていて（つまり、隠れずに見えている）、駐車区画線として検出された線と、追跡対象の線との重複を回避できる。
・追跡対象の線としての検知回数が所定回数（例えば、１回）以上あること。
この条件を満たすことで、立体物のエッジを追跡対象の線として検出する等の誤検出を回避できる。
・追跡対象の線の長さ（プラスエッジの線分及びマイナスエッジの線分）が所定長さ（例えば、３０[pixel]≒９０[cm]）以上であること。
この条件を満たすことで、駐車区画線として適切な線のみを駐車区画線として追加登録できる。

上記（１）〜（３）の説明で挙げた長さ、角度、距離差、車速等の値（閾値）は一例であり、これらの数値に限定されることはない。画像解像度、駐車する車両の種類（小型車、普通車、大型車）、駐車区画線の幅、形状（一本線、Ｕ字、Ｔ字、十字等）等に応じて、適宜の値を設定できる。これらはパラメータデータ１２２として、記憶部１２０に更新可能に登録しておけば、駐車区画線の状態や追跡目的に応じて、より適切な処理が可能となる。

駐車枠設定部１１６は、記憶部１２０に駐車区画線データ１２４として登録された駐車区画線のプラスエッジの線分及びマイナスエッジの線分の各ペアに基づいて、駐車枠を推定し、俯瞰画像Ｇ上に設定する。すなわち、駐車枠設定部１１６は、複数のペアのプラスエッジの線分及びマイナスエッジの線分の中から、駐車スペースを構成する可能性のある隣り合う２本のエッジの線分を選択する。ここで選択される２本のエッジの線分は、駐車スペースを仕切る一対の駐車区画線の左右両端を構成する線である。

駐車枠設定部１１６は、選択された２本のエッジの線分の距離（隣り合う駐車区画線の内法寸法）を、各エッジの端点の座標値に基づいて算出し、算出された距離が所定範囲内にあるか判定する。この距離が所定の駐車スペース幅±閾値の範囲内であれば、２本のエッジの線分で仕切られた領域を駐車スペースとして検出する。駐車スペース幅としては、普通自動車や小型貨物車用の駐車スペースであれば２ｍ〜３ｍが望ましい。大型貨物車やバス用の駐車スペースであれば、３．３ｍ以上が望ましい。

駐車枠設定部１１６は、設定した駐車枠の情報、つまり駐車枠を構成する向かい合うプラスエッジの線分の端点とマイナスエッジの線分の端点の座標値を、駐車枠の始点又は終点の座標値とし、この座標値を駐車枠登録データ１２１として記憶部１２０に登録する。このとき、駐車枠の少なくとも２つの始点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠を特定できるが、４点の座標値を登録してもよい。また、駐車区画線Ｋの角度（延在方向）、その他自動駐車処理に必要な情報を駐車枠登録データ１２１に加えることもできる。

また、駐車枠設定部１１６は、設定した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行うこともできる。例えば、駐車スペースに他車両ｖ１や障害物等が存在するときには、駐車ができないと判断して、駐車枠登録データ１２１として記憶部１２０に登録しないようにできる。また、駐車枠設定部１１６は、車両Ｖから近い駐車枠、又は駐車し易い駐車枠を、駐車可能な駐車枠と判定し、駐車枠登録データ１２１として記憶部１２０に登録することもできる。

車速取得部１１７は、車両制御ＥＣＵ４０から車両Ｖの車速を取得する。車両制御ＥＣＵ４０は、例えば、車輪速センサ３２から入力される車輪速を車速に変換し、車速取得部１１７に送出する。又は、車速取得部１１７が、車両制御ＥＣＵ４０から車輪速を取得し、この車輪速を車速に変換してもよい。なお、車速の取得手法がこの例に限定されることはなく、センサも車輪速センサ３２に限定されることはない。これら以外の公知の適宜の手法やセンサ等を用いて車速を取得できる。

斜め駐車枠判定部１１８は、駐車枠設定部１１６により設定された複数の駐車枠が、斜め駐車枠か否かを判定する。この判定は、車両Ｖに対する駐車枠のエッジの延びる角度が、例えば４５±５［deg］（相対角度）の範囲内である場合に、斜め駐車枠であると判定する。或いは、駐車枠が複数連続して設定され、各駐車枠の互いの相対角度、プラスエッジの線分の始点とマイナスエッジの線分の始点の位置等を比較し、所定範囲内で一致しているときに、これら複数の駐車枠を斜め駐車枠（斜め駐車枠群）と判定する。これらは一例であり、他の手法によって斜め駐車枠を判定してもよい。

斜め駐車枠判定部１１８によって斜め駐車枠であると判定されない場合には、誤検知の可能性があるため、駐車枠として登録しないようにする。又は、駐車枠の幅、長さ、角度に基づいて、車両Ｖに対して略垂直に延びる並列駐車枠又は車両Ｖに対して略平行に延びる縦列駐車枠であると判定する。

表示制御部１１９は、モニター３１に画像を表示させるための表示制御信号を、ナビゲーション装置３０に送出し、モニター３１を制御する。具体的には、表示制御部１１９は、カメラ２０により撮像された車両Ｖ周辺の路面画像又はこれらを合成した信号に基づく俯瞰画像Ｇをモニター３１に表示させるための表示制御信号を送出する。また、駐車枠設定部１１６により表示対象として選択された駐車枠を示す駐車枠画像（例えば、図７に仮想線で示す駐車枠Ａ１，Ａ２等）を、路面画像又は俯瞰画像Ｇに重畳して表示させるための表示制御信号を送出することもできる。

なお、線抽出部１１１による線抽出処理、駐車区画線検出部１１２による駐車区画線検出処理、追跡判定部１１３による追跡判定処理、比較部１１４による比較処理、駐車区画線判定部１１５による駐車区画線判定処理、駐車枠設定部１１６による駐車枠設定処理、斜め駐車枠判定部１１８による斜め駐車枠判定処理、及び表示制御部１１９による表示制御処理は、車両Ｖが走行してカメラ２０で撮影される画像が更新されるたびに実行される。このため、影等や他車両ｖ１，ｖ２等の立体物によって隠れ、駐車区画線が不検出となっても、この不検出の駐車区画線が、過去に検出されて追跡情報として登録されていれば、駐車区画線に追加され、駐車枠を適切に設定できる。

記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。

また、前述したように、記憶部１２０には、駐車枠登録データ１２１、パラメータデータ１２２が非一時的に登録される。駐車枠登録データ１２１は、車両制御ＥＣＵ４０等で参照される。パラメータデータ１２２として、閾値、駐車区画線の基準長さ、駐車スペース幅及びその閾値等を登録できる。さらに、駐車区画線の幅、延びる方向の角度等、画像処理装置１００が使用する様々なパラメータを登録できる。また、駐車支援装置１が使用される国、地域、駐車スペース（駐車枠）の形状や大きさ等に対応して、複数のパラメータを登録し、適切なパラメータを選択する構成とすることもできる。

また、記憶部１２０の一時記憶部１２３には、駐車区画線データ１２４、追跡情報データ１２５が一時的に登録される。前述したように、駐車区画線データ１２４には、駐車区画線のプラスエッジの線分とマイナスエッジの線分のそれぞれの始点と終点の位置（座標値）が、検出した駐車区画線ごとに登録される。追跡情報データ１２５には、追跡対象の線のプラスエッジの線分とマイナスエッジの線分のそれぞれの始点と終点の位置（座標値）と、線として検出された検知回数が、検出した追跡対象の線ごとに登録される。

（画像処理装置の動作）
次に、本実施の形態である画像処理装置１００の動作の一例を図４Ａ、図４Ｂのフローチャートを参照しながら説明する。

図４Ａ、図４Ｂは画像処理装置１００の動作を説明するためのフローチャートである。これらの図のフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。

ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖ周囲の路面Ｒの画像信号を取得する。

ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成して生成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（図６等の「俯瞰画像Ｇ」参照。）をナビゲーション装置３０のモニター３１に表示させるための信号である。このような俯瞰画像を表示するための信号を生成する技術は公知であり、一例として、特開平３−９９９５２号公報や特開２００３−１１８５２２号公報に開示された技術が知られている。表示制御部１１９は、俯瞰画像Ｇをモニター３１に表示させるための表示制御信号を、ナビゲーション装置３０に送出する。これにより、運転手がモニター３１で俯瞰画像Ｇを視認できる。

なお、ステップＳ２において、俯瞰画像Ｇを表示するための信号合成作業を行わず、あるいは、次のステップＳ３におけるプラスエッジとマイナスエッジの抽出の後にステップＳ２における信号合成作業を行うこともできる。しかしながら、信号合成作業を行ってからステップＳ３の処理を行うほうが、画像処理装置１００の処理負担を低減できる。

ステップＳ３（エッジ検出工程）では、前述したように、線抽出部１１１がステップＳ２で合成した俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度に基づいて、画像中のプラスエッジ及びマイナスエッジを抽出する。

図６等に示す例では、線抽出部１１１は、俯瞰画像Ｇを、Ｘ軸正方向に向けて走査し、画像中のプラス（＋）エッジ及びマイナス（−）エッジを検出していく。なお、Ｘ軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、線抽出部１１１は、画像信号に含まれる色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ（階調）の変化に基づいてこれらを検出する。

また、線抽出部１１１は、検出したプラスエッジ及びマイナスエッジについて、前述したように基準長さに基づいてフィルタリングを行う。これにより、路面上での光の反射や、ゴミや汚れ等によるノイズとなる短いエッジが破棄される。このフィルタリングは、次のステップＳ４のペアの抽出の後に行うこともできるが、ペアの抽出の前に行ってノイズを除去することで、画像処理を高速化できる。

次のステップＳ４（線抽出工程）では、線抽出部１１１は、所定間隔かつ所定の角度で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、線を構成するエッジのペアであると判定する。これに対して、ペアの見つからないエッジの線分はノイズとして破棄する。

次のステップＳ５（駐車区画線検出工程）で、駐車区画線検出部１１２が、ステップＳ４で検出された複数のエッジのペアに対して、駐車区画線を構成するエッジのペアであるか判定する。駐車区画線検出部１１２は、ペアと判定したプラスエッジの線分とマイナスエッジの線分のそれぞれの始点及び終点の位置（座標値）を、駐車区画線データ１２４として記憶部１２０の一時記憶部１２３に登録する。

次に、ステップＳ６〜Ｓ８の処理を順次実行するが、これらの処理は、ステップＳ５の処理を行った後に行うこともできるし、ステップＳ５の処理と並行に行うこともできる。

ステップＳ６（線の追跡判定工程）の詳細を、図４Ｂ（ａ）を参照しながら説明する。この図４Ｂ（ａ）に示すように、線の追跡判定工程では、追跡判定部１１３がステップＳ２１〜Ｓ２５の線の追跡判定のループ処理を実行する。このステップＳ２１〜Ｓ２５の処理は、ステップＳ４で抽出したすべての線に対して処理を行ったと判定したときに終了する。

ステップＳ２１で、追跡判定部１１３は、処理対象の線を一つ選択し、ステップＳ２２で、上記（１）で挙げた条件を満たしているか否かを判定する。条件を満たしている場合は、追跡判定部１１３は当該線を追跡対象と判定し（ステップＳ２３の判定がＹＥＳ）、ステップＳ２４へと進む。条件を満たしていない場合は、追跡判定部１１３は当該線を追跡対象外と判定し（ステップＳ２３の判定がＮＯ）、ステップＳ２４をスキップし、ステップＳ２５へと進む。

ステップＳ２４では、追跡判定部１１３は、追跡対象と判定した線の情報（プラスエッジの線分とマイナスエッジの線分のそれぞれの始点と終点の座標値）を、追跡情報データ１２５として記憶部１２０の一時記憶部１２３に登録する。その後、ステップＳ２５へと進む。

ステップＳ２５では、追跡判定部１１３は、次の処理すべき線があるか判定する。処理すべき線がある場合は、ステップＳ２１へ戻り、次の線を選択して、ステップＳ２２以降の処理を行う。処理すべき線がない場合は、ループを終了して、図４Ａに戻り、ステップＳ７へと進む。

ステップＳ７（類似性、一致性判定工程）の詳細を、図４Ｂ（ｂ）を参照しながら説明する。この図４Ｂ（ｂ）に示すように、類似性、一致性の判定工程（比較工程）では、比較部１１４がステップＳ３１〜Ｓ３８の類似性、一致性判定のループ処理を実行する。このステップＳ３１〜Ｓ３８の処理は、ステップＳ６で抽出したすべての追跡対象の線に対して処理を行ったと判定したときに終了する。

ステップＳ３１で、比較部１１４は、処理対象の追跡対象の線を一つ選択し、ステップＳ３２（類似性判定工程）で、当該追跡対象の線が、上記（２）で挙げた類似性の条件を満たしているか否かを判定する。条件を満たしている場合は、比較部１１４は類似すると判定し（ステップＳ３３の判定がＹＥＳ）、ステップＳ３４へと進む。条件を満たしていない場合は、比較部１１４は類似しないと判定し（ステップＳ３３の判定がＮＯ）、ステップＳ３４〜ステップＳ３７をスキップし、ステップＳ３８へと進む。

ステップＳ３４では、車両Ｖが移動しているか停車しているか判定すべく、比較部１１４は、車速＞０km/hを満たすか否かを判定する。比較部１１４が車速＞０km/hである（ステップＳ３４の判定がＹＥＳ）、つまり車両Ｖが移動していると判定したときは、プログラムはステップＳ３５へと進む。比較部１１４が車速＞０km/hでない（ステップＳ３４の判定がＮＯ）、つまり車両Ｖが停止していると判定したときは、一致性の判定を行わないように、ステップＳ３５〜ステップＳ３７をスキップし、ステップＳ３８へと進む。

ステップＳ３５（一致性の判定工程）では、比較部１１４は、当該線が、上記（２）で挙げた一致性の条件を満たしているか否かを判定する。条件を満たしている場合は、比較部１１４は一致すると判定し（ステップＳ３６の判定がＹＥＳ）、ステップＳ３７へと進む。条件を満たしていな場合は、比較部１１４は一致しないと判定し（ステップＳ３６の判定がＮＯ）、ステップＳ３７をスキップし、ステップＳ３８へと進む。

ステップＳ３７では、比較部１１４は、類似性があり、かつ一致性があると判定された追跡対象の線の検知回数をカウントアップして追跡情報データ１２５を更新し、ステップＳ３８へと進む。

ステップＳ３８では、比較部１１４は、次の処理すべき追跡対象の線があるか判定する。比較部１１４が処理すべき追跡対象の線があると判定した場合は、ステップＳ３１へ戻り、次の追跡対象の線を選択して、ステップＳ３２以降の処理を行う。比較部１１４が処理すべき追跡対象の線がないと判定した場合は、ループを終了して、図４Ａに戻り、ステップＳ８へと進む。

ステップＳ８（追跡情報の追加判定工程）の詳細を、図４Ｂ（ｃ）を参照しながら説明する。この図４Ｂ（ｃ）に示すように、追跡情報の追加判定工程（駐車区画線判定工程）では、駐車区画線判定部１１５がステップＳ４１〜Ｓ４５の追跡情報の追加判定ループ処理を実行する。このステップＳ４１〜Ｓ４５の処理は、一時記憶部１２３に追跡情報データ１２５が登録されているすべての追跡対象の線に対して処理を行ったと判定したときに終了する。

ステップＳ４１で、駐車区画線判定部１１５は、一時記憶部１２３から処理対象の一つの追跡対象の線の追跡情報データ１２５を取得し、ステップＳ４２（追加判定工程）で、当該追跡対象の線を駐車区画線として追加対象か否かを判定する。具体的には、駐車区画線判定部１１５は、上記（３）で挙げた条件を満たしているか否かを判定し、条件を満たしている場合は当該線を追加対象と判定し（ステップＳ４３の判定がＹＥＳ）、ステップＳ４４へと進む。条件を満たしていない場合は、駐車区画線判定部１１５は当該線を追加対象外と判定し（ステップＳ４３の判定がＮＯ）、駐車区画線として追加しないように、ステップＳ４４をスキップし、ステップＳ４５へと進む。

ステップＳ４４では、駐車区画線判定部１１５は、追跡対象の線の追跡情報（プラスエッジの線分とマイナスエッジの線分のそれぞれの始点と終点の座標値）を、駐車区画線データ１２４として記憶部１２０に追加登録する。

ステップＳ４５では、駐車区画線判定部１１５は、次の処理すべき追跡対象の線があるか判定する。駐車区画線判定部１１５が処理すべき追跡対象の線があると判定した場合は、ステップＳ４１へ戻り、次の追跡対象の線を選択して、ステップＳ４２以降の処理を行う。駐車区画線判定部１１５が処理すべ追跡対象の線がないと判定した場合は、ループを終了して、図４Ａに戻り、ステップＳ９へと進む。

ステップＳ９（駐車枠設定工程）では、駐車枠設定部１１６が、一時記憶部１２３に登録されている駐車区画線データ１２４に基づいて、前述したような手順で駐車枠及び駐車スペースを検出する。一時記憶部１２３には、ステップＳ５で駐車区画線検出部１１２が検出して登録した駐車区画線データ１２４と、ステップＳ８で駐車区画線判定部１１５が追加登録した駐車区画線データ１２４が登録されている。よって、駐車枠設定部１１６は、本周期で検出された駐車区画線に加え、本周期では影等によって検出されなかったが、過去に検出された追跡対象の線から追加登録された駐車区画線に基づいて、駐車枠を適切に設定できる。駐車枠設定部１１６は、設定した駐車枠の情報（駐車枠の４つの端点の座標値）を、一時記憶部１２３等に一時的に記憶する。

次のステップＳ１０（斜め駐車枠の判定工程）では、斜め駐車枠判定部１１８が、前述した手法により、ステップＳ９で設定した駐車枠が斜め駐車枠か否かを判定する。次いで、ステップＳ１１へと進み、駐車枠設定部１１６は、ステップＳ９で設定した駐車枠（駐車スペース）の情報を、駐車枠登録データ１２１として記憶部１２０に登録する。具体的には、駐車枠設定部１１６は、駐車枠を構成する向かい合うプラスエッジの線分の端点とマイナスエッジの線分の端点の座標値を、駐車枠の始点又は終点の座標値として記憶部１２０に登録する。このとき、ステップＳ１０で斜め駐車枠であると判定した場合には、駐車枠設定部１１６は、斜め駐車枠の情報（例えば、角度等）を駐車枠登録データ１２１に加えて登録する。また、複数の駐車枠のうち、一部のみ斜め駐車枠でないと判定された場合等には、斜め駐車枠として適切に検知されなかった可能性があるため、駐車枠設定部１１６は、当該駐車枠を登録しないようにする。

この他にも、自動駐車処理に必要な情報を駐車枠登録データ１２１に加えることもできる。また、表示制御部１１９は、駐車枠の画像を俯瞰画像Ｇに重畳して表示するための制御信号を、ナビゲーション装置３０へ送出してもよい。これにより、運転手がモニター３１で駐車枠を視認でき、駐車目標を適切に定めることができる。また、例えば、他車両等に隠れて運転手が直接に視認できない駐車枠も俯瞰画像Ｇ上に表示したり、駐車目標として設定したりすることが可能となり、駐車支援性能を向上できる。

以上の画像処理装置の動作を、図６〜図９を参照しながら、より具体的に説明する。まず、図６に示す検出タイミングでは、ステップＳ１、Ｓ２の処理により、カメラ２０からの画像信号が合成された信号に基づき、モニター３１に俯瞰画像Ｇが表示される。次のステップＳ３〜Ｓ５の処理を実行することで、プラスエッジの線分Ｅｐ１とマイナスエッジの線分Ｅｍ１のペア（以下、単に「エッジＥｐ１とＥｍ１のペア」等という。）で構成される駐車区画線Ｋ１と、エッジＥｐ３とＥｍ３のペアで構成される駐車区画線Ｋ３とが検出される。これに対して、駐車区画線Ｋ２は、一部が他車両ｖ１に隠れているため、駐車区画線として検出されない。

そして、ステップＳ６の処理により、駐車区画線Ｋ１と駐車区画線Ｋ３とが、追跡対象の線と判定され、追跡情報データ１２５として一時記憶部１２３に記憶される。ステップＳ７の類似性、一致性判定に進むが、駐車区画線Ｋ１と駐車区画線Ｋ３とは駐車区画線として検出され、追跡対象の線としても抽出されているため、類似性、一致性があると判定され、検知回数が１回にカウントアップされる。また、ステップＳ８の追跡情報の追加判定に進むが、駐車区画線Ｋ１と駐車区画線Ｋ３が本周期で検出されているため、追加対象外となり、駐車区画線として追加登録されない。このため、重複登録を回避できる。しかし、駐車区画線Ｋ２が検出されていないので、次のステップＳ９で駐車枠Ａ１もＡ２も検出されず、ステップＳ１０でも斜め駐車枠と判定されず、ステップＳ１１で駐車枠の登録もされない。

車両Ｖの移動により、図７に示す俯瞰画像Ｇが取得された検出タイミングでは、エッジＥｐ２とＥｍ２のペアで構成される駐車区画線Ｋ２と、エッジＥｐ３とＥｍ３のペアで構成される駐車区画線Ｋ３が検出される。また、これらは、追跡対象の線と判定され、追跡情報データ１２５として一時記憶部１２３に記憶される。これに対して、他車両ｖ１に隠れた駐車区画線Ｋ１は、駐車区画線として検出されず、追跡対象の線としても判定されない。ステップＳ７の類似性、一致性判定では、駐車区画線Ｋ２と駐車区画線Ｋ３と同じ追跡対象の線が類似性、一致性ありと判定され、検知回数がカウントアップされる（駐車区画線Ｋ２は１回、Ｋ３は２回）。駐車区画線Ｋ１については、本周期で検出されていないため、類似性、一致性がなく、検知回数はカウントアップされない（１回のまま）。

次のステップＳ８の追加判定において、駐車区画線Ｋ１が本周期では駐車区画線として未検出であり、かつ、検知回数が所定以上（１回）である。このため、駐車区画線Ｋ１に対応する追跡対象の線が、駐車区画線Ｋ１として、一時記憶部１２３に追加登録される。これに対して、駐車区画線Ｋ２，Ｋ３が本周期で駐車区画線として検出されているので、これらに対応する追跡対象の線は、登録対象外となる。よって、重複登録を回避できる。したがって、本周期で駐車区画線Ｋ１が未検出であっても、駐車区画線に追加され、ステップＳ９にて駐車区画線Ｋ１，Ｋ２，Ｋ３に基づいて、駐車枠Ａ１，Ａ２が設定される。

同様にして、図８に示す検出タイミングでは、エッジＥｐ１とＥｍ１、Ｅｐ２とＥｍ２、Ｅｐ３とＥｍ３の各ペアで構成される駐車区画線Ｋ１，Ｋ２，Ｋ３が駐車区画線として検出され、かつ追跡対象の線と判定される。これに対して、駐車区画線Ｋ４は、他車両ｖ２に隠れているため、駐車区画線として検出されず、追跡対象の線と判定されない。また、駐車区画線Ｋ１と駐車区画線Ｋ２の検知回数は２回にカウントアップされ、駐車区画線Ｋ３の検知回数は３回にカウントアップされる。また、本周期で駐車区画線Ｋ１，Ｋ２，Ｋ３が検出されているため、駐車区画線として追加登録されない。したがって、駐車区画線Ｋ１，Ｋ２，Ｋ３に基づいて、駐車枠Ａ１，Ａ２が設定される。

更に車両Ｖが移動し、図９に示す検出タイミングでは、エッジＥｐ２とＥｍ２、Ｅｐ４とＥｍ４、Ｅｐ５とＥｍ５の各ペアで構成される駐車区画線Ｋ２，Ｋ４，Ｋ５が駐車区画線として検出されて、かつ追跡対象の線と判定される。これに対して、駐車区画線Ｋ３は、他車両ｖ２に隠れ、駐車区画線として検出されず、追跡対象の線とも判定されない。駐車区画線Ｋ１，Ｋ３は、本周期で未検出であるので、類似性、一致性がなく、検知回数はカウントアップされない。次の追加判定では、駐車区画線Ｋ１，Ｋ３は本周期で未検出であり、かつ、検知回数が所定以上であるため、駐車区画線として追加登録される。一方、駐車区画線Ｋ２，Ｋ４，Ｋ５は、駐車区画線としても検出され、追跡対象の線と判定されるため、類似性、一致性があるとして、検知回数がカウントアップされるが、本周期で駐車区画線として検出されているため、追加対象外となる。よって、駐車区画線Ｋ２，Ｋ３，Ｋ４，Ｋ５に基づいて、駐車枠Ａ２，Ａ３，Ａ４が設定される。なお、駐車区画線Ｋ１は、俯瞰画像Ｇ上から消えているが、駐車区画線として追加登録されているので、プログラム上は、駐車区画線Ｋ１とＫ２の間にも駐車枠Ａ１が設定される。

（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、線抽出部１１１が所定タイミングで車両Ｖの周囲を撮像するカメラ２０から出力される画像信号に基づく俯瞰画像Ｇから線を抽出する。駐車区画線検出部１１２は、線抽出部１１１が抽出した線に基づいて駐車区画線Ｋを検出する。追跡判定部１１３は、線抽出部１１１で抽出された線について、所定条件を備えているか否かを判定する。比較部１１４は、追跡判定部１１３で所定条件を備えていると判定された線と、過去の所定タイミングで撮像された画像信号に基づく俯瞰画像Ｇから線抽出部１１１を用いて抽出された線との類似度及び一致度を比較する。駐車区画線判定部１１５は、比較部１１４での比較の結果、類似度及び一致度が所定値以上となる線を、駐車区画線と判定する。駐車枠設定部１１６は、駐車区画線判定部１１５で駐車区画線と判定された線を用いて駐車枠を設定する。

したがって、影、光の反射、駐車中の他車両、障害物の存在等の影響により、検出タイミングによって対となる駐車区画線の不検出や誤検出があり、駐車枠を構成する駐車区画線Ｋと判定されない線があっても、この線を追跡対象の線として記憶部１２０に記憶し続けて追跡（トラッキング）することで、当該追跡対象の線を利用して、従来は検出できなかった駐車枠を、適切に検出できる。この結果、駐車区画線Ｋ及び駐車枠の検出を高精度に行うことが可能な画像処理装置１００及び画像処理方法を提供できる。

また、この画像処理装置１００又は画像処理方法を備えることで、駐車枠の検出を高精度に行うことが可能な駐車支援装置、駐車支援方法を提供できる。

また、本実施の形態では、車両Ｖの車速を取得する車速取得部１１７、を備えている。車速取得部１１７が取得した車速が所定値以下の場合、比較部１１４は一致度の判定を行わない。これにより、追跡情報に関する判定をより高精度、かつより高速に行える。この結果、駐車区画線及び駐車枠の検出を、より高精度かつより高速に行える。

また、本実施の形態では、駐車枠設定部１１６が設定した駐車枠が、斜め駐車枠であるか否かを判定する斜め駐車枠判定部１１８、を備えている。これにより、斜め駐車枠を検出して、斜め駐車枠への駐車支援をより円滑に行える。また、本実施の形態では、線を追跡することで、影や障害物等によって隠れた駐車区画線を検出でき、駐車区画線及び駐車枠の検出を高精度に行えるため、斜め駐車枠判定部１１８が斜め駐車枠の判定をする際に使用する情報量が増える。よって、斜め駐車枠の判定精度を向上できる。

また、本実施の形態では、駐車枠設定部１１６で設定された駐車枠を示す駐車枠画像を、俯瞰画像Ｇに重畳して表示するようにモニター３１を制御する表示制御部１１９、を備えている。これにより、運転手がモニター３１で駐車枠を視認することができ、より円滑な駐車支援が可能となる。

また、本実施の形態では、線抽出部１１１は、俯瞰画像Ｇを所定方向に走査し、画像信号に含まれる輝度又は色のパラメータが閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出し、エッジに基づいて前記線を抽出する。これにより、駐車区画線や、追跡対象の線を、より高精度に検出できる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、上述の実施の形態である画像処理装置１００では、画像の輝度や色のパラメータ（例えば、ＲＧＢ、ＲＧＢＡ等）の情報の変化の大きさ及び変化の方向（プラス方向又はマイナス方向）に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。

また、上述の実施形態である画像処理装置１００では、駐車場Ｐに斜め駐車枠が設けられている場合を想定しているが、駐車枠が斜め駐車枠に限定されることはない。パラメータデータ１２２の駐車区画線の角度、駐車枠の幅等を適宜変更することで、車両Ｖに対して略垂直に延びる並列駐車枠、車両Ｖに対して略平行に延びる縦列駐車枠にも適用でき、これらの駐車枠が影等によって隠れた場合にも、不検出や誤検出を抑制して、駐車枠を高精度に検出可能となる。

２０ カメラ（撮像装置） ２０ａ 前方カメラ（撮像装置）
２０ｂ 後方カメラ（撮像装置） ２０ｃ 左側方カメラ（撮像装置）
２０ｄ 右側方カメラ（撮像装置） ３１ モニター（表示部）
１００ 画像処理装置 １１１ 線抽出部
１１２ 駐車区画線検出部 １１３ 追跡判定部
１１４ 比較部 １１５ 駐車区画線判定部
１１６ 駐車枠設定部 １１７ 車速取得部
１１８ 斜め駐車枠判定部 １１９ 表示制御部
Ｋ 駐車区画線 Ｇ 俯瞰画像（画像）
Ｖ 車両

Claims (6)

1. 所定タイミングで車両の周囲を撮像する撮像装置から出力される画像信号に基づく画像から線を抽出する線抽出部と、
   前記線抽出部で抽出された前記線について、所定条件を備えているか否かを判定する追跡判定部と、
   前記追跡判定部で所定条件を備えていると判定された前記線と、過去の所定タイミングで撮像された画像信号に基づく画像から前記線抽出部を用いて抽出された線との類似度及び一致度を比較する比較部と、
   前記比較部での比較の結果、前記類似度及び前記一致度が所定値以上となる前記線を、駐車区画線と判定する駐車区画線判定部と、
   前記駐車区画線判定部で駐車区画線と判定された線を用いて駐車枠を設定する駐車枠設定部と、
   を備えたことを特徴とする画像処理装置。
2. 前記車両の車速を取得する車速取得部、を備え、前記車速取得部が取得した前記車速が所定値以下の場合、前記比較部は一致度の判定を行わないことを特徴とする請求項１に記載の画像処理装置。
3. 前記駐車枠設定部が設定した前記駐車枠が、斜め駐車枠であるか否かを判定する斜め駐車枠判定部、を備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記駐車枠設定部で設定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部、を備えたことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記線抽出部は、前記画像を所定方向に走査し、前記画像信号に含まれる輝度又は色のパラメータが閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出し、前記エッジに基づいて前記線を抽出することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 所定タイミングで車両の周囲を撮像する撮像装置から出力される画像信号に基づく画像から線を抽出する線抽出工程、
   前記線抽出工程で抽出された前記線について、所定条件を備えているか否かを判定する追跡判定工程と、
   前記追跡判定工程で所定条件を備えていると判定された前記線と、過去の所定タイミングで撮像された画像信号に基づく画像から前記線抽出工程を用いて抽出された線との類似度及び一致度を比較する比較工程と、
   前記比較工程での比較の結果、前記類似度及び前記一致度が所定値以上となる前記線を、駐車区画線と判定する駐車区画線判定工程と、
   前記駐車区画線判定工程で駐車区画線と判定された前記線を用いて駐車枠を設定する駐車枠設定工程と、
   を含むことを特徴とする画像処理方法。

Images