JP2020095623A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】適切な停車位置を決定することができる画像処理装置および画像処理方法を提供する。【解決手段】駐車支援システムにおいて、画像処理装置の停車位置決定部は、抽出部と、検出部と、決定部とを備える。抽出部は、駐車枠を含む撮像画像の中から水平方向へエッジ点が連続した水平エッジ線を抽出する。検出部は、抽出部によって抽出された水平エッジ線に基づき、駐車枠における停車位置の指標となる立体指標を検出する。決定部は、検出部によって検出された立体指標に複数の水平エッジ線が垂直方向に並んで位置している場合、垂直方向における最も上側に位置する水平エッジ線を除く任意の水平エッジ線を立体指標の上端とみなして停車位置を決定する。【選択図】図３

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲を撮像した撮像画像から車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像画像から駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。

また、画像処理装置は、駐車枠における停車位置を決定するために、例えば、縁石や、輪留め等といった立体指標を検知し、かかる立体指標に基づいて停車位置を決定する。

特開２０１７−８７７５８号公報

しかしながら、従来技術では、適切な停車位置を決定する点で改善の余地があった。具体的には、例えば、縁石や輪留めの下端に落ち葉等が堆積していた場合、かかる立体指標の下端を検出できず、立体指標までの測距誤差が生じるおそれがあった。

本発明は、上記に鑑みてなされたものであって、適切な停車位置を高精度に決定することができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、抽出部と、検出部と、決定部とを備える。前記抽出部は、駐車枠を含む撮像画像の中から水平方向へエッジ点が連続した水平エッジ線を抽出する。前記検出部は、前記抽出部によって抽出された前記水平エッジ線に基づき、前記駐車枠における停車位置の指標となる立体指標を検出する。前記決定部は、前記検出部によって検出された前記立体指標に複数の前記水平エッジ線が垂直方向に並んで位置している場合、前記垂直方向における最も上側に位置する前記水平エッジ線を除く任意の前記水平エッジ線を前記立体指標の上端とみなして前記停車位置を決定する。

本発明によれば、適切な停車位置を決定することができる。

図１Ａは、実施形態に係る画像処理方法の概要を示す図である。 図１Ｂは、実施形態に係る画像処理方法の概要を示す図である。 図１Ｃは、実施形態に係る画像処理方法の概要を示す図である。 図２は、画像処理装置の構成例を示す機能ブロック図である。 図３は、停車位置決定部の構成例を示す機能ブロック図である。 図４は、指標識別情報の一例を示す図である。 図５は、決定部の処理内容を示す図である。 図６は、決定部の処理内容を示す図である。 図７は、決定部の処理内容の他の例を示す図である。 図８は、画像処理装置が実行する全体処理の手順を示すフローチャートである。 図９は、画像処理装置が実行する停車位置決定処理の手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａ〜図１Ｃを用いて実施形態に係る画像処理方法の概要について説明する。図１Ａ〜図１Ｃは、実施形態に係る画像処理方法の概要を示す図である。図１Ａ〜図１Ｃでは、実施形態に係る画像処理装置１が実施形態に係る画像処理方法を実行することで、駐車枠における停車位置を決定する場合を例に挙げて説明する。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、実施形態に係る画像処理方法を実行する。具体的には、まず、実施形態に係る画像処理装置１は、車載カメラ１０によって撮像された撮像画像に基づいて駐車枠ＰＳを検出する。駐車枠ＰＳとは、車両Ｃが停車する領域であり、車両を１台毎に区画する区画線Ｌｓによって構成される領域である。なお、図１では、駐車枠ＰＳは、車両Ｃが停車した場合における車幅方向を区画し、車両Ｃの側面に沿って延在する区画線Ｌｓ（車幅側の区画線）および車両Ｃの長さ方向を区画し、車幅方向に延在する区画線Ｌｓ（長さ側の区画線）により４方が囲まれた駐車枠ＰＳを示す。なお、駐車枠ＰＳは、長さ側の区画線Ｌｓが無く、車幅側の区画線Ｌｓのみで構成される駐車枠ＰＳであってもよい。また、駐車枠ＰＳは、車両Ｃの長さ方向を区画する手前側の区画線Ｌｓが無く、車幅側の区画線Ｌｓおよび車両Ｃの長さ方向を区画する奥側の区画線Ｌｓで構成されるコ字型の駐車枠ＰＳであってもよい。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

また、図１Ａに示すように、駐車枠ＰＳには、停車位置の指標となる白線や立体物（以下、白線を含めて立体指標とする）である輪留めＬＰが配置されている。なお、立体指標は、輪留めＬＰに限定されるものではなく、縁石や白線である区画線Ｌｓ等であってもよい。実施形態に係る画像処理装置１は、かかる立体指標を検出し、立体指標の位置に基づいて停車位置を決定する。輪留めＬＰの検出は、例えば、撮像画像から得られるエッジ点のうち、水平方向（車幅方向）へエッジ点が連続した水平エッジ線に基づいて行う。

例えば、図１Ｂに示すように、画像処理装置１は、立体指標が輪留めＬＰの場合、バック駐車する車両Ｃにおいて、輪留めＬＰの下端に対応する下端位置ＢＤに車両Ｃの後輪が配置されるように停車位置を決定する。

ところで、従来技術では、適切な停車位置を決定する点で改善の余地があった。具体的には、従来は、輪留めの下端に落ち葉等の遮蔽物が堆積していた場合、輪留めの下端となる水平エッジ線を検出できないことで、輪留めまでの測距誤差が生じるおそれがあった。例えば、輪留めの下端が検出できなかった場合、輪留めの上端となる水平エッジ線を下端とみなして測距してしまい、本来の輪留めの位置よりも奥側の位置を停車位置として決定してしまうおそれがあった。

そこで、実施形態に係る画像処理方法では、輪留めＬＰを構成する水平エッジ線を下端とみなすのではなく、上端とみなして測距を行う。ここで、図１Ｃを用いて、実施形態に係る画像処理方法の具体例について説明する。

図１Ｃの上段に示すように、まず、画像処理装置１は、駐車枠ＰＳおよび輪留めＬＰを含む撮像画像Ｉを取得する。なお、撮像画像Ｉにおける輪留めＬＰの下端には、落ち葉等の遮蔽物２００が堆積していることとする。

つづいて、図１Ｃの中段に示すように、画像処理装置１は、撮像画像Ｉに対してエッジ抽出処理を行い、撮像画像Ｉの中から水平方向へエッジ点が連続した水平エッジ線ＨＬ２，ＨＬ３を抽出する。なお、図１Ｃの中段では、実際には輪留めＬＰの下端に対応する水平エッジ線ＨＬ１が遮蔽物２００により未検出であることとする。

そして、画像処理装置１は、例えば、複数の水平エッジ線ＨＬ２，ＨＬ３が所定の立体指標パターンである場合に、複数の水平エッジ線ＨＬ２，ＨＬ３を輪留めＬＰとして検出する。なお、輪留めＬＰを含む立体指標の詳細な検出方法については後述する。

そして、図１Ｃの下段に示すように、画像処理装置１は、検出した輪留めＬＰに複数の水平エッジ線ＨＬ２，ＨＬ３が垂直方向に並んで位置している場合、垂直方向における最も上側に位置する水平エッジ線ＨＬ２を除く、任意の水平エッジ線（例えば、水平エッジ線ＨＬ３）を輪留めＬＰの上端とみなして、下端を予測し、予測した下端に基づいて停車位置を決定する。

つまり、実施形態に係る画像処理方法では、輪留めＬＰの下端が未検出であることを前提とし、最も上側の水平エッジ線ＨＬ２を除く任意の水平エッジ線ＨＬ３を上端と仮定して測距を行う。これにより、従来のような輪留めの上端を下端とみなすことで停車位置を誤り輪留めＬＰに乗り上げることを回避できる。従って、実施形態に係る画像処理方法によれば、適切な停車位置を決定することができる。

なお、実施形態に係る画像処理方法では、輪留めＬＰの下端が未検出であることを前提にしているが、輪留めＬＰの下端に対応する水平エッジ線ＨＬ１が検出されることも想定される。かかる場合、画像処理装置１は、水平エッジ線ＨＬ１を上端とみなして測距する。これにより、停車位置が輪留めＬＰよりも手前側となるため、駐車時において車両Ｃが輪留めＬＰに乗り上げてしまう状況を精度良く回避することができる。

なお、以下で、水平エッジ線ＨＬ１〜ＨＬ３を特に区別しない場合、水平エッジ線ＨＬと記載する。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１の構成例を示す機能ブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠の検出処理や、停車位置の決定処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理や決定処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される撮像画像から各画素の輝度に基づくエッジ点を抽出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出する。線分抽出部２１は、抽出したエッジ点に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点に基づき、駐車枠ＰＳを構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線検出部２３は、線分抽出部２１によって抽出されたエッジ点に基づいて駐車枠ＰＳを区画する区画線の候補となる区画線候補を検出する。具体的には、区画線検出部２３は、連続する複数のエッジ点を繋いだ２つのエッジ線が互いに略平行であり、間隔が区画線の幅に対応した間隔である場合、かかる２つのエッジ線を区画線候補として検出する。

すなわち、区画線検出部２３は、各区画線の両端に対応する２つのエッジ線を区画線候補として検出する。区画線検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。

なお、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。

除外判定部２４は、区画線検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

また、除外判定部２４は、路面標識等の駐車枠ＰＳの検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補に基づき、駐車枠ＰＳを検出する。具体的には、駐車枠検出部２５は、水平方向に向かって所定間隔をあけて平行配置される２つの区画線候補を車幅側の駐車枠ＰＳとして検出する。

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。

すなわち、ゼブラゾーン等を避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠ＰＳとして検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。

そして、駐車枠管理部２６は、仮定した駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２７は、線分抽出部２１によって抽出されたエッジ点に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ点に基づき、輪留めＬＰや縁石等の立体指標を検出することで、車両Ｃの停車位置を決定する。

ここで、図３〜図７を用いて、停車位置決定部２７の処理について詳細に説明する。図３は、停車位置決定部２７の構成を示す機能ブロック図である。

図３に示すように、停車位置決定部２７は、抽出部２７１と、検出部２７２と、決定部２７３とを備える。また、停車位置決定部２７は、記憶部３に記憶された指標識別情報３１を用いて各種処理を行う。

ここで、図４を用いて、指標識別情報３１について説明する。図４は、指標識別情報３１の一例を示す図である。図４に示すように、指標識別情報３１は、立体指標の種別毎の長さに関する情報を含む。ここでいう長さとは、撮像画像Ｉから得られる水平エッジ線ＨＬの長さに基づいた立体指標の実際の水平方向の長さである。指標識別情報３１は、例えば、後述の検出部２７２が立体指標の種別を識別する際に用いられる。

図４に示す例では、輪留めＬＰの実際の長さが４０ｃｍ以上１５０ｃｍ未満であり、縁石の実際の長さが１５０ｃｍ以上である。つまり、後述の検出部２７２は、１５０ｃｍを所定の閾値として立体指標の種別を識別する。なお、所定の閾値は、１５０ｃｍに限らず、輪留めＬＰと縁石とを識別可能な長さであればよい。

なお、図４では、立体指標の種別として、輪留めＬＰおよび縁石を一例に挙げているが、停車位置の指標であれば、これら以外の立体指標であってもよい。例えば、輪留めＬＰは、駐車枠ＰＳの領域内に配置された立体指標の一例であって、輪留めＬＰ以外にも、例えば、コインパーキングにおけるロック板であってもよい。また、縁石は、駐車枠ＰＳの奥側の境界を構成する立体指標の一例であって、縁石以外にも、例えば、白線や壁等であってもよい。

また、図４の指標識別情報３１では、立体指標の実際の長さを所定の閾値として記憶している場合を示したが、例えば、水平エッジ線ＨＬのエッジ長（すなわち、画素数）を所定の閾値として記憶してもよい。

図３に戻って、抽出部２７１について説明する。抽出部２７１は、駐車枠ＰＳを含む撮像画像Ｉの中から水平方向へのエッジ点が連続した水平エッジ線ＨＬを抽出する。抽出部２７１は、エッジ点となる画素が隣接する場合に、かかる隣接する画素を繋ぐことでエッジ線として抽出する。なお、かかる場合、エッジ線の長さ（エッジ長）は、画素数で表現することができる。

なお、抽出部２７１は、隣接するエッジ点（画素）を繋いでエッジ線を抽出する場合に限らず、例えば、両側がエッジ点で挟まれた非エッジ点の画素を繋いで水平エッジ線ＨＬとしてもよい。

具体的には、抽出部２７１は、所定数未満の非エッジ点の両側にエッジ点が配置されている場合、かかる非エッジ点および両側のエッジ点を繋いで水平エッジ線ＨＬとして抽出する。これにより、例えば、本来エッジ点として抽出されるべき画素がノイズ等により非エッジ点となった場合であっても、エッジ線として抽出できる、すなわち、ノイズの影響を無効化できる。

また、抽出される水平エッジ線ＨＬの形状は、エッジ点が射影後の状態であるか、射影前の状態であるかで異なる。例えば、抽出部２７１は、エッジ点が路面座標に射影された後の状態であった場合、水平方向へ向かって直線状の水平エッジ線ＨＬを抽出する。また、抽出部２７１は、エッジ点が射影前、つまり、撮像画像Ｉから抽出された状態そのままの場合、車載カメラ１０のレンズ特性に応じた形状の水平エッジ線ＨＬを抽出する。具体的には、抽出部２７１は、車載カメラ１０のレンズに魚眼レンズが採用された場合、撮像画像Ｉにおける垂直方向に向かって凸状または凹状に湾曲した水平エッジ線ＨＬを抽出する。抽出部２７１は、抽出した水平エッジ線ＨＬを検出部２７２へ出力する。

検出部２７２は、抽出部２７１によって抽出された水平エッジ線ＨＬに基づき、駐車枠ＰＳにおける停車位置の指標となる立体指標を検出する。例えば、検出部２７２は、水平エッジ線ＨＬの長さや、本数、配置が所定の立体指標パターンと一致する場合に、立体指標を検出する。

具体的には、検出部２７２は、まず、駐車枠検出部２５によって検出された車幅側の駐車枠ＰＳにおける奥側の領域を立体指標の探索領域として設定する。より具体的には、検出部２７２は、車幅側の駐車枠ＰＳにおける奥側の端部周辺の領域を探索領域として設定する。これは、輪留めＬＰや縁石等の立体指標が駐車枠ＰＳの奥側に配置されるためである。

これにより、制御部２の処理負荷を抑えることができる。なお、検出部２７２は、撮像画像Ｉ全体を探索領域として設定してもよい。これにより、立体指標の未検出を防ぐことができる。

また、検出部２７２は、探索領域内に存在する水平エッジ線ＨＬそれぞれが立体指標に該当するか否かを判定する。例えば、検出部２７２は、水平エッジ線ＨＬそれぞれのエッジ長に基づいて立体指標の種別を検出する。具体的には、検出部２７２は、記憶部３に記憶された指標識別情報３１に含まれる立体指標の長さに基づいて立体指標の種別を検出する。

より具体的には、検出部２７２は、水平エッジ線ＨＬのエッジ長に基づいた実際の長さが所定の閾値（図４では１５０ｃｍ）以上の場合、種別が縁石（または、白線や、壁等）である立体指標を検出する。また、検出部２７２は、水平エッジ線ＨＬのエッジ長に基づいた実際の長さが所定の閾値未満の場合、種別が輪留めＬＰである立体指標を検出する。

このように、水平エッジ線ＨＬのエッジ長に基づいて立体指標の検出処理を行うことで、立体指標の種別が輪留めＬＰであるか縁石であるかを高精度に識別することができる。換言すれば、検出された立体指標が、駐車枠ＰＳの領域内に配置された立体指標であるか、駐車枠ＰＳを構成する奥側の境界となる立体指標であるかを高精度に識別することができる。従って、後述の決定部２７３が車両Ｃの後端を縁石にあわせた停車位置とするか、車両Ｃの後輪を輪留めＬＰにあわせた停車位置とするかを正確に判定できる。

また、検出部２７２は、水平エッジ線ＨＬのエッジ長以外にも、例えば、水平エッジ線ＨＬの本数に基づいて立体指標の種別を検出することができる。具体的には、検出部２７２は、エッジ長に基づいた実際の長さが所定の閾値未満となる複数の水平エッジ線ＨＬが水平方向に並列している場合、かかる複数の水平エッジ線ＨＬを輪留めＬＰとして検出する。これにより、輪留めＬＰの検出精度を向上させることができる。

また、検出部２７２は、例えば、実際の長さが所定の閾値以上の単一の水平エッジ線ＨＬで、かつ、車幅側の駐車枠ＰＳを構成する両側の区画線それぞれの端部周辺を通る単一の水平エッジ線ＨＬである場合、かかる単一の水平エッジ線ＨＬを縁石（上端または下端）として検出する。また、検出部２７２は、例えば、エッジ長に基づいた実際の長さが所定の閾値未満で、かつ、駐車枠ＰＳの領域内における奥側、かつ、車幅側の駐車枠ＰＳを構成する左右両側の区画線よりも手前に存在する水平エッジ線ＨＬを輪留めＬＰとして検出する。

なお、検出部２７２は、立体指標を構成する水平エッジ線ＨＬがすべて検出されない場合であっても、立体指標の検出が可能である。例えば、検出部２７２は、落ち葉等の遮蔽物２００により立体指標の下端に対応する水平エッジ線ＨＬが検出されない場合であっても、立体指標の上端に対応する水平エッジ線ＨＬが上記した立体指標パターンと一致すれば、立体指標として検出する。

そして、検出部２７２は、立体指標を検出した場合、かかる立体指標に関する指標情報を決定部２７３へ通知する。なお、検出部２７２は、水平エッジ線ＨＬが上記した立体指標パターンと一致しない場合、水平エッジ線ＨＬが立体指標ではない、例えば、路面ノイズとして検出する。

決定部２７３は、検出部２７２によって検出された立体指標に複数の水平エッジ線ＨＬが垂直方向に並んで位置している場合、垂直方向における最も上側に位置する水平エッジ線ＨＬ除く任意の水平エッジ線ＨＬを立体指標の上端とみなして停車位置を決定する。ここで、図５および図６を用いて、決定部２７３の処理内容について具体的に説明する。

図５および図６は、決定部２７３の処理内容を示す図である。なお、図５では、検出部２７２によって、２本の水平エッジ線ＨＬ２，ＨＬ３がブロック型（四角柱）の輪留めＬＰとして検出されていることとする。つまり、検出部２７２は、下端に対応する水平エッジ線ＨＬ１については未検出であることとする。

ここで、仮に、下端に対応する水平エッジ線ＨＬ１の未検出に起因して、本来は上端である水平エッジ線ＨＬ３を下端とみなして測距を行った場合（以下、参考例という）、図６に示すように、かかる下端に基づいて輪留めＬＰまでの距離Ｌ２を算出してしまう。つまり、輪留めＬＰが本来の位置よりも奥側に存在すると誤って認識して測距を行ってしまうこととなる。

そこで、決定部２７３は、２本のうち、上側の水平エッジ線ＨＬ２を除く水平エッジ線ＨＬ３を輪留めＬＰの上端とみなして測距を行う。例えば、図５では、水平エッジ線ＨＬ３を上端とみなすこととする。そして、決定部２７３は、上端とみなした水平エッジ線ＨＬ３から垂直方向下側に立体指標の下端ＬＥを予測する。

具体的には、決定部２７３は、水平エッジ線ＨＬ３に対して所定の高さＨだけ下側に下げた位置を下端ＬＥとして設定する。なお、所定の高さＨは、例えば、市販されている輪留めＬＰの高さの平均値等を採用可能である。つまり、決定部２７３は、立体指標の下端が未検出であることを前提とし、立体指標の上端が所定の高さＨであると仮定して測距を行う。

そして、図６に示すように、決定部２７３は、車載カメラ１０の取付高さおよび取付角度に基づいて撮像画像Ｉにおける下端ＬＥを路面座標に射影することで、下端ＬＥまでの距離Ｌ１を算出する。なお、距離Ｌ１を算出する場合に、立体指標の種別が輪留めＬＰである場合には、車両Ｃの後輪を基準にして距離Ｌ１を算出し、立体指標の種別が縁石である場合には、車両Ｃの後端を基準にして距離Ｌ１を算出する。

これにより、参考例のように、水平エッジ線ＨＬ３を立体指標の下端とみなして測距することで、本来の位置よりも奥側となる距離Ｌ２として誤算出されることを防止できる。

なお、図５および図６では、輪留めＬＰの下端に対応する水平エッジ線ＨＬ１が未検出である場合を示したが、例えば、輪留めＬＰの水平エッジ線ＨＬ１が検出され、一方で、上端に対応する水平エッジ線ＨＬ２（上端奥側）または水平エッジ線ＨＬ３（上端手前側）が未検出である場合も想定される。

決定部２７３は、かかる場合であっても、水平エッジ線ＨＬ１を上端とみなして下端ＬＥを予測し、測距を行う。これにより、決定部２７３は、水平エッジ線ＨＬ３を上端とみなして算出した距離Ｌ１よりもさらに手前側となる距離を算出する。なお、距離Ｌ１よりも手前側となる距離を算出した場合には、輪留めＬＰよりも手前が停車位置となるため、輪留めＬＰに乗り上げることを高精度に防止できる。

次に、図７を用いて、輪留めＬＰの他の形態における決定部２７３の処理について説明する。図７は、決定部２７３の決定処理の他の例を示す図である。図７では、水平方向に延在する溝が形成された輪留めＬＰを示している。

かかる輪留めＬＰが検出部２７２によって検出された場合、輪留めＬＰには、溝に対応する水平エッジ線ＨＬも含まれることとなるため、複数の水平エッジ線ＨＬが存在することとなる。

決定部２７３は、複数の水平エッジ線ＨＬが垂直方向に並んで位置している場合、垂直方向における下側に位置する水平エッジ線ＨＬを上端とみなして停車位置を決定する。具体的には、決定部２７３は、複数の水平エッジ線ＨＬのうち、最も下側に位置する水平エッジ線ＨＬを上端とみなして停車位置を決定する。

これにより、輪留めＬＰの手前を停車位置として決定するため、輪留めＬＰの乗り上げを確実に防止できる。なお、図７では、垂直方向に並んだ水平エッジ線ＨＬのうち、最も下側に配置された水平エッジ線ＨＬを上端とみなしたが、最も上側に配置された水平エッジ線ＨＬ以外であれば、任意の水平エッジ線ＨＬを上端とみなしてもよい。

次に、図８を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図８は、画像処理装置１が実行する全体処理の手順を示すフローチャートである。なお、かかる全体処理は、例えば、車両Ｃの車速が所定値以下（例えば、３０Ｋｍ／ｈ）である場合に、制御部２によって繰り返し実行される。

図８に示すように、画像処理装置１は、まず、グレースケール画像からエッジ点を抽出するエッジ抽出処理を行い（ステップＳ１０１）、エッジ抽出処理の処理結果に基づいて不適領域判定処理を行う（ステップＳ１０２）。

続いて、画像処理装置１は、ステップＳ１０１にて抽出したエッジ点から区画線候補を検出する区画線検出処理を行う（ステップＳ１０３）。

その後、画像処理装置１は、ステップＳ１０３までの処理結果に基づき、駐車不可領域などの有無を判定する除外判定処理を行い（ステップＳ１０４）、駐車枠ＰＳを検出する駐車枠検出処理を行う（ステップＳ１０５）。

その後、画像処理装置１は、ステップＳ１０５において検出した駐車枠ＰＳを管理する駐車枠管理を行い（ステップＳ１０６）、車両Ｃの駐車枠ＰＳ内において停車させる停車位置を決定する停車位置決定処理を行い（ステップＳ１０７）、処理を終了する。

次に、上述した停車位置決定処理の処理手順について詳細に説明する。図９は、画像処理装置１が実行する停車位置決定処理の手順を示すフローチャートである。

図９に示すように、停車位置決定部２７は、エッジ抽出処理によって抽出されたエッジ点のうち、水平方向へエッジ点が連続した水平エッジ線ＨＬを抽出する（ステップＳ２０１）。

つづいて、停車位置決定部２７は、抽出した水平エッジ線ＨＬのエッジ長が所定の閾値（例えば、１５０ｃｍ）以上であるか否かを判定する（ステップＳ２０２）。停車位置決定部２７は、エッジ長が所定の閾値以上である場合（ステップＳ２０２：Ｙｅｓ）、水平エッジ線ＨＬが駐車枠ＰＳの区画物、すなわち、駐車枠ＰＳの奥側の境界となる立体指標として検出する（ステップＳ２０３）。

つづいて、停車位置決定部２７は、検出した立体指標に複数の水平エッジ線ＨＬが垂直方向に並んで位置している場合、垂直方向における最も上側に位置する水平エッジ線ＨＬを除く任意の水平エッジ線ＨＬを上端とみなして下端を予測する（ステップＳ２０４）。つづいて、停車位置決定部２７は、予測した下端に基づいて停車位置を決定し（ステップＳ２０５）、処理を終了する。

一方、ステップＳ２０２において、停車位置決定部２７は、水平エッジ線ＨＬのエッジ長が所定の閾値未満であった場合（ステップＳ２０２：Ｎｏ）、複数の水平エッジ線ＨＬが並列しているか否かを判定する（ステップＳ２０６）。

停車位置決定部２７は、複数の水平エッジ線ＨＬが並列していた場合（ステップＳ２０６：Ｙｅｓ）、複数の水平エッジ線ＨＬを輪留めＬＰとして検出し（ステップＳ２０７）、ステップＳ２０４を実行する。

一方、ステップＳ２０６において、停車位置決定部２７は、複数の水平エッジ線ＨＬが並列していない場合（ステップＳ２０６：Ｎｏ）、かかる水平エッジ線ＨＬを路面ノイズとして検出し、ステップＳ２０５を実行する。

上述してきたように、実施形態に係る画像処理装置１は、抽出部２７１と、検出部２７２と、決定部２７３とを備える。抽出部２７１は、駐車枠ＰＳを含む撮像画像の中から水平方向へエッジ点が連続した水平エッジ線ＨＬを抽出する。検出部２７２は、抽出部２７１によって抽出された水平エッジ線ＨＬに基づき、駐車枠ＰＳにおける停車位置の指標となる立体指標を検出する。決定部２７３は、検出部２７２によって検出された立体指標に複数の水平エッジ線ＨＬが垂直方向に並んで位置している場合、垂直方向における最も上側に位置する水平エッジ線ＨＬを除く任意の水平エッジ線ＨＬを立体指標の上端とみなして停車位置を決定する。これにより、停車位置を高精度に決定することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２ 制御部
３ 記憶部
１０ 車載カメラ
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 指標識別情報
５０ 上位ＥＣＵ
１００ 駐車支援システム
２００ 遮蔽物
２７１ 抽出部
２７２ 検出部
２７３ 決定部
Ｃ 車両
ＨＬ 水平エッジ線
Ｉ 撮像画像
ＬＰ 輪留め

Claims (5)

1. 駐車枠を含む撮像画像の中から水平方向へエッジ点が連続した水平エッジ線を抽出する抽出部と、
   前記抽出部によって抽出された前記水平エッジ線に基づき、前記駐車枠における停車位置の指標となる立体指標を検出する検出部と、
   前記検出部によって検出された前記立体指標に複数の前記水平エッジ線が垂直方向に並んで位置している場合、前記垂直方向における最も上側に位置する前記水平エッジ線を除く任意の前記水平エッジ線を前記立体指標の上端とみなして前記停車位置を決定する決定部と
   を備えることを特徴とする画像処理装置。
2. 前記決定部は、
   複数の前記水平エッジ線が垂直方向に並んで位置している場合、前記垂直方向における下側に位置する前記水平エッジ線を前記上端とみなして前記停車位置を決定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記検出部は、
   前記水平エッジ線のエッジ長に基づいて前記立体指標の種別を検出すること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出部は、
   前記立体指標に含まれる前記水平エッジ線の本数に基づいて前記立体指標の種別を検出すること
   を特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
5. 駐車枠を含む撮像画像の中から水平方向へエッジ点が連続した水平エッジ線を抽出する抽出工程と、
   前記抽出工程によって抽出された前記水平エッジ線に基づき、前記駐車枠における停車位置の指標となる立体指標を検出する検出工程と、
   前記検出工程によって検出された前記立体指標に複数の前記水平エッジ線が垂直方向に並んで位置している場合、前記垂直方向における最も上側に位置する前記水平エッジ線を除く任意の前記水平エッジ線を前記立体指標の上端とみなして前記停車位置を決定する決定工程と
   を含むことを特徴とする画像処理方法。

Images