JP2020095620A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】エッジ点を適切に抽出すること。【解決手段】実施形態に係る画像処理装置は、抽出部と、補正部とを備える。抽出部は、車両の周囲が撮像された画像データから駐車枠を区画する区画線に基づくエッジ閾値を超えるエッジ点を抽出する。補正部は、抽出部によって抽出されたエッジ点の密度に基づいてエッジ閾値を補正する。【選択図】図３

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像データから車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像データからエッジ強度が閾値を超えるエッジ点を抽出し、抽出したエッジ点に基づいて駐車枠を検出する(例えば、特許文献１参照)。

特開２０１７−８７７５８号公報

しかしながら、従来技術では、例えば、路面状況等により、膨大なエッジ点が抽出された場合、処理負荷が増加する。一方で、エッジ強度に対する閾値を高く設定すると、必要なエッジ点を抽出できないおそれがある。

本発明は、上記に鑑みてなされたものであって、エッジ点を適切に抽出することができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、抽出部と、補正部とを備える。前記抽出部は、車両の周囲が撮像された画像データから駐車枠を区画する区画線に基づくエッジ閾値を超えるエッジ点を抽出する。前記補正部は、前記抽出部によって抽出された前記エッジ点の密度に基づいてエッジ閾値を補正する。

本発明によれば、エッジ点を適切に抽出することができる。

図１Ａは、画像処理装置の搭載例を示す図である。 図１Ｂは、画像処理方法の概要を示す図である。 図２は、画像処理装置のブロック図である。 図３は、線分抽出部のブロック図である。 図４は、エッジ閾値の具体例を示す図である。 図５は、画像処理装置が実行する処理手順を示すフローチャートである。 図６は、図５に示すエッジ線抽出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図１Ａに示す画像処理装置１によって実行される。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像された撮像データから駐車枠ＰＳを検出する。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側を撮像する右サイドカメラが含まれる。

ところで、画像処理装置１は、画像データからエッジ強度がエッジ閾値を超えるエッジ点を抽出し、抽出したエッジ点に基づいて駐車枠ＰＳを区画する区画線Ｌｓを検出し、検出した区画線に基づいて駐車枠ＰＳを検出する。

ところで、例えば、路面状況によっては、区画線に加え、路面のざらつきなどをエッジ点として抽出するおそれがある。言い換えれば、区画線以外に不要なエッジ点を抽出するおそれがある。この場合、抽出したエッジ点の個数に応じて処理負荷が増加する。一方で、上記のエッジ閾値を高く設定した場合、区画線に対応するエッジ点まで抽出されないおそれがある。特に、薄暗い場面において撮像された画像データにおいては、区画線とその周囲の輝度差が小さく、区画線に対応するエッジ線を検出できないおそれがある。

そこで、実施形態に係る画像処理方法では、区画線に対応する画素のエッジ強度が区画線の周囲の画素のエッジ強度よりも相対的に高くなる点に着目し、エッジ閾値を動的に設定することとした。つまり、実施形態に係る画像処理方法では、エッジ閾値を動的に設定することで、不要なエッジ点を除去しつつ、区画線に対応するエッジ点を抽出することとした。

具体的には、図１Ｂに示すように、まず、画像処理装置１は、画像データＩからエッジ点を抽出する（ステップＳ１）。例えば、画像処理装置１は、画像データＩをグレースケール画像へ変換し、所定のエッジ処理を施すことで、画像データＩに含まれる各画素のエッジ強度を得る。そして、画像処理装置１は、エッジ強度が所定のエッジ閾値を超える画素をエッジ点Ｐとして抽出する。

続いて、画像処理装置１は、ステップＳ１にて抽出したエッジ点Ｐの密度に基づいてエッジ閾値を補正する（ステップＳ２）。具体的には、実施形態に係る画像処理装置１は、画像データＩにおいて路面の解像度が想定的に高い対象領域Ｒにおけるエッジ点の密度（以下、エッジ密度と記載する）に基づいてエッジ閾値を補正する。

ここで、対象領域Ｒとは、車載カメラ１０によって車両Ｃから比較的近い路面が撮像されるエリアであり、路面の解像度が高いエリアである。言い換えれば、対象領域Ｒとは路面のざらつきに基づくエッジ点が抽出されやすいエリアであり、画像の中央下部に設定される領域である。

画像処理装置１は、対象領域Ｒにおけるエッジ密度が所定値となるように、エッジ閾値を補正する。すなわち、画像処理装置１は、エッジ密度が所定値を超える場合、エッジ閾値が高くなるように補正し、エッジ閾値が所定値以下である場合、エッジ閾値が低くなるように補正する。

言い換えれば、画像処理装置１は、対象領域Ｒにおいて、上位Ｎ％のエッジ強度を有する画素がエッジ点Ｐとして抽出されるようにエッジ閾値を補正する。そして、画像処理装置１は、補正したエッジ閾値に基づいてエッジ点Ｐを再抽出することが可能となる。

これにより、実施形態に係る画像処理装置１では、不要なエッジ点Ｐの抽出を抑えつつ、区画線に対応するエッジ点Ｐを抽出することが可能となる。つまり、実施形態に係る画像処理装置１によれば、エッジ点Ｐを適切に抽出することができる。なお、画像処理装置１は、補正後のエッジ閾値を現在のフレームから使用することにしてもよいし、あるいは、次のフレームから使用することにしてもよい。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠の検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度がエッジ閾値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。なお、線分抽出部２１の内部構成の具体例については、図３を用いて後述する。

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠を構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。具体的には、区画線検出部２３は、互いに略平行であり、その間隔が区画線の幅に応じた所定範囲に収まるエッジ線同士を区画線候補として検出する。

すなわち、区画線検出部２３は、各区画線の幅方向の左右両端に対応するエッジ線を区画線候補として検出する。区画線検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。

また、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。

除外判定部２４は、区画線検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

また、除外判定部２４は、路面標識等の駐車枠の検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補に基づき、駐車枠を検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される区画線候補について駐車枠として検出する。

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠を検出することができる。

すなわち、ゼブラゾーン等を避けて駐車枠を検出することができる。駐車枠検出部２５は、駐車枠を検出すると、駐車枠に関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠として検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠を時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃと駐車枠との相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２６は、複数の駐車枠がそれぞれ連続して配置されると仮定して、駐車枠の検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠を基準とし、かかる駐車枠と連続して複数の駐車枠が存在すると仮定する。

そして、駐車枠管理部２６は、仮定した駐車枠の位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。すなわち、すなわち、停車位置決定部２７は、車両Ｃから見て、駐車枠ＰＳの奥側の車両Ｃの車幅方向に伸びる区画線ＰＳまたは輪留めに基づいて停車位置を決定する。

停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

次に、図３を用いて線分抽出部２１の構成例について説明する。図３は、線分抽出部２１のブロック図である。図３に示すように、線分抽出部２１は、変換部２１１と、抽出部２１２と、補正部２１３と、検出部２１４とを備える。また、線分抽出部２１が、エッジ線の抽出を行うに当たり、記憶部３は、閾値情報３１を記憶する。

閾値情報３１は、エッジ閾値に関する情報であり、例えば、デフォルトのエッジ閾値の値や、後述の補正部２１３によって補正されたエッジ閾値の値に関する情報である。

変換部２１１は、車載カメラ１０から入力される画像データＩをグレースケール画像へ変換する。また、変換部２１１は、グレースケール画像に対してエッジ処理を行うことで、画像データＩの各画素のエッジ強度および輝度勾配を求めることもできる。変換部２１１は、各画素のエッジ強度および輝度勾配に関するエッジ情報を生成し、抽出部２１２へ渡す。

抽出部２１２は、エッジ強度がエッジ閾値を超える画素をエッジ点Ｐとして抽出し、抽出したエッジ点Ｐに関する情報を補正部２１３へ渡す。例えば、抽出部２１２は、閾値情報３１に含まれるデフォルトのエッジ閾値を用いて、エッジ点Ｐを抽出する。また、抽出部２１２は、補正部２１３によってエッジ閾値が補正された場合に、補正後のエッジ閾値を用いて、エッジ点Ｐの再抽出を行う。

補正部２１３は、抽出部２１２によって抽出されたエッジ点Ｐの密度に基づいてエッジ閾値を補正し、補正後のエッジ閾値を抽出部２１２へ通知する。これにより、抽出部２１２では、補正後のエッジ閾値を用いて、エッジ点Ｐの再抽出が行われることとなる。

補正部２１３は、図１Ｂに示す対象領域Ｒにおいて抽出されたエッジ点Ｐのエッジ密度に基づいてエッジ閾値を補正する。すなわち、補正部２１３は、対象領域Ｒにおけるエッジ密度を指標にして、エッジ閾値の補正を行う。

これにより、エッジ閾値を適切な値へ補正することが可能となる。上述のように、対象領域Ｒは、画像データＩにおいて路面の解像度が高い領域である。言い換えれば、対象領域Ｒのエッジ密度が多い場合、画像データＩから相対的に多くのエッジ点Ｐが抽出されたことを示し、不要なエッジ点Ｐが抽出されたことを示唆する。

一方、対象領域Ｒのエッジ密度が小さい場合には、区画線に対応するエッジ点を抽出していない可能性が示唆される。このため、補正部２１３は、対象領域Ｒのエッジ密度に基づいてエッジ閾値を補正することで、路面のざらつきに基づくエッジ点Ｐを適切に除去することが可能となる。なお、補正部２１３は、対象領域Ｒを設けずに、画像データＩ全体のエッジ密度に基づいてエッジ閾値を補正することにしてもよい。

続いて、図４を用いて補正部２１３によって補正されるエッジ閾値の具体例について説明する。図４は、エッジ閾値の具体例を示す図である。なお、図４は、縦軸に画素の個数を示し、横軸にエッジ強度を示す。

図４に示すように、補正部２１３は、ヒストグラムを生成し、生成したヒストグラムに基づいてエッジ閾値を補正する。具体的には、補正部２１３は、エッジ閾値Ｔｈ１を用いて抽出したエッジ点Ｐの対象領域Ｒにおけるエッジ密度が所定値を超える場合、エッジ閾値Ｔｈ１からエッジ閾値Ｔｈ１よりも大きい値のエッジ閾値Ｔｈ２へ補正する。

このとき、補正部２１３は、ヒストグラムにおいて上位Ｎ％のエッジ強度を有する画素のみが抽出される値をエッジ閾値Ｔｈ２とする。ここで、路面のざらつきに基づくエッジ点Ｐは、区画線に基づくエッジ点Ｐよりも相対的にエッジ強度が低い。このため、画像データＩに区画線が含まれる場合、区画線に対応するエッジ点Ｐは、上位Ｎ％の大多数を占めることが想定される。

すなわち、補正部２１３は、上位Ｎ％に入る画素のみがエッジ点Ｐとして抽出されるように、エッジ閾値を補正することで、路面のざらつきに基づくエッジ点Ｐの抽出を抑制することができる。言い換えれば、区画線に対応するエッジ点Ｐを効率よく抽出することができる。

なお、ここでは、補正部２１３が、エッジ閾値の値を高く補正する場合について説明したが、補正部２１３は、エッジ閾値を低く補正することも可能である。例えば、補正部２１３は、対象領域Ｒのエッジ密度が所定の値を下回る場合、エッジ閾値を低く補正する。

これにより、例えば、暗い駐車場など、エッジ点Ｐが抽出されにくい状況においても、区画線に対応するエッジ点Ｐを適切に抽出することが可能となる。なお、暗い駐車場など、エッジ点Ｐが抽出されにくい状況を想定して、デフォルトのエッジ閾値の値が十分に小さい値である場合、補正部２１３は、エッジ密度が所定値を超える場合にのみ、エッジ閾値を補正することにしてもよい。

すなわち、補正部２１３は、エッジ密度が所定範囲から逸脱する場合にのみ、エッジ閾値を補正し、エッジ密度が所定範囲内に収まる場合には、デフォルトのエッジ閾値をそのまま用いることにしてもよい。これにより、車両Ｃの路面の状態に合わせて、エッジ閾値を補正することが可能となる。

図３の説明に戻り、検出部２１４について説明する。検出部２１４は、抽出部２１２によって抽出されたエッジ点Ｐを繋いでエッジ線を検出する。ここで、検出部２１４は、抽出部２１２によってエッジ点Ｐが再抽出された場合には、再抽出後のエッジ点Ｐに基づいてエッジ線を検出する。

特に、エッジ閾値が高い値へ補正された場合、再抽出後のエッジ点Ｐは、再抽出前のエッジ点Ｐよりも少なくなる。つまり、検出部２１４は、再抽出後のエッジ点Ｐを用いてエッジ線を検出することで、少ないエッジ点Ｐからエッジ線を検出することができるので、エッジ線の検出に要する処理負荷を抑制することができる。

次に、図５を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図５は、画像処理装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、例えば、車両Ｃの車速が所定値以下（例えば、３０Ｋｍ／ｈ）である場合に、制御部２によって繰り返し実行される。

図５に示すように、画像処理装置１は、まず、グレースケール画像からエッジ点およびエッジ線を抽出するエッジ線抽出処理を行い（ステップＳ１０１）、エッジ線抽出処理の処理結果に基づいて不適領域判定処理を行う（ステップＳ１０２）。

なお、ステップＳ１０１のエッジ線抽出処理の具体例については、図６を用いて後述する。続いて、画像処理装置１は、ステップＳ１０１にて抽出したエッジ線から区画線候補を検出する区画線検出処理を行う（ステップＳ１０３）。

その後、画像処理装置１は、ステップＳ１０３までの処理結果に基づき、駐車不可領域などの有無を判定する除外判定処理を行い（ステップＳ１０４）、駐車枠を検出する駐車枠検出処理を行う（ステップＳ１０５）。

その後、画像処理装置１は、ステップＳ１０５において検出した駐車枠を管理する駐車枠管理を行い（ステップＳ１０６）、車両Ｃの駐車枠内において停車させる停車位置を決定する停車位置決定処理を行い（ステップＳ１０７）、処理を終了する。

次に、図６を用いて、図５のステップＳ１０１に示すエッジ線抽出処理の処理手順について説明する。図６は、図５に示すエッジ線抽出処理の処理手順を示すフローチャートである。

図６に示すように、まず、線分抽出部２１は、デフォルトのエッジ閾値を用いて、エッジ点Ｐを抽出し（ステップＳ１１１）、抽出したエッジ点Ｐに基づき、対象領域Ｒにおけるエッジ密度を算出する（ステップＳ１１２）。

続いて、線分抽出部２１は、エッジ密度が所定値よりも大きいか否かを判定する（ステップＳ１１３）。線分抽出部２１は、エッジ密度が所定値よりも大きい場合（ステップＳ１１３，Ｙｅｓ）、エッジ閾値を補正する（ステップＳ１１４）。

そして、線分抽出部２１は、補正後のエッジ閾値を用いて、エッジ点Ｐの再抽出を行う（ステップＳ１１５）。その後、線分抽出部２１は、エッジ点Ｐに基づいてエッジ線を検出し（ステップＳ１１６）、処理を終了する。

一方、線分抽出部２１は、ステップＳ１１３の判定において、エッジ密度が所定値以下である場合（ステップＳ１１３，Ｎｏ）、ステップＳ１１１にて抽出したエッジ点Ｐを用いて、ステップＳ１１６の処理を行う。なお、ここでは、エッジ密度が所定値を超える場合に、エッジ閾値を補正する場合について説明したが、エッジ密度がかかる所定値よりも小さい第２所定値を下回る場合に、エッジ閾値を補正することにしてもよい。この場合、エッジ閾値が低くなるように補正することとなる。

上述したように、実施形態に係る画像処理装置１は、抽出部２１２と、補正部２１３とを備える。抽出部２１２は、車両Ｃの周囲が撮像された画像データＩから駐車枠を区画する区画線に基づくエッジ閾値を超えるエッジ点Ｐを抽出する。補正部２１３は、抽出部２１２によって抽出されたエッジ点Ｐの密度に基づいてエッジ閾値を補正する。したがって、実施形態に係る画像処理装置１によれば、エッジ点を適切に抽出することができる。
ところで、上述した実施形態では、画像処理装置１が、センサ群Ｓｃ（図２参照）から車両Ｃの走行状態に関する情報を取得する場合について説明したが、これに限定されるものではない。すなわち、画像処理装置１は、画像データＩからオプティカルフローを抽出し、オプティカルフローに基づいて車両Ｃの走行状態を推定することにしてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 閾値情報
２１１ 変換部
２１２ 抽出部
２１３ 補正部
２１４ 検出部

Claims (7)

1. 車両の周囲が撮像された画像データから駐車枠を区画する区画線に基づくエッジ閾値を超えるエッジ点を抽出する抽出部と、
   前記抽出部によって抽出された前記エッジ点の密度に基づいて前記エッジ閾値を補正する補正部と
   を備えることを特徴とする画像処理装置。
2. 前記抽出部は、
   前記補正部によって補正された前記エッジ閾値を用いて、前記エッジ点を再抽出し、再抽出後の前記エッジ点を後段の処理に回すこと
   を特徴とする請求項１に記載の画像処理装置。
3. 前記補正部は、
   前記画像データにおいて路面の解像度が相対的に高い対象領域における前記エッジ点の密度に基づいて前記エッジ閾値を補正すること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正部は、
   前記対象領域における各画素のエッジ強度に対するヒストグラムを生成し、当該ヒストグラムに基づいて前記エッジ閾値を補正すること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記補正部は、
   前記抽出部によって抽出される前記エッジ点が所定数となるように、前記エッジ閾値を補正すること
   を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記補正部は、
   前記エッジ点の密度が所定範囲から逸脱する場合に、前記エッジ閾値を補正すること
   を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 車両の周囲が撮像された画像データから駐車枠を区画する区画線に基づくエッジ閾値を超えるエッジ点を抽出する抽出工程と、
   前記抽出工程によって抽出された前記エッジ点の密度に基づいて前記エッジ閾値を補正する補正工程と
   を含むことを特徴とする画像処理方法。

Images