JP2020095631A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】区画線の検出精度を向上させること。【解決手段】実施形態に係る画像処理装置は、区画線検出部と、除外判定部とを備える。区画線検出部は、車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する。除外判定部は、区画線検出部によって検出された区画線候補を区画線の候補から除外するか否かを判定する。また、除外判定部は、路面より輝度が高い区画線より検出される白色区画線候補と、路面より輝度が低い区画線より検出される黒色区画線候補とが検出され、白色区画線候補および黒色区画線候補のうち一方を第１区画線候補とし、他方を第２区画線候補とした場合において、第２区画線候補を挟んで１対の第１区画線候補が配置され、かつ１対の第１区画線候補の距離が所定のしきい値以下である場合、第２区画線候補を区画線の候補から除外する。【選択図】図１Ｂ

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像データから車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像データから駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する（例えば、特許文献１参照）。

特開２０１７−８７７５８号公報

しかしながら、従来技術では、例えば、Ｕ字型の区画線のように狭い間隔で２本の平行線が路面に描かれている場合に、かかる２本の平行線に挟まれた領域が誤って区画線として検出されてしまう場合がある。これにより、駐車枠を正常に検出できない恐れがある。

本発明は、上記に鑑みてなされたものであって、区画線の検出精度を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、区画線検出部と、除外判定部とを備える。区画線検出部は、車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する。除外判定部は、前記区画線検出部によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する。また、前記除外判定部は、路面より輝度が高い区画線から検出される白色区画線候補と、路面より輝度が低い区画線から検出される黒色区画線候補とが検出され、前記白色区画線候補および前記黒色区画線候補のうち一方を第１区画線候補とし、他方を第２区画線候補とした場合において、前記第２区画線候補を挟んで１対の前記第１区画線候補が配置され、かつ１対の前記第１区画線候補の距離が所定のしきい値以下である場合、前記第２区画線候補を前記区画線の候補から除外する。

本発明によれば、区画線の検出精度を向上させることができる。

図１Ａは、実施形態に係る画像処理装置の搭載例を示す図である。 図１Ｂは、実施形態に係る画像処理方法の詳細を説明するための図である。 図２は、実施形態に係る駐車支援システムの構成を示すブロック図である。 図３は、実施形態に係る区画線検出処理の一例を示す図である。 図４は、実施形態の変形例１に係る画像処理方法の詳細を説明するための図である。 図５は、実施形態の変形例２に係る画像処理方法の詳細を説明するための図である。 図６は、実施形態の変形例３に係る画像処理方法の詳細を説明するための図である。 図７は、実施形態に係る画像処理方法の手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

＜画像処理装置の概要＞
まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置１の搭載例を示す図である。また、図１Ｂは、実施形態に係る画像処理方法の詳細を説明するための図である。なお、かかる画像処理方法は、図２に示す画像処理装置１によって実行される。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像された撮像データから区画線Ｌを検出し、かかる区画線Ｌから駐車枠ＰＳを検出する。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor）などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａの例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示すが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラなどが含まれる。

ところで、画像処理装置１は、駐車枠ＰＳの検出を行うに当たり、各駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃ（図１Ｂ参照）を検出し、検出した区画線候補Ｌｃに基づいて駐車枠ＰＳを検出する。

しかしながら、例えば、Ｕ字型の区画線Ｌのように狭い間隔で２本の平行線が路面に描かれている場合に、かかる２本の平行線に挟まれた領域が誤って区画線Ｌとして検出されてしまう場合がある。

なぜなら、狭い間隔で２本の平行線が描かれている場合には、画像データから各画素の輝度に基づくエッジ点を繋いだエッジ線が狭い間隔で合わせて４本検出されることから、かかる４本のエッジ線のうち内側の２本のエッジ線にも基づいて区画線候補Ｌｃが検出されてしまうからである。

そして、誤って検出された区画線候補Ｌｃに基づいて駐車枠ＰＳを検出すると、駐車枠ＰＳを正常に検出できない恐れがある。

そこで、実施形態に係る画像処理装置１は、所定の処理により、上記のように誤って区画線Ｌとして検出された区画線候補Ｌｃを区画線Ｌの候補から除外することとした。これにより、実施形態に係る画像処理装置１では、区画線Ｌの検出精度を向上させることができる。

具体的には、図１Ｂに示すように、画像処理装置１は、まず、撮像データから白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２を検出する（ステップＳ１）。例えば、画像処理装置１は、撮像データに対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２を検出する。なお、図１Ｂの例では、区画線ＬがＵ字型である場合について示す。

ここで、白色区画線候補Ｌｃ１とは、路面より輝度が高い区画線Ｌから検出される区画線候補Ｌｃのことであり、黒色区画線候補Ｌｃ２とは、路面より輝度が低い区画線Ｌから検出される区画線候補Ｌｃのことである。

すなわち、撮像データに基づいて検出された区画線候補Ｌｃが白色区画線候補Ｌｃ１であるか黒色区画線候補Ｌｃ２であるかは、かかる区画線候補Ｌｃの輝度と周囲の路面の輝度とを輝度差パターンなどを用いて比較することにより同定することができる。

例えば、Ｕ字型の区画線Ｌが白線で描かれている場合に、昼間などの明るい環境下では、直線状の白線部分が周囲の路面より輝度が高いため、白色区画線候補Ｌｃ１として検出され、かかる白線部分に挟まれた領域は、その両隣に隣接する白線部分より輝度が低いため、黒色区画線候補Ｌｃ２として検出される。

なお、白色区画線候補Ｌｃ１の「白色」とは白い色のことを表すのではなく、輝度が高いことを表している。また、黒色区画線候補Ｌｃ２の「黒色」とは黒い色のことを表すのではなく、輝度が低いことを表している。

そして、かかるステップＳ１では、１対の白色区画線候補Ｌｃ１と、１つの黒色区画線候補Ｌｃ２とが検出される。

なお、以降の図面では、理解の容易のため、撮像データを上方から俯瞰した俯瞰図に変換した図面に基づいて説明を行う。また、以降の図面では、理解の容易のため、白色区画線候補Ｌｃ１には斜線のハッチングを付し、黒色区画線候補Ｌｃ２にはドットのハッチングを付する。

次に、画像処理装置１は、検出された両方の区画線候補Ｌｃ（白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２）の相対位置関係を比較する（ステップＳ２）。そして、黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置されている場合に、画像処理装置１は、１対の白色区画線候補Ｌｃ１の距離Ｄを評価する（ステップＳ３）。

そして、１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下である場合、画像処理装置１は、かかる１対の白色区画線候補Ｌｃ１に挟まれた黒色区画線候補Ｌｃ２を、Ｕ字型区画線を構成する２本の区画線に挟まれた非区画線であると判断し、区画線Ｌの候補から除外する（ステップＳ４）。なお、上述の所定のしきい値とは、区画線Ｌのライン幅に応じた値であり、例えば、５ｃｍ〜１０ｃｍまでの値である。

これにより、画像処理装置１は、誤って検出された黒色区画線候補Ｌｃ２を区画線Ｌの候補から除外することができる。したがって、実施形態によれば、昼間などの明るい環境下である場合に、区画線Ｌの検出精度を向上させることができる。

また、実施形態では、Ｕ字型の区画線Ｌのように狭い間隔で２本の平行線が路面に描かれている場合に、区画線ＬがＵ字型であることを画像処理などで検出することなく、かかる２本の平行線が一体の区画線Ｌであることを検知することができる。したがって、実施形態によれば、区画線ＬがＵ字型であることを画像処理などで検出することが不要となることから、画像処理装置１の処理負荷を抑制することができる。

＜画像処理装置の構成例＞
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。

図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ（Electronic Control Unit）５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃ（図１Ａ参照）の走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサなどを含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。

例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）−ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。記憶部３は、区画線情報３１を備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

かかるコンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで構成することもできる。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０ｋｍ／ｈ以内）に、後述する駐車枠ＰＳの検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠ＰＳを構築する区画線Ｌの検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域（例えば、砂利）や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。具体的には、区画線検出部２３は、互いに略平行であり、その間隔が区画線Ｌの幅に応じた所定範囲に収まるエッジ線同士を２辺とする矩形状の領域を区画線候補Ｌｃとして検出する。換言すると、区画線検出部２３は、実際の区画線と路面との境界に対応するエッジ線のペアを２辺とする矩形状の領域を区画線候補Ｌｃとして検出する。

すなわち、区画線検出部２３は、各区画線Ｌの幅方向の左右両端に対応する１対のエッジ線を区画線候補Ｌｃとして検出する。図３は、実施形態に係る区画線検出処理の一例を示す図である。図３に示すように、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が略平行であり、かつ、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の距離ｄが所定範囲に収まる場合に、エッジ線Ｌｅ１およびエッジ線Ｌｅ２から区画線候補Ｌｃを検出する。

例えば、区画線が白線である場合を想定する。この場合、白線と路面との境界では、輝度差が大きくなるため、略平行な２本のエッジ線が抽出されやすくなる。このため、区画線検出部２３は、互いに略平行であり、かつ、所定間隔を隔てて配置されたエッジ線Ｌｅ１およびエッジ線Ｌｅ２のペアを区画線候補Ｌｃとして検出する。

ここで、所定範囲とは、区画線のライン幅に応じた範囲であり、例えば、５ｃｍ〜１０ｃｍまでの範囲である。また、区画線検出部２３は、図３に示すように、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複する領域を区画線候補Ｌｃとして検出し、距離ｄが区画線候補Ｌｃの幅となる。

換言すると、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、区画線候補Ｌｃとして検出しないことになる。これは、上述のように、区画線であれば、区画線の幅方向の左右両端にそれぞれ対応する１対のエッジ線で構成されるためである。

すなわち、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、ノイズであることも想定される。このため、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域について区画線候補Ｌｃとして検出しないことで、確度の高い区画線候補Ｌｃのみを検出することができる。これにより、駐車枠ＰＳの誤検知を抑制することができる。

図２の説明に戻る。区画線検出部２３は、上述のように検出した区画線候補Ｌｃに関する情報を、記憶部３の区画線情報３１に登録する。例えば、区画線検出部２３は、区画線候補Ｌｃを検出すると、検出した区画線候補Ｌｃの４隅の頂点座標を区画線情報３１に登録する。

なお、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補Ｌｃの検出処理を行うことができる。換言すると、区画線検出部２３は、不適領域について区画線候補Ｌｃの検出処理を行わない。これにより、制御部２の処理負荷を抑制することができる。

除外判定部２４は、区画線検出部２３によって検出され、区画線情報３１に登録された区画線候補Ｌｃに基づいて、車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン（導流帯）などの駐車不可領域の有無を判定する。

具体的には、互いに略平行な区画線候補Ｌｃを支持区画線と仮定し、かかる支持区画線に対して傾斜した平行線が所定の間隔をあけて複数存在する場合に、除外判定部２４は支持区画線に挟まれた領域をゼブラゾーンとみなす。そして、除外判定部２４は、かかるゼブラゾーンを駐車不可領域と判定する。

また、除外判定部２４は、区画線検出部２３によって検出された区画線候補Ｌｃと、各路面標識のテンプレートモデルとのマッチング処理を行うことで、画像データに含まれる各路面標識を検出することもできる。

また、除外判定部２４は、路面標識などの駐車枠ＰＳの検出に不要な区画線候補Ｌｃの有無を判定することもできる。例えば、除外判定部２４は、黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置されている場合に、１対の白色区画線候補Ｌｃ１の距離Ｄを評価する。

そして、１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下である場合、除外判定部２４は、かかる１対の白色区画線候補Ｌｃ１に挟まれた黒色区画線候補Ｌｃ２を区画線Ｌの候補から除外する。

除外判定部２４は、不要な区画線候補Ｌｃと判定された場合、当該区画線候補Ｌｃを区画線情報３１から除外する。また、除外判定部２４は、区画線情報３１に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補Ｌｃに基づき、駐車枠ＰＳを検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される１対の区画線候補Ｌｃに挟まれた領域を駐車枠ＰＳとして検出する。

ここで、所定間隔とは、駐車場に関する法令などで規定される一般公共用の標準的な駐車領域の幅である。また、この際、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。

すなわち、駐車枠検出部２５は、駐車不可領域と判定されたゼブラゾーンなどを避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。

なお、以下では、駐車枠検出部２５によって駐車枠ＰＳとして検出するために用いられた区画線候補Ｌｃについて、区画線Ｌと記載する。また、上述の駐車枠情報には、車両Ｃを基準とする各駐車枠ＰＳの頂点座標（すなわち、区画線Ｌにおいて駐車枠ＰＳと接する側の頂点座標）が含まれる。

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各駐車枠ＰＳの頂点座標を推定することができる。

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における駐車枠ＰＳの座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。

そして、駐車枠管理部２６は、仮定された駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみエッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑制することができる。

停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。

停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁などを検出した場合、白線の手前に車両Ｃの後端（例えば、リアバンパの先端）がくるように停車位置を決定する。

記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

区画線情報３１には、区画線検出部２３により検出された区画線候補Ｌｃに関する情報が登録される。例えば、区画線情報３１には、検出された区画線候補Ｌｃの４隅の頂点座標が登録される。

＜変形例＞
続いては、実施形態に係る画像処理の各種変形例について、図４〜図６を参照しながら説明する。図４は、実施形態の変形例１に係る画像処理方法の詳細を説明するための図である。

図４に示すように、Ｕ字型の区画線Ｌが白線で描かれている場合に、夜間などの暗い環境下で、雨などにより路面が濡れている場合には、直線状の白線部分が輝度の低い黒色区画線候補Ｌｃ２として検出され、かかる白線部分に挟まれた領域が輝度の高い白色区画線候補Ｌｃ１として検出される。

このような場合に、除外判定部２４は、まず、撮像データから白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２を検出する（ステップＳ１１）。そして、かかるステップＳ１１では、１対の黒色区画線候補Ｌｃ２と、１つの白色区画線候補Ｌｃ１とが検出される。

次に、除外判定部２４は、検出された両方の区画線候補Ｌｃ（白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２）の相対位置関係を比較する（ステップＳ１２）。そして、白色区画線候補Ｌｃ１を挟んで１対の黒色区画線候補Ｌｃ２が配置されている場合に、除外判定部２４は、１対の黒色区画線候補Ｌｃ２の距離Ｄを評価する（ステップＳ１３）。

そして、１対の黒色区画線候補Ｌｃ２の距離Ｄが所定のしきい値以下である場合、除外判定部２４は、かかる１対の黒色区画線候補Ｌｃ２に挟まれた白色区画線候補Ｌｃ１を区画線Ｌの候補から除外する（ステップＳ１４）。

これにより、除外判定部２４は、誤って検出された白色区画線候補Ｌｃ１を区画線Ｌの候補から除外することができる。したがって、変形例１によれば、夜間などの暗い環境下で雨などにより路面が濡れている場合にも、区画線Ｌの検出精度を向上させることができる。

ここまで説明したように、実施形態および変形例１によれば、昼間などの明るい環境下である場合でも、夜間などの暗い環境下で雨などにより路面が濡れている場合でも、区画線Ｌの検出精度を向上させることができる。

なお、実施形態および変形例１では、区画線ＬがＵ字型で描かれている場合について示したが、本開示が適用される区画線Ｌの形状はＵ字型に限られない。図５は、実施形態の変形例２に係る画像処理方法の詳細を説明するための図である。

図５に示すように、近接する２本の平行線である区画線Ｌが白線で描かれている場合に、昼間などの明るい環境下では、白線部分が白色区画線候補Ｌｃ１として検出され、かかる白線部分に挟まれた領域が黒色区画線候補Ｌｃ２として検出される。

このような場合に、除外判定部２４は、まず、撮像データから白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２を検出する（ステップＳ２１）。そして、かかるステップＳ２１では、１対の白色区画線候補Ｌｃ１と、１つの黒色区画線候補Ｌｃ２とが検出される。

次に、除外判定部２４は、検出された両方の区画線候補Ｌｃ（白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２）の相対位置関係を比較する（ステップＳ２２）。そして、黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置されている場合に、除外判定部２４は、１対の白色区画線候補Ｌｃ１の距離Ｄを評価する（ステップＳ２３）。

そして、１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下である場合、除外判定部２４は、かかる１対の白色区画線候補Ｌｃ１に挟まれた黒色区画線候補Ｌｃ２を区画線Ｌの候補から除外する（ステップＳ２４）。

これにより、除外判定部２４は、誤って検出された黒色区画線候補Ｌｃ２を区画線Ｌの候補から除外することができる。したがって、変形例２によれば、区画線Ｌが近接する２本の平行線で描かれている場合にも、区画線Ｌの検出精度を向上させることができる。

図６は、実施形態の変形例３に係る画像処理方法の詳細を説明するための図である。図６に示すように、区画線Ｌが近接する２本の平行線で描かれている場合に、夜間などの暗い環境下で雨などにより路面が濡れている場合には、路面の方が白線より輝度が高くなる場合があり、そのような場合、白線部分が輝度の低い黒色区画線候補Ｌｃ２として検出され、かかる白線部分に挟まれた領域が輝度の高い白色区画線候補Ｌｃ１として検出される。

このような場合に、除外判定部２４は、まず、撮像データから白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２を検出する（ステップＳ３１）。そして、かかるステップＳ１１では、１対の黒色区画線候補Ｌｃ２と、１つの白色区画線候補Ｌｃ１とが検出される。

次に、除外判定部２４は、検出された両方の区画線候補Ｌｃ（白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２）の相対位置関係を比較する（ステップＳ３２）。そして、白色区画線候補Ｌｃ１を挟んで１対の黒色区画線候補Ｌｃ２が配置されている場合に、除外判定部２４は、１対の黒色区画線候補Ｌｃ２の距離Ｄを評価する（ステップＳ３３）。

そして、１対の黒色区画線候補Ｌｃ２の距離Ｄが所定のしきい値以下である場合、除外判定部２４は、かかる１対の黒色区画線候補Ｌｃ２に挟まれた白色区画線候補Ｌｃ１を区画線Ｌの候補から除外する（ステップＳ３４）。

これにより、除外判定部２４は、誤って検出された白色区画線候補Ｌｃ１を区画線Ｌの候補から除外することができる。したがって、変形例３によれば、区画線Ｌが近接する２本の平行線で描かれており、夜間などの暗い環境下で雨などにより路面が濡れている場合にも、区画線Ｌの検出精度を向上させることができる。

＜画像処理の手順＞
続いては、実施形態に係る画像処理の手順について、図７を参照しながら説明する。図７は、実施形態に係る画像処理方法の手順を示すフローチャートである。

最初に、区画線検出部２３は、撮像データから白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２を検出する（ステップＳ１０１）。次に、除外判定部２４は、検出された両方の区画線候補Ｌｃ（白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２）の相対位置関係を比較する（ステップＳ１０２）。

そして、除外判定部２４は、黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置されているか否かを判定する（ステップＳ１０３）。そして、黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置されている場合（ステップＳ１０３、Ｙｅｓ）、除外判定部２４は、１対の白色区画線候補Ｌｃ１の距離Ｄを評価する（ステップＳ１０４）。

そして、除外判定部２４は、１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下であるか否かを判定する（ステップＳ１０５）。ここで、１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下である場合（ステップＳ１０５，Ｙｅｓ）、除外判定部２４は、かかる１対の白色区画線候補Ｌｃ１に挟まれた黒色区画線候補Ｌｃ２を区画線Ｌの候補から除外し（ステップＳ１０６）、処理を終了する。

一方で、１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下でない場合（ステップＳ１０５，Ｎｏ）、処理を終了する。

なお、ステップＳ１０３において黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置されていない場合（ステップＳ１０３、Ｎｏ）、除外判定部２４は、白色区画線候補Ｌｃ１を挟んで１対の黒色区画線候補Ｌｃ２が配置されているか否かを判定する（ステップＳ１０７）。

そして、白色区画線候補Ｌｃ１を挟んで１対の黒色区画線候補Ｌｃ２が配置されている場合（ステップＳ１０７、Ｙｅｓ）、除外判定部２４は、１対の黒色区画線候補Ｌｃ２の距離Ｄを評価する（ステップＳ１０８）。

そして、除外判定部２４は、１対の黒色区画線候補Ｌｃ２の距離Ｄが所定のしきい値以下であるか否かを判定する（ステップＳ１０９）。ここで、１対の黒色区画線候補Ｌｃ２の距離Ｄが所定のしきい値以下である場合（ステップＳ１０９，Ｙｅｓ）、除外判定部２４は、かかる１対の黒色区画線候補Ｌｃ２に挟まれた白色区画線候補Ｌｃ１を区画線Ｌの候補から除外し（ステップＳ１１０）、処理を終了する。

一方で、１対の黒色区画線候補Ｌｃ２の距離Ｄが所定のしきい値以下でない場合（ステップＳ１０９，Ｎｏ）、処理を終了する。また、ステップＳ１０７において、白色区画線候補Ｌｃ１を挟んで１対の黒色区画線候補Ｌｃ２が配置されていない場合（ステップＳ１０７、Ｎｏ）、処理を終了する。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、上記実施形態では、区画線ＬがＵ字型や近接する２本の平行線の場合について示したが、区画線Ｌの形状はかかる例に限られない。

実施形態に係る画像処理装置１は、区画線検出部２３と、除外判定部２４とを備える。区画線検出部２３は、車両Ｃの周囲が撮像された画像データに基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。除外判定部２４は、区画線検出部２３によって検出された区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。また、除外判定部２４は、路面より輝度が高い区画線Ｌより検出される白色区画線候補Ｌｃ１と、路面より輝度が低い区画線Ｌより検出される黒色区画線候補Ｌｃ２とが検出され、白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２のうち一方を第１区画線候補とし、他方を第２区画線候補とした場合において、第２区画線候補を挟んで１対の第１区画線候補が配置され、かつ１対の第１区画線候補の距離Ｄが所定のしきい値以下である場合、第２区画線候補を区画線Ｌの候補から除外する。これにより、昼間などの明るい環境下である場合でも、夜間などの暗い環境下で雨などにより路面が濡れている場合でも、区画線Ｌの検出精度を向上させることができる。

また、実施形態に係る画像処理装置１において、除外判定部２４は、黒色区画線候補Ｌｃ２を挟んで１対の白色区画線候補Ｌｃ１が配置され、かつ１対の白色区画線候補Ｌｃ１の距離Ｄが所定のしきい値以下である場合、黒色区画線候補Ｌｃ２を区画線Ｌの候補から除外する。これにより、昼間などの明るい環境下である場合に、区画線Ｌの検出精度を向上させることができる。

また、実施形態に係る画像処理装置１において、除外判定部２４は、白色区画線候補Ｌｃ１を挟んで１対の黒色区画線候補Ｌｃ２が配置され、かつ１対の黒色区画線候補Ｌｃ２の距離Ｄが所定のしきい値以下である場合、白色区画線候補Ｌｃ１を区画線Ｌの候補から除外する。これにより、夜間などの暗い環境下で、雨などにより路面が濡れている場合にも、区画線Ｌの検出精度を向上させることができる。

また、実施形態に係る画像処理方法は、区画線検出工程（ステップＳ１０１）と、除外判定工程（ステップＳ１０２〜Ｓ１１０）と、を含む。区画線検出工程（ステップＳ１０１）は、車両Ｃの周囲が撮像された画像データに基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。除外判定工程（ステップＳ１０２〜Ｓ１１０）は、区画線検出工程（ステップＳ１０１）によって検出された区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。また、除外判定工程（ステップＳ１０２〜Ｓ１１０）は、路面より輝度が高い区画線Ｌから検出される白色区画線候補Ｌｃ１と、路面より輝度が低い区画線Ｌから検出される黒色区画線候補Ｌｃ２とが検出され、白色区画線候補Ｌｃ１および黒色区画線候補Ｌｃ２のうち一方を第１区画線候補とし、他方を第２区画線候補とした場合において、第２区画線候補を挟んで１対の第１区画線候補が配置され、かつ１対の第１区画線候補の距離Ｄが所定のしきい値以下である場合、第２区画線候補を区画線Ｌの候補から除外する（ステップＳ１０６、Ｓ１１０）。これにより、昼間などの明るい環境下である場合でも、夜間などの暗い環境下で雨などにより路面が濡れている場合でも、区画線Ｌの検出精度を向上させることができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２ 制御部
３ 記憶部
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 区画線情報
１００ 駐車支援システム
ＰＳ 駐車枠
Ｌ 区画線
Ｌｃ 区画線候補
Ｌｃ１ 白色区画線候補
Ｌｃ２ 黒色区画線候補
Ｄ 距離

Claims (4)

1. 車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する区画線検出部と、
   前記区画線検出部によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する除外判定部と、
   を備え、
   前記除外判定部は、
   路面より輝度が高い区画線から検出される白色区画線候補と、路面より輝度が低い区画線から検出される黒色区画線候補とが検出され、前記白色区画線候補および前記黒色区画線候補のうち一方を第１区画線候補とし、他方を第２区画線候補とした場合において、
   前記第２区画線候補を挟んで１対の前記第１区画線候補が配置され、かつ１対の前記第１区画線候補の距離が所定のしきい値以下である場合、前記第２区画線候補を前記区画線の候補から除外すること
   を特徴とする画像処理装置。
2. 前記除外判定部は、
   前記黒色区画線候補を挟んで１対の前記白色区画線候補が配置され、かつ１対の前記白色区画線候補の距離が所定のしきい値以下である場合、前記黒色区画線候補を前記区画線の候補から除外すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記除外判定部は、
   前記白色区画線候補を挟んで１対の前記黒色区画線候補が配置され、かつ１対の前記黒色区画線候補の距離が所定のしきい値以下である場合、前記白色区画線候補を前記区画線の候補から除外すること
   を特徴とする請求項１に記載の画像処理装置。
4. 車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する区画線検出工程と、
   前記区画線検出工程によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する除外判定工程と、
   を含み、
   前記除外判定工程は、
   路面より輝度が高い区画線から検出される白色区画線候補と、路面より輝度が低い区画線から検出される黒色区画線候補とが検出され、前記白色区画線候補および前記黒色区画線候補のうち一方を第１区画線候補とし、他方を第２区画線候補とした場合において、
   前記第２区画線候補を挟んで１対の前記第１区画線候補が配置され、かつ１対の前記第１区画線候補の距離が所定のしきい値以下である場合、前記第２区画線候補を前記区画線の候補から除外すること
   を特徴とする画像処理方法。

Images