JP2020194470A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像処理装置において、斜線領域に隣接する駐車区画を特定する。【解決手段】画像処理装置１００は、画像のプラススエッジの線分２１１及びマイナスエッジの線分２１２を検出するエッジ検出部１１３と、検出されたプラスエッジの線分２１１及びマイナスエッジの線分２１２を、プラスエッジの線分２１１ごとに及びマイナスエッジの線分２１２ごとに、所定の角度間隔でグループ分けするグルーピング部１１５と、グループ分けされたプラスエッジの線分２１１のグループにおける複数のプラスエッジの線分２１１間で、対応する端点同士を繋ぎ、この繋いで得られた線を境界線として設定し、又はマイナスエッジ２１２のグループにおける複数のマイナスエッジの線分間で、対応する端点同士を繋ぎ、この繋いで得られた線を境界線として設定する境界線設定部１１６と、を備える。【選択図】図３

Description

本発明は、画像処理装置及び画像処理方法に関する。

カメラで撮影された画像に基づいて、車両を駐車するために仕切られた駐車区画を自動的に検出する技術が知られている（例えば、特許文献１参照）。

特開２０１７−０２４５９８号公報

ところで、駐車区画を仕切るマーカとしては、白線等の、車両の前後方向に平行に延びた境界線が一般的であるが、その他に、車両の立ち入りや駐停車を禁止する領域を示すマーカも、駐車区画を仕切るマーカとなりうる。

すなわち、例えば道路上におけるゼブラゾーンのように、駐車場内に、複数の平行な斜線で表された領域（以下、斜線領域という。）が設けられていることがある。この斜線領域は、運転者に対して、駐停車禁止や進入禁止を認識させる。しかし、この斜線領域に隣接する領域は、駐車区画として設定されていることもある。

ここで、カメラで撮像された画像に基づいて駐車区画を自動的に検出する場合、上述した車両の前後方向に沿って延びた白線のマーカについては、白線の無い路面から白線に切り替わる部分で画像の信号値が急激に大きくなるように変化し、白線から路面に切り替わる部分で画像の信号値が急激に小さくなるように変化する。

つまり、白線の無い路面から白線に切り替わる部分で立上がりのエッジ（プラスエッジ（＋エッジ））の線分が検出され、白線から路面に切り替わる立下りのエッジ（マイナスエッジ（−エッジ））の線分が検出される。そして、これら＋エッジと−エッジとが、白線の一般的な線幅程度の間隔を以て対に配置されている場合は、その＋エッジと−エッジとの対となった部分を、マーカである白線として検出することができる。

しかし、上述した斜線領域は、車両の前後方向に延びる白線を有しないため、＋エッジも−エッジも検出されない。したがって、上述した手法では、斜線領域に隣接する駐車区画の境界線を検出することはできない。

本発明は上記事情に鑑みなされたものであり、斜線領域に隣接する駐車区画の境界線を設定することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の第１は、車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出するエッジ検出部と、前記エッジ検出部により検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けするグルーピング部と、前記グルーピング部によりグループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する境界線設定部と、を備えた画像処理装置である。

本発明の第２は、車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出し、検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けし、グループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する画像処理方法である。

本発明に係る画像処理装置及び画像処理方法によれば、斜線領域に隣接する駐車区画の境界線を適切に設定することができる。

本発明に係る画像処理装置の一実施形態である画像処理装置を用いた駐車支援装置の概略構成を示すブロック図である。 駐車支援装置におけるカメラ（前方カメラ、後方カメラ、左側方カメラ、右側方カメラ）の配置の一例を示す図である。 本実施形態の画像処理装置の概略構成を示す機能ブロック図である。 車幅方向の両側方がそれぞれ、駐車した状態の車両の前後方向に直線状に延びた側線により仕切られた駐車区画、車幅方向の一方の側方が側線により仕切られ他方の側方が斜線領域により仕切られた駐車区画、及び車幅方向の両側方がそれぞれ斜線領域により仕切られた駐車区画を含む駐車場を示す模式図である。 図３に示した画像処理装置が駐車区画を特定する処理の流れを示すフローチャートである。 互いに平行な複数の斜線で形成された斜線領域の、その斜線のプラス（＋）エッジ及びマイナス（−）エッジを示す模式図である。 エッジ検出部により検出された＋エッジの線分や−エッジの線分を示す模式図である。 ＋エッジの線分の端点同士を結んだ境界線分及び端点同士を結んだ境界線分を示す模式図である。 −エッジの線分の端点同士を結んだ境界線分及び端点同士を結んだ境界線分を示す模式図である。 境界線分同士を繋いだ境界線を示す模式図である。 側線及び境界線により仕切られて特定された駐車区画並びに２つの境界線で仕切られて特定された駐車区画を示す、図４相当の模式図である。

以下、本発明に係る画像処理装置及び画像処理方法の具体的な実施の形態について、図面を参照して説明する。

［駐車支援装置の概略構成］
図１は、本発明に係る画像処理装置の一実施形態である画像処理装置１００を用いた駐車支援装置１の概略構成を示すブロック図、図２は駐車支援装置１におけるカメラ２０（前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄ）の配置の一例を示す図である。

図１に示した駐車支援装置１は、図２に示した車両Ｖに搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、図２に示す車載のカメラ２０（撮像装置）で撮影された画像に基づいて、車両Ｖの周囲の駐車領域である駐車区画を認識し、その認識した駐車区画に車両Ｖを誘導するように車両Ｖの動作を制御する車両制御ＥＣＵ４０に対して必要な信号を出力する。

駐車支援装置１は、図１に示すように、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ及び右側方カメラ２０ｄと、カメラＥＣＵ２２と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３４とを有する。

図２に示すように、前方カメラ２０ａは、車両Ｖのフロントバンパ又はフロントグリルに、車両Ｖの前端を含む前方の領域を撮影するように前方に向けて装着されている。後方カメラ２０ｂは、車両Ｖのリアバンパ又はリアガーニッシュに、車両Ｖの後端を含む後方の領域を撮影するように後方に向けて装着されている。左側方カメラ２０ｃは、車両Ｖの左ドアミラーに、車両Ｖの左側方の領域を撮影するように左側方に向けて装着されている。右側方カメラ２０ｄは、車両Ｖの右ドアミラーに、車両Ｖの右側方の領域を撮影するように右側方に向けて装着されている。

これらのカメラ２０ａ〜２０ｄには、例えば１８０［°］程度の広い範囲を撮影できるように広い画角の広角レンズや魚眼レンズが装着されており、これら４台のカメラ２０ａ〜２０ｄによって車両Ｖの周囲の路面を含んだ全周の領域を漏れなく撮影することができるようになっている。

以下、これら４つのカメラ２０ａ〜２０ｄを区別しない場合や総称する場合は、カメラ２０という。

カメラＥＣＵ２２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ等からなるマイクロコンピュータ（マイコン）を主体として構成される。カメラＥＣＵ２２は、カメラ２０の動作を制御するとともに、カメラ２０が撮影した画像情報を用いて、俯瞰画像の生成処理や、駐車区画を検知する検知処理などを行う画像処理装置１００を備えている。

ナビゲーション装置３０は画像表示機能を有するモニタ３１を備えている。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有し、この地図データ等及び図示を略したＧＰＳ装置等により測位された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニタ３１に表示される。

車輪速センサ３２は、車両Ｖの車輪速を検知する。車輪速センサ３２により検知された車輪速は車両制御ＥＣＵ４０に入力され、車両制御ＥＣＵ４０による車両Ｖの動作の制御に用いられる。

操舵角センサ３４は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を０［度］（中立位置）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３４で検知された操舵角は、車両制御ＥＣＵ４０に入力され、車両制御ＥＣＵ４０による車両Ｖの動作の制御に用いられる。

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ等からなるマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４から入力された各情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

すなわち、例えば、運転者が、図示を略した自動駐車開始スイッチ等を操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２２によって取得された駐車区画に、車両Ｖを自動運転で駐車させる自動駐車処理を実行する。

自動駐車処理において、ステアリング制御ユニット５０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、パワーステアリング（パワステ）アクチュエータ５２の駆動を制御することにより、車両Ｖの操舵角を制御する。

また、自動駐車処理において、スロットル制御ユニット６０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、スロットルアクチュエータ６２の駆動を制御することにより、車両Ｖのスロットル開度を制御する。

また、自動駐車処理において、ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、ブレーキアクチュエータ７２の駆動を制御することにより、車両Ｖのブレーキを制御する。

なお、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４と、車両制御ＥＣＵ４０とは、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network；登録商標）８０によって接続されている。

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０とは、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８２によって接続される。

［画像処理装置の機能構成］
図３は本実施形態の画像処理装置１００の概略構成を示す機能ブロック図、図４は車幅方向の両側方がそれぞれ、駐車した状態の車両Ｖの前後方向に直線状に延びた側線２１０，２１０により仕切られた駐車区画３１０、車幅方向の一方の側方が側線２１０により仕切られ他方の側方が斜線領域２８０により仕切られた駐車区画３２０、及び車幅方向の両側方がそれぞれ斜線領域２８０，２８０により仕切られた駐車区画３３０を含む駐車場を示す模式図である。

また、図５は図３に示した画像処理装置１００が駐車区画３１０，３２０，３３０を特定する処理の流れを示すフローチャート、図６は互いに平行な複数の斜線２２０で形成された斜線領域２８０の、その斜線２２０のプラス（＋）エッジの線分２２１及びマイナス（−）エッジの線分２２２を示す模式図である。

画像処理装置１００は、図４に示した各駐車区画３１０，３２０，３３０を特定して、その特定した駐車区画３１０，３２０，３３０（以下、駐車区画３１０等と総称する場合もある。）に関する情報（駐車区画３１０等の位置や形状等）を、車両制御ＥＣＵ４０に出力する。

そして、駐車区画３１０等に関する情報を取得した車両制御ＥＣＵ４０は、特定された駐車区画３１０等に車両Ｖを誘導して駐車動作させるように、予め記憶されたプログラムに従って、車輪速センサ３２及び操舵角センサ３４によって検出された情報を参照しつつ、ステアリング制御ユニット５０を通じてパワステアクチュエータ５２、スロットル制御ユニット６０を通じてスロットルアクチュエータ６２及びブレーキ制御ユニット７０を通じてブレーキアクチュエータ７２を制御する。これにより、車両Ｖは、設定された駐車区画３１０等に適切に駐車される。

ここで、駐車区画３１０は、車幅方向の両側方がそれぞれ、駐車した状態の車両Ｖの前後方向に直線状に延びた側線２１０，２１０により仕切られた駐車区画であり、駐車区画３２０は、車幅方向の一方の側方が側線２１０により仕切られ他方の側方が斜線領域２８０により仕切られた駐車区画であり、駐車区画３３０は、車幅方向の両側方がそれぞれ斜線領域２８０，２８０により仕切られた駐車区画である。

なお、斜線領域２８０は、互いに平行な複数の斜線２２０が形成された領域であり、斜線２２０は、側線２１０に対して傾斜した線である。そして、本実施形態における斜線領域２８０は、上述した複数の斜線２２０のみによって形成され、その斜線領域２８０の全周を囲む輪郭線を有しないものである。

画像処理装置１００は、図３に示すように、制御部１１０と、記憶部１２０とを有する。

制御部１１０は、カメラＥＣＵ２２のＣＰＵから主に構成されており、画像処理装置１００全体の制御を行う。制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

記憶部１２０は、カメラＥＣＵ２２のＲＯＭ、ＲＡＭ及びフラッシュメモリ等から主に構成されている。記憶部１２０は、図示を省略した制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。また、記憶部１２０には、制御部１１０での処理の途中に検出された、端点等のデータや、駐車区画３１０等に関する情報などが記憶される。

特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

制御部１１０は、視点変換部１１１と、マーカ検出部１１２と、駐車区画特定部１１７と、表示制御部１１８と、を備えている。

視点変換部１１１は、４つのカメラ２０がそれぞれ車両Ｖの周囲の路面を撮像した画像（以下、スルー画像ということもある。）を取得し（図５におけるステップ１（Ｓ１））、このスルー画像を、例えば図４に示した俯瞰画像（車両Ｖの上方から鉛直方向に平行な視線で見下ろしたと仮定して得られる画像）に変換する（図５におけるＳ２）。

なお、視点変換部１１１は、視点変換とともに、４つのカメラ２０が撮像したスルー画像に対応した４つの俯瞰画像を、車両Ｖを中心とした単一の俯瞰画像に合成する処理（Ｓ２において括弧書きで示す）を行ってもよい。

マーカ検出部１１２は、エッジ検出部１１３と、側線検出部１１４と、グルーピング部１１５と、境界線設定部１１６とを備える。

エッジ検出部１１３は、視点変換部１１１から出力された俯瞰画像に対して、一定方向（例えば、俯瞰画像における横方向に対応したｘ方向（図４の俯瞰画像においては、駐車区画３１０等における車幅方向に対応））に走査を行うことで、ｘ方向に交差する方向に延びたエッジを検出するエッジ検出処理を行う（図５におけるＳ３）。エッジは、その画像の空間的に狭い領域で明暗（画素の値（画像信号値））が急激に所定値よりも増減変化する部分である。

エッジは、例えば、８ｂｉｔの画像信号値（０〜２５５）で表されたＹＵＶ画像上においては、８以上の輝度差（輝度の変化）がある部分とすることができる。なお、８ｂｉｔの画像信号値０〜２５５を圧縮して、画像信号値０〜１２７に対応付けて取り扱う場合は、４以上の輝度差がある部分をエッジとすることができる。これらの具体的な値は例示に過ぎず、他の値以上の輝度差の部分をエッジとしてもよい。

以下、画像信号値が相対的に小さい値から大きい値に増加するエッジ（立上がりエッジ）をプラスエッジ（以下、＋エッジと略す。）、画像信号値が相対的に大きい値から小さい値に減少するエッジ（立下りエッジ）をマイナスエッジ（−エッジと略す。）という。エッジ検出部１１３は、＋エッジと−エッジをそれぞれ検出する。

ここで、駐車区画３１０の境界線である側線２１０や斜線領域２８０の斜線２２０は、路面の他の部分に比べて明るい（輝度値が高い）、例えば白色や黄色の線で描かれている。したがって、エッジ検出部１１３は、側線２１０及び斜線２２０ではない路面から側線２１０や斜線２２０に切り替わる部分で＋エッジを検出し、側線２１０や斜線２２０から側線２１０及び斜線２２０ではない路面に切り替わる部分で−エッジを検出する。

なお、側線２１０や斜線２２０は、白色や黄色に限らず、路面の部分より明るい色で形成されていればよく、路面の部分より暗い色のものは含まない。

エッジ検出部１１３は、上述したｘ方向への走査を、その走査方向（ｘ方向）とは異なる方向（例えば、ｘ方向に直交するｙ方向（車両Ｖの前後方向））にずらして複数回行い、＋エッジが所定方向に略一直線上に並んで検出されれば、その所定方向に延びた＋エッジの線分を検出する。−エッジの線分についても同様である。

エッジ検出部１１３は、側線２１０の＋エッジの線分２１１及び−エッジの線分２１２や、互いに平行な複数の斜線２２０で形成された斜線領域２８０の、その斜線２２０の＋エッジの線分２２１及び−エッジの線分２２２（図６参照）などを検出する。

側線検出部１１４は、駐車区画３１０等を仕切る、そこに駐車した状態の車両Ｖの前後方向に延びた側線２１０を検出する。具体的には、側線検出部１１４は、エッジ検出部１１３によって検出された＋エッジの線分２１１，２２１や−エッジの線分２１２，２２２等のうち、ｘ方向に直交するｙ方向（駐車区画３１０に駐車した状態の車両Ｖの前後方向に対応）に延びた＋エッジの線分２１１及び−エッジの線分２１２を選択する。

そして、側線検出部１１４は、選択した＋エッジの線分２１１と−エッジの線分２１２とが、所定の一定間隔ｄで対（ペア）になって、かつ一定長さ以上であるものを、駐車区画３１０を仕切るマーカとしての側線２１０と判定し、検出する（図５におけるＳ４においてＹＥＳ）。

ここで、一定間隔ｄの値は、駐車区画３１０の境界線として用いられている側線２１０の線幅の一般的な寸法範囲に設定されていて、単一値ではなく、最小値から最大値までの範囲を有するものとして設定されている。同様に、一定長さの値は、駐車区画３１０の境界線として用いられている側線２１０の線長の一般的な寸法範囲に設定されたものである。

一方、例えば、ｙ方向に延びているものであっても、＋エッジの線分２１１のみが検出され、その＋エッジの線分２１１と対になるべき−エッジの線分２１２が一定間隔ｄの範囲で検出されていないときは、側線検出部１１４は、側線２１０は存在しないと判定し、検出しない。

そのような状況としては、例えば路面上に車両Ｖ等の影が投影されて、その影から日向（ひなた）に切り替わる部分などが想定され、その切り替わる部分では＋エッジの線分２１１が検出されるが、対になるべき−エッジの線分２１２は検出されないため、側線検出部１１４は側線２１０が存在しないと判定する。

同様に、例えば、−エッジの線分２１２のみが検出された場合も、側線検出部１１４は、側線２１０は存在しないと判定する。−エッジの線分２１２のみが検出された場合の例としては、例えば路面上に車両Ｖ等の影が投影されて、日向からその影に切り替わる部分などが想定され、この場合、側線検出部１１４は側線２１０が存在しないと判定する。

なお、例えば、電信柱の影が日向の路面に投影されている場合は、−のエッジの線分２１２と＋のエッジの線分２１１とが一定間隔ｄで対になり得るが、この場合も、側線検出部１１４は、側線２１０は存在しないと判定する。電信柱の影は日向の路面よりも暗いため、路面よりも暗い線として認識され得るが、暗い線は、路面よりも明るい側線２１０に該当しない。

つまり、側線検出部１１４は、＋エッジの線分２１１から一定間隔ｄで−エッジの線分２１２が存在した場合に側線２１０と判定するのであり、−エッジの線分２１２から一定間隔ｄで＋エッジの線分２１１が存在した場合に側線２１０と判定しない。これにより、側線検出部１１４は、上述した電信柱の影のような暗い線を、誤って側線２１０として検出することがなく、そのようなノイズの誤検出を排除することができる。

また、側線検出部１１４が検出するのは、ｙ方向に延びた側線２１０であるから、ｙ方向（ｘ方向に直交する方向）に対して傾いた斜線２２０を、側線として検出することはない。

図７はエッジ検出部１１３により検出された＋エッジの線分２２１や−エッジの線分２２２を示す模式図、図８は＋エッジの線分２２１の端点２２１ａ同士を結んだ境界線分２２３ａ，２２３ｂ，２２３ｃ，２２３ｄ及び端点２２１ｂ同士を結んだ境界線分２２４ａ，２２４ｂ，２２４ｃ，２２４ｄを示す模式図である。

また、図９は−エッジの線分２２２の端点２２２ａ同士を結んだ境界線分２２５ａ，２２５ｂ，２２５ｃ，２２５ｄ及び端点２２２ｂ同士を結んだ境界線分２２６ａ，２２６ｂ，２２６ｃ，２２６ｄを示す模式図、図１０は境界線分同士を繋いだ境界線２２３，２２４，２２５，２２６を示す模式図である。

また、図１１は側線２１０及び境界線２２３により仕切られて特定された駐車区画３２０並びに２つの境界線２２６，２２３で仕切られて特定された駐車区画３３０を示す、図４相当の模式図である。

グルーピング部１１５は、エッジ検出部により検出された＋エッジの線分及び−エッジの線分を、＋エッジごとに及び−エッジごとに、所定の角度間隔でグループ分け（グルーピング）し、境界線設定部１１６は、俯瞰画像に基づいて、駐車区画３２０，３３０を仕切るマーカとしての、互いに平行な複数の斜線２２０で形成され斜線領域２８０の境界線２２３，２２６（後述する図１０，１１参照）を設定する。

具体的には、グルーピング部１１５は、エッジ検出部１１３によって検出された＋エッジの線分２１１，２２１や−エッジの線分２１２，２２２を、＋エッジの線分２１１，２２１ごとに及び−エッジの線分２１２，２２２ごとに、所定の角度間隔（例えば、角度５［°］間隔）でグループ分けする（図５におけるＳ７）。

すなわち、グルーピング部１１５は、＋エッジの線分２１１，２２１や−エッジの線分２１２，２２２を、その線分の延びた方向（例えば、ｘ方向に対して直交以外の傾斜した角度θ）が互いに近いもの同士のグループに分ける。

そして、境界線設定部１１６は、所定の角度間隔の複数のグループのうち、傾斜角度θが隣接する３つのグループ（例えば、θ＝３６〜４０［°］のエッジの線分が属するグループと、θ＝４１〜４５［°］のエッジの線分が属するグループと、θ＝４６〜５０［°］のエッジの線分が属するグループ）を一括りのグループとする。

このように、３つのグループを一括りにするのは、グループ分けする際のグループ間の境界の設定が適切でない等の理由で、延びた向きが互いに近いエッジの線分であるため本来は同一のグループに振り分けられるべきエッジの線分が、別グループに振り分けられたことを補償するためであり、その必要が無い場合は、単一のグループに属するエッジの線分だけを、後の処理の対象としてもよい。

３つのグループを一括りにするのは、上述した、傾斜角度θ＝３６〜４０［°］のエッジの線分が属するグループと、傾斜角度θ＝４１〜４５［°］のエッジの線分が属するグループと、傾斜角度θ＝４６〜５０［°］のエッジの線分が属するグループという３つのグループだけでなく、傾斜角度θを順次ずらした、隣接する３つのグループをそれぞれ一括りにする。

つまり、例えば、傾斜角度θが５［°］ごとにグループ分けされたエッジの線分のグループが下記のように設定されているものとする。
・傾斜角度θ＝１〜５［°］のエッジの線分が属するグループＧ１
・傾斜角度θ＝６〜１０［°］のエッジの線分が属するグループＧ２
・傾斜角度θ＝１１〜１５［°］のエッジの線分が属するグループＧ３
・傾斜角度θ＝１６〜２０［°］のエッジの線分が属するグループＧ４
・傾斜角度θ＝２１〜２５［°］のエッジの線分が属するグループＧ５
・傾斜角度θ＝２６〜３０［°］のエッジの線分が属するグループＧ６
・傾斜角度θ＝３１〜３５［°］のエッジの線分が属するグループＧ７
・傾斜角度θ＝３６〜４０［°］のエッジの線分が属するグループＧ８
・傾斜角度θ＝４１〜４５［°］のエッジの線分が属するグループＧ９
・傾斜角度θ＝４６〜５０［°］のエッジの線分が属するグループＧ１０
・傾斜角度θ＝５１〜５５［°］のエッジの線分が属するグループＧ１１
・傾斜角度θ＝５６〜６０［°］のエッジの線分が属するグループＧ１２
・傾斜角度θ＝６１〜６５［°］のエッジの線分が属するグループＧ１３
・傾斜角度θ＝６６〜７０［°］のエッジの線分が属するグループＧ１４
・傾斜角度θ＝７１〜７５［°］のエッジの線分が属するグループＧ１５
・傾斜角度θ＝７６〜８０［°］のエッジの線分が属するグループＧ１６
・傾斜角度θ＝８１〜８５［°］のエッジの線分が属するグループＧ１７
・傾斜角度θ＝８６〜８９［°］のエッジの線分が属するグループＧ１８

この場合、傾斜角度θを順次ずらして一括りにされた隣接する３つのグループは、下記のような組み合わせとなる。
・グループＧ１，Ｇ２，Ｇ３を一括りにしたもの
・グループＧ２，Ｇ３，Ｇ４を一括りにしたもの
・グループＧ３，Ｇ４，Ｇ５を一括りにしたもの
・グループＧ４，Ｇ５，Ｇ６を一括りにしたもの
・グループＧ５，Ｇ６，Ｇ７を一括りにしたもの
・グループＧ６，Ｇ７，Ｇ８を一括りにしたもの
・グループＧ７，Ｇ８，Ｇ９を一括りにしたもの
・グループＧ８，Ｇ９，Ｇ１０を一括りにしたもの
・グループＧ９，Ｇ１０，Ｇ１１を一括りにしたもの
・グループＧ１０，Ｇ１１，Ｇ１２を一括りにしたもの
・グループＧ１１，Ｇ１２，Ｇ１３を一括りにしたもの
・グループＧ１２，Ｇ１３，Ｇ１４を一括りにしたもの
・グループＧ１３，Ｇ１４，Ｇ１５を一括りにしたもの
・グループＧ１４，Ｇ１５，Ｇ１６を一括りにしたもの
・グループＧ１５，Ｇ１６，Ｇ１７を一括りにしたもの
・グループＧ１６，Ｇ１７，Ｇ１８を一括りにしたもの

なお、１つのグループＧｉ（ｉ＝１，２，…，１８）の所定の角度間隔は、上述した５［°］間隔に限定されるものではなく、５［°］間隔よりも小さい４［°］間隔や３［°］間隔や２［°］間隔等を適用することができ、また、５［°］間隔よりも大きい６［°］間隔や７［°］間隔や８［°］間隔等を適用することもできる。

これらの隣接する３つのグループＧｉ，Ｇ（ｉ＋１），Ｇ（ｉ＋２）を一括りにしたものに属するエッジの線分は、線分の延びた方向（図７における、ｘ方向に対する角度θ）が比較的近い（本実施形態の場合は、傾斜角度θの差が１５［°］以内）ことになり、隣接した３つのグループＧｉ，Ｇ（ｉ＋１），Ｇ（ｉ＋２）を一括りにする処理は、斜線領域２８０を構成している互いに平行に近い複数の斜線２２０に対応した＋エッジの線分２２１及び−エッジの線分２２２を抽出する処理である。

つまり、エッジ検出部１１３により、例えば図７に示すように種々の方向に延びる＋エッジの線分２２１や−エッジの線分２２２が検出された場合に、これらの＋エッジの線分２２１や−エッジの線分２２２は、グルーピング部１１５により、図６に示すように傾斜角度θが近い＋エッジの線分２２１や−エッジの線分２２２にグループ分けされる。

そして、境界線設定部１１６は、傾斜角度θが隣接する３つのグループを一括りしたものに属する＋エッジの線分２２１について、任意の２つの＋エッジの線分２２１で組を作り、図８に例示するように、その組の２つの＋エッジの線分２２１，２２１の一方の端点２２１ａ，２２１ａ同士を結んだ境界線分２２３ａ，２２３ｂ，２２３ｃ，２２３ｄ及び他方の端点２２１ｂ，２２１ｂ同士を結んだ境界線分２２４ａ，２２４ｂ，２２４ｃ，２２４ｄをそれぞれ設定する（図５におけるＳ８）。

なお、図８においては、図が煩雑になるのを防止する観点から、隣接する２つの＋エッジの線分２２１，２２１の組についてのみ、端点２２１ａ，２２１ａ同士及び端点２２１ｂ，２２１ｂ同士を結んだ境界線分２２３ａ，…，２２３ｄだけを記載した。しかし、境界線設定部１１６が境界線分を設定する処理は、隣接する２つの＋エッジの線分２２１，２２１同士だけでなく、全ての２つの＋エッジの線分２２１，２２１間で端点２２１ａ，２２１ａ同士及び端点２２１ｂ，２２１ｂ同士を結んだ境界線分を設定する。

境界線設定部１１６は、グループ分けされ、隣接する３つの傾斜角度のグループを一括りにした−エッジの線分２２２についても、任意の２つで組を作り、図９に例示するように、その組の２つの−エッジの線分２２２，２２２の一方の端点２２２ａ，２２２ａ同士を結んだ境界線分２２５ａ，２２５ｂ，２２５ｃ，２２５ｄ及び他方の端点２２２ｂ，２２２ｂ同士を結んだ境界線分２２６ａ，２２６ｂ，２２６ｃ，２２６ｄをそれぞれ設定する（図５におけるＳ８）。

図９に示した２つの−エッジの線分２２２，２２２間での境界線分についても、＋エッジの線分２２１，２２１間の境界線分と同様に、境界線設定部１１６は、隣接する２つの−エッジの線分２２２，２２２同士だけでなく、全ての２つの−エッジの線分２２２，２２２間で端点２２２ａ，２２２ａ同士及び端点２２２ｂ，２２２ｂ同士を結んだ境界線分を設定する。

境界線設定部１１６は、＋エッジの線分２２１に対応した複数の境界線分２２３ａ，…，２２３ｄのうち、その延びた方向が略等しくかつその長さが略等しいものだけを抽出し、又はその延びた方向が予め設定された所定の範囲の方向に合致しかつその長さが予め設定された所定の範囲の長さのものだけを抽出して、ノイズ成分を除去する。そして、抽出されたものを２つ以上繋いで、図１０に示すように、＋エッジの線分２２１に対応した境界線２２３，２２４と−エッジの線分２２２に対応した境界線２２５，２２６を設定する。

さらに、境界線設定部１１６は、＋エッジの線分２２１に対応した境界線２２３，２２４と−エッジの線分２２２に対応した境界線２２５，２２６とのうち、車幅方向（ｘ方向）において、より外側に端点が位置する境界線２２３と境界線２２６を選択し、これら選択した２つの境界線２２３，２２６を、斜線領域２８０の境界線として設定する（図５におけるＳ９）。

このように、図４に示す俯瞰画像については、側線検出部１１４は、駐車区画３１０を仕切る２本の側線２１０，２１０を検出し、境界線設定部１１６は駐車区画３２０及び駐車区画３３０をそれぞれ仕切る境界線２２３，２２６を設定する。

そして、駐車区画特定部１１７は、図１１に示すように、駐車区画３１０について、側線検出部１１４により検出された２本の側線２１０，２１０の間隔が所定の閾値Ｗ１の範囲にあるか否かを判定する。駐車区画特定部１１７は、所定の閾値Ｗ１の範囲にあると判定したとき（図５におけるＳ５においてＹＥＳ）は、２本の側線２１０，２１０を両側方の側線とした駐車区画３１０であると特定する（図５におけるＳ６）。

なお、所定の閾値Ｗ１は、駐車区画３１０等として一般的な車幅方向の寸法として設定されている。

駐車区画３１０の隣の駐車区画３２０については、図示左側の側方は側線２１０であるが、右側の側方は側線２１０ではない。したがって、駐車区画特定部１１７は、駐車区画３２０は２本の側線２１０，２１０を両側方の側線とする駐車区画ではないと判定する（図５におけるＳ５においてＮＯ）。

そして、駐車区画特定部１１７は、図１１に示すように、駐車区画３２０について、側線検出部１１４により検出された側線２１０と境界線設定部１１６により設定された境界線２２３との間の距離が所定の閾値Ｗ２の範囲にあるか否かを判定する。

駐車区画特定部１１７は、所定の閾値Ｗ２の範囲にあると判定したとき（図５におけるＳ１０においてＹＥＳ）は、側線２１０と境界線２２３との間の領域を、一側方が側線２１０、他側方が斜線領域２８０の境界線２２３（又は境界線２２６）である駐車区画３２０であると特定する（図５におけるＳ１１）。

なお、所定の閾値Ｗ２は、駐車区画３２０として一般的な車幅方向の寸法として設定されている。

駐車区画３２０の隣の駐車区画３３０については、図示左側の側方も右側の側方も境界線２２６，２２３であるため、一側方が側線２１０、他側方が斜線領域２８０の境界線２２３，２２６である駐車区画ではないと判定する（図５におけるＳ１０においてＮＯ）。

そして、駐車区画特定部１１７は、図１１に示すように、駐車区画３３０について、両側方が境界線設定部１１６により設定された境界線２２３，２２６の間の距離が所定の閾値Ｗ３の範囲にあるか否かを判定する。

駐車区画特定部１１７は、所定の閾値Ｗ３の範囲にあると判定したとき（図５におけるＳ１２においてＹＥＳ）は、境界線２２６，２２３の間の領域を、両側方が斜線領域２８０，２８０の境界線２２６，２２３である駐車区画３３０であると特定する（図５におけるＳ１３）。

なお、所定の閾値Ｗ３は、駐車区画３３０として一般的な車幅方向の寸法として設定されている。

駐車区画特定部１１７は、駐車区画について、両側方が境界線設定部１１６により設定された境界線２２３，２２６でないか、又は境界線２２３，２２６の間の距離が所定の閾値Ｗ３の範囲でないと判定したとき（図５におけるＳ１２においてＮＯ）は、駐車区画を特定しない（図５におけるＳ１４）で処理を終了する。

以上のようにして、駐車区画特定部１１７が駐車区画３１０等を特定すると、それらの特定した駐車区画３１０等に関する情報を記憶部１２０に記憶するとともに、その駐車区画３１０等に関する情報を、車両制御ＥＣＵ４０に出力する。

駐車区画３１０等に関する情報を取得した車両制御ＥＣＵ４０は、自動駐車処理によって車両Ｖを特定の駐車区画３１０等に誘導して、車両Ｖを自動的に駐車させる。

また、画像処理装置１００の表示制御部１１８は、ナビゲーション装置３０のモニタ３１に、俯瞰画像及び設定された駐車区画３１０等を重畳表示し、これにより、駐車区画３１０等に車両Ｖが誘導されていく様子を、ドライバに視認させることができる。

以上のように、本実施形態の画像処理装置１００及び画像処理方法によれば、側線２１０で仕切られた駐車区画３１０の他に、側線２１０と斜線領域２８０とで仕切られた（斜線領域２８０に隣接した）駐車区画３２０や、２つの斜線領域２８０で仕切られた（２つの斜線領域２８０に隣接した）駐車区画３３０も適切に検出することができる。

本実施形態の画像処理装置１００及び画像処理方法は、スルー画像に対して視点変換処理を施して得られた俯瞰画像に基づいて、側線を検出したり、境界線を設定したりするものであるが、本発明に係る画像処理装置及び画像処理方法は、俯瞰画像に対する処理に限定されるものではなく、視点変換前のスルー画像や、その他の処理が施された後の画像に対して処理を行うものであってもよい。

本実施形態の画像処理装置１００は、側線検出部１１４を備えたものであるが、本発明に係る画像処理装置は、側線検出部１１４を備えていなくてもよく、同様に、本発明に係る画像処理方法は、側線を検出しなくてもよい。

また、本実施形態の画像処理装置１００は、駐車区画特定部１１７を備えたものであるが、本発明に係る画像処理装置は、駐車区画特定部１１７を備えていなくてもよく、同様に、本発明に係る画像処理方法は、境界線を設定するにとどめて、駐車区画を特定するまでに至らなくてもよい。

１ 駐車支援装置
２０ カメラ
１００ 画像処理装置
１１４ 側線検出部
１１５ グルーピング部
１１６ 境界線設定部
１１７ 駐車区画特定部
２１０ 側線
２２０ 斜線
２２３，２２６ 境界線
２８０ 斜線領域
３１０，３２０，３３０ 駐車区画
Ｖ 車両

Claims (6)

1. 車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出するエッジ検出部と、
   前記エッジ検出部により検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けするグルーピング部と、
   前記グルーピング部によりグループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する境界線設定部と、を備えた画像処理装置。
2. 前記境界線設定部により設定された前記境界線を用いて、駐車区画を特定する駐車区画特定部を備えた請求項１に記載の画像処理装置。
3. 前記駐車区画特定部は、前記境界線設定部により設定された複数の前記境界線の間の距離が所定の閾値の範囲にあるときは、その複数の前記境界線の間を前記駐車区画と特定する請求項２に記載の画像処理装置。
4. 車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出し、
   検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けし、
   グループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する画像処理方法。
5. 設定された前記境界線を用いて、駐車区画を特定する請求項４に記載の画像処理方法。
6. 設定された複数の前記境界線の間の距離が所定の閾値の範囲にあるときは、その複数の前記境界線の間を前記駐車区画と特定する請求項５に記載の画像処理方法。