JP2012118656A - 駐車枠検出装置及び駐車枠検出方法 - Google Patents

Abstract

【課題】駐車枠検出装置及び駐車枠検出方法において、俯瞰変換後の画像分解能に影響されずに、元の画像分解能でエッジを扱うことにある。
【解決手段】制御手段（１１）は、撮像手段（９）により撮像された後方画像からエッジを抽出するエッジ抽出部（１３）と、エッジ抽出部（１３）によりエッジを抽出された画像を俯瞰画像に変換してこの変換時に俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録する俯瞰画像変換部（１４）と、俯瞰画像変換部（１４）により変換された俯瞰画像からρ−θ空間への投票値としてエッジ点の個数を用いてハフ変換により直線を検出する直線検出部（１５）と、直線検出部（１５）により検出された直線が駐車枠の線であるか否かを判定する駐車枠判定部（１６）とを備える。
【選択図】図１

Description

この発明は、駐車枠検出装置及び駐車枠検出方法に係り、特に車両後部に取り付けた撮像手段（バックカメラ等）により撮像された後方画像を処理する駐車枠検出装置及び駐車枠検出方法に関する。

車両においては、駐車後退動作時に、車両後部に取り付けた撮像手段（バックカメラ等）により撮像された後方画像（カメラ画像）の映像を、表示手段（モニタ）に表示させて運転者の運転操作を支援する運転支援システムが実用化されている。
表示手段には、単に撮像手段のカメラ画像だけでなく、カメラ画像の湾曲した歪みを補正した画像や、車両後方を真上から見下ろしたような俯瞰画像、複数のカメラ画像を合成した画像等の各種画像を映像として表示させることもできる。
さらに、表示手段には、映像を表示させるだけでなく、カメラ画像から駐車枠線を自動で検出し、車両と駐車枠との位置や角度等の情報を用いて、運転者の駐車操作をアシストする機能も実用化されている。

特開２００７−１６１１９３号公報 特開２００７−３１０５９１号公報 特開２００９−２０５１９１号公報

特許文献１に係る駐車支援装置は、鳥瞰画像から認識した駐車位置側方の駐車枠線と、予測した基準時間後の車両の左右先端部の位置とに基づいて、車両が駐車枠線からはみ出すか否かを判定することで、表示画面に駐車枠全体を表示しなくても、車両を駐車枠内に駐車させるものである。
特許文献２に係る画像処理装置及び駐車場判定方法は、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出して、２次元の画像から３次元の立体物を検出し、駐車場の有無を判定するものである。
特許文献３に係る駐車スペース認識装置は、駐車可能空間周辺の画像と予め用意された基準となる特徴量のテンプレートとを照合することで、画像に含まれている路面表示の種別を判断し、駐車可能なスペースを認識するものである。

ところで、上記の特許文献１〜３においては、カメラ画像から駐車枠線（主に白線）を検出するための手法として、車両後方を斜め上から撮影したカメラ画像を仮想的に真上から見下ろしたような俯瞰画像（鳥瞰画像）に変換し、このとき、俯瞰画像への変換と同時にカメラ画像の歪みも補正し、そして、俯瞰画像から駐車枠線のエッジを抽出し（二値化、ソーベルフィルタ等）、さらに、この抽出されたエッジ座標に対してハフ変換処理を行い、ハフ変換処理で求められた直線（位置と角度）から駐車枠を特定している。
つまり、直線の検出の手法としては、ハフ変換が一般的に用いられる。ハフ変換は、抽出したエッジ点の座標値（ｘ、ｙ）をρ−θ空間に投票し、全エッジ点を投票した結果から投票点数が高いρ、θを抽出して直線とする手法である。このとき、抽出される直線の確からしさは、投票されたエッジの点数に左右される。そのため、画像に写る直線が明瞭で抽出される直線上のエッジ点数が多いときは、精度よく検出できるが、直線が不明瞭であったり、直線以外のノイズが多く含まれていたりする場合には、精度が低下してしまう。
そして、上述したように、カメラ画像を俯瞰画像に変換（図８参照）した後に、エッジを抽出（図９参照）すると、画像の領域によって抽出できるエッジの分解能が異なるという問題が発生する（図１０参照）。
また、カメラ画像を俯瞰画像に変換する際に、車両に近い領域（画像下部）では、画像分解能が高いため、元々多くあった直線の情報が俯瞰画像では圧縮されてしまい、直線の情報量が低下してしまう一方、車両から遠い領域（画像上部）では、画像分解能が低いため、元々少ししかない白線の情報が俯瞰画像では引き延ばされてしまい、ノイズが増幅されてしまう。
このため、単に俯瞰画像からのエッジ抽出、ハフ変換処理、直線検出という手法では、直線が不明瞭な場合や、直線以外の物体が多く写っている場合等では、その直線の検出精度が低下するという不都合があった。

そこで、この発明の目的は、俯瞰変換後の画像分解能に影響されずに、元の画像分解能でエッジを扱うことができる駐車枠検出装置及び駐車枠検出方法を提供することにある。

この発明は、車両後方を撮像する撮像手段を設け、この撮像手段により撮像された後方画像からエッジを抽出するエッジ抽出部と、このエッジ抽出部によりエッジを抽出された画像を俯瞰画像に変換してこの変換時に俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録する俯瞰画像変換部と、この俯瞰画像変換部により変換された俯瞰画像からρ−θ空間への投票値として前記エッジ点の個数を用いてハフ変換により直線を検出する直線検出部と、この直線検出部により検出された直線が駐車枠の線であるか否かを判定する駐車枠判定部とを備える制御手段を設けたことを特徴とする。

この発明の駐車枠検出装置及び駐車枠検出方法は、俯瞰変換後の画像分解能に影響されずに、元の画像分解能でエッジを扱うことができる。

図１は駐車枠検出装置のシステム構成図である。（実施例） 図２は車両及び駐車枠を示す平面図である。（実施例） 図３は駐車枠検出方法のフローチャートである。（実施例） 図４はカメラ画像でのエッジ抽出の例を示す図である。（実施例） 図５は抽出されたエッジの俯瞰画像への変換を示す図である。（実施例） 図６はハフ変換により白線を検出する説明図である。（実施例） 図７はρ−θ空間への投票の例を示す図である。（実施例） 図８は従来においてカメラ画像から俯瞰画像への変換を示す図である。（従来例） 図９は従来においてエッジ抽出の例を示す図である。（従来例） 図１０は従来において画像分解能の違いを示す図である。（従来例）

この発明は、俯瞰変換後の画像分解能に影響されずに、元の画像分解能でエッジを扱う目的を、俯瞰画像への変換時に元の画像が伸張される領域では、１個のエッジ点を複数の画素に引き伸ばし、一方、俯瞰画像への変換時に元の画像が圧縮される領域では、複数のエッジ点を１つの画素に間引して実現するものである。

図１〜図７は、この発明の実施例を示すものである。
図２において、１は車両、２は駐車場、３はこの駐車場２の駐車枠（駐車スペース）である。この駐車枠３は、車両１の駐車範囲を区画する駐車枠線として、所定長さで平行な左右の駐車枠線（白線）４・５で形成される。また、この駐車枠３には、後方部で、輪止めとして、左右の輪止め６・７が直列で且つ左右の駐車枠線４・５に対して直角方向に向いて配設されている。

車両１には、駐車枠検出装置８が搭載される。
この駐車枠検出装置８は、図１に示すように、車両後方を撮像する超広角の撮像手段（バックカメラ等）９と、この撮像手段９により撮像された後方画像（カメラ画像）を表示する表示手段１０と、撮像手段９により撮像された後方画像を処理して表示手段１０に表示させる制御手段１１とを備えている。
撮像手段９は、車両１の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
表示手段１０は、車両１の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。

制御手段１１は、撮像手段９に連絡してこの撮像手段９により撮像されたカメラ画像を記録する画像記録部１２と、この画像記録部１２に連絡して撮像手段９により撮像されたカメラ画像からエッジを抽出するエッジ抽出部１３と、このエッジ抽出部１３によりエッジを抽出された画像を俯瞰画像に変換してこの変換時に俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録する俯瞰画像変換部１４と、この俯瞰画像変換部１４により変換された俯瞰画像からρ−θ空間への投票値として前記エッジ点の個数を用いてハフ変換により直線（例えば、白線、黄線、橙線等）を検出する直線検出部１５と、この直線検出部１５により検出された直線が駐車枠の線である駐車枠線４・５であるか否かを判定する駐車枠判定部１６と、前記画像記録部１２及び前記表示手段１０に連絡した表示画像変換部１７と、この表示画像変換部１７とエッジ抽出部１３と俯瞰画像変換部１４と直線検出部１５と駐車枠判定部１６とに連絡した中央制御部１８とを備える。

つまり、この駐車枠検出装置８では、撮像手段９から入力されたカメラ画像を画像記録部１２に保存して、エッジ抽出、俯瞰画像変換、直線検出、駐車枠判定の各処理により駐車枠３を検出する。また、中央制御部１８では、検出した駐車枠３の情報を用いて表示画像変換を行い、この変換した画像を映像として表示手段１０に出力する。
これにより、検出した駐車枠３を利用して、駐車しようとして駐車枠３へ向かって車両１を後退させる時に、駐車枠３と車両１の車両後端１Ｒとの距離に基づいて、歪み補正画像と俯瞰画像とを自動的に切り換えるものである。

次に、この実施例に係る駐車枠検出方法を、図３のフローチャートに基づいて説明する。
図３に示すように、制御手段１１のプログラムがスタートすると（ステップＡ０１）、先ず、カメラ画像を記録し（ステップＡ０２）、このカメラ画像からエッジを抽出する（ステップＡ０３）（図４参照）。
このステップＡ０３におけるエッジの抽出では、カメラ画像を俯瞰画像に変換する前に、カメラ画像から直接エッジを抽出する。このように、元のカメラ画像からエッジを抽出することにより、本来の解像度でエッジ情報を取り扱うことができる。
そして、このエッジを抽出した画像を俯瞰画像に変換する（ステップＡ０４）（図５参照）。この画像の変換時には、俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録する。このエッジ点の個数の記憶は、ハフ変換を行う際のデータとして用いられるものである。
このステップＡ０４における俯瞰画像変換では、抽出したエッジ点を俯瞰画像に変換する。つまり、図５に示すように、エッジ点のカメラ画像座標値（ｓｘ、ｓｙ）を俯瞰画像座標値（ｄｘ、ｄｙ）に変換し、この俯瞰画像座標値（ｄｘ、ｄｙ）が示す画素の値としてデータ１を設定する。
そして、抽出した複数のエッジ点が俯瞰画像上で同じ座標値となる場合（特に、画像下部の圧縮領域）には、画素の値としてエッジ点数分の値を設定する。例えば、エッジ点の個数が「３」ならば、俯瞰画像の画素の値として「３」を設定する。
一方、抽出エッジが何も設定されない画素の場合（特に、画像上部の伸長領域）には、零（０）を設定する。
このような変換方法とすることで、画像上部の伸長領域においては、元のカメラ画像での画像分解能のまま、エッジ点を俯瞰画像上に設定できるため、ノイズや直線以外の物体の影響が大きくなることを防げる。一方、画像下部の圧縮領域においては、俯瞰画像上で同じ座標値となるエッジ点の情報を画素の値として格納しておくことができ、エッジ点の情報が間引かれてしまう影響を防止できる。
さらに、俯瞰画像からρ−θ空間への投票値として、前記エッジ点の個数を用いてハフ変換により直線（例えば、白線等）を検出する（ステップＡ０５）。
このステップＡ０５におけるハフ変換における直線を検出するための手法としては、一般的に用いられるハフ変換を利用する（図６参照）。
俯瞰画像上に設定された各エッジ点の座標値（ｄｘ、ｄｙ）からθｍｉｎからθｍａｘまでρの値を計算して、ρ−θ空間に投票する（図７参照）。
図７に示すように、通常は、投票時の加算値として「１」を用いるが、この実施例では、加算値として各画素の設定値を用いる。例えば、複数のエッジ点により設定値が「３」になっている画素の場合は、ρ−θ空間への投票値として「３」を加算する。
これにより、画像下部の圧縮領域において、複数のエッジ点が俯瞰画像上で同じ座標値となって間引かれてしまうことによる検出精度の低下を防止することができる。
そして、この検出された直線が駐車枠３の左右の駐車枠線４・５であるか否かを判定する（ステップＡ０６）。
この判定後は、プログラムを終了する（ステップＡ０７）。

上記の駐車枠検出装置８又は駐車枠検出方法により、俯瞰画像への変換時に元の画像が伸張される領域では、１個のエッジ点が複数の画素に引き伸ばされ、ノイズや駐車枠３の左右の駐車枠線４・５以外の物体の影響が大きくなることを防ぐことができる。一方、俯瞰画像への変換時に元の画像が圧縮される領域では、複数のエッジ点が１つの画素に間引かれ、検出精度が低下することを防ぐことができる。
この結果、この実施例では、俯瞰変換後の画像分解能に影響されずに、元の画像分解能でエッジを扱うことができる。

この発明に係る駐車枠検出装置及び駐車枠検出方法は、運転者に適切な画像を提供させるものであり、自動駐車の場合等にも適用できる。

１ 車両
２ 駐車場
３ 駐車枠（駐車スペース）
４ 左側の駐車枠線
５ 右側の駐車枠線
６ 左側の輪止め
７ 右側の輪止め
８ 駐車枠検出装置
９ 撮像手段
１０ 表示手段
１１ 制御手段
１２ 画像記録部
１３ エッジ抽出部
１４ 俯瞰画像変換部
１５ 直線検出部
１６ 駐車枠判定部
１７ 表示画像変換部
１８ 中央制御部

Claims (2)

1. 車両後方を撮像する撮像手段を設け、この撮像手段により撮像された後方画像からエッジを抽出するエッジ抽出部と、このエッジ抽出部によりエッジを抽出された画像を俯瞰画像に変換してこの変換時に俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録する俯瞰画像変換部と、この俯瞰画像変換部により変換された俯瞰画像からρ−θ空間への投票値として前記エッジ点の個数を用いてハフ変換により直線を検出する直線検出部と、この直線検出部により検出された直線が駐車枠の線であるか否かを判定する駐車枠判定部とを備える制御手段を設けたことを特徴とする駐車枠検出装置。
2. 画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この変換時に俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録し、前記俯瞰画像からρ−θ空間への投票値として前記エッジ点の個数を用いてハフ変換により直線を検出し、この検出された直線が駐車枠の線であるか否かを判定することを特徴とする駐車枠検出方法。

Images