JP2008227646A - 障害物検知装置 - Google Patents

Abstract

【課題】障害物が大きい場合は勿論のこと障害物が小さい場合であっても、障害物の検知漏れや誤検知を防止し、確実な障害物検知を実現することができる障害物検知装置を提供すること。
【解決手段】車両の周囲を撮影する実カメラ１と、該実カメラ１から入力される車両周囲画像を用いて障害物を検知する障害物検知手段（図３）と、を備えた障害物検知装置において、前記障害物検知手段は、前記実カメラ１からの車両周囲画像を俯瞰変換し、時間的に異なる２つの俯瞰変換画像の差分を用いて障害物を検知する手段とした。
【選択図】図３

Description

本発明は、車両の周囲を撮影する実カメラから入力される車両周囲画像を用いて障害物を検知する障害物検知装置に関する。

従来、俯瞰映像表示装置として、俯瞰映像の死角領域内に存在する障害物を認識させることを目的とし、距離検知システムにより検出された自車量と障害物との間の距離に応じて、視点変換する映像領域を拡大するものが知られている（例えば、特許文献１参照）。

また、駐車支援システムとして、運転者に自車と障害物との位置関係を画像表示により容易に認識させることを目的とし、左右のカメラ画像と、自車の移動状況に基づいて、駐車スペースの周辺に位置する障害物である他の車両と自車との平面的な位置関係を検出し、その位置関係を俯瞰図として示す合成画像を表示するものが知られている（例えば、特許文献２参照）。
特開２００６−２８７７９２号公報 特開２００３−２５２１５１号公報

しかしながら、従来の俯瞰映像表示装置や駐車支援システムにあっては、公報に明示されていないが、通常、カメラ以外に、レーザビームや赤外線等を用いた障害物センサを設けて障害物の存在を検知する、あるいは、時間的に異なる２つのカメラ画像に基づき、２つの画面内容の変化量が予め決めておいた変化量基準値よりも大きい場合に障害物が存在すると検知するものである。

このため、障害物センサを用いた障害物検知の場合、小さい障害物が横から侵入してきた場合には、センサノイズ的な信号となるだけで、小さい障害物の検知は不可能である。また、カメラ画像を用いた障害物検知の場合、障害物が小さく移動量によって現れる差分値が、車両の移動による周囲の画像変化よる値に比較して小さい場合には、障害物検知漏れが発生する可能性が高くなる。障害物検知漏れを避けるために基準値を低くすれば、障害物がないにもかかわらず周囲画像の変化だけで障害物有りと誤検知してしまう、という問題があった。

すなわち、従来の障害物検知手法は、特許文献１，２に記載されているように、駐車スペースの周辺に位置する他の車両等の大きな障害物を検知対象とする場合に限り、適用できる手法であるといえる。

本発明は、上記問題に着目してなされたもので、障害物が大きい場合は勿論のこと障害物が小さい場合であっても、障害物の検知漏れや誤検知を防止し、確実な障害物検知を実現することができる障害物検知装置を提供することを目的とする。

上記目的を達成するため、本発明では、車両の周囲を撮影する実カメラと、該実カメラから入力される車両周囲画像を用いて障害物を検知する障害物検知手段と、を備えた障害物検知装置において、
前記障害物検知手段は、前記実カメラからの車両周囲画像を俯瞰変換し、時間的に異なる２つの俯瞰変換画像の差分を用いて障害物を検知することを特徴とする。

よって、本発明の障害物検知装置にあっては、障害物検知手段において、実カメラからの車両周囲画像が俯瞰変換され、時間的に異なる２つの俯瞰変換画像の差分を用いて障害物が検知される。
すなわち、実カメラからの車両周囲画像を俯瞰変換するとは、視点変換により実カメラから少し離れた上方位置に設定された仮想カメラから地面側を視た画像とするものである。このため、前処理として実カメラ画像の俯瞰変換を行うことによって、地面に対し高さを持つ障害物の画像部分の時間的変化（撮影位置変化と等価）量は拡大され、加えて、地面部分は遠近による画像歪み（実カメラから遠いほど小さく写る）が補正される。
したがって、例えば、モニター画面の一部に全体像が収まるような小さな障害物が画面に侵入してきた場合、時間的に異なる２つの実カメラ映像で比較すると、障害物が位置移動するだけで、障害物の画面全体に占める割合は殆ど変化しない。これに対し、時間的に異なる２つの俯瞰変換画像で比較すると、障害物の時間的変化量（＝差分）が拡大され、障害物の画面全体に占める割合が大きく変化する。
この結果、障害物が大きい場合は勿論のこと障害物が小さい場合であっても、障害物の検知漏れや誤検知を防止し、確実な障害物検知を実現することができる。

以下、本発明の障害物検知装置を実現する最良の形態を、図面に示す実施例１及び実施例２に基づいて説明する。

まず、構成を説明する。
図１は実施例１の障害物検知装置が適用された駐車支援システムを示す全体システム図である。図２は実施例１の障害物検知装置を示す制御ブロック図である。

実施例１の障害物検知装置は、図１に示すように、実カメラ１と、画像処理コントローラ２と、モニター３と、ハンドル操舵角センサ４と、車速センサ５と、シフトレバー位置センサ６と、警報ブザー７（警告手段）と、を備えている。

前記実カメラ１は、図１に示すように、車両の後部位置に車両後方にレンズを向けて取り付けられ、車両の後方映像を撮影するリアカメラである。この実カメラ１では、実撮像面としてのＣＣＤやＣＭＯＳ等に投影される画像によりカメラ画像データを取得する。ここで、「ＣＣＤ」とは、「Charge Coupled Device」の略で、電荷結合素子のことをいう。また、「ＣＭＯＳ」とは、「Complementary Metal Oxide Semiconductor」の略で、相補性金属酸化膜半導体による撮像素子のことをいう。
図１において、Ａは、地面Ｇに対した高さを持った障害物であり、１’は、俯瞰したときに想定される仮想カメラである。

前記画像処理コントローラ２は、図２に示すように、画像入力装置２１と、俯瞰変換装置２２と、画面メモリ装置２３と、差分演算装置２４と、表示装置２５と、を有する。
前記画像入力装置２１は、実カメラ１からのカメラ画像データを取り込む。前記俯瞰変換装置２２は、カメラ画像データを俯瞰変換する。前記画面メモリ装置２３は、俯瞰変換画像を一次保存する。前記差分演算装置２４は、t1時俯瞰変換画像とt2時俯瞰変換画像の差分を演算する共に運転者へ警告する指令を表示装置２５と警報ブザー７に出力する。前記表示装置２５は、俯瞰変換画像データをモニター表示データに変換すると共に運転者へ警告する指令を入力した場合に警告表示指令をモニター３に出力する。

前記モニター３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、駐車等を行う後進時、運転者から死角となる車両後方側の状況を俯瞰画像によりモニター画面に表示する。

前記ハンドル操舵角センサ４は、操舵系ハンドルを操作した場合、ハンドル操作方向と共に、操舵中立位置からのハンドル操舵角を検出する。前記車速センサ５は、車速パルスにより自車速を検出する。前記シフトレバー位置センサ６は、運転者が選択するレバー位置（Ｐ、Ｎ、Ｄ、Ｒ）を検出する。つまり、Ｒ位置（リバース位置）の選択が検出されたとき、駐車等を行う後進時であると判断し、俯瞰画像のモニター画面表示を開始する。

前記警報ブザー７は、車室内のインスツルメントパネル位置等に設定され、車両後方に障害物が検知されると、ブザー音により運転者に対し障害物の存在を知らせる。

図３は実施例１の画像処理コントローラ２にて実行される障害物検知処理の流れを示すフローチャートであり、以下、各ステップについて説明する（障害物検知手段）。なお、この処理は、例えば、運転者によりリバース位置が選択されることにより開始され、前進走行位置であるドライブ位置（Ｄ位置）が選択されることにより終了する。

ステップＳ１は、実カメラ１から入力された車両周囲画像を、画像入力装置２１において後段で種々の処理を行えるように１画面（フレーム）単位のデジタル画像信号に変換する。

ステップＳ２は、ステップＳ１での画像取り込みに続き、取り込んだデジタル画像信号を俯瞰変換装置２２で、カメラ映像を真上から見下ろした映像に相当する俯瞰画像に変換する俯瞰変換を行う。

ステップＳ３は、ステップＳ２でのデジタル画像信号の俯瞰変換に続き、画面の時間的変化を求めるために、一時的に俯瞰変換画像を画面メモリ装置２３に保存する。

ステップＳ４は、ステップＳ２でのデジタル画像信号の俯瞰変換に続き、差分演算装置２４において、t1時俯瞰変換画像信号とt2時俯瞰変換画像信号という、時間的に異なる２つの俯瞰変換画像信号の差分を算出し、画面内容の変化量を求める。
ここで、２つの異なる俯瞰変換画像の画素値の差の総和を、差分値Ｄ（＝t2−t1）として算出する。この差分値Ｄを求める場合、例えば、予め俯瞰変換画像をモノクロ変換してコントラストを拡大する処理を施したり、あるいは、予め二値化画像にする処理を施したりしておけば、差分値Ｄを求め易くなる。

ステップＳ５は、ステップＳ４での差分値Ｄの演算に続き、差分値Ｄと予め決めておいた変化量基準値である定数Ｓと比較する。このステップＳ５において、Ｓ≧Ｄと判断された場合は終了へ進む。

ステップＳ６は、ステップＳ５でのＳ＜Ｄであるとの判断、つまり、障害物Ａが画面内に入ってきたとの判断に続き、運転者に警告を行う。
この運転者への警告は、例えば、モニター画面内に文字や記号としての警告表示を加えて表示すると共に、警報ブザー７により警告音を発する。

次に、従来の障害物検知方式と問題点について説明する。
ナビゲーションの普及により映像モニターを備えた車両が増えてきた。加えて、カメラの低価格化により、駐車支援をはじめとする映像による安全運転支援システムが開発されてきている。

その代表的な例として、後方カメラによる駐車支援を説明する。運転初心者やトラック等の後方視界が悪い車両の運転者にとって、駐車エリアへの車両進入は困難を伴う。そこで、トランク先端やナンバープレート照明位置などの車両後端にカメラを設定し、この映像をナビゲーション等のモニターに映し出すことにより、安全に駐車エリアへの車両誘導が実現できる。

この場合の映像を図４に示す。この映像は、広角カメラを使用することによるレンズ歪みや低取り付け位置の映像であるために、運転者は車両と周囲の位置関係を正確に把握し難い。この機能を発展させたものとして、図５に示すように得られた映像を俯瞰変換することにより上記の問題点を解決する事が出来る。

また、これらのモニターに表示された周囲画像を目視して安全を確認する以外に、画像処理により自動的に障害物を検知し運転者に警告するシステムが考えられている。障害物検知システムの例として、図６にブロック図を示し、図７にフローチャートを示す。

カメラ（図６のａ）から入力された車両周囲画像は、画像入力装置（図６のｂ）において後段で種々の処理を行えるように１画面（フレーム）単位のデジタル画像信号に変換される（図７のＳａ）。画面の時間的変化を求めるために、これを一時的に画面メモリ装置（図６のｃ）に保存する（図７のＳｂ）。差分演算装置（図６のｄ）では、時間的に異なる２つの画像信号の差分を算出し、画面内容の変化量を求める（図７のＳｃ）。加えて、予め決めておいた変化量の基準値と比較し（図７のＳｄ）、算出結果の値が大きければ障害物が画面内に入ってきたと判断する。この場合には、運転者に警告を行う（図７のＳｅ）。例えば、画面内に文字や記号としての警告表示を加えて表示したり（図６のｅ，ｆ）、警告音を発する（図６のｇ）等である。

これを、車庫入れ中に横からボールが出てきた場合の、画像例として説明する。
図８(a)は、カメラ（図６のａ）から入力された現在の車両周囲画像である。図中に円で示したものが画面侵入してきたボール（障害物）である。図８(b)は、図８(a)の１つ前（過去）の画像である。画面右から侵入してきたボールは、図８(a)よりも右側にある。また、その他の映像も車両が動いた分だけ若干変化している。
この２つの画面から求められる差分の映像は、図８(c)であり、ボールと周囲画像が差分値となり基準値と比較される。

しかしながら、障害物が小さく移動量によって現れる差分値が、車両の移動による周囲の画像変化よる値に比較して小さい場合には、検出漏れが発生する可能性が高くなる。検出漏れを避けるために基準値を低くすれば、障害物がないにも関わらず周囲画像の変化で障害物有りと誤検出してしまう。

次に、本発明の要点について説明する。
本発明のポイントは、周囲映像により車両移動の安全確認を行うシステムにおいて、俯瞰変換（カメラ映像を真上から見た映像に変換）した映像を用いて障害物を検知することにある。
すなわち、俯瞰変換をした場合、地面に対して高さを持つ対象物は、実際の地上投影面積より大きく表示される。
従って、障害物検知として２つの異なる時間のカメラ画像の差分を用いる手法において、俯瞰変換した映像を使うことにより、確実な障害物検知が実現可能となる。

本発明の目的は、安全確認のために、車両周囲を撮影したカメラ映像を用いて、障害物を自動的に検知し運転者に警告を行うシステムにおいて、検知の見落としや誤検知を低減可能な装置を実現することにある。

上記目的を実現するため、障害物の検出を行う際、車両周囲を撮影したカメラ映像の時間的変化量を求めるために、異なる画像の画素値の差の総和を求める際に、前処理として画像に俯瞰変換を行う。これによって、地面に対し高さを持つ障害物の画像部分の時間的変化（撮影位置変化と等価）量は拡大され、加えて、地面部分は遠近による画像歪み（カメラから遠いほど小さく写る）が補正されることにより、検出精度が向上する。

次に、実施例１の障害物検知において、なぜ前処理として俯瞰変換を行うのか、その理由について説明する。
先ず、カメラ映像に映った障害物が、俯瞰処理によってどの様な画像に変換されるかを説明する。図１は、俯瞰変換についての基本的説明図である。図９(a)は、実カメラによる映像である。これを俯瞰変換した場合、図１に示すように、障害物Ａは実カメラ１から光を出したときに、障害物Ａの影となる部分に相当する様な変形を受けて、仮想カメラ１’の映像となる。この俯瞰変換した場合のモニター画像を図９(b)に示す。なお、実施例１の場合、障害物Ａの影も重要な立体物検知要素となる。
そして、図９(a)と図９(b)の画像対比で明らかなように、高さを持った障害物Ａの場合、画像全体に占める割合が、図９(a)の障害物Ａより図９(b)の障害物Ａの方が大きくなっていることが理解できる。

次に、実施例１による障害物検知作用を図３のフローチャートにより説明する。
先ず、画面メモリ装置２３に保存されている俯瞰変換画像が無い場合、図３のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４→ステップＳ５→終了へと進む。つまり、ステップＳ３において、画面メモリ装置２３に俯瞰変換画像を保存する。この場合、差分を求める演算データを持たないため、ステップＳ４での差分値の演算やステップＳ５での差分値と定数の比較は行わない。

次に、画面メモリ装置２３に俯瞰変換画像が保存されているが、差分値Ｄが定数Ｓ以下である場合には、図３のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ４→ステップＳ５→終了へと進む流れが繰り返される。つまり、モニター３は、車両後方の俯瞰画像を映し出し、運転者に対し駐車支援を行う。

そして、差分値Ｄが定数Ｓを超えた場合には、図３のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ４→ステップＳ５→ステップＳ６→終了へと進む流れとなる。つまり、ステップＳ５での比較でＳ＜Ｄであり障害物が画面内に入ってきたと判断され、モニター３の画面内に文字や記号としての警告表示を加えて表示すると共に、警報ブザー７により警告音を発することで、車両後方に障害物が存在することを運転者に知らせる。

これを、車庫入れ中に横からボールが出てきた場合の、画像例として説明する。
図１０(a)は、実カメラ１から入力された現在の車両周囲俯瞰画像である。図中に楕円で示したものが画面侵入してきたボール（障害物）である。図１０(b)は、図１０(a)の１つ前（過去）の画像である。画面右から侵入してきたボールは、図１０(a)よりも右側にある。また、その他の映像も車両が動いた分だけ若干変化している。この２つの画面から求められる差分の映像は、図１０(c)であり、ボールと周囲画像が差分値となり基準値と比較される。

実施例１で得られる差分画像である図１０(c)と、従来の手法で得られる差分画像である図８(c)を比較すると、障害物が画像にしめる割合が大きく異なることが理解できる。
つまり、俯瞰画像を用いることにより、
(a) 対象とする障害物による変化を大きな変動値（差分値）として捉えることが可能となる、
(b) 対象とする障害物以外の画像変化を小さく抑え込むことが可能となる、
という２つの効果により、大きな障害物は勿論のこと小さな障害物を含めた高精度による障害物の検知が実現できる。

次に、効果を説明する。
実施例１の障害物検知装置にあっては、下記に列挙する効果を得ることができる。

(1) 車両の周囲を撮影する実カメラ１と、該実カメラ１から入力される車両周囲画像を用いて障害物を検知する障害物検知手段（図３）と、を備えた障害物検知装置において、前記障害物検知手段は、前記実カメラ１からの車両周囲画像を俯瞰変換し、時間的に異なる２つの俯瞰変換画像の差分を用いて障害物を検知するため、障害物が大きい場合は勿論のこと障害物が小さい場合であっても、障害物の検知漏れや誤検知を防止し、確実な障害物検知を実現することができる。

(2) 前記障害物検知手段（図３）は、前記実カメラ１からの車両周囲画像を俯瞰変換すると共に俯瞰変換画像を一時保存し（ステップＳ２，３）、現時点での俯瞰変換画像と一時保存しておいた前時点での俯瞰変換画像の差分を算出し（ステップＳ４）、算出した差分が予め決めておいた変化量基準値より大きい場合に障害物が実カメラ１の撮影視野範囲内に入ってきたと検知する（ステップＳ５でyes）ため、障害物がカメラ視野領域内に入ってきた場合、現時点と前時点の俯瞰変換画像を用いることで、２つの保存データによる俯瞰画像を用いて差分を算出する場合に比べ、応答良く障害物の検知を行うことができる。

(3) 前記障害物検知手段（図３）は、２つの異なる俯瞰変換画像の画素値の差の総和を差分値Ｄとして算出する（ステップＳ４）ため、画素値をカウントするだけの簡単な算出手法により、２つの異なる時間での俯瞰変換画像の差分を算出することができる。

(4) 前記障害物検知手段は、障害物を検知した場合、モニター３と警報ブザー７により運転者に対し警告を発するため、障害物を検知した場合、直ちに運転者に対して視覚と聴覚に訴えて障害物の存在を知らせることができる。

(5) 前記実カメラ１は、車両の後部位置に車両後方にレンズを向けて取り付けられ、車両の後方映像を撮影するため、駐車支援システムにおいて、駐車時に運転者にとって死角となる車両後方のカメラ視野領域内に入ってきた障害物を、精度良く検知することができる。

実施例２は、俯瞰変換画像の差分を算出するにあたって、障害物以外の差分値を少なくし、実施例１より障害物の検知精度を高めるようにした例である。

なお、実施例２のシステム構成は、実施例１の図１及び図２に示す構成と同様であるので、図示並びに説明を省略する。

図１１は実施例２の画像処理コントローラ２にて実行される障害物検知処理の流れを示すフローチャートであり、以下、各ステップについて説明する（障害物検知手段）。なお、この処理は、例えば、運転者によりリバース位置が選択されることにより開始され、前進走行位置であるドライブ位置（Ｄ位置）が選択されることにより終了する。

ステップＳ２１は、実カメラ１から入力された車両周囲画像を、画像入力装置２１において後段で種々の処理を行えるように１画面（フレーム）単位のデジタル画像信号に変換する。

ステップＳ２２は、ステップＳ２１での画像取り込みに続き、取り込んだデジタル画像信号を俯瞰変換装置２２で、カメラ映像を真上から見下ろした映像に相当する俯瞰画像に変換する俯瞰変換を行う。

ステップＳ２３は、ステップＳ２２でのデジタル画像信号の俯瞰変換に続き、画面の時間的変化を求めるために、一時的に俯瞰変換画像を画面メモリ装置２３に保存する。

ステップＳ２４は、ステップＳ２３での俯瞰変換画像の一時保存に続き、一時保存したt2時俯瞰変換画像をモノクロ変換すると共に、コントラストを拡大する。

ステップＳ２５は、ステップＳ２２でのt1画像の俯瞰変換に続き、車両位置の移動変化により生じる２つの俯瞰変換画像の平行移動差を補正する（平行移動処理部）。
この平行移動処理部では、ハンドル操舵角センサ４からの操舵角情報と車速センサ５からの車速パルス情報を入力し、自車の移動方向及び移動速度により障害物以外の画像部分の平行移動量を推定し、ステップＳ２２で得られたt1時俯瞰変換画像の障害物以外の画像部分を、t2時俯瞰変換画像の障害物以外の画像部分に一致させる平行移動補正を行う。

ステップＳ２６は、ステップＳ２５での俯瞰変換画像の移動補正に続き、平行移動したt1時俯瞰変換画像をモノクロ変換すると共に、コントラストを拡大する。

ステップＳ２７は、ステップＳ２４及びステップＳ２６でのモノクロ変換とコントラスト拡大に続き、t2時俯瞰変換画像とt1時俯瞰変換画像の輝度情報の差分絶対値を算出する。

ステップＳ２８は、ステップＳ２７での差分処理に続き、t2時俯瞰変換画像とt1時俯瞰変換画像の輝度情報の差分絶対値を二値化処理する。

ステップＳ２９は、ステップＳ２８での二値化処理に続き、二値化処理した輝度情報の差分絶対値から差分量を、差分絶対値としてあらわれた画素数をカウントすることにより数値化し、差分値Ｄを求める。

ステップＳ３０は、ステップＳ２９での差分量の数値化（＝差分値Ｄ）に続き、差分値Ｄと予め決めておいた変化量基準値である定数Ｓと比較する。このステップＳ３０において、Ｓ≧Ｄと判断された場合は終了へ進む。なお、定数Ｓは、平行移動処理により障害物以外での差分値を生じる部分がキャンセルされることに伴い、実施例１より小さい値に設定する。

ステップＳ３１は、ステップＳ３０でのＳ＜Ｄであるとの判断、つまり、障害物Ａが画面内に入ってきたとの判断に続き、運転者に警告を行う。
この運転者への警告は、例えば、モニター画面内に文字や記号としての警告表示を加えて表示すると共に、警報ブザー７により警告音を発する。

次に、実施例２による障害物検知作用を図１１のフローチャートにより説明する。
画面メモリ装置２３に俯瞰変換画像が保存され、かつ、差分値Ｄが定数Ｓを超えた場合には、図１１のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ２４へと進み、モノクロ変換とコントラスト拡大されたt2時俯瞰変換画像がステップＳ２７へ取り込まれる。一方、図１１のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２５→ステップＳ２６へと進み、平行移動処理とモノクロ変換とコントラスト拡大されたt1時俯瞰変換画像がステップＳ２７へ取り込まれる。そして、ステップＳ２７からは、ステップＳ２８→ステップＳ２９→ステップＳ３０→ステップＳ３１→終了へと進む流れとなる。つまり、ステップＳ３０での比較でＳ＜Ｄであり障害物が画面内に入ってきたと判断され、モニター３の画面内に文字や記号としての警告表示を加えて表示すると共に、警報ブザー７により警告音を発することで、車両後方に障害物が存在することを運転者に知らせる。

次に、平行移動処理を行うことができる理由と平行移動処理によるメリットについて説明する。
先ず、自車両の近辺に障害物が存在しない場合を考えてみる。図１２(a)がカメラ画像であり、車両から離れたところに障害物（図１２(a)では別の車両）がある。図１２(b)は、図１２(a)の１つ前のカメラ画像であり、この２つのカメラ画像の差分を求めたものが図１２(c)の画像である。この場合、車両周囲の安全状況確認に対して重要度が低い離れた障害物（別の車両）の遠近感による画像差が、全体の差分に占める割合が大きくなる。

これに対し、実施例２の場合について説明する。図１３(a)は、図１２(a)を俯瞰変換した図である。俯瞰変換した場合、映像の範囲は車両近辺に限定され、遠くの映像は切り捨てられる。図１３(b)は、図１２(b)を俯瞰変換した図である（図１３(a)の１つ前）。この俯瞰変換画像の差分を求めたのが図１３(c)である。従来の手法である図１２(c)に比較して、画像差が大幅に少ない。加えて、俯瞰画像は、地上面について平行移動のみであるため、車両の移動量を与えることにより、俯瞰画像を平行移動補正すれば、高い精度で障害物以外（立体物の影を含む）の差分値を少なくできる。なお、他の作用は、実施例１と同様であるので説明を省略する。

次に、効果を説明する。
実施例２の障害物検知装置にあっては、実施例１の効果に加え、下記に列挙する効果を得ることができる。

(6) 前記障害物検知手段(図１１)は、時間的に異なる２つの俯瞰変換画像から差分を算出する前に、車両位置の移動変化により生じる２つの俯瞰変換画像の平行移動差を補正する平行移動処理部（ステップＳ２５）を有するため、高い精度で障害物以外の差分値を少なくでき、障害物以外の差分値が大きな値となるような場合、実施例１に比べてより精度良く障害物を検知することができる。

(7) 前記障害物検知手段（図１１）は、現時点での俯瞰変換画像と一時保存しておいた前時点での俯瞰変換画像のそれぞれについてモノクロ変換とコントラスト拡大の画像処理を行い（ステップＳ２４，２６）、２つの俯瞰変換画像の輝度情報の差分絶対値を求め（ステップＳ２７）、この差分絶対値を二値化処理し（ステップＳ２８）、二値化画像により差分量を数値化する差分処理部（ステップＳ２４、並びに、ステップＳ２６〜ステップＳ２９）を有するため、障害物検知の最も重要な検出要素である２つの異なる時間での俯瞰変換画像の差分値Ｄを精度良く得ることができる。

以上、本発明の障害物検知装置を実施例１及び実施例２に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１，２では、障害物検知手段として、２つの異なる俯瞰変換画像の差分値が予め決めておいた変化量基準値より大きいことで障害物を検知する例を示したが、２つの異なる俯瞰変換画像の差分値が予め決めておいた変化量基準値より大きい状態が複数回継続した場合に障害物を検知するようにしても良いし、また、変化量基準値を車速やハンドル操舵角に応じた可変値により与え、差分値が可変値による設定値を超えた場合に障害物を検知するようにしても良い。要するに、障害物検知手段は、実カメラからの車両周囲画像を俯瞰変換し、時間的に異なる２つの俯瞰変換画像の差分を用いて障害物を検知するものであれば、実施例１には限られることはない。

実施例１，２では、車両後方を映し出す１つの実カメラを用いた障害物検知装置を駐車支援システムへ適用する例を示したが、周囲映像により車両移動の安全確認を行う駐車支援システムや走行支援システム等で車両後方や車両側方や車両前方を映し出す１つ以上の複数台の実カメラを用いた障害物検知装置としても適用できる。要するに、車両の周囲を撮影する実カメラから入力される車両周囲画像を用いて障害物を検知する障害物検知装置であれば適用できる。

実施例１の障害物検知装置が適用された駐車支援システムを示す全体システム図である。 実施例１の障害物検知装置を示す制御ブロック図である。 実施例１の画像処理コントローラ２にて実行される障害物検知処理の流れを示すフローチャートである。 通常の車両の後部に設置されたカメラからのカメラ画像を示す図である。 図４のカメラ画像を俯瞰変換した画像を示す図である。 従来の障害物検知装置を示す制御ブロック図である。 従来の画像処理コントローラにて実行される障害物検知処理の流れを示すフローチャートである。 車庫入れ中に横からボールが出てきた場合のカメラ画像例であり、(a)は現時点でのカメラ画像を示し、(b)は１つ前の過去のカメラ画像を示し、(c)は２つのカメラ画像から求められる差分の画像を示す。 地面に対し高さを持った障害物が車両後方に存在する場合の画像例であり、(a)はカメラ画像の一例を示し、(b)は図９(a)のカメラ画像を俯瞰変換した図を示す。 車庫入れ中に横からボールが出てきた場合の俯瞰変換画像例であり、(a)は現時点での俯瞰変換画像を示し、(b)は１つ前の過去の俯瞰変換画像を示し、(c)は２つの俯瞰変換画像から求められる差分の画像を示す。 実施例２の画像処理コントローラ２にて実行される障害物検知処理の流れを示すフローチャートである。 自車両から離れたところに他の車両が存在する場合のカメラ画像例であり、(a)は現時点でのカメラ画像を示し、(b)は１つ前の過去のカメラ画像を示し、(c)は２つのカメラ画像から求められる差分の画像を示す。 自車両から離れたところに他の車両が存在する場合の俯瞰変換画像例であり、(a)は現時点での俯瞰変換画像を示し、(b)は１つ前の過去の俯瞰変換画像を示し、(c)は２つの俯瞰変換画像から求められる差分の画像を示す。

符号の説明

１ 実カメラ
２ 画像処理コントローラ
２１ 画像入力装置
２２ 俯瞰変換装置
２３ 画面メモリ装置
２４ 差分演算装置
２５ 表示装置
３ モニター
４ ハンドル操舵角センサ
５ 車速センサ
６ シフトレバー位置センサ
７ 警報ブザー（警告手段）

Claims (7)

1. 車両の周囲を撮影する実カメラと、該実カメラから入力される車両周囲画像を用いて障害物を検知する障害物検知手段と、を備えた障害物検知装置において、
   前記障害物検知手段は、前記実カメラからの車両周囲画像を俯瞰変換し、時間的に異なる２つの俯瞰変換画像の差分を用いて障害物を検知することを特徴とする障害物検知装置。
2. 請求項１に記載された障害物検知装置において、
   前記障害物検知手段は、前記実カメラからの車両周囲画像を俯瞰変換すると共に俯瞰変換画像を一時保存し、現時点での俯瞰変換画像と一時保存しておいた前時点での俯瞰変換画像の差分を算出し、算出した差分が予め決めておいた変化量基準値より大きい場合に障害物が実カメラの撮影視野範囲内に入ってきたと検知することを特徴とする障害物検知装置。
3. 請求項１または請求項２に記載された障害物検知装置において、
   前記障害物検知手段は、２つの異なる俯瞰変換画像の画素値の差の総和を差分値として算出することを特徴とする障害物検知装置。
4. 請求項１乃至請求項３の何れか１項に記載された障害物検知装置において、
   前記障害物検知手段は、障害物を検知した場合、警告手段により運転者に対し警告を発することを特徴とする障害物検知装置。
5. 請求項１乃至請求項４の何れか１項に記載された障害物検知装置において、
   前記実カメラは、車両の後部位置に車両後方にレンズを向けて取り付けられ、車両の後方映像を撮影することを特徴とする障害物検知装置。
6. 請求項１乃至請求項５の何れか１項に記載された障害物検知装置において、
   前記障害物検知手段は、時間的に異なる２つの俯瞰変換画像から差分を算出する前に、車両位置の移動変化により生じる２つの俯瞰変換画像の平行移動差を補正する平行移動処理部を有することを特徴とする障害物検知装置。
7. 請求項１乃至請求項６の何れか１項に記載された障害物検知装置において、
   前記障害物検知手段は、現時点での俯瞰変換画像と一時保存しておいた前時点での俯瞰変換画像のそれぞれについてモノクロ変換とコントラスト拡大の画像処理を行い、２つの俯瞰変換画像の輝度情報の差分絶対値を求め、この差分絶対値を二値化処理し、二値化画像により差分量を数値化する差分処理部を有することを特徴とする障害物検知装置。

Images