JP2009135663A - 車両周辺監視システム - Google Patents

Abstract

【課題】車両周辺監視システムにおいて、車載用として市販等されている一般的なカメラを用いて安価なものとする。
【解決手段】車載用の一般的なカメラ（単眼カメラ７１）を用いて得られた原画像を、第１画像処理部７２で俯瞰画像に変換し、この俯瞰画像に基づいて、第１画像認識部７５が車両周辺における路面以外の静止体を認識するとともに、第２画像認識部７８が車両周辺における移動体を認識することで、車両周辺監視システムを安価に提供する。
【選択図】図２

Description

本発明は、車両周辺監視システムに関し、詳細には、カメラによって撮影された原画像を俯瞰画像に変換処理するシステムの改良に関する。

車両の周辺を洩れなく監視するためには、少なくとも車両の前後および左右に計４つのセンサを設置する必要がある。

そして、センサとして例えばミリ波レーダを用い、車両に近接する物体をミリ波レーダで検知する監視システム（特許文献１）や、センサとしてステレオカメラを用い、物体までの距離をステレオカメラの撮影画像に基づいて計測することで車両の周辺を監視するシステム（特許文献２）が知られている。
特開２００４−１４２６６０号公報 特開２０００−２６１７８７号公報

ところで、上述した特許文献により開示されている先行技術は、ミリ波レーダやステレオカメラを用いて車両周辺の物体を検出する構成であるが、このようなレーダやステレオカメラは特殊なものであるため高価であり、これらレーダ等の部品コストが、車両周辺監視システムの全体の製造コストに反映されて、製品価格の上昇を招くという問題がある。

本発明は上記事情に鑑みなされたもので、車載用として市販等されている一般的なカメラを用いて、安価な車両周辺監視システムを提供することを目的とする。

本発明に係る車両周辺監視システムは、車載用の一般的なカメラを用いて得られた原画像を俯瞰画像に変換し、この俯瞰画像に基づいて車両周辺における路面以外の物体を検出することで、車両周辺監視システムを安価に提供するものである。

すなわち、本発明に係る車両周辺監視システムは、車両の周辺のうち少なくとも一部を撮影するカメラと、前記カメラによって得られた原画像を俯瞰画像に変換処理する画像変換処理装置と、前記画像変換処理装置によって得られた前記俯瞰画像に基づいて、前記車両の周辺における路面以外の物体の有無を検出する物体検出処理装置と、前記画像変換処理装置によって得られた前記俯瞰画像を表示するとともに、前記物体検出処理装置によって得られた前記物体の、前記俯瞰画像中における表示部分を強調する表示を重畳して表示する画像表示装置と、を備えたことを特徴とする。

このように構成された本発明に係る車両周辺監視システムによれば、カメラで撮影して得られた原画像を、画像変換処理装置が変換処理によって俯瞰画像に変換し、物体検出処理装置が、得られた俯瞰画像に基づいて車両周辺の路面以外の物体を検出することにより、車両周辺の障害物などの物体を簡易に検出することができる。

したがって、本発明に係る車両周辺監視システムは、車載用として市販等されている一般的なカメラを用いているため、安価に提供することができる。

本発明に係る車両周辺監視システムによれば、車載用として市販等されている一般的なカメラを用いているため、安価に提供することができる。

以下、図面を参照して本発明に係る車両周辺監視システム１００の実施の形態について説明する。

図１は、本発明の実施形態に係る車両周辺監視システム１００の構成を示すブロック図、図２は、図１に示したシステム１００を、より具体的な構成によって表したブロック図、図３は、俯瞰映像に設定された窓エリアｗを示す図、図４は、図２に示したシステム１００の処理手順を示すフローチャートである。

図示の車両周辺監視システム１００は、図１に示すように、車両の四隅部にそれぞれに設置されて、この車両の周辺（車両の右サイド方向、左サイド方向、前方向、後方向）のうちそれぞれ少なくとも一部を撮影する４つのカメラ１０と、これら４つのカメラ１０によって得られた原画像をそれぞれ俯瞰画像に変換処理するとともに、得られた４つの俯瞰画像を、車両を中心として単一の俯瞰画像に合成処理する画像変換処理装置２０と、画像変換処理装置２０によって得られた俯瞰画像（合成して得られた単一の俯瞰画像。以下、同じ。）に基づいて、車両の周辺における障害物（路面以外の物体）の有無を検出する物体検出処理装置３０と、画像変換処理装置２０によって得られた俯瞰画像を表示するとともに、物体検出処理装置３０によって得られた障害物の、俯瞰画像中における表示部分を強調する画像表示装置４０と、を備えた構成である。

ここで、物体検出処理装置３０は、俯瞰画像中における路面ではない領域を検出する非路面領域検出部３１と、俯瞰画像中における移動体ではない領域を検出する非移動体領域検出部３５と、非路面領域検出部３１によって得られた非路面領域と非移動体領域検出部３５によって得られた非移動体領域とに基づいて、路面でなく、かつ移動体でない静止体を上記障害物として検出する静止体検出部３９ａと、俯瞰画像を階調数ｎの画像に変換するｎ階調画像変換部３８と、ｎ階調画像変換部３８によって得られた階調数ｎの画像を、複数のフレーム間で画素ごとに比較して、車両の周辺における移動体を障害物（物体）として検出する移動体検出部３９ｂと、を備えている。

さらに詳しくは、非路面領域検出部３１は、特定の時点における俯瞰画像中の車両の周辺領域の輝度および色彩を、路面を表す基準値として予め算出するとともに、算出された基準値を記憶した路面基準値算出部３２と、逐次の俯瞰画像中の車両の周辺領域の輝度および色彩を指標値として逐次算出する路面指標値算出部３３と、路面指標値算出部３３により算出された路面指標値と路面基準値算出部３２により予め記憶された路面基準値とを比較して、逐次の俯瞰画像中の車両の周辺領域が非路面領域であるか否かを判定する非路面領域判定部３４と、を備えている。

ここで、路面基準値算出部３２は、車両の周囲環境（天候状態や昼夜など環境光の状況や、停止乃至走行しているときの路面の状況（舗装路か否か、舗装路や地面の色具合等の状況など））の変化を考慮して、適当な時間間隔で基準値の算出を繰り返し、基準値を更新していくものとする。

非移動体領域検出部３５は、逐次の俯瞰画像間の対応画素間で車両の周辺領域の輝度および色彩の指標値の差を算出する指標値差分算出部３６と、指標値差分算出部３６により算出された指標値差分に基づいて、逐次の俯瞰画像中の車両の周辺領域に移動体の有無を判定する非移動体判定部３７と、を備えている。

静止体検出部３９ａは、非路面領域判定部３４により非路面と判定され、かつ非移動体判定部３７により非移動体と判定された領域を、上述した静止体（静止した障害物）として検出する。

ここで、上述した図１に示した構成と、図２に示した具体的な構成との対応関係について説明する。

すなわち、カメラ１０は車載カメラとして一般的に用いられている単眼カメラ７１，画像変換処理装置２０は第１画像処理部７２、路面基準値算出部３２は第２画像処理部７３、路面指標値算出部３３は第３画像処理部７４、非路面領域判定部３４は第１画像認識部７５、指標値差分算出部３６は第３画像処理部７４、非移動体判定部３７は第１画像認識部７５、静止体検出部３９ａは第１画像認識部７５、ｎ階調画像変換部３８は第４画像処理部７６、移動体検出部３９ｂは第５画像処理部７７および第２画像認識部７８、画像表示装置４０は画像表示部７９、にそれぞれ対応している。

なお、単眼カメラ７１（カメラ１０）は、上述したものでは４つであるが、車両２００（図３）の周囲のほぼ全域を撮影できるものであれば４つに限るものではなく、１つ以上であればいくつであってもよい。

そして、第１画像処理部７２は、単眼カメラ７１の映像に基づいて、図３に示すような俯瞰映像（俯瞰画像）を生成する（図４におけるステップ１（Ｓ１））。

この俯瞰映像は、車両２００の前後左右に設置された単眼カメラ７１の映像（画像）に基づいて、車両２００の上空から車両２００の周辺を見た映像に変換処理するものである。

車両２００の運転者等に視認させる画像表示部７９への表示においては、例えば車両２００自体を車両の平面図を模した絵としてスーパーインポーズ等により俯瞰映像に重畳表示することで、車両２００に対する周辺の状況を運転者等に把握させることができる。

なお、図３に示した表示レイアウトは一例に過ぎず、車両２００の周辺の俯瞰の表示方法は他にも種々のものを適用することができるが、図３のような俯瞰映像の表示のポイントは以下の通りである。

すなわち、俯瞰映像は、画像処理の方法によりカメラ映像（原画像）の遠方領域はぼやける。したがって、そのぼやけた領域は表示映像として不要とする。

次に、俯瞰映像に基づいて、第２画像処理部７３において、窓エリアｗ（窓領域）の輝度および色彩の基準値を算出する。

ここで、窓エリアｗとは、図３の俯瞰映像において、車両の周辺領域に小さい窓（例えば、数１０程度の画素エリア）を複数個（図３の例では２４個（窓エリアｗ１１，ｗ１２，…，ｗ２５，…，ｗ４３，…，ｗ４６））設定し（図４のＳ２）、これらの窓エリアｗ１１〜ｗ４６の中の画素の輝度および色彩を取得する（図４のＳ３）。

輝度および色彩の取得は、例えば各窓エリア内に含まれる多数の画素の輝度値や色彩を表現する値で取得される。

なお、ノイズなどの影響を低減するため、一例として数フレームの平均値で算出するのが好ましい。また、経時変化も考慮して適当な時間間隔で輝度および色彩の取得を更新する。

各窓エリアｗ１１〜ｗ４６ごとに得られた輝度および色彩は、例えば各窓エリアｗ内に含まれる画素ごとの輝度および色彩について頻度の多いものを各窓エリアの基準値とし、この基準値を、各窓エリアｗ１１〜ｗ４６に対応する路面の輝度および色彩の基準値として記憶する（図４のＳ４）。

なお、路面の状況によっては、俯瞰映像の各窓に対応する領域の輝度および色彩が全ての窓エリアｗ間で同一にはならない場合もあり（舗装部分と土の箇所など）、この場合は、窓エリアｗごとに基準値は異なるものとなるため、各窓エリアｗごとの基準値として、類似の輝度および色彩の多い順に基準値を複数個記憶して、それらを背景情報（車両の周辺の対応した輝度および色彩に対応した情報）として用いるのが好ましい。

第３画像処理部７４は、俯瞰映像のカメラ映像のフレーム間における輝度および色彩を算出し、各フレームに対応するこれらの値を、逐次の俯瞰画像（俯瞰映像を構成するフレーム）の指標値とする（図４のＳ６）。

なお、カメラ映像におけるフレームは、通常は３０フレーム／秒であるが、指標値演算の負荷を軽減させるために、１５フレーム／秒で算出するのが好ましい。

そして、第１画像認識部７５が、窓エリアｗごとに、かつフレームごとに算出された指標値を第２画像処理部７３で記憶された基準値と比較し、基準値と同一の指標値を有する画素を除外する（図４のＳ７）。これにより、窓エリアｗごとに、路面ではないと判定される非路面領域が検出される。

さらに、第３画像処理部７４は、フレーム間で指標値の差分を算出し、第１画像認識部７５は、差分が０または０に近い値である領域を、フレーム間で差異の生じた領域、すなわち、車両２００の周辺に輝度および色彩の変化のある領域が出現したことを判定する。

ここで、車両が走行している場合には、上述した輝度および色彩の変化のある領域は、静止している障害物（静止体）か、または移動している障害物（移動体）かのいずれかであるが、移動体の検出は後の処理で行うため、上述した輝度および色彩の変化のある領域は静止した障害物と判定する（図４のＳ８）。

以上の作用により、静止体検出部３９ａである第１画像認識部７５は、路面ではなく、かつ静止体（移動体でない）を検出し、その検出された静止体の存在位置を表す情報を画像表示部７９に出力する。

上述した静止体の検出処理において、演算量の負荷を軽減するために、後述する第２画像認識部７８で算出された移動体の位置情報（俯瞰映像における座標：図４におけるＳ１２）を用い、その領域は予め除外する（図４のＳ５）ようにしてもよい。

なお、以上の静止体の判定は、数フレーム間に亘って画像認識（例えば、突然に出現した輝度および色彩情報でなく、俯瞰を行っている中で定常的に存在しているものである等の判断）を行い、静止体と判定をするのが好ましい。

次に、第４画像処理部７６は、俯瞰映像から色彩の情報を削除して無彩色のグレースケール（白黒のｎ階調）の映像を生成する（図４のＳ１０）。これにより、カラーの俯瞰映像を用いた場合よりも、後段の第２画像認識部７８での演算量を軽減させることができる。

なお、このｎ階調映像の階調数ｎは、第２画像認識部７８の演算処理能力および所望とする移動体の検知精度に応じて適宜変更することができる。

第５画像処理部７７は、白黒ｎ階調映像からフレーム間における動きのあるものを検出する（図４のＳ１１）。具体的には、得られた階調数ｎの画像を、複数のフレーム間で画素ごとに比較して、車両２００の周辺における移動する障害物（移動体）を物体として検出する。

ここで、車両２００が停止している場合は、第５画像処理部７７はフレーム間での画素値（輝度値）の変化が移動体の候補と判定し、その移動体の候補の領域の座標情報が第２画像認識部７８に出力される（図４のＳ１１）。

一方、車両２００が移動している場合は、第２画像認識部７８は、複数のフレーム間で画素ごとの値の比較に先だち、車両２００自体の移動によって生じる複数のフレーム間での対応画素の値を補正（または画素の位置情報を車両２００の移動に伴って変更）すればよく、車両２００の動き成分を補間することで車両２００の停止時と同様に移動体の領域の位置情報（座標情報）を取得する（図４のＳ１１）。

以上の作用により、動きのある障害物の候補の座標情報がひと通り得られ、これら障害物の候補に対応した座標情報に基づいて、第２画像認識部７８は移動体の判定を行うが、ここで、単一または２以上の複数のフレームにおいて得られた座標情報の、フレーム間での変化（動き）を、第２画像認識部７８が、統計処理によって分析することで、真の移動体であると判定した候補の座標（図４のＳ１２）に限り、その移動体候補の領域の座標を出力する。

なお、この移動体の座標情報は、前述した第３画像処理部７４における演算負荷の軽減のためのマスク情報として与えられる（図４のＳ５）とともに、画像表示部７９に出力される。

以上の処理によって静止体および移動体の座標情報が入力された画像表示部７９は、図３に示すように俯瞰画像を表示するとともに、第１画像認識部７５で検出された静止体および第２画像認識部７８で検出された移動体の、俯瞰画像中における表示部分を強調して表示し、運転者等に対して、その静止体および移動体の存在について注意を促す。

つまり、画像表示部７９に表示として出力された俯瞰映像（車両２００の模式表示を含む）に、移動体および静止体の座標情報から表示上該当する座標に、障害物（移動体および静止体）として明示する（図４のＳ９）。この明示方法としては、
（１）当該障害物に対応した領域を枠で囲む、
（２）当該障害物に対応した領域にアイコンを設置する、
（３）当該障害物に対応した領域に記号を表示する、
（４）当該障害物に対応した領域の色を他の領域の色とは異なる色とする、
（５）当該障害物に対応した領域を明滅させる、
等を適用することができる。

また、本実施形態の車両周辺監視システム１００が、図２に示すように、さらに警報音発報器８０を備えるものとした構成では、画像表示部７９に障害物の表示を行うだけでなく、警報音発報器８０が音声やその他の警報音を発報することで、運転者等への注意喚起レベルをさらに高めるようにしてもよい。

以上のように、本実施形態に係る車両周辺監視システム１００によれば、車載用として市販等されている一般的なカメラ１０を用いているため、安価に提供することができる。

すなわち、単眼カメラ７１を用いることで、コスト的に有利な製品を提供でき、車両周辺の障害物を検知することで、運転者への安全運転の支援が可能となる。

なお、車載の一般的なカメラで得られた原画像に基づいて俯瞰画像を得る方法については、例えば特開２００２−０３４０３５号公報等において既に公知の技術を適用すればよい。

本発明の実施形態に係る車両周辺監視システムの構成を示すブロック図である。 図１に示したシステムを、より具体的な構成によって表したブロック図である。 俯瞰映像に設定された窓エリアを示す図である。 図２に示した車両周辺監視システムの処理フローを示すフローチャートである。

符号の説明

７１ 単眼カメラ
７２ 第１画像処理部
７３ 第２画像処理部
７４ 第３画像処理部
７５ 第１画像認識部
７６ 第４画像処理部
７７ 第５画像処理部
７８ 第２画像認識部
７９ 画像表示部
８０ 警報音発報器
１００ 車両周辺監視システム

Claims (8)

1. 車両の周辺のうち少なくとも一部を撮影するカメラと、
   前記カメラによって得られた原画像を俯瞰画像に変換処理する画像変換処理装置と、
   前記画像変換処理装置によって得られた前記俯瞰画像に基づいて、前記車両の周辺における路面以外の物体の有無を検出する物体検出処理装置と、
   前記画像変換処理装置によって得られた前記俯瞰画像を表示するとともに、前記物体検出処理装置によって得られた前記物体の、前記俯瞰画像中における表示部分を強調する画像表示装置と、を備えたことを特徴とする車両周辺監視システム。
2. 前記物体検出処理装置は、
   前記俯瞰画像中における前記路面ではない領域を検出する非路面領域検出部と、
   前記俯瞰画像中における移動体ではない領域を検出する非移動体領域検出部と、
   前記非路面領域検出部によって得られた非路面領域と前記非移動体領域検出部によって得られた非移動体領域とに基づいて、路面でなく、かつ移動体でない静止体を前記物体として検出する静止体検出部と、を備えたことを特徴とする請求項１に記載の車両周辺監視システム。
3. 前記非路面領域検出部は、
   特定の時点における前記俯瞰画像中の前記車両の周辺領域の輝度および色彩を前記路面を表す基準値として予め算出するとともに、算出された前記基準値を記憶した路面基準値算出部と、
   逐次の前記俯瞰画像中の前記車両の周辺領域の輝度および色彩を指標値として逐次算出する路面指標値算出部と、
   前記路面指標値算出部により算出された前記路面指標値と前記路面基準値算出部により予め記憶された前記路面基準値とを比較して、逐次の前記俯瞰画像中の前記車両の周辺領域が前記非路面領域であるか否かを判定する非路面領域判定部と、を備え、
   前記非移動体領域検出部は、
   逐次の前記俯瞰画像間で前記車両の周辺領域の輝度および色彩の指標値の差を算出する指標値差分算出部と、
   前記指標値差分算出部により算出された指標値差分に基づいて、逐次の前記俯瞰画像中の前記車両の周辺領域に前記移動体の有無を判定する非移動体判定部と、を備え、
   前記静止体検出部は、前記非路面領域判定部により非路面と判定され、かつ前記非移動体判定部により非移動体と判定された領域を、前記静止体として検出することを特徴とする請求項２に記載の車両周辺監視システム。
4. 前記俯瞰画像中の前記車両の周辺領域には、互いに異なる複数の小領域が窓領域として予め設定され、
   前記路面基準値算出部は、前記複数の窓領域ごとに前記基準値を算出するとともに記憶し、
   前記路面指標値算出部は、前記複数の窓領域ごとに前記指標値を算出し、
   前記非路面領域判定部は、前記複数の窓領域ごとに前記非路面領域であるか否かを判定するものであることを特徴とする請求項３に記載の車両周辺監視システム。
5. 前記路面基準値算出部は、
   前記路面基準値として、複数のフレームにおける前記対応領域ごとの前記基準値の平均値を算出することを特徴とする請求項３または４に記載の車両周辺監視システム。
6. 前記物体検出処理装置は、
   前記俯瞰画像を階調数ｎの画像に変換するｎ階調画像変換部と、
   前記ｎ階調画像変換部によって得られた階調数ｎの画像を、複数のフレーム間で画素ごとに比較して、前記車両の周辺における移動体を前記物体として検出する移動体検出部と、を備えたことを特徴とする請求項１から５に記載の車両周辺監視システム。
7. 前記移動体検出部は、前記車両自体の移動があるときは、前記複数のフレーム間で画素ごとに比較することに先だち、前記車両自体の移動によって生じる前記複数のフレーム間での対応画素の値を補正することを特徴とする請求項６に記載の車両周辺監視システム。
8. 前記ｎ階調画像変換部は、前記階調数ｎの画像を無彩色のグレースケールの画像に変換処理するものであることを特徴とする請求項６から８のうちいずれか１項に記載の車両周辺監視システム。

Images