JP2006344009A - 車両周囲監視方法およびシステム - Google Patents

Abstract

【課題】運転者の咄嗟の判断に有効で、安全確認作業が容易になる。
【解決手段】車両の前、後部、左、右部にそれぞれ配置されたＣＣＤカメラ１と画像処理プロセッサ２より距離画像が得られ、統合処理手段３に取り込まれる。対象物配置手段３１は距離画像と路面画像（カメラの路面高さ位置）とから対象物の配置モデルを作成する。走行軌跡計算手段３２は車両の各代表点の走行軌跡を計算し、衝突判定手段３３は配置モデルの対象物と各代表点の走行軌跡の交叉を計算して、衝突可能性の有無を判定する。衝突可能性有りの場合、その部位を強調して対象物（障害物）とともにモニタ６に表示する。
【選択図】図１

Description

本発明は距離画像に基く車両周囲監視方法及びシステムに関する。

わが国では自動車の側方や直下の死角を確認するための視覚基準が法制化され（平成１７年１月）、今後自動車のカメラ装備が急速に進む。すでに、サイドミラーや車両のノーズ部分にカメラを組み込んで、その画像をモニターに表示する装置が商品化されている。

また、非特許文献１にはステレオ画像認識による自動車用障害物検出装置が提案されている。ここでは、左右のカメラから距離分布画像を得て、自動車、歩行者、立ち木、壁、ガードレールなどの物体を認識し、物体の三次元位置、大きさ、形、動きなど、その物体の特徴などを検出するための情報を得ている。

ステレオ画像認識による自動車障害物検出装置（第１回動画像処理実用化研究会；1997,3 実吉敬二，（株）スバル研究所）

上記従来技術では障害物を表示し、安全かどうかの確認はモニタに表示された画像を見て行っている。しかし、障害物の表示や警報のみでは、障害物に対し自車の接触ないし衝突する位置が分からないため、運転者が咄嗟の判断に迷うことがある。

本発明の目的は、上記従来技術の問題点に鑑み、運転者の咄嗟の判断にも有効で安全確認作業が容易になる車両周囲監視方法及びシステムを提供することにある。

上記目的を達成するための本発明は、複数の測距機能付きカメラを用いる車両周囲監視方法において、車両の複数箇所に設けられた前記カメラから距離画像を取得し、前記距離画像に存在する対象物の配置モデルを作成し、車両の車速、加速度、操舵角を入力して車両の走行軌跡を計算し、前記配置モデルの対象物と前記走行軌跡の交叉の有無を判定し、有りの場合に車両の衝突可能性部位と対象物を表示することを特徴とする。

前記走行軌跡は予め定められた複数の車両代表点について計算し、前記対象物と交わる車両代表点を衝突可能性部位とすることを特徴とする。

本発明の車両周囲監視システムは、複数の測距機能付きカメラと車載端末を備え、前記車載端末は、車両の複数箇所に設けられた前記カメラから距離画像を取得する入力手段と、前記距離画像に存在する対象物の配置モデルを作成する対象物の配置モデル作成手段と、車両の車速、加速度、操舵角を入力し、あらかじめ定められた複数の車両代表点の走行軌跡を計算する走行軌跡計算手段と、前記配置モデルの対象物と各車両代表点の走行軌跡の交叉を判定する衝突判定手段と、交叉有りの場合に当該対象物と強調された当該代表点を表示するモニタと、を設けることを特徴とする。配置モデルはカメラ配置高さに基いて作成される。

本発明によれば、障害物と共に、車体の衝突可能性部位が強調表示されるので、運転者の咄嗟の判断にも有効で安全確認作業が容易になる効果がある。

以下に、本発明の実施形態について図面を参照しながら説明する。図１は一実施例による車両周囲監視システムの構成を示す機能ブロック図である。本システムは２台１組のＣＣＤカメラ１（１−１〜１−４）と、画像処理プロセッサ２と、統合処理手段３と、ナビゲーションシステム４と、画像切替手段５と、モニタ６からなる。

ＣＣＤカメラ１は車体に複数設置される。図２に車体のカメラ設置位置を示す。（ａ）が側面図、（ｂ）が平面図で、本実施例のカメラは車体前方のノーズ部、左右のサイドミラー付近及び車体後方のテール部の４箇所に設置してある。

ＣＣＤカメラ１と画像処理プロセッサ２は測距機能付きカメラと呼ばれる。画像処理プロセッサ２は画像の画素ごとに距離を求める。

図３に測距機能付きカメラの原理を示す。ＣＣＤカメラ１は２台のカメラからなり、左右のＣＣＤカメラの間隔Ｂ、焦点距離ｆ、対象物と焦点とを結ぶ左右の直線（点線）と撮像面との交点Ｌ、Ｒと、交点Ｌ，Ｒから撮像面中心までの距離をそれぞれｘ１、ｘ２とすると、対象物の距離Ｚは（１）式により求められる。
Ｚ＝Ｂ×ｆ／（ｘ１−ｘ２） …（１）
統合処理手段３は車載端末であり、コンピュータと記憶装置により構成されている。統合処理手段３は入力された距離画像を取り込む入力手段３１、距離画像とＣＣＤカメラ１（１−１〜１−４）の路面に対する取付け高さを用いて作成した路面画像により、対象物の配置モデルを作成する対象物配置手段３２を有している。

また、車両の走行軌跡を計算する走行軌跡計算手段３３、対象物と自車の衝突可能性を判定する衝突判定手段３４を有している。また、車両モデルの記憶手段３７を有し、走行軌跡計算手段３３に対して車両モデルを、及び対象物配置モデル作成手段３２に対してＣＣＤカメラ１（１−１〜１−４）の路面に対する取付け高さを提供する。

さらに、障害となる対象物（以下、障害物）と車両の衝突可能性部位を拡大や点滅等により強調表示する表示画面作成手段３５と、作成した表示画面の画像を出力する出力手段３６を備えている。

ナビゲーションシステム４はＧＰＳ信号と自車の車速パルスを受信して、自車の前方（あるいは後方）の道路案内画像を画像切替手段５に提供する。なお、道路幅が狭い場合や車両のすれ違いなどの場合に、ＣＣＤカメラ１（１−１〜１−４）の路面に対する取付け高さに代えて、道路画像を走行軌跡計算手段３３に提供してもよい。

画像切替手段５は、常時はナビゲーションシステム４からの道路案内画像をモニタ６に出力する。統合処理手段３が衝突可能性有りを判定した場合に、表示画面作成手段３４が作成した衝突可能性の画像をモニタ６に出力する。

次に車両周囲監視システムの動作を説明する。図４は一実施例による統合処理手段の手順を示すフローチャートである。

まず、ステップ１０１で、測距機能付きカメラから距離画像を取り込む。距離画像エリアは障害物監視に必要な所定範囲に定められるが、車速に応じて変更させ、車速が高いほどエリアを広くするようにしても良い。

本実施例では４台のカメラから、前、左、右、後の画像を１台づつ取り込んでは以下の処理を行うが、４台の画像を並列処理することも可能である。さらに、４台の画像を合成処理した後に以下の処理を行うことも可能である。なお、車両の前進または後退によって、後方または前方カメラの処理を省略してもよい。

次に、ナビゲーションシステム４から路面画像を取り込み（ｓ１０２）、入力した距離画像と路面画像とから対象物の配置モデルを作成する（ｓ１０３）。

図５に対象物配置モデルの作成手順を示す。まず、距離画像と路面画像の差分を抽出し（ｓ２０１）、差分画像を２値化し、複数の対象物にラベリングを行う（ｓ２０２）。次に、各対象物の大きさ（幅、高さ）、距離、方向を計算し（ｓ２０３）、カメラ座標系で求めた距離、方向を車両重心を原点とする車両座標系の距離、方向に変換する（ｓ２０４）。なお、車両重心座標は車両の大きさを規定した車両モデルをもとに計算する。

ここで、対象物の大きさが閾値以下であればモデルから除外される。この結果、モデル中に対象物がなくなれば、以下の処理は打ち切られ、ステップ１０１に戻って次のカメラの画像の処理に移る。

図６に対象物配置モデルの一例を示す。車両の重心を原点とするｘ、ｙ、ｚ方向の立体座標上に、対象物ｚ１と車両７のモデルが作成されている。

次に、車両走行情報と車両モデルを取り込み（ｓ１０４）、車両の走行軌跡を計算する（ｓ１０５）。車両走行情報は車速ｖ、操舵角θ、加速度ｄｖ、ギア位置（前進／後退）などである。車両モデルは前、後バンパー、４輪タイヤ、車体の特定部（ミラー、泥除け、上部など）の代表点を予め定め、それらの車両代表点について、所定の未来時間まで微小時間単位での走行軌跡を求める。

次に、対象物に対する衝突判定を行う（ｓ１０６）。車両代表点の走行軌跡とステップ１０３で作成した対象物の配置モデルとの交叉を計算し、交叉有りの場合に対象物は障害物、当該代表点は衝突可能性部位と判定される。交叉は所定距離以内への接近も含み、接近の距離は車速の高いほど大きくなる。なお、対象物の高さが代表点より低い場合は交叉しないことが多い。その場合は、当該代表点の判定は打ち切り、次の代表点の判定に移るようにしても良い。

図７に車両代表点と対象物を示す。代表点１である前バンパー、代表点２である車体泥除け部、代表点３である前輪タイヤと、対象物１，２の関係を示すもので、各代表点の走行軌跡が配置モデル上の対象物と交叉するか、ｌ１〜ｌ３を計算して判定する。

図８は対象物が障害となる一例である。車両７が操舵角θで左カーブを切っている場合、前輪タイヤの走行軌跡と対象物ｚ１とは交叉しない。しかし、後輪タイヤの走行軌跡は内輪差があるため対象物と交叉し（衝突または乗り上げ）、障害物ｚ１となる。

最後に、表示画面を作成する（ｓ１０７）。ステップｓ１０５の衝突判定の結果、障害物と衝突可能性部位が明らかになると、両者を表示する表示画面を作成する。図９は表示画面の作成例である。表示画面は左、右、前、後いずれかの車両画像と障害物を表示し、かつ、判定された車両の衝突可能性部位を点滅、色替えなどにより強調表示を行う。なお、画面と共に、衝突の危険性を音声などで報知するとより効果的である。

ステップ１０７で、１つのカメラの距離画像に対する処理が終わると、ステップ１０２に戻り、次の距離画像の処理に移る。更にこれらの処理を周期的に繰り返す。

以上のように、本実施例では距離画像を取り込んで対象物配置モデルを作成すると共に、車両の走行軌跡が対象物に衝突の可能性を判定する。さらに、衝突可能性有りの場合、障害物と車両の衝突可能性部位を強調表示するので、運転者に咄嗟の判断が可能な情報を与えて衝突の危険性を回避できるなど、運転者の安全確認が容易になる。

本発明の一実施例による車両周囲監視システムの構成図。 測距機能付きカメラの配置図。 測距機能付きカメラの距離測定の原理を示す説明図。 本発明の一実施例による車両周囲監視方法の手順を示すフローチャート。 一実施例による対象物配置モデル作成の手順を示すフローチャート。 対象物配置モデルの一例を示す説明図。 車両代表点と対象物の関係を示す説明図。 対象物が障害物となる一例を示す説明図。 衝突可能性を警告する表示画面。

符号の説明

１…ＣＣＤカメラ、２…画像処理プロセッサ、３…統合処理手段、４…ナビゲーションシステム、５…画像切替手段、６…モニタ、７…車両、３１…入力手段、３２…対象物配置手段、３３…走行軌跡計算手段、３４…衝突判定手段、３５…表示画面作成手段、３６…出力手段、３７…車両モデル記憶手段。

Claims (7)

1. 複数の測距機能付きカメラを用いる車両周囲監視方法において、
   車両の複数箇所に設けられた前記カメラから距離画像を取得し、前記距離画像に存在する対象物についてその配置モデルを作成し、車両の車速、加速度、操舵角を入力して車両の走行軌跡を計算し、前記配置モデルの対象物と前記走行軌跡の交叉の有無を判定し、交叉有りの場合に車両の衝突可能性部位と対象物を表示することを特徴とする車両周囲監視方法。
2. 請求項１において、前記配置モデルは前記距離画像と前記カメラの路面に対する取付け高さを用いて作成した路面画像とにより作成することを特徴とする車両周囲監視方法。
3. 請求項１において、前記走行軌跡は予め定められた複数の車両代表点について計算し、前記対象物と交わる車両代表点を衝突可能性部位とすることを特徴とする車両周囲監視方法。
4. 複数の測距機能付きカメラと車載端末を備える車両周囲監視装置において、
   前記車載端末は、車両の複数箇所に設けられた前記カメラから距離画像を取得する入力手段と、前記距離画像に存在する対象物の配置モデルを作成する対象物の配置モデル作成手段と、車両の車速、加速度、操舵角を入力し、あらかじめ定められた複数の車両代表点の走行軌跡を計算する走行軌跡計算手段と、前記配置モデルの対象物と各車両代表点の走行軌跡の交叉を判定する衝突判定手段と、交叉有りの場合に当該対象物と強調された当該代表点を表示するモニタと、を設けることを特徴とする車両周囲監視システム。
5. 請求項４において、前記カメラは車両の前部と左部と右部及び後部に設置することを特徴とする車両周囲監視システム。
6. 請求項４において、前記前部及び後部のカメラは、車両の前進または後退に応じて一方のカメラの距離画像の採用を省略できることを特徴とする車両周囲監視システム。
7. 請求項４において、前記車載端末は前記カメラの路面に対する取り付け高さと車両モデルを記憶する記憶手段を設けることを特徴とする車両周囲監視システム。

Images