JP2005345159A - 画像処理システム - Google Patents

Abstract

【課題】 対象物を好適に三次元的に認識することが可能な画像処理システムを提供する。
【解決手段】 画像処理システムは、第１カメラ１５及び第２カメラ１６と、第１入力インターフェイス１７及び第２入力インターフェイス１８と、画像処理ユニット１２と、ディスプレイ１３及び制御ユニット１４とを備えている。第１カメラ１５及び第２カメラ１６で撮影された光景画像は、画像処理ユニット１２において輪郭画像へと変換され、この輪郭画像を走査及び比較して各輪郭画像に撮像された対象物の視差が計測される。そして、計測された視差の情報に基づいて対象物の三次元位置が算出される。
【選択図】 図１

Description

本発明は、同一の対象物を撮像した複数の二次元的な光景画像から当該対象物を三次元的に捉えるための画像処理システムに関するものである。

従来、例えば車両の運転支援装置に使用される画像処理システムとして、特許文献１に示すものが挙げられる。即ち、当該画像処理システムは、車外の設定範囲を互いに異なる位置から撮像する撮像系と、画像処理手段と、道路・立体物検出手段とを備える。前記画像処理手段は、撮像系で撮像した複数の画像を高速処理して画像全体に渡る距離分布を計算する。また、前記道路・立体物検出手段は、距離分布の情報に対応する被写体の各部分の三次元位置を計算し、三次元位置の情報を用いて道路の形状と複数の立体物を高速で検出する。
特開平５−２６５５４７号公報

ところで、上記従来の画像処理システムにおいては、画像を撮像された光景のまま使用しており、画像全体に渡る距離分布を計算する場合には、まず複数の画像にわたって撮像された同一の対象物を特定した後、同対象物を基準に複数の画像を対比等している。このとき、対象物の特定には、道路・立体物等といった対象物となるものの形状を予め記憶しておき、この形状を元に撮像された画像を走査して対象物を認識する方法が採用されている。しかし、このように対象物を形状から認識させる処理では、未知の（予め記憶されていない）形状の対象物、汚れ・欠損等により元の形状を大きく損なった対象物等が認識できず、信頼性に劣るという問題があった。

本発明は、このような従来技術に存在する問題点に着目してなされたものである。その目的とするところは、対象物を好適に三次元的に認識することが可能な画像処理システムを提供することにある。

上記の目的を達成するために、請求項１に記載の画像処理システムの発明は、同一の対象物を撮像した複数の二次元的な光景画像から当該対象物を三次元的に捉える画像処理システムであって、前記複数の光景画像をそれぞれ輪郭画像に変換する変換手段と、前記の各輪郭画像を走査及び比較して各輪郭画像に撮像された前記対象物の視差を計測する視差計測手段と、前記視差の情報に基づいて前記対象物の三次元位置を算出する位置算出手段とを備えることを要旨とする。

上記構成によれば、画像処理システムは、入力等された複数の光景画像を変換手段によって複数の輪郭画像へと変換し、視差計測手段によってこれら輪郭画像から対象物の視差を計測し、位置算出手段によって同視差の情報に基づき対象物の三次元位置を算出する。前記輪郭画像は、光景画像から対象物の輪郭を検出して得られたものであり、例えば未知の形状の対象物、元の形状を大きく損なった対象物等であっても、その輪郭を捉えることは十分に可能である。従って、光景画像に撮像された対象物の形態、状態等に係わらず輪郭画像に捉えられた輪郭同士を対比等することにより、視差を計測することが可能となる。その結果、予め記憶させた形状により対象物を特定する等の方法に依拠せずとも、対象物を好適に三次元的に認識することが可能となる。

請求項２に記載の画像処理システムの発明は、請求項１に記載の発明において、前記位置算出手段は、予め記憶されたキャリブレーションデータに基づいて前記視差から三次元位置を算出するキャリブレーション手段を備えることを要旨とする。

上記構成によれば、予め記憶されたキャリブレーションデータを用いることにより、誤差、ずれ等の発生を抑制しつつ、三次元位置を迅速に算出することが可能である。
請求項３に記載の画像処理システムの発明は、請求項１又は請求項２に記載の発明において、前記光景画像を撮像する撮像装置と、前記対象物の三次元位置の情報に基づき、複数の対象物の三次元的な位置関係から三次元座標を作成する座標作成手段とを備えることを要旨とする。

上記構成によれば、撮像装置によって複数の対象物を撮像しつつ、座標作成手段によってこれら対象物の三次元座標を作成することが可能である。その結果、当該画像システムは、例えば車両、ロボット等といった移動体において、同移動体の移動先に存在する物体を検出する運転支援装置、対象物認識装置等として利用することが可能となる。

本発明によれば、対象物を好適に三次元的に認識することが可能な画像処理システムを提供することができる。

以下、本発明を具体化した一実施形態を図面に基づいて説明する。
図１に示すように、本実施形態の画像処理システムは、撮像装置１１と、画像処理ユニット１２と、出力部としてのディスプレイ１３及び制御ユニット１４とを備えている。また、前記撮像装置１１は、第１カメラ１５及び第２カメラ１６からなる１組のカメラと、これら１組のカメラを前記画像処理ユニット１２に接続する第１入力インターフェイス１７及び第２入力インターフェイス１８とを備えている。

この画像処理システムは、車両の運転支援装置として使用される。即ち、第１カメラ１５及び第２カメラ１６は、車両の車室内、車両の前部等に取り付けられ、それぞれが車両の進行方向で展開する光景画像を撮像する。第１入力インターフェイス１７は、第１カメラ１５で撮像された第１光景画像を画像処理ユニット１２に入力し、第２入力インターフェイス１８は、第２カメラ１６で撮像された第２光景画像を画像処理ユニット１２に入力する。画像処理ユニット１２は、入力された第１光景画像及び第２光景画像に基づき、これら光景画像に撮像された複数の対象物について三次元座標作成処理を行い、各対象物の三次元座標の情報をディスプレイ１３及び制御ユニット１４に出力する。そして、ディスプレイ１３は使用者等に対して三次元座標の情報に基づく各種の出力画像の表示を行い、制御ユニット１４は三次元座標の情報に基づいて車両の各種運転制御を行う。

なお、当該三次元座標の情報には車両から各対象物までの距離、各対象物の位置関係、各対象物の大きさ等の情報が含まれる。前記各種の出力画像は、例えば第１光景画像及び第２光景画像からなるステレオ画像、三次元座標の情報に基づき作成された車両周縁の立体地図等である。また、制御ユニット１４は、車両の各種運転制御を行う車両制御手段を構成しており、車両の各種運転制御として、例えば対象物に対する車両の異常接近時におけるブレーキ装置、ステアリング装置等を作動させたりする。

次に、前記画像処理ユニット１２について説明する。
画像処理ユニット１２は、大別して記憶部、処理部及び出力部から構成されている。図２に示すように、記憶部は、第１カメラ画像メモリ２１及び第２カメラ画像メモリ２２を備えている。画像処理ユニット１２に入力された第１光景画像及び第２光景画像は、第１カメラ画像メモリ２１及び第２カメラ画像メモリ２２にそれぞれ記憶される。

処理部２３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えており、各種プログラムを実行することにより、前記第１光景画像及び前記第２光景画像に対して三次元座標作成処理を行う。この処理部２３は、ソーベル処理部２４、正規化相関サーチ部２５、三次元座標計算部２６及び出力画像作成部２７を備えている。また、当該処理部２３にはキャリブレーション部２８が含まれる。このキャリブレーション部２８には、キャリブレーション処理によって予め作成されたキャリブレーションデータ２９が記憶されている。

前記ソーベル処理部２４は、第１光景画像及び第２光景画像をそれぞれ第１輪郭画像及び第２輪郭画像に変換すべくソーベルフィルタ処理を行う。前記正規化相関サーチ部２５は、第１輪郭画像と第２輪郭画像とで対応する位置を検出すべく正規化相関サーチを行う。また、この正規化相関サーチ部２５は、第１輪郭画像と第２輪郭画像とにおける対応する位置のずれから視差を計測すべく、視差計測処理を行う。

前記三次元座標計算部２６は、視差の情報に基づいて前記キャリブレーション部２８から出力されたキャリブレーションデータ２９を元に、視差から三次元位置（３Ｄ位置）を算出すべく、位置算出処理を行う。また、この三次元座標計算部２６は、３Ｄ位置を基に三次元座標（３Ｄマップ）を作成すべく、座標作成処理を行う。出力画像作成部２７は、３Ｄマップに基づいて前記ディスプレイ１３に表示される出力画像の情報を作成すべく出力画像作成処理を行う。

出力部は、３Ｄマップ出力部３０及び画像表示部３１を備えている。３Ｄマップ出力部３０は、前記処理部２３から出力された３Ｄマップの情報を前記制御システムへと出力する。画像表示部３１は、前記処理部２３から出力された出力画像３２を前記ディスプレイ１３へと出力する。

次に、前記画像処理ユニット１２による三次元座標作成処理の手順を図３に示す。
本処理が開始されると、まず第１カメラ１５及び第２カメラ１６により所定の視野内で対象物が撮像され（ステップＳ１０１）、第１光景画像及び第２光景画像が第１カメラ画像メモリ２１及び第２カメラ画像メモリ２２にそれぞれ記憶される。次に、分割処理により、第１光景画像及び第２光景画像がｎ×ｍ（ｎ及びｍは整数）の大きさにそれぞれ分割され（ステップＳ１０２）、分割画像が作成される。次に、第１光景画像及び第２光景画像がそれぞれソーベルフィルタ処理され（ステップＳ１０３）、第１輪郭画像及び第２輪郭画像へ変換される。なお、ここで実施されるソーベルフィルタ処理は、変換手段を構成している。

ここで、Ｓ１０２及びＳ１０３について、具体例を挙げて説明する。Ｓ１０２においては、図４（ａ）に示すように、光景画像が８×８の大きさに分割され、６４の分割画像が作成される。Ｓ１０３においては、図４（ｂ）に示すように、光景画像がソーベルフィルタ処理され、当該光景画像に撮像された木、道路、縁石等といった対象物について、それぞれの輪郭（エッジ）が検出され、同輪郭を抽出することにより、輪郭画像へ変換される。このとき、光景画像が８×８の分割画像に分割されていることから、輪郭画像も８×８の分割画像に分割されることとなる。なお、分割する大きさは８×８に限らず、例えば１６×１６、４×４、１０×２０等の大きさに分割してもよい。また、分割の方法は、第１光景画像及び第２光景画像を重ねたときに互いの分割画像が一致するように分割することに限らず、第１光景画像及び第２光景画像を重ねたときに一方の分割画像が他方の分割画像に対して２分の１、３分の１等ずつ位置ずれするようにそれぞれを分割してもよい。

Ｓ１０３のソーベルフィルタ処理の後、第１輪郭画像の分割画像に対応する第２輪郭画像の分割画像の位置（対応位置）が正規化相関サーチにより探索される（ステップＳ１０４）。次に、視差計測処理により、第１輪郭画像と第２輪郭画像とで分割画像の対応位置ずれ（視差）が計測される（ステップＳ１０５）。なお、ここで実施される正規化相関サーチ及び視差計測処理は視差計測手段を構成している。

Ｓ１０５で視差を計測した後、位置算出処理により、予め記憶されたキャリブレーションデータを基に、測定した視差から分割画像ごとに３Ｄ位置が算出される（ステップＳ１０６）。なお、ここで実施される位置算出処理は位置算出手段を構成している。次に、座標作成処理により、各分割画像の３Ｄ位置から３Ｄマップが作成される（ステップＳ１０７）。なお、ここで実施される座標作成処理は座標作成手段を構成している。また、３Ｄマップは、明視野及び暗視野の双方で作成される。そして、作成された３Ｄマップの情報がディスプレイ１３及び制御ユニット１４に出力されて本処理が終了される。なお、制御ユニット１４においては、３Ｄマップの情報から視野内の近いもの、遠いもの等を分類し、対象物の大きさ、配置を認識し、その範囲ごとに必要な処理を実行し、必要な認識を行う。

前記三次元座標計算部２６は、視差の情報に基づいて前記キャリブレーション部２８から出力されたキャリブレーションデータ２９を元に、視差から三次元位置（３Ｄ位置）を算出すべく、位置算出処理を行う。また、この三次元座標計算部２６は、３Ｄ位置を基に三次元座標（３Ｄマップ）を作成すべく、座標作成処理を行う。出力画像作成部２７は、３Ｄマップに基づいて前記ディスプレイ１３に表示される出力画像の情報を作成すべく出力画像作成処理を行う。

出力部は、３Ｄマップ出力部３０及び画像表示部３１を備えている。３Ｄマップ出力部３０は、前記処理部２３から出力された３Ｄマップの情報を前記制御システムへと出力する。画像表示部３１は、前記処理部２３から出力された出力画像３２を前記ディスプレイ１３へと出力する。

ここで、前記位置算出処理で使用するキャリブレーションデータを作成するためのキャリブレーション処理について説明する。なお、ここで実施されるキャリブレーション処理は、キャリブレーション手段を構成している。

図５（ａ）に示すように、キャリブレーション処理を行う際、第１カメラ１５及び第２カメラ１６が平行に設置されており、これらカメラの正面には校正ターゲット４１が配設されている。図５（ｂ）に示すように、この校正ターゲット４１は、その正面に複数の基準点４２が描かれており、当該基準点４２の行・列数、点幅等が既知情報として設定されている。

キャリブレーションデータを作成する際には、まず校正ターゲット４１の基準点４２が第１カメラ１５及び第２カメラ１６によって撮影される。この後、基準点４２の重心位置、第１カメラ１５及び第２カメラ１６で同一の基準点４２を撮影した場合の視差が登録される。なお、視差は、関係式（第１カメラ１５の座標−第２カメラ１６の座標）から計測される。そして、第１カメラ１５及び第２カメラ１６から校正ターゲット４１までの距離毎に重心位置、視差等のデータを基準点４２の数だけ登録し、さらに校正ターゲット４１までの距離を変更しつつデータ群を登録することにより、図６に示すようなキャリブレーションデータが得られる。位置算出処理においては、このキャリブレーションデータを基とすることにより、視差から対象物の３Ｄ位置を簡易かつ迅速に算出することが可能となる。

前記正規化相関サーチ及び視差計測処理について詳細に説明する。
図８に示すように、正規化相関サーチにおいては、まず第１輪郭画像上で、例えばエッジ部分等の特徴量を多く含む分割画像を検出する。この検出は、正規化相関サーチを短時間で行うため、１つ１つの分割画像を探索するのではなく、１つの分割画像を探索した後、例えばこの分割画像から８つ先の分割画像を探索する等のようにして行っている。また、この検出は、特徴量を多く含む分割画像が検出されるまで続けられる。

次いで、当該分割画像が角部に位置するように、第１輪郭画像上で所定範囲のテンプレート領域５１を定める。このテンプレート領域５１の座標を基とし、第２輪郭画像上においてテンプレート領域５１の座標を基準としたサーチ範囲（図中で点線による枠内）が定められる。そして、このサーチ範囲内で正規化相関サーチが行われ、第１輪郭画像と第２輪郭画像との対応位置となる分割画像が検出される。従って、テンプレート領域５１の座標を基準として第２輪郭画像上におけるサーチ範囲を絞ることにより、第２輪郭画像の全体を走査する必要はなく、第２輪郭画像上での正規化相関サーチを短時間で終了させることが可能である。

視差計測処理においては、前記テンプレート領域５１の座標と、サーチ結果によって得られた座標とから視差を計測する。即ち、図７に示すように、まず第１カメラで撮像された対応位置となる分割画像のｘｙ座標と、第２カメラで撮像された対応位置となる分割画像のｘｙ座標とを算出する。そして、第１カメラによるｘｙ座標と、第２カメラによるｘｙ座標との差（第１カメラ座標−第２カメラ座標）を求めることにより、視差が計測される。

前記位置算出処理について詳細に説明する。
位置算出処理においては、キャリブレーションデータの番号をＡとして、Ａを１に設定する。次に、番号Ａのキャリブレーションデータの座標値から、第１カメラで撮像された対応位置となる分割画像のｘｙ座標に近似した基準点の座標を探策する。このときデータ番号Ａで検出された基準点の視差をＤＡとする。

その後、前記基準点の実空間におけるｘｙ座標を算出する（１分割画像あたりの距離×座標値）。次いで、番号Ａ＋１のキャリブレーションデータから、基準点の実空間におけるｘｙ座標に近い基準点の座標を探索する。このときデータ番号Ａ＋１で検出された基準点の視差をＤＡ＋１とする。

次いで、前記視差計測処理で算出された視差をＤＰとし、ＤＡ≦ＤＰ≦ＤＡ＋１の関係が成立するまでＡを１ずつ増加し、前記の探索を繰り返す。なお、すべてのキャリブレーションデータを探索しても、上記の関係が成立しない場合はエラーとする。

続いて、ＤＡ、ＤＰ及びＤＡ＋１の比により、対応位置となる分割画像の座標について、Ｚ軸位置（Ｚ座標）と１分割画像あたりの距離を算出する。なお、Ｚ軸は、図７に示したように、第１カメラで撮像された画像の左上を通り、画像面に垂直な方向とする。そして、対応位置となる分割画像のｘｙ座標を視野中心の座標に変換し、１分割画像あたりの距離を乗算して実空間のｘｙ座標を算出することにより、３Ｄ位置が得られる。その後、画像全体において３Ｄ位置を求めることにより、座標作成処理が行われる。

次に、画像処理システムの作用について説明する。
さて、車両の運転支援装置として使用される画像処理システムは、撮像された道路・立体物等の対象物を輪郭で捉えた後、これら対象物を三次元的に検出する。その後、検出した対象物における三次元位置の時間変化から、検出した対象物と車両との位置関係を高速で検出する。この位置関係を車両の走行する道筋に照らし、位置関係量から、検出された対象物と車両との衝突の可能性を制御システムで判断する。

前記の実施形態によって発揮される効果について、以下に記載する。
・ 実施形態の画像処理システムによれば、対象物をその輪郭で捉えることにより、対象物の汚れ、欠損等に関わらず、対象物の大きさ、距離等を正しく認識することが可能となる。

・ また、対象物の形状を３Ｄ位置から認識することが可能であり、未知の形状の対象物であっても認識することが可能である。
・ また、対象物を認識するよりも前に、一対の撮像画像から実空間上における対象物迄の距離情報と、対象物の位置、対象物の大きさを認識することが可能となる。このため撮像画像における輝度情報との双方を用いて、実空間上における車線の位置、障害物等を、位置情報を加えた状態で認識することができ、高精度の対象認識が可能となる。このとき、対象認識と距離の補正のフィードバックが必要な処理ではなく、機械的に処理することが可能なため高速に処理ができる。

・ また、三次元位置の時間変化から、検出した対象物と車両との位置関係を高速で検出することにより、車両の進路上において、人、他車両を動的に認識することが可能となる。このため、人、他車両を動的及び静的に認識することで、対象物の認識精度を向上させることが可能である。さらに、対象物として進路上の障害物を認識するよりも前に、障害物の大きさ、距離を認識することができることから、人又は車両の急な飛び出しまでをも認識することが可能となる。特に、車両における安全距離以下に存在し、衝突の危険がある対象物を、背景からの切り出し操作等を行うことなく同対象物を不明としたまま高速に判定することができ、このような対象物に対する対応も可能となる。

（変更例）
なお、本実施形態は、次のように変更して具体化することも可能である。
・ 実施形態では画像処理システムを車両の運転支援装置として使用したが、これに限らず、複数の光学画像から同光学画像に撮像された対象物を三次元的に捉える目的のものであれば、何れの装置に使用してもよい。このような装置としては、例えばロボットの対象物認識装置が挙げられる。この対象物認識装置の場合、ロボットの各種動作制御を行う動作制御手段として制御ユニットを備えている。他に、航空機の対象物認識装置、防犯装置、扉の開閉装置等が挙げられる。

・ 当該画像処理システムにおいて、例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）による構成としたり、ＬＳＩ化による構成としたり等することにより、各種処理のハードウエア化を行ってもよい。特に、実施形態の画像処理システムのような条件分岐があまり必要でない処理は、ハードウエア化を容易に行うことが可能である。

・ 前記三次元座標計算部２６では、３Ｄ位置及び３Ｄマップの双方を得るべく、位置算出処理及び座標作成処理を行っていたが、３Ｄ位置のみを得るべく位置算出処理のみを行ってもよい。或いは、三次元座標計算部２６で位置算出処理及び座標作成処理の双方を行わずとも、各処理をそれぞれ個別の処理部で行うよう構成してもよい。

・ 撮像装置として、３台以上のカメラを用いてもよい。或いは、静止した対象物を撮像するのであれば、１台のカメラを用い、同カメラを移動させる等して視差を計測することにより、対象物を三次元的に捉えることが可能となる。

さらに、前記実施形態より把握できる技術的思想について以下に記載する。
・ 前記視差計測手段は、各輪郭画像の互いに対応する位置を検出すべく正規化相関サーチを行うとともに、当該正規化相関サーチにおいては、一の輪郭画像上で所定範囲のテンプレート領域を定めた後、同テンプレート領域の座標を基準として他の輪郭画像上におけるサーチ範囲を絞ることを特徴とする請求項１から請求項３の何れか一項に記載の画像処理システム。

・ 請求項１から請求項３の何れか一項に記載の画像処理システムと、当該画像処理システムによって三次元的に捉えられた対象物に基づき車両の各種運転制御を行う車両制御手段とを備えることを特徴とする車両の運転支援装置。

実施携帯の画像処理システムの概略を示す構成図。 実施形態の画像処理ユニットのブロック図。 実施形態の三次元座標作成処理を示すフローチャート。 （ａ）は光景画像を示す概略図、（ｂ）は輪郭画像を示す概略図。 （ａ）はキャリブレーション処理を示す概略図、（ｂ）は校正ターゲットを示す概略図。 キャリブレーションデータを示す概念図。 視差計測処理を示す概念図。 正規化相関サーチを示す概念図。

符号の説明

１１…撮像装置、１２…画像処理ユニット、２４…変換手段を構成するソーベル処理部、２５…視差計測手段を構成する正規化相関サーチ部、２６…位置算出手段及び座標作成手段を構成する三次元座標計算部、２８…キャリブレーション手段を構成するキャリブレーション部、２９…キャリブレーションデータ

Claims (3)

1. 同一の対象物を撮像した複数の二次元的な光景画像から当該対象物を三次元的に捉える画像処理システムであって、
   前記複数の光景画像をそれぞれ輪郭画像に変換する変換手段と、
   前記の各輪郭画像を走査及び比較して各輪郭画像に撮像された前記対象物の視差を計測する視差計測手段と、
   前記視差の情報に基づいて前記対象物の三次元位置を算出する位置算出手段と
   を備える
   ことを特徴とする画像処理システム。
2. 前記位置算出手段は、予め記憶されたキャリブレーションデータに基づいて前記視差から三次元位置を算出するキャリブレーション手段を備える
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記光景画像を撮像する撮像装置と、
   前記対象物の三次元位置の情報に基づき、複数の対象物の三次元的な位置関係から三次元座標を作成する座標作成手段と
   を備える
   ことを特徴とする請求項１又は請求項２に記載の画像処理システム。

Images