JP2009180536A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】移動ステレオ方式により物体までの距離を計測する場合において、計測誤差を一定とすることができるようにする。
【解決手段】障害物検出システム１は、移動する車両に装着され、撮像部１１により撮像された画像を用いて車両の後方にある障害物を検出する。移動検出部１２は、撮像部１１が第１の画像を撮像した位置から、車両が一定量の移動を行ったことを検出する。画像取得部１３は、第１の画像と、移動検出部１２において車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、障害物検出部１４に供給する。障害物検出部１４は、第１の画像と第２の画像を用いて、移動ステレオ方式により物体までの距離を計測する。本発明は、例えば、車両に取り付けられる障害物検出システムに適用できる。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、移動ステレオ方式により物体までの距離を計測する場合において、計測誤差を一定とすることができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

自動車などの車両の前方または後方に取り付けられたカメラで撮像された画像を用いて、自動車の前方または後方にある障害物を検出し、警報等するシステムが開発されている。

このようなシステムでは、例えば、車両の離れた位置に２つのカメラを設置し、２つのカメラで撮像された２枚の画像を用いて、三角測量の原理により画像中の物体の三次元位置を検出し、障害物か否かを検出するステレオカメラ方式によるもの（例えば、特許文献１参照）や、車両に１つのカメラのみ設置し、その１つのカメラで、異なる時間に異なる位置で撮像された２枚の画像を用いて、三角測量の原理により画像中の物体の三次元位置を検出し、障害物か否かを検出する移動ステレオ方式によるもの（例えば、特許文献２参照）がある。

図１は、移動ステレオ方式による三次元計測の概念を示す図である。

移動ステレオ方式を用いた三次元計測では、所定の時刻ｔで撮像された画像Ｐｔと、時刻ｔよりも所定の時間間隔Δｔだけ経過後の時刻ｔ＋Δｔに同一のカメラで撮像された画像Ｐｔ＋Δｔの、２枚の画像が用いられる。

時間間隔Δｔの経過によりカメラが設置されている車両は移動する。これにより、移動前の画像Ｐｔと移動後の画像Ｐｔ＋Δｔは、光学中心（optical center）間の距離がＢ（以下、ベース長Ｂとも称する）だけ離れていることとなり、画像Ｐｔ上の物体Ｑの位置（ｘ_l，ｙ_l）と、画像Ｐｔ＋Δｔ上の物体Ｑの位置（ｘ_u，ｙ_u）とから、ステレオカメラ方式と同様の三角測量の原理で、物体Ｑの三次元位置（Ｘ，Ｙ，Ｚ）を検出することができ、ここで得られたＺ座標値が物体Ｑまでの距離となる。

従来、上述したように移動ステレオ方式により画像中の物体までの距離を計測する場合、時間間隔Δｔを一定とし、一定の時間間隔Δｔごとに取得される画像を用いて、画像中の物体の三次元位置を検出していた。

特開２００６−５３７５４号公報 特開２０００−７４６４５号公報

上述した移動ステレオ方式により物体までの距離を計測した場合の距離誤差（物体までの距離の計測誤差）ΔＺは、次式（１）で表される。

式（１）において、Ｂはベース長、Δｄは視差誤差、Ｚは求めるべき距離、ｆは焦点距離である。

即ち、式（１）によれば、ベース長Ｂによって距離誤差ΔＺは変化し、ベース長Ｂが大きいほど距離誤差ΔＺは小さくなり、逆に、ベース長Ｂが小さくなるほど距離誤差ΔＺは大きくなる。

ここで、従来の問題の分かりやすい例として、図２に示されるように、車両（乗用車）の後方にカメラが設置され、障害物の手前までバックで進み、停車する状況を考える。この状況は、例えば、車庫や駐車場の所定の位置に駐車する場合の状況などで起こり得る。

図２に示されるように、障害物の手前までバックで進み、停車する場合、運転者であるユーザは、停車目標位置に近づくほど、障害物に近づくことになるので、車両の速度を落とす（ゆっくりにする）のが一般的である。

従って、速度を落とす前の、速度が速いときに時間間隔Δｔをあけて撮像された２枚の画像間のベース長Ｂ１と、速度を落とした後の、速度が遅いときに時間間隔Δｔをあけて撮像された２枚の画像間のベース長Ｂ２とを比較すると、ベース長Ｂ２の方がベース長Ｂ１よりも短いので、ベース長Ｂ２の２枚の画像で計測した物体までの距離の計測誤差は、ベース長Ｂ１の２枚の画像で計測した物体までの距離の計測誤差よりも、大きくなる。

即ち、障害物に近づくほど、物体までの距離の計測は、より高い精度が求められるべきであるのに対して、一定の時間間隔Δｔごとに取得される画像を用いて物体までの距離を計測した場合には、計測精度が時間間隔Δｔ経過による移動距離に応じてばらつくだけでなく、一般的には、計測精度が悪くなる方へ変化してしまう。

本発明は、このような状況に鑑みてなされたものであり、移動ステレオ方式により物体までの距離を計測する場合において、計測誤差を一定とすることができるようにするものである。

本発明の一側面の画像処理装置は、移動する車両に取り付けられた撮像装置で撮像された画像を用いて所定の物体までの距離を計測する処理を行う画像処理装置であって、前記撮像装置が第１の画像を撮像した位置から、前記車両が一定量の移動を行ったことを検出する移動検出手段と、前記第１の画像と、前記移動検出手段により前記車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得する画像取得手段と、前記画像取得手段により取得された前記第１の画像と第２の画像を用いて、移動ステレオ方式により前記物体までの距離を計測する計測手段とを備える。

本発明の一側面の画像処理装置においては、移動する車両に取り付けられた撮像装置が第１の画像を撮像した位置から、車両が一定量の移動を行ったことが検出され、第１の画像と、移動検出手段により車両が一定量の移動を行ったと検出されたときの画像としての第２の画像が取得され、取得された第１の画像と第２の画像を用いて、移動ステレオ方式により物体までの距離が計測される。

従って、第１の画像と第２の画像の撮像位置間の距離が一定となるので、速度変化の影響を受けずに障害物計測の計測精度を一定とすることができる。

前記移動検出手段、前記画像取得手段、および前記計測手段は、例えば、CPUにより構成される。

前記移動検出手段には、前記車両に取り付けられたセンサからの信号に基づき、前記車両が一定量の移動を行ったことを検出させることができ、車両に取り付けられたセンサからの信号として、例えば、車速パルスの信号、車速を表す信号、並びに、車両のエンジン回転数を表す信号および選択されているギヤを表すギヤ選択信号を採用することができる。これにより、撮像位置間の距離が一定な第１の画像と第２の画像を用いて物体までの距離が計測できるので、障害物計測の計測精度を一定とすることができる。

前記移動検出手段には、前記撮像装置により撮像された画像を処理することにより、前記車両が一定量の移動を行ったことを検出させることができる。前記移動検出手段には、過去に撮像された画像の画像間隔と移動量との関係に基づいて、前記車両が一定量の移動を行ったことを検出させることができる。また、前記移動検出手段には、撮像された画像から順次算出される移動量を積算することにより、前記車両が一定量の移動を行ったことを検出させることができる。

これにより、撮像位置間の距離が一定な第１の画像と第２の画像を用いて物体までの距離が計測できるので、障害物計測の計測精度を一定とすることができる。また、車両に取り付けられたセンサからの信号を必要としないので、外部の信号がなくても一定量の移動を検出することができる。

前記画像取得手段には、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出されたときに撮像された前記第２の画像を取得させることができる。これにより、撮像位置間の距離が一定な第１の画像と第２の画像を取得することができるので、障害物計測の計測精度を一定とすることができる。

前記撮像装置により撮像された画像を記憶する画像記憶手段をさらに備え、前記画像取得手段には、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出されたときに前記画像記憶手段に記憶されている画像のなかの最新の画像を、前記第２の画像として取得させることができる。これにより、撮像位置間の距離が一定な第１の画像と第２の画像を取得することができるので、障害物計測の計測精度を一定とすることができる。この画像記憶手段は、例えば、RAM（Random Access Memory）などにより構成される。

前記画像取得手段には、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出された直後に撮像された画像を、前記第２の画像として取得させることができる。これにより、撮像位置間の距離が一定な第１の画像と第２の画像を取得することができるので、障害物計測の計測精度を一定とすることができる。

前記撮像装置により撮像された画像を記憶する画像記憶手段をさらに備え、前記画像取得手段には、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出された検出時刻に前記画像記憶手段に記憶されている画像のなかの最新の画像か、または、前記検出時刻の直後に撮像された画像のうちの、前記検出時刻に近い時刻に撮像された画像を、前記第２の画像として取得させることができる。これにより、撮像位置間の距離が一定な第１の画像と第２の画像を取得することができるので、障害物計測の計測精度を一定とすることができる。この画像記憶手段は、例えば、RAM（Random Access Memory）などにより構成される。

本発明の一側面の画像処理方法は、移動する車両に取り付けられた撮像装置で撮像された画像を用いて所定の物体までの距離を計測する処理を行う画像処理方法であって、前記撮像装置が第１の画像を撮像した位置から、前記車両が一定量の移動を行ったことを検出し、前記第１の画像と、前記車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、取得された前記第１の画像と第２の画像を用いて、移動ステレオ処理により前記物体までの距離を計測するステップを含む。

本発明の一側面の画像処理方法においては、撮像装置が第１の画像を撮像した位置から、車両が一定量の移動を行ったことが検出され、第１の画像と、車両が一定量の移動を行ったと検出されたときの画像としての第２の画像が取得され、第１の画像と第２の画像を用いて、移動ステレオ処理により物体までの距離が計測される。

従って、第１の画像と第２の画像の撮像位置間の距離が一定となるので、速度変化の影響を受けずに障害物計測の計測精度を一定とすることができる。

このステップは、例えば、CPUにより実行される、撮像装置が第１の画像を撮像した位置から、車両が一定量の移動を行ったことを検出し、第１の画像と、車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、取得された第１の画像と第２の画像を用いて、移動ステレオ処理により物体までの距離を計測するステップにより構成される。

本発明の一側面のプログラムは、移動する車両に取り付けられた撮像装置で撮像された画像を用いて所定の物体までの距離を計測する処理を行う処理を、コンピュータに実行させるプログラムにおいて、前記撮像装置が第１の画像を撮像した位置から、前記車両が一定量の移動を行ったことを検出し、前記第１の画像と、前記車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、取得された前記第１の画像と第２の画像を用いて、移動ステレオ処理により前記物体までの距離を計測するステップを含む画像処理をコンピュータに実行させる。

本発明の一側面のプログラムにおいては、撮像装置が第１の画像を撮像した位置から、車両が一定量の移動を行ったことが検出され、第１の画像と、車両が一定量の移動を行ったと検出されたときの画像としての第２の画像が取得され、第１の画像と第２の画像を用いて、移動ステレオ処理により物体までの距離が計測される。

従って、第１の画像と第２の画像の撮像位置間の距離が一定となるので、速度変化の影響を受けずに障害物計測の計測精度を一定とすることができる。

このステップは、例えば、CPUにより実行される、撮像装置が第１の画像を撮像した位置から、車両が一定量の移動を行ったことを検出し、第１の画像と、車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、取得された第１の画像と第２の画像を用いて、移動ステレオ処理により物体までの距離を計測するステップにより構成される。

本発明の一側面によれば、移動ステレオ方式により物体までの距離を計測する場合において、計測誤差を一定とすることができる。

図３は、本発明を適用した障害物検出システムの一実施の形態の構成例を示している。

図３の障害物検出システム１は、撮像部１１、移動検出部１２、画像取得部１３、障害物検出部１４、および検出結果出力部１５により構成され、自車（障害物検出システム１を備える車両）に接近する障害物を検出するシステムである。

撮像部１１は、例えば、カメラ（撮像装置）により構成され、画像取得部１３からの制御に従い、所定の範囲を撮像し、その結果得られる画像を画像取得部１３に供給する。換言すれば、撮像部１１は、画像取得部１３からの撮像指令により撮像を行い、その結果得られる画像を画像取得部１３に供給する。

本明細書で説明する実施の形態においては、図４に示されるように、自車の後方にカメラが設置されているものとし、かつ、自車の並進運動の方向とカメラの光軸が平行（ほぼ平行）となるようにカメラが取り付けられているものとする。

ここで、カメラを基準とする座標系（カメラ座標系）は、撮像して得られる画像の横方向をＸ軸、縦方向をＹ軸、画像面に垂直な方向をＺ軸とする。また、路面を基準とする座標系（路面座標系）は、自車の並進運動の方向をＺｇ軸、Ｚｇ軸に垂直であって、路面に垂直な方向をＹｇ軸、Ｚｇ軸およびＹｇ軸に垂直な方向をＸｇ軸とする。

移動検出部１２、画像取得部１３、および障害物検出部１４は、例えば、CPU（Central Processing Unit）およびRAM（Random Access Memory）などを備える画像処理装置により構成される。

移動検出部１２は、自車が移動されたときに車両の駆動部（不図示）から送出されてくる車速パルス信号に基づいて、自車が一定量の移動を行ったか否かを検出する。移動検出部１２は、自車が一定量の移動を行ったことを検出した場合、画像取得部１３に検出信号を供給する。

図５は、移動検出部１２の処理を説明する図である。

図５Ａに示されるように、車輪には、車輪１回転につき１０個のパルスが出力されるように、１０個のパルスセンサが等間隔に配置されている。なお、車輪に配置されるパルスセンサの個数は、１０個に限定されず、その他の個数であってもよい。移動検出部１２は、パルスセンサからパルス（Highレベルの車速パルス信号）が供給される度に、画像取得部１３に検出信号を供給する。図５Ｂに示されるパルスの例では、時刻ｔ₁，ｔ₂，ｔ₃，ｔ₄，ｔ₅のそれぞれにおいて、検出信号が移動検出部１２から画像取得部１３に供給される。

パルスは、移動量に依存して出力されるので、検出信号どうしの時間間隔である、時刻ｔ₁から時刻ｔ₂までの時間間隔、時刻ｔ₂から時刻ｔ₃までの時間間隔、時刻ｔ₃から時刻ｔ₄までの時間間隔、および時刻ｔ₄から時刻ｔ₅までの時間間隔は、それぞれ異なっている（同一とは限らない）。

しかしながら、時刻ｔ₁から時刻ｔ₂までの時間、時刻ｔ₂から時刻ｔ₃までの時間、時刻ｔ₃から時刻ｔ₄までの時間、および時刻ｔ₄から時刻ｔ₅までの時間のいずれにおいても、自車が移動した移動量は同一である。

図３に戻り、画像取得部１３は、自車が一定量の移動を行うごとに撮像部１１で撮像されて得られた画像を取得する。即ち、画像取得部１３は、移動検出部１２から検出信号が供給されたとき、撮像指令を撮像部１１に供給する。そして、画像取得部１３は、撮像指令に応じて撮像部１１で撮像された画像を取得する。画像取得部１３は、移動検出部１２から検出信号が供給される度に上述した処理を繰り返すことにより、第１のタイミングで撮像された第１の画像と、第１の画像が撮像されたときの自車の位置から、予め決められた量（一定量）の移動を行ったタイミングである第２のタイミングで撮像された第２の画像を順次障害物検出部１４に供給する。なお、第２の画像は、画像取得部１３内で所定時間保持され、次に障害物検出部１４に供給するときの第１の画像ともなる。

障害物検出部１４は、画像取得部１３から順次供給される第１および第２の画像を用いて、移動ステレオ方式により画像内の所定の物体を検出する。そして、障害物検出部１４は、検出された物体について障害物であるか否かを判定し、障害物であると判定された場合、その障害物についての情報を検出結果出力部１５に供給する。

検出結果出力部１５は、例えば、モニタなどの表示装置により構成され、障害物検出部１４から供給される障害物についての情報を出力する。例えば、検出結果出力部１５は、障害物までの距離を表示装置に表示したり、撮像部１１で撮像された画像に、障害物検出部１４から供給された障害物についての情報に基づいて特定した障害物の位置をマークした画像を表示する。

次に、図６のフローチャートを参照して、図３の障害物検出システム１により実行される障害物検出処理について説明する。この処理は、例えば、自車のエンジンが始動されたときに開始される。

初めに、ステップＳ１において、移動検出部１２は、自車の駆動部からパルス（Highレベルの車速パルス信号）が供給されたかを判定し、パルスが供給されたと判定されるまで待機する。

そして、ステップＳ１で、パルスが供給されたと判定された場合、ステップＳ２において、移動検出部１２は、検出信号を画像取得部１３に供給し、画像取得部１３は、撮像指令を撮像部１１に供給する。さらに、画像取得部１３は、撮像指令に応じて撮像された画像を撮像部１１から取得する。ここで取得された画像を移動ステレオ方式により比較する２枚の画像のうちの第１の画像とする。即ち、画像取得部１３は、検出信号に対応して撮像された第１の画像を取得する。

ステップＳ３において、移動検出部１２は、自車の駆動部からパルスが供給されたかを判定し、パルスが供給されたと判定されるまで待機する。

そして、ステップＳ３で、パルスが供給されたと判定された場合、ステップＳ４において、移動検出部１２は、検出信号を画像取得部１３に供給し、画像取得部１３は、撮像指令を撮像部１１に供給する。さらに、画像取得部１３は、撮像指令に応じて撮像された画像を撮像部１１から取得する。ここで取得された画像を移動ステレオ方式により比較する２枚の画像のうちの第２の画像とする。即ち、画像取得部１３は、検出信号に対応して撮像された第２の画像を取得する。

ステップＳ５において、画像取得部１３は、取得された第１の画像と第２の画像を障害物検出部１４に供給する。

ステップＳ６において、障害物検出部１４は、供給された第１の画像から物体の特徴点を抽出する。例えば、障害物検出部１４は、物体のエッジやコーナなどの点（箇所）を特徴点として抽出する。特徴点の抽出方法は特に限定されず、任意の抽出方法を採用することができる。

ステップＳ７において、障害物検出部１４は、供給された第２の画像に対し、第１の画像で抽出された特徴点に対応する点である対応点を検索する。対応点の検索方法は特に限定されず、パターンマッチングなどの任意の方法を採用することができる。

ステップＳ８において、障害物検出部１４は、ステップＳ６およびＳ７で抽出された物体の特徴点と、その対応点から求められる物体の動きベクトルを用いて、カメラ間パラメータを算出する。

カメラ間パラメータとは、自車に設置されたカメラのカメラ座標系におけるx軸回りの回転角（ピッチ角）θ、y軸回りの回転角（ヨー角）ψ、およびz軸回りの回転角（ロール角）φを表し、例えば、カメラ間パラメータは、次のようにして求めることができる。

画像から検出された物体の動きベクトルとカメラ間パラメータは次式のような関係として定義することができる。

ｆ×Xp×θ＋ｆ×Yp×ψ−（Xp²＋Yp²）×φ−v_x×Xp＋v_y×Yp＝0 ・・・（２）

式（２）において、ｆはカメラの焦点距離を表し、カメラに固有の値となるので実質的に定数である。また、v_xは検出された物体の動きベクトルの画像座標系におけるx軸方向の成分を表し、v_yは動きベクトルの画像座標系におけるy軸方向の成分を表し、Xpは動きベクトルに対応する特徴点の画像座標系におけるx軸方向の座標を表し、Ypは動きベクトルに対応する特徴点の画像座標系におけるy軸方向の座標を表している。

式（２）は、焦点距離ｆ、動きベクトルのx軸方向の成分v_xおよびy軸方向の成分v_y、並びに、特徴点のx軸方向の座標Xpおよびy軸方向の座標Ypが既知である場合、変数がピッチ角θ、ヨー角ψ、ロール角φの一次の線形式となる。従って、線形最適化問題として式（２）を解くことで、ピッチ角θ、ヨー角ψ、ロール角φを求めることができる。

カメラ間パラメータの算出後、ステップＳ９において、障害物検出部１４は、検出された物体の三次元情報を算出する。

例えば、検出された物体が静止物体である場合、静止物体の動きベクトル（オプティカルフロー）は、次式（３）で表すことができる。

式（３）において、ｔ_x，ｔ_y，ｔ_zはカメラのx軸、y軸、z軸方向の並進を表し、Ｘ，Ｙ，Ｚはカメラ座標系における物体のＸ座標値、Ｙ座標値、Ｚ座標値である。

式（３）をＸ，Ｙ，Ｚそれぞれが左辺となるように変形すると、式（４）乃至（６）が得られる。

そして、物体のカメラ座標系の位置（Ｘ，Ｙ，Ｚ）は、式（７）により、路面座標系の位置（Ｘ_g，Ｙ_g，Ｚ_g）に変換することができる。

式（７）において、α、β、γは、カメラの設置ロール角、設置ピッチ角、設置ヨー角を表し、Ｈは、カメラの路面からの高さを表す。

以上のようにして、検出された静止物体の三次元情報、即ち、路面座標系の位置（Ｘ_g，Ｙ_g，Ｚ_g）を算出することができ、検出された物体が動いている場合にも、その物体の路面座標系の位置（Ｘ_g，Ｙ_g，Ｚ_g）を算出することができる。従って、ステップＳ９において、障害物検出部１４は、画像から検出された全ての物体について三次元情報を求める。

次に、ステップＳ１０において、障害物検出部１４は、検出された物体のなかから障害物を検出する。例えば、障害物検出部１４は、図７に示すように、路面座標系において２ｍ×２ｍ（Ｘ_g方向×Ｚ_g方向）を検知範囲とし、その検知範囲を５０ｃｍ×５０ｃｍのウィンドウを２５ｃｍ刻みで移動させながら走査する。そして、障害物検出部１４は、ウィンドウ内に高さ３０ｃｍ以上の点が５点以上ある場合に、その物体を障害物として検出する。障害物として検出された物体についての情報は検出結果出力部１５に供給される。

ステップＳ１１において、検出結果出力部１５は、検出結果を表示して、処理を終了する。例えば、検出結果出力部１５は、撮像部１１で撮像された画像を取得して、障害物検出部１４から供給された障害物についての情報に基づいて特定した障害物の位置をマークした画像を表示して、処理を終了する。

図６においては、説明を簡単にするため、移動ステレオ方式による距離の計測に必要な最低限の１組の画像（第１の画像と第２の画像）のみについての処理を説明したが、実際には、パルスの供給に伴い撮像部１１で画像が順次生成されるので、ステップＳ１乃至Ｓ１１の処理は、一部並行しながら繰り返し実行される。

図６の障害物検出処理によれば、障害物検出部１４において順次処理される第１の画像と第２の画像には、撮像されたときの位置間の距離が、図８に示されるように、常に一定量の距離となるように撮像されるという関係がある。従って、式（１）におけるベース長Ｂが変化しないので、距離誤差ΔＺ（物体までの距離の計測誤差）は一定である。即ち、速度変化の影響を受けずに常に一定の計測精度を得ることができる。

従って、図２を参照して説明した、障害物の手前までバックで進み、停車する状況において、ユーザが、停車目標位置に近づくほど車両の速度を落として運転した場合であっても、障害物を計測する計測精度を一定とすることができ、設計上設定した計測精度を維持した障害物の検出ができる。

次に、車速パルス信号以外の信号を用いて、第１および第２の画像間の距離が常に一定になるようにした、障害物検出システムのその他の実施の形態について説明する。

図９は、本発明を適応した障害物検出システムの第２の実施の形態としての障害物検出システム２１の構成例を示すブロック図である。

なお、図９および後述するその他の図において、図３の障害物検出システム１と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図９の障害物検出システム２１は、移動検出部１２に代えて、移動検出部２２が設けられている点を除いて、障害物検出システム１と同様に構成されている。

移動検出部２２には、自車の現在の車速を表す信号である車速信号が供給される。移動検出部２２は、計時するタイマを内蔵しており、自車の車速に時間を乗算する（車速×時間）ことにより、所定の時刻の位置から、一定量の移動を行ったタイミングとなったとき、検出信号を画像取得部１３に供給する。移動検出部２２は、先に（直前に）検出信号を供給した位置を基準に、一定量の移動を行ったタイミングで検出信号を供給することを繰り返す。

従って、障害物検出システム２１においても、速度変化の影響を受けずに障害物計測の計測精度を一定とすることができ、設計上設定した計測精度を維持した障害物の検出ができる。また、障害物検出システム２１では、車速パルス信号を必要としないので、車速パルスが取得できない場合であっても、計測精度一定の障害物検出が可能である。

図１０は、本発明を適応した障害物検出システムの第３の実施の形態としての障害物検出システム３１の構成例を示すブロック図である。

図１０の障害物検出システム３１は、移動検出部１２に代えて、移動検出部３２が設けられている点を除いて、障害物検出システム１と同様に構成されている。

移動検出部３２には、車両のエンジンの回転数を表す信号である回転数信号と、現在選択されているギヤを表す信号であるギヤ選択信号が供給される。移動検出部３２は、選択可能な複数のギヤのギヤ比と、車輪（タイヤ）の外径とを内部メモリに記憶しており、現在のエンジンの回転数に現在選択されているギヤのギヤ比を乗算する（エンジン回転数×ギヤ比）ことにより、所定の時刻の位置から、一定量の移動を行ったタイミングとなったとき、検出信号を画像取得部１３に供給する。移動検出部２２は、先に（直前に）検出信号を供給した位置を基準に、一定量の移動を行ったタイミングで検出信号を供給することを繰り返す。

従って、障害物検出システム３１においても、速度変化の影響を受けずに障害物計測の計測精度を一定とすることができ、設計上設定した計測精度を維持した障害物の検出ができる。また、障害物検出システム３１では、車速パルス信号を必要としないので、車速パルスが取得できない場合であっても、計測精度一定の障害物検出が可能である。

さて、上述した実施の形態では、移動検出部１２（２２または３２）から検出信号が供給されたときに撮像指令を撮像部１１に供給して撮像を行わせるようにしたが、撮像部１１には所定のフレームレートで撮像を常時行わせ、その結果得られた画像のうち、検出信号が供給されたタイミングに対応する画像のみを使用することも可能である。

図１１は、本発明を適応した障害物検出システムのその他の実施の形態（第４の実施の形態）であって、撮像部１１が所定のフレームレートで常時撮像を行うようにした場合の障害物検出システムの構成例を示している。

図１１の障害物検出システム４１は、撮像部１１と画像取得部１３の間に、画像記憶部４２が新たに設けられている点を除いて、障害物検出システム１と同様に構成されている。

撮像部１１は所定のフレームレートで常時撮像を行い、その結果得られた画像を画像記憶部４２に供給する。画像記憶部４２は、供給された画像を所定の時間記憶する。

画像取得部１３は、移動検出部１２から検出信号が供給されたタイミングで撮像された画像、即ち、車両が一定量の移動を行ったと移動検出部１２によって検出されたときに撮像された画像を第２の画像として取得する。そして、画像取得部１３は、第２の画像を、その直前の検出信号に対応して画像記憶部４２から取得した第１の画像とともに障害物検出部１４に供給する。

なお、撮像部１１が撮像を行っているフレームレートによっては、検出信号が供給されたタイミングに一致して撮像が行われておらず、一定量の移動を行ったと検出されたときの画像を取得することができない場合には、画像取得部１３は、検出信号が供給されたタイミングにおいて、画像記憶部４２に記憶されている画像のなかの最新の画像を、第２の画像として取得するようにしてもよい。また、画像取得部１３は、検出信号が供給されたタイミングの直後に撮像部１１で撮像された画像を、第２の画像として取得するようにしてもよい。あるいは、検出信号が供給されたタイミングにおいて、画像記憶部４２に記憶されている画像のなかの最新の画像と、検出信号が供給されたタイミングの直後に撮像部１１で撮像された画像のうち、検出信号が供給されたタイミング（検出時刻）により近い時刻に撮像された画像を第２の画像として取得することも可能である。

上述した実施の形態では、説明を簡単にするため、図１２Ａに示されるように、１パルスごとに検出信号が出力されるものとして説明したが、式（１）からも明らかなように、ベース長Ｂが大きいほど距離誤差ΔＺは小さくなるので、ベース長Ｂを大きく取った方がよい。

しかしながら、図１２Ｂに示すように、所定数のパルスごとに画像を取得したのでは、ベース長Ｂは大きくすることができるが検出信号が出力される頻度（検出分解能）が粗くなってしまう。

そこで、所定のフレームレートで撮像された画像が、所定の時間、画像記憶部４２に記憶されている障害物検出システム４１においては、図１２Ｃに示すように、最新に取得された第２の画像と、それから十分に大きいベース長Ｂだけ離れた過去の第１の画像とを組み合わせて、第１の画像と第２の画像の画像間隔（ベース長Ｂ）を維持したまま、パルスの供給に同期させてずらして画像記憶部４２から取得することにより、細かい検出分解能で、かつ、計測誤差を少なくした障害物の計測（検出）を行うことができる。

なお、移動量が少なく、図１２Ｃに示すような十分に大きいベース長Ｂを確保できない場合もあるので、図１２Ａ乃至図１２Ｃに示されるベース長の取り方は適宜組み合わせて（切り替えて）使用するのがよい。

また、障害物検出システム４１としては、車速パルス信号に基づいて一定量の移動を行ったことを検出する例について説明したが、車速パルス信号の代わりに、第２および第３の実施の形態で採用した車速信号、または、回転数信号およびギヤ選択信号に基づいて一定量の移動を行ったことを検出してもよい。

次に、本発明を適応した障害物検出システムのさらにその他の実施の形態について説明する。

図１３は、本発明を適応した障害物検出システムの第５の実施の形態としての障害物検出システム５１の構成例を示すブロック図である。

障害物検出システム５１は、図１１の障害物検出システム４１の構成と比較して、移動検出部１２の代わりに移動検出部５２が設けられており、その移動検出部５２には、車速パルス信号の代わりに画像記憶部４２から画像が供給されるようになされている。障害物検出システム５１のその他の構成は、図１１の障害物検出システム４１と同様である。

上述した障害物検出システムの第１乃至第４の実施の形態では、車速パルス信号、車速信号など、車両に取り付けられたセンサからの信号に基づいて自車の一定量の移動を検出したが、障害物検出システム５１では、障害物検出システム内部で得られる情報、より具体的には、画像記憶部４２に記憶されている画像から、自車の一定量の移動が検出される。従って、障害物検出システム５１では、車速パルス信号、車速信号などの外部の信号がなくても一定量の移動を検出することができるという利点がある。

最初に、２枚の画像から移動量を求める求め方について簡単に説明する。

例えば、検出された物体が静止物体である場合、静止物体の動きベクトル（オプティカルフロー）は、上述したように式（３）で表すことができるので、三次元情報が既知の静止物体（例えば、路面など）から３つ以上の動きベクトルが得られれば、次式（８）を用いて、カメラのx軸、y軸、z軸方向の並進ｔ_x，ｔ_y，ｔ_zを求めることができる。

ここで、Ａ，Ｘ，Ｂは、

を表す。なお、式（８）は、ｎ個の動きベクトルが得られたときの式である。

そして、式（８）により求められた、カメラのx軸、y軸、z軸方向の並進ｔ_x，ｔ_y，ｔ_zを用いて、式（９）により自車の移動量を求めることができる。

移動検出部５２は、画像記憶部４２に記憶されている所定の２枚の画像を処理することにより、自車が予め決められた量（一定量）の移動を行ったことを検出する。

例えば、移動検出部５２は、異なる時刻に撮像された２枚の画像を処理することにより、その２枚の画像が撮像された時間間隔に自車が移動した移動量を算出する。そして、移動検出部５２は、算出された移動量から、移動量が予め決められた量に達するには、画像処理した２枚の画像間隔と同様の時間間隔を何回繰り返せばよいかを算出し、算出された回数の時間間隔が経過した時点で検出信号を画像取得部１３に供給する。具体例で言えば、２枚の画像間隔から算出された移動量が５ｃｍであって、予め決められた量が３０ｃｍである場合、同様の画像間隔を６回（あと５回）繰り返すことにより、移動量が３０ｃｍになると求めることができる。

なお、同様の画像間隔を所定回数繰り返すのではなく、次に画像を取得するときが予め決められた一定量の移動を行ったタイミングとなる画像間隔を計算してもよい。この場合、次回の画像間隔は、予め決められた移動量を、今回の移動量を今回の画像間隔で除算した商で除算する（次回の画像取得間隔＝予め決められた移動量÷（今回の移動量÷今回の画像間隔））ことで求められる。

このように、移動検出部５２は、過去に得られた画像の画像間隔と移動量との関係に基づいて、一定量の移動を行ったことを検出することができる。

また例えば、撮像された画像から順次算出される移動量を積算することにより、一定量の移動を行ったことを検出してもよい。即ち、移動検出部５２は、異なる時刻に撮像された２枚の画像を処理することにより、その２枚の画像が撮像された時間間隔に、自車が移動した移動量を算出する。そして、移動検出部５２は、基準とした位置（第１の画像に対応する位置）から順次算出した移動量を積算し、移動量が予め決められた量に達したときに検出信号を画像取得部１３に供給するようにしてもよい。具体例で言えば、予め決められた量が３０ｃｍであって、２枚の画像間隔から算出された移動量が、時系列に、７ｃｍ，５ｃｍ，５ｃｍ，４ｃｍ，・・・・であった場合、基準とした位置からの移動量は、７ｃｍ，１２ｃｍ，１７ｃｍ，２１ｃｍ，・・・と算出されるので、３０ｃｍとなるまで同様の処理が繰り返される。移動量を計算する２枚の画像間隔は一定でもよいし、目標の移動量に近づくに従い画像間隔を小さくするなど変化させてもよい。

以上のようにして、障害物検出システム５１においても、撮像部１１で撮像された画像を処理することにより、速度変化の影響を受けずに障害物計測の計測精度を一定とすることができ、設計上設定した計測精度を維持した障害物の検出ができる。

画像処理装置に対応する、移動検出部５２（１２、２２、３２）、画像取得部１３、障害物検出部１４、および画像記憶部４２が行う処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。この処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１２は、画像処理装置としての移動検出部５２（１２、２２、３２）、画像取得部１３、障害物検出部１４、および画像記憶部４２が行う処理を、プログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

上述した例では、自車の後方の障害物を検出する例について説明したが、自車の前方その他の自車の周辺の障害物を検出する場合にも上述した障害物検出処理を同様に行うことができることは言うまでもない。

本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

移動ステレオ方式を説明する図である。 従来の課題について説明する図である。 本発明を適用した障害物検出システムの第１の実施の形態の構成例を示すブロック図である。 カメラ座標系と路面座標系を説明する図である。 移動検出部の処理を説明する図である。 障害物検出処理について説明するフローチャートである。 障害物の検出について説明する図である。 本発明を適用した障害物検出システムの効果について説明する図である。 本発明を適用した障害物検出システムの第２の実施の形態の構成例を示すブロック図である。 本発明を適用した障害物検出システムの第３の実施の形態の構成例を示すブロック図である。 本発明を適用した障害物検出システムの第４の実施の形態の構成例を示すブロック図である。 本発明の障害物検出システムにおける第１の画像と第２の画像の選択について説明する図である。 本発明を適用した障害物検出システムの第５の実施の形態の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ 障害物検出システム
１２ 移動検出部
１３ 画像取得部
１４ 障害物検出部
２１ 障害物検出システム
２２ 移動検出部
３１ 障害物検出システム
３２ 移動検出部
４１ 障害物検出システム
４２ 画像記憶部
５１ 障害物検出システム
５２ 移動検出部

Claims (14)

1. 移動する車両に取り付けられた撮像装置で撮像された画像を用いて所定の物体までの距離を計測する処理を行う画像処理装置であって、
   前記撮像装置が第１の画像を撮像した位置から、前記車両が一定量の移動を行ったことを検出する移動検出手段と、
   前記第１の画像と、前記移動検出手段により前記車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記第１の画像と第２の画像を用いて、移動ステレオ方式により前記物体までの距離を計測する計測手段と
   を備える画像処理装置。
2. 前記移動検出手段は、前記車両に取り付けられたセンサからの信号に基づき、前記車両が一定量の移動を行ったことを検出する
   請求項１に記載の画像処理装置。
3. 前記車両に取り付けられたセンサからの信号は、車速パルスの信号である
   請求項２に記載の画像処理装置。
4. 前記車両に取り付けられたセンサからの信号は、車速を表す信号である
   請求項２に記載の画像処理装置。
5. 前記車両に取り付けられたセンサからの信号は、前記車両のエンジン回転数を表す信号と、選択されているギヤを表すギヤ選択信号である
   請求項２に記載の画像処理装置。
6. 前記移動検出手段は、前記撮像装置により撮像された画像を処理することにより、前記車両が一定量の移動を行ったことを検出する
   請求項１に記載の画像処理装置。
7. 前記移動検出手段は、過去に撮像された画像の画像間隔と移動量との関係に基づいて、前記車両が一定量の移動を行ったことを検出する
   請求項６に記載の画像処理装置。
8. 前記移動検出手段は、撮像された画像から順次算出される移動量を積算することにより、前記車両が一定量の移動を行ったことを検出する
   請求項６に記載の画像処理装置。
9. 前記画像取得手段は、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出されたときに撮像された前記第２の画像を取得する
   請求項１に記載の画像処理装置。
10. 前記撮像装置により撮像された画像を記憶する画像記憶手段をさらに備え、
    前記画像取得手段は、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出されたときに前記画像記憶手段に記憶されている画像のなかの最新の画像を、前記第２の画像として取得する
    請求項１に記載の画像処理装置。
11. 前記画像取得手段は、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出された直後に撮像された画像を、前記第２の画像として取得する
    請求項１に記載の画像処理装置。
12. 前記撮像装置により撮像された画像を記憶する画像記憶手段をさらに備え、
    前記画像取得手段は、前記第１の画像を撮像した位置から、前記車両が一定量の移動を行ったと前記移動検出手段によって検出された検出時刻に前記画像記憶手段に記憶されている画像のなかの最新の画像か、または、前記検出時刻の直後に撮像された画像のうちの、前記検出時刻に近い時刻に撮像された画像を、前記第２の画像として取得する
    請求項１に記載の画像処理装置。
13. 移動する車両に取り付けられた撮像装置で撮像された画像を用いて所定の物体までの距離を計測する処理を行う画像処理方法であって、
    前記撮像装置が第１の画像を撮像した位置から、前記車両が一定量の移動を行ったことを検出し、
    前記第１の画像と、前記車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、
    取得された前記第１の画像と第２の画像を用いて、移動ステレオ処理により前記物体までの距離を計測する
    ステップを含む画像処理方法。
14. 移動する車両に取り付けられた撮像装置で撮像された画像を用いて所定の物体までの距離を計測する処理を行う処理を、コンピュータに実行させるプログラムにおいて、
    前記撮像装置が第１の画像を撮像した位置から、前記車両が一定量の移動を行ったことを検出し、
    前記第１の画像と、前記車両が一定量の移動を行ったと検出されたときの画像としての第２の画像を取得し、
    取得された前記第１の画像と第２の画像を用いて、移動ステレオ処理により前記物体までの距離を計測する
    ステップを含む画像処理をコンピュータに実行させるプログラム。

Images