JP2003028635A - 画像測距装置 - Google Patents
画像測距装置Info
- Publication number
- JP2003028635A JP2003028635A JP2001215890A JP2001215890A JP2003028635A JP 2003028635 A JP2003028635 A JP 2003028635A JP 2001215890 A JP2001215890 A JP 2001215890A JP 2001215890 A JP2001215890 A JP 2001215890A JP 2003028635 A JP2003028635 A JP 2003028635A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- distance value
- pattern
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 車両に備えた撮像手段により撮影された赤外
線画像から、対象物の距離を、少ない演算量でかつ高精
度に求めることができる測距装置を提供する。 【解決手段】 撮像手段により撮影された2つの赤外線
画像を用いて、撮像手段から対象物までの距離を求める
画像測距装置に、多値化処理された一方の画像を所定サ
イズのパターン領域に分割する画像分割手段16と、画
像分割手段16により分割されたパターン領域毎に、2
つの赤外線画像の相関演算を行い、パターン領域毎の視
差を求め、これを該パターン領域の距離値に変換する視
差算出手段17と距離画像生成手段18、更に距離画像
生成手段18により求められた距離値に基づいて、パタ
ーン領域を距離値が類似しているパターン領域毎に分類
して1つのグループとして認識し、認識されたグループ
の距離値を求め、対象物までの距離値とする距離値クラ
スタリング手段20とを設けた。
線画像から、対象物の距離を、少ない演算量でかつ高精
度に求めることができる測距装置を提供する。 【解決手段】 撮像手段により撮影された2つの赤外線
画像を用いて、撮像手段から対象物までの距離を求める
画像測距装置に、多値化処理された一方の画像を所定サ
イズのパターン領域に分割する画像分割手段16と、画
像分割手段16により分割されたパターン領域毎に、2
つの赤外線画像の相関演算を行い、パターン領域毎の視
差を求め、これを該パターン領域の距離値に変換する視
差算出手段17と距離画像生成手段18、更に距離画像
生成手段18により求められた距離値に基づいて、パタ
ーン領域を距離値が類似しているパターン領域毎に分類
して1つのグループとして認識し、認識されたグループ
の距離値を求め、対象物までの距離値とする距離値クラ
スタリング手段20とを設けた。
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、撮像手段により
得られた車両の周辺に存在する他車両や歩行者、更に動
物等の距離を算出する画像測距装置に関する。 【0002】 【従来の技術】従来、車両に備えた撮像手段により撮影
された赤外線画像から、車両の周辺に存在する他車両や
歩行者、動物等の物体の距離を算出する場合、次のよう
に行う。すなわち、例えば水平方向に同じ高さで配置さ
れた2台のカメラにより対象物の画像を撮影する。次
に、2台のカメラの一方の画像を基準画像として、この
基準画像の微小領域をマスク画像とし、もう一方の画像
についてウィンドウを切り、その中でマスク画像を順次
シフトしながら相関演算を行い、その相関度が最も高く
なるシフト量を求める。そして、このシフト量である2
つの画像の視差から、三角測量の原理により、微小領域
の距離を算出する。この処理を画像全体に対して行い、
作成された距離画像から対象物までの距離を算出する。
また、例えば特開2001−12945号公報に記載の
距離検出装置では、基準画像とするカメラの画像を2値
化処理することにより、対象物の存在する領域を抽出し
てマスク画像とし、マスク画像の大きさから、もう一方
の画像の中でこのマスク画像を探索する範囲を決定して
いる。従って、画像全体に相関演算を行い、作成された
距離画像から対象物までの距離を算出する方法よりも、
少ない演算量で距離を求めることができる。 【0003】 【発明が解決しようとする課題】しかし、上述のよう
に、画像全体に相関演算を行い、作成された距離画像か
ら対象物までの距離を算出する方法では、得られた微小
領域毎の距離値をクラスタリングし、距離値を平均化し
たり多数決を取ることで、算出された距離値の精度を向
上することができるものの、全ての微小領域に対して相
関演算を行うため膨大な計算量を必要とし、大規模な専
用ハードウェアを用いなければ、実時間処理ができない
という問題があった。また、画像の中に背景等、濃度パ
ターン領域が存在する部分は全て距離を算出してしまう
し、濃度パターン領域が存在しない部分はどこでも対応
点として認識してしまうという問題があった。一方、特
開2001−12945号公報に記載の距離検出装置で
は、上述の方法よりも、対象物の存在領域を限定する分
だけ少ない演算量で対象物の距離を算出することはでき
るものの、対象物の存在領域同士のみの相関演算となる
ため、情報量が少なくなり、上述の方法のように、得ら
れた距離値を平均化したり、多数決を取ることができ
ず、距離値に誤差が含まれる場合があるという問題があ
った。 【0004】本発明は、上記課題に鑑みてなされたもの
で、車両に備えた撮像手段により撮影された赤外線画像
から、対象物の距離を、少ない演算量でかつ高精度に求
めることができる測距装置を提供することを目的とす
る。 【0005】 【課題を解決するための手段】上記課題を解決するため
に、請求項1に記載の発明は、撮像手段により撮影され
た2つの赤外線画像を用いて、撮像手段から対象物まで
の距離を求める画像測距装置であって、多値化処理され
た画像を所定サイズのパターン領域に分割し、この情報
を前記赤外線画像を分割するためのパターン領域情報と
して出力する画像分割手段(例えば実施の形態の画像分
割手段16)と、前記パターン領域情報に基づいて分割
された、一方の赤外線画像のパターン領域と他方の赤外
線画像のパターン領域との相関演算を行い、前記パター
ン領域毎の視差を求め、これを該パターン領域の距離値
に変換するパターン距離算出手段(例えば実施の形態の
視差算出手段17と距離画像生成手段18)と、前記パ
ターン距離算出手段により求められた距離値に基づい
て、前記パターン領域を距離値が類似しているパターン
領域毎に分類して1つのグループとして認識し、認識さ
れたグループの距離値を求めて対象物までの距離とする
クラスタリング手段(例えば実施の形態の距離値クラス
タリング手段20)とを設けたことを特徴とする。以上
の構成により、所定サイズのパターン領域毎の距離値を
求めることで演算量を削減し、更に求められたパターン
領域毎の距離値に基づいて、パターン領域を距離値が類
似しているパターン領域毎に分類し、1つのグループと
して認識するクラスタリングを行い、このグループの距
離値を対象物の距離値として求めることで、求める対象
物の距離値の精度を向上させることができる。 【0006】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図1は、本発明の一実施の
形態の画像測距装置を含む、車両の周辺監視装置の構成
を示すブロック図である。図1において、符号1は、本
実施の形態の画像測距装置を含むCPU(中央演算装
置)を備えた画像処理ユニットであって、遠赤外線を検
出可能な2つの赤外線カメラ2R、2Lと当該車両の車
体の傾きを検出するヨーレートセンサ3、更に、当該車
両の走行速度(車速)を検出する車速センサ4とブレー
キの操作を検出するためのブレーキセンサ5が接続され
る。これにより、画像処理ユニット1は、車両の周辺の
赤外線画像と車両の走行状態を示す信号から、車両前方
の歩行者や動物等の動く物体を検出し、衝突の可能性が
高いと判断したときに警報を発する。 【0007】また、画像処理ユニット1には、音声で警
報を発するためのスピーカ6と、赤外線カメラ2R、2
Lにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Displayや自車両のコンソールに設置される
NAVIDisplay、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するHUD
(Head Up Display )7a等を含む画像表示装置7が接
続されている。 【0008】また、画像処理ユニット1は、入力アナロ
グ信号をディジタル信号に変換するA/D変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うCPU(中央演算装置)、CPUが演算途
中のデータを記憶するために使用するRAM(Random A
ccess Memory)、CPUが実行するプログラムやテーブ
ル、マップなどを記憶するROM(Read Only Memor
y)、スピーカ6の駆動信号、HUD7a等の表示信号
などを出力する出力回路を備えており、赤外線カメラ2
R、2L及びヨーレートセンサ3、車速センサ4、ブレ
ーキセンサ5の各出力信号は、ディジタル信号に変換さ
れてCPUに入力されるように構成されている。 【0009】また、図2に示すように、赤外線カメラ2
R、2Lは、自車両10の前部に、自車両10の車幅方
向中心部に対してほぼ対象な位置に配置されており、2
つの赤外線カメラ2R、2Lの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ2R、2Lは、対象物
の温度が高いほど、その出力信号レベルが高くなる(輝
度が増加する)特性を有している。また、HUD7a
は、自車両10のフロントウィンドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。 【0010】次に、図3を用いて、画像処理ユニット1
上に構成される、本実施の形態の画像測距装置11の機
能ブロック図について説明する。図3において、本実施
の形態の画像測距装置11は、画像合成手段12と、画
像メモリ13と、2値化手段14と、対象物存在領域設
定手段15と、画像分割手段16と、視差算出手段17
と、距離画像生成手段18と、距離値格納手段19と、
距離値クラスタリング手段20と、画像認識手段21と
から構成されている。画像合成手段12は、赤外線カメ
ラ2R、2Lが出力する映像信号をそれぞれA/D変換
し、赤外線カメラ2Rによる右画像と赤外線カメラ2L
による左画像とが合成された合成画像を出力する。 【0011】画像合成手段12の出力は、画像メモリ1
3に記憶され、2値化手段14と視差算出手段17へ入
力される。2値化手段14は、赤外線カメラ2Rまたは
2Lにより得られた左右画像のどちらか一方を基準画像
として、画像信号の2値化処理、すなわち、輝度閾値I
THより明るい領域を「1」(白)とし、暗い領域を
「0」(黒)とする処理を行う。2値化手段14の2値
化処理により白黒画像に変換された基準画像は、対象物
存在領域設定手段15へ入力され、対象物存在領域設定
手段15は、基準画像の2値化処理によって抽出された
対象物の領域を基にして、対象物が存在するであろう対
象物存在領域を設定する。 【0012】画像分割手段16は、対象物存在領域設定
手段15で設定された対象物存在領域を所定の方法によ
り所定サイズのパターン領域に分割し、対象物存在領域
のパターン領域情報を視差算出手段17へ通知する。な
お、対象物存在領域の分割方法については、詳細を後述
する。視差算出手段17は、画像メモリ13に記憶され
た赤外線カメラ2Rによる右画像と赤外線カメラ2Lに
よる左画像との合成画像を取得し、画像分割手段16の
出力するパターン領域情報に基づいて、右画像と左画像
とを所定のサイズのパターン領域へ分割し、右画像と左
画像とのパターン領域毎の相関演算を行い、所定のサイ
ズのパターン領域毎の視差を算出する。視差算出手段1
7により求められた所定のサイズのパターン領域毎の視
差は、距離画像生成手段18へ入力され、距離画像生成
手段18は、求められた視差から三角測量の原理によっ
て所定のサイズのパターン領域毎の距離値を算出し、距
離画像として画像メモリに書き込む。なお、距離画像に
よる距離値の違いは、色または輝度値によって表現して
も良い。 【0013】距離値格納手段19は、画像メモリから距
離画像を取得し、距離画像と対象物存在領域と重ね合わ
せて、その領域内の距離値を格納する。距離値格納手段
19において格納された距離値は、距離値クラスタリン
グ手段20に入力され、距離値クラスタリング手段20
は、所定のサイズのパターン領域を距離値が類似してい
るパターン領域毎に分類して1つのグループとして認識
し、認識されたグループの距離値を求めて対象物までの
距離とするクラスタリングを行う。また、このとき、距
離値クラスタリング手段20は、距離値が類似している
所定のサイズのパターン領域を連結する距離値連結も行
う。画像認識手段21は、距離値クラスタリング手段2
0によってクラスタリングされたパターン領域につい
て、特徴量算出や形状判別等により対象物かどうかを認
識し、対象物の距離値を出力する。 【0014】次に、本実施の形態の画像測距装置11の
動作について図面を用いて説明する。画像測距装置11
の動作、特に画像分割手段16が行う対象物存在領域の
分割の方法には2つの方法があるが、まず第1の実施例
として、所定サイズのパターンにより対象物存在領域を
等分する第1の方法を説明する。 (第1の実施例)図4は、本実施の形態の画像測距装置
11の処理手順を示すフローチャートである。まず、赤
外線カメラ2Rと赤外線カメラ2Lより、画像合成手段
12に対して、それぞれ右画像と左画像が入力される
(ステップS1、ステップS2)。なお、ここでは赤外
線カメラ2Rにより右画像が得られ、赤外線カメラ2L
により左画像が得られる。右画像と左画像とを入力され
た画像合成手段12は、図5(a)に示すように左右の
画像を合成し、合成画像を出力する(ステップS3)。
画像合成手段12から出力された合成画像は、画像メモ
リ13を経て、2値化手段14と、視差算出手段17へ
入力される。2値化手段14では、入力された合成画像
のどちらか一方を基準画像として、画像信号の2値化処
理、すなわち、図5(b)に示すように、輝度閾値IT
Hより明るい領域を「1」(白)とし、暗い領域を
「0」(黒)とする処理を行う(ステップS4)。 【0015】次に、対象物存在領域設定手段15が、図
5(b)に示すように、基準画像の2値化処理によって
抽出された対象物a50と対象物b51の領域を基にし
て、対象物が存在するであろう対象物存在領域52、5
3を設定する(ステップS5)。ここで、対象物存在領
域は、例えば図6(a)に示す対象物存在領域52のよ
うに、2値化処理によって抽出された対象物a50の領
域に対して、余裕(マージン)を持たせない設定ではな
く、図6(b)に示すように、その周囲に余裕(マージ
ン)を持たせることが好ましい。なぜなら、2値化処理
によって抽出された対象物の領域は、実際の対象物の一
部を抽出している場合が多いためである。2値化処理に
よって抽出された対象物の領域をそのまま対象物存在領
域とした場合、対象物全体に対する距離値を算出する領
域の割合が少なくなるため、求められた対象物全体の距
離値に誤差が含まれる可能性が大きくなる。なお、図面
の都合上、図6に示す図面は、図5に示す図面と白黒の
表示を反転させて示した。 【0016】また、対象物存在領域設定手段15は、対
象物存在領域が設定されたら、領域設定が問題ないか否
かを判定する(ステップS6)。ステップS6におい
て、赤外線カメラ2R、2Lによって取得された画像
に、抽出するべき対象物がなく、対象物存在領域の設定
が行えない場合(ステップS6のNO)、ステップS
1、ステップS2へ戻り、赤外線カメラ2R、2Lの次
の画像を取得する処理から、上述の処理を繰り返す。ス
テップS6において、赤外線カメラ2R、2Lによって
取得された画像に、抽出するべき対象物があり、対象物
存在領域の設定が行えた場合(ステップS6のYE
S)、画像分割手段16は、例えば図6(b)に示すよ
うに、対象物存在領域52を所定のサイズのパターン領
域54によって分割する(ステップS7)。 【0017】一方、視差算出手段17は、画像分割手段
16により対象物存在領域の分割方法が決定されたら、
画像メモリ13に記憶された赤外線カメラ2Rによる右
画像と赤外線カメラ2Lによる左画像との合成画像を取
得し、画像分割手段16の出力するパターン領域情報
(例えばパターン領域54による対象物存在領域52の
分割状態を示す情報)に基づいて、右画像と左画像とを
所定のサイズのパターン領域へ分割し、右画像と左画像
とのパターン領域毎の相関演算を行い、所定のサイズの
パターン領域毎の視差を算出する(ステップS8)。次
に、距離画像生成手段18は、求められた所定のサイズ
のパターン領域毎の視差から、三角測量の原理によって
所定のサイズのパターン領域毎の距離値を算出し、距離
画像として画像メモリに書き込む(ステップS9)。図
7(a)は、距離画像生成手段18により生成された距
離画像の一例を示す図である。図7(a)では、図面の
都合上白黒表示されているが、例えば距離画像に変換さ
れた対象物a50及び対象物b51は、色、または輝度
値によりその距離が区別して表示される。 【0018】距離画像生成手段18によって距離画像が
生成されたら、距離値格納手段19が距離画像と対象物
存在領域とを重ね合わせて、その領域内の距離値を格納
する。図7(b)は、距離値格納手段19によって、距
離画像に変換された対象物a50及び対象物b51と対
象物存在領域52、53とが重ね合わされた状態を示
す。次に、距離値格納手段19において格納された距離
値は、距離値クラスタリング手段20に入力され、距離
値クラスタリング手段20は、所定のサイズのパターン
領域を距離値が類似しているパターン領域毎に分類して
1つのグループとして認識し、認識されたグループの距
離値を求めて対象物までの距離値とするクラスタリング
を行う。また、このとき、距離値クラスタリング手段2
0は、距離値が類似している所定のサイズのパターン領
域を連結する距離値連結も行う(ステップS10)。 【0019】ここで、パターン領域のクラスタリングに
ついて簡単に説明すると、クラスタリングは、例えば図
8に示すように、分割された所定サイズのパターン領域
54毎に距離値55が求められている場合、所定のサイ
ズのパターン領域54を距離値55が類似しているパタ
ーン領域毎に分類して1つのグループとして認識し、認
識されたグループの距離値を求め、対象物までの距離と
する処理である。図8では、距離値「10以上20未
満」のパターン領域をグループG1、距離値「30以上
40未満」のパターン領域をグループG2、距離値「2
0以上30未満」のパターン領域をグループG3として
認識している。また、グループの距離値は、一例とし
て、例えばグループを構成するパターン領域54の距離
値55の平均値を取れば良い。 【0020】そして、画像認識手段21は、距離値クラ
スタリング手段20によってクラスタリングされたパタ
ーン領域について、特徴量算出や形状判別等により対象
物かどうかを認識し(ステップS11)、対象物の距離
値を出力する(ステップS12)。図7(c)は、距離
値クラスタリング手段20により求められたパターン領
域について、対象物a50を認識した結果を示す。ステ
ップS12において、対象物の距離値が出力されたら、
ステップS1、ステップS2へ戻り、赤外線カメラ2
R、2Lの次の画像を取得する処理から、上述の処理を
繰り返す。 【0021】(第2の実施例)次に、画像分割手段16
が行う対象物存在領域の分割における第2の方法を、第
2の実施例として説明する。第2の方法は、対象物存在
領域を限定した上で、所定サイズのパターンにより、そ
の限定された領域を分割する方法である。第2の実施例
においても、画像測距装置11の処理手順は図4に示す
フローチャートと同じであるので、ここでは、対象物存
在領域の分割方法とクラスタリングによる画像の認識方
法についてのみ説明する。 【0022】第2の実施例では、対象物存在領域設定手
段15により対象物存在領域が設定され、領域設定が問
題ないと判定されたら、画像分割手段16は、ステップ
S7において、例えば図9に示すように、対象物存在領
域52を所定のサイズのパターン領域56によって分割
する。この場合の対象物存在領域52の分割の方法は、
2値化処理によって得られた画像の対象物の外側の輪郭
に沿って、パターン領域56内の対象物の部分(図9で
は都合上対象物50aを示す黒い部分)と対象物ではな
い部分(図9では都合上白い部分)との面積が同一にな
るように分割していく。 【0023】視差算出手段17は、画像分割手段16に
より対象物存在領域の分割方法が決定されたら、ステッ
プS8において、画像メモリ13に記憶された赤外線カ
メラ2Rによる右画像と赤外線カメラ2Lによる左画像
との合成画像を取得し、画像分割手段16の出力するパ
ターン領域情報(例えばパターン領域56による対象物
存在領域52の分割状態を示す情報)に基づいて、右画
像と左画像とを所定のサイズのパターン領域へ分割し、
右画像と左画像とのパターン領域毎の相関演算を行い、
所定のサイズのパターン領域毎の視差を算出する。 【0024】そして、距離画像生成手段18は、ステッ
プS9において、求められた所定のサイズのパターン領
域毎の視差から、三角測量の原理によって所定のサイズ
のパターン領域毎の距離値を算出し、距離画像として画
像メモリに書き込む。図10(a)は、赤外線カメラに
よる画像を、画像分割手段16が出力するパターン領域
情報(パターン領域56、57による対象物存在領域5
2、53の分割状態を示す情報)により分割した状態を
示す。また、図10(b)は、距離画像生成手段18に
より生成された距離画像を示す。図10(b)では、図
面の都合上白黒表示されているが、例えば対象物c58
と対象物d59は、色、または輝度値によりその距離が
区別して表示される。 【0025】距離画像生成手段18によって距離画像が
生成されたら、距離値格納手段19が距離画像と対象物
存在領域と重ね合わせて、その領域内の距離値を格納す
る。次に、距離値格納手段19において格納された距離
値は、距離値クラスタリング手段20に入力される。そ
して、ステップS10において、距離値クラスタリング
手段20は、まず距離値が類似している所定のサイズの
パターン領域を連結する距離値連結を行う。図10
(c)は、類似した距離値により連結したパターン領域
(連結領域a60及び連結領域b61)を示す。次に、
所定のサイズのパターン領域を距離値が類似しているパ
ターン領域毎に分類して1つのグループとして認識し、
認識されたグループの距離値を求め、対象物までの距離
値とするクラスタリングを行う。図11(d)は、クラ
スタリングにより認識されたパターン領域(クラスタリ
ング領域a62及びクラスタリング領域b63)を示
す。 【0026】そして、画像認識手段21は、距離値クラ
スタリング手段20によってクラスタリングされたパタ
ーン領域について、特徴量算出や形状判別等により対象
物かどうかを認識し(ステップS11)、対象物の距離
値を出力する(ステップS12)。図11(e)は、距
離値クラスタリング手段20により求められたパターン
領域について、対象物a50を認識した結果を示す。 【0027】なお、上述の実施の形態では、対象物存在
領域を設定する際に行う処理を2値化処理として説明し
たが、画像を更に細かく分類するために画像を識別する
処理は2値化処理に限らず、2値化以上の多値化処理を
行っても良い。 【0028】また、上述の実施の形態では、撮像手段と
して赤外線カメラ2R、2Lを用いた場合を説明した
が、例えば特開平2−26490号公報に示されるよう
に通常の可視光線のみ検出可能なテレビカメラを使用し
ても良い。ただし、赤外線カメラを用いることにより、
動物あるいは走行中の他車両などの抽出処理を簡略化す
ることができ、演算装置の演算能力が比較的低いもので
も実現できる。また上述した実施の形態では、自車両の
前方を監視する例を示したが、自車両の後方など、いず
れの方向を監視するようにしても良い。 【0029】以上説明したように、2値化で抽出された
対象物の周囲に余裕を持って対象物存在領域を確保する
ため、今まで捨てられていた情報を利用して、対象物全
体の距離値を正確に求めることができるようになる。ま
た、対象物存在領域を更に所定のサイズのパターン領域
に分割し、このパターン領域毎の距離値を求めることで
演算量を大幅に削減できるようになる。また、視差算出
手段は、視差を求めるための相関演算自体が単純計算の
機械的な繰り返しになるので、ハードウェア化しやすく
なるという効果が得られる。更に、第2の実施例で説明
した方法では、分割したパターン領域も対象物を含む部
分のみ距離値を算出する相関演算を行うため、第1の実
施例で説明した方法より、更に演算量を削減し、処理速
度を向上させることができる。 【0030】 【発明の効果】以上の如く、請求項1に記載の発明によ
れば、所定サイズのパターン領域毎の距離値を求めるこ
とで演算量を削減し、更に求められたパターン領域毎の
距離値に基づいて、パターン領域を距離値が類似してい
るパターン領域毎に分類し、1つのグループとして認識
するクラスタリングを行い、このグループの距離値を対
象物の距離値として求めることで、求める対象物の距離
値の精度を向上させることができる。従って、人物等の
形状認識を正確に行うことができるという効果が得られ
る。また、演算量が削減されたことによりハードウェア
の規模が削減できるので、画像測距装置の構成をハード
ウェア化しやすくなるという効果が得られる。
得られた車両の周辺に存在する他車両や歩行者、更に動
物等の距離を算出する画像測距装置に関する。 【0002】 【従来の技術】従来、車両に備えた撮像手段により撮影
された赤外線画像から、車両の周辺に存在する他車両や
歩行者、動物等の物体の距離を算出する場合、次のよう
に行う。すなわち、例えば水平方向に同じ高さで配置さ
れた2台のカメラにより対象物の画像を撮影する。次
に、2台のカメラの一方の画像を基準画像として、この
基準画像の微小領域をマスク画像とし、もう一方の画像
についてウィンドウを切り、その中でマスク画像を順次
シフトしながら相関演算を行い、その相関度が最も高く
なるシフト量を求める。そして、このシフト量である2
つの画像の視差から、三角測量の原理により、微小領域
の距離を算出する。この処理を画像全体に対して行い、
作成された距離画像から対象物までの距離を算出する。
また、例えば特開2001−12945号公報に記載の
距離検出装置では、基準画像とするカメラの画像を2値
化処理することにより、対象物の存在する領域を抽出し
てマスク画像とし、マスク画像の大きさから、もう一方
の画像の中でこのマスク画像を探索する範囲を決定して
いる。従って、画像全体に相関演算を行い、作成された
距離画像から対象物までの距離を算出する方法よりも、
少ない演算量で距離を求めることができる。 【0003】 【発明が解決しようとする課題】しかし、上述のよう
に、画像全体に相関演算を行い、作成された距離画像か
ら対象物までの距離を算出する方法では、得られた微小
領域毎の距離値をクラスタリングし、距離値を平均化し
たり多数決を取ることで、算出された距離値の精度を向
上することができるものの、全ての微小領域に対して相
関演算を行うため膨大な計算量を必要とし、大規模な専
用ハードウェアを用いなければ、実時間処理ができない
という問題があった。また、画像の中に背景等、濃度パ
ターン領域が存在する部分は全て距離を算出してしまう
し、濃度パターン領域が存在しない部分はどこでも対応
点として認識してしまうという問題があった。一方、特
開2001−12945号公報に記載の距離検出装置で
は、上述の方法よりも、対象物の存在領域を限定する分
だけ少ない演算量で対象物の距離を算出することはでき
るものの、対象物の存在領域同士のみの相関演算となる
ため、情報量が少なくなり、上述の方法のように、得ら
れた距離値を平均化したり、多数決を取ることができ
ず、距離値に誤差が含まれる場合があるという問題があ
った。 【0004】本発明は、上記課題に鑑みてなされたもの
で、車両に備えた撮像手段により撮影された赤外線画像
から、対象物の距離を、少ない演算量でかつ高精度に求
めることができる測距装置を提供することを目的とす
る。 【0005】 【課題を解決するための手段】上記課題を解決するため
に、請求項1に記載の発明は、撮像手段により撮影され
た2つの赤外線画像を用いて、撮像手段から対象物まで
の距離を求める画像測距装置であって、多値化処理され
た画像を所定サイズのパターン領域に分割し、この情報
を前記赤外線画像を分割するためのパターン領域情報と
して出力する画像分割手段(例えば実施の形態の画像分
割手段16)と、前記パターン領域情報に基づいて分割
された、一方の赤外線画像のパターン領域と他方の赤外
線画像のパターン領域との相関演算を行い、前記パター
ン領域毎の視差を求め、これを該パターン領域の距離値
に変換するパターン距離算出手段(例えば実施の形態の
視差算出手段17と距離画像生成手段18)と、前記パ
ターン距離算出手段により求められた距離値に基づい
て、前記パターン領域を距離値が類似しているパターン
領域毎に分類して1つのグループとして認識し、認識さ
れたグループの距離値を求めて対象物までの距離とする
クラスタリング手段(例えば実施の形態の距離値クラス
タリング手段20)とを設けたことを特徴とする。以上
の構成により、所定サイズのパターン領域毎の距離値を
求めることで演算量を削減し、更に求められたパターン
領域毎の距離値に基づいて、パターン領域を距離値が類
似しているパターン領域毎に分類し、1つのグループと
して認識するクラスタリングを行い、このグループの距
離値を対象物の距離値として求めることで、求める対象
物の距離値の精度を向上させることができる。 【0006】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図1は、本発明の一実施の
形態の画像測距装置を含む、車両の周辺監視装置の構成
を示すブロック図である。図1において、符号1は、本
実施の形態の画像測距装置を含むCPU(中央演算装
置)を備えた画像処理ユニットであって、遠赤外線を検
出可能な2つの赤外線カメラ2R、2Lと当該車両の車
体の傾きを検出するヨーレートセンサ3、更に、当該車
両の走行速度(車速)を検出する車速センサ4とブレー
キの操作を検出するためのブレーキセンサ5が接続され
る。これにより、画像処理ユニット1は、車両の周辺の
赤外線画像と車両の走行状態を示す信号から、車両前方
の歩行者や動物等の動く物体を検出し、衝突の可能性が
高いと判断したときに警報を発する。 【0007】また、画像処理ユニット1には、音声で警
報を発するためのスピーカ6と、赤外線カメラ2R、2
Lにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Displayや自車両のコンソールに設置される
NAVIDisplay、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するHUD
(Head Up Display )7a等を含む画像表示装置7が接
続されている。 【0008】また、画像処理ユニット1は、入力アナロ
グ信号をディジタル信号に変換するA/D変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うCPU(中央演算装置)、CPUが演算途
中のデータを記憶するために使用するRAM(Random A
ccess Memory)、CPUが実行するプログラムやテーブ
ル、マップなどを記憶するROM(Read Only Memor
y)、スピーカ6の駆動信号、HUD7a等の表示信号
などを出力する出力回路を備えており、赤外線カメラ2
R、2L及びヨーレートセンサ3、車速センサ4、ブレ
ーキセンサ5の各出力信号は、ディジタル信号に変換さ
れてCPUに入力されるように構成されている。 【0009】また、図2に示すように、赤外線カメラ2
R、2Lは、自車両10の前部に、自車両10の車幅方
向中心部に対してほぼ対象な位置に配置されており、2
つの赤外線カメラ2R、2Lの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ2R、2Lは、対象物
の温度が高いほど、その出力信号レベルが高くなる(輝
度が増加する)特性を有している。また、HUD7a
は、自車両10のフロントウィンドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。 【0010】次に、図3を用いて、画像処理ユニット1
上に構成される、本実施の形態の画像測距装置11の機
能ブロック図について説明する。図3において、本実施
の形態の画像測距装置11は、画像合成手段12と、画
像メモリ13と、2値化手段14と、対象物存在領域設
定手段15と、画像分割手段16と、視差算出手段17
と、距離画像生成手段18と、距離値格納手段19と、
距離値クラスタリング手段20と、画像認識手段21と
から構成されている。画像合成手段12は、赤外線カメ
ラ2R、2Lが出力する映像信号をそれぞれA/D変換
し、赤外線カメラ2Rによる右画像と赤外線カメラ2L
による左画像とが合成された合成画像を出力する。 【0011】画像合成手段12の出力は、画像メモリ1
3に記憶され、2値化手段14と視差算出手段17へ入
力される。2値化手段14は、赤外線カメラ2Rまたは
2Lにより得られた左右画像のどちらか一方を基準画像
として、画像信号の2値化処理、すなわち、輝度閾値I
THより明るい領域を「1」(白)とし、暗い領域を
「0」(黒)とする処理を行う。2値化手段14の2値
化処理により白黒画像に変換された基準画像は、対象物
存在領域設定手段15へ入力され、対象物存在領域設定
手段15は、基準画像の2値化処理によって抽出された
対象物の領域を基にして、対象物が存在するであろう対
象物存在領域を設定する。 【0012】画像分割手段16は、対象物存在領域設定
手段15で設定された対象物存在領域を所定の方法によ
り所定サイズのパターン領域に分割し、対象物存在領域
のパターン領域情報を視差算出手段17へ通知する。な
お、対象物存在領域の分割方法については、詳細を後述
する。視差算出手段17は、画像メモリ13に記憶され
た赤外線カメラ2Rによる右画像と赤外線カメラ2Lに
よる左画像との合成画像を取得し、画像分割手段16の
出力するパターン領域情報に基づいて、右画像と左画像
とを所定のサイズのパターン領域へ分割し、右画像と左
画像とのパターン領域毎の相関演算を行い、所定のサイ
ズのパターン領域毎の視差を算出する。視差算出手段1
7により求められた所定のサイズのパターン領域毎の視
差は、距離画像生成手段18へ入力され、距離画像生成
手段18は、求められた視差から三角測量の原理によっ
て所定のサイズのパターン領域毎の距離値を算出し、距
離画像として画像メモリに書き込む。なお、距離画像に
よる距離値の違いは、色または輝度値によって表現して
も良い。 【0013】距離値格納手段19は、画像メモリから距
離画像を取得し、距離画像と対象物存在領域と重ね合わ
せて、その領域内の距離値を格納する。距離値格納手段
19において格納された距離値は、距離値クラスタリン
グ手段20に入力され、距離値クラスタリング手段20
は、所定のサイズのパターン領域を距離値が類似してい
るパターン領域毎に分類して1つのグループとして認識
し、認識されたグループの距離値を求めて対象物までの
距離とするクラスタリングを行う。また、このとき、距
離値クラスタリング手段20は、距離値が類似している
所定のサイズのパターン領域を連結する距離値連結も行
う。画像認識手段21は、距離値クラスタリング手段2
0によってクラスタリングされたパターン領域につい
て、特徴量算出や形状判別等により対象物かどうかを認
識し、対象物の距離値を出力する。 【0014】次に、本実施の形態の画像測距装置11の
動作について図面を用いて説明する。画像測距装置11
の動作、特に画像分割手段16が行う対象物存在領域の
分割の方法には2つの方法があるが、まず第1の実施例
として、所定サイズのパターンにより対象物存在領域を
等分する第1の方法を説明する。 (第1の実施例)図4は、本実施の形態の画像測距装置
11の処理手順を示すフローチャートである。まず、赤
外線カメラ2Rと赤外線カメラ2Lより、画像合成手段
12に対して、それぞれ右画像と左画像が入力される
(ステップS1、ステップS2)。なお、ここでは赤外
線カメラ2Rにより右画像が得られ、赤外線カメラ2L
により左画像が得られる。右画像と左画像とを入力され
た画像合成手段12は、図5(a)に示すように左右の
画像を合成し、合成画像を出力する(ステップS3)。
画像合成手段12から出力された合成画像は、画像メモ
リ13を経て、2値化手段14と、視差算出手段17へ
入力される。2値化手段14では、入力された合成画像
のどちらか一方を基準画像として、画像信号の2値化処
理、すなわち、図5(b)に示すように、輝度閾値IT
Hより明るい領域を「1」(白)とし、暗い領域を
「0」(黒)とする処理を行う(ステップS4)。 【0015】次に、対象物存在領域設定手段15が、図
5(b)に示すように、基準画像の2値化処理によって
抽出された対象物a50と対象物b51の領域を基にし
て、対象物が存在するであろう対象物存在領域52、5
3を設定する(ステップS5)。ここで、対象物存在領
域は、例えば図6(a)に示す対象物存在領域52のよ
うに、2値化処理によって抽出された対象物a50の領
域に対して、余裕(マージン)を持たせない設定ではな
く、図6(b)に示すように、その周囲に余裕(マージ
ン)を持たせることが好ましい。なぜなら、2値化処理
によって抽出された対象物の領域は、実際の対象物の一
部を抽出している場合が多いためである。2値化処理に
よって抽出された対象物の領域をそのまま対象物存在領
域とした場合、対象物全体に対する距離値を算出する領
域の割合が少なくなるため、求められた対象物全体の距
離値に誤差が含まれる可能性が大きくなる。なお、図面
の都合上、図6に示す図面は、図5に示す図面と白黒の
表示を反転させて示した。 【0016】また、対象物存在領域設定手段15は、対
象物存在領域が設定されたら、領域設定が問題ないか否
かを判定する(ステップS6)。ステップS6におい
て、赤外線カメラ2R、2Lによって取得された画像
に、抽出するべき対象物がなく、対象物存在領域の設定
が行えない場合(ステップS6のNO)、ステップS
1、ステップS2へ戻り、赤外線カメラ2R、2Lの次
の画像を取得する処理から、上述の処理を繰り返す。ス
テップS6において、赤外線カメラ2R、2Lによって
取得された画像に、抽出するべき対象物があり、対象物
存在領域の設定が行えた場合(ステップS6のYE
S)、画像分割手段16は、例えば図6(b)に示すよ
うに、対象物存在領域52を所定のサイズのパターン領
域54によって分割する(ステップS7)。 【0017】一方、視差算出手段17は、画像分割手段
16により対象物存在領域の分割方法が決定されたら、
画像メモリ13に記憶された赤外線カメラ2Rによる右
画像と赤外線カメラ2Lによる左画像との合成画像を取
得し、画像分割手段16の出力するパターン領域情報
(例えばパターン領域54による対象物存在領域52の
分割状態を示す情報)に基づいて、右画像と左画像とを
所定のサイズのパターン領域へ分割し、右画像と左画像
とのパターン領域毎の相関演算を行い、所定のサイズの
パターン領域毎の視差を算出する(ステップS8)。次
に、距離画像生成手段18は、求められた所定のサイズ
のパターン領域毎の視差から、三角測量の原理によって
所定のサイズのパターン領域毎の距離値を算出し、距離
画像として画像メモリに書き込む(ステップS9)。図
7(a)は、距離画像生成手段18により生成された距
離画像の一例を示す図である。図7(a)では、図面の
都合上白黒表示されているが、例えば距離画像に変換さ
れた対象物a50及び対象物b51は、色、または輝度
値によりその距離が区別して表示される。 【0018】距離画像生成手段18によって距離画像が
生成されたら、距離値格納手段19が距離画像と対象物
存在領域とを重ね合わせて、その領域内の距離値を格納
する。図7(b)は、距離値格納手段19によって、距
離画像に変換された対象物a50及び対象物b51と対
象物存在領域52、53とが重ね合わされた状態を示
す。次に、距離値格納手段19において格納された距離
値は、距離値クラスタリング手段20に入力され、距離
値クラスタリング手段20は、所定のサイズのパターン
領域を距離値が類似しているパターン領域毎に分類して
1つのグループとして認識し、認識されたグループの距
離値を求めて対象物までの距離値とするクラスタリング
を行う。また、このとき、距離値クラスタリング手段2
0は、距離値が類似している所定のサイズのパターン領
域を連結する距離値連結も行う(ステップS10)。 【0019】ここで、パターン領域のクラスタリングに
ついて簡単に説明すると、クラスタリングは、例えば図
8に示すように、分割された所定サイズのパターン領域
54毎に距離値55が求められている場合、所定のサイ
ズのパターン領域54を距離値55が類似しているパタ
ーン領域毎に分類して1つのグループとして認識し、認
識されたグループの距離値を求め、対象物までの距離と
する処理である。図8では、距離値「10以上20未
満」のパターン領域をグループG1、距離値「30以上
40未満」のパターン領域をグループG2、距離値「2
0以上30未満」のパターン領域をグループG3として
認識している。また、グループの距離値は、一例とし
て、例えばグループを構成するパターン領域54の距離
値55の平均値を取れば良い。 【0020】そして、画像認識手段21は、距離値クラ
スタリング手段20によってクラスタリングされたパタ
ーン領域について、特徴量算出や形状判別等により対象
物かどうかを認識し(ステップS11)、対象物の距離
値を出力する(ステップS12)。図7(c)は、距離
値クラスタリング手段20により求められたパターン領
域について、対象物a50を認識した結果を示す。ステ
ップS12において、対象物の距離値が出力されたら、
ステップS1、ステップS2へ戻り、赤外線カメラ2
R、2Lの次の画像を取得する処理から、上述の処理を
繰り返す。 【0021】(第2の実施例)次に、画像分割手段16
が行う対象物存在領域の分割における第2の方法を、第
2の実施例として説明する。第2の方法は、対象物存在
領域を限定した上で、所定サイズのパターンにより、そ
の限定された領域を分割する方法である。第2の実施例
においても、画像測距装置11の処理手順は図4に示す
フローチャートと同じであるので、ここでは、対象物存
在領域の分割方法とクラスタリングによる画像の認識方
法についてのみ説明する。 【0022】第2の実施例では、対象物存在領域設定手
段15により対象物存在領域が設定され、領域設定が問
題ないと判定されたら、画像分割手段16は、ステップ
S7において、例えば図9に示すように、対象物存在領
域52を所定のサイズのパターン領域56によって分割
する。この場合の対象物存在領域52の分割の方法は、
2値化処理によって得られた画像の対象物の外側の輪郭
に沿って、パターン領域56内の対象物の部分(図9で
は都合上対象物50aを示す黒い部分)と対象物ではな
い部分(図9では都合上白い部分)との面積が同一にな
るように分割していく。 【0023】視差算出手段17は、画像分割手段16に
より対象物存在領域の分割方法が決定されたら、ステッ
プS8において、画像メモリ13に記憶された赤外線カ
メラ2Rによる右画像と赤外線カメラ2Lによる左画像
との合成画像を取得し、画像分割手段16の出力するパ
ターン領域情報(例えばパターン領域56による対象物
存在領域52の分割状態を示す情報)に基づいて、右画
像と左画像とを所定のサイズのパターン領域へ分割し、
右画像と左画像とのパターン領域毎の相関演算を行い、
所定のサイズのパターン領域毎の視差を算出する。 【0024】そして、距離画像生成手段18は、ステッ
プS9において、求められた所定のサイズのパターン領
域毎の視差から、三角測量の原理によって所定のサイズ
のパターン領域毎の距離値を算出し、距離画像として画
像メモリに書き込む。図10(a)は、赤外線カメラに
よる画像を、画像分割手段16が出力するパターン領域
情報(パターン領域56、57による対象物存在領域5
2、53の分割状態を示す情報)により分割した状態を
示す。また、図10(b)は、距離画像生成手段18に
より生成された距離画像を示す。図10(b)では、図
面の都合上白黒表示されているが、例えば対象物c58
と対象物d59は、色、または輝度値によりその距離が
区別して表示される。 【0025】距離画像生成手段18によって距離画像が
生成されたら、距離値格納手段19が距離画像と対象物
存在領域と重ね合わせて、その領域内の距離値を格納す
る。次に、距離値格納手段19において格納された距離
値は、距離値クラスタリング手段20に入力される。そ
して、ステップS10において、距離値クラスタリング
手段20は、まず距離値が類似している所定のサイズの
パターン領域を連結する距離値連結を行う。図10
(c)は、類似した距離値により連結したパターン領域
(連結領域a60及び連結領域b61)を示す。次に、
所定のサイズのパターン領域を距離値が類似しているパ
ターン領域毎に分類して1つのグループとして認識し、
認識されたグループの距離値を求め、対象物までの距離
値とするクラスタリングを行う。図11(d)は、クラ
スタリングにより認識されたパターン領域(クラスタリ
ング領域a62及びクラスタリング領域b63)を示
す。 【0026】そして、画像認識手段21は、距離値クラ
スタリング手段20によってクラスタリングされたパタ
ーン領域について、特徴量算出や形状判別等により対象
物かどうかを認識し(ステップS11)、対象物の距離
値を出力する(ステップS12)。図11(e)は、距
離値クラスタリング手段20により求められたパターン
領域について、対象物a50を認識した結果を示す。 【0027】なお、上述の実施の形態では、対象物存在
領域を設定する際に行う処理を2値化処理として説明し
たが、画像を更に細かく分類するために画像を識別する
処理は2値化処理に限らず、2値化以上の多値化処理を
行っても良い。 【0028】また、上述の実施の形態では、撮像手段と
して赤外線カメラ2R、2Lを用いた場合を説明した
が、例えば特開平2−26490号公報に示されるよう
に通常の可視光線のみ検出可能なテレビカメラを使用し
ても良い。ただし、赤外線カメラを用いることにより、
動物あるいは走行中の他車両などの抽出処理を簡略化す
ることができ、演算装置の演算能力が比較的低いもので
も実現できる。また上述した実施の形態では、自車両の
前方を監視する例を示したが、自車両の後方など、いず
れの方向を監視するようにしても良い。 【0029】以上説明したように、2値化で抽出された
対象物の周囲に余裕を持って対象物存在領域を確保する
ため、今まで捨てられていた情報を利用して、対象物全
体の距離値を正確に求めることができるようになる。ま
た、対象物存在領域を更に所定のサイズのパターン領域
に分割し、このパターン領域毎の距離値を求めることで
演算量を大幅に削減できるようになる。また、視差算出
手段は、視差を求めるための相関演算自体が単純計算の
機械的な繰り返しになるので、ハードウェア化しやすく
なるという効果が得られる。更に、第2の実施例で説明
した方法では、分割したパターン領域も対象物を含む部
分のみ距離値を算出する相関演算を行うため、第1の実
施例で説明した方法より、更に演算量を削減し、処理速
度を向上させることができる。 【0030】 【発明の効果】以上の如く、請求項1に記載の発明によ
れば、所定サイズのパターン領域毎の距離値を求めるこ
とで演算量を削減し、更に求められたパターン領域毎の
距離値に基づいて、パターン領域を距離値が類似してい
るパターン領域毎に分類し、1つのグループとして認識
するクラスタリングを行い、このグループの距離値を対
象物の距離値として求めることで、求める対象物の距離
値の精度を向上させることができる。従って、人物等の
形状認識を正確に行うことができるという効果が得られ
る。また、演算量が削減されたことによりハードウェア
の規模が削減できるので、画像測距装置の構成をハード
ウェア化しやすくなるという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の実施の形態による画像測距装置を含
む、車両の周辺監視装置の構成を示すブロック図であ
る。 【図2】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。 【図3】 同実施の形態による画像測距装置の構成を示
す機能ブロック図である。 【図4】 同実施の形態の画像測距装置の処理手順を示
すフローチャートである。 【図5】 赤外線カメラにより得られるグレースケール
画像とその2値化画像を示す図である。 【図6】 同実施の形態の画像測距装置の第1の方法に
よる対象物存在領域と画像分割方法を説明するための図
である。 【図7】 同実施の形態の画像測距装置の第1の方法に
よる処理画面を示す図である。 【図8】 クラスタリング処理を説明するための図であ
る。 【図9】 同実施の形態の画像測距装置の第2の方法に
よる画像分割方法を説明するための図である。 【図10】 同実施の形態の画像測距装置の第2の方法
による処理画面を示す図である。 【図11】 同実施の形態の画像測距装置の第2の方法
による処理画面を示す図である。 【符号の説明】 1 画像処理ユニット 2R、2L 赤外線カメラ 3 ヨーレートセンサ 4 車速センサ 5 ブレーキセンサ 6 スピーカ 7 画像表示装置 10 自車両 11 画像測距装置 12 画像合成手段 13 画像メモリ 14 2値化手段 15 対象物存在領域設定手段 16 画像分割手段 17 視差算出手段 18 距離画像生成手段 19 距離値格納手段 20 距離値クラスタリング手段 21 画像認識手段
む、車両の周辺監視装置の構成を示すブロック図であ
る。 【図2】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。 【図3】 同実施の形態による画像測距装置の構成を示
す機能ブロック図である。 【図4】 同実施の形態の画像測距装置の処理手順を示
すフローチャートである。 【図5】 赤外線カメラにより得られるグレースケール
画像とその2値化画像を示す図である。 【図6】 同実施の形態の画像測距装置の第1の方法に
よる対象物存在領域と画像分割方法を説明するための図
である。 【図7】 同実施の形態の画像測距装置の第1の方法に
よる処理画面を示す図である。 【図8】 クラスタリング処理を説明するための図であ
る。 【図9】 同実施の形態の画像測距装置の第2の方法に
よる画像分割方法を説明するための図である。 【図10】 同実施の形態の画像測距装置の第2の方法
による処理画面を示す図である。 【図11】 同実施の形態の画像測距装置の第2の方法
による処理画面を示す図である。 【符号の説明】 1 画像処理ユニット 2R、2L 赤外線カメラ 3 ヨーレートセンサ 4 車速センサ 5 ブレーキセンサ 6 スピーカ 7 画像表示装置 10 自車両 11 画像測距装置 12 画像合成手段 13 画像メモリ 14 2値化手段 15 対象物存在領域設定手段 16 画像分割手段 17 視差算出手段 18 距離画像生成手段 19 距離値格納手段 20 距離値クラスタリング手段 21 画像認識手段
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 FI テーマコート゛(参考)
G06T 7/60 180 G06T 7/60 180B
(72)発明者 服部 弘
埼玉県和光市中央1丁目4番1号 株式会
社本田技術研究所内
(72)発明者 嶋村 考造
埼玉県和光市中央1丁目4番1号 株式会
社本田技術研究所内
(72)発明者 長岡 伸治
埼玉県和光市中央1丁目4番1号 株式会
社本田技術研究所内
Fターム(参考) 2F112 AC06 BA05 BA06 CA05 DA21
FA38 FA50
5B057 AA16 BA29 CA08 CA12 CA16
CB08 CB13 CB16 CC02 CE08
CH01 DA07 DA16 DB03 DB09
DC34
5L096 AA06 AA09 BA04 CA05 DA02
FA34 FA66 GA19 LA05 MA07
Claims (1)
- 【特許請求の範囲】 【請求項1】 撮像手段により撮影された2つの赤外線
画像を用いて、撮像手段から対象物までの距離を求める
画像測距装置であって、 多値化処理された画像を所定サイズのパターン領域に分
割し、この情報を前記赤外線画像を分割するためのパタ
ーン領域情報として出力する画像分割手段と、 前記パターン領域情報に基づいて分割された、一方の赤
外線画像のパターン領域と他方の赤外線画像のパターン
領域との相関演算を行い、前記パターン領域毎の視差を
求め、これを該パターン領域の距離値に変換するパター
ン距離算出手段と、 前記パターン距離算出手段により求められた距離値に基
づいて、前記パターン領域を距離値が類似しているパタ
ーン領域毎に分類して1つのグループとして認識し、認
識されたグループの距離値を求めて対象物までの距離と
するクラスタリング手段と、 を設けたことを特徴とする画像測距装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001215890A JP2003028635A (ja) | 2001-07-16 | 2001-07-16 | 画像測距装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001215890A JP2003028635A (ja) | 2001-07-16 | 2001-07-16 | 画像測距装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003028635A true JP2003028635A (ja) | 2003-01-29 |
Family
ID=19050440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001215890A Withdrawn JP2003028635A (ja) | 2001-07-16 | 2001-07-16 | 画像測距装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003028635A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004303219A (ja) * | 2003-03-20 | 2004-10-28 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2005346297A (ja) * | 2004-06-01 | 2005-12-15 | Fuji Heavy Ind Ltd | 立体物認識装置 |
JP2007264838A (ja) * | 2006-03-27 | 2007-10-11 | Toyota Central Res & Dev Lab Inc | 物体識別装置 |
JP2011185664A (ja) * | 2010-03-05 | 2011-09-22 | Panasonic Electric Works Co Ltd | 対象物検出装置 |
CN102607510A (zh) * | 2012-01-12 | 2012-07-25 | 浙江大学 | 一种基于稀疏表示的立体测距方法 |
JP2013516013A (ja) * | 2009-12-28 | 2013-05-09 | ソフトキネティック ソフトウェア | 頭部認識方法 |
JP2013108948A (ja) * | 2011-11-24 | 2013-06-06 | Ricoh Co Ltd | 画像解析装置及びこれを用いた物体検出装置 |
JP2013257151A (ja) * | 2012-06-11 | 2013-12-26 | Ricoh Co Ltd | 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム |
JP2014507906A (ja) * | 2011-02-23 | 2014-03-27 | モビクリップ | 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法 |
JP2015118582A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP5870273B2 (ja) * | 2010-08-03 | 2016-02-24 | パナソニックIpマネジメント株式会社 | 物体検出装置、物体検出方法及びプログラム |
WO2018101247A1 (ja) * | 2016-11-29 | 2018-06-07 | マクセル株式会社 | 画像認識撮像装置 |
JP2018156408A (ja) * | 2017-03-17 | 2018-10-04 | マクセル株式会社 | 画像認識撮像装置 |
WO2019182355A1 (ko) * | 2018-03-20 | 2019-09-26 | 주식회사 엠테이크 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
WO2021015318A1 (ko) * | 2019-07-22 | 2021-01-28 | 신동균 | 해상도가 개선된 열화상 생성 방법 및 장치 |
-
2001
- 2001-07-16 JP JP2001215890A patent/JP2003028635A/ja not_active Withdrawn
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7330568B2 (en) | 2003-03-20 | 2008-02-12 | Honda Motor Co., Ltd. | Device for monitoring around vehicle |
JP2004303219A (ja) * | 2003-03-20 | 2004-10-28 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2005346297A (ja) * | 2004-06-01 | 2005-12-15 | Fuji Heavy Ind Ltd | 立体物認識装置 |
JP4532171B2 (ja) * | 2004-06-01 | 2010-08-25 | 富士重工業株式会社 | 立体物認識装置 |
JP2007264838A (ja) * | 2006-03-27 | 2007-10-11 | Toyota Central Res & Dev Lab Inc | 物体識別装置 |
JP2013516013A (ja) * | 2009-12-28 | 2013-05-09 | ソフトキネティック ソフトウェア | 頭部認識方法 |
US9081999B2 (en) | 2009-12-28 | 2015-07-14 | Softkinetic Software | Head recognition from depth image |
JP2011185664A (ja) * | 2010-03-05 | 2011-09-22 | Panasonic Electric Works Co Ltd | 対象物検出装置 |
JP5870273B2 (ja) * | 2010-08-03 | 2016-02-24 | パナソニックIpマネジメント株式会社 | 物体検出装置、物体検出方法及びプログラム |
JP2014507906A (ja) * | 2011-02-23 | 2014-03-27 | モビクリップ | 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法 |
JP2013108948A (ja) * | 2011-11-24 | 2013-06-06 | Ricoh Co Ltd | 画像解析装置及びこれを用いた物体検出装置 |
CN102607510B (zh) * | 2012-01-12 | 2014-01-29 | 浙江大学 | 一种基于稀疏表示的立体测距方法 |
CN102607510A (zh) * | 2012-01-12 | 2012-07-25 | 浙江大学 | 一种基于稀疏表示的立体测距方法 |
JP2013257151A (ja) * | 2012-06-11 | 2013-12-26 | Ricoh Co Ltd | 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム |
JP2015118582A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
WO2018101247A1 (ja) * | 2016-11-29 | 2018-06-07 | マクセル株式会社 | 画像認識撮像装置 |
JP2018156408A (ja) * | 2017-03-17 | 2018-10-04 | マクセル株式会社 | 画像認識撮像装置 |
WO2019182355A1 (ko) * | 2018-03-20 | 2019-09-26 | 주식회사 엠테이크 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
KR20190110476A (ko) * | 2018-03-20 | 2019-09-30 | 조용호 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
KR102131250B1 (ko) * | 2018-03-20 | 2020-07-07 | 조용호 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
WO2021015318A1 (ko) * | 2019-07-22 | 2021-01-28 | 신동균 | 해상도가 개선된 열화상 생성 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP4456086B2 (ja) | 車両周辺監視装置 | |
JP4173901B2 (ja) | 車両周辺監視装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
US9659497B2 (en) | Lane departure warning system and lane departure warning method | |
JP4104867B2 (ja) | ナイトビジョンシステム | |
US20050276450A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP5774770B2 (ja) | 車両周辺監視装置 | |
WO2010047015A1 (ja) | 車両周辺監視装置 | |
US9165197B2 (en) | Vehicle surroundings monitoring apparatus | |
JP2004303219A (ja) | 車両周辺監視装置 | |
JP2003028635A (ja) | 画像測距装置 | |
JP2003284057A (ja) | 車両周辺監視装置 | |
JP2003134508A (ja) | 車両用情報提供装置 | |
WO2012004938A1 (ja) | 車両の周辺監視装置 | |
JP2007249841A (ja) | 画像認識装置 | |
JP4644273B2 (ja) | 車両周辺監視装置 | |
JP2006318059A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP4813304B2 (ja) | 車両周辺監視装置 | |
JP2003230134A (ja) | ナイトビジョンシステム | |
JP2006318061A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP3696440B2 (ja) | 距離検出装置 | |
JP4922368B2 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081007 |