JP2000295636A - ステレオ画像計測方法、装置、およびその方法を記録した記録媒体 - Google Patents

ステレオ画像計測方法、装置、およびその方法を記録した記録媒体

Info

Publication number
JP2000295636A
JP2000295636A JP11095701A JP9570199A JP2000295636A JP 2000295636 A JP2000295636 A JP 2000295636A JP 11095701 A JP11095701 A JP 11095701A JP 9570199 A JP9570199 A JP 9570199A JP 2000295636 A JP2000295636 A JP 2000295636A
Authority
JP
Japan
Prior art keywords
image
evaluation
window
area
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11095701A
Other languages
English (en)
Inventor
Takeshi Ikeda
武史 池田
Masaji Katagiri
雅二 片桐
Yasushi Sakurai
保志 櫻井
Satoshi Inoue
聡 井上
Toshiaki Sugimura
利明 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP11095701A priority Critical patent/JP2000295636A/ja
Publication of JP2000295636A publication Critical patent/JP2000295636A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 ステレオ画像間の対応点を算出することでス
テレオ画像中に撮影されたオブジェクトまでの距離を測
定するには、複雑な計算や推測を必要とし、計算時間も
長くなる。 【解決手段】 ステレオ画像に対し評価元画像と評価先
画像を定め(S1,S2)、評価元画像において測定し
たい画素に対してサイズの異なる窓を設定し(S4)、
各窓と同じサイズの評価先画像のエリアを順次変化させ
(S7,S8)、各エリアでの類似度をそれぞれ算出
し、各窓毎に求めた類似度を加算し、その加算結果のう
ち最も高い類似度になるエリアを対応点の候補として求
め(S5)、画像全体の距離画像を得る(S9)。ま
た、各窓毎に求めた類似度を加算し、もっとも類似度の
高いエリアから対応点を求めること、エリア内の画素ご
との距離を算出し、もっとも多い数値をそのエリア間の
距離と決定することも含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ステレオ画像に設
定する窓の類似度から対応点を見つけ、計測対象物体
(オブジェクト)までの距離を求めるステレオ画像計測
方法、装置およびその方法を記録した記録媒体に関す
る。
【0002】
【従来の技術】2台のカメラを用いたステレオ画像計測
においては、両カメラからの取得画像間で対応点を定め
なければならない。対応点を求める方法は片方の画像
(評価元画像)内の一定領域(以下窓と呼ぶ)を定め、
もう一方の画像(評価先画像)においてもっとも近いと
される領域を探索する方法などがある。探索結果に基づ
き、窓が評価元画像内と評価先画像内でどれだけずれて
いるか(視差)を求めることによりカメラと物体の距離
を三角測量の原理で導き出すことができる。しかし、設
定する窓の大きさと取得される画像の濃淡パターンの関
係から適切な対応点を見つけることが容易ではないこと
が多い。
【0003】そこで、計測したい対象を切り出し、その
対象ごとに最適な窓を設定したり、探索範囲を減らすこ
とによって効率的な対応点を見つける工夫がされてい
る。たとえば、特開平5−108827号公報には、対
象となる領域サイズを64×64画素の窓から8×8画
素の窓の大きさまで、1サイクル毎に変化させながら8
×8画素について相関演算する処理を繰り返し行うこと
で、演算量を減らすことが開示されている。
【0004】また、特開平7−336669号公報に
は、評価元画像と評価先画像について特徴抽出した後に
対応点を見つけるようにしており、特徴抽出には画像か
ら高周波ノイズ成分を除去し、次いで画像をその垂直方
向(カメラが平行配置とする)に微分してエッジを抽出
することで画像の直流成分を除去し、次いで正負のしき
い値によって両画像の画素単位に3値化処理し、この3
値化画像間について対応点を見つけることが開示されて
いる。
【0005】
【発明が解決しようとする課題】しかし、従来の手法
は、いずれもまず得られた画像全体に対する特徴領域を
選定し、その領域に対する最適な窓の大きさを設定する
ものであり、得られた画像全体の距離画像を獲得するた
めの解決にはならない。
【0006】また、オブジェクトの特定、切り出しとい
う過程は複雑な計算や推測を必要とし、計算時間も長く
なる。
【0007】本発明の目的は、より単純な計算の繰り返
しのみを用いてより高速でより誤りの少ない対応点を定
めることができるステレオ画像計測方法、装置、および
その方法を記録した記録媒体を提供することにある。
【0008】
【課題を解決するための手段】本発明は、上記の目的を
達成するため、複数(n種類)の窓の大きさを採用しす
べての結果を加算して評価する。距離画像の取得とは2
枚の画像のうち一枚を基準画像として、基準画像のすべ
ての画素についてもう一方の画像内に対応点(最も類似
した画素)を求めることである。本発明では、対応点を
求めるにあたり、1画素以上の窓を設定し、もっとも類
似した領域をもう一方の画像から探索するという手法を
用い、まず第1の大きさの窓を用いて対応点探索を行
い、評価元画像の第1の大きさの窓に対する評価先画像
の類似度評価結果を保存し、次に第2の大きさの窓を用
いて対応点探索を行うという処理を第nの大きさの窓に
ついて行い、すべての評価が終わるとこれらn個の評価
結果を同じ対応画素位置について足し合わせ、その結果
を用いてもっとも類似度の高い対応点を決定する。この
方法により、画像中のオブジェクト領域を切り出す作業
が不要であり、最適な窓をオブジェクトごとに設定する
ことも不要とするもので、以下の方法、装置、およびそ
の方法を記録した記録媒体を特徴とする。
【0009】(方法の発明)ステレオ画像間の対応点を
算出することでステレオ画像中に撮影されたオブジェク
トまでの距離を測定するステレオ画像計測方法におい
て、ステレオ画像に対し評価元画像と評価先画像を定
め、前記評価元画像において測定したい画素に対してサ
イズの異なる窓を設定し、各窓と同じサイズの前記評価
先画像のエリアを順次変化させたときの類似度をそれぞ
れ算出・保存しておき、各窓毎に求めた類似度のうち、
もっとも高い類似度になるエリアを対応点の候補として
求めることを特徴とする。
【0010】また、前記評価元画像と評価先画像の対応
点を求めるにおいて、前記各窓毎に求めた類似度を加算
し、もっとも類似度の高いエリアから対応点を求めてオ
ブジェクトまでの距離を算出することを特徴とする。
【0011】また、前記エリア内の画素ごとの距離を算
出し、もっとも多い数値をそのエリア間の距離と決定す
ることを特徴とする。
【0012】(装置の発明)ステレオ画像間の対応点を
算出することでステレオ画像中に撮影されたオブジェク
トまでの距離を測定するステレオ画像計測装置におい
て、ステレオ画像に対し評価元画像と評価先画像を定め
る手段と、前記評価元画像において測定したい画素に対
してサイズの異なる窓を設定する手段と、前記各窓と同
じサイズの前記評価先画像のエリアを順次変化させたと
きの類似度をそれぞれ算出・保存しておく手段と、前記
各窓毎に求めた類似度のうち、もっとも高い類似度にな
るエリアを対応点の候補として求める手段とを備えたこ
とを特徴とする。
【0013】また、前記評価元画像と評価先画像の対応
点を求めるにおいて、前記各窓毎に求めた類似度を加算
し、もっとも類似度の高いエリアから対応点を求めてオ
ブジェクトまでの距離を算出する手段を備えたことを特
徴とする。
【0014】また、前記エリア内の画素ごとの距離を算
出し、もっとも多い数値をそのエリア間の距離と決定す
る手段を備えたことを特徴とする。
【0015】(記録媒体の発明)前記ステレオ画像計測
方法における処理手順をコンピュータに実行させるため
のプログラムを、該コンピュータが読み取り可能な記録
媒体に記録したことを特徴とする。
【0016】作用 窓を用いて類似度を算出する場合、窓の大きさによって
類似度の結果は異なる。窓の大きさは小さいほど評価先
画像における類似度は高くなるが、より多くの候補が上
がる結果となる。一方、窓が大きいほど類似度は低いが
候補数が少なくなる。また窓が大きい場合は、得られる
距離画像の分解能は低くなる。そこで、本発明では、大
小様々な窓を用いて類似度を算出し、これらの評価結果
をすべて足し合わせることにより大きな窓での相関結果
の性質も反映し、かつ小さな窓での相関の性質を抽出す
ることが可能になる。これによって画像中の一定の繰り
返しパターンなど特定のオブジェクトの特徴に左右され
ない高速な対応点も検出が可能になり、誤った対応点の
抽出を減らすことができる。
【0017】
【発明の実施の形態】図1は、本発明の実施形態を示す
全体処理のフローチャートである。まず、間隔を置いて
水平に設置された2台のカメラ(カメラ1、カメラ2)
から画像を取り込み(S1)、それぞれの画像のうち一
方を評価元画像、もう一方を評価先画像と定める(S
2)。また、それぞれの画像に対し左上を原点とし、水
平方向にx座標、垂直方向にy座標を設定し、評価元画
像の評価対象画素の初期値を定める(S3)。これら画
像の関係は、図2に示すようになり、ここでは、評価元
画像の原点をOm,x軸をXm,y軸をYm、また評価
先画像の原点をOs,x軸をXs,y軸をYsとする。
【0018】次に、類似度を計測するために一つ目の大
きさの窓(第1窓)を設定する。これは、図2に示すよ
うに、評価元画像に対して座標(xm0,ym0)に窓
を設定し、その中の画像を参照画像とし、この参照画像
に対し評価先画像の中から最も近いエリア(xs0,y
s0)を選出し(S4)、このエリアにおける窓につい
て二つの画像の類似度を算出し、一番類似度の高いもの
を候補として選び(S5)、評価元画像との座標の差か
ら視差を抽出する(S6)。
【0019】なお、処理S5における類似度の算出方法
は、前記の特開平7−336669号公報の手法など、
図3に示すように単一窓について評価先画像のXs位置
を1画素ずつ順次ずらしてその類似度を求めるもので、
種々の手法を利用することができる。
【0020】上記の処理S4,S5は、図4に示すよう
に、評価先画像の窓をXs軸方向にずらす毎に、類似度
を算出し、Xs軸位置が端に達するまでは繰り返し処理
し(S7)、Xs軸位置が端に達したときはYs軸位置
を1つずらして繰り返し処理す(S8)。
【0021】これら処理により、評価先画像に対する類
似度が一番高いものを評価元画像の(xm0,ym0)
における第1窓での評価結果として得る。これらの結果
を利用して評価元画像の(xm0,ym0)の類似点
が、評価先画像のどの位置にあるかを定める。
【0022】同様に、窓の大きさを変えて同様な処理を
行い、評価先画像において複数窓における類似度を算出
する。
【0023】上記の処理S4〜S9における詳細なフロ
ーチャートは、図5に示すようになる。評価元画像で選
定された評価画素について窓の大きさを決める初期値W
0を与え(S11,S12)、評価元画像中で評価画素
を左上として窓サイズの画像1を切り出し(S13)、
評価先画像にも同じサイズの窓Wiを当てはめたときの
画像2を切り出し(S14)、画像1と画像2の類似度
を算出し、結果をR(Wi,xj)に保存し(S1
5)、評価先画像の窓が端になるまでXs軸方向に1ず
らし(S16)、処理S14に戻って評価先画像の類似
度を算出する処理を繰り返す。
【0024】以上の処理S13〜S16は、X軸方向に
ついての処理であり、Y軸方向へずらして類似度を算出
・保存しておく。
【0025】これら類似度の算出・保存処理について、
n種類の窓の大きさを用いて同様の処理で類似度を算出
・保存し(S17)、得られた類似度算出結果に対し、
すべての窓の大きさについておなじXs軸の類似度をそ
ろえて評価結果を足し合わせ(S18)、類似度のもっ
とも高いものを候補として選び(S19)、これを最終
評価結果として視差を算出する(S20)。
【0026】なお、足し合わせる際に係数などで重み付
けを行い、特定の窓の大きさの結果を重視するような加
算方法も可能である。
【0027】以上の処理を評価元画像全体に施すことに
より。評価元画像の画素を距離で置き換えた距離画像を
得る(S9)。
【0028】以上のとおり、本実施形態では、図6に示
すように、ある画素について、n種類の窓の大きさで評
価した類似度を求め、その結果の足し合わせで、評価元
画像中の画素に対して評価先画像における対応点を探索
し、その位置から視差を抽出し距離を計測することがで
きる。すべての画素について距離を求めることにより距
離画像を求めることができる。
【0029】図3は従来の評価方法を示し、あらかじめ
定められた領域内での最適な窓の大きさを探してその結
果のみを用いて評価を行っていた。したがって領域の切
り出し方法に工夫が必要であるが、切り出すべき領域は
画像中のオブジェクトにより多様であり一意に定めるこ
とは困難である。また、高度な処理が必要となり計算時
間もかかる。
【0030】この従来の手法に対して、本実施形態では
図4に示すように、評価元画像における任意の画素につ
いてある大きさの窓が設定し、まず評価先画像内で同じ
位置に同じ大きさの窓を設定し評価元画像内の窓の画像
と評価先画像内の窓の画像の類似度を算出し、次に評価
先画像内で窓をXs軸方向にずらし類似度を算出すると
いう処理を繰り返し、Xs軸方向についてすべての類似
度を算出しその結果Xs軸についての評価結果を得るこ
とができる。
【0031】図7は、本実施形態で得られた距離画像か
ら画像内の距離算出方法の説明である。取得された画像
に対し距離を測定したいエリアを定める。取得した画像
に対する距離画像を算出し、エリア内で最も多い距離を
そのエリアにおける距離とする。
【0032】なお、本発明は、図1及び図5に示した方
法をコンピュータプログラムで記載してそれを実行でき
るようにし、それをコンピュータが読み取り可能な記録
媒体、例えば、FD(フロッピーディスク)や、MO、
ROM、メモリカード、CD、DVD、リムーバブルデ
ィスクなどに記録して提供し、配布することが可能であ
る。
【0033】
【発明の効果】以上のとおり、本発明によれば、評価元
画像に対してサイズの異なる窓を設定し、各窓と同じサ
イズの前記評価先画像のエリアを順次変化させたときの
類似度をそれぞれ算出・保存しておき、各窓毎に求めた
類似度のうち、もっとも高い類似度になるエリアを対応
点の候補として求め、さらに各窓毎に求めた類似度を加
算し、もっとも類似度の高いエリアから対応点を求めて
オブジェクトまでの距離を算出し、さらにまた、エリア
内の画素ごとの距離を算出し、もっとも多い数値をその
エリア間の距離と決定するようにしたため、より単純な
計算の繰り返しのみを用いてより高速でより誤りの少な
い対応点を定めることができ、さらには距離を求めるこ
とができる。
【図面の簡単な説明】
【図1】本発明の実施形態を示す全体処理のフローチャ
ート。
【図2】実施形態における評価元画像と評価先画像の説
明図。
【図3】従来の評価手法を説明するための窓と類似度の
関係図。
【図4】実施形態における対応点の探索と評価方法を示
す図。
【図5】図1における処理S4〜S5の詳細な処理フロ
ーチャート。
【図6】実施形態における各窓についての類似度算出の
説明図。
【図7】実施形態における距離画像から画像内の距離算
出方法の説明図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 櫻井 保志 東京都新宿区西新宿3丁目19番2号 日本 電信電話株式会社内 (72)発明者 井上 聡 東京都新宿区西新宿3丁目19番2号 日本 電信電話株式会社内 (72)発明者 杉村 利明 東京都新宿区西新宿3丁目19番2号 日本 電信電話株式会社内 Fターム(参考) 5B057 CC03 DA07 DB03 DC02 DC32 5C061 AA29 AB04 AB08 5L096 AA09 CA05 FA66 GA08 GA17 JA03 9A001 BB06 KK16 KK37

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 ステレオ画像間の対応点を算出すること
    でステレオ画像中に撮影されたオブジェクトまでの距離
    を測定するステレオ画像計測方法において、 ステレオ画像に対し評価元画像と評価先画像を定め、前
    記評価元画像において測定したい画素に対してサイズの
    異なる窓を設定し、各窓と同じサイズの前記評価先画像
    のエリアを順次変化させたときの類似度をそれぞれ算出
    ・保存しておき、各窓毎に求めた類似度のうち、もっと
    も高い類似度になるエリアを対応点の候補として求める
    ことを特徴とするステレオ画像計測方法。
  2. 【請求項2】 前記評価元画像と評価先画像の対応点を
    求めるにおいて、前記各窓毎に求めた類似度を加算し、
    もっとも類似度の高いエリアから対応点を求めてオブジ
    ェクトまでの距離を算出することを特徴とする請求項1
    に記載のステレオ画像計測方法。
  3. 【請求項3】 前記エリア内の画素ごとの距離を算出
    し、もっとも多い数値をそのエリア間の距離と決定する
    ことを特徴とする請求項1または2に記載のステレオ画
    像計測方法。
  4. 【請求項4】 ステレオ画像間の対応点を算出すること
    でステレオ画像中に撮影されたオブジェクトまでの距離
    を測定するステレオ画像計測装置において、 ステレオ画像に対し評価元画像と評価先画像を定める手
    段と、前記評価元画像において測定したい画素に対して
    サイズの異なる窓を設定する手段と、前記各窓と同じサ
    イズの前記評価先画像のエリアを順次変化させたときの
    類似度をそれぞれ算出・保存しておく手段と、前記各窓
    毎に求めた類似度のうち、もっとも高い類似度になるエ
    リアを対応点の候補として求める手段と、を備えたこと
    を特徴とするステレオ画像計測装置。
  5. 【請求項5】 前記評価元画像と評価先画像の対応点を
    求めるにおいて、前記各窓毎に求めた類似度を加算し、
    もっとも類似度の高いエリアから対応点を求めてオブジ
    ェクトまでの距離を算出する手段を備えたことを特徴と
    する請求項4に記載のステレオ画像計測装置。
  6. 【請求項6】 前記エリア内の画素ごとの距離を算出
    し、もっとも多い数値をそのエリア間の距離と決定する
    手段を備えたことを特徴とする請求項4または5に記載
    のステレオ画像計測装置。
  7. 【請求項7】 請求項1〜3のいずれか1項に記載のス
    テレオ画像計測方法における処理手順をコンピュータに
    実行させるためのプログラムを、該コンピュータが読み
    取り可能な記録媒体に記録したことを特徴とするステレ
    オ画像計測方法を記録した記録媒体。
JP11095701A 1999-04-02 1999-04-02 ステレオ画像計測方法、装置、およびその方法を記録した記録媒体 Pending JP2000295636A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11095701A JP2000295636A (ja) 1999-04-02 1999-04-02 ステレオ画像計測方法、装置、およびその方法を記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11095701A JP2000295636A (ja) 1999-04-02 1999-04-02 ステレオ画像計測方法、装置、およびその方法を記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2000295636A true JP2000295636A (ja) 2000-10-20

Family

ID=14144818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11095701A Pending JP2000295636A (ja) 1999-04-02 1999-04-02 ステレオ画像計測方法、装置、およびその方法を記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2000295636A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031423A (ja) * 2004-07-16 2006-02-02 Sony Corp 画像処理方法および画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031423A (ja) * 2004-07-16 2006-02-02 Sony Corp 画像処理方法および画像処理装置
JP4608978B2 (ja) * 2004-07-16 2011-01-12 ソニー株式会社 画像処理方法および画像処理装置

Similar Documents

Publication Publication Date Title
CN109035276B (zh) 一种图像边缘提取方法、装置及自动驾驶系统
Prieto et al. A similarity metric for edge images
Tombari et al. Classification and evaluation of cost aggregation methods for stereo correspondence
US9626776B2 (en) Apparatus, systems, and methods for processing a height map
US20050201612A1 (en) Method and apparatus for detecting people using stereo camera
US20050008220A1 (en) Method, apparatus, and program for processing stereo image
US6519358B1 (en) Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
EP2536123A1 (en) Image processing method and image processing apparatus
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
JP2001194126A (ja) 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体
Ramli et al. Confusion matrix as performance measure for corner detectors
JPH0991436A (ja) 画像処理方法及びその装置
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
US6885770B2 (en) Irradiation field extracting method and apparatus and recording medium
JP2004536300A5 (ja)
JP2001116513A (ja) 距離画像算出装置
JP2004536300A (ja) 画像装置の位置の迅速な判断を可能にする基準のしるしの選択
JP2005165969A (ja) 画像処理装置、及び方法
JP3760426B2 (ja) 走行車線検出方法及びその装置
JP2000295636A (ja) ステレオ画像計測方法、装置、およびその方法を記録した記録媒体
JPH08329110A (ja) 画像処理方法
CN115393381A (zh) 一种直线度的检测方法、装置、计算机设备及存储介质
CN113658153A (zh) 一种轮廓数据特征点检测方法及装置
JP4560434B2 (ja) 変化領域抽出方法およびこの方法のプログラム