JP2000171214A - 対応点検索方法及びこれを利用した三次元位置計測方法 - Google Patents

対応点検索方法及びこれを利用した三次元位置計測方法

Info

Publication number
JP2000171214A
JP2000171214A JP10348315A JP34831598A JP2000171214A JP 2000171214 A JP2000171214 A JP 2000171214A JP 10348315 A JP10348315 A JP 10348315A JP 34831598 A JP34831598 A JP 34831598A JP 2000171214 A JP2000171214 A JP 2000171214A
Authority
JP
Japan
Prior art keywords
point
corresponding point
image
measurement
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10348315A
Other languages
English (en)
Inventor
Nobuyuki Fujiwara
伸行 藤原
Makoto Niwakawa
誠 庭川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP10348315A priority Critical patent/JP2000171214A/ja
Publication of JP2000171214A publication Critical patent/JP2000171214A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 「領域相関法」において所定のステレオ画像
の高速処理を可能にする対応点検索方法を提供する。 【解決手段】 対応点探索において、通常の解像度の左
右画像と設定した間隔毎の画像データにより構成した解
像度の低い左右縮小画像を用意しておき、一段目の対応
点探索を縮小画像のエピポーラライン上に関して行い、
二段目の対応点探索を縮小画像で検出した対応点に対応
する通常解像度画像上の位置の近傍のみについて行うこ
とで、計算時間を減少させるようにしたものである。

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は対応点検索方法及びこれ
を利用した三次元位置計測方法等に関し、特にステレオ
画像の一部を切り出してその濃淡パターンの相関から対
象物体の三次元位置を検出する場合に適用して有用なも
のである。 【0002】 【従来の技術】ステレオ画像を用いた三次元位置計測方
法として、入力画像の一部を切り出してその濃淡パター
ンを画像モデル(以降「パッチ」と呼ぶ)として記憶
し、もう一方の入力画像においてパッチと同じパターン
をもつ画像の小領域の位置(以降これを「対応点」と呼
ぶ)を、濃淡パターンの相関から検出する方法(以降こ
れを「領域相関法」と呼ぶ。)が用いられている。さら
に詳言すると、先ず検査前の予備段階として、対象物
のサンプルの画像の一部を切り出してその部分の濃度に
関するパターンを、モデルとして記憶する。次に検査
時に、入力画像から1画素ずれた各点毎に順次モデルと
同じ形状で且つ同じ大きさの濃度に関するパターンを切
り出し、各点毎にモデルと切り出したパターンとの相関
値を計算し、相関の最も強いパターンが切り出された点
の位置をモデルとの対応点の位置とする。ここで、相関
値の大小と相関の強弱は相関値を求める計算式により異
なり、相関値が最小の場合に相関が最強となる計算式
と、相関値が最大の場合に相関が最強となる計算式とが
ある。 【0003】下式(1)は2つのパターン間の相関値を
求める計算式の一例であり、式中でPi はモデルのi番
目の画素の濃度であり、Qi は切り出したi番目の画素
の濃度であり、この式(1)の場合は、切り出した各パ
ターンのうち、相関値Cが最小となるパターンを切り出
した点の位置を、対応点の位置として決定することにな
る。 【数1】 【0004】また、下式(2)は相関値の計算式の他の
例であり、この場合は、切り出したパターンのうち、相
関値Cが最大になるパターンを切り出した点の位置を、
対応点の位置として決定することになる。 【数2】 【0005】上述した相関マッチング処理は、常識的で
広く使用されているが、厳密に言うと次の点で問題があ
る。すなわち、1画素ずつずれた各点毎にパターンを切
り出していることから、式(1)の計算から得られる対
応点の位置は離散的なものであり、場合によっては真の
対応点から最大で±0.5画素分ずれた位置になる危険
性がある。そして、この0.5画素のずれが実際の対象
物上でどのような寸法になるかは、撮影に用いるビデオ
カメラの分解能等に依存するので、従来の相関マッチン
グ処理では対処することができないものである。 【0006】しかしながら、実用的には0.5画素のず
れは影響が大きく、精密な位置決めには使用することが
できない。例えば、ビデオカメラの分解能が水平方向に
512画素で視角が60°、ビデオカメラと対象物間の
距離が2mである場合は、±0.5画素のずれは、約5
mmとなる。 【0007】そこで、入力画像の分解能よりも精密に対
応点の位置を計測することができる技術として特願平6
−178022号で提案する「相関マッチングの対応点
位置計測方法及び装置」がある。これは、次の様な2種
類の内容の技術である。 【0008】<相関が強いほど相関値が小さくなる計算
式を用いる場合>入力画像の各点毎に、モデルと同じ形
状で且つ同じ大きさのパターンを切り出し、モデルと切
り出したパターンとの相関値を相関が強いほど相関値が
小さくなる計算式で計算すること;各点での相関値の計
算結果から、相関が最も強い第1の点の位置A0 と、同
第1の点での相関値C0 と、第1の点を含む一次元上で
第1の点の直前に位置する第2の点での相関値C-1と、
同一次元上で第1の点の直後に位置する第3の点での相
関値C+1とを求めること;第2の点での相関値C-1と第
3の点での相関値C+1との大小関係を判定すること;判
定結果から、C-1>C+1の場合は下式(3)により、C
-1<C+1の場合は下式(4)により、入力画像における
モデルとの対応点の位置Ar を補間演算で求めること;
を特徴とする。 Ar =A0 −(1/2)(C-1−C+1)/(C0 −C-1) …式(3) Ar =A0 +(1/2)(C+1−C-1)/(C0 −C+1) …式(4) 【0009】<相関が強いほど相関値が小さくなる計算
式を用いる場合>上述の如く、<相関が強いほど相関値
が小さくなる計算式を用いる場合>に対し、同様のモ
デルとパターンとの相関値を相関が強いほど相関値が大
きくなる計算式で計算する点、及び同様の判定結果か
ら、C-1<C+1の場合は上式(3)により、C-1>C+1
の場合は上式(4)により、入力画像におけるモデルと
の対応点の位置Ar を補間演算で求める点が異なるだけ
で、他の構成は同様である。 【0010】かかる従来技術によれば、入力画像中でモ
デルとの真の対応点の近傍では、図11に示すように、
真の対応点Ar を含む一次元即ち直線11上の前後で、
相関の強弱は真の対応点Ar を中心に良い近似で対称に
変化する。即ち、直線11と直交する軸12上に相関値
Cをとれば、真の対応点Ar より前側での相関値の変化
直線13と、後側での相関値の変化直線14とは、互い
に傾きの符号が逆で、その絶対値が同一の傾きである。
なお、図11では相関値が小さいほど相関が強いものと
しているが、逆の場合でも、同様である。 【0011】さらに詳言すると、まず、上記式(1)な
ど、相関が強いほど相関値Cが小さくなる計算式を用い
る場合、AとCとの直交座標系を導入すると、図12ま
たは図13に示すように、パターンを切り出した点の位
置とその点での相関値との対(A0 ,C0 ),(A-1
-1),(A+1,C+1)をプロットすることかできる。
但し、A0 は相関が最も強い第1の点の位置、C0 は第
1の点での相関値、A -1は第1の点を含む一次元A上で
第1の点の直前に位置する第2の点の位置、C -1は第2
の点での相関値、A+1は同一次元A上で第1の点の直後
に位置する第3の点の位置、C+1は第3の点での相関値
をそれぞれ示している。 【0012】図12はC-1>C+1となる場合の例であ
り、この場合は、(A0 ,C0 )と(A-1,C-1)を通
る実線の直線15を引き、この直線15と符号が反対で
絶対値が等しい傾きを持ち、且つ(A+1,C+1)を通る
二点鎖線の直線16との交点を求めれば、そのA座標が
対応点の位置Ar となる。 【0013】図13はC-1<C+1となる場合の例であ
り、この場合は、(A0 ,C0 )と(A+1,C+1)を通
る実線の直線17を引き、この直線17と符号が反対で
絶対値が等しい傾きを持ち且つ(A-1,C-1)を通る二
点鎖線の直線18との交点を求めれば、そのA座標が対
応点の位置Ar となる。 【0014】一方、前記式(2)など、相関が強いほど
相関値Cが大きくなる計算式を用いる場合、AとCとの
直交座標系を導入すると、図14または図15に示すよ
うに、パターンを切り出した点とその点での相関値との
対(A0 ,C0 ),(A-1,C-1),(A+1,C+1)を
プロットすることかできる。但し、A0 は相関が最も強
い第1の点の位置、C0 は第1の点での相関値、A-1
第1の点を含む一次元A上で第1の点の直前に位置する
第2の点の位置、C-1は第2の点での相関値、A+1は同
一次元A上で第1の点の直後に位置する第3の点の位
置、C+1は第3の点での相関値をそれぞれ示している。 【0015】図14はC-1<C+1となる場合の例であ
り、この場合は、図12と同じく(A 0 ,C0 )と(A
-1,C-1)を通る実線の直線15を引き、この直線15
と符号が反対で絶対値が等しい傾きを持ち且つ(A+1
+1)を通る二点鎖線の直線16との交点を求めれば、
そのA座標が対応点の位置Ar となる。 【0016】図15はC-1>C+1となる場合の例であ
り、この場合は、図5と同じく(A0,C0 )と
(A+1,C+1)を通る実線の直線17を引き、この直線
17と符号が反対で絶対値が等しい傾きを持つ且つ(A
-1,C-1)を通る二点鎖線の直線16との交点を求めれ
ば、そのA座標が対応点の位置Ar となる。 【0017】かかる特願平6−178022号で提案す
る「相関マッチングの対応点位置計測方法」によれば、
上述した対称性を利用して補間することにより真の対応
点A r に実質的に等しい精密な対応点を求めることがで
き、しかもこの補間には、前述した式(3)及び式
(4)を用いると、これらは比較的単純な式なので、補
間演算に要する時間が短いという利点がある。 【0018】 【発明が解決しようとする課題】ところが、上述の如き
「相関マッチングの対応点位置計測方法」も含め、従来
技術に係る「領域相関法」においては、一般的に、対応
点探索のため時間のかかる濃淡パターンの相関計算を多
量に行う必要がある。このため、パッチのサイズが大き
くなるほど処理時間が長くなり、高速な処理を要するも
のには対応できないという問題点がある。 【0019】本発明は、上記従来技術に鑑み、「領域相
関法」において所定のステレオ画像の高速処理を可能に
する対応点検索方法及びこれを利用した三次元位置計測
方法、その方法を記憶した記憶媒体及びその方法を実現
する装置を提供することを目的とする。 【0020】 【課題を解決するための手段】上記目的を達成する本発
明の構成は次の点を特徴とする。 【0021】1) 通常解像度における計測点位置から
縮小画像における計測点位置を計算し、通常解像度にお
けるエピポーララインから縮小画像におけるエピポーラ
ラインを計算し、計測位置を指定した方の縮小画面にお
いて縮小パッチを設定し、もう一方の縮小画像のエピポ
ーラライン上の探索範囲に関して対応点を相関計算によ
って検出し、縮小画像上の対応点位置から通常画像上の
対応箇所を計算し、計測位置を指定した方の通常画像に
おいてパッチを設定し、もう一方の通常画像のエピポー
ラライン上の対応箇所近傍のみに関して対応点を相関計
算によって検出することで、対応点を決定すること。 【0022】2) 左右画像を入力し、左右画像から左
右縮小画像を作り、計測位置を通常画像の一方で指定
し、計測位置とカメラデータからエピポーララインを計
算し、上記1)に記載する対応点探索方法により対応点
を求め、計測位置、対応点、カメラデータから三次元位
置を計算すること。 【0023】3) 左右画像を入力し、左右画像から左
右縮小画像を作り、計測位置を通常画像の一方で指定
し、計測位置とカメラデータからエピポーララインを計
算し、上記1)に記載する対応点探索方法により対応点
を求め、入力画像におけるモデルとの対応点の位置Ar
=A0 −(1/2)(C-1−C+1)/(C0 −C-1)又
はAr =A0 +(1/2)(C+1−C-1)/(C0 −C
+1)(但し、A0 は相関が最も強い第1の点の位置、C
0 は同第1の点での相関値、C-1は前記第1の点を含む
一次元上で第1の点の直前に位置する第2の点での相関
値、C+1は同一次元上で第1の点の直後に位置する第3
の点での相関値)の演算による直線型対応点実数化方式
により対応点を再計算し、計測位置、対応点、カメラデ
ータから三次元位置を計算すること。 【0024】4) 左右画像を入力し、左右画像から左
右縮小画像を作り、計測位置を通常画像の一方で指定
し、計測位置とカメラデータからエピポーララインを計
算し、上記1)に記載する対応点探索方法により対応点
を求め、この対応点探索で得られた点を中心に3点以上
の幾つかの近傍点の相関値データを二次曲線に近似して
得られた二次曲線のピークの位置を対応点とする二次曲
線型対応点実数化方式により対応点を再計算し、計測位
置、対応点、カメラデータから三次元位置を計算するこ
と。 【0025】5) 上記1)に記載する対応点検索方法
の手順を記憶していること。 【0026】6) 上記2)に記載する三次元位置計測
方法の手順を記憶していること。 【0027】7) 上記3)に記載する三次元位置計測
方法の手順を記憶していること。 【0028】8) 上記4)に記載する三次元位置計測
方法の手順を記憶していること。 【0029】9) 通常解像度における計測点位置から
縮小画像における計測点位置を計算する計測点変換手段
と、通常解像度におけるエピポーララインから縮小画像
におけるエピポーララインを計算するエピポーラライン
変換手段と、計測位置を指定した方の縮小画面において
縮小パッチを設定する縮小パッチ設定手段と、もう一方
の縮小画像のエピポーラライン上の探索範囲に関して対
応点を相関計算によって検出する縮小画像対応点検出手
段と、縮小画像上の対応点位置から通常画像上の対応箇
所を計算し、計測位置を指定した方の通常画像において
パッチを設定し、もう一方の通常画像のエピポーラライ
ン上の対応箇所近傍のみに関して対応点を相関計算によ
って検出することで対応点を決定する通常画像対応点検
出手段とを有すること。 【0030】10) 左右画像を入力する画像入力手段
と、左右画像から左右縮小画像を作り、計測位置を通常
画像の一方で指定する画像処理手段と、計測位置とカメ
ラデータからエピポーララインを計算するエピポーララ
イン計算手段と、段階的解像度画像による対応点探索を
行うことで対応点を求める上記9)に記載する対応点探
索手段と、計測位置,対応点,カメラデータから三次元
位置を計算する三次元位置計算手段とを有すること。 【0031】11) 左右画像を入力する画像入力手段
と、左右画像から左右縮小画像を作り、計測位置を通常
画像の一方で指定する画像処理手段と、計測位置とカメ
ラデータからエピポーララインを計算するエピポーララ
イン計算手段と、段階的解像度画像による対応点探索を
行うことで対応点を求める上記9)に記載する対応点探
索手段と、入力画像におけるモデルとの対応点の位置A
r =A0 −(1/2)(C-1−C+1)/(C0 −C-1
又はAr =A0 +(1/2)(C+1−C-1)/(C0
+1)(但し、A0 は相関が最も強い第1の点の位置、
0 は同第1の点での相関値、C-1は前記第1の点を含
む一次元上で第1の点の直前に位置する第2の点での相
関値、C+1は同一次元上で第1の点の直後に位置する第
3の点での相関値)の演算による直線型対応点実数化方
式により対応点を再計算することにより対応点を再計算
する直線型対応点実数化手段と、計測位置,対応点,カ
メラデータから三次元位置を計算する三次元位置計算手
段とを有すること。 【0032】12) 左右画像を入力する画像入力手段
と、左右画像から左右縮小画像を作り、計測位置を通常
画像の一方で指定する画像処理手段と、計測位置とカメ
ラデータからエピポーララインを計算するエピポーララ
イン計算手段と、段階的解像度画像による対応点探索を
行うことで対応点を求める上記9)に記載する対応点探
索手段と、この対応点探索で得られた点を中心に3点以
上の幾つかの近傍点の相関値データを二次曲線に近似し
て得られた二次曲線のピークの位置を対応点とする二次
曲線型対応点実数化方式により対応点を再計算する二次
曲線型対応点実数化手段と、計測位置,対応点,カメラ
データから三次元位置を計算する三次元位置計算手段と
を有すること。 【0033】 【発明の実施の形態】<基本的な考え方>本形態では、
対応点探索において、通常の解像度の左右画像と設定し
た間隔毎の画像データにより構成した解像度の低い左右
縮小画像を用意しておき、一段目の対応点探索を縮小画
像のエピポーラライン(ステレオ画像を取り込む二台の
カメラの位置関係から導かれる対応点が存在可能な直
線)上に関して行い、二段目の対応点探索を縮小画像で
検出した対応点に対応する通常解像度画像上の位置の近
傍のみについて行うことで、計算時間を減少させるよう
にしたものである。例えば縮小率1/2で行った場合、
一段目の対応点探索において探索範囲が1/2となりパ
ッチサイズが1/4となるので相関計算の対象とする点
数は1/8に減少し、処理を高速化できる。 【0034】<段階的解像度画像による対応点探索方法
>この処理を説明する模式図を図1に、この処理手順の
フローチャートを図2に示す。両図に示すように、次の
手順により対応点探索を行う。 通常解像度における計測点位置から縮小画像におけ
る計測点位置を計算する。 通常解像度におけるエピポーララインから縮小画像
におけるエピポーララインを計算する。 計測位置を指定した方の縮小画面において縮小比率
に対応するサイズのパッチ(以降これを「縮小パッチ」
と呼ぶ)を設定する。 もう一方の縮小画像のエピポーラライン上の探索範
囲に関して対応点を相関計算によって検出する。 縮小画像上の対応点位置から通常画像上の対応点位
置(以降これを「対応箇所」と呼ぶ)を計算する。 計測位置を指定した方の通常画像においてパッチを
設定する。 もう一方の通常画像のエピポーラライン上の対応箇
所近傍のみに関して対応点を相関計算によって検出す
る。 【0035】<対応点実数化方法>画像データは離散的
なデータであるため対応点探索で得られた対応点は離散
的な画素の位置データとして与えられ、実際の対応点位
置とくらべて最大で1/2画素の誤差を生じる。高精度
位置決めが要求される作業においてはこの誤差を小さく
抑える必要がある。そこで検出した対応点の近傍点の相
関値データを用いて離散的な画素間に存在する対応点位
置を計算する。 直線型対応点実数化方式 上記式(3)又は(4)を用いて対応点位置を計算す
る。 二次曲線型対応点実数化方式 二次曲線は唯一のピークを持つ曲線である。よって、図
3に模式的に示すように、対応点探索で得られた点を中
心に幾つかの近傍点(3点以上)の相関値データを二次
曲線に近似し、得られた二次曲線のピークの位置を対応
点とする。 【0036】<三次元位置計測方法> 1) 三次元位置計測方法1(図4参照)。 次の手順によりステレオ画像から三次元位置計測を行
う。 左右画像を入力する。 左右画像から左右縮小画像を作る。 計測位置を通常画像の一方で指定する。 計測位置とカメラデータからエピポーララインを計
算する。 上記<段階的解像度画像による対応点探索方法>に
より対応点探索を行い対応点を得る。 計測位置、対応点、カメラデータから三次元位置を
計算する。2) 三次元位置計測方法2(図5参照)。 次の手順によりステレオ画像から三次元位置計測を行
う。 左右画像を入力する。 左右画像から左右縮小画像を作る。 計測位置を通常画像の一方で指定する。 計測位置とカメラデータからエピポーララインを計
算する。 上記<段階的解像度画像による対応点探索方法>に
より対応点探索を行い対応点を得る。 上記「直線型対応点実数化方式」により対応点の再
計算を行う。 計測位置、対応点、カメラデータから三次元位置を
計算する。3) 三次元位置計測方法3(図6参照)。 次の手順によりステレオ画像から三次元位置計測を行
う。 左右画像を入力する。 左右画像から左右縮小画像を作る。 計測位置を通常画像の一方で指定する。 計測位置とカメラデータからエピポーララインを計
算する。 上記<段階的解像度画像による対応点探索方法>に
より対応点探索を行い対応点を得る。 上記「二次曲線型対応点実数化方式」により対応点
の再計算を行う。 計測位置、対応点、カメラデータから三次元位置を
計算する。 【0037】図7は、本発明の実施の形態に係る段階的
解像度画像による対応点探索装置で、上記「段階的解像
度画像による対応点探索方法」を実現する装置を示すブ
ロック図である。同図に示すように、当該装置は、計測
点変換部21、エピポーラライン変換部22、縮小パッ
チ設定部23、縮小画像対応点検出部24、パッチ設定
部26及び通常画像対応点検出部25を有している。こ
れらのうち計測点変換部21は、縮小データ及び計測点
のデータに基づいて、通常解像度における計測点位置か
ら縮小画像における計測点位置を計算するものである。
エピポーラライン変換部22は、縮小データ及びエピポ
ーララインのデータに基づいて、通常解像度におけるエ
ピポーララインから縮小画像におけるエピポーラライン
を計算するものである。縮小パッチ設定部23は、縮小
画面のデータ、縮小データ及び計測点変換部21の計算
データに基づいて、計測位置を指定した方の縮小画面に
おいて縮小パッチを設定するものである。縮小画像対応
点検出部24は、縮小画面のデータ、縮小データ、縮小
パッチ設定部23の設定データ及びエピポーラライン変
換部22の計算データに基づいて、もう一方の縮小画像
のエピポーラライン上の探索範囲に関して対応点を相関
計算によって検出するものである。通常画像対応点検出
部25は、縮小画像対応点検出部24の検出データ、通
常画像のデータ、パッチ設定部26の設定データ及びエ
ピポーララインのデータ基づいて、縮小画像上の対応点
位置から通常画像上の対応箇所を計算し、計測位置を指
定した方の通常画像においてパッチを設定し、もう一方
の通常画像のエピポーラライン上の対応箇所近傍のみに
関して対応点を相関計算によって検出することで対応点
を決定するものである。 【0038】ここで、通常画像のデータ及び縮小画像の
データは、図8乃至図10に示す三次元位置計測装置の
画像メモリ31から供給される。以下同様に、縮小デー
タはパラメータメモリ32から、計測点のデータは計測
位置指定部33から、エピポーララインのデータはエピ
ポーラライン計算部34からそれぞれ供給される。 【0039】かくして本形態にかかる対応点探索装置に
おいては、通常解像度における計測点位置から縮小画像
における計測点位置を計算し、通常解像度におけるエピ
ポーララインから縮小画像におけるエピポーララインを
計算し、計測位置を指定した方の縮小画面において縮小
パッチを設定し、もう一方の縮小画像のエピポーラライ
ン上の探索範囲に関して対応点を相関計算によって検出
し、縮小画像上の対応点位置から通常画像上の対応箇所
を計算し、計測位置を指定した方の通常画像においてパ
ッチを設定し、もう一方の通常画像のエピポーラライン
上の対応箇所近傍のみに関して対応点を相関計算によっ
て検出することで対応点を決定する。 【0040】このように当該対応点探索装置では、広範
囲の対応点探索を縮小画面にて行い、縮小画面における
処理で検出された対応箇所近傍のみについて通常画面で
対応点探索を行うため、従来方式と同程度の精度でかつ
高速な対応点検出を行うことができるメリットがある。 【0041】図8は、本発明の実施の形態に係る第1の
三次元位置計測装置を示すブロック図で、上記「三次元
位置計測方法1」を実現する装置を示すブロック図であ
る。同図に示すように、当該装置は、画像メモリ31、
パラメータメモリ32、計測位置指定部33、エピポー
ラライン計算部34、画像入力部35、画像縮小部3
6、対応点探索部37及び三次元位置計算部38を有し
ている。これらのうち、画像メモリ31は、画像入力部
35を介して供給される通常の画像データを記憶すると
ともに、画像縮小部36を介して供給される縮小画像デ
ータを記憶しておくものである。画像縮小部36は、画
像メモリ31から供給される通常の画像データとパラメ
ータメモリ32から供給される縮小データに基づき所定
の縮小画像のデータを形成し、このデータを画像メモリ
31に記憶させる。縮小データ及びカメラデータ等、当
該三次元位置計測に必要なパラメータはパラメータメモ
リ32が記憶している。計測位置指定部33には所望の
計測位置を指定することができるようになっている。エ
ピポーラライン計算部34は、計測位置のデータとカメ
ラデータに基づいてエピポーララインのデータを計算す
るものである。対応点検索部37は、図7に示す対応点
探索装置であり、通常画像のデータ、縮小画像のデー
タ、縮小データ、計測点のデータ及びエピポーラライン
のデータに基づき対応点のデータを計算により求める。
三次元位置計測装置38は、対応点のデータ、計測位置
のデータ及びカメラデータに基づき対象物の三次元位置
を計算により求めるものである。 【0042】かくして本形態にかかる三次元位置計測装
置においては、左右画像を入力し、左右画像から左右縮
小画像を作り、計測位置を通常画像の一方で指定し、計
測位置とカメラデータからエピポーララインを計算し、
段階的解像度画像による対応点探索を行うことで対応点
を求め、計測位置、対応点、カメラデータから三次元位
置を計算することができる。 【0043】このように当該三次元位置計測装置におい
ては、上述の如き三次元位置計測方法1(図4参照)を
実現し、その対応点データを用いて三次元位置計算を行
うため、従来方式と同程度の精度でかつ高速な三次元位
置計測を行うことができるメリットがある。 【0044】図9は、本発明の実施の形態に係る第3の
三次元位置計測装置を示すブロック図で、上記「三次元
位置計測方法2」を実現する装置を示すブロック図であ
る。同図に示すように、当該装置は、図8に示す三次元
位置計測装置に直線型対応点実数化部39を追加したも
のである。この直線型対応点実数化部39は、前記「
直線型対応点実数化方式」における計算を実行する、す
なわち、入力画像におけるモデルとの対応点の位置Ar
=A0 −(1/2)(C-1−C+1)/(C0 −C-1)又
はAr =A0 +(1/2)(C+1−C-1)/(C0 −C
+1)(但し、A 0 は相関が最も強い第1の点の位置、C
0 は同第1の点での相関値、C-1は前記第1の点を含む
一次元上で第1の点の直前に位置する第2の点での相関
値、C+1は同一次元上で第1の点の直後に位置する第3
の点での相関値)の演算を実行するもので、この結果で
ある実数化対応点のデータを三次元位置計算部38に供
給する。なお、図9中、図8と同一部分には同一番号を
付し、重複する説明は省略する。 【0045】本形態に係る三次元位置計測装置において
は、左右画像を入力し、左右画像から左右縮小画像を作
り、計測位置を通常画像の一方で指定し、計測位置とカ
メラデータからエピポーララインを計算し、段階的解像
度画像による対応点探索を行うことで対応点を求め、直
線型対応点実数化方式により対応点を再計算し、計測位
置、対応点、カメラデータから三次元位置を計算するこ
とができる。 【0046】この装置は、対応点探索において図8に示
す三次元位置計測装置に加え、三次元位置計算を行う前
に、「直線型対応点実数化処理」を行うため、高精度か
つ高速な三次元位置計測を行うことができるメリットが
ある。 【0047】図10は、本発明の実施の形態に係る第3
の三次元位置計測装置を示すブロック図で、上記「三次
元位置計測方法3」を実現する装置を示すブロック図で
ある。同図に示すように、当該装置は、図8に示す三次
元位置計測装置に二次曲線型対応点実数化部40を追加
したものである。この二次曲線型対応点実数化部40
は、前記「二次曲線型対応点実数化方式」における計
算を実行する、すなわち図3に模式的に示すように、対
応点探索で得られた点を中心に幾つかの近傍点(3点以
上)の相関値データを二次曲線に近似し、得られた二次
曲線のピークの位置を対応点とする演算を実行するもの
で、この結果である実数化対応点のデータを三次元位置
計算部38に供給する。なお、図10中、図8と同一部
分には同一番号を付し、重複する説明は省略する。 【0048】本形態に係る三次元位置計測装置において
は、左右画像を入力し、左右画像から左右縮小画像を作
り、計測位置を通常画像の一方で指定し、計測位置とカ
メラデータからエピポーララインを計算し、段階的解像
度画像による対応点探索を行うことで対応点を求め、二
次曲線型対応点実数化方式により対応点を再計算し、計
測位置、対応点、カメラデータから三次元位置を計算す
ることができる。 【0049】この装置は、対応点探索において図8に示
す三次元位置計測装置に加え、三次元位置計算を行う前
に、「二次曲線型対応点実数化処理」を行うため、高精
度かつ高速な三次元位置計測を行うことができるメリッ
トがある。 【0050】 【発明の効果】以上、実施の形態とともに詳細に説明し
た通り、本発明によれば次の効果を得る。 対応点探索において計算量が格段に減少するため、
高速な処理を実現できる。 対応点探索において広範囲の探索を縮小画像で行
い、対応箇所近傍についてのみ通常画像による探索を行
うため、高速な処理でかつ従来の精度を確保することが
できる。 本発明に係る対応点探索法を対応点実数化処理と組
み合わせることで高速かつ高精度な三次元位置計測を実
現できる。 対応点探索に必要な処理時間が短いため、高速な処
理を要する作業にも対応できる。 高速な三次元位置計測が実現できるため、作業時間
に余裕がある場合、複数回の三次元位置計測を行い、計
測データの精度を向上させることができる。 高速な三次元位置計測が実現できるため、作業時間
に余裕がある場合、複数回の三次元位置計測を行い、計
測データの信頼性を向上させることができる。
【図面の簡単な説明】 【図1】本発明の実施の形態に係る段階的解像度画像に
よる対応点検索の態様を概念的に示す説明図である。 【図2】図1に示す段階的解像度画像による対応点検索
方法を示すフローチャートである。 【図3】本発明の実施の形態に係る二次曲線型対応点実
数化方式による対応点計算の一例を示す説明図である。 【図4】本発明の実施の形態に係る第1の三次元位置計
測方法を示すフローチャートである。 【図5】本発明の実施の形態に係る第2の三次元位置計
測方法を示すフローチャートである。 【図6】本発明の実施の形態に係る第3の三次元位置計
測方法を示すフローチャートである。 【図7】本発明の実施の形態に係る段階的解像度画像に
よる対応点探索装置を示すブロック図である。 【図8】本発明の実施の形態に係る第1の三次元位置計
測装置を示すブロック図である。 【図9】本発明の実施の形態に係る第2の三次元位置計
測装置を示すブロック図である。 【図10】本発明の実施の形態に係る第3の三次元位置
計測装置を示すブロック図である。 【図11】従来技術に係る「相関マッチングの対応点位
置計測方法」の原理となる相関値変化の対称性を示す説
明図である。 【図12】図11に示す「相関マッチングの対応点位置
計測方法」における補間式の第1の導出方法を示す説明
図である。 【図13】図11に示す「相関マッチングの対応点位置
計測方法」における補間式の第2の導出方法を示す説明
図である。 【図14】図11に示す「相関マッチングの対応点位置
計測方法」における補間式の第3の導出方法を示す説明
図である。 【図15】図11に示す「相関マッチングの対応点位置
計測方法」における補間式の第4の導出方法を示す説明
図である。 【符号の説明】 21 計測点変換部 22 エピポーラライン変換部 23 縮小パッチ設定部 24 縮小画像対応点検出部 25 通常画像対応点検出部 26 パッチ設定部 31 画像メモリ 32 パラメータメモリ 33 計測位置指定部 34 エピポーラライン計算部 37 対応点検索部 38 三次元位置計算部 39 直線型対応点実数化部 40 二次曲線型対応点実数化部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2F065 AA04 DD06 DD07 FF05 JJ03 JJ05 JJ19 JJ26 QQ31 QQ41 UU05 5B057 CC03 DA07 DB03 DC34

Claims (1)

  1. 【特許請求の範囲】 【請求項1】 通常解像度における計測点位置から縮小
    画像における計測点位置を計算し、通常解像度における
    エピポーララインから縮小画像におけるエピポーラライ
    ンを計算し、計測位置を指定した方の縮小画面において
    縮小パッチを設定し、もう一方の縮小画像のエピポーラ
    ライン上の探索範囲に関して対応点を相関計算によって
    検出し、縮小画像上の対応点位置から通常画像上の対応
    箇所を計算し、計測位置を指定した方の通常画像におい
    てパッチを設定し、もう一方の通常画像のエピポーララ
    イン上の対応箇所近傍のみに関して対応点を相関計算に
    よって検出することで、対応点を決定することを特徴と
    する対応点検索方法。 【請求項2】左右画像を入力し、左右画像から左右縮小
    画像を作り、計測位置を通常画像の一方で指定し、計測
    位置とカメラデータからエピポーララインを計算し、
    〔請求項1〕に記載する対応点探索方法により対応点を
    求め、計測位置、対応点、カメラデータから三次元位置
    を計算することを特徴とする三次元位置計測方法。 【請求項3】左右画像を入力し、左右画像から左右縮小
    画像を作り、計測位置を通常画像の一方で指定し、計測
    位置とカメラデータからエピポーララインを計算し、
    〔請求項1〕に記載する対応点探索方法により対応点を
    求め、入力画像におけるモデルとの対応点の位置Ar
    0 −(1/2)(C-1−C+1)/(C0 −C-1)又は
    r =A0 +(1/2)(C+1−C-1)/(C0
    +1)(但し、A0 は相関が最も強い第1の点の位置、
    0 は同第1の点での相関値、C-1は前記第1の点を含
    む一次元上で第1の点の直前に位置する第2の点での相
    関値、C+1は同一次元上で第1の点の直後に位置する第
    3の点での相関値)の演算による直線型対応点実数化方
    式により対応点を再計算し、計測位置、対応点、カメラ
    データから三次元位置を計算することを特徴とする三次
    元位置計測方法。 【請求項4】左右画像を入力し、左右画像から左右縮小
    画像を作り、計測位置を通常画像の一方で指定し、計測
    位置とカメラデータからエピポーララインを計算し、
    〔請求項1〕に記載する対応点探索方法により対応点を
    求め、この対応点探索で得られた点を中心に3点以上の
    幾つかの近傍点の相関値データを二次曲線に近似して得
    られた二次曲線のピークの位置を対応点とする二次曲線
    型対応点実数化方式により対応点を再計算し、計測位
    置、対応点、カメラデータから三次元位置を計算するこ
    とを特徴とする三次元位置計測方法。 【請求項5】〔請求項1〕に記載する対応点検索方法の
    手順を記憶していることを特徴とする記憶媒体。 【請求項6】〔請求項2〕に記載する三次元位置計測方
    法の手順を記憶していることを特徴とする記憶媒体。 【請求項7】〔請求項3〕に記載する三次元位置計測方
    法の手順を記憶していることを特徴とする記憶媒体。 【請求項8】〔請求項4〕に記載する三次元位置計測方
    法の手順を記憶していることを特徴とする記憶媒体。 【請求項9】 通常解像度における計測点位置から縮小
    画像における計測点位置を計算する計測点変換手段と、
    通常解像度におけるエピポーララインから縮小画像にお
    けるエピポーララインを計算するエピポーラライン変換
    手段と、計測位置を指定した方の縮小画面において縮小
    パッチを設定する縮小パッチ設定手段と、もう一方の縮
    小画像のエピポーラライン上の探索範囲に関して対応点
    を相関計算によって検出する縮小画像対応点検出手段
    と、縮小画像上の対応点位置から通常画像上の対応箇所
    を計算し、計測位置を指定した方の通常画像においてパ
    ッチを設定し、もう一方の通常画像のエピポーラライン
    上の対応箇所近傍のみに関して対応点を相関計算によっ
    て検出することで対応点を決定する通常画像対応点検出
    手段とを有することを特徴とする対応点探索装置。 【請求項10】左右画像を入力する画像入力手段と、左
    右画像から左右縮小画像を作り、計測位置を通常画像の
    一方で指定する画像処理手段と、計測位置とカメラデー
    タからエピポーララインを計算するエピポーラライン計
    算手段と、段階的解像度画像による対応点探索を行うこ
    とで対応点を求める〔請求項1〕に記載する対応点探索
    手段と、計測位置,対応点,カメラデータから三次元位
    置を計算する三次元位置計算手段とを有することを特徴
    とする三次元位置計測装置。 【請求項11】左右画像を入力する画像入力手段と、左
    右画像から左右縮小画像を作り、計測位置を通常画像の
    一方で指定する画像処理手段と、計測位置とカメラデー
    タからエピポーララインを計算するエピポーラライン計
    算手段と、段階的解像度画像による対応点探索を行うこ
    とで対応点を求める〔請求項1〕に記載する対応点探索
    手段と、入力画像におけるモデルとの対応点の位置Ar
    =A0 −(1/2)(C -1−C+1)/(C0 −C-1)又
    はAr =A0 +(1/2)(C+1−C-1)/(C 0 −C
    +1)(但し、A0 は相関が最も強い第1の点の位置、C
    0 は同第1の点での相関値、C-1は前記第1の点を含む
    一次元上で第1の点の直前に位置する第2の点での相関
    値、C+1は同一次元上で第1の点の直後に位置する第3
    の点での相関値)の演算による直線型対応点実数化方式
    により対応点を再計算することにより対応点を再計算す
    る直線型対応点実数化手段と、計測位置,対応点,カメ
    ラデータから三次元位置を計算する三次元位置計算手段
    とを有することを特徴とする三次元位置計測装置。 【請求項12】左右画像を入力する画像入力手段と、左
    右画像から左右縮小画像を作り、計測位置を通常画像の
    一方で指定する画像処理手段と、計測位置とカメラデー
    タからエピポーララインを計算するエピポーラライン計
    算手段と、段階的解像度画像による対応点探索を行うこ
    とで対応点を求める〔請求項1〕に記載する対応点探索
    手段と、この対応点探索で得られた点を中心に3点以上
    の幾つかの近傍点の相関値データを二次曲線に近似して
    得られた二次曲線のピークの位置を対応点とする二次曲
    線型対応点実数化方式により対応点を再計算する二次曲
    線型対応点実数化手段と、計測位置,対応点,カメラデ
    ータから三次元位置を計算する三次元位置計算手段とを
    有することを特徴とする三次元位置計測装置。
JP10348315A 1998-12-08 1998-12-08 対応点検索方法及びこれを利用した三次元位置計測方法 Pending JP2000171214A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10348315A JP2000171214A (ja) 1998-12-08 1998-12-08 対応点検索方法及びこれを利用した三次元位置計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10348315A JP2000171214A (ja) 1998-12-08 1998-12-08 対応点検索方法及びこれを利用した三次元位置計測方法

Publications (1)

Publication Number Publication Date
JP2000171214A true JP2000171214A (ja) 2000-06-23

Family

ID=18396212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10348315A Pending JP2000171214A (ja) 1998-12-08 1998-12-08 対応点検索方法及びこれを利用した三次元位置計測方法

Country Status (1)

Country Link
JP (1) JP2000171214A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183714A (ja) * 2000-12-14 2002-06-28 Nippon Telegr & Teleph Corp <Ntt> 空間形状獲得処理方法およびそのための装置および空間形状獲得処理プログラムを記録した記録媒体
JP2007025966A (ja) * 2005-07-14 2007-02-01 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2008216126A (ja) * 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
JP2008216127A (ja) * 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
WO2012001982A1 (ja) * 2010-06-30 2012-01-05 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
WO2012060093A1 (ja) * 2010-11-05 2012-05-10 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP5509441B1 (ja) * 2013-12-26 2014-06-04 株式会社ベイビッグ 対応点検出装置および対応点検出方法
JP2015017921A (ja) * 2013-07-12 2015-01-29 株式会社明電舎 摺り板形状計測装置
JPWO2012172761A1 (ja) * 2011-06-17 2015-02-23 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
WO2021193672A1 (ja) * 2020-03-27 2021-09-30 パナソニックIpマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183714A (ja) * 2000-12-14 2002-06-28 Nippon Telegr & Teleph Corp <Ntt> 空間形状獲得処理方法およびそのための装置および空間形状獲得処理プログラムを記録した記録媒体
JP2007025966A (ja) * 2005-07-14 2007-02-01 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2008216126A (ja) * 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
JP2008216127A (ja) * 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
US8903135B2 (en) 2010-06-30 2014-12-02 Panasonic Corporation Stereo image processing apparatus and method of processing stereo image
WO2012001982A1 (ja) * 2010-06-30 2012-01-05 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP5810314B2 (ja) * 2010-06-30 2015-11-11 パナソニックIpマネジメント株式会社 ステレオ画像処理装置およびステレオ画像処理方法
CN102906782A (zh) * 2010-06-30 2013-01-30 松下电器产业株式会社 立体图像处理装置及立体图像处理方法
US9148653B2 (en) 2010-11-05 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
CN103189715A (zh) * 2010-11-05 2013-07-03 松下电器产业株式会社 立体图像处理装置及立体图像处理方法
WO2012060093A1 (ja) * 2010-11-05 2012-05-10 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP5874039B2 (ja) * 2010-11-05 2016-03-01 パナソニックIpマネジメント株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JPWO2012172761A1 (ja) * 2011-06-17 2015-02-23 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP2015017921A (ja) * 2013-07-12 2015-01-29 株式会社明電舎 摺り板形状計測装置
JP5509441B1 (ja) * 2013-12-26 2014-06-04 株式会社ベイビッグ 対応点検出装置および対応点検出方法
WO2021193672A1 (ja) * 2020-03-27 2021-09-30 パナソニックIpマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置

Similar Documents

Publication Publication Date Title
Zhu et al. Generalized parallel-perspective stereo mosaics from airborne video
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
EP1589482B1 (en) Three-dimensional image measuring apparatus and method
EP1522051B1 (en) Discrete linear space sampling method and apparatus for generating digital 3d models
US6668082B1 (en) Image processing apparatus
US6516099B1 (en) Image processing apparatus
US7746377B2 (en) Three-dimensional image display apparatus and method
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
CN108629810B (zh) 双目相机的标定方法、装置及终端
EP4411627A1 (en) Photogrammetry method, apparatus and device, and storage medium
JPH09231373A (ja) 三次元位置計測装置
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN101577004B (zh) 一种极线矫正方法、装置和系统
CN112381847A (zh) 管路端头空间位姿测量方法及系统
JP2000171214A (ja) 対応点検索方法及びこれを利用した三次元位置計測方法
CN111932627A (zh) 一种标识物绘制方法及系统
CN111833392A (zh) 标记点多角度扫描方法、系统及装置
CN114792345A (zh) 一种基于单目结构光系统的标定方法
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
KR20030054360A (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
JP3924576B2 (ja) 写真測量による3次元計測方法及び装置
JP2981382B2 (ja) パターンマッチング方法
JP2000028355A (ja) 3次元画像処理装置
JP3296099B2 (ja) 相関マッチングの対応点位置計測方法及び装置
JP4159373B2 (ja) 写真測量における計測点の対応付け方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060425