JP2004233198A - Method and apparatus for determination of corresponding point with measurement point in photogrammetry - Google Patents
Method and apparatus for determination of corresponding point with measurement point in photogrammetry Download PDFInfo
- Publication number
- JP2004233198A JP2004233198A JP2003022134A JP2003022134A JP2004233198A JP 2004233198 A JP2004233198 A JP 2004233198A JP 2003022134 A JP2003022134 A JP 2003022134A JP 2003022134 A JP2003022134 A JP 2003022134A JP 2004233198 A JP2004233198 A JP 2004233198A
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- intersection
- measurement
- measurement point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、2枚以上のステレオ画像を用いて行う写真解析における計測点の対応付けを行うためのものであり、特にデジタル写真画像を用いて行うコンピュータ解析による三次元立体計測において、計測点の対応付けを行うシステムに関する。
【0002】
【従来の技術】
従来からステレオ画像の解析、特にデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術は、写真測量の分野などで用いられており、特に地形図作成のために利用されている。
【0003】
このステレオ画像のコンピュータ解析には、少なくとも2台のカメラの位置関係を導き出し、当該2台のカメラにおいて撮影された写真画像にそれぞれ写し込まれている計測点を対応付ける必要がある。具体的には、1の写真画像に写し込まれている計測点を他の写真画像において指定し、当該2複数の写真画像上での2次元座標及びカメラの三次元座標を利用して、計測点の三次元座標を導く。
【0004】
同じ計測点を複数の写真においての対応付けは、目視によるマニュアル操作によっては正確に対応付けることが困難であるため、特許第3316682号公報(特許文献1)には、コンピュータを利用したパターンマッチングなどの相関処理により行う技術が開示されている。
【0005】
しかし、この対応付けを行う相関処理において、写真画像のすべての領域を対象として行うことは、処理の時間を長くし、また、例えば、同じようなパターンを繰り返し含む写真画像などでは対応付けを誤った位置に行うという問題もある。この問題を解消するために、相関処理を行う領域を絞り込み、上記問題を解決しようとする技術が種々提案されている。
【0006】
特開2001−280955号公報(特許文献2)では、少なくとも3つの区分点に基づいて探索領域を設定し、当該探索領域同士の画像に対して相関処理を施すことにより、相関処理を行う探索領域を小さくする技術が開示されている。
【0007】
また、蚊野らによる論文(非特許文献1)や徐剛著の刊行物(非特許文献2)では、エピポーラ拘束条件を用いて、相関処理を行う領域をエピポーラ線上に絞って行うことにより相関処理を行う探索領域を小さくする技術が開示されている(非特許文献1 528頁左欄第9〜14行目、非特許文献2 第31〜32頁)。
【0008】
しかし、非特許文献1のFig.1に示すように、光軸中心を始点として計測点を通る半直線(計測点に対する光線)が他の写真画像上に投影されたエピポーラ線は、通常、他の写真画像の端から端まで延在することとなる。したがって、当該技術においても、まだ相関処理を行う領域としては広汎である。よって、これをさらに絞込み小さくすることができれば、当該相関処理をさらに高速かつ高精度に行うことができる。一方、領域を絞りすぎることによって、他の画像上の計測点が探索領域から外れたのでは、もはや写真測量自体ができなくなる。
【0009】
【特許文献1】
特許第3316682号公報
【特許文献2】
特開2001−280955号公報
【非特許文献1】
蚊野 浩、外3名,「ビデオレートステレオマシンにおけるカメラ幾何補正機能の実現」,日本ロボット学会誌,1998年5月,第16巻,第4号,p527−532
【非特許文献2】
徐剛著,「写真から作る3次元CG」,近代科学社,2001年1月,p.31−33
【0010】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする技術的課題は、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことである。
【0011】
【課題を解決するための手段】
本発明は、上記技術的課題を解決するために、以下の写真測量における計測点の対応付け方法を提供する。
【0012】
この方法は、互いの位置関係が既知の基準カメラ及び前記基準カメラと異なる位置に配置された検査カメラによってそれぞれ撮影された基準画像及び検査画像を作成し、前記基準画像上において略平面上に配置された基準点を複数指定し、前記基準点の位置に基づいて前記略平面の関係式を算出し、前記基準カメラの光軸中心と前記基準画像に指定された計測点とを通過する直線が前記略平面と交差する交点の三次元座標を算出し、前記交点に基づいて前記検査画像上の計測点の対応点を決定する。
【0013】
上記方法において、基準カメラ及び検査カメラの位置関係、すなわち、基準カメラの座標系から見て、他のカメラ(検査カメラ)がどこに位置するかを表す座標値及び他のカメラがどの方向を向いているかを示す角度は既知である。したがって、基準画像及び検査画像において双方に写し込まれている任意の点を対応付けて指定することができれば当該点の三次元座標を特定することができる。
【0014】
一般に三次元空間において、少なくとも任意の3点を含む平面は1つに定義付けすることができ、当該平面の関係式を導くことができる。ほぼ平面として近似できる略平面上に基準点を指定することにより、その基準点を含む平面の関係式を導く。当該略平面の関係式が明らかになれば、当該平面上の任意の点の三次元座標を導くことができる。すなわち、基準画像上の略平面内に計測点を指定し、基準カメラの光軸中心と当該略平面上の計測点を結ぶ直線が当該平面と交差する交点より三次元座標を導くことができる。また、三次元座標が既知の当該交点は、検査画像上のどの位置に投影されるかについても導くことができる。当該検査画像上に存在する交点に基づいて対応点を決定することができる。
【0015】
上記方法によれば、計測点が存在する略平面上に基準点を指定することにより、当該略平面の関係式を導き、当該略平面との関係において算出される計測点の三次元座標から検査画像上に投影された計測点の対応点を決定することができるため、従来のようにパターンマッチングなどの手法により検査画像に対して行われる相関処理の負担を少なくすることができる。したがって、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことができる。
【0016】
この方法は、具体的には以下のように、種々の態様とすることができる。
【0017】
好ましくは、前記検査画像上の計測点の対応点は、前記交点とする。
【0018】
上記方法において、例えば、基準点及び計測点が存在する平面が完全な平面である場合は、前記基準カメラの光軸中心と前記基準画像に指定された計測点とを通過する直線(計測点に対する光線)が前記略平面と交差する交点が前記検査画像上に投影された点をそのまま対応点として使用することができる。上記方法によれば、極めて簡単な処理により計測点の対応点を決定することができる。
【0019】
好ましくは前記検査画像上の計測点の対応点は、前記基準画像上の計測点と、前記交点が前記検査画像上に投影された点の近傍の所定領域に対して相関処理を行うことにより決定される。この場合において、前記所定領域の大きさは、変更可能であることが好ましい。
【0020】
上記方法において、例えば、基準点及び計測点が存在する平面が道路などのように、わずかに曲がった面であるが、ほぼ平面であると近似できるような場合や、計算上及び作業上の誤差が生じているような場合は、交点は、正確な対応点を示さない場合がある。ただし、交点は、上記の誤差の範囲内で正確な対応点の近傍に存在しているため、上記交点の近傍において所定の大きさの領域に対して相関処理を行うことにより、正確な対応点を決定することができる。前記所定領域の大きさは、例えば、近似平面の曲率などに応じて変更可能とすることが好ましい。
【0021】
したがって、上記構成によれば、写真測量における計測点の対応付けにおいて、相関処理を行う領域を小さくすることができ、より高速かつ高精度に対応付けを行うことができる。
【0022】
また、本発明は、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段と、前記入力された基準点の前記基準画像及び検査画像上における座標値に基づいて前記略平面の関係式を算出する平面算出手段と、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段と、前記基準カメラの光軸中心と前記計測点とを通過する直線が前記略平面と交差する交点を算出する交点算出手段と、前記交点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段とを備えることを特徴とする、写真測量における計測点の対応付け装置を提供する。
【0023】
また、本発明は、写真測量における計測点の対応付けを行うためにコンピュータを、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段、前記入力された基準点の前記基準画像及び検査画像上における座標値に基づいて前記略平面の関係式を算出する平面算出手段、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段、前記基準カメラの光軸中心と前記計測点とを通過する直線が前記略平面と交差する交点を算出する交点算出手段、前記交点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段、として機能させるための写真測量における計測点の対応付けプログラムを提供する。
【0024】
【発明の実施の形態】
以下、本発明の一実施形態に係る写真測量システムについて、図面を参照しながら説明する。
【0025】
本装置は、写真画像を入力し、解析演算するためのコンピュータで構成される。写真画像はデジタルカメラによって撮影されたものが好ましいが、フィルムカメラによって撮られた写真をスキャナなどでデータ化したものであってもよい。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、コンピュータに後述するような処理を行わせるプログラムを当該プログラムが記憶された記憶媒体を用いてインストールすることにより駆動する。
【0026】
図1に本発明の実施形態に係る写真測量装置のブロック図を示す。本写真測量装置1は、カメラ11、キーボードやマウスなどの入力装置12、ディスプレイ13などの外部機器と接続して使用される。装置1には、上記外部機器と接続するためのインターフェース装置10と、システムプログラム記憶部3、画像記憶部4、位置指定部5、座標演算部6、平面演算部7、相関処理部8、演算部9が搭載され、バス2により相互に接続されている。
【0027】
システムプログラム記憶部3は、上記ソフトウェアがインストールされることによって、システムプログラムを格納する。画像記憶部4は、カメラ11から取りこまれた写真画像を蓄積する。当該写真画像は、写真測量の実行時において、画像記憶部4から読み出され、ディスプレイ13に表示される。
【0028】
位置指定部5、座標演算部6、平面演算部7、相関処理部8は、後述するように、システムプログラムの駆動により、写真測量を実行する場合に特定の処理、演算をそれぞれ行う。演算部9は、上記の位置指定部5、座標演算部6、平面演算部7、相関処理部8が司る処理以外の処理を行う。
【0029】
(第1実施形態)
図2は、図1の写真測量装置を用いて写真測量を実行する場合の第1実施形態に係る処理の流れを示すフロー図である。第1実施形態は、計測点が存在する面が完全な平面である場合に好適に用いられる。
【0030】
最初に、ステレオ画像を撮影して写真測量装置1に送信して、画像記憶部5に記憶させ基本画像及び検査画像を作成する(#10)。基本画像及び検査画像は、デジタルカメラ7を用いて同じ被写体を異なる位置から撮影した2枚以上の写真画像である。以下、本実施形態では、2枚の写真画像を用いた場合について説明する。写真画像は、1枚を基準画像、他の1枚を検査画像として区別する。2枚の写真画像のうち、どちらを基準画像とするかは自由であり、任意の1枚を選択することができる。
【0031】
図3は、写真測量を行う場合についての座標系を示す図である。2つのカメラA、カメラBから撮影された2枚の写真画像110、210は、それぞれの光軸中心100a,200aを原点として、それぞれカメラの光軸方向をZ軸とし、写真画像の長手方向がX軸、短手方向がY軸となる。したがって、カメラの傾きに応じてX軸は地表Eに平行となるとは限らない。本実施形態においては、基準画像を撮影したカメラを基準に3次元座標を特定する。すなわち、カメラAにより撮影された写真画像110を基準画像とした場合は、X1,Y1,Z1軸を基準座標系として採用する。以下、カメラAを基準カメラとし、カメラAにより撮影された写真画像を基準画像とした場合について説明を進める。
【0032】
図4に写真測量に用いられる写真画像の例を示す。図4(a)は、カメラAにより撮影された写真画像(基準画像)、図4(b)はカメラBにより撮影された写真画像(検査画像)である。図4は、理解の便宜のため、後述するステップである、基準点22a〜30a、22b〜30b及び計測点21aの指定をすでに終了した画像を示している。なお、カメラ11から送信され、まだ処理が行われていない画像には、上記指定された基準点22a〜30a、22b〜30b及び計測点21aが表示されていないことはいうまでもない。
【0033】
次にこれらの基準画像110及び検査画像210について、複数の基準点22a〜30a、22b〜30bの指定を行う(#11)。被写体の外観上、コーナーなどの判別しやすい位置を選び、2つの写真画像110、210を参照しながら両画像で同一の点を指定する。この入力は、利用者がマウスなどの入力装置8を操作することにより行われ、装置1の位置指定部5が主な処理を司る。この基準点の入力は、少なくとも5点以上することが好ましく、また、道路など平面と近似できる面20上に存在する点22a〜29a、22b〜29bを少なくとも3点以上対応付けておくことが好ましい。図5は、基準画像110及び検査画像210に付された基準点のみを抽出した分布図である。
【0034】
次に、先のステップで指定した基準点の基準画像及び検査画像上の座標値に基づいて、座標演算部6によりカメラA100及びカメラB200の位置関係を算出する(#12)。本実施形態では、位置関係として、カメラA100(基準カメラ)の光軸中心を原点とする基準座標系において、カメラB200(検査カメラ)の光軸中心がどこに位置するかを表す座標値及びカメラB200の光軸がどの方向を向いているかを示す角度を導く。また、引き続き、座標演算部6は、求められたカメラA100及びカメラB200の位置関係に基づいて、基準点22〜30の三次元座標を求める(#13)。
【0035】
次に、平面演算部7は、図6に示すように、先のステップで求めた基準点の三次元座標のうち、同一平面20上に存在する基準点22〜29の座標を用いて、当該平面の関係式を求める(#14)。このとき、少なくとも3つの基準点の座標を用いることにより、平面の関係式は、1つに定義付けられる。
【0036】
次に、図7に示すように、位置指定部5は、入力装置12の操作によって、計測点が基準画像上に写り込んだ点(計測点投影点)21aを指定する(#15)。図8は、図7を矢印51の方向から見た図である。計測点21は、上述のように、基準点22〜29と同一平面上に存在している。したがって、光軸中心100aと基準画像110上の計測点(計測点投影点)21aとを結ぶ直線L1(計測点に対する光線)を作成し、当該光線L1と平面20との交点を求める(#16)。計測点21は、光線L1上のどこかに存在し、また、計測点21は平面20上に存在することが明らかであるから、当該光線L1と平面20との交点の三次元座標は、そのまま計測点21の三次元座標を示すこととなる。
【0037】
このようにして、計測点21の3次元座標を導くことができるが、検査画像を用いて計測点の三次元座標の確認をすることができる。図9に示すように、上記のステップで求められた交点を検査画像210上に投影する。すなわち、上記のステップで求められた交点の三次元座標と検査カメラB200の光軸中心200aを結ぶ直線M1が、検査画像210上を通過する点21bが、検査画像210上の計測点の対応点となる。この検査画像200上の対応点21bと基準画像上に指定した計測点21a(計測点投影点)との画像上における座標値を用いて、計測点21の三次元座標を確認的に求めることができる。
【0038】
この実施形態によれば、計測点21が存在する面20が完全な平面である場合に、検査画像上に対応点を求めることなく計測点の三次元座標を求めることができ、写真測量を容易にかつ処理の負担を少なくすることができる。また、確認的に検査画像上の対応点をパターンマッチングなどによる相関処理を行うことなく、決定することができ、例えば、基準点22〜29の対応付けあるいは、平面の関係式の演算などにおける誤差を実質的に少なくすることができる。
【0039】
(第2実施形態)
図10は、図1の写真測量装置を用いて写真測量を実行する場合の第2実施形態に係る処理の流れを示すフロー図である。第2実施形態は、計測点が存在する面が、路面などのように、ほぼ平面であると近似できる場合に好適に用いられる。
【0040】
第2実施形態の処理の流れは、#20〜#23までの各ステップは、第1実施形態の#10〜#13までの各ステップと概ね同じである。これらのステップにより、基準点22〜30の三次元座標が決定すると、図12に示すように、これらの基準点のうち、略平面120上に存在する基準点22〜29のみを選択してその三次元座標より、これらの基準点22〜29が最も近づくような完全な平面である仮想平面120xを想定し、その関係式を導く(#24)。すなわち、基準点22〜29が実際に存在する真の略平面120の形状は不明であるが、選択された基準点22〜29が最も近づくような仮想平面120xの関係式を最小二乗法などの手法を用いて想定する。
【0041】
次に、第1実施形態のステップ#15と同様に、位置指定部5は、入力装置12の操作によって、計測点が基準画像上に写り込んだ点(計測点投影点)21aを指定する(#25)。本実施形態では、計測点21と基準点22〜29とが存在している同一面120の形状は不明である。したがって、第1実施形態のように、当該面120と光軸中心100aと基準画像110上の計測点(計測点投影点)21aとを結ぶ直線L2(計測点に対する光線)との交点を導くことができない。したがって、本実施形態では、先のステップ#24で求めた仮想平面120xと直線L2との交点21xを導く(#26)。
【0042】
この交点21xは、図13に示すように、通常は実際の計測点21とは異なる点であるため、この点を検査画像210に投影した点は真の対応点ではない。したがって、本実施形態では、次の処理により真の対応点を求める。すなわち、まず、図14に示すように、交点21xを中心として、所定幅の区間41を設定する(#27)。この設定区間41の幅は、面120の曲折の程度や、仮想平面120xと面120との間の信頼度などに応じて任意に調整することができるようにしておくことが好ましい。
【0043】
次いで、光線L2上の区間41を検査画像210に投影する(28)。光線L2は、図16に示すように、検査画像210上にエピポーラ線40として投影される。エピポーラ線40は、検査画像210の両端にまで及ぶ広汎なものであるが、これを区間41が投影された区分領域41bに制約することにより、狭い範囲に限定することができる。なお、当該領域41bは、先のステップ(#27)で設定した区間41の所定幅を調整することにより、任意に調整することができる。
【0044】
図15から明らかなように、計測点に対する光線L2上の区間41に真の計測点が含まれる場合は、当該設定区間41が投影された区分領域41bに真の計測点が含まれることが明らかである。したがって、当該区分領域41bの近傍領域を、例えばパターンマッチングなどの相関処理の探索領域とすることにより、探索領域を小さくすることができ、パターンマッチングの処理を少なくして高速化すると共に、対応点の決定において精度を高くすることができる。具体的には、図17に示すように、基準画像110に指定した計測点(計測点の基準画像への投影点)21aの近傍領域42を指定する。次いで、当該領域42aのパターンについて検査画像210の制約された区分領域41bの近傍にてマッチングを行い、対応点21bを決定する。
【0045】
本実施形態によれば、計測点21が存在する面120が完全な平面でない場合であっても、仮想的に導いた仮想平面の関係式を用いることによって、検査画像上での探索領域を小さくすることができる。したがって、パターンマッチングなどの相関処理の負担が少なくなり、高速に処理することができるとともに、マッチングミスを少なくして精度を高くすることができる。
【0046】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【図面の簡単な説明】
【図1】本発明の実施形態に係る写真測量装置のブロック図である。
【図2】図1の写真測量装置を用いて写真測量を行う場合の第1実施形態に係る処理の流れを示すフロー図である。
【図3】図1の装置を用いて写真測量を行う場合についての座標系を示す図である。
【図4】写真測量に用いられる写真画像の例を示す図であり、(a)はカメラA100の写真画像(基準画像)、(b)はカメラB200の写真画像(検査画像)の例である。
【図5】図4に示す画像上に指定された基準点のみを抽出した図である。
【図6】平面上に存在する基準点を選択する処理の説明図である。
【図7】基準画像上に置ける計測点投影点と計測点の位置関係を示す図である。
【図8】図7を異なる角度から見た図である。
【図9】交点を検査画像への投影する場合の位置関係を示す図である。
【図10】図1の写真測量装置を用いて写真測量を行う場合の第2実施形態に係る処理の流れを示すフロー図である。
【図11】平面上に存在する基準点を選択する処理の説明図である。
【図12】仮想平面と面との関係を示す図である。
【図13】基準画像上に置ける計測点投影点と計測点の位置関係を示す図である。
【図14】所定幅の区間を設定する処理の説明図である。
【図15】区間を検査画像上へ投影した場合の位置関係を示す図である。
【図16】検査画像上のエピポーラ線の区分領域を示す図である。
【図17】パターンマッチングの説明図である。
【符号の説明】
L1、L2 計測点に対する光線
1 写真測量装置
2 バス
3 システムプログラム記憶部
4 画像記憶部
5 位置指定部
6 座標演算部
7 平面演算部
8 相関処理部
9 演算部
20,120 面
21 計測点(交点)
21a 計測点の基準画像への投影点
21b 対応点(計測点の検査画像への投影点)
21x 仮想平面と光線との交点
22〜30 基準点
22a〜30a 基準点の基準画像への投影点
22b〜30b 基準点の検査画像への投影点
40 エピポーラ線
41 設定区間
41b 区分領域
100 カメラA(基準カメラ)
110 基準画像
120x 仮想平面
200 カメラB(検査カメラ)
210 検査画像[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention is intended to associate measurement points in photo analysis performed using two or more stereo images, and in particular, in three-dimensional stereo measurement by computer analysis performed using digital photo images, The present invention relates to a system for performing association.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique of analyzing a stereo image, in particular, a technique of computer-analyzing a subject captured in the image using a digital image has been used in the field of photogrammetry, and is particularly used for creating a topographic map. .
[0003]
For the computer analysis of this stereo image, it is necessary to derive the positional relationship between at least two cameras and to associate the measurement points respectively projected on the photographic images taken by the two cameras. Specifically, a measurement point projected on one photographic image is specified in another photographic image, and measurement is performed using two-dimensional coordinates on the two plural photographic images and three-dimensional coordinates of the camera. Derive the three-dimensional coordinates of the point.
[0004]
Since it is difficult to accurately associate the same measurement point in a plurality of photographs with a manual operation by visual observation, Japanese Patent No. 3316682 (Patent Document 1) discloses a method such as pattern matching using a computer. A technique performed by a correlation process is disclosed.
[0005]
However, in the correlation processing for performing the association, performing the processing on all the regions of the photographic image increases the processing time, and, for example, the erroneous association is performed on a photographic image including a similar pattern repeatedly. There is also a problem that it is carried out in a different position. In order to solve this problem, various techniques for narrowing the area for performing the correlation process and solving the above problem have been proposed.
[0006]
In Japanese Patent Application Laid-Open No. 2001-28095 (Patent Document 2), a search area is set based on at least three segmentation points, and a correlation process is performed on images of the search areas to perform a correlation process. Is disclosed.
[0007]
Also, in a paper by Mosquito et al. (Non-Patent Document 1) and a publication by Xu Go (Non-Patent Document 2), the correlation processing is performed by narrowing the region to be subjected to the correlation processing on the epipolar line using the epipolar constraint. A technique for reducing the search area to be performed is disclosed (Non-Patent Document 1, page 528, left column,
[0008]
However, FIG. As shown in FIG. 1, an epipolar line in which a half-line (light ray to the measurement point) passing through the measurement point starting from the center of the optical axis is projected on another photographic image usually extends from one end of the other photographic image to the other end. Will be there. Therefore, even in this technique, the area for performing the correlation processing is extensive. Therefore, if this can be further narrowed down, the correlation processing can be performed at higher speed and with higher accuracy. On the other hand, if the measurement point on another image deviates from the search area due to excessively narrowing the area, photogrammetry itself can no longer be performed.
[0009]
[Patent Document 1]
Japanese Patent No. 3316682 [Patent Document 2]
Japanese Patent Application Laid-Open No. 2001-280955 [Non-Patent Document 1]
Hiroshi Kamosano, 3 others, "Realization of Camera Geometric Correction Function in Video Rate Stereo Machine", Journal of the Robotics Society of Japan, May 1998, Vol. 16, No. 4, p. 527-532.
[Non-patent document 2]
Xu Go, "3D CG from Photographs", Modern Science Company, January 2001, p. 31-33
[0010]
[Problems to be solved by the invention]
Therefore, a technical problem to be solved by the present invention is to reduce the burden of the correlation processing and to perform the association at higher speed and with higher accuracy in associating the measurement points in photogrammetry.
[0011]
[Means for Solving the Problems]
The present invention provides the following method of associating measurement points in photogrammetry in order to solve the above technical problem.
[0012]
This method creates a reference image and an inspection image respectively taken by a reference camera whose positional relationship is known and an inspection camera arranged at a different position from the reference camera, and arranges them on a substantially plane on the reference image. Specify a plurality of reference points, calculate the relational expression of the substantially plane based on the position of the reference point, a straight line passing through the optical axis center of the reference camera and the measurement point specified in the reference image The three-dimensional coordinates of an intersection that intersects the substantially plane are calculated, and a corresponding point of a measurement point on the inspection image is determined based on the intersection.
[0013]
In the above method, the positional relationship between the reference camera and the inspection camera, that is, the coordinate value indicating where the other camera (inspection camera) is located and the direction in which the other camera is directed, when viewed from the coordinate system of the reference camera. The angle indicating whether or not it is known is known. Therefore, if it is possible to specify an arbitrary point in both the reference image and the inspection image in association with each other, the three-dimensional coordinates of the point can be specified.
[0014]
Generally, in a three-dimensional space, a plane including at least any three points can be defined as one, and a relational expression of the plane can be derived. By designating a reference point on a substantially plane that can be approximated as a substantially plane, a relational expression of a plane including the reference point is derived. If the relational expression of the approximate plane becomes clear, the three-dimensional coordinates of an arbitrary point on the plane can be derived. That is, a measurement point can be specified in a substantially plane on the reference image, and three-dimensional coordinates can be derived from an intersection point where a straight line connecting the optical axis center of the reference camera and the measurement point on the substantially plane intersects the plane. In addition, it is possible to guide to which position on the inspection image the intersection where the three-dimensional coordinates are known is projected. The corresponding point can be determined based on the intersection existing on the inspection image.
[0015]
According to the above method, by designating a reference point on a substantially plane where a measurement point exists, a relational expression of the substantially plane is derived, and inspection is performed from three-dimensional coordinates of the measurement point calculated in relation to the substantially plane. Since the corresponding points of the measurement points projected on the image can be determined, it is possible to reduce the burden of the correlation processing performed on the inspection image by a technique such as pattern matching as in the related art. Therefore, in associating the measurement points in the photogrammetry, it is possible to reduce the load of the correlation processing and perform the association with higher speed and higher accuracy.
[0016]
This method can be implemented in various modes as described below.
[0017]
Preferably, a corresponding point of the measurement point on the inspection image is the intersection.
[0018]
In the above method, for example, when the plane on which the reference point and the measurement point are located is a perfect plane, a straight line passing through the optical axis center of the reference camera and the measurement point specified in the reference image (for the measurement point) A point where an intersection point where the light ray intersects with the substantially plane is projected on the inspection image can be used as a corresponding point as it is. According to the above method, the corresponding point of the measurement point can be determined by extremely simple processing.
[0019]
Preferably, the corresponding point of the measurement point on the inspection image is determined by performing a correlation process on the measurement point on the reference image and a predetermined area near the point where the intersection point is projected on the inspection image. Is done. In this case, it is preferable that the size of the predetermined area can be changed.
[0020]
In the above method, for example, a plane where a reference point and a measurement point are present is a slightly curved surface such as a road, but can be approximated as a substantially flat surface, or a calculation or operation error. In such a case, the intersection may not indicate an exact corresponding point. However, since the intersection exists near the accurate corresponding point within the range of the above error, the correlation processing is performed on an area of a predetermined size in the vicinity of the intersection to obtain the accurate corresponding point. Can be determined. It is preferable that the size of the predetermined region can be changed according to, for example, the curvature of an approximate plane.
[0021]
Therefore, according to the above configuration, in associating the measurement points in the photogrammetry, the area for performing the correlation processing can be reduced, and the association can be performed with higher speed and higher accuracy.
[0022]
Further, the present invention provides a reference point designating means for receiving an input of a plurality of reference points present on a substantially plane on a reference image and an inspection image photographed from different positions having a known mutual positional relationship, and Plane calculating means for calculating the relational expression of the substantially plane based on the coordinate values of the reference point on the reference image and the inspection image, and measurement point designating means for designating a measurement point within the substantially plane on the reference image An intersection calculating means for calculating an intersection at which a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane; and determining a corresponding point of the measurement point on the inspection image based on the intersection. And a corresponding point determination unit for performing photogrammetry.
[0023]
Further, the present invention provides a computer for associating measurement points in photogrammetry with a plurality of reference images existing on a substantially plane on a reference image and an inspection image taken from different positions whose positional relationship is known. A reference point designating unit that receives a point input; a plane calculating unit that calculates a relational expression of the substantially plane based on coordinate values of the input reference point on the reference image and the inspection image; A measuring point designating means for designating a measuring point in a plane, an intersection calculating means for calculating an intersection at which a straight line passing through the optical axis center of the reference camera and the measuring point intersects the substantially plane, and Provided is a program for associating measurement points in photogrammetry to function as corresponding point determination means for determining corresponding points of measurement points on an inspection image.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a photogrammetry system according to an embodiment of the present invention will be described with reference to the drawings.
[0025]
This apparatus is configured by a computer for inputting a photographic image and performing an analysis operation. The photographic image is preferably an image taken by a digital camera, but may be an image obtained by converting a photograph taken by a film camera into data using a scanner or the like. The camera may be a camera for photo measurement with an internal orientation, or may be a general-purpose digital camera without an internal orientation. A general-purpose computer can be used, and the computer is driven by installing a program that causes the computer to perform a process described below using a storage medium storing the program.
[0026]
FIG. 1 shows a block diagram of a photogrammetry apparatus according to an embodiment of the present invention. The photogrammetric apparatus 1 is used by connecting to external devices such as a
[0027]
The system
[0028]
As will be described later, the
[0029]
(1st Embodiment)
FIG. 2 is a flowchart showing the flow of processing according to the first embodiment when performing photogrammetry using the photogrammetry apparatus of FIG. The first embodiment is preferably used when the plane on which the measurement points exist is a perfect plane.
[0030]
First, a stereo image is taken and transmitted to the photogrammetry device 1 and stored in the
[0031]
FIG. 3 is a diagram illustrating a coordinate system when performing photogrammetry. The two
[0032]
FIG. 4 shows an example of a photographic image used for photogrammetry. FIG. 4A shows a photographic image (reference image) photographed by the camera A, and FIG. 4B shows a photographic image (inspection image) photographed by the camera B. FIG. 4 shows an image in which the specification of the
[0033]
Next, a plurality of
[0034]
Next, based on the coordinate values of the reference point designated in the previous step on the reference image and the inspection image, the coordinate
[0035]
Next, as shown in FIG. 6, the
[0036]
Next, as shown in FIG. 7, the
[0037]
In this way, the three-dimensional coordinates of the
[0038]
According to this embodiment, when the
[0039]
(2nd Embodiment)
FIG. 10 is a flowchart illustrating a flow of a process according to the second embodiment when performing photogrammetry using the photogrammetry apparatus of FIG. 1. The second embodiment is suitably used when the surface on which the measurement points are present can be approximated to be substantially flat, such as a road surface.
[0040]
In the processing flow of the second embodiment, the steps from # 20 to # 23 are almost the same as the steps from # 10 to # 13 of the first embodiment. When the three-dimensional coordinates of the
[0041]
Next, similarly to step # 15 of the first embodiment, the
[0042]
As shown in FIG. 13, the
[0043]
Next, the
[0044]
As is clear from FIG. 15, when the true measurement point is included in the
[0045]
According to the present embodiment, even when the
[0046]
The present invention is not limited to the above embodiment, but can be implemented in various other modes.
[Brief description of the drawings]
FIG. 1 is a block diagram of a photogrammetry device according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a flow of processing according to a first embodiment when photogrammetry is performed using the photogrammetry apparatus of FIG. 1;
FIG. 3 is a diagram showing a coordinate system when photogrammetry is performed using the apparatus of FIG. 1;
FIGS. 4A and 4B are diagrams illustrating examples of photographic images used for photogrammetry, wherein FIG. 4A is an example of a photographic image (reference image) of camera A100, and FIG. 4B is an example of a photographic image (inspection image) of camera B200. .
FIG. 5 is a diagram in which only reference points designated on the image shown in FIG. 4 are extracted.
FIG. 6 is an explanatory diagram of a process of selecting a reference point existing on a plane.
FIG. 7 is a diagram illustrating a positional relationship between measurement point projection points and measurement points placed on a reference image.
FIG. 8 is a view of FIG. 7 viewed from different angles.
FIG. 9 is a diagram showing a positional relationship when an intersection is projected on an inspection image.
FIG. 10 is a flowchart showing a flow of processing according to a second embodiment when photogrammetry is performed using the photogrammetry apparatus of FIG. 1;
FIG. 11 is an explanatory diagram of a process of selecting a reference point existing on a plane.
FIG. 12 is a diagram illustrating a relationship between a virtual plane and a surface.
FIG. 13 is a diagram illustrating a positional relationship between measurement point projection points and measurement points placed on a reference image.
FIG. 14 is an explanatory diagram of a process of setting a section having a predetermined width.
FIG. 15 is a diagram showing a positional relationship when a section is projected on an inspection image.
FIG. 16 is a diagram showing a segmented region of an epipolar line on an inspection image.
FIG. 17 is an explanatory diagram of pattern matching.
[Explanation of symbols]
L1, L2 Light rays for measurement points 1
21a Projection point of measurement point on
21x Intersection points 22 to 30 of the virtual plane and the light
110
210 Inspection image
Claims (11)
前記入力された基準点の前記基準画像及び検査画像上における座標値に基づいて前記略平面の関係式を算出する平面算出手段と、
前記基準画像上の前記略平面内において計測点を指定する計測点指定手段と、
前記基準カメラの光軸中心と前記計測点とを通過する直線が前記略平面と交差する交点の三次元座標を算出する交点算出手段と、
前記交点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段とを備えることを特徴とする、写真測量における計測点の対応付け装置。Reference point designating means for receiving an input of a plurality of reference points present on a substantially plane on a reference image and an inspection image whose relative positions are known from different positions,
Plane calculating means for calculating a relational expression of the substantially plane based on coordinate values of the input reference point on the reference image and the inspection image,
Measurement point designation means for designating a measurement point within the substantially plane on the reference image,
Intersection calculation means for calculating three-dimensional coordinates of an intersection at which a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane,
And a corresponding point determining means for determining a corresponding point of the measurement point on the inspection image based on the intersection point.
互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段、
前記入力された基準点の前記基準画像及び検査画像上における座標値に基づいて前記略平面の関係式を算出する平面算出手段、
前記基準画像上の前記略平面内において計測点を指定する計測点指定手段、
前記基準カメラの光軸中心と前記計測点とを通過する直線が前記略平面と交差する交点の三次元座標を算出する交点算出手段、
前記交点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段、
として機能させるための写真測量における計測点の対応付けプログラム。A computer is used to associate measurement points in photogrammetry.
A reference point designating means for receiving an input of a plurality of reference points present on a substantially flat surface on a reference image and an inspection image whose relative positions are known from different positions,
Plane calculating means for calculating a relational expression of the substantially plane based on coordinate values of the input reference point on the reference image and the inspection image,
Measurement point designating means for designating a measurement point within the substantially plane on the reference image,
Intersection calculation means for calculating three-dimensional coordinates of an intersection where a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane,
Corresponding point determining means for determining a corresponding point of a measurement point on the inspection image based on the intersection;
A program for associating measurement points in photogrammetry to function as a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003022134A JP4159373B2 (en) | 2003-01-30 | 2003-01-30 | Method and apparatus for associating measurement points in photogrammetry |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003022134A JP4159373B2 (en) | 2003-01-30 | 2003-01-30 | Method and apparatus for associating measurement points in photogrammetry |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004233198A true JP2004233198A (en) | 2004-08-19 |
JP4159373B2 JP4159373B2 (en) | 2008-10-01 |
Family
ID=32951282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003022134A Expired - Fee Related JP4159373B2 (en) | 2003-01-30 | 2003-01-30 | Method and apparatus for associating measurement points in photogrammetry |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4159373B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101561269B (en) * | 2009-05-26 | 2011-08-17 | 空气动力学国家重点实验室 | Method for automatically matching characteristic lines of close-range photogrammetry |
JP2011191131A (en) * | 2010-03-12 | 2011-09-29 | Chubu Electric Power Co Inc | Photogrammetry device and photogrammetry method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101922930B (en) * | 2010-07-08 | 2013-11-06 | 西北工业大学 | Aviation polarization multi-spectrum image registration method |
-
2003
- 2003-01-30 JP JP2003022134A patent/JP4159373B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101561269B (en) * | 2009-05-26 | 2011-08-17 | 空气动力学国家重点实验室 | Method for automatically matching characteristic lines of close-range photogrammetry |
JP2011191131A (en) * | 2010-03-12 | 2011-09-29 | Chubu Electric Power Co Inc | Photogrammetry device and photogrammetry method |
Also Published As
Publication number | Publication date |
---|---|
JP4159373B2 (en) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
US7746377B2 (en) | Three-dimensional image display apparatus and method | |
JP5745178B2 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
JP5832341B2 (en) | Movie processing apparatus, movie processing method, and movie processing program | |
US6668082B1 (en) | Image processing apparatus | |
US7257249B2 (en) | Discrete linear space sampling method and apparatus for generating digital 3D models | |
US8269766B2 (en) | Method for generating three-dimensional shape data, apparatus for generating three-dimensional shape data, and three-dimensional shape data generating program | |
WO2014024579A1 (en) | Optical data processing device, optical data processing system, optical data processing method, and optical data processing-use program | |
KR102129206B1 (en) | 3 Dimensional Coordinates Calculating Apparatus and 3 Dimensional Coordinates Calculating Method Using Photo Images | |
JP2009017480A (en) | Camera calibration device and program thereof | |
JP2005017286A (en) | Method and system for camera calibration | |
JP2004302756A (en) | Cad working drawing checking method and its device | |
JP4006296B2 (en) | Displacement measuring method and displacement measuring apparatus by photogrammetry | |
JP2008224323A (en) | Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program | |
JP3696335B2 (en) | Method for associating each measurement point of multiple images | |
JP4236202B2 (en) | Modeling apparatus and camera parameter calculation method | |
JP4550081B2 (en) | Image measurement method | |
JP4159373B2 (en) | Method and apparatus for associating measurement points in photogrammetry | |
JP4153322B2 (en) | Method and apparatus for associating measurement points in photogrammetry | |
JP3924576B2 (en) | Three-dimensional measurement method and apparatus by photogrammetry | |
JP3910844B2 (en) | Orientation method and modified mapping method using old and new photographic images | |
JP2003067726A (en) | Solid model generation system and method | |
JP4153323B2 (en) | Method and apparatus for associating measurement points in photogrammetry | |
JPH10318732A (en) | Shape measuring device and image formation apparatus of shape measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4159373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |