JP4159373B2

JP4159373B2 - Method and apparatus for associating measurement points in photogrammetry

Info

Publication number: JP4159373B2
Application number: JP2003022134A
Authority: JP
Inventors: 孝房二村; 靖久桜井; 亮永井
Original assignee: Kurashiki Spinning Co Ltd
Current assignee: Kurashiki Spinning Co Ltd
Priority date: 2003-01-30
Filing date: 2003-01-30
Publication date: 2008-10-01
Anticipated expiration: 2023-01-30
Also published as: JP2004233198A

Description

【０００１】
【発明の属する技術分野】
本発明は、２枚以上のステレオ画像を用いて行う写真解析における計測点の対応付けを行うためのものであり、特にデジタル写真画像を用いて行うコンピュータ解析による三次元立体計測において、計測点の対応付けを行うシステムに関する。
【０００２】
【従来の技術】
従来からステレオ画像の解析、特にデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術は、写真測量の分野などで用いられており、特に地形図作成のために利用されている。
【０００３】
このステレオ画像のコンピュータ解析には、少なくとも２台のカメラの位置関係を導き出し、当該２台のカメラにおいて撮影された写真画像にそれぞれ写し込まれている計測点を対応付ける必要がある。具体的には、１の写真画像に写し込まれている計測点を他の写真画像において指定し、当該２複数の写真画像上での２次元座標及びカメラの三次元座標を利用して、計測点の三次元座標を導く。
【０００４】
同じ計測点を複数の写真においての対応付けは、目視によるマニュアル操作によっては正確に対応付けることが困難であるため、特許第３３１６６８２号公報（特許文献１）には、コンピュータを利用したパターンマッチングなどの相関処理により行う技術が開示されている。
【０００５】
しかし、この対応付けを行う相関処理において、写真画像のすべての領域を対象として行うことは、処理の時間を長くし、また、例えば、同じようなパターンを繰り返し含む写真画像などでは対応付けを誤った位置に行うという問題もある。この問題を解消するために、相関処理を行う領域を絞り込み、上記問題を解決しようとする技術が種々提案されている。
【０００６】
特開２００１−２８０９５５号公報（特許文献２）では、少なくとも３つの区分点に基づいて探索領域を設定し、当該探索領域同士の画像に対して相関処理を施すことにより、相関処理を行う探索領域を小さくする技術が開示されている。
【０００７】
また、蚊野らによる論文（非特許文献１）や徐剛著の刊行物（非特許文献２）では、エピポーラ拘束条件を用いて、相関処理を行う領域をエピポーラ線上に絞って行うことにより相関処理を行う探索領域を小さくする技術が開示されている（非特許文献１５２８頁左欄第９〜１４行目、非特許文献２第３１〜３２頁）。
【０００８】
しかし、非特許文献１のＦｉｇ．１に示すように、光軸中心を始点として計測点を通る半直線（計測点に対する光線）が他の写真画像上に投影されたエピポーラ線は、通常、他の写真画像の端から端まで延在することとなる。したがって、当該技術においても、まだ相関処理を行う領域としては広汎である。よって、これをさらに絞込み小さくすることができれば、当該相関処理をさらに高速かつ高精度に行うことができる。一方、領域を絞りすぎることによって、他の画像上の計測点が探索領域から外れたのでは、もはや写真測量自体ができなくなる。
【０００９】
【特許文献１】
特許第３３１６６８２号公報
【特許文献２】
特開２００１−２８０９５５号公報
【非特許文献１】
蚊野浩、外３名，「ビデオレートステレオマシンにおけるカメラ幾何補正機能の実現」，日本ロボット学会誌，１９９８年５月，第１６巻，第４号，ｐ５２７−５３２
【非特許文献２】
徐剛著，「写真から作る３次元ＣＧ」，近代科学社，２００１年１月，ｐ．３１−３３
【００１０】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする技術的課題は、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことである。
【００１１】
【課題を解決するための手段】
本発明は、上記技術的課題を解決するために、以下の写真測量における計測点の対応付け方法を提供する。
【００１２】
この方法は、互いの位置関係が既知の基準カメラ及び前記基準カメラと異なる位置に配置された検査カメラによってそれぞれ撮影された基準画像及び検査画像を作成し、前記基準画像上において略平面上に配置された基準点を複数指定し、前記基準点の位置に基づいて前記略平面の関係式を算出し、前記基準カメラの光軸中心と前記基準画像に指定された計測点とを通過する直線が前記略平面と交差する交点の三次元座標を算出し、前記交点に基づいて前記検査画像上の計測点の対応点を決定する。
【００１３】
上記方法において、基準カメラ及び検査カメラの位置関係、すなわち、基準カメラの座標系から見て、他のカメラ（検査カメラ）がどこに位置するかを表す座標値及び他のカメラがどの方向を向いているかを示す角度は既知である。したがって、基準画像及び検査画像において双方に写し込まれている任意の点を対応付けて指定することができれば当該点の三次元座標を特定することができる。
【００１４】
一般に三次元空間において、少なくとも任意の３点を含む平面は１つに定義付けすることができ、当該平面の関係式を導くことができる。ほぼ平面として近似できる略平面上に基準点を指定することにより、その基準点を含む平面の関係式を導く。当該略平面の関係式が明らかになれば、当該平面上の任意の点の三次元座標を導くことができる。すなわち、基準画像上の略平面内に計測点を指定し、基準カメラの光軸中心と当該略平面上の計測点を結ぶ直線が当該平面と交差する交点より三次元座標を導くことができる。また、三次元座標が既知の当該交点は、検査画像上のどの位置に投影されるかについても導くことができる。当該検査画像上に存在する交点に基づいて対応点を決定することができる。
【００１５】
上記方法によれば、計測点が存在する略平面上に基準点を指定することにより、当該略平面の関係式を導き、当該略平面との関係において算出される計測点の三次元座標から検査画像上に投影された計測点の対応点を決定することができるため、従来のようにパターンマッチングなどの手法により検査画像に対して行われる相関処理の負担を少なくすることができる。したがって、写真測量における計測点の対応付けにおいて、相関処理の負担を小さくして、より高速かつ高精度に対応付けを行うことができる。
【００１６】
この方法は、具体的には以下のように、種々の態様とすることができる。
【００１７】
好ましくは、前記検査画像上の計測点の対応点は、前記交点とする。
【００１８】
上記方法において、例えば、基準点及び計測点が存在する平面が完全な平面である場合は、前記基準カメラの光軸中心と前記基準画像に指定された計測点とを通過する直線（計測点に対する光線）が前記略平面と交差する交点が前記検査画像上に投影された点をそのまま対応点として使用することができる。上記方法によれば、極めて簡単な処理により計測点の対応点を決定することができる。
【００１９】
好ましくは前記検査画像上の計測点の対応点は、前記基準画像上の計測点と、前記交点が前記検査画像上に投影された点の近傍の所定領域に対して相関処理を行うことにより決定される。この場合において、前記所定領域の大きさは、変更可能であることが好ましい。
【００２０】
上記方法において、例えば、基準点及び計測点が存在する平面が道路などのように、わずかに曲がった面であるが、ほぼ平面であると近似できるような場合や、計算上及び作業上の誤差が生じているような場合は、交点は、正確な対応点を示さない場合がある。ただし、交点は、上記の誤差の範囲内で正確な対応点の近傍に存在しているため、上記交点の近傍において所定の大きさの領域に対して相関処理を行うことにより、正確な対応点を決定することができる。前記所定領域の大きさは、例えば、近似平面の曲率などに応じて変更可能とすることが好ましい。
【００２１】
したがって、上記構成によれば、写真測量における計測点の対応付けにおいて、相関処理を行う領域を小さくすることができ、より高速かつ高精度に対応付けを行うことができる。
【００２２】
また、本発明は、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段と、前記入力された基準点の前記基準画像及び検査画像上における座標値に基づいて前記略平面の関係式を算出する平面算出手段と、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段と、前記基準カメラの光軸中心と前記計測点とを通過する直線が前記略平面と交差する交点を算出する交点算出手段と、前記交点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段とを備えることを特徴とする、写真測量における計測点の対応付け装置を提供する。
【００２３】
また、本発明は、写真測量における計測点の対応付けを行うためにコンピュータを、互いの位置関係が既知の異なる位置から撮影された基準画像及び検査画像上において略平面上に存在する複数の基準点の入力を受け付ける基準点指定手段、前記入力された基準点の前記基準画像及び検査画像上における座標値に基づいて前記略平面の関係式を算出する平面算出手段、前記基準画像上の前記略平面内において計測点を指定する計測点指定手段、前記基準カメラの光軸中心と前記計測点とを通過する直線が前記略平面と交差する交点を算出する交点算出手段、前記交点に基づいて前記検査画像上の計測点の対応点を決定する対応点決定手段、として機能させるための写真測量における計測点の対応付けプログラムを提供する。
【００２４】
【発明の実施の形態】
以下、本発明の一実施形態に係る写真測量システムについて、図面を参照しながら説明する。
【００２５】
本装置は、写真画像を入力し、解析演算するためのコンピュータで構成される。写真画像はデジタルカメラによって撮影されたものが好ましいが、フィルムカメラによって撮られた写真をスキャナなどでデータ化したものであってもよい。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、コンピュータに後述するような処理を行わせるプログラムを当該プログラムが記憶された記憶媒体を用いてインストールすることにより駆動する。
【００２６】
図１に本発明の実施形態に係る写真測量装置のブロック図を示す。本写真測量装置１は、カメラ１１、キーボードやマウスなどの入力装置１２、ディスプレイ１３などの外部機器と接続して使用される。装置１には、上記外部機器と接続するためのインターフェース装置１０と、システムプログラム記憶部３、画像記憶部４、位置指定部５、座標演算部６、平面演算部７、相関処理部８、演算部９が搭載され、バス２により相互に接続されている。
【００２７】
システムプログラム記憶部３は、上記ソフトウェアがインストールされることによって、システムプログラムを格納する。画像記憶部４は、カメラ１１から取りこまれた写真画像を蓄積する。当該写真画像は、写真測量の実行時において、画像記憶部４から読み出され、ディスプレイ１３に表示される。
【００２８】
位置指定部５、座標演算部６、平面演算部７、相関処理部８は、後述するように、システムプログラムの駆動により、写真測量を実行する場合に特定の処理、演算をそれぞれ行う。演算部９は、上記の位置指定部５、座標演算部６、平面演算部７、相関処理部８が司る処理以外の処理を行う。
【００２９】
（第１実施形態）
図２は、図１の写真測量装置を用いて写真測量を実行する場合の第１実施形態に係る処理の流れを示すフロー図である。第１実施形態は、計測点が存在する面が完全な平面である場合に好適に用いられる。
【００３０】
最初に、ステレオ画像を撮影して写真測量装置１に送信して、画像記憶部５に記憶させ基本画像及び検査画像を作成する（＃１０）。基本画像及び検査画像は、デジタルカメラ７を用いて同じ被写体を異なる位置から撮影した２枚以上の写真画像である。以下、本実施形態では、２枚の写真画像を用いた場合について説明する。写真画像は、１枚を基準画像、他の１枚を検査画像として区別する。２枚の写真画像のうち、どちらを基準画像とするかは自由であり、任意の１枚を選択することができる。
【００３１】
図３は、写真測量を行う場合についての座標系を示す図である。２つのカメラＡ、カメラＢから撮影された２枚の写真画像１１０、２１０は、それぞれの光軸中心１００ａ，２００ａを原点として、それぞれカメラの光軸方向をＺ軸とし、写真画像の長手方向がＸ軸、短手方向がＹ軸となる。したがって、カメラの傾きに応じてＸ軸は地表Ｅに平行となるとは限らない。本実施形態においては、基準画像を撮影したカメラを基準に３次元座標を特定する。すなわち、カメラＡにより撮影された写真画像１１０を基準画像とした場合は、Ｘ１，Ｙ１，Ｚ１軸を基準座標系として採用する。以下、カメラＡを基準カメラとし、カメラＡにより撮影された写真画像を基準画像とした場合について説明を進める。
【００３２】
図４に写真測量に用いられる写真画像の例を示す。図４（ａ）は、カメラＡにより撮影された写真画像（基準画像）、図４（ｂ）はカメラＢにより撮影された写真画像（検査画像）である。図４は、理解の便宜のため、後述するステップである、基準点２２ａ〜３０ａ、２２ｂ〜３０ｂ及び計測点２１ａの指定をすでに終了した画像を示している。なお、カメラ１１から送信され、まだ処理が行われていない画像には、上記指定された基準点２２ａ〜３０ａ、２２ｂ〜３０ｂ及び計測点２１ａが表示されていないことはいうまでもない。
【００３３】
次にこれらの基準画像１１０及び検査画像２１０について、複数の基準点２２ａ〜３０ａ、２２ｂ〜３０ｂの指定を行う（＃１１）。被写体の外観上、コーナーなどの判別しやすい位置を選び、２つの写真画像１１０、２１０を参照しながら両画像で同一の点を指定する。この入力は、利用者がマウスなどの入力装置８を操作することにより行われ、装置１の位置指定部５が主な処理を司る。この基準点の入力は、少なくとも５点以上することが好ましく、また、道路など平面と近似できる面２０上に存在する点２２ａ〜２９ａ、２２ｂ〜２９ｂを少なくとも３点以上対応付けておくことが好ましい。図５は、基準画像１１０及び検査画像２１０に付された基準点のみを抽出した分布図である。
【００３４】
次に、先のステップで指定した基準点の基準画像及び検査画像上の座標値に基づいて、座標演算部６によりカメラＡ１００及びカメラＢ２００の位置関係を算出する（＃１２）。本実施形態では、位置関係として、カメラＡ１００（基準カメラ）の光軸中心を原点とする基準座標系において、カメラＢ２００（検査カメラ）の光軸中心がどこに位置するかを表す座標値及びカメラＢ２００の光軸がどの方向を向いているかを示す角度を導く。また、引き続き、座標演算部６は、求められたカメラＡ１００及びカメラＢ２００の位置関係に基づいて、基準点２２〜３０の三次元座標を求める（＃１３）。
【００３５】
次に、平面演算部７は、図６に示すように、先のステップで求めた基準点の三次元座標のうち、同一平面２０上に存在する基準点２２〜２９の座標を用いて、当該平面の関係式を求める（＃１４）。このとき、少なくとも３つの基準点の座標を用いることにより、平面の関係式は、１つに定義付けられる。
【００３６】
次に、図７に示すように、位置指定部５は、入力装置１２の操作によって、計測点が基準画像上に写り込んだ点（計測点投影点）２１ａを指定する（＃１５）。図８は、図７を矢印５１の方向から見た図である。計測点２１は、上述のように、基準点２２〜２９と同一平面上に存在している。したがって、光軸中心１００ａと基準画像１１０上の計測点（計測点投影点）２１ａとを結ぶ直線Ｌ１(計測点に対する光線)を作成し、当該光線Ｌ１と平面２０との交点を求める（＃１６）。計測点２１は、光線Ｌ１上のどこかに存在し、また、計測点２１は平面２０上に存在することが明らかであるから、当該光線Ｌ１と平面２０との交点の三次元座標は、そのまま計測点２１の三次元座標を示すこととなる。
【００３７】
このようにして、計測点２１の３次元座標を導くことができるが、検査画像を用いて計測点の三次元座標の確認をすることができる。図９に示すように、上記のステップで求められた交点を検査画像２１０上に投影する。すなわち、上記のステップで求められた交点の三次元座標と検査カメラＢ２００の光軸中心２００ａを結ぶ直線Ｍ１が、検査画像２１０上を通過する点２１ｂが、検査画像２１０上の計測点の対応点となる。この検査画像２００上の対応点２１ｂと基準画像上に指定した計測点２１ａ（計測点投影点）との画像上における座標値を用いて、計測点２１の三次元座標を確認的に求めることができる。
【００３８】
この実施形態によれば、計測点２１が存在する面２０が完全な平面である場合に、検査画像上に対応点を求めることなく計測点の三次元座標を求めることができ、写真測量を容易にかつ処理の負担を少なくすることができる。また、確認的に検査画像上の対応点をパターンマッチングなどによる相関処理を行うことなく、決定することができ、例えば、基準点２２〜２９の対応付けあるいは、平面の関係式の演算などにおける誤差を実質的に少なくすることができる。
【００３９】
(第２実施形態)
図１０は、図１の写真測量装置を用いて写真測量を実行する場合の第２実施形態に係る処理の流れを示すフロー図である。第２実施形態は、計測点が存在する面が、路面などのように、ほぼ平面であると近似できる場合に好適に用いられる。
【００４０】
第２実施形態の処理の流れは、＃２０〜＃２３までの各ステップは、第１実施形態の＃１０〜＃１３までの各ステップと概ね同じである。これらのステップにより、基準点２２〜３０の三次元座標が決定すると、図１２に示すように、これらの基準点のうち、略平面１２０上に存在する基準点２２〜２９のみを選択してその三次元座標より、これらの基準点２２〜２９が最も近づくような完全な平面である仮想平面１２０ｘを想定し、その関係式を導く（＃２４）。すなわち、基準点２２〜２９が実際に存在する真の略平面１２０の形状は不明であるが、選択された基準点２２〜２９が最も近づくような仮想平面１２０ｘの関係式を最小二乗法などの手法を用いて想定する。
【００４１】
次に、第１実施形態のステップ＃１５と同様に、位置指定部５は、入力装置１２の操作によって、計測点が基準画像上に写り込んだ点（計測点投影点）２１ａを指定する（＃２５）。本実施形態では、計測点２１と基準点２２〜２９とが存在している同一面１２０の形状は不明である。したがって、第１実施形態のように、当該面１２０と光軸中心１００ａと基準画像１１０上の計測点（計測点投影点）２１ａとを結ぶ直線Ｌ２(計測点に対する光線)との交点を導くことができない。したがって、本実施形態では、先のステップ＃２４で求めた仮想平面１２０ｘと直線Ｌ２との交点２１ｘを導く（＃２６）。
【００４２】
この交点２１ｘは、図１３に示すように、通常は実際の計測点２１とは異なる点であるため、この点を検査画像２１０に投影した点は真の対応点ではない。したがって、本実施形態では、次の処理により真の対応点を求める。すなわち、まず、図１４に示すように、交点２１ｘを中心として、所定幅の区間４１を設定する（＃２７）。この設定区間４１の幅は、面１２０の曲折の程度や、仮想平面１２０ｘと面１２０との間の信頼度などに応じて任意に調整することができるようにしておくことが好ましい。
【００４３】
次いで、光線Ｌ２上の区間４１を検査画像２１０に投影する（２８）。光線Ｌ２は、図１６に示すように、検査画像２１０上にエピポーラ線４０として投影される。エピポーラ線４０は、検査画像２１０の両端にまで及ぶ広汎なものであるが、これを区間４１が投影された区分領域４１ｂに制約することにより、狭い範囲に限定することができる。なお、当該領域４１ｂは、先のステップ（＃２７）で設定した区間４１の所定幅を調整することにより、任意に調整することができる。
【００４４】
図１５から明らかなように、計測点に対する光線Ｌ２上の区間４１に真の計測点が含まれる場合は、当該設定区間４１が投影された区分領域４１ｂに真の計測点が含まれることが明らかである。したがって、当該区分領域４１ｂの近傍領域を、例えばパターンマッチングなどの相関処理の探索領域とすることにより、探索領域を小さくすることができ、パターンマッチングの処理を少なくして高速化すると共に、対応点の決定において精度を高くすることができる。具体的には、図１７に示すように、基準画像１１０に指定した計測点(計測点の基準画像への投影点)２１ａの近傍領域４２を指定する。次いで、当該領域４２ａのパターンについて検査画像２１０の制約された区分領域４１ｂの近傍にてマッチングを行い、対応点２１ｂを決定する。
【００４５】
本実施形態によれば、計測点２１が存在する面１２０が完全な平面でない場合であっても、仮想的に導いた仮想平面の関係式を用いることによって、検査画像上での探索領域を小さくすることができる。したがって、パターンマッチングなどの相関処理の負担が少なくなり、高速に処理することができるとともに、マッチングミスを少なくして精度を高くすることができる。
【００４６】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【図面の簡単な説明】
【図１】本発明の実施形態に係る写真測量装置のブロック図である。
【図２】図１の写真測量装置を用いて写真測量を行う場合の第１実施形態に係る処理の流れを示すフロー図である。
【図３】図１の装置を用いて写真測量を行う場合についての座標系を示す図である。
【図４】写真測量に用いられる写真画像の例を示す図であり、（ａ）はカメラＡ１００の写真画像（基準画像）、（ｂ）はカメラＢ２００の写真画像（検査画像）の例である。
【図５】図４に示す画像上に指定された基準点のみを抽出した図である。
【図６】平面上に存在する基準点を選択する処理の説明図である。
【図７】基準画像上に置ける計測点投影点と計測点の位置関係を示す図である。
【図８】図７を異なる角度から見た図である。
【図９】交点を検査画像への投影する場合の位置関係を示す図である。
【図１０】図１の写真測量装置を用いて写真測量を行う場合の第２実施形態に係る処理の流れを示すフロー図である。
【図１１】平面上に存在する基準点を選択する処理の説明図である。
【図１２】仮想平面と面との関係を示す図である。
【図１３】基準画像上に置ける計測点投影点と計測点の位置関係を示す図である。
【図１４】所定幅の区間を設定する処理の説明図である。
【図１５】区間を検査画像上へ投影した場合の位置関係を示す図である。
【図１６】検査画像上のエピポーラ線の区分領域を示す図である。
【図１７】パターンマッチングの説明図である。
【符号の説明】
Ｌ１、Ｌ２計測点に対する光線
１写真測量装置
２バス
３システムプログラム記憶部
４画像記憶部
５位置指定部
６座標演算部
７平面演算部
８相関処理部
９演算部
２０，１２０面
２１計測点（交点）
２１ａ計測点の基準画像への投影点
２１ｂ対応点（計測点の検査画像への投影点）
２１ｘ仮想平面と光線との交点
２２〜３０基準点
２２ａ〜３０ａ基準点の基準画像への投影点
２２ｂ〜３０ｂ基準点の検査画像への投影点
４０エピポーラ線
４１設定区間
４１ｂ区分領域
１００カメラＡ（基準カメラ）
１１０基準画像
１２０ｘ仮想平面
２００カメラＢ（検査カメラ）
２１０検査画像[0001]
BACKGROUND OF THE INVENTION
The present invention is for associating measurement points in photographic analysis performed using two or more stereo images, and in particular, in three-dimensional stereoscopic measurement by computer analysis performed using digital photographic images, The present invention relates to a system for performing association.
[0002]
[Prior art]
Conventionally, a technique for analyzing stereo images, in particular, computer analysis of a subject captured in a digital image, has been used in the field of photogrammetry, and is particularly used for creating topographic maps. .
[0003]
In the computer analysis of the stereo image, it is necessary to derive the positional relationship between at least two cameras and to associate the measurement points imprinted on the photographic images taken by the two cameras. Specifically, the measurement point imprinted in one photographic image is specified in another photographic image, and measurement is performed using the two-dimensional coordinates on the two or more photographic images and the three-dimensional coordinates of the camera. Derives the 3D coordinates of a point.
[0004]
Since it is difficult to accurately associate the same measurement point in a plurality of photographs by manual operation by visual observation, Japanese Patent No. 3316682 (Patent Document 1) includes a pattern matching using a computer. A technique performed by correlation processing is disclosed.
[0005]
However, in the correlation processing for performing this association, performing all regions of the photographic image as a target lengthens the processing time, and, for example, the association is incorrect for photographic images that repeatedly contain similar patterns. There is also the problem of doing it in a different position. In order to solve this problem, various techniques for narrowing down the area where correlation processing is performed to solve the above problem have been proposed.
[0006]
In Japanese Patent Laid-Open No. 2001-280955 (Patent Document 2), a search area is set based on at least three segment points, and correlation processing is performed on images of the search areas to perform correlation processing. A technique for reducing the size is disclosed.
[0007]
Also, in the paper by Mosquito et al. (Non-patent Document 1) and the publication by Xu Tsuyoshi (Non-patent Document 2), the correlation processing is performed by narrowing the region to be correlated on the epipolar line using the epipolar constraint condition. A technique for reducing the search area to be performed is disclosed (Non-Patent Document 1, page 528, left column, lines 9 to 14; Non-Patent Document 2, pages 31 to 32).
[0008]
However, FIG. As shown in FIG. 1, an epipolar line in which a half line (a light ray with respect to a measurement point) that starts from the center of the optical axis and passes through the measurement point is projected onto another photographic image usually extends from one end of the other photographic image to the other end. Will exist. Therefore, even in this technique, the area for performing correlation processing is still extensive. Therefore, if this can be further narrowed down and reduced, the correlation processing can be performed at higher speed and with higher accuracy. On the other hand, if the area is too narrowed, the photogrammetry itself can no longer be performed if the measurement point on the other image deviates from the search area.
[0009]
[Patent Document 1]
Japanese Patent No. 3316682 [Patent Document 2]
JP 2001-280955 A [Non-Patent Document 1]
Hiroshi Mosquito, 3 others, “Realization of Camera Geometric Correction Function in Video Rate Stereo Machine”, Journal of the Robotics Society of Japan, May 1998, Vol. 16, No. 4, p527-532
[Non-Patent Document 2]
Xu Tsuyoshi, “Three-dimensional CG from photographs”, Modern Science, January 2001, p. 31-33
[0010]
[Problems to be solved by the invention]
Therefore, the technical problem to be solved by the present invention is to perform correlation at a higher speed and with a higher accuracy by reducing the burden of correlation processing in the association of measurement points in photogrammetry.
[0011]
[Means for Solving the Problems]
In order to solve the above technical problem, the present invention provides a method for associating measurement points in the following photogrammetry.
[0012]
This method creates a reference image and an inspection image photographed by a reference camera whose positional relationship is known and an inspection camera arranged at a position different from the reference camera, and arranges them on a substantially plane on the reference image. A plurality of designated reference points are specified, a relational expression of the substantially plane is calculated based on the position of the reference point, and a straight line passing through the optical axis center of the reference camera and the measurement point specified in the reference image A three-dimensional coordinate of an intersection that intersects the substantially plane is calculated, and a corresponding point of the measurement point on the inspection image is determined based on the intersection.
[0013]
In the above method, the positional relationship between the reference camera and the inspection camera, that is, the coordinate value indicating where the other camera (inspection camera) is located and the direction in which the other camera is facing as viewed from the coordinate system of the reference camera. The angle indicating whether or not is known. Therefore, if any point that is imprinted on both the reference image and the inspection image can be specified in association with each other, the three-dimensional coordinates of the point can be specified.
[0014]
In general, in a three-dimensional space, a plane including at least three arbitrary points can be defined as one, and a relational expression of the plane can be derived. By specifying a reference point on a substantially plane that can be approximated as a substantially plane, a relational expression of the plane including the reference point is derived. If the relational expression of the substantially plane is clarified, the three-dimensional coordinates of an arbitrary point on the plane can be derived. That is, a measurement point can be specified in a substantially plane on the reference image, and a three-dimensional coordinate can be derived from an intersection where a straight line connecting the optical axis center of the reference camera and the measurement point on the substantially plane intersects the plane. In addition, the intersection point whose three-dimensional coordinates are known can be derived as to which position on the inspection image is projected. Corresponding points can be determined based on the intersections present on the inspection image.
[0015]
According to the above method, by specifying a reference point on a substantially plane where a measurement point exists, a relational expression of the substantially plane is derived, and an inspection is performed from the three-dimensional coordinates of the measurement point calculated in relation to the substantially plane. Since the corresponding points of the measurement points projected on the image can be determined, it is possible to reduce the burden of the correlation processing performed on the inspection image by a method such as pattern matching as in the past. Therefore, in association of measurement points in photogrammetry, it is possible to reduce the burden of correlation processing and perform association at higher speed and higher accuracy.
[0016]
Specifically, this method can take various forms as follows.
[0017]
Preferably, the corresponding point of the measurement point on the inspection image is the intersection point.
[0018]
In the above method, for example, when the plane on which the reference point and the measurement point exist is a complete plane, a straight line passing through the optical axis center of the reference camera and the measurement point specified in the reference image (with respect to the measurement point) The point at which the intersection where the light ray intersects the substantially plane is projected onto the inspection image can be used as the corresponding point as it is. According to the above method, the corresponding point of the measurement point can be determined by an extremely simple process.
[0019]
Preferably, the corresponding point of the measurement point on the inspection image is determined by performing correlation processing on a predetermined area in the vicinity of the measurement point on the reference image and the point where the intersection is projected on the inspection image. Is done. In this case, it is preferable that the size of the predetermined area can be changed.
[0020]
In the above method, for example, the plane on which the reference point and the measurement point exist is a slightly curved surface such as a road, but it can be approximated to be almost a plane, or a calculation or work error. In such a case, the intersection may not show an exact corresponding point. However, since an intersection exists in the vicinity of an exact corresponding point within the above error range, an accurate corresponding point can be obtained by performing correlation processing on an area of a predetermined size in the vicinity of the intersection. Can be determined. It is preferable that the size of the predetermined region can be changed according to, for example, the curvature of the approximate plane.
[0021]
Therefore, according to the above configuration, in association of measurement points in photogrammetry, an area for performing correlation processing can be reduced, and association can be performed at higher speed and with higher accuracy.
[0022]
Further, the present invention provides a reference point designating unit that accepts input of a plurality of reference points that exist on a substantially plane on a reference image and an inspection image taken from different positions whose positional relationships are known, and the input Plane calculating means for calculating a relational expression of the substantially plane based on the coordinate values of the reference point on the reference image and the inspection image; and measurement point specifying means for specifying a measurement point in the substantially plane on the reference image; An intersection calculation means for calculating an intersection where a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane, and a corresponding point of the measurement point on the inspection image is determined based on the intersection And a corresponding point determining means for providing a measuring point in photogrammetry.
[0023]
The present invention also provides a computer for associating measurement points in photogrammetry with a plurality of standards present on a substantially plane on a reference image and an inspection image taken from different positions whose mutual positional relationships are known. A reference point designating unit that accepts an input of a point, a plane calculating unit that calculates a relational expression of the substantially plane based on a coordinate value on the reference image and the inspection image of the input reference point, and the abbreviation on the reference image Measurement point designating means for designating a measurement point in a plane, intersection calculation means for calculating an intersection where a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane, and based on the intersection A program for associating measurement points in photogrammetry for functioning as corresponding point determination means for determining corresponding points of measurement points on an inspection image is provided.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a photogrammetry system according to an embodiment of the present invention will be described with reference to the drawings.
[0025]
This apparatus is composed of a computer for inputting a photographic image and performing an analysis operation. The photograph image is preferably taken by a digital camera, but may be a photograph obtained by converting a photograph taken by a film camera into data. The camera may be for photo measurement with internal orientation or a general-purpose digital camera with no internal orientation. A general-purpose computer can be used, and is driven by installing a program that causes the computer to perform processing as described later using a storage medium that stores the program.
[0026]
FIG. 1 shows a block diagram of a photogrammetry apparatus according to an embodiment of the present invention. The photogrammetry apparatus 1 is used by connecting to a camera 11, an input device 12 such as a keyboard and a mouse, and an external device such as a display 13. The device 1 includes an interface device 10 for connecting to the external device, a system program storage unit 3, an image storage unit 4, a position designation unit 5, a coordinate calculation unit 6, a plane calculation unit 7, a correlation processing unit 8, and a calculation. Units 9 are mounted and connected to each other by a bus 2.
[0027]
The system program storage unit 3 stores the system program by installing the software. The image storage unit 4 accumulates photographic images captured from the camera 11. The photographic image is read from the image storage unit 4 and displayed on the display 13 when the photogrammetry is executed.
[0028]
As will be described later, the position specifying unit 5, the coordinate calculation unit 6, the plane calculation unit 7, and the correlation processing unit 8 respectively perform specific processing and calculation when performing photogrammetry by driving a system program. The calculation unit 9 performs processes other than the processes controlled by the position specifying unit 5, the coordinate calculation unit 6, the plane calculation unit 7, and the correlation processing unit 8.
[0029]
(First embodiment)
FIG. 2 is a flowchart showing the flow of processing according to the first embodiment when the photogrammetry is executed using the photogrammetry apparatus of FIG. 1st Embodiment is used suitably when the surface where a measurement point exists is a perfect plane.
[0030]
First, a stereo image is taken and transmitted to the photogrammetry apparatus 1 and stored in the image storage unit 5 to create a basic image and an inspection image (# 10). The basic image and the inspection image are two or more photographic images obtained by photographing the same subject from different positions using the digital camera 7. Hereinafter, in this embodiment, a case where two photographic images are used will be described. A photographic image is distinguished as one reference image and the other as an inspection image. Which of the two photographic images is used as a reference image is arbitrary, and any one can be selected.
[0031]
FIG. 3 is a diagram showing a coordinate system for performing photogrammetry. The two photographic images 110 and 210 taken from the two cameras A and B have the optical axis centers 100a and 200a as the origin, the optical axis direction of each camera as the Z axis, and the longitudinal direction of the photographic image is The X axis and the short direction are the Y axis. Therefore, the X axis is not always parallel to the ground surface E according to the tilt of the camera. In the present embodiment, the three-dimensional coordinates are specified based on the camera that captured the reference image. That is, when the photographic image 110 taken by the camera A is used as the reference image, the X1, Y1, and Z1 axes are adopted as the reference coordinate system. Hereinafter, a description will be given of a case where the camera A is a reference camera and a photographic image taken by the camera A is a reference image.
[0032]
FIG. 4 shows an example of a photographic image used for photogrammetry. 4A shows a photographic image (reference image) taken by the camera A, and FIG. 4B shows a photographic image (inspection image) taken by the camera B. FIG. 4 shows an image in which the designation of reference points 22a to 30a, 22b to 30b and measurement points 21a, which are steps to be described later, has already been completed for convenience of understanding. Needless to say, the designated reference points 22a to 30a, 22b to 30b and the measurement point 21a are not displayed in the image transmitted from the camera 11 and not yet processed.
[0033]
Next, a plurality of reference points 22a to 30a and 22b to 30b are designated for these reference image 110 and inspection image 210 (# 11). A position such as a corner that is easy to distinguish is selected on the appearance of the subject, and the same point is designated in both images while referring to the two photographic images 110 and 210. This input is performed by the user operating the input device 8 such as a mouse, and the position specifying unit 5 of the device 1 performs the main processing. It is preferable to input at least five reference points, and it is preferable to associate at least three points 22a to 29a and 22b to 29b existing on the plane 20 that can be approximated with a plane such as a road. . FIG. 5 is a distribution diagram in which only the reference points attached to the reference image 110 and the inspection image 210 are extracted.
[0034]
Next, based on the reference image of the reference point specified in the previous step and the coordinate value on the inspection image, the coordinate calculation unit 6 calculates the positional relationship between the camera A100 and the camera B200 (# 12). In this embodiment, as a positional relationship, a coordinate value indicating where the optical axis center of the camera B200 (inspection camera) is located in the reference coordinate system having the optical axis center of the camera A100 (reference camera) as the origin, and the camera B200. An angle indicating which direction the optical axis of the light is directed is derived. Further, the coordinate calculation unit 6 continues to obtain the three-dimensional coordinates of the reference points 22 to 30 based on the obtained positional relationship between the camera A100 and the camera B200 (# 13).
[0035]
Next, as shown in FIG. 6, the plane calculation unit 7 uses the coordinates of the reference points 22 to 29 existing on the same plane 20 among the three-dimensional coordinates of the reference points obtained in the previous step. A plane relational expression is obtained (# 14). At this time, the plane relational expression is defined as one by using the coordinates of at least three reference points.
[0036]
Next, as shown in FIG. 7, the position designation unit 5 designates a point (measurement point projection point) 21a where the measurement point is reflected on the reference image by operating the input device 12 (# 15). FIG. 8 is a view of FIG. 7 viewed from the direction of the arrow 51. The measurement point 21 exists on the same plane as the reference points 22 to 29 as described above. Therefore, a straight line L1 (a light beam with respect to the measurement point) connecting the optical axis center 100a and the measurement point (measurement point projection point) 21a on the reference image 110 is created, and an intersection of the light beam L1 and the plane 20 is obtained (# 16). ). Since it is clear that the measurement point 21 exists somewhere on the light ray L1 and the measurement point 21 exists on the plane 20, the three-dimensional coordinates of the intersection of the light ray L1 and the plane 20 are unchanged. The three-dimensional coordinates of the measurement point 21 will be shown.
[0037]
Thus, although the three-dimensional coordinate of the measurement point 21 can be derived, the three-dimensional coordinate of the measurement point can be confirmed using the inspection image. As shown in FIG. 9, the intersection obtained in the above steps is projected on the inspection image 210. That is, a point 21b where the straight line M1 connecting the three-dimensional coordinates of the intersection obtained in the above step and the optical axis center 200a of the inspection camera B200 passes on the inspection image 210 is a corresponding point of the measurement point on the inspection image 210. It becomes. Using the coordinate values on the image of the corresponding point 21b on the inspection image 200 and the measurement point 21a (measurement point projection point) designated on the reference image, the three-dimensional coordinates of the measurement point 21 can be obtained in a confirming manner. it can.
[0038]
According to this embodiment, when the surface 20 on which the measurement point 21 exists is a complete plane, the three-dimensional coordinates of the measurement point can be obtained without obtaining the corresponding point on the inspection image, thereby facilitating photogrammetry. Moreover, the processing burden can be reduced. Further, the corresponding points on the inspection image can be determined without confirmation by performing correlation processing such as pattern matching. For example, errors in the association of the reference points 22 to 29 or the calculation of the relational expression of the plane Can be substantially reduced.
[0039]
(Second embodiment)
FIG. 10 is a flowchart showing a flow of processing according to the second embodiment in the case of performing photogrammetry using the photogrammetry apparatus of FIG. The second embodiment is suitably used when the surface on which the measurement point exists can be approximated as a substantially flat surface such as a road surface.
[0040]
In the processing flow of the second embodiment, the steps # 20 to # 23 are substantially the same as the steps # 10 to # 13 of the first embodiment. When the three-dimensional coordinates of the reference points 22 to 30 are determined by these steps, only the reference points 22 to 29 existing on the substantially plane 120 are selected from these reference points as shown in FIG. From the three-dimensional coordinates, a virtual plane 120x that is a perfect plane such that these reference points 22 to 29 are closest to each other is assumed, and the relational expression is derived (# 24). That is, although the shape of the true substantially plane 120 where the reference points 22 to 29 actually exist is unknown, a relational expression of the virtual plane 120x that is closest to the selected reference points 22 to 29 is expressed by a least square method or the like. Assume using the method.
[0041]
Next, as in step # 15 of the first embodiment, the position designation unit 5 designates a point (measurement point projection point) 21a where the measurement point is reflected on the reference image by operating the input device 12 ( # 25). In the present embodiment, the shape of the same surface 120 on which the measurement point 21 and the reference points 22 to 29 are present is unknown. Therefore, as in the first embodiment, the intersection of the surface 120, the optical axis center 100a, and the straight line L2 (light ray with respect to the measurement point) connecting the measurement point (measurement point projection point) 21a on the reference image 110 is derived. I can't. Therefore, in the present embodiment, the intersection 21x between the virtual plane 120x and the straight line L2 obtained in the previous step # 24 is derived (# 26).
[0042]
As shown in FIG. 13, this intersection point 21x is usually a point different from the actual measurement point 21, and the point at which this point is projected onto the inspection image 210 is not a true corresponding point. Therefore, in this embodiment, a true corresponding point is obtained by the following process. That is, first, as shown in FIG. 14, a section 41 having a predetermined width is set around the intersection 21x (# 27). It is preferable that the width of the setting section 41 can be arbitrarily adjusted according to the degree of bending of the surface 120, the reliability between the virtual plane 120x and the surface 120, and the like.
[0043]
Next, the section 41 on the light beam L2 is projected onto the inspection image 210 (28). The light ray L2 is projected as an epipolar line 40 on the inspection image 210 as shown in FIG. The epipolar line 40 is a wide line extending to both ends of the inspection image 210. However, the epipolar line 40 can be limited to a narrow range by limiting the section area 41b onto which the section 41 is projected. The area 41b can be arbitrarily adjusted by adjusting the predetermined width of the section 41 set in the previous step (# 27).
[0044]
As is clear from FIG. 15, when a true measurement point is included in the section 41 on the light beam L2 with respect to the measurement point, it is clear that the true measurement point is included in the segmented area 41b on which the setting section 41 is projected. It is. Therefore, by setting the neighborhood region of the segmented region 41b as a search region for correlation processing such as pattern matching, for example, the search region can be reduced, the pattern matching processing is reduced and the processing speed is increased. The accuracy can be increased in the determination of. Specifically, as shown in FIG. 17, the vicinity region 42 of the measurement point (projection point of the measurement point on the reference image) 21a specified in the reference image 110 is specified. Next, the pattern of the region 42a is matched in the vicinity of the restricted segmented region 41b of the inspection image 210 to determine the corresponding point 21b.
[0045]
According to the present embodiment, even if the surface 120 on which the measurement point 21 exists is not a complete plane, the search area on the inspection image can be reduced by using the virtual plane relational expression that is virtually derived. can do. Therefore, the burden of correlation processing such as pattern matching is reduced, processing can be performed at high speed, and matching errors can be reduced to increase accuracy.
[0046]
In addition, this invention is not limited to the said embodiment, It can implement in another various aspect.
[Brief description of the drawings]
FIG. 1 is a block diagram of a photogrammetry apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a flow of processing according to the first embodiment when photogrammetry is performed using the photogrammetry apparatus of FIG. 1;
FIG. 3 is a diagram showing a coordinate system when photogrammetry is performed using the apparatus of FIG. 1;
4A and 4B are diagrams illustrating examples of photographic images used for photogrammetry, where FIG. 4A is a photographic image (reference image) of camera A100, and FIG. 4B is an example of a photographic image (inspection image) of camera B200. .
FIG. 5 is a diagram in which only reference points designated on the image shown in FIG. 4 are extracted.
FIG. 6 is an explanatory diagram of a process of selecting a reference point existing on a plane.
FIG. 7 is a diagram showing a positional relationship between measurement point projection points and measurement points that can be placed on a reference image.
FIG. 8 is a view of FIG. 7 viewed from a different angle.
FIG. 9 is a diagram showing a positional relationship when an intersection point is projected onto an inspection image.
FIG. 10 is a flowchart showing a flow of processing according to the second embodiment when photogrammetry is performed using the photogrammetry apparatus of FIG. 1;
FIG. 11 is an explanatory diagram of a process of selecting a reference point existing on a plane.
FIG. 12 is a diagram illustrating a relationship between a virtual plane and a surface.
FIG. 13 is a diagram illustrating a positional relationship between measurement point projection points and measurement points that can be placed on a reference image.
FIG. 14 is an explanatory diagram of processing for setting a section having a predetermined width.
FIG. 15 is a diagram illustrating a positional relationship when a section is projected onto an inspection image.
FIG. 16 is a diagram showing a segmented region of epipolar lines on an inspection image.
FIG. 17 is an explanatory diagram of pattern matching.
[Explanation of symbols]
L1, L2 Rays for measurement points 1 Photogrammetry device 2 Bus 3 System program storage unit 4 Image storage unit 5 Position specifying unit 6 Coordinate calculation unit 7 Plane calculation unit 8 Correlation processing unit 9 Calculation units 20 and 120 Surface 21 Measurement points (intersection points) )
21a Projection point of measurement point on reference image 21b Corresponding point (projection point of measurement point on inspection image)
21x Intersection point 22-30 of virtual plane and ray Reference point 22a-30a Projection point 22b-30b of reference point on reference image 40 Projection point of reference point on inspection image 40 Epipolar line 41 Setting section 41b Segmented area 100 Camera A ( Reference camera)
110 Reference image 120x Virtual plane 200 Camera B (inspection camera)
210 Inspection image

Claims

A reference image and an inspection image respectively photographed by a reference camera whose positional relationship is known and an inspection camera arranged at a position different from the reference camera are created, and a reference point arranged on a substantially plane on the reference image A plurality of points, a relational expression of the substantially plane is calculated based on the position of the reference point, a measurement point is designated within the substantially plane on the reference image, and an optical axis center of the reference camera and the measurement point Measuring points in photogrammetry, wherein a three-dimensional coordinate of an intersection point where a straight line passing through the substantially plane intersects is calculated, and a corresponding point of the measurement point on the inspection image is determined based on the intersection point Mapping method.

When the substantially plane includes a measurement point and is a complete plane, the corresponding point of the measurement point on the inspection image is a point where the intersection is projected on the inspection image. Item 4. A method for associating measurement points in photogrammetry according to Item 1.

The corresponding point of the measurement point on the inspection image is determined by performing a correlation process on a predetermined area near the measurement point on the reference image and the point where the intersection is projected on the inspection image. The method of associating measurement points in photogrammetry according to claim 1.

4. The method of associating measurement points in photogrammetry according to claim 3, wherein the size of the predetermined area is changeable.

The plane relational expression is calculated based on the positional relationship between the reference camera and the inspection camera and the reference image of three or more reference points and the three-dimensional coordinates of the reference point calculated from the coordinate values on the inspection image. The method for associating measurement points in photogrammetry according to claim 1, wherein:

A reference point designating unit that accepts input of a plurality of reference points existing on a substantially plane on a reference image and an inspection image taken from different positions whose mutual positional relationships are known;
Plane calculating means for calculating a relational expression of the substantially plane based on coordinate values on the reference image and inspection image of the input reference point;
Measurement point designating means for designating measurement points in the substantially plane on the reference image;
Intersection calculating means for calculating a three-dimensional coordinate of an intersection where a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane;
An apparatus for associating measurement points in photogrammetry, comprising: corresponding point determination means for determining corresponding points of measurement points on the inspection image based on the intersection points.

7. The correspondence point determination unit according to claim 6, wherein the corresponding point is a point where the intersection point determined by the intersection point calculation unit is projected on the inspection image. apparatus.

The corresponding point determination means performs a correlation process on a predetermined area in the vicinity of a point where the measurement point on the reference image and the intersection determined by the intersection calculation means are projected on the inspection image, The corresponding point of the measurement point in the photogrammetry according to claim 6 or 7, wherein a corresponding point of the measurement point on the inspection image is determined.

9. The apparatus for associating measurement points in photogrammetry according to claim 8 , wherein the corresponding point determination means can change the size of the predetermined area.

A computer is used to associate measurement points in photogrammetry.
A reference point designating unit that accepts input of a plurality of reference points existing on a substantially plane on a reference image and an inspection image taken from different positions whose mutual positional relationships are known;
Plane calculating means for calculating a relational expression of the substantially plane based on the coordinate values on the reference image and inspection image of the input reference point;
Measurement point designating means for designating measurement points in the substantially plane on the reference image;
Intersection calculation means for calculating a three-dimensional coordinate of an intersection where a straight line passing through the optical axis center of the reference camera and the measurement point intersects the substantially plane;
Corresponding point determination means for determining a corresponding point of the measurement point on the inspection image based on the intersection point;
For associating measurement points in photogrammetry to function as

A storage medium storing the program according to claim 10.