JP2006350553A - 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 特殊なターゲットを用いることなく、土木分野においても好適に利用できる標定点探索を実現する。
【解決手段】 重複撮影された複数の撮影画像間の標定点を探索する標定点探索装置５は、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素を取得する相互標定要素取得処理部２３と、各撮影画像の撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する標定点候補抽出処理部２１と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出部２２ａと、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する標定点探索処理部２４とを備える。
【選択図】 図２

Description

本発明は、計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点探索に関するものである。

従来、土木分野などにおいて利用される計測手法として、３次元画像計測が知られている。「３次元画像計測」とは、計測対象を様々な方向からデジタルカメラで重複撮影し、前方交会法（例えば、非特許文献１参照）によって計測対象の３次元形状を求める技術である。

上記前方交会法によって計測対象の３次元形状を求めるためには、相互標定（単に「標定」ともいう）を行う必要がある。「相互標定」とは、重複撮影した各撮影画像間での対応点の、各撮影画像上での画像座標に基づいて、各撮影画像間の相対的な位置関係（平行移動及び回転）を求めることをいう。「対応点」とは、各撮影画像において、計測対象のうちの同一部位が投影された点のことである。

したがって、相互標定を行うためには、まず、各撮影画像において対応点を特定しておく必要があり、実際には、少なくとも５点以上の対応点を特定しておく必要がある。このように対応点を特定するための作業を、「対応点探索」と称する。

なお、対応点探索は、上記相互標定のみならず、前方交会法により計測対象の３次元形状を求める際にも利用される。上記対応点のうち、相互標定を行うために用いるものを、特に「標定点」とも称し、標定点を特定するための作業を「標定点探索」とも称する。

対応点探索や標定点探索を自動的に行うための手法として、非特許文献２に開示されているようなステレオ視や、非特許文献３に開示されているような最小２乗相関法を利用する技術、非特許文献４に開示されているような、直線状の像の投影関係をもとに自動標定を行う技術がある。

また、工業製品などの精密画像計測では、特殊なターゲットを用いて標定点探索の自動化を行うのが一般的である。この技術は、非特許文献５に開示されている。このような工業計測において用いられる円形ターゲットについて、楕円パラメータの計算方法を示した非特許文献６も存在する。
「情報化施工のためのデジタル画像計測法に関する研究」秋本 圭一 著 京都大学工学研究科土木システム工学専攻博士論文 2002年3月 p.120-123 「コンピュータビジョン 技術評論と将来展望」松山 隆司ほか著 新技術コミュニケーションズ 1998年6月15日発行 p.123-137 「最小２乗相関法による相互標定点の対話的精密計測」服部 進ほか著 電子情報通信学会論文誌 Vol.179-D-II No.9 1996 p.1484-1491 「動画像を用いた歴史的建造物の効率的モデリング手法に関する研究」國井 洋一ほか著 日本写真測量学会平成１５年度秋季学術講演会発表論文 p.59-62 「ターゲットの自動ラベリング−コード付きターゲットを使った工業計測の自動化」小野 徹ほか著 日本写真測量学会平成１１年度年次学術講演会発表論文集 1999年5月 p.289-292 「円形ターゲットの自動認識と高精度計測」小野 徹ほか著 日本写真測量学会平成１３年度年次学術講演会発表論文集 2001年6月 p.159-162

しかしながら、非特許文献２に開示されているステレオ視は、既に相互標定が行われていることを前提としているため、重複撮影の際の各撮影画像の位置や方向が概算値でしか与えられない場合に適用することは困難である。

また、非特許文献３に開示されている技術は、空中写真測量のように、標定要素の初期値の精度が比較的高いこと、及びほぼ直角撮影を行っており飛行高度に対して地形の標高差は充分小さくほぼ平面とみなして処理することができること、という好条件を前提にしたものであるため、一般的な画像計測に適用しても全く役に立たない。

また、非特許文献４に開示されている技術は、人工的な強い直線形状を持つ物体が少ない土木分野においてはそのまま適用することができない。しかも、このようなエッジを用いる方法には、エッジ位置の曖昧さにより高い精度での標定が行えないという弱点もある。とりわけ野外での計測では、天候や時間帯により対象の明るさや影のでき方が異なり、撮影時の環境によってエッジの位置が大きく変化するため、安定した計測ができない。そのため、計測を目的としないコンピュータビジョンの分野では適用可能であっても、計測を目的とする分野には適用できない。

また、特殊なターゲットを用いて標定点探索の自動化を行う技術では、規模が大きく、近づくことが危険であったり、立ち入ることが許されなかったりする計測対象を扱う土木分野での計測では、ターゲットを設置することが困難である場合が多い。

そのため、特に土木分野において利用される計測では、特殊なターゲットを用いずに標定を行うことのできる技術が切望されている。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、特殊なターゲットを用いることなく、土木分野においても好適に利用できる対応点探索を実現することにある。

本発明に係る対応点探索方法は、計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索方法であって、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得処理と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出処理と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出処理と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定処理とを含むことを特徴としている。

また、本発明に係る対応点探索装置は、計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索装置であって、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得手段と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出手段と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出手段と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定手段とを備えることを特徴としている。

上記の方法及び構成では、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する。なお、エピポーラ拘束条件は、後述する、対応点であるか否かの判定における判定基準の１つであり、実際の判定には後述する楕円パラメータを用いた基準も利用されるので、必ずしも厳密に求められる必要はない。したがって、上記相互標定要素の概算値にも、ある程度の誤差が含まれていてもよい。

一方、上記の方法及び構成では、複数の撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する。目立つ対象物は、その周辺の色とは異なる色を示しており、撮影画像データの色情報に基づいて撮影画像において領域分離可能な物体であればよい。したがって、計測対象にもともと含まれている物体を目立つ対象物とすることができ、例えば、洪水により押し流された土砂の堆積形状を計測対象とした場合には、褐色の土砂に混じって点在する白っぽい色の石を対象物とすることができる。

そして、抽出した画素領域に含まれる画素の位置情報に基づくことにより、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する。楕円パラメータとは、楕円の中心座標、撮影画像における楕円の傾き、楕円の長半径、及び楕円の短半径を意味する。楕円の中心座標は、抽出した画素領域の重心として求めることができ、撮影画像における楕円の傾き、楕円の長半径、及び楕円の短半径は、画素領域の画素の分布状態に対する主成分分析を用いて求めることができる。

そして、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する。この判定は、次のようにして行うことができる。

すなわち、取得した撮影条件の相互標定要素の概算値と、各撮影画像において抽出された画素領域に関する楕円の中心座標とにより、エピポーラ拘束条件を満たしているか否かを判定し、各撮影画像において抽出された画素領域に関する楕円パラメータが所定の関係式を満たしているか否かを判定し、これら両方を満たす場合に、各撮影画像において抽出された画素領域に対応関係があるものと判定することができる。対応関係があるものと判定できれば、それぞれの画素領域に関連する点（例えば、当該画素領域に関して算出された楕円パラメータの中心座標）を対応点として特定することができる。

ここで、楕円を用いて対応関係の判定を行っている理由は次のとおりである。

点を用いる場合には、得られる情報は撮影画像における座標情報のみとなり、対応関係の判定に利用できる幾何学的条件はエピポーラ拘束条件のみとなり、通常、エピポーラ拘束条件を満たす点は多数存在することになるため、対応関係の絞り込みはできたとしても、最終的に対応関係の有無を判定することは困難である。

一方、直線を用いる場合には、撮影画像における座標情報に加えて方向情報を得ることができる。しかし、対象物の３次元空間における傾きにより対応する撮影画像における直線の像の傾きは変化する。一般に、対象物の傾きは未知であるから、傾きの対応関係を得ることはできない。したがって、この場合も、対応関係の判定に利用できる幾何学的条件はエピポーラ拘束条件のみとなる。

円錐を切ってできる曲線を用いる場合には、対応関係を判定するために有効な幾何学的条件の存在が知られているが、実用上はそのような曲線を特定することは極めて困難であるため、このような曲線を用いることは現実的ではない。

これに対して、楕円を用いる場合には、楕円の中心座標に基づくエピポーラ拘束条件に加えて、楕円パラメータを判定基準とすることができるので、対応関係の有無をより的確に判定できる。楕円パラメータを判定基準とすることができる理由は次のとおりである。

対象物の形状が楕円で表されるとすると、画像に対するその正射投影像もまた楕円である。正射投影とは平行な光線による画像への垂直な投影である。ただし、その際に像の拡大縮小も伴うため、単なる平行投影ではない。実際の投影は中心投影であり、対象物から画像へ投影される際の光線も画像に垂直に投影されるわけではないので、実画像から正射投影画像への変換が必要である。投影像が楕円であれば実画像から正射投影像への変換は容易である。

対象物の三次元空間における傾きが既知である場合、正射投影像上の楕円形状からその対象物を表す楕円形状を一意に決定することができる。対象物の傾きが未知である場合には、ひとつの正射投影像上の楕円形状から対象物の楕円形状を特定することはできないが、異なる方向から撮影した複数の重複撮影画像が存在するなら、それぞれの楕円形状の逆投影像が特定の対象平面上で交会するという条件から、対象物が存在する平面の傾きが決定する。このことは、異なる方向から撮影されたそれぞれの正射投影像上の楕円同士は一定の幾何学的関係によって表すことができることを意味する。

具体的には、両画像上における楕円が同一の対象物を表すものであれば、それぞれの楕円パラメータに関する関係式（数式２０参照）が成り立つ。したがって、上記関係式が成り立つ場合には各画像上における楕円が同一の対象物を表すものと判断でき、上記関係式が成り立たない場合には各画像上における楕円が異なる対象物を表すものと判断できる。

この関係は対象物が画像に対してほぼ平行投影されるような場合についてのみ成り立つので、対象物が十分小さいこと、撮影距離が十分離れていること、対象物が平面的であること、といった条件が満たされている必要がある。これらの条件のうち対象物が平面的であることは仮定となるが、それ以外は撮影条件や領域分割の設定の問題であるから十分クリアすることが可能である。

以上より、上記の方法及び構成では、各撮影画像において目立つ対象物を用いることにより、的確な対応点の判定を行うことができる。

本発明に係る対応点探索方法は、上記対応点探索方法において、抽出した画素領域の非対称性の特徴を認識する非対称性認識処理をさらに含み、前記判定処理では、さらに、認識した非対称性の特徴に基づいて前記判定を行うことが望ましい。

また、本発明に係る対応点探索装置は、上記対応点探索装置において、抽出した画素領域の非対称性の特徴を認識する非対称性認識手段をさらに備え、前記判定手段は、さらに、認識した非対称性の特徴に基づいて前記判定を行うことが望ましい。

対応関係のない２つの画素領域であっても、同一の楕円により表現される可能性がある。したがって、このように同一の楕円により表現されたとしても、これらの間には対応関係がないことを判定できる基準を用いることが望ましい。

対応関係はなく、かつ、同一の楕円により表現される２つの画素領域においても、非対称性の特徴に注目することにより、これらの間に対応関係がないことを判定し得る。

そこで、上記の方法及び構成では、抽出した画素領域の非対称性の特徴を認識し、この非対称性の特徴をも考慮して、各撮影画像において抽出された画素領域に対応関係があるか否かの判定を行う。

これにより、誤って対応関係があると判断してしまう危険性をより低減し、より的確な対応点の判定を行うことができる。

本発明に係る相互標定方法は、上記対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、特定された対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定処理とを含むことによって実現できる。

また、本発明に係る相互標定装置は、上記対応点探索装置と、対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定手段とを備えることによって構成することができる。

本発明に係る３次元画像計測方法は、上記対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、特定された対応点の各撮影画像における座標に基づいて、前方交会法により対応点の３次元座標を算出する３次元計測処理とを含むことによって実現できる。

また、本発明に係る３次元画像計測装置は、上記対応点探索装置と、対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、前方交会法により対応点の３次元座標を算出する３次元計測手段とを備えることによって構成できる。

本発明に係る対応点探索プログラムは、上記対応点探索装置をコンピュータにより実現するための対応点探索プログラムであって、コンピュータを前記各手段として機能させるものであり、本発明に係るコンピュータ読み取り可能な記録媒体は、上記対応点探索プログラムを記録した記録媒体である。これらによっても、上記対応点探索装置を実現することができる。

本発明に係る対応点探索方法は、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得処理と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出処理と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出処理と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定処理とを含む方法である。

また、本発明に係る対応点探索装置は、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得手段と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出手段と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出手段と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定手段とを備える構成である。

上記の方法及び構成では、各撮影画像において目立つ対象物を用いることにより、的確な対応点の判定を行うことができる。

本発明の実施の一形態について、図１から図２３に基づいて説明すると以下の通りである。

本実施形態は、特殊なターゲットを用いる必要のない自動標定点探索を含む、３次元画像計測に関するものである。本実施形態では、３次元画像計測の計測対象として、主に土木分野における計測を想定しているが、計測対象に後述する目立つ対象物が含まれておれば土木分野以外の分野においても適用できる。

本標定点探索では、撮影画像中の目立つ対象物像を標定点候補像として抽出し、抽出された個々の対象物像を楕円パラメータで表現し、楕円の幾何学的な投影関係を用いて他の撮影画像内において対応する対象物像を探索する。この手法では、周辺と比べて目立ってさえいれば、その物体の形状や色に関わらず上記目立つ対象物として扱うことができ、その形状がどのような形状であっても楕円パラメータを用いることにより、その大きさ、向き、位置を表現する。また、対象物を点や線といった特徴量で表現した場合には幾何学的な条件から対応付けの判定が不十分であるが、対象物を楕円という特徴量で表現することにより、幾何学的な投影条件を対応付けの判断材料として利用することができるため、高速で高精度な対応付けが可能である。

なお、本実施形態では、相互標定を行うために必要となる標定点を探索するための標定点探索に本発明を適用することを想定して説明しているが、相互標定がなされた後に、前方交会法により計測対象の３次元形状を算出する際の対応点探索に本発明を適用することもできる。

〔処理の流れ及び装置構成〕
図１に示すフローチャート、及び図２に示すブロック図に基づいて、本３次元画像計測の処理の流れ、及び本３次元画像計測を行うための装置構成について説明する。

本３次元画像計測には、デジタルカメラ１と、３次元画像計測装置２と、ディスプレイ３と、キーボード４とを用いる。

デジタルカメラ１は、計測対象を撮影することにより、その撮影画像を示すデジタル画像データを生成するものである。

３次元画像計測装置２は、上記撮影画像のデジタル画像データと、その撮影条件とに基づいて、計測対象の３次元形状を算出する装置である。３次元画像計測装置２は、パーソナルコンピュータなどのコンピュータにおいて所定のプログラムを実行させることによって構成することができる。このようにして構成される３次元画像計測装置２は、上記プログラムを実行させることによって実現される複数の機能ブロック、すなわち標定点候補抽出処理部（抽出手段）２１、特徴表現処理部２２（楕円パラメータ算出部（楕円パラメータ算出手段）２２ａ及び非対称性認識部（非対称性認識手段）２２ｂ）、相互標定要素取得処理部（取得手段）２３、標定点探索処理部（判定手段）２４、相互標定処理部２５、及び３次元形状処理部２６を備えることになる。

なお、標定点候補抽出処理部２１、特徴表現処理部２２、相互標定要素取得処理部２３、及び標定点探索処理部２４により標定点探索装置（対応点探索装置）５が構成され、この標定点探索装置５及び相互標定処理部２５により相互標定装置６が構成される。

また、上記上記標定点探索装置５を、対応点探索を行うための対応点探索装置として用い、この対応点探索装置と３次元形状処理部２６とを組み合わせることにより、既に相互標定がなされた後に前方交会法により計測対象の３次元形状を算出する３次元画像計測装置を構成することもできる。この場合、３次元形状処理部２６は、上記対応点探索装置により特定された対応点に基づいて、前方交会法により対応点の３次元座標を算出する。

本３次元画像計測では、計測者が、デジタルカメラ１により計測対象を複数の方向から重複撮影し（ステップＳ１）、これにより得られた複数のデジタル画像データと、その撮影条件に関する情報とを３次元画像計測装置２に入力する（ステップＳ２）。上記「撮影条件に関する情報」とは、上記重複撮影によって撮影された撮影画像の間において、エピポーラ拘束条件を求めるために必要な情報であり、具体的には、撮影画像間での相対的な撮影位置及び撮影方向、並びに各撮影画像の撮影時の焦点距離に関する情報である。この情報を「相互標定要素」という。相互標定要素の入力は、キーボード４を用いて行われ、入力された相互標定要素は、３次元画像計測装置２の相互標定要素取得処理部２３によって取得される。

なお、上記重複撮影によって撮影された撮影画像の集合を「重複撮影画像」といい、重複撮影画像に含まれる各画像を「撮影画像」という。また、重複撮影画像に対応するデジタル画像データの集合を「重複撮影画像データ」といい、重複撮影画像に含まれる各画像に対応するデジタル画像データを「撮影画像データ」という。

本３次元画像計測では、重複撮影画像を構成する各撮影画像を撮影した際のデジタルカメラ１の焦点距離は互いに同一、かつ、既知であり、レンズ歪みも補正済みであるものとする。また、各撮影画像間の撮影位置の関係及び撮影方向の関係はおおよそ把握されているものとする。そして、焦点距離、撮影位置の関係、及び撮影方向の関係は、上記相互標定要素として３次元画像計測装置２に入力される。

３次元画像計測装置２では、重複撮影画像データが入力されると、標定点候補抽出処理部２１により標定点の候補となる物体像（「標定点候補」という）の抽出処理を行う（ステップＳ３）。これにより、重複撮影画像の各撮影画像について標定点候補が抽出される。具体的には、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域が抽出される。そして、抽出された画素領域と、抽出されていない画素領域とを区別するように撮影画像データを２値化したマスク画像データが生成される。

次に、特徴表現処理部２２により、標定点候補抽出処理部２１によって抽出された各標定点候補に関し、特徴表現処理を行う（ステップＳ４）。ここで、「特徴表現」とは、後述する標定点の探索処理を行うために利用される特徴量を標定点候補について算出するための処理を意味する。本３次元画像計測では、上記特徴量として、標定点候補の楕円パラメータを算出するとともに、標定点候補の非対称性を認識する。楕円パラメータは楕円パラメータ算出部２２ａにより算出され、非対称性は非対称性認識部２２ｂによって認識される。

次に、標定点探索処理部２４により、特徴表現処理部２２によって算出された各標定点候補の特徴量と、入力された相互標定要素とに基づいて、標定点の探索処理を行う（ステップＳ５）。「標定点の探索処理」とは、各撮影画像における標定点候補の中から、各撮影画像間において対応関係のあるものを探索することにより、標定点として採用する点を各撮影画像について決定する処理を意味する。

次に、相互標定処理部２５により、標定点探索処理部２４によって決定された標定点の各撮影画像における座標に基づいて、撮影画像間の相互標定処理を行う（ステップＳ６）。「相互標定処理」とは、背景技術欄において説明したように、重複撮影画像の各撮影画像間の相対的な位置関係（平行移動及び回転）を求める処理を意味する。各撮影画像間のおおよその相対的な位置関係は、上記相互標定要素に基づいて算出することができるので、その位置関係を初期値とした非線形最小二乗法の問題として、繰り返し演算を行うことによって相互標定を行うことができる。

次に、３次元形状処理部２６により、標定点探索処理部２４によって決定された標定点（対応点）と、相互標定処理部２５による相互標定処理の結果とに基づいて、前方交会法によって計測対象の３次元座標を算出することにより、計測対象の３次元形状を表す３次元形状データを生成する処理を行う（ステップＳ７）。このとき、得られた標定点が多数の場合は、それらを補間することにより計測対象全体の３次元形状を求めることができ、得られた標定点が少数の場合でも、立体視や既存のステレオマッチング手法により３次元形状の再現が可能である。

そして、３次元形状処理部２６は、生成した３次元形状データをディスプレイ３に出力し、ディスプレイ３に表示させる（ステップＳ８）。

〔各処理の内容〕
以下では、上述した処理の具体的内容を説明する。なお、ステップＳ１，Ｓ２，Ｓ６〜Ｓ８の各処理は、従来より知られている技術を適用することにより容易に実現できるので、ここでは詳細な説明を省略することとし、本実施形態に特有のステップＳ３〜Ｓ５について詳細に説明することとする。

［標定点候補の抽出処理：ステップＳ３］
撮影画像は撮影された物体の様々な情報（大きさ、色、形状等）を有しており、これらを有効に利用することによって標定点候補の抽出を行うことができる。本３次元画像計測では、予め想定された物体の像を標定点候補とするのではなく、もともと計測対象に含まれている物体の像を標定点候補として利用するので、その大きさや形状は不明である。そこで、本３次元画像計測では、上記情報の中の色情報を利用して、撮影画像の中から目立つ物の像を標定点候補として抽出することとする。

１．色の利用
標定点候補は、周辺の物体像から明確に区別でき、その形状や位置を安定して計測することが可能な物体像であることが望まれる。そこで、撮影画像中の色情報を利用することにより撮影画像において目立つ物体（「目立つ対象物」という）の像を標定点候補として抽出することとする。

そのための１つの方法として、目立つ対象物に関する色情報を特定することにより、撮影画像においてその色情報を有する領域を抽出する方法が考えられる。しかし、全ての撮影画像は同じ色バランスで撮影されているわけではないので、撮影画像ごとに個別に色情報を特定する必要があり、自動抽出には適さないと考えられる。その上、ある色情報を特定して抽出するとなると、それ以外の色を持った目立つ対象物は抽出できないことになる。このため、単に色情報を特定するだけでは自動で多くの標定点候補を抽出できないと考えられる。

目立つ対象物であると判断する際、人は、対象物とその周辺（背景）との色の違いに着目している。そこで、目立つ対象物自体の色だけに着目するのではなく、背景の色も含んで考えることにする。すなわち、背景色との違いをもとに標定点候補を抽出することとする。

２．色の基準
背景との色の違いをもとに標定点候補を抽出するためには、基準となる背景の色が必要である。基準となる背景の色が求まれば、撮影画像における各点の色分布が基準よりもどれだけ離れているかを計算し、標準偏差をもとに閾値を求め、閾値を超える色を持つ点からなる領域を標定点候補として撮影画像から抽出することができる。

しかし、実際の撮影画像には様々な色を持つ多種多様な物体が投影されており、基準となる背景の色を決めるためには工夫が必要である。単純に撮影画像全体の色の平均と標準偏差とを基準とした場合、一様な背景（例えば、河川の法面）の中に目立つ対象物のみが写っているような撮影画像では、安定して標定点候補を抽出できると考えられるが、撮影画像に大きな目立つ物体（例えば、人間、家、道路）が写っているような撮影画像では、大きな目立つ物体の色に影響され、基準となる、撮影画像全体の色の平均に偏りが生じ、標準偏差も大きくなるため、小さな目立つ対象物像が抽出されないおそれがある。

標定点候補は、できるだけ多く抽出されることが望ましいので、極力安定して標定点候補を抽出できる基準を考えなくてはならない。

そこで、撮影画像全体で考えるのではなく、撮影画像を小ブロックに分割して考えることにする。この方法であれば、一様な背景で写っているブロックでは安定して標定点候補を抽出できる。また、そうでないブロックにおいては、そのブロックをさらに細かく分割することにより一様な背景のブロックを取り出し、標定点候補を抽出すればよい。さらに、取り除いたブロックにも標定点候補が含まれているかもしれないので、別途抽出作業を行うことにすれば、撮影画像全体から安定して標定点候補を抽出できると考えられる。

３．抽出方法
３．１ 初期標準の算出
まず初めに、一様な背景で写っているブロックを探すための基準を考えなければならない。そのために、以下のような処理を行う。
(1)図３に示すように、撮影画像全体をＸ方向（横方向）に２分割し、各領域において色の平均を算出してそれらの差を求める。
(2)図４に示すように、撮影画像全体をＹ方向（縦方向）に２分割し、各領域において色の平均を算出してそれらの差を求める。
(3)上記(1)で求めた差と、上記(2)で求めた差とを比較し、差が大きい方向に分割する。
(4)分割したそれぞれの領域に対して上記(1)〜(3)の過程を再度行う。

上記のように、差が大きくなる方向に分割するのは、撮影画像を、目立つ物体を大きく含んでいない領域と、背景以外に目立つ物体を大きく含む領域とに分割しようとすることを示している。そこで、図５に示すように、撮影画像を領域ａと領域ｂとに分割したとする。

しかし、現段階ではどちらの領域に大きな目立つ物体があるのか不明である。そこで、分割された各領域ａ・ｂに対して、上記(1)〜(3)を再度繰り返して実行することにより、図６に示すように、領域ａ１・ａ２・ｂ１・ｂ２に分割する。この過程により、大きな目立つ物体を含む領域では、その領域内でさらに大きな目立つ物体を含む領域とそうでない領域とに分割されたことになる。そしてさらに次の処理を行う。
(5)領域ａ１の色の平均と領域ａ２の色の平均との差と、領域ｂ１の色の平均と領域ｂ２の色の平均との差とを比較し、差が小さい方の領域ａ又は領域ｂを初期の標準と考え、その領域の色の平均値と標準偏差とを求める。

図６に示すように、一様な背景で写っているであろう領域ａでは、領域ａ１の色の平均と領域ａ２の色の平均との差はそれほど大きくはない。一方、大きな目立つ物体を含む領域ｂでは、領域ｂ１の色の平均と領域ｂ２の色の平均との差は大きくなる。そのため、上記差が小さい方の領域を選ぶことは、一様な背景で写っているであろう領域を選ぶことになる。これにより、図７に示すように、領域ａの色の平均値Ｐと、標準偏差σとを、背景色の初期標準とすることにする。

３．２ ブロック分割
背景色の初期標準がわかったので、次に、その初期標準をもとにして一様な背景で写っている小ブロックを探していく。そのために、以下のような処理を行う。
(6)撮影画像全体を小ブロックに分割し（ここでは６４分割とする）、各小ブロック内の色の平均値Ｐｉを求める。
(7)分割された全ての小ブロックに対して、各小ブロック内の色の平均値Ｐｉと、背景色の初期標準である平均値Ｐとを比較し、平均値Ｐｉが平均値Ｐに近い値を持つ小ブロックを選び出す。
(8)選んだ小ブロック（「選択小ブロック」という）だけを用いて標準背景色となる平均値Ｐ’を再計算する。

図８に示すように、平均値Ｐに近い平均値Ｐｉを持つ小ブロック（斜線を付したブロック）は、一様な背景で写っている小ブロックであると考えられる。そこで、これら選択小ブロックだけを用いて再度平均値Ｐ’を計算し、その値を標準背景色とする。

３．３ 標定点候補の抽出
標準背景色が求められたのでそれをもとに標定点候補を抽出していく。そのために、以下のような処理を行う。
(9)上記(8)において求めた標準背景色となる平均値Ｐ’を基準として、選択小ブロック内の各画素の色の差（マハラノビスの距離）をそれぞれ計算し、その差が所定の閾値よりも大きい画素を、標定点候補に含まれる画素として抽出する。

ここで、「画素」とは、撮影画像において任意の色を表現するための最小単位を意味する。ここでは、ＲＧＢの３原色からなる画素を想定している。

各画素におけるＲＧＢの輝度値は、互いに直行する３次元座標系における座標値と考えることができる。選択小ブロック内の各画素の色は、ＲＧＢそれぞれについて分散を持つので、色の差を距離として考える場合、単純にユークリッド距離を求めるよりも、分散を考慮したマハラノビスの距離を利用する方がよい。マハラノビスの距離Ｄは次の式で表される。なお、次式における「１方向」、「２方向」、「３方向」は、それぞれＲＧＢ３原色の輝度値に対応する。

３．４ 標準色から離れたブロックの処理
選択されなかった小ブロック（「非選択小ブロック」という）内にも標定点候補が含まれている可能性もあるので、これを抽出することも別途考えていかなければならない。背景色の初期標準である平均値Ｐから離れた平均値Ｐｉを持つ非選択ブロックの類型としては、
(a)非選択小ブロック内に大きく目立つ物体が存在する。
(b)非選択小ブロックの色が全体的に初期標準の色からずれている。
(c)上記(a)と(b)との混合型。
が考えられる。

このような場合、非選択小ブロック内から標定点候補を抽出する方法として、(a)の場合、大きく目立つ物体を再分割することにより取り除く、(b)の場合、非選択小ブロック内で平均値と標準偏差とを再計算する、といったことが考えられる。このことは結局、上述した(1)〜(9)の処理を非選択小ブロック内において行うことになる。すなわち、非選択小ブロックにおいても、再度(1)〜(9)の処理を行うことにより、上記(a)〜(c)何れの場合についても標定点候補を抽出することができる。

４．抽出結果
撮影画像から標定点候補を明確に区別するためには、当該標定点候補を構成する画素に何らかの印をつける必要がある。そこで、各撮影画像中において、標定点候補を構成する画素を白、それ以外の画素を黒で表すことにより２値化した画像をマスク画像として生成する。これにより、白の画素からなる領域が、標定点候補を示す画素領域となる。

実際に、撮影画像の中から標定点候補を抽出できるのかどうか確かめてみた結果、図９に示す撮影画像から、図１０に示すマスク画像を得ることができた。図１０のマスク画像では、標定点候補とならない所も抽出されてはいるが、実際に抽出したい標定点候補もきちんと抽出されていることがわかった。

［標定点候補の特徴表現処理：ステップＳ４］
本３次元画像計測では、各撮影画像において抽出された標定点候補同士を撮影画像間において対応付けするために、各標定点候補に対応する目立つ対象物の不変特徴量を考える。その際に、撮影画像において目立つ対象物のほぼ全体が写っており、目立つ対象物はほぼ平面的な物体（２次元状の物体）であるものと仮定する。

１．不変特徴量の選定
各標定点候補に対応する目立つ対象物の不変特徴量としては、いくつかの候補が考えられる。個々の物体には固有の形状があり、その多様性故に大きさや傾きといった要素を規定する基準を設けなければ個々の物体を比較することはできない。例えば、撮影画像におけるｘ方向又はｙ方向の長さの最大値をその物体の大きさとするといったルールが必要となる。しかし、このような最大値や最小値を用いるような方法は、偶発的要素に左右され、撮影時の環境の変化が大きい場合には極めて不安定な規定方法となる。そのため、大きさや傾きといった要素を統計的に算出する表現方法が必要になる。

そこで、本３次元画像計測では、目立つ対象物を楕円とみなすとともに、その特徴を表現する特徴量として楕円パラメータを用いることにより、目立つ対象物の幾何学的要素を数値化する。

そのために、各撮影画像において抽出された標定点候補に関して楕円パラメータを算出することにより、標定点候補を楕円として表現する。具体的な処理内容を以下に説明する。

２．楕円の推定
楕円は、中心座標（ｘ_ｃ，ｙ_ｃ）、長半径ａ、短半径ｂ、回転角（傾き）αの５つのパラメータと、媒介変数θとを用いることにより、次式で表される。

以下に、上記マスク画像の画素の輝度値（２値化された輝度値）に基づいて、統計的に楕円パラメータを算出する方法を示す。

２．１ 中心座標（ｘ_ｃ，ｙ_ｃ）
中心座標（ｘ_ｃ，ｙ_ｃ）は、上述したマスク画像の輝度値の重心を計算することによって算出する。すなわち、次式のようになる。

なお、マスク画像では、上述のとおり画素の輝度値ｐ（ｘ，ｙ）は白又は黒に２値化されている。白の画素をｐ（ｘ，ｙ）＝１、黒の画素をｐ（ｘ，ｙ）＝０とする。（ｘ，ｙ）は、各マスク画像における各画素の座標である。

２．２ 回転角α
回転角αは、主成分分析を行ない、第１主成分を求めることにより算出することができる。以下では、図１１を参照して、主成分分析により回転角αを求める方法について説明する。

第１主成分ｚ_１には、次式の関係が成り立つ。

楕円はｚ_１の分散がｌ_ｘ ^２＋ｌ_ｙ ^２＝１の条件のもと最大になる値として求められる。次式のようにおくと、ｚ_１＝ｌ_１ ^Ｔｘとなる。

ｘの分散共分散行列Ｓは次式のように示される。

Ｓを用いてｚ_１の分散Ｖ｛ｚ_１｝は次式となる。

ｌ_ｘ ^２＋ｌ_ｙ ^２＝１、すなわちｌ_１ ^Ｔｌ_１＝１の制約のもと数式７を最大にするにはラグランジュの未定乗数λを用いて、次式となり、Ａ（ｌ_１）を最大にするｌ_１を考えればよい。

そこで、Ａをｌ_１で微分すると、次式となるので、次式が０となるｌ_１を求める。

すなわち、次式を考えればよい。

ｌ_１＝０以外の解を持つためには次の行列式を満たさなければならない。

この式は行列Ｓの固有方程式である。数式９の両辺に左よりｌ_１ ^Ｔをかけるとｌ_１ ^ＴＳｌ_１＝λとなる。数式７と比較すると、ｚ_１の分散の最大値は数１１の固有方程式の最大固有値のλの値であり、それに対応する固有ベクトルｌ_１＝（ｌ_ｘ，ｌ_ｙ）が第１主成分方向として求めることができる。よって回転角αは次式のように求めることができる。

数式１１の固有方程式より、Ｓが非負の対称行列であることから２個の非負の固有値λ_１，λ_２（λ_１≧λ_２≧０）が存在することになる。このとき、第２主成分ｚ_２における係数ベクトルｌ_２はλ_２の固有ベクトルとして求めることができる。また、λ_２は短半径方向の分散である。

２．３ 長半径ａ、短半径ｂ
数式１１で求められる固有値λは楕円内の各点の分散を示している。ここで原点を中心とした円ｘ^２＋ｙ^２＝ａ^２で考えることにする。図１２に示すように、このような円の分散はｙ軸から円内の各点までの距離をｘとした時、（ｘ−０）^２を足し合わせた点の数で割ったものである。あるｘでの点の数は２ｙ個であるので以下の式で表すことができる。

この式より、円の半径はａ＝２×λ^１／２で求められる。楕円の場合も同様に長半径方向の分散λ_１と短半径方向の分散λ_２とを用いて、長半径ａ、短半径ｂは次式で求められる。

３．非対称性
対応関係のない２つの標定点候補であっても、それぞれから求められる楕円パラメータが偶然一致し、楕円パラメータによっては対応関係のないことを判定できない可能性もある。したがって、このような場合にも、これらの間には対応関係がないことを判定できる基準を用いることが望ましい。

図１３に示すように、標定点候補自体とそこから求められた楕円との間には、通常、形状的な差が生じる。つまり、推定された楕円は標定点候補の大まかな形状を示しているので、推定された楕円と実際の標定点候補との間には、形状部分に差が存在することになる。

そこで、上記形状部分の差を示す要素として非対称性を考え、対応関係の判定基準に用いることにする。楕円は長軸方向及び短軸方向に対称であるので、推定された楕円に対して実際の標定点候補がこれらの方向にどのくらい非対称であるのかを特徴量として表せば、これを標定点候補に対応する目立つ対象物の特徴と考えることができるので、対応付けの判定基準として利用できる。

図１４に、短軸方向に非対称な標定点候補の例を示す。図１４の標定点候補は長軸方向についてはほぼ対称である。標定点候補における非対称性の大きさは、短軸方向に細分した領域の重心位置と短軸との差（図１４中「↑」又は「↓」にて示す）の分散から求めることができる。しかし、図１５（ａ）から図１５（ｄ）に示すように、同じ楕円で表現されなおかつ非対称性の大きさが同じになる形状の標定点候補はたくさん存在する。そこで、標定点候補の非対称性をパターン化して分類することとする。

図１６に短軸方向に対する非対称性のパターン記述例を示す。楕円をその長軸方向に4つの領域に分割し、各領域内での非対称性の向き（図１６中矢印の向き）の平均が正か負か求め、その組合せをパターン化すると次のようになる。
パターン１ ：＋−−＋
パターン２ ：−＋＋−
パターン３ ：＋＋−−
パターン４ ：−−＋＋
パターン５ ：＋−＋−
パターン６ ：−＋−＋
パターン７ ：＋＋＋−
パターン８ ：＋＋−＋
パターン９ ：＋−＋＋
パターン１１：−−−＋
パターン１０：−＋＋＋
パターン１２：−−＋−
パターン１３：−＋−−
パターン１４：＋−−−
なお、全て正（「＋＋＋＋」）又は全て負（「−−−−」）という組合せは有り得ないので、実際には上記１４パターンに分類される。

そして、実際の標定点候補が上記１４パターンのうちの何れに該当するかを特定し、特定したパターンを当該標定点候補の特徴量とする。例えば、図１５（ａ）から図１５（ｄ）に示した標定点候補は、それぞれパターン１、パターン２、パターン５、パターン６となる。

なお、非対称性の特徴量を求める際の具体的な計算方法としては、標定点候補は撮影画像上に表現されているのであるから、個々の画素が標本となる長軸方向及び短軸方向の分割も画素の幅で分割するのが最も素直な方法である。しかし、回転角αの回転が入っているので、標定点候補を−α方向に回転させて、リサンプリングした上で、ライン（ｘ方向）ごと、あるいはコラム（ｙ方向）ごとに重心を求める処理を行えばよい。

４．特徴表現の結果
以上のように、標定点候補の対応関係を判定するための標定点候補の特徴量として、楕円パラメータ及び非対称性を求めることができる。そこで、各撮影画像において抽出された各標定点候補について、楕円パラメータ及び非対称性を求め、これらに基づいて標定点の探索を行うこととする。

なお、抽出された標定点候補の数や分布によっては、楕円パラメータのみを用いて標定点候補の探索を的確に行うことができる場合もある。このような場合には、非対称性を用いる必要はない。

［標定点の探索処理：ステップＳ５］
上述したようにして算出された楕円パラメータは、標定点候補の大まかな大きさ、位置、回転角を示しており、これらの特徴は標定点候補全体から算出された統計量であることから、重複撮影画像における各撮影画像間で互いに対応する標定点候補の間には、撮影位置の幾何学的関係を考慮にいれれば、不変性が保たれていると考えられる。

そこで、算出された楕円パラメータを標定点候補の特徴量としてどのように対応付けに利用していくかを考えなくてはならない。楕円パラメータである中心座標（ｘ_ｃ，ｙ_ｃ）、長半径ａ、短半径ｂ、回転角αはそれぞれ以下のように利用していくことにする。すなわち、中心座標（ｘ_ｃ，ｙ_ｃ）はエピポーラ幾何による中心座標の絞りこみに利用し、回転角αは仮想カメラ座標での光軸回りの回転角としての対応付けに利用し、長半径ａ及び短半径ｂは回転角αによる対応付けの際の計算過程で利用する。

１．エピポーラ幾何による絞りこみ
図１７に示すように、２つのカメラで３次元空間の同じ点を見ているとき、ある対象物Ｐはレンズ中心ｏ１とその像ｐ１とを結ぶ直線上のどこかに存在する（共線条件）。その際、他方のレンズ中心ｏ２の位置がわかっていれば、対象物Ｐを逆投影することにより撮影画像２での対象物Ｐに対する像ｐ２の候補を一つの直線上に絞り込むことができる。この直線をエピポーラ直線といい、上記絞り込みをエピポーラ拘束条件という。

ここで、Ｍ_０１２は撮影画像１から撮影画像２への回転を表す行列（Ｍ_０１２＝Ｍ_０１Ｍ_０２ ^Ｔ）であり、ｍ_ｉｊ（ｉ＝１，２，３；ｊ＝１，２，３）は回転行列Ｍ_０１２の各成分とする。（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）はそれぞれ撮影画像１及び２の画像座標、ｃは画面距離（３次元空間における撮影画像１及び２の距離）、（ｘ_０，ｙ_０，１）は撮影画像１のカメラ座標系における撮影画像２のレンズ中心ｏ２の相対的な座標とする。これよりエピポーラ方程式は以下のようになる。

ここで、回転行列Ｍ_０１２は、相互標定要素、すなわち、撮影画像間での相対的な撮影位置及び撮影方向、並びに各撮影画像の撮影時の焦点距離に関する情報に基づくことにより概算値を求めることができる。その算出方法は従来よりよく知られているので、ここでは詳細な説明を省略する。このようにして求めたエピポーラ方程式を用いることにより、標定点候補の対応関係を絞り込む。

なお、上記のように回転行列Ｍ_０１２の概算値を用いると、その誤差の分だけ得られるエピポーラ方程式にも誤差が発生することになる。したがって、エピポーラ方程式による絞り込みを行う際には、上記誤差を考慮した緩やかな絞り込みを行う必要がある。

２．楕円の回転角を用いた探索
２．１ 投影関係
回転角αを考える前に、カメラによる撮影における投影関係に関する以下の３つの投影について説明する。

「中心投影」とは、図１８に示すように、カメラの撮影により得られる実際の撮影像であり、カメラのレンズ中心に光線を集中させるように投影する非平行投影である。

「擬似中心投影」とは、図１９に示すように、撮影像の大きさに対して撮影距離が十分長い場合に、中心投影を平行投影に近似したものである。すなわち、擬似中心投影では、撮影像の中心を通る光線に平行に投影することになる。

「正射投影」とは、図２０に示すように、カメラの光軸方向に平行投影する。すなわち、投影面に対して垂直に投影する。

擬似中心投影と正射投影とはともに平行投影であるが、大きな違いは、擬似中心投影では投影方向が光線に平行であるのに対し、正射投影ではカメラの光軸方向に平行投影されている点である。

正射投影では、投影面に対して垂直に投影することから、対象物がどの位置にあろうともあるいは投影された像が画像上のどこにあろうとも投影方向は常に同じである。そのため、互いに形状及び傾きの等しい２つの対象物は、それぞれの位置によらず、互いに形状及び傾きの等しい２つの像に投影される（ただし大きさは変化する）。

一方、通常のカメラで撮影する場合、対象物は画像上に中心投影される。中心投影された像は画像の中心以外では画像に対して斜めに投影される。斜めに投影されることにより投影像に歪みが発生する。中心投影に対して疑似中心投影とは対象物が十分小さい場合に、ローカルに平行投影する方法であり、投影方向は画像に対して斜めであるからやはり投影歪みが発生する。

このことを楕円について当てはめると、疑似中心投影では投影方向によってその像の形状が変わることとなり、回転角αも変化する。一方、正射投影では位置によらず像の形状は一定であるので、回転角αも一定である。そのため、正射投影で考えると、図２１に示すように、楕円の回転角αはカメラの光軸に対する回転として考えることができ、標定点候補がどこにあろうとも同じ傾きで投影されることになる。

上述したようにして算出された楕円パラメータは、中心投影によるものであるが、遠方計測の場合は擬似中心投影とみなすことができるため、擬似中心投影像の楕円パラメータとして考えることができる。

２．２ 仮想カメラ座標系
正射投影の性質を用いるために、擬似中心投影像とみなせる標定点候補を正射投影像に変換する必要がある。しかしながら、直接変換することは難しいので仮想カメラ座標系による仮想画像面を用いて考えることにする。

仮想カメラ座標系とは、撮影に用いたデジタルカメラ１のカメラ座標系と同じレンズ中心を持ち、各標定点候補の中心（重心）を仮想画像面の中心とする座標系である。カメラ座標系において、光軸上にある標定点候補は擬似中心投影像でもあり、正射投影像にもなる。そのため、ある標定点候補に対してのカメラ座標系からの光線を仮想光軸と考える仮想カメラ座標を考えてやれば、標定点候補は仮想画像面に対して正射投影されるといえる。

つまり、図２２（ａ）及び図２２（ｂ）に示すように、撮影画像面に写った擬似中心投影像を仮想光軸に平行に仮想画像面に再投影すれば仮想カメラ座標系においては正射投影像となる。

図２３に示すように、カメラ座標系を（ｘ，ｙ，ｚ）^Ｔ、仮想カメラ座標系を（ｘ’，ｙ’，ｚ’）^Ｔ、仮想画像の画面距離ｌとすれば、カメラ座標系と仮想カメラ座標系との関係は、回転行列Ｍ_ｖを用いて、次式のように表すことができる。

ｙ軸回りの回転φ、ｘ軸回りの回転ωとするとＭ_ｖは、次式のようになる。

また、カメラ座標系と仮想カメラ座標系との間には次式が成立している。

ここで、ｌ＝（ｘ_ｃ ^２＋ｙ_ｃ ^２＋ｚ_ｃ ^２）^１／２であるので、数式１７を用いて、次式によってφ及びωを決定できる。

したがって、決定されたφ及びω、並びに数式１７によって回転行列Ｍ_ｖを決定することができ、この回転行列Ｍ_ｖと数式１６とを用いることにより、カメラ座標系から仮想カメラ座標系への変換を行うことができる。

２．３ 仮想カメラ座標系での楕円パラメータの幾何学的関係
上述したように、数式１６から数式１９によってカメラ座標系から仮想カメラ座標系への変換を行うことができ、この変換を撮影画像に対して施すことによって得られる画像（「仮想画像」という）では標定点候補を正射投影像として考えることができる。

そこで、重複撮影画像を構成するある撮影画像（撮影画像１）における標定点候補（標定点候補１）を仮想画像（仮想画像１）に変換したときの楕円パラメータ（長半径ａ１、単半径ｂ１、回転角α１)と、上記重複撮影画像を構成する他の撮影画像（撮影画像２）において上記標定点候補１と対応関係のある標定点候補（標定点候補２）を仮想画像（仮想画像２）に変換したときの楕円パラメータ（長半径ａ２、単半径ｂ２、回転角α２）との幾何学的関係について説明する。

上述したように、正射投影された楕円像の形状は投影される位置によらず投影方向のみに依存するため、仮想画像１と仮想画像２との間の回転のみに着目して各仮想画像１・２における楕円パラメータの関係を考えることができる。

仮想画像１と仮想画像２との間の回転を表す回転行列をＭ_１２とし、楕円の回転角α１、α２を表す回転行列をＲ_１、Ｒ_２とすると、仮想画像１と仮想画像２との間の回転（光軸まわりの回転）を表す回転行列Ｎは次式のように表すことができる。

また、回転角α１と回転角α２との差に相当する回転角をγとすると、回転行列Ｎは次式のように表すことができる。

そして、楕円の投影関係を考えると、γとａ１、ａ２、ｂ１、ｂ２との間には次式のような関係が導かれ、これによりγを求めることができる。

ところで、数式２０によって撮影画像１と撮影画像２との間に対応関係があるか否かを判定するためには、回転行列Ｍ_１２の値が既知でなければならない。そして、仮想画像は標定点候補ごとに異なるものであるので、回転行列Ｍ_１２も仮想画像ごとに求めなければならない。

すでに重複撮影画像の標定が行なわれており、対象物の存在している空間の座標系（「対象座標系」という）と、カメラ座標系との回転がＭ_ｏという回転行列で表されており、撮影画像と仮想画像との回転はＭ_ｖという回転で表すことができるとする。標定が行なわれている場合、これらの値は既知である。回転行列の導出が目的であるので、ここでは簡単のため座標原点は一致させることにすると、それぞれ以下の式で表すことができる。

これにより、次式の関係があることがわかる。

これを、撮影画像１及び２の仮想画像関係について書き直すと、次式のようになる。なお、次式において添字記号１，２はそれぞれ撮影画像１及び撮影画像２に関する変数であることを示している。

次に、重複撮影画像の標定がまだ行われていない場合について考える。このとき、Ｍ_０１２＝Ｍ_０１Ｍ_０２ ^Ｔは未知であるが（Ｍ_ｖ１及びＭ_ｖ２は数式１７によって求めることができる）、撮影画像１及び撮影画像２の間での回転行列を表すものである。このＭ_０１２は、上記「エピポーラ幾何による絞りこみ」において説明したように、相互標定要素、すなわち、撮影画像間での相対的な撮影位置及び撮影方向、並びに各撮影画像の撮影時の焦点距離に関する情報に基づくことにより概算値を求めることができ、その算出方法は従来よりよく知られている。そして、このＭ_０１２の概算値を用いると、その誤差の分だけＭ_１２には系統的な誤差が発生する。

そこで、上記Ｍ_０１２の概算値によって算出されるＭ_１２を用いることにより、数式２０によって撮影画像１と撮影画像２との間に対応関係があるか否かを判定する際に、一定の系統誤差を許容するようにして判定基準を設けることとする。

すなわち、実際の判定では、上記Ｍ_０１２の概算値によって算出されるＭ_１２と、標定点候補１の回転角α１を表す回転行列Ｒ_１と、標定点候補２の回転角α２を表す回転行列Ｒ_２とを代入することによって算出されるＲ_１ ^ＴＭ_１２Ｒ_２と、上記数式２１によって算出されるＮとを比較し、その差が所定値以下であれば当該標定点候補１と標定点候補２との間には対応関係があるものと判定する。

なお、対応点が得られれば、その幾何学的関係から系統誤差を求め、標定精度を向上させることもできる。

３． 非対称性による絞りこみ
以上のように、エピポーラ拘束条件及び楕円形状の関係式によって絞り込まれた対応関係に対して、さらに、上述した非対称性による絞り込みを行う。すなわち、上記標定点候補の非対称性のパターンが一致するか否かを確認し、一致する場合には対応関係ありと判定し、一致しない場合には対応関係なしと判定する。

なお、上述したように、抽出された標定点候補の数や分布によっては、楕円パラメータのみを用いて標定点候補の探索を的確に行うことができる場合もあり、このような場合には、非対称性を判断基準に用いる必要はない。

４．標定点探索処理のまとめ
以上のようにして互いに対応関係のある標定点候補を発見できた場合には、各標定点候補に関連する点、例えば、当該標定点候補に関して算出された楕円パラメータの中心座標を標定点として特定する。

上記絞り込みの過程において、１つでも条件が当てはまらない場合は、実際にはそれが対応関係があったとしても、対応関係がないものとして判断するようにする。相互標定のためには、最小で５点、十分高い精度を確保したい場合でも数十点の標定点がみつかれば十分であるので、怪しい点はできるだけ却下することが望ましいからである。

計測対象及び撮影条件にもよって異なるが、６００万画素程度の撮影画像を用いた場合、上述した処理によって各撮影画像ごとに数十から数百、多くて千点程度の標定点候補を抽出することができる。

なお、標定点候補が小さすぎたり大きすぎたり、細長すぎたり、明瞭ではない場合には、予め標定点候補から外すようにしてもよい。

また、対応関係の絞り込みの条件として、目立つ対象物の色合いなどの情報を追加するようにしてもよい。

〔補足〕
３次元画像計測装置２の各ブロックは、上述のようにコンピュータにおいて所定のプログラムを実行させることによってソフトウェア的に構成してもよいし、ハードウェアロジックによって構成してもよい。

ソフトウェア的に構成する場合、３次元画像計測装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである３次元画像計測装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記３次元画像計測装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、３次元画像計測装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、土木分野における標定点探索及び対応点探索に特に好適に利用できる。

本発明の実施の一形態における３次元画像計測の処理の流れを示すフローチャートである。 図１の処理を行うための装置のブロック構成を示すブロック図である。 撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。 撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。 撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。 撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。 撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。 撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。 標定点候補の抽出を行う際に用いた撮影画像を示す図面である。 図９の撮影画像から標定点候補を抽出した結果のマスク画像を示す図面である。 主成分分析により楕円の回転角αを求める方法を説明するための図面である。 楕円の長半径ａ及び短半径ｂを求める方法を説明するための図面である。 標定点候補の形状と、当該標定点候補について求められた楕円の形状との相違を示す図面である。 標定点候補の短軸方向の重心の軌跡と当該標定点候補を表現する楕円の長軸との関係を示す図面である。 （ａ）は標定点候補と当該標定点候補に対応する楕円との関係を示す図面であり、（ｂ）は他の標定点候補と当該標定点候補に対応する楕円との関係を示す図面であり、（ｃ）はさらに他の標定点候補と当該標定点候補に対応する楕円との関係を示す図面であり、（ｄ）はさらに他の標定点候補と当該標定点候補に対応する楕円との関係を示す図面である。 標定点候補の短軸方向の重心の軌跡と当該標定点候補を表現する楕円の長軸との関係を、長軸方向に４分割して示す図面である。 エピポーラ拘束条件を説明するための図面である。 中心投影を説明するための図面である。 擬似中心投影を説明するための図面である。 正射投影を説明するための図面である。 擬似中心投影と正射投影との関係を示す図面である。 （ａ）は撮影画像面に写った擬似中心投影像とこの擬似中心投影像を仮想光軸に平行に仮想画像面に再投影した像との関係を示す斜視面であり、（ｂ）は上記関係を示す平面図である。 カメラ座標系（ｘ，ｙ，ｚ）^Ｔと、仮想カメラ座標系（ｘ’，ｙ’，ｚ’）^Ｔとの関係を示す図面である。

符号の説明

１ デジタルカメラ
２ ３次元画像計測装置
３ ディスプレイ
４ キーボード
５ 標定点探索装置（対応点探索装置）
６ 相互標定装置
２１ 標定点候補抽出処理部（抽出手段）
２２ 特徴表現処理部
２２ａ 楕円パラメータ算出部（楕円パラメータ算出手段）
２２ｂ 非対称性認識部（非対称性認識手段）
２３ 相互標定要素取得処理部（取得手段）
２４ 標定点探索処理部（判定手段）
２５ 相互標定処理部
２６ ３次元形状処理部

Claims (10)

1. 計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索方法において、
   各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得処理と、
   各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出処理と、
   抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出処理と、
   取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定処理とを含むことを特徴とする対応点探索方法。
2. 抽出した画素領域の非対称性の特徴を認識する非対称性認識処理をさらに含み、
   前記判定処理では、さらに、認識した非対称性の特徴に基づいて前記判定を行うことを特徴とする請求項１記載の対応点探索方法。
3. 請求項１又は２記載の対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、
   特定された対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定処理とを含むことを特徴とする相互標定方法。
4. 請求項１又は２記載の対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、
   特定された対応点の各撮影画像における座標に基づいて、前方交会法により対応点の３次元座標を算出する３次元計測処理とを含むことを特徴とする３次元画像計測方法。
5. 計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索装置において、
   各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得手段と、
   各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出手段と、
   抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出手段と、
   取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定手段とを備えることを特徴とする対応点探索装置。
6. 抽出した画素領域の非対称性の特徴を認識する非対称性認識手段をさらに備え、
   前記判定手段は、さらに、認識した非対称性の特徴に基づいて前記判定を行うことを特徴とする請求項５記載の対応点探索装置。
7. 請求項５又は６記載の対応点探索装置と、
   対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定手段とを備えることを特徴とする相互標定装置。
8. 請求項５又は６記載の対応点探索装置と、
   対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、前方交会法により対応点の３次元座標を算出する３次元計測手段とを備えることを特徴とする３次元画像計測装置。
9. 請求項５又は６記載の対応点探索装置をコンピュータにより実現するための対応点探索プログラムであって、コンピュータを前記各手段として機能させるための対応点探索プログラム。
10. 請求項９記載の対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体。