JP2003323603A

JP2003323603A - ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム

Info

Publication number: JP2003323603A
Application number: JP2002127512A
Authority: JP
Inventors: Kazuo Oda; 和夫織田; Takeshi Doihara; 健土居原; Ryosuke Shibazaki; 亮介柴崎
Original assignee: Asia Air Survey Co Ltd
Current assignee: Asia Air Survey Co Ltd
Priority date: 2002-04-26
Filing date: 2002-04-26
Publication date: 2003-11-14
Anticipated expiration: 2022-04-26
Also published as: JP4149732B2

Abstract

(57)【要約】【課題】ステレオ画像内に存在する平面領域を精確か
つ自動的に計測するステレオマッチング方法等を提供す
る。【解決手段】変換関数算出部３０は標定要素保持部２
０に保持されている標定要素に応じて変換係数を算出す
る。画像表示部４０は、ステレオ画像保持部１０に保持
されているスレテオ画像をモニタ５０に表示させ、これ
に応じて入力された情報に応じて不定形窓を設定して不
定形窓設定部７０に格納すると共に拘束条件を拘束条件
設定部８０に格納する。ステレオマッチング部９０は、
変換係数，ステレオ画像，不定形窓，拘束条件に応じて
平面ステレオマッチングを行って平面のパラメータを算
出して３次元モデルを生成し、３次元モデル保持部１０
０に格納する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、地表を撮影した複
数の航空写真，衛星画像等の画像から３次元モデルを生
成するステレオマッチング方法、３次元計測方法及び３
次元計測装置に関する。

【０００２】

【従来の技術】従来の写真測量では、計測対象を同種の
カメラを用いて異なる二箇所の位置（もしくはそれ以
上）から撮影し、各画像上で対応点を求め、三角測量の
原理に基づいて３次元空間内の位置を決定する。

【０００３】３次元空間内の位置を自動的に決定する方
法としていわゆるステレオマッチング方法が知られてい
るが、従来のスレテオマッチング方法では、主として点
や線単位で左右の画像をマッチングさせるものであっ
た。このようなステレオマッチング方法では、ステレオ
画像を構成する一方の画像内の１点もしくは規則的な格
子上に区分された領域、あるいは線構造（エッジ）に着
目し、それに対応する点もしくは領域、あるいは線構造
を、もう一方の画像で探索してマッチングさせている。

【０００４】また、領域に対してその内部が平面である
と仮定して自動マッチングを行う技術として、例えば特
開２００２−６３５８０号公報に示す不定形窓によるス
テレオマッチング方法が知られている。

【０００５】さらに、領域内部の点の対応情報を最適化
する方法として最小二乗マッチング（ＬＳＭ：Least Sq
uare Matching）方法が知られている。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
不定形窓によるステレオマッチング方法では、建物等の
上面が水平の構造物を適用対象としていたため、不定形
領域の平面の方向を水平に拘束しており、任意の方向の
平面（例えば傾きのある平面等）を推定することは考慮
されていなかった。

【０００７】また、上述のＬＳＭ方法では、平面の方向
や位置について、拘束条件を設定することが困難であっ
た。

【０００８】本発明は、上述の課題に鑑みてなされたも
のであり、多角形や画像のラスターマスクで指定される
不定形の領域について、それが平面であるという拘束の
もとに、面上もしくは図上の全ての点を精密に測定で
き、ステレオ画像内に存在する平面領域を精確かつ自動
的に計測することができるステレオマッチング方法、３
次元計測方法及び３次元計測装置を提供することを目的
とする。

【０００９】

【課題を解決するための手段】上述の問題を解決するた
めに、本発明に係るステレオマッチング方法は、複数の
画像（ステレオ画像）中の平面のパラメータを求めるス
テレオマッチング方法であって、各画像の標定要素を読
み込むステップと、該読み込んだ標定要素に基づく複数
の画像のいずれか中から選択された多角形又は画像マス
クで指定される不定形の領域が３次元空間上で平面であ
るという拘束条件下で、平面のパラメータを求める平面
算出ステップとを有することを要旨とする。

【００１０】平面のパラメータとは、例えば平面を示す
式の変数等のパラメータ等を含む概念である。また、標
定要素を読込むとは、例えば供給された標定要素に基づ
いて、画像中の座標と、現実の座標との変換を行う関数
を求めること等を含む概念である。また、画像マスクと
は、例えばラスターマスク等の画素あるいはライン毎の
パターンを含むものである。

【００１１】また、本発明に係る３次元計測方法は、複
数の画像（ステレオ画像）から３次元モデルを生成する
３次元計測方法であって、複数の画像の標定要素を読み
込むステップと、該読み込んだ複数の画像の標定要素に
基づく複数の画像を表示するステップと、表示したいず
れかの画像中の不定形領域を示す多角形又は適当な対応
点についての情報を入力するステップと、入力された情
報に応じて当該情報に対応する画像中の多角形又は画像
マスクで指定される不定形の領域若しくは前記適当な対
応点を示す情報を保持するステップと、保持された情報
に対応する領域が３次元空間上で平面であるという拘束
条件下で、３次元モデル上の平面のパラメータを求める
平面算出ステップと求めた平面のパラメータを含む３次
元モデルを生成する３次元モデル生成ステップとを要旨
とする。

【００１２】また、本発明に係る３次元計測装置は、複
数の画像（ステレオ画像）から３次元モデルを生成する
３次元計測装置であって、複数の画像の標定要素を読み
込む標定手段と、該読み込んだ標定要素に基づく複数の
画像を表示する表示手段と、表示手段に表示したいずれ
かの画像中の不定形領域を示す多角形又は適当な対応点
についての情報を入力する入力手段と、入力手段によっ
て入力された情報に応じて当該情報に対応する画像中の
多角形又は画像マスクで指定される不定形の領域若しく
は適当な対応点を示す情報を保持する領域情報保持手段
と、領域情報保持手段に保持された情報に対応する領域
が３次元空間上で平面であるという拘束条件下で、３次
元モデル上の平面のパラメータを求める平面算出手段と
算出手段によって求めた平面のパラメータを含む３次元
モデルを生成する３次元モデル生成手段とを備えること
を要旨とする。

【００１３】また、本発明に係るステレオマッチング方
法のプログラムは、複数の画像（ステレオ画像）中の平
面のパラメータを求めるステレオマッチング方法のプロ
グラムであって、各画像の標定要素を読み込みさせるス
テップと、前記読み込まれた標定要素に基づく複数の画
像のいずれか中から選択された多角形又は画像マスクで
指定される不定形の領域が３次元空間上で平面であると
いう拘束条件下で、平面のパラメータを求めさせる平面
算出ステップとを有することを要旨とする。

【００１４】また、本発明に係る３次元計測のプログラ
ムは、複数の画像（ステレオ画像）から３次元モデルを
生成する３次元計測のプログラムであって、コンピュー
タに、複数の画像の標定要素を読込むステップと、前記
読み込んだ標定要素に基づく複数の画像を表示するステ
ップと、該表示したいずれかの画像中の不定形領域を示
す多角形又は適当な対応点についての情報を入力するス
テップと、該入力された情報に応じて当該情報に対応す
る画像中の多角形又は画像マスクで指定される不定形の
領域若しくは前記適当な対応点を示す情報を保持するス
テップと、前記保持された情報に対応する領域が３次元
空間上で平面であるという拘束条件下で、３次元モデル
上の平面のパラメータを求める平面算出ステップと該求
めた平面のパラメータを含む３次元モデルを生成する３
次元モデル生成ステップとを備えることを要旨とする。

【００１５】

【発明の実施の形態】本発明は、例えば航空写真等の複
数の画像から３次元モデルを生成する３次元計測装置に
適用することができる。

【００１６】（構成）本発明の一実施形態に係る３次元
計測装置は、例えばプロセッサ（ＭＰＵ）、メモリ、ハ
ードディスクドライブ（ＨＤＤ），光ディスクドライブ
等の補助記憶装置、キーボード，ネットワークインター
フェース（ＮＩＣ）等の入力装置、ディスプレイ装置，
画像信号出力インターフェース等の出力装置を備えるパ
ーソナルコンピュータ，ワークステーション等の一般的
な情報処理装置から構成することができる。

【００１７】このような情報処理装置は、例えばＭＰＵ
が所定の制御プログラムを実行することにより、図１に
示すように、入力されたステレオ画像を保持するステレ
オ画像保持部１０と、入力された標定要素を保持する標
定要素保持部２０と、標定要素に従って変換関数を算出
する変換関数算出部３０と、ステレオ画像保持部１０に
保持されているステレオ画像をモニタ５０に表示させる
画像表示部４０と、入力部６０を介してポインティング
デバイス６１ａ，キーボード６１ｂ等から入力された指
示情報に応じて不定形窓を設定する不定形窓設定部７０
と、同様に拘束条件を設定する拘束条件設定部８０と、
設定された不定形窓，拘束条件に応じてステレオ画像の
マッチングを行って３次元モデルを生成するステレオマ
ッチング部９０と、生成された３次元モデルを保持する
３次元モデル保持部１００として機能する。

【００１８】ステレオ画像保持部１０，標定要素保持部
２０及び３次元モデル保持部１００は、例えば上述のメ
モリ，ＨＤＤ上の所定の領域等で実現されている。

【００１９】また、この図１に示す例では、ソフトウェ
アによって各構成要素を実現しているが、同様の構成を
ハードウェアで構成することもできる。

【００２０】この３次元計測装置では、ステレオ写真に
写る平面が中心投影の原理に基づき射影変換により、対
応付けられることを利用し、その平面上にある３点（ど
の３点も一直線上にない）の対応関係についてエピポー
ラ条件を満たす拘束条件を設定することによって、その
面の上での射影変換係数を自動的に決定する。以下、こ
の方法を平面ステレオマッチング法と呼ぶ。

【００２１】また、この３次元計測装置では、平面上の
３点のうちの１点もしくは２点の対応を固定するという
拘束を加えることができる他、平面を任意の直線方向に
平行もしくは垂直であるように拘束を設けることもでき
る。

【００２２】この射影変換係数を利用すれば、平面上の
任意の点での対応関係がわかり、その座標を決定するこ
とによって平面の位置を決定できる。

【００２３】これにより、ステレオ画像内に写っている
平面構造物を一方の画像で多角形として入力するだけ
で、実体視すること無しに平面で構成される構造物を簡
単に入力できるステレオ計測システムが実現できる。

【００２４】以下、この３次元計測装置の動作を説明す
る。

【００２５】（動作）このように構成された３次元計測
装置は、例えば図２に示すように動作する。

【００２６】１．ステレオ画像及び標定要素の読み込み
（Ｓ１）まず、ステレオ画像保持部１０にステレオ画像Ｉ_１，Ｉ
_２を読み込み、標定要素保持部２０に各々の画像Ｉ_１，
Ｉ_２の標定要素を読み込む。ステレオ画像Ｉ_１，Ｉ
_２は、例えば図３に示すように、地表等の同一の対象物
を異なる視点すなわち異なる標定要素で撮影した画像で
ある。

【００２７】ここで標定要素は写真撮影時の外部標定要
素（投影中心位置・姿勢）及び内部標定要素（主点位置
・焦点距離・画像解像度等）があり、これらを用いて地
上座標と画像座標の間の変換を行う諸関数が与えられ
る。

【００２８】例えば、図６に示すように、平坦な面で構
成される構造物の標定結果が既知の画像Ｉ_１，Ｉ_２に移
っており、その構造物の面Ａの輪郭が画像Ｉ_１，上の多
角Ａで指定されているとする。このとき、自動ステレオ
マッチングにより面Ａが属する３次元空間の平面（より
正確には平面Ａの縁の多角形の座標）を決定する方法を
考える。なお、ここでいう平面Ａは水平でなくとも良
い。

【００２９】ここで、標定結果が既知とは、カメラの内
部標定要素（焦点距離等）や外部標定要素（位置・姿
勢）が既知であり、次の変換関数が利用できるとする。

【００３０】この変換関数は、（１）３次元地上座標Ｐ（Ｘ，Ｙ，Ｚ）が投影される写
真座標ｐ（ｘ，ｙ）を算出するための変換関数が与えら
れている。

【００３１】ｐ＝Ｆ（Ｐ）（１）と、（２）画像上の点ｐ（ｘ，ｙ）に対応する地上座標Ｐ
（Ｘ，Ｙ，Ｚ）のＸ，Ｙ，Ｚいずれかが既知のとき、そ
の地上座標を求める変換関数が与えられている。

【００３２】すなわち、Ｐ＝Ｇｘ（ｐ，Ｘ）（２ａ）Ｐ＝Ｇｙ（ｐ，Ｙ）（２ｂ）Ｐ＝Ｇｚ（ｐ，Ｚ）（２ｃ）と画像Ｉ_１に関する上記変換関数をＧｘ_１、Ｇｙ_１、
Ｇｚ_１、画像Ｉ_２に関する上記変換関数をＧｘ_２、Ｇ
ｙ_２、Ｇｚ_２とする。

【００３３】（３）２つの画像上の対応点ｐ_１（ｘ_１，
ｙ_１）及びｐ_２（ｘ_２，ｙ_２）に対応する地上座標Ｐ
（Ｘ，Ｙ，Ｚ）を算出するための変換関数が与えられて
いる。

【００３４】Ｐ＝Ｇ_１２（ｐ_１，ｐ_２）（３）である。

【００３５】前述の変換関数の詳細について説明を補充
する。

【００３６】１．１．地上座標Ｐから画像座標（写真座
標）ｐへの変換まず、例えば図４に示すように、中心投影画像（すなわ
ち個々の画像）の投影中心の座標をＯ_０＝^ｔ［ｘ_０ｙ_０
ｚ_０］、カメラの地上座標に対する回転角をＴ＝^ｔ［ω
φκ］、これらを合わせたもの（外部標定要素）をＥ＝
^ｔ［^ｔＴ^ｔＰ_０］とする（左肩のｔは転置行列もしくは
転置ベクトルであることを示す）。このとき、地上座標
Ｐ＝^ｔ［ｘｙｚ］はカメラ座標系（投影中心に相対的な
３次元座標系）ｐｒで次式で表される。

【００３７】Ｐｒ＝^ｔ［ｘ_ｒｙ_ｒｚ_ｒ］＝Ｒ（Ｔ）（Ｐ−Ｏ_０）（４）ここで、Ｒ（Ｔ）は、次式で定義される回転行列であ
る。

【００３８】

【数１】（５）また、Ｐが投影される写真座標（投影中心の像（主点）
を原点とする２次元座標）ｐ＝^ｔ［ｘｙ］は次式で表さ
れる。

【００３９】

【数２】（６）ここでｃは焦点距離である。式（４）及び式（６）よ
り、カメラの外部標定要素と地上点の３次元座標がわか
れば、それに対応する写真座標がわかることを意味す
る。

【００４０】１．２．写真座標ｐから地上座標Ｐへの変
換また、写真座標ｐが、ｐ＝（ｘ，ｙ）であるとすると、
これはカメラ座標ではｐ_ｒｐ＝（ｘ，ｙ，−ｃ）であ
る。ｐに写っている点の標高がＺであるとすると、この
点の地上座標系における３次元座標Ｐ（Ｘ，Ｙ，Ｚ）を
求める関数Ｇｚ（ｐ，Ｚ）は次式で与えられる。

【００４１】

【数３】（７）同様に、関数Ｇｘ（ｐ，Ｘ）及びＧｙ（ｐ，Ｙ）が次の
ように定義される。

【００４２】

【数４】（８）ここで、画像Ｉ_１に関する式（７）〜式（９）の変換関
数をＧｘ_１，Ｇｙ_１，Ｇｚ_１、画像Ｉ_２に関する式
（７）〜式（９）の変換関数をＧｘ_２，Ｇｙ_２，Ｇｚ _２
とする。

【００４３】

【数５】（９）１．３．対応する写真座標から地上座標ｐへの変換例えば図５に示すように、地上座標Ｐ（Ｘ，Ｙ，Ｚ）
が、画像Ｉ_１上の点ｐ_１（ｘ_１，ｙ_１）と画像Ｉ_２上の
点ｐ_２（ｘ_２，ｙ_２）に投影されているとする。

【００４４】このとき、以下の手順でｐ_１とｐ_２から地
上座標Ｐ（Ｘ，Ｙ，Ｚ）を求めることができる。

【００４５】画像Ｉ_１の画像投影中心をＯ_１、回転行列
をＲ_１、焦点距離をｃ_１、画像Ｉ_２の画像投影中心をＯ
_２、回転行列をＲ_２、焦点距離をｃ_２とする。ｐ_１とｐ
_２のカメラ座標はそれぞれｐ_ｒｐ１（ｘ_１，ｙ_１，−ｃ
_１）及びＰ_ｒｐ２（ｘ_２，ｙ _２，−ｃ_２）であり、これ
を使ってＯ_１からｐ_１への単位方向ベクトルＶ_１，及び
Ｏ_２からｐ_２への単位方向ベクトルＶ_２を地上座標系で
表すと、

【数６】（１０）

【数７】（１１）である。Ｐは、Ｏ_１とｐ_１を結ぶ直線Ｌ_１と、Ｏ_２とｐ
_２を結ぶ直線Ｌ_２の交点である。この交点をＯ_１、
Ｏ_２、Ｖ_１、Ｖ_２で表すと、

【数８】（１２）である。

【００４６】実際には標定要素や点座標の測定値には誤
差が含まれており、直線Ｌ_１とＬ_２は一般に交わらな
い。このような場合には、Ｌ_１とＬ_２が最小距離となる
点Ｐ_Ｌ _１及びＰ_Ｌ２の中点をＰであると定義するのが適
当である。すなわち、Ｐ＝Ｇ_１２（ｐ_１，ｐ_２）＝（ｐ_Ｌ１＋ｐ_Ｌ２）／２（１３）なお、Ｐ_Ｌ１及びＰ_Ｌ２は次式で求められる。

【００４７】

【数９】（１４）１．４．写真座標と画像座標の変換コンピュータ上で測定できる座標は画像座標ｐ_ｐｉｘ＝
（ｘ_ｐｉｘ，ｙ_ｐｉｘ）であり、写真座標ｐではない。
航空写真画像の場合、画像の４隅に写真座標が既知の指
標が写しこまれているので、これらの画像座標を測定す
ることによりｐ _ｐｉｘとｐの関係を得ることができる。
この関係は順変換・逆変換ともアフイン変換もしくはヘ
ルマート変換で与えることができる。つまり、写真座標
と画像座標の間の変換と上述の議論を組み合わせれば、
上記の（１）、（２）、（３）の式の画像座標と地上座
標間の座標変換関数群を得ることができる。

【００４８】２．ステレオ画像表示（Ｓ２）また、画像表示部４０は、ステレオ画像保持部１０に保
持されたステレオ画像を画面上に表示する。これによ
り、モニタ５０の表示画面上には、スレテオ画像Ｉ
_１（図１中の符号５１ａ），Ｉ_２（同５１ｂ），カーソ
ル（５１ｃ）等が表示される。

【００４９】３．多角形の入力（Ｓ３）このように、ステレオ画像が表示されると、この３次元
計測装置のオペレータは、ポインティングデバイス６１
ａ等を操作して、適宜、表示画面上のカーソル５１ｃを
移動させ、ステレオ画像Ｉ_１（５１ａ）あるいはＩ
_２（５１ｂ）上で、入力対象となる構造物を構成する多
角形５１ｄを指定する。オペレータによって指定された
多角形を示す情報は、入力部６０を介して不定形窓設定
部７０に供給され、この不定形窓設定部７０が多角形あ
るいは画像マスク等によって不定形の領域（不定形窓）
を設定する。

【００５０】４．オプション拘束条件入力（Ｓ４）上述のように多角形を入力すると共に、入力部６０は、
マッチングを行うためのオプション拘束条件の有無の指
示をオペレータに要求し、オペレータからの指示があれ
ば、オプションの種類、各々のオプションにおいて必要
な情報を入力する。拘束条件の有無，各オプション及び
必要な情報は、例えばメモリ，ＨＤＤ等に保持されてい
る次のテーブルに従って指定される。

【００５１】

【数１０】例えば入力部６０は、まず、オプションの有無の入力を
確認する画像を画像表示部４０を介してモニタ５０に表
示させ、オプションが有ると指示された場合には、オプ
ションのタイプを確認する画像を表示させる。これに応
じてオプションのタイプが指示されると、上述のテーブ
ルに従って、必要となる条件を取得し、この条件（パラ
メータ）の入力を要求する画像を表示させる。

【００５２】各オプションのタイプとパラメータの対応
は以下のようになっている。

【００５３】・拘束条件無し（図７）拘束条件無しの場合には、パラメータの入力は行わず、
次の平面ステレオマッチング法による計測に進む。

【００５４】・１点固定（図８）もしくは２点固定（図
９）平面上の対応を固定したい点。平面マッチングの際、求
める面がこの対応点から計算される３次元座標を必ず通
るように拘束する。固定対応点は、入力した多角形点列
上の点を指定する。

【００５５】・平面に平行な直線方向指定（図１０）平面に平行な直線の方向を指定する。指定の方法として
は、次の４つが考えられる。

【００５６】直線の方向ベクトルの数値指定３次元方向ベクトルを数値で指定する。例えば、直線の
方向が鉛直の場合は、方向ベクトルは（０，０，１）で
ある。

【００５７】２点の対応点２組の対応点の３次元座標を計算し、これらの点を結ぶ
ベクトルを直線方向とする。

【００５８】平面に垂直な他の面の指定既に決定済みの面がこれから決定する面に垂直な場合
は、その面を指定する。その面の法線ベクトルが、求め
る面に平行な直線方向である。

【００５９】座標軸の指定Ｚ軸等、特定の座標紬に平行の場合は、その紬を指定す
る。

【００６０】・平面方向の指定（図１１）平面の法線の向きを指定する。指定の方法は、平面に平
行な直線の方向ベクトルの指定方法と同じである。

【００６１】以上のように、オペレータからオプション
のタイプとパラメータが入力されると、入力部６０はオ
プションのタイプとパラメータを示す情報を拘束条件設
定部８０に供給する。拘束条件設定部８０は供給された
情報に従って拘束条件を設定する。

【００６２】５．平面ステレオマッチング法による計測
（Ｓ５）上述のように拘束条件が設定されると、ステレオマッチ
ング部９０は、平面ステレオマッチング法によって、多
角形を平面であると仮定して多角形等によって指定され
た不定形の領域の内部について自動的に平面ステレオマ
ッチングを行う。

【００６３】上術の図６中の平面Ａを表現する適当なパ
ラメータをＤとし、画像Ｉ_１上の多角形Ａ内の点ｐ_１ｉ
に対する画像Ｉ_２上の対応点ｐ_２ｉをＤとｐ_１ｉの対応
関数Ｈで表す。

【００６４】ｐ_２ｉ＝Ｈ（ｐ_１ｉ，Ｄ）（１５）ここで、多角形Ａ内におけるＩ_１とＩ_２の画素値の差を
合計した次の評価関数を定義する。

【００６５】 χ（Ｄ）＝Σｅ_ｉ（Ｄ）^２（１６）ｅ_ｉ（Ｄ）＝Ｉ_２（Ｈ（ｐ_１ｉ，Ｄ））−Ｉ_１（ｐ_１ｉ）（１７）式（１８）の積算は多角形Ａ内の画像Ｉ_１の画素全てに
ついて行うものとする。評価関数χを最小化するＤを最
適化手法で求めれば、平面Ａを決定することができる。

【００６６】５．１．平面ＡのパラメータＤＩ_１とＩ_２の投影中心をＯ_１及びＯ_２、Ｉ_１上の点をｐ
_１、Ｉ_２上のｐ_１の対応点をｐ_２とすると、例えば図１
２に示すように、ｐ_２は必ず三角形Ｏ_１Ｏ_２ｐ _１のなす
平面と画像Ｉ_２の交わる直線上になければならない。こ
の直線を、ｐ_１のエピポーララインと呼ぶ。

【００６７】例えば図１３に示すように、平面Ａ上の点
Ｑ_１，Ｑ_２，Ｑ_３が投影されるＩ_１上の位置をｐ
_１（１），ｐ_１（２），ｐ_１（３）、Ｉ_２上の対応点を
ｐ_２（１），ｐ_２（２），ｐ_２（３）とする。なお、こ
れらの点は面Ａの内部あるいは周上の点だけではなく、
面Ａの外側の仮想平面Ａ上の点でもよい。ｐ’_２（１）
及びｐ”_２（１）がｐ_１（１）のエピポーラ線上にあ
り、同様にｐ’_２（２）及びｐ”_２（２）がｐ_１（２）
のエピポーラ線上に、ｐ’_２（３）及びｐ”_２（３）が
ｐ_１（３）のエピポーラ線上にそれぞれあるとすれば、
ｐ_２（１），ｐ_２（２），ｐ_２（３）は実数パラメータ
の組Ｄ＝［Ｄ_１Ｄ_２Ｄ_３］を用いて、次のように表すこ
とができる。

【００６８】

【数１１】（１８）Ｄを決めるとｐ_２（１），ｐ_２（２），ｐ_２（３）が決
まり、前方交会によりＱ_１，Ｑ_２，Ｑ_３が決まる。空間
内の３点が求まれば、それを通る平面が一意に決定され
るので、パラメータＤは、平面Ａを決定するパラメータ
と等価である。

【００６９】なお、ｐ’_２（１），ｐ’_２（２），ｐ’
_２（３）を初期対応点、ｐ”_２（１ _），ｐ”_２（２），
ｐ”_２（３）を補助対応点と呼ぶ。

【００７０】５．２．対応関数Ｈの導出例えば図１４に示すように、平面Ａ上のＱのＩ_１とＩ_２
の像をｐ_１＝（ｘ_１，ｙ_１）及びｐ_２＝（ｘ_２，ｙ_２）
とすると、ｐ_１とｐ_２の関係は射影変換になることが知
られ、上述の式（１７）中の対応関数Ｈは射影変換であ
る。この射影変換Ｈは射影変換係数（ａ_１，…，ａ_８）
を用いて以下の式で表される。

【００７１】ｘ_２＝（ａ_１・ｘ_１＋ａ_２・ｙ_１＋ａ_３）／（ａ_７・ｘ_１＋ａ_８・ｙ_１＋１）（１９）ｙ_２＝（ａ_４・ｘ_１＋ａ_５・ｙ_１＋ａ_６）／（ａ_７・ｘ_１＋ａ_８・ｙ_１＋１）（２０）射影変換係数は、４組の対応点から決定することができ
る。上述の５．１．において示したように、パラメータ
Ｄによって３組の対応点が決まる。そこで、以下ではも
う一組の対応点がカメラの幾何学的配置から決まること
を示し、対応関数Ｈを具体的に決定する。

【００７２】５．２．１．エピポールの対応例えば図１５に示すように、Ｉ_１とＩ_２の投影中心Ｏ_１
及びＯ_２を結ぶ直線Ｏ _１Ｏ_２とＩ_１の画像平面の交点を
Ｅ_１、Ｉ_２の画像平面との交点をＥ_２とする。Ｅ_１とＥ
_２は互いの投影中心が写る点であり、エピポールと呼ば
れる。実はエピポールは平面Ａと直線Ｏ_１Ｏ_２の交点Ｑ
_Ｅの像でもある。つまり、２つのエピポールは平面Ａに
関する対応点の一つである。エピポールには次のような
性質がある。

【００７３】（１）エピポールは平面Ａの取り方によら
ず、カメラの幾何学のみに依存する。

【００７４】エピホールは互いの投影中心が写る点なの
で、平面Ａの取り方によらない。

【００７５】（２）全てのエピポーララインはエピポー
ルを通る。

【００７６】エピポーララインとは、２つの投影中心と
一方の画像上の点の３点がなす平面と、もう一方の画像
平面の交線であった。また、エピポールは投影中心を結
ぶ線と画像平面の交点であるので、必ず上記交線上にあ
る。つまり、エピポールは全てのエピポーラライン上に
ある。

【００７７】（３）画像平面と投影中心を結ぶ直線が平
行ならエピポールは無限遠点となる。

【００７８】平行であれば当然交点はない。このとき、
全てのエピポーララインは平行となる。つまり、エピポ
ールはエピポーララインの方向の無限遠点であると考え
られる。

【００７９】なお、画像Ｉ_１及びＩ_２のエピポールＥ_１
及びＥ_２は、上述の式（４）に投影中心を適用すること
によって得られる。

【００８０】Ｅ_１＝Ｆ_１（Ｐ_２）（２１）Ｅ_２＝Ｆ_２（Ｐ_１）（２２）５．２．２．Ｄを用いた射影変換Ｈの算出方法（ａ）エピポールが無限遠点でない場合上述の式（１９）及び式（２０）から、射影変換係数
（ａ_１，…，ａ_８）に関する以下の１次方程式を得るこ
とができる。

【００８１】ｘ_１・ａ_１＋ｙ_１・ａ_２＋ａ_３−ｘ_２・ｘ_１ａ_７−ｘ_２・ｙ_１・ａ_８＝ｘ_２（２３）ｘ_１・ａ_４＋ｙ_１・ａ_５＋ａ_６−ｙ_２・ｘ_１ａ_７−ｙ_２・ｙ_１・ａ_８＝ｙ_２（２４）さて、ｐ_１（１），ｐ_１（２），ｐ_１（３）と上述の式
（２０）で与えられる対応点ｐ_２（１），ｐ_２（２），
ｐ_２（３）に式（２３）及び式（２４）を適用すれば、
（ａ_１，‥．，ａ_８）に関する１次方程式が各点につい
て２つ、合計で６つ与えられる。これに加えて、エピポ
ールの対応をｐ_１（４）及びｐ_２（４）として加えれ
ば、全部で８つの独立な一次方程式が得られる。これら
の方程式を整理すると、Ｍを８×８の行列、Ｖを８次元
ベクトルＢ＝^ｔ［ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，
ａ_６，ａ_７，ａ_８］として、Ｍ・Ｂ＝Ｖ（２５）と表すことができる。この結果、射影変換係数Ｂは次式
で与えられる。

【００８２】Ｂ＝Ｍ^−１・Ｖ（２６）（ｂ）エピポールが無限遠点の場合以下、同次座標を用いて射影変換を表すことによって、
無限遠点の対応関係も統一的に記述できることを示す。

【００８３】同次座標表現（ｘ_１，ｙ_１，１）及び（ｘ
_２，ｙ_２，１）を用いると、上述の式（１９）及び式
（２０）は次のように表される。

【００８４】

【数１２】（２７）ここで等号

【数１３】は、等号の両側のベクトルの比が等しい事を意味する。
すなわち、

【数１４】（２８）である。

【００８５】

【数１５】（２９）に注意すれば、（Ｘ，Ｙ，０）は、方向（Ｘ，Ｙ）の無
限遠点を表現することがわかる。

【００８６】ここで^ｔ［ＸＹＺ］及び^ｔ［Ｘ’Ｙ’
Ｚ’］を対応点の同次座標表現とすると、

【数１６】（３０）となり、式（２５）と式（３０）より、Ｘ’：Ｙ’：Ｚ’＝（ａ_１・Ｘ＋ａ_２・Ｙ＋ａ_３・Ｚ）：（ａ_４・Ｘ＋ａ_５・Ｙ＋ａ_６・Ｚ）：（ａ_７・Ｘ＋ａ_８・Ｙ＋Ｚ）（３１）となる。これより、もしＺ’≠０ならば、Ｘ’／Ｚ’＝（ａ_１・Ｘ＋ａ_２・Ｙ＋ａ_３・Ｚ）／（ａ_７・Ｘ＋ａ_８・Ｙ＋Ｚ）（３２）Ｙ’／Ｚ’＝（ａ_４・Ｘ＋ａ_５・Ｙ＋ａ_６・Ｚ）／（ａ_７・Ｘ＋ａ_８・Ｙ＋Ｚ）（３３）となる。これらを係数（ａ_１，…，ａ_８）について整理すると、Ｚ’・Ｘ・ａ_１＋Ｚ’・Ｙ・ａ_２＋Ｚ’・Ｚ・ａ_３−Ｘ’・Ｘ・ａ_７−Ｘ’・Ｘ・ａ_８＝Ｘ’・Ｚ’ （３４）Ｚ’・Ｘ・ａ_４＋Ｚ’・Ｙ・ａ_５＋Ｚ’・Ｚ・ａ_６−Ｙ’・Ｘ・ａ_７−Ｙ’・Ｘ・ａ_８＝Ｙ’・Ｚ’ （３５）である。またＺ’＝０ならば、Ｘ’：Ｙ’＝（ａ_１・Ｘ＋ａ_２・Ｙ＋ａ_３・Ｚ）：（ａ_４・Ｘ＋ａ_５・Ｙ＋ａ _６・Ｚ）（３６）（ａ_７・Ｘ＋ａ_８・Ｙ＋Ｚ）＝０（３７）となる。これらを係数（ａ_１，…，ａ_８）について整理すると、Ｙ’・Ｘ・ａ_１＋Ｙ’・Ｙ・ａ_２＋Ｙ’・Ｚ・ａ_３−Ｘ’・Ｘ・ａ_４−Ｘ’・Ｙ・ａ_５− Ｘ’・Ｚ・ａ_６＝０（３８）Ｘ・ａ_７−Ｙ・ａ_８＝０（３９）である。これらの式（３８）及び式（３９）を使えば、
同次座標表現された無限遠点のエピポールの対応から
も、（ａ_１，…，ａ_８）に関する１次方程式を導き出せ
る。例えば、エピポーララインが両画像でＸ軸に平行な
直線になる場合は、Ｘ方向の無限遠点、即ち（１，０，
０）と（１，０，０）が対応する。これを式（３８）及
び式（３９）に適用すれば、ａ_４＝０，ａ_７＝０とな
る。

【００８７】５．３．最小自乗法による最適化５．３．１．Ｇａｕｓｓ−Ｎｅｗｔｏｎ法による非線形
最小自乗法評価関数χを最小化するＤをＧａｕｓｓ−Ｎｅｗｔｏｎ
法による非線形最小自乗法で求める。Ｇａｕｓｓ−Ｎｅ
ｗｔｏｎ法では、最適化時のパラメータの修正量△Ｄ＝
［△Ｄ１，△Ｄ２，△Ｄ３］を次の式で与える。

【００８８】（^ｔＪ・Ｊ）・ΔＤ＝−^ｔＪ・ｅ（４０）ここで、Ｊはヤコビ行列である。また、全てのモデル上
の点において重みは等しいとみなす。なお、Ｊは、

【数１７】（４１）で与えられる。ここで、ｎはサンプルの個数であり、こ
の場合は積算する画素の個数である。

【００８９】また、ｅ＝^ｔ［ｅ_１ｅ_２…ｅ_ｎ］（４２）である。

【００９０】上述の変数Ｄの次元は３であり、^ｔＪ・Ｊ
は３×３の行列になる^ｔＪ・Ｊのｊ行ｋ列成分（^ｔＪ・
Ｊ）_{（ｊ、ｋ）}は、次の加算式で与えられる。

【００９１】

【数１８】（４３）ここで、Ｄ_ｊ・Ｄ_ｋはＤのｊ番目及びｋ番目の成分であ
る。

【００９２】また、式（４０）の右辺−^ｔＪ・ｅは３行
１列の縦ベクトルになる。このベクトルのｊ行成分（−
^ｔＪ・ｅ）_ｊも、次のような加算式で表される。

【００９３】

【数１９】（４４）行列^ｔＪ・ＪをＫ、ベクトル−^ｔＪ・ｅをＷとおけば、
式（４０）は次のように置き換えられる。

【００９４】Ｋ・ΔＤ＝Ｗ（４５）この式（４５）の△Ｄは連立１次方程式で、Ｋ及びＷが
計算できれば解くことができる。△Ｄを用いて、次の式
でＤを更新する。

【００９５】

【数２０】Ｄ＋ΔＤ⇒Ｄ（４６）この処理を評価関数χの変化量がある閾値（△χ）にな
るまで繰り返し、最適なＤを求めることができる。

【００９６】５．３．２．パラメータＤと射影変換Ｈに
基づく∂ｅ_ｉ／∂Ｄの導出方法最小自乗法によって、上
述の式（１６）を最小化するパラメータＤを求めるため
には、∂ｅ_ｉ／∂Ｄとｅ_ｉを計算することが必要とな
る。ｅ_ｉは、上述の５．２．で求めた射影変換Ｈを上述
の式（１７）に適用すればよい。以下、∂ｅ_ｉ／∂Ｄの
導出方法について説明する。

【００９７】ｐ_１ｉ＝（ｘ_ｉ，ｙ_ｉ）、ｐ_２ｉ＝
（ｘ_ｉ′，ｙ_ｉ′）とおくと、式（１７）より、

【数２１】（４７）となる。ここで、∂Ｉ_２／∂ｘ_ｉ’及び∂Ｉ_２／∂
ｙ_ｉ’は画像Ｉ_２のｘ及びｙ方向の微分係数であり、数
値微分が可能である。

【００９８】

【数２２】及び

【数２３】は上述の式（２４）及び式（２５）より、

【数２４】（４８）である。また、上述の式（２６）の両辺をＤ_ｊで微分す
ると、

【数２５】（４９）であるから、

【数２６】（５０）が得られる。∂Ｍ／∂Ｄ_ｊ及び∂Ｖ／∂Ｄ_ｊは、上述の
式（１８），式（３４）及び式（３５），式（３８）及
び式（３９）を用いて求めることができる。

【００９９】以上より∂ｅ_ｉ／∂Ｄを求めることができ
る。

【０１００】５．４．様々な拘束条件下の平面ステレオ
マッチング３次元空間内において、平面に拘束条件を与え、その条
件のもとで平面を決定する場合を考える。

【０１０１】５．４．１．平面上の１点を３次元的に拘
束する場合（１点固定）平面上の１点を３次元的に拘束することは、すなわち平
面上の点対応を１点与えることである。この固定点の対
応をｐ_１（３）及びｐ_２（３）とおき、求めるパラメー
タの自由度を減らすことができる。この際、求めるバラ
メータはＤ＝［Ｄ_１，Ｄ_２］となる。

【０１０２】５．４．２．平面上の２点を３次元的に拘
束する場合平面上の２点を３次元的に拘束するのは、平面上の点対
応を２点与えることと同等となる。つまり、２つの拘束
点の対応をｐ_１（２）とｐ_２（２）、及びｐ_１ _（３）と
ｐ_２（３）として与えることにより自由度を減らすこと
ができる。この際、求めるパラメータはＤ＝［Ｄ_１］と
なる。

【０１０３】なお、この場合は、最小自乗法を適用せ
ず、Ｄを適当な範囲で順次変化させてχ（Ｄ）を計算
し、その最小を与えるＤ_ｏｐｔを求める方がよい。

【０１０４】５．４．３．平面に平行な直線方向を指定
する場合例えば図１６に示すように、平面をある直線方向に平行
に拘束すると、その直線方向の無限遠点（消失点）はこ
れらの平面上の対応点となり得る。消失点を左右画像で
求めると、これらをｐ_１（３），ｐ_２（３）として与え
たことと等価になり、求めるパラメータをＤ＝［Ｄ_１，
Ｄ_２］に減らすことができ尋。

【０１０５】例えば空撮写真による写真測量の場合、建
物の壁面等の鉛直面が典型的に多く存在する。このよう
な鉛直壁面については、鉛直方向の消失点（鉛直点）を
対応点とすることができる。

【０１０６】なお、直線の方向ベクトルをｖとすると、
その方向の画像Ｉ_１，Ｉ_２上の消失点Ｅ_ｖ１及びＥ_ｖ２
は、上述の式（６）を用いて次のように求めることがで
きる。

【０１０７】

【数２７】（５１）ここで、Ｐ_１及びＰ_２は、画像Ｉ_１及びＩ_２の投影中心
である。

【０１０８】５．４．４．平面方向を指定する場合平面の方向を指定する場合とは、別の平面に平行になる
よう拘束することである。

【０１０９】例えば図１７に示すように、平行な２平面
Π_０とΠ_１の間で求める平面を最適化することを考え
る。このとき、次の定理が成立する。

【０１１０】［定理１］平面Π_０とΠ_１は平行で、Π_０
及びΠ_１を対応させる射影変換係数行列をそれぞれＨ
_Π０、Ｈ_Π１とする。このとき、パラメータＤを用いて
得られる射影変換係数Ｈ（Ｄ）

【数２８】（５２）は、Π_０とΠ_１に平行な平面の射影変換を与える。

【０１１１】この式（５２）のＤを０と１の間で変化さ
せると、Π_０とΠ_１に平行な任意の平面の射影変換係数
及び評価関数χ（Ｄ）を順次計算することができる。評
価関数χ（Ｄ）を最小にするＤが最適解Ｄ_ｏｐｔであ
る。

【０１１２】５．５．具体的な実装例ここでは、多角形Ａで指定される平面Ａを決定し、最終
的に面Ａの輪郭の三次元形状を算出する方法を具体的に
示す。実装方法は、対応点を利用した方法と、平面方向
を指定した場合の２つに分かれる。対応点を利用した方
法は、平面方向を指定した場合以外の全てのケースに適
用される。

【０１１３】５．５．１．対応点を利用した計算方法５．５．１．１．必要情報の設定（図１８中のＳ１１）以下の必要情報を設定する。

【０１１４】（１）面を指定する多角形上述のＳ３において、ステレオ画像のいずれかの上でな
ぞられた多角形（画像座標列）で、平面構造物の面の外
周を示す。なぞられた方の画像をＩ_１、もう一方をＩ_２
とする。

【０１１５】（２）画像の標定要素上述のＳ１で入力された標定要素である。

【０１１６】（３）面の概略奥行き面Ａの概略奥行きＺ_ａである。

【０１１７】（４）対応点情報（Ｓ１２）上述のＳ４で入力された拘束条件に応じて４点の対応点
情報を設定する。４点目には上述のエピポールを自動設
定することができる。各対応点情報の設定方法は、例え
ば上述の拘束条件タイプによって以下の表のように分類
される。

【０１１８】

【数２９】ａ．設定方法１（推定による自動設定）左画像上の点ｐ_１（ｋ）の指定と、その初期対応点ｐ’
_２（ｋ）と補助対応点ｐ”_２（ｋ）を自動設定する（ｋ
は対応点番号）。一般にｐ_１（ｋ）は面を指定した多角
形Ａの頂点である。

【０１１９】また、ｐ’_２（ｋ）はｐ_１（ｋ）の対応点
位置の近辺にある点で、概略奥行きＺ_ａと上述の式
（６）及び式（７）を使って次の式で求める。

【０１２０】

【数３０】（５３）Ｐ”_２（ｋ）はｐ’_２（ｋ）以外の任意のエピポーララ
イン上の点でよく、エピポールそのものでもよい。

【０１２１】ｂ．設定方法２（固定対応点を設定）ユーザが特定の点の対応を固定したい場合の方法であ
る。固定したい対応点をｐ_１（ｋ）とｐ_２（ｋ）に設定
する。

【０１２２】ｃ．設定方法３（エピポールを設定）Ｉ_１とＩ_２のエピポールＥ_１とＥ_２をそれぞれｐ
_１（ｋ）とｐ_２（ｋ）に設定する。

【０１２３】ｄ．設定方法４（消失点を設定）求める平面が平行な直線方向ｖのＩ_１とＩ_２上の消失点
Ｅ_ｖ１とＥ_ｖ２をそれぞれｐ_１（ｋ）とｐ_２（ｋ）に設
定する。

【０１２４】５．５．１．２．画像の読み込み（Ｓ１
３）画像Ｉ_１と画像Ｉ_２をステレオ画像保持部１０から読み
込む。多角形Ａを与えられている方の画像をＩ_１とす
る。

【０１２５】５．５．１．３．微分画像の計算（Ｓ１
４）画像のｘ方向微分∂Ｉ_２／∂ｘ_ｉ’及びｙ方向微分∂Ｉ
_２／∂ｙ_ｉ’を計算する。

【０１２６】５．５．１．４．パラメータＤの初期値の
設定（Ｓ１５）パラメータＤを全て０に設定する。

【０１２７】５．５．１．５．微分値の計算と積算（Ｓ
１６）画像Ｉ１の指定多角形内の各画素について∂ｅ_ｉ／∂Ｄ
とｅ_ｉを計算し、積算する事によって行列^ｔＪ・Ｊとベ
クトル−^ｔＪ・ｅを計算する。

【０１２８】５．５．１．６．パラメータＤの更新（Ｓ
１７）式（４５）及び式（４６）に従ってパラメータＤを更新
する。

【０１２９】５．５．１．７．収束判定（Ｓ１８）パラメータＤの変化△Ｄが閾値Ｄ_ｔｈより小さくなる
か、収束計算のループ回数が閾値Ｌ_ｔｈより大きくなっ
た場合、そのときのＤを最適解Ｄ_ｏｐｔとして出力し、
収束計算を終了する。条件を満たさない場合は、微分値
の計算と積算（Ｓ１６）に戻る。

【０１３０】５．５．１．８．多角形座標の三次元変換
（Ｓ１９）Ｄ_ｏｐｔで与えられる射影変換Ｈにより、画像Ｉ_１上の
多角形の各点に対応する画像Ｉ_２上の対応点を計算し、
更に上述の式（１３）によって各点の三次元座標を計算
する。

【０１３１】５．５．２．２平面方向を指定する場合
の計算方法５．５．２．１．必要情報の設定（図１９中のＳ２１）以下の必要情報を設定する。

【０１３２】（１）面を指定する多角形上述のＳ３において、ステレオ画像のいずれかの上でな
ぞられた多角形（画像座標列）で、平面構造物の面の外
周を示す。なぞられた方の画像をＩ_１、もう一方をＩ_２
とする。

【０１３３】（２）画像の標定要素上述のＳ１で入力された標定要素である。

【０１３４】（３）面の概略奥行き面Ａの概略奥行きＺ_ａである。

【０１３５】（４）法線方向上述のＳ４で入力された求める平面に平行な平面の単位
法線方向ｖ＝（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）である。

【０１３６】５．５．２．２．射影変換係数計算（Ｓ２
２）まず、多角形Ａの重心座標Ａ_ｇを求め、次の式で平面の
概略重心Ｐ_ｉｎｉを次の式で求める。

【０１３７】

【数３１】（５４） △ｖを適当な正の実数として、求める平面が、例えば図
２０に示すように、ｐ _ｉｎｉ＋△ｖ・ｖを通る平面Π_０
とＰ_ｉｎｉ−△ｖ・ｖを通る平面Π_１の間に存在すると
する。これらの二つの平面の方程式は次式で表される。

【０１３８】

【数３２】（５５） Π_０とΠ_１のそれぞれについて、面上の適当な４点（ど
の３点も一直線上にない）を求め、これらを各画像に投
影した４組の対応点から射影変換係数を求めたものをそ
れぞれＨ_Π０、Ｈ_Π１とする。

【０１３９】５．５．２．３．画像の読み込み（Ｓ２
３）画像Ｉ_１と画像Ｉ_２を外部記憶装置から読み込む。多角
形を与えられている方の画像を画像Ｉ_１とする。

【０１４０】５．５．２．４．パーラメータＤの初期値
の設定（Ｓ２４）Ｄ＝０（５６）とおく。また、最適解の初期値としてＤ_ｏｐｔ＝０とお
き、評価関数χの最小値の初期値としてχ_ｍｉｎに十分
大きな値を設定しておく。

【０１４１】５．５．２．５．射影変換係数の算出（Ｓ
２５）上述の式（５２）に基づき、Ｄに対応する射影変換係数
Ｈを求める。

【０１４２】５．５．２．６．評価関数の算出（Ｓ２
６）上述の式（１６）によって評価関数χを求める。

【０１４３】５．５．２．７．最小判定とχ_ｍｉｎ・Ｄ
_ｏｐｔの算出（Ｓ２７，Ｓ２８）もしχ＜χ_ｍｉｎならば、Ｄ_ｏｐｔをＤで、χ_ｍｉｎを
χで置き換える。

【０１４４】５．５．２．８．Ｄの更新（Ｓ２９）Ｄに正の加算値△Ｄを加える。

【０１４５】５．５．２．９．ループ終了判定（Ｓ３
０）Ｄ＞１ならば、ループを終了する。そうでないならば、
「射影変換の算出」（Ｓ２５）に戻る。

【０１４６】５．５．２．１０．多角形座標の三次元変
換（Ｓ３１）Ｄ_ｏｐｔで与えられる射影変換Ｈにより、上述の式（１
５）によって画像Ｉ_１上の多角形の各点に対応する画像
Ｉ_２上の対応点を計算し、さらに上述の式（１３）によ
って各点の三次元座標を計算する。

【０１４７】以上の処理により、多角形等で指定された
不定形の領域の内部の各点に３次元座標が与えられる。
この後、多角形の計測を続けて行うか否かを判定し（図
２中のＳ６）、多角形の計測を続けて行う場合は上述の
Ｓ３（多角形の入力）に戻り、行わない場合には次のＳ
７（３次元モデルの出力）に進む。

【０１４８】６．３次元モデル出力（Ｓ７）以上のように、ステレオマッチングが終了すると、３次
元モデル保持部１００には、例えば各３次元多角形の各
頂点の座標等が３次元モデルとして格納された状態とな
る。このようなデータは、例えば外部からの要求に応じ
て出力する。

【０１４９】（効果）以上説明したように、この３次元
計測装置では、多角形や画像のラスターマスクで指定さ
れる不定形の領域について、それが平面であるという拘
束のもとに、面上もしくは図上の全ての点を精密に測定
できる。このため、傾きを有する平面についても平面の
パラメータを求めることができる。これにより、ステレ
オ画像内に存在する平面領域を精確かつ自動的に計測す
ることができる。

【０１５０】また、この３次元計測装置では、上述のよ
うに、平面が通る１つないし２つの点を拘束したり、平
面の向きをある直線方向に平行もしくはある平面に平行
になるように拘束したりして最適な平面を求めることが
できる。これにより、ステレオマッチングに必要なパラ
メータ数を減少させ、入力あるいは演算の負荷を低減さ
せることができる。

【０１５１】なお、以上の説明では、航空写真から３次
元モデルを作成するシステムに本発明を適用した例につ
いて説明したが、本発明の適用対象は、これに限定され
るものではなく、例えばステレオ写真による建物形状の
精密計測、３次元モデルの生成等にも本発明を適用する
ことができる。

【０１５２】

【発明の効果】本発明に係るステレオマッチング方法で
は、標定された複数の画像のいずれか中から選択された
多角形又は画像マスクで指定される不定形の領域が３次
元空間上で平面であるという拘束条件下で、平面のパラ
メータを求めることにより、傾きを有する平面について
もステレオマッチングを行うことできる。これにより、
ステレオ画像内に存在する平面領域を精確かつ自動的に
計測することができる。

【０１５３】また、本発明に係る３次元計測方法及び３
次元計測装置では、複数の画像のいずれか中から選択さ
れた多角形又は画像マスクで指定される不定形の領域若
しくは適当な対応点を示す情報に対応する領域が３次元
空間上で平面であるという拘束条件下で、３次元モデル
上の平面のパラメータを求めることにより、傾きを有す
る平面についてもステレオマッチングを行って３次元モ
デルを生成することができる。ことにより、多角形の厳
密な計測位置を、ステレオ画像を実体視することなしに
計測することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る３次元計測装置の構
成例を示すブロック図である。

【図２】前記３次元計測装置の動作を示すフローチャー
トである。

【図３】ステレオ画像の例を示す図である。

【図４】エリアセンサの幾何学的特性の例を示す図であ
る。

【図５】エリアセンサの幾何学的特性の例を示す図であ
る。

【図６】画像中の多角形と実際の平面の関係の例を示す
図である。

【図７】拘束条件を指定するオプションの入力の例を示
す図である。

【図８】拘束条件を指定するオプションの入力の例を示
す図である。

【図９】拘束条件を指定するオプションの入力の例を示
す図である。

【図１０】拘束条件を指定するオプションの入力の例を
示す図である。

【図１１】拘束条件を指定するオプションの入力の例を
示す図である。

【図１２】エピポーララインを示す概念図である。

【図１３】パラメータＤを示す概念図である。

【図１４】平面上の点の対応を示す概念図である。

【図１５】エピポールを示す概念図である。

【図１６】消失点における対応を示す概念図である。

【図１７】平面方向を拘束する場合を示す概念図であ
る。

【図１８】平面ステレオマッチング処理を示すフローチ
ャートである。

【図１９】平面ステレオマッチング処理を示すフローチ
ャートである。

【図２０】２平面の決定を示す概念図である。

【符号の説明】

１０…ステレオ画像保持部、２０…標定要素保持部、３０…変換関数算出部、４０…画像表示部、５０…モニタ、６０…入力部、７０…不定形窓設定部、８０…拘束条件設定部、９０…ステレオマッチング部、１００…３次元モデル保持部

───────────────────────────────────────────────────── フロントページの続き (72)発明者柴崎亮介東京都江東区猿江１丁目５−３−408 Ｆターム(参考） 2F065 AA04 AA53 BB05 FF05 QQ31 5B056 BB11 BB23 BB34 BB42 HH03 5B057 AA14 AA20 CA12 CB13 CD14 CH01 DA16 DC32 5L096 BA20 CA04 FA02 FA76 GA10 HA07

Claims

【特許請求の範囲】

【請求項１】複数の画像（ステレオ画像）中の平面の
パラメータを求めるステレオマッチング方法であって、前記各画像の標定要素を読み込むステップと、前記読み込まれた標定要素に基づく複数の画像のいずれ
か中から選択された多角形又は画像マスクで指定される
不定形の領域が３次元空間上で平面であるという拘束条
件下で、平面のパラメータを求める平面算出ステップと
を有することを特徴とするステレオマッチング方法。
【請求項２】前記平面算出ステップにおいて、平面の
向きをある直線方向に平行もしくはある平面に平行にな
るように拘束して最適な平面を求めることを特徴とする
請求項１記載のステレオマッチング方法。
【請求項３】前記平面算出ステップにおいて、平面が
通る１点又は２点を拘束して最適な平面を求めることを
特徴とする請求項１記載のステレオマッチング方法。
【請求項４】複数の画像（ステレオ画像）から３次元
モデルを生成する３次元計測方法であって、前記複数の画像の標定要素を読込むステップと、前記読み込んだ標定要素に基づく複数の画像を表示する
ステップと、該表示したいずれかの画像中の不定形領域を示す多角形
又は適当な対応点についての情報を入力するステップ
と、該入力された情報に応じて当該情報に対応する画像中の
多角形又は画像マスクで指定される不定形の領域若しく
は前記適当な対応点を示す情報を保持するステップと、前記保持された情報に対応する領域が３次元空間上で平
面であるという拘束条件下で、３次元モデル上の平面の
パラメータを求める平面算出ステップと該求めた平面の
パラメータを含む３次元モデルを生成する３次元モデル
生成ステップとを備えることを特徴とする３次元計測方
法。
【請求項５】複数の画像（ステレオ画像）から３次元
モデルを生成する３次元計測装置であって、複数の画像の標定要素を読み込む標定手段と、前記読み込まれた複数の画像の標定要素に基づく複数の
画像を表示する表示手段と、該表示手段に表示したいずれかの画像中の不定形領域を
示す多角形又は適当な対応点についての情報を入力する
入力手段と、該入力手段によって入力された情報に応じて当該情報に
対応する画像中の多角形又は画像マスクで指定される不
定形の領域若しくは前記適当な対応点を示す情報を保持
する領域情報保持手段と、該領域情報保持手段に保持された情報に対応する領域が
３次元空間上で平面であるという拘束条件下で、３次元
モデル上の平面のパラメータを求める平面算出手段と該
算出手段によって求めた平面のパラメータを含む３次元
モデルを生成する３次元モデル生成手段とを備えること
を特徴とする３次元計測装置。
【請求項６】複数の画像（ステレオ画像）中の平面の
パラメータを求めるステレオマッチング方法のプログラ
ムであって、コンピュータに、各画像の標定要素を読み込みさせるステップと、前記読み込まれた標定要素に基づく複数の画像のいずれ
か中から選択された多角形又は画像マスクで指定される
不定形の領域が３次元空間上で平面であるという拘束条
件下で、平面のパラメータを求めさせる平面算出ステッ
プとを有することを特徴とするステレオマッチング方法
のプログラム。
【請求項７】複数の画像（ステレオ画像）から３次元
モデルを生成する３次元計測のプログラムであって、コンピュータに、複数の画像の標定要素を読込むステップと、前記読み込んだ標定要素に基づく複数の画像を表示する
ステップと、該表示したいずれかの画像中の不定形領域を示す多角形
又は適当な対応点についての情報を入力するステップ
と、該入力された情報に応じて当該情報に対応する画像中の
多角形又は画像マスクで指定される不定形の領域若しく
は前記適当な対応点を示す情報を保持するステップと、前記保持された情報に対応する領域が３次元空間上で平
面であるという拘束条件下で、３次元モデル上の平面の
パラメータを求める平面算出ステップと該求めた平面の
パラメータを含む３次元モデルを生成する３次元モデル
生成ステップとを有することを特徴とする３次元計測の
プログラム。