JP2006300656A - 画像計測方法、装置、プログラム及び記録媒体 - Google Patents

Abstract

【課題】ステレオ視を用い、１枚の画像上で測定範囲を設定するだけで画像内オブジェクトの実寸を算出する。
【解決手段】画像計測装置は、測定対象及び参照物体が同時に撮影された２枚の画像の撮影時のアフィン射影行列及び透視射影行列と、両画像間の拘束関係を与える行列とを算出する撮影情報算出部２００と、一方の画像において対象領域を囲んで指定された矩形の辺を、参照物体の像の３つの辺の像の線形結合で表した際の結合係数を算出し、矩形の形状を修正する対象領域決定部３００と、他方の画像において、矩形に対応する領域を対応対象領域として算出する対応対象領域決定部４００と、透視射影行列と、対象領域での矩形の頂点位置と、対応対象領域での矩形の頂点位置を用いて、対象領域へのカメラ中心からの奥行と参照物体へのカメラ中心からの奥行を比較し、対象領域の頂点の３次元座標を算出する対象領域実寸算出部５００と、を有する。
【選択図】 図１

Description

本発明は、実寸及び形状が既知である物体（参照物体）と実寸及び形状が未知である物体（測定対象物体）とを同時に撮影した複数の画像を用いて、測定対象物体を囲む矩形領域の実寸を算出する、画像計測方法及び装置に関する。

撮影された画像を用いて被写体の実寸を測定することは、いわゆる写真測量の分野で広く行われている。近年、ディジタルカメラに代表されるディジタル画像撮影装置の精度が向上し、またディジタル画像撮影装置で撮影したデータ（ディジタル画像）を記録する記録媒体の容量も増大しているため、撮影及び記録画像における縦横の画素（ピクセル）数すなわち解像度が大きくなり、それによって、ディジタル画像は、フィルムカメラ（銀塩カメラ）により撮影されたアナログ画像に匹敵する画質を有するようになってきている。
ディジタル画像はコンピュータ処理が容易であるため、これらディジタル画像撮影装置の発展に伴い、写真測量の撮影手段としてディジタル画像撮影装置を用いることが主流となってきている。

画像を用いた実寸の測量は、通常、撮影時の視点からの距離をステレオ視を適用して復元するという三角測量原理により行われることがほとんどであり、その原理は非特許文献１をはじめとする多くの文献に記載されている。

以下、ディジタル画像撮影装置を単にカメラ等と称し、ディジタル画像撮影装置によって撮影された画像をディジタル画像、あるいは単に画像と称する。また、測量の対象となる現実世界に設定された３次元デカルト座標系を世界座標系またはワールド座標系と呼び、ワールド座標系の３次元の点を

などと表す。また、撮影の視点位置（カメラ中心）を原点とする３次元デカルト座標系をカメラ座標系と呼ぶ。また、撮影され記録されたディジタル画像上での２次元デカルト座標系を画像座標系と呼び、画像座標系の２次元の点を

などと表す。なお、以下の説明において、記載の簡略化のために、各種の記号に関し、混同をきたさない限りにおいて、イタリックのボールド体で記載された例えば

を、単に活字体（例えばｍ，ｍ′）で記載することがある。

図１は、ステレオ視の原理を表している。図において、ステレオ視に用いられる２枚の画像はそれぞれＩ，Ｉ′で表わされており、Ｏ，Ｏ′はそれぞれ画像Ｉ，Ｉ′のカメラ中心である。Ｏ_wはワールド座標系の原点であり、

はワールド座標系における３次元、ｍ，ｍ′はそれぞれＩ，Ｉ′における

の像である。また、

はエピポールである。

ここで図１に示すように、ワールド座標系の点

が異なる複数の画像に撮影されている場合、それぞれの画像に写っている

の像を対応点と呼ぶ。すなわち、図１においては、画像Ｉ上の点ｍの、画像Ｉ′上における対応点はｍ′であり、逆にｍ′の画像Ｉにおける対応点はｍである。もちろん、複数の画像に重複して撮影されている部分が多ければ、それだけ対応点の数は多い。

さて、ステレオによる測量の原理は以下のとおりである。カメラ中心の位置を変えて撮影した２枚の画像上における参照物体の対応点、すなわち、ワールド座標系での同一位置が、それぞれの画像に写っている位置の画像座標値がわかれば、それぞれの画像を撮影したカメラの射影行列、すなわちワールド座標中のある点が画像中のどの点に射影されたかを計算するための行列がわかる。どのようなカメラモデルを仮定するかにより、必要な対応点の数は異なる。このとき、必要な対応点の画素座標値だけが既知であると、被写体のもとの３次元座標値は相対的なスケールでしか復元できない。

しかし、必要な対応点が写している現実の３次元世界の点の、ワールド座標系での３次元座標値と、その対応点の組のそれぞれの画像での画像座標値がわかれば、すなわち、

が既知であれば、スケール因子も含めた射影行列を得ることができる。この、ワールド座標系での３次元座標値と、対応点の組のそれぞれの画像での画像座標値との組を、以下記号

あるいは単にＳと表すこととする。

この、Ｓがいくつ既知であればよいかも、どのようなカメラモデルを仮定するかにより異なってくる。例えば、非特許文献２や非特許文献３において説明されているアフィンカメラを仮定すると、４組の異なるＳがわかれば、２枚の画像の射影行列を知ることができる。この事情を以下に説明する。

をワールド座標系における３次元の点とし、ｍを、実際に撮影されたディジタル画像上の２次元の点とすると、一般に、撮影された画像上の点ｍ＝［ｕ，ｖ］^Tとワールド座標空間の点

との間には以下の関係が成り立つ。ただし、Ａ^Tは行列あるいはベクトルＡの転置を表す記号である：

ここでｓはスケール因子、Ｐは３行４列の射影行列である。

アフィンカメラを仮定して、行列Ｐの未知の成分をｐ_ij（ｉ＝１，２；ｊ＝１，２，３，４）で表すと、非特許文献２、非特許文献３に示されているように、一般に(1)式は以下のように簡略化される：

したがって、２枚の画像Ｉ，Ｉ′を撮影したアフィンカメラの射影行列をＰ，Ｐ′、その未知の成分をｐ_ij，ｐ'_ij（ｉ＝１，２；ｊ＝１，２，３，４）とし、あるワールド座標の点

が画像Ｉ，Ｉ′上の対応点ｍ＝［ｕ，ｖ］^T，ｍ′＝［ｕ′，ｖ′］^Tに射影されたとすると、次の式が成り立つ：

したがって、アフィンカメラを仮定した射影行列を求める場合、(4)式の右辺の行列には１６個の未知数があり、１つの３次元ワールド座標及び画像上の対応点ペアＳごとに４つの方程式が出てくるので、４組の情報がわかればよいことになる。

いったん射影行列Ｐ及びＰ′が求まれば、ワールド座標における未知の点

があったとき、その点

をそれぞれの画像に射影した点ｍ，ｍ′を見つけることにより、(4)式によって点

を求めることができる。これを利用すれば、２枚の画像に撮影された物体上の計測したい点の、２枚の画像上での位置を求めてそのワールド座標での距離を求めれば、撮影されている物体の実寸がわかることになる。

ところで、上述したアフィンカメラよりも現実に近い透視射影カメラを仮定すると、(1)式の代わりに、

となる。(5)式において右辺の行列の１２個の成分に同一の実数を乗じても、この式は同じ結果を与えるため、独立な成分の数は１１である。また、１つの式から２つの独立な式を得ることができるので、既知の３次元の点

とその画像への像ｍが６つ得られれば、非特許文献２に記載の方法によって、右辺のｐ_pij（ｉ＝１，２，３；ｊ＝１，２，３，４）を得ることができる。

同様に、前述した既知の３次元の点

と、他の画像への像ｍ′が６つ得られれば、ｐ'_pij（ｉ＝１，２，３；ｊ＝１，２，３，４）を得ることができる。

以下、アフィンカメラを仮定した射影行列（アフィン射影行列ともいう）と透視射影カメラを仮定した射影行列（透視射影行列ともいう）とを区別するために、透視射影行列については、Ｐ_p，Ｐ_p′のように、添え字ｐをつけて表すこととする。

ひとたびＰ_p及びＰ_p′が得られたとすると、(5)式を用いて、両画面の対応点ｍ，ｍ′から未知のワールド座標［Ｘ_w，Ｙ_w，Ｚ_w］を計算することが可能になる。その手順は、次の通りである。

１つの３次元ワールド座標とその像とから、以下の３つの式が導かれる：
ｓｕ＝ｐ_p11Ｘ_w＋ｐ_p12Ｙ_w＋ｐ_p13Ｚ_w＋ｐ_p14，
ｓｖ＝ｐ_p21Ｘ_w＋ｐ_p22Ｙ_w＋ｐ_p23Ｚ_w＋ｐ_p24，
ｓ＝ｐ_p31Ｘ_w＋ｐ_p32Ｙ_w＋ｐ_p33Ｚ_w＋ｐ_p34．
第３の式をｕ倍して第１の式から引いたものと、第３の式をｖ倍して第２の式から引いたものとから、下記式が得られる。

(ｐ_p11−ｕｐ_p31)Ｘ_w＋(ｐ_p12−ｕｐ_p32)Ｙ_w＋(ｐ_p13−ｕｐ_p33)Ｚ_w＋ｐ_p14−ｕｐ_p34＝０，
(ｐ_p21−ｖｐ_p31)Ｘ_w＋(ｐ_p22−ｖｐ_p32)Ｙ_w＋(ｐ_p23−ｖｐ_p33)Ｚ_w＋ｐ_p24−ｖｐ_p34＝０．
他の画像の透視射影行列成分をｐ'_pijとして同様の式を得て、それらをまとめると、次のようになる：

すなわち、１組のＳから、未知数３つに対して４つの式が得られることになる。この式は、ａ_ij（ｉ，ｊ＝１，２，３，４）を既知の係数、

を未知のベクトルとして、次のように書くことができる。

このとき、

を避けるために、(7)式における左辺の係数行列とその転置行列とを乗算して得られる実対称行列の最小固有値及びその最小固有値に対応する固有ベクトルを、

という条件で求めると、その固有ベクトルが(7)式を満たす解であることが広く知られている。この固有ベクトルの全成分を第４成分（ｗ）で除算したものが、求める［ｘ，ｙ，ｚ，１］^Tである。

したがって、２枚の画像に撮影された物体上の計測したい点の、２枚の画像上での位置を求めてそのワールド座標系での座標を求めれば、撮影されている物体の実寸が分かることになる。

しかしながらこの方法では、測定の対象となる物体のワールド座標系の点が画像上のどこに射影されているかを、少なくとも２枚の画像にわたり、求めなければならない、という問題があった。また、一方の画像Ｉにおいて、測定の対象点の像を指定し、他方の画像Ｉ′上で対応点探索により対応点を求めたとしても、誤対応が生じると正確な結果が得られない、という問題があった。

従来の手法においては、この対応点を正確に求めることによって、計測の精度を向上しようとするものが開示されている。例えば、特許文献１においては、２枚の画像を平行化することによって対応点付けを行う手法が開示されている。また、特許文献２においては、複数カメラにおいて撮影された画像において、マーカーの位置の対応位置を求めるために、探索窓位置を更新しつつ探索する手法が関示されている。

しかしながら、特許文献１、特許文献２ともに、計測の対象となる範囲を直感的に指定できない、という問題があった。

また、アフィンカメラを仮定して３次元座標値の復元を考慮する場合、アフィン射影においては、カメラから一定の距離にある面にいったん被写体の像を射影し、その後、その面上の像を撮像面に射影するため、復元される奥行情報（カメラからの距離）は一定である。そのため、カメラからの被写体や参照物体までの距離が被写体の厚みに比べて大きくないときや、被写体とカメラとの間の距離と、参照物体とカメラとの間の距離とに差異がある場合には、復元した３次元座標値がよい近似値とはならない、という問題を生ずる。
特開２００３−１８５４３４号公報 特開２００１−１４１４１８号公報 Toni Scenk著，村井俊治・近津博文監訳，「デジタル写真測量」，（社）日本測量協会発行，２００２年 Gang Xu and Zhengyon Zhang, "Epipolar Geometry in Stereo, Motion and Object Recognition: A Unified Approach", Kluwer Academic Publishers, 1996 佐藤淳著、「コンピュータ・ビジョン−視覚の幾何学−」、コロナ社発行、１９９９年

本発明は、画像に撮影されている対象の大きさを計測しようとする際に、１枚の画像上において測定範囲を矩形（すなわち長方形）等で設定すれば、他の画像上において対応点を指定することなく、その測定範囲のワールド座標系における座標値を得て実寸を算出し、その測定範囲を他の画像に合成することにより実寸比較することが可能となる、画像計測方法及び装置を提供することにある。

本発明の画像計測方法は、
測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測方法であって、
測定対象及び３次元参照物体が同時に撮影された少なくとも２枚の画像Ｉ，Ｉ′を入力する段階と、
３次元参照物体の像の４つの点の像を、入力された２枚の画像Ｉ，Ｉ′において取得することにより、２枚の画像Ｉ，Ｉ′の撮影時の、アフィンカメラを仮定した射影行列、及び２枚の画像Ｉ，Ｉ′間の拘束関係を与える拘束行列を算出し、さらにその４つの点の像に加えて他の２点の像を２枚の画像Ｉ，Ｉ′において取得することにより、２枚の画像Ｉ，Ｉ′の撮影時の、透視射影カメラと仮定した射影行列を算出して記憶する段階と、
実寸測定の対象となる領域を対象領域Ｍとして、一方の画像Ｉにおいて、対象領域Ｍを囲む画面上での２次元の矩形の指定を受け入れて記憶し、その矩形の辺を、３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、矩形の形状を修正して矩形の画面上での頂点位置を記憶する段階と、
他方の画像Ｉ′において、先に指定された矩形の対応領域を対応対象領域Ｍ′として、対応対象領域Ｍ′を算出し、対応対象領域Ｍ′の画面上での頂点位置を記憶する段階と、
算出されたアフィンカメラを仮定した射影行列と、対象領域Ｍでの頂点位置と、対応対象領域Ｍ′での頂点位置を用いて、対象領域Ｍの頂点の３次元ワールド座標を算出し、さらに、透視射影カメラを仮定した射影行列を用いて、３次元座標が復元された対象領域へのカメラからの距離を算出し、復元された対象領域の３次元座標値を算出する段階と、を有する。

本発明においては、射影行列や拘束行列を算出する際には、３次元参照物体の実寸、形状の情報を取得することが好ましい。

本発明では、画像ＩまたはＩ′上での対象領域頂点位置とその３次元ワールド座標を用いて、他の画像あるいは３次元シーンに合成して表示するようにすることができる。

また本発明では、矩形領域の画面上での頂点位置を対応対象領域として記憶する段階は、例えば、算出された結合係数を用いて、３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で対応対象領域の画面上での頂点位置を算出し評価する段階と、算出された２画面間の拘束を与える行列を用いて、対象領域の頂点の他方の画像Ｉ′での対応位置を算出し評価する段階と、一方の画像Ｉにおける対象領域Ｍ内の輝度情報から得られる特徴点と、他方の画像Ｉ′における対応対象領域Ｍ′内の輝度情報から得られる特徴点との間の類似度を算出し評価する段階と、各評価する段階による評価値を基に対応対象領域Ｍ′の位置、形状を変化させつつ、対応対象領域Ｍ′を決定する段階と、を有する。

さらに本発明では、一方の画像Ｉで指定した対象領域Ｍの、他方の画像Ｉ′における対応対象領域Ｍ′を決定した後に、その対応対象領域Ｍ′を新たな対象領域とみなし、再び一方の画像Ｉにおける新たな対応対象領域を求めるようにしてもよい。

本発明の画像計測装置は、測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測装置であって、
測定対象及び３次元参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶及び／または表示するための画像入力手段と、
３次元参照物体の像の４つの点の像を、入力された２枚の画像において取得することにより、２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び２枚の画像間の拘束関係を与える行列を算出して記憶し、さらにその４つの点の像に加えて他の２点の像を２枚の画像において取得することにより、２枚の画像の撮影時の、透視射影カメラと仮定した射影行列を算出して記憶する撮影情報算出手段と、
実寸測定の対象となる領域を対象領域として、２枚の画像のうちの一方の画像において、対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、その矩形の辺を、３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、矩形の形状を修正して矩形の画面上での頂点位置を記憶する対象領域決定手段と、
２枚の画像のうちの他方の画像において、対象領域決定手段での矩形に対応する領域を対応対象領域として算出し、対応対象領域の画面上での頂点位置を記憶する対応対象領域決定手段と、
アフィンカメラを仮定した射影行列と、対象領域での頂点位置と、対応対象領域での頂点位置を用いて、対象領域の頂点の３次元座標を算出し、さらに、透視射影カメラを仮定した射影行列を用いて、３次元座標が復元された対象領域へのカメラからの距離を算出し、復元された対象領域の３次元座標値を算出する対象領域実寸算出手段と、
を有する。

本発明は、画像に撮影されている測定対象の範囲を片方の画像のみで矩形により指定しさえすれば、その範囲の実寸を得ることができるというと効果がある。

次に、本発明の好ましい実施の形態について、図面を参照して説明する。図２は、本発明の実施の一形態の計測装置の全体を示すブロック図である。図３は、この計測装置の細部を示すブロック図である。

計測装置は、測定対象、及び、同一平面上になく実寸における相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体（以下、単に参照物体ともいう）が同時に撮影された少なくとも２枚の画像から、測定対象を囲む矩形領城（長方形領域）をなす頂点の３次元座標値を算出するものであって、画像入力部１００と、撮影情報算出部２００と、対象領域決定部３００と、対応対象領域決定部４００と、対象領域実寸算出部５００と、対象領域表示部６００と、を備えている。参照物体における前述の少なくとも６つの点のことを参照点ともいう。

以下の説明において、アフィンカメラを仮定した際の、２つのアフィン射影行列及び相互の拘束関係式を求めるためには、４つの参照点の３次元座標値と、それぞれの２枚の画像への像の２次元座標値が必要である。また、透視射影カメラを仮定した際の、２つの透視射影行列を求めるためには、６つの参照点の３次元座標値と、それぞれの２枚の画像への像の２次元座標値が必要である。したがって、６つの参照点及びその両画像への像の組を２つの透視射影行列の計算に用い、さらにその６組中の４組を２つのアフィン射影行列及び相互の拘束関係式を求めるために用いてもよい。

なお、参照物体において実寸における相互の位置関係が既知であるとは、たとえば参照物体の１つの参照点を原点とみなした場合、適当な座標系を設定することによって、その原点からの３次元座標値によって他の参照点を表すことができ、その座標単位がミリメートルやセンチメートルのように具体的に測定されていることを意味する。

例えば、少なくとも１つの頂点を形成する３つの辺の長さが既知である立方体または直方体または平行六面体を参照物体として想定すると、この参照物体は８個の頂点を有し、これらの頂点を参照点として、そのうちの１つの頂点をワールド座標系の原点（０，０，０）とみなすことができる。そして、原点とみなされた頂点を通る１つの辺をｘ軸に取り、例えば右手系を形成するように他の２辺をｙ軸、ｚ軸に取り、それぞれの辺の長さ（ｄ₁，ｄ₂及びｄ₃とする）を用いて、これらの３辺をなす４つの頂点を３次元ワールド座標系においてそれぞれ（０，０，０），（ｄ₁，０，０），（０，ｄ₂，０），（０，０，ｄ₃）としてアフィン射影行列の算出に用い、この４つの頂点に加え、他の頂点のうちの２つ例えば（ｄ₁，ｄ₂，０），（０，ｄ₂，ｄ₃）を用いて透視射影行列の算出を行うことができる。

以下の説明では、アフィン射影行列及び２枚の画像間の拘束式を求めるための４つの参照点として、立方体または直方体または平行六面体における１つの頂点を形成する３つの辺を形成する合計４つの頂点を用いることとし、透視射影行列を求めるための６つの参照点としては、前述した４つの頂点と他の２つの頂点を用いることとする。本発明においては、参照物体としては、このような立方体または直方体または平行六面体でなくても、少なくとも６つの点を有しそのうちの１点から他の各点までの相対的な座標値がわかっているものであれば、どのような形状のものも使用することができ、また、以下に述べる説明はそのような任意の形状のものにもあてはまる。しかしながら、立方体または直方体または平行六面体であればそれらの頂点を参照点とすることにより、各参照点における座標の成分の値のいくつかを０とすることができ、当業者には容易に推測がつくように、計算を簡単なものとすることができる。

画像入力部１００は、画像読込部１０１と画像記憶部１０２と画像表示部１０３とを備えており、測定対象、及び、立方体または直方体または平行六面体をなす参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶あるいは表示する。撮影情報算出部２００は、参照物体情報入力部２０１と参照物体抽出部２０２と対応点取得部２０３と対応関係算出・記憶部２０４とアフィン射影行列算出・記憶部２０５と透視射影行列算出・記憶部２０６とを備えており、参照物体の実寸、形状の情報を取得し、参照物体の像の６つの頂点の像を入力された２枚の画像（一方の画像と他方の画像）において取得することにより、２枚の画像の撮影時のアフィンカメラを仮定した射影行列、２枚の画像間の拘束関係を与える行列、及び２枚の画像の撮影時の透視射影カメラを仮定した射影行列を算出し記憶する。対象領域決定部３００は、基底ベクトル導出部３０１と対象領域選択部３０２と結合係数導出部３０３と領域変形部３０４と領域位置記憶部３０５とを備えており、一方の画像において実寸測定の対象となる領域（これを対応領域という）を囲む画面上での２次元の矩形の指定を受け入れて記憶し、その矩形の辺を、参照物体の像の、１つの頂点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、その矩形の形状を修正して矩形の画面上での頂点位置を記憶する。

対応対象領域決定部４００は、領域形状算出部４０１と領域位置算出部４０２と特徴量算出部４０３と対応領域移動・評価部４０４とを備えており、他方の画像において、先に指定された矩形に対応する領域（これを対応対象領域という）を算出し、対応対象領域の画面上での頂点位置を記憶する。特に、領域形状算出部４０１は、算出された結合係数を用いて、参照物体の像の、１つの頂点で交わる３つの辺の像の線形結合によって、対応対象領域の画面上での頂点位置を算出し評価する。領域位置算出部４０２は、算出された２画面間の拘束を与える行列を用いて、対象領域の頂点の別の画像での対応位置を算出し評価する。特徴量算出部４０３は、一方の画像における対象領域内の輝度情報から得られる特徴点と、他方の画像における対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する。そして対応領域移動・評価部４０４は、領域形状算出部４０１、領域位置算出部４０２及び特徴量算出部４０３による評価値を基に、対応対象領域位置、形状を変化させつつ、対応対象領域を決定する。

対象領域実寸算出部５００は、世界座標算出部５０１と相対座標算出部５０２と奥行算出部５０３と実寸算出部５０４とを備えており、算出されたアフィン射影行列と、対象領域決定部３００により算出され記憶された対象領域の頂点位置と、対応対象領域決定部４００により算出され記憶された対応対象領域の頂点位置とを用いて、対象領域の頂点の３次元座標を算出する。さらに対象領域実寸算出部５００は、透視射影行列を用いて、対象領域の頂点への３次元座標のカメラ中心からの距離と参照物体の原点（ワールド座標系の原点とみなしている）への３次元座標のカメラ中心からの距離との比を算出し、算出した比に基づいて、対象領域の頂点の３次元座標値を修正する。対象領域表示部６００は、テクスチャオブジェクト生成部６０１とポリゴン生成部６０２と画像生成部６０３と表示部６０４とを備えており、入力された画像と、対象領域の画面上での頂点位置と、その３次元座標を用いて、対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する機能を有する。

次に、この計測装置を用いた、測定対象及び参照物体が同時に撮影された少なくとも２枚の画像から測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する処理を説明する。ここで参照物体は、少なくとも１つの頂点を形成する３つの辺の長さが既知である立方体または直方体または平行六面体である。

まず、画像入力部１００の画像読込部１０１において、測定対象及び参照物体が撮影された少なくとも２枚の画像を入力する。このとき、少なくとも２枚の画像において、撮影するカメラのカメラ中心は移動していることが望ましく、参照物体のひとつの頂点を通る３つの辺が画像上に写っていることが望ましい。また、この３つの辺の像は、画像上において数画素以上の長さを有することが望ましい。また、３つの辺のうち１つは現実の世界において鉛直方向であり、他の２辺はこの鉛直方向の辺に垂直であることが望ましい。以下は、参照物体のひとつの頂点を通る３つの辺が上記の条件を満たしているものとして説明を進める。なお、鉛直ではない２辺は、互いに垂直であることが好ましいが、同一直線上でなければ、垂直でなくてもよい。以下、画像を２枚とし、それぞれの画像をＩ，Ｉ′とする。

次に、画像入力部１００の画像記憶部１０２は、画像読込部１０１で読み込んだ画像を記憶し、またその画像を画像表示部１０３が表示する。この画像の表示は、後述する対象領域決定部３００の対象領域選択部３０２において、ユーザによる矩形の入力を受け付けるためのものである。

以上のようにして画像入力部１００での画像の入力と記憶とが終了すると、次に、撮影情報算出部２００が起動し、その参照物体情報入力部２０１が、あらかじめ入力しておいた参照物体の上述の３つの辺の実寸及び形状を取得する。以下、参照物体の３つの辺が交わる頂点の３次元ワールド座標をＸ₀、Ｘ₀から引いた鉛直下向きに相当する辺をなす参照物体の頂点の３次元ワールド座標をＸ₂とする。また、ワールド座標系においてＸ_oを原点とみなし、Ｘ₀Ｘ₂を下向きＹ軸とみなし、Ｘ₀を通る残りの２つの辺をＸ軸、Ｚ軸とみなしたときに、これらＸ軸、Ｙ軸、Ｚ軸が右手系をなすようにＸ軸、Ｚ軸を取るものとし、参照物体の残りの２つの辺の、Ｘ軸をなす辺をＸ₀Ｘ₁、Ｚ軸をなす辺をＸ₀Ｘ₃とする。本発明においては、ワールド座標系の原点はどこにとっても構わないので、上述のようにＸ_oを原点とし、Ｘ₀Ｘ₁をＸ軸、Ｘ₀Ｘ₂をＹ軸、Ｘ₀Ｘ₃をＺ軸とすることにする。

参照物体情報入力部２０１は、Ｘ₀Ｘ₁，Ｘ₀Ｘ₂，Ｘ₀Ｘ₃の長さを取得することになる。この長さはユーザが手入力によって入力してもよいし、あらかじめ既知のものとして設定されていてもよいし、例えばネットワークに接続されたデータベースサーバ内のテンプレートモデルと参照物体とを照合し、照合結果に応じてテンプレートモデルでの長さを取得するようにしてもよい。

次に、参照物体抽出部２０２が、画像Ｉ，Ｉ′において参照物体の３つの辺をなす４つの頂点の像を抽出する。すなわち、２枚の画像における４つの頂点の像の座標値を、それぞれの画像に設定された２次元座標値により求める。これは、例えばユーザにより画面上にこれらの画像を表示しながら手入力によって指定してもよいし、参照物体の形状が既知であるとしてHough（ハフ）変換により辺を抽出してあらかじめ登録されていたモデルとのテンプレートマッチングを行ってもよい。４つの頂点の像が抽出されると、対応点取得部２０３が、４つの頂点の画像Ｉ，Ｉ′における像を対応付ける。参照物体抽出部２０２での頂点像の抽出や対応点取得部２０３における対応付けは、上述のように手入力にて同時に実施してもよい。対応点取得部２０３での対応付けには、既知の手法、例えば、ブロックマッチングやオプティカルフローを用いてもよい。

以下、参照物体の４つの頂点Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃の画像Ｉにおける像をそれぞれ

とおき、画像Ｉ′における像をそれぞれ

とおく。例えば図４に示す

はその例である。図４は、対応領域の探索を表す図である。ここで図４(a)は一方の画像Ｉを、図４(b)は他方の画像Ｉ′を示しており、

はそれぞれ画像Ｉ，Ｉ′における参照物体の頂点の像であり、ｍ_i，ｍ'_i（ｉ＝０，１，２，３）は矩形領域の頂点を表している。また

は、それぞれ、頂点ｍ_iの画像Ｉ′におけるエピポーラ線を示す。

次に、対応関係算出・記憶部２０４は、

の座標値から、画像Ｉ及びＩ′間に成り立つ拘束関係を用いて、拘束行列を求める。

一般に、撮影時のカメラ中心が異なる２つの画像において、対応点、すなわち同じ３次元ワールド座標の点のそれぞれの画像上での像を、それぞれｍ，ｍ′とし、ｍ，ｍ′の同次座標表記をそれぞれ

とすると、

という拘束式が成り立つ。これを一般化エピポーラ方程式といい、

は３行３列の行列であって、Fundamental MatrixあるいはＦ行列などといい、非特許文献１〜３記載のように、アフィンカメラを仮定すると、４組の対応点が既知であれば、このＦ行列の成分を計算できることが知られている。以下、このＦ行列のことを活字体で単にＦのように記載することがある。

また、一方の画像Ｉ上の点ｍの他方の画像Ｉ′における対応点は、次の式を満たす画像Ｉ′上の直線

上にあるという拘束条件も満たしていることが知られている。

このような直線

を一般にエピポーラ線と呼ぶ。

なお、カメラの焦点距離などの内部パラメータが既知であれば、Ｆの代わりにEssential MatrixあるいはＥ行列などと呼ばれる行列を求めることができるが、本発明では、特に区別せず拘束行列と呼び、改めてＦで表すことにする。すなわち、対応関係算出・記憶部２０４は、

を用いて、拘束行列Ｆを求めて記憶することになる。

次に、アフィン射影行列算出・記憶部２０５が、

を用いて、背景技術で述べた方法によって、一方の画像Ｉの撮影時のアフィン射影行列Ｐ、及び他方の画像Ｉ′の撮影時のアフィン射影行列Ｐ′を算出し、記憶する。

次に、透視射影行列算出・記憶部２０６が、背景技術において述べた方法によって、アフィン射影行列の算出に用いた４点にさらに他の２点を加えた

を用いて、一方の画像Ｉの撮影時の透視射影行列Ｐ_p、及び他方の画像Ｉ′の撮影時の透視射影行列Ｐ_p′を算出し、記憶する。このとき、６点よりも多い既知の参照点の３次元座標値、及びそのＩ，Ｉ′の像の座標値を用いて、最小二乗法を用いて計算してもよい。

次に対象領域決定部３００の詳細について説明する。対象領域決定部３００は、画像Ｉにおける測定の対象となる部分を囲む矩形の頂点座標値を決定する。

まず、基底ベクトル導出部３０１は、上述の

から、ワールド座標系における

を求める。

一方、対象領域選択部３０２は、測定の対象となる領域を設定する。その際、ユーザからの入力により、一方の画像Ｉ上で長方形領域を選択してもよいし、ある対象を囲むような長方形領域を選択してもよい。このようにして設定した領域の頂点を、以下、ｍ_i（ｉ＝０，１，２，３）とおく。図４(a)の人物像を囲む領域はその例である。本実施形態は、この矩形領域を構成するｍ_i（ｉ＝０，１，２，３）の、他方の画像Ｉ′における対応点ｍ'_i（ｉ＝０，１，２，３）を求めることができる点が主たる特徴である。

まず、ｍ_i（ｉ＝０，１，２，３）の３次元ワールド座標系での座標値をＭ_i（ｉ＝０，１，２，３）とする。３次元ワールド座標系において、長方形Ｍ_i（ｉ＝０，１，２，３）は、参照物体のＹ軸をなすＸ₀Ｘ₂に平行な縦辺（図４(a)のｍ₁ｍ₂とｍ₃ｍ₀がワールド座標系でなす辺）と、参照物体のＺＸ平面、すなわちＸ₀Ｘ₁とＸ₀Ｘ₃とで張られる面に平行な横辺（図４(B)のｍ₀ｍ₁とｍ₂ｍ₃がワールド座標系でなす辺）をなすものとする。

参照物体のＹ軸が３次元ワールド座標系の鉛直線に平行であり、参照物体のＺＸ面が３次元ワールド座標系の水平面と平行であれば、長方形Ｍ_i（ｉ＝０，１，２，３）は３次元ワールド座標系において水平面に鉛直な長方形で表される面を表すことになる。

さて、アフィンカメラにおいては、ワールド座標系で平行な直線の組は、画像上でも平行な直線の組に射影されるという性質があるため、ワールド座標系で水平面に平行な直線は画像上でも水平面に平行である。したがって、例えば、

と表すことができるとすると、そのアフィンカメラによる一方の画像Ｉへの像も

となり、同様にアフィンカメラによる他方の画像Ｉ′への像も

となる。

基底ベクトル導出部３０１での基底ベクトルの導出と対象領域選択部３０２での対象領域の選択が終わると、結合係数算出部３０３は、(12)式を用いて、α_x，α_zを求める。この段階では、

が既知であるので、これらは容易に求められる。

次に、領域変形部３０４が、長方形Ｍ_i（ｉ＝０，１，２，３）の縦辺が参照物体のＸ₀Ｘ₂に平行であることから、Ｉ上の像でもｍ_i（ｉ＝０，１，２，３）の縦辺と、

とが平行になるようにｍ_i（ｉ＝０，１，２，３）を移動させる。その際、縦辺の距離を保って、ｍ_i（ｉ＝０，１，２，３）の２点を移動させてもよい。

その後、領域位置記憶部３０５は、変形後のｍ_i（ｉ＝０，１，２，３）を改めてｍ_i（ｉ＝０，１，２，３）とし、メモリ上に記憶する。以上により、Ｉにおける矩形領域の頂点座標値ｍ_i（ｉ＝０，１，２，３）が決定され、対象領域決定部３００での処理が終了する。

次に、他方の画像Ｉ′におけるｍ_i（ｉ＝０，１，２，３）の対応点ｍ'_i（ｉ＝０，１，２，３）を、対応対象領域決定部４００が決定する。対応対象領域決定部４００での処理を説明する。

まず、領域形状算出部４０１が、対象領域決定部３００の結合定数導出部３０３が求めた結合係数α_x，α_zを用いて、ｍ'_i（ｉ＝０，１，２，３）の横辺の方向ベクトルを算出し、さらに、縦辺の方向ベクトルを

とする。この方向ベクトルにより、ｍ'_i（ｉ＝０，１，２，３）の形状が求まる。しかし、この領域形状算出部４０１での計算のみでは、画像上のどの位置にｍ'_iがあるのかが決定できない。一方、領域位置算出部４０２は、エピポーラ線にかかわる拘束行列Ｆにより、ｍ_i（ｉ＝０，１，２，３）の他方の画像Ｉ′における対応点が、

上にあることを用いて、ｍ'_i（ｉ＝０，１，２，３）の位置を決定する。しかし、この領域位置算出部４０２での計算のみでは、エピポーラ線上のどの点がｍ'_iであるかが決定できない。領域形状算出部４０１と領域位置算出部４０２を用いれば、ｍ'_iの形状と辺の長さを決定できるが、一意的な位置は決定できない。この段階では、ｍ_iのどれか１点の対応点が求まればよいので、例えばオプティカルフロー探索やブロックマッチング法などにより、ｍ_iのどれか１点の対応点を他方の画像Ｉ′上で求めて、ｍ'_iを一意的に決定することも考えられるが、ｍ_iが例えば全て輝度変化のない領域内にあると、そのような対応点を探すことができない。

そこで、特徴量算出部４０３において、一方の画像Ｉのｍ_i（ｉ＝０，１，２，３）で囲まれる領域内のある量と、他方の画像Ｉ′のｍ'_i（ｉ＝０，１，２，３）で囲まれる領域内のある量とを算出する。具体的には、例えば、それぞれの矩形内の画素が持つ輝度のヒストグラムを比較評価し、最もヒストグラムが類似している位置を対応位置としたり、あるいはそれぞれの矩形内の画素の持つ赤、緑、青成分のヒストグラムを比較評価し、それぞれの最もヒストグラムが類似している位置を対応位置としたり、あるいは、それぞれの矩形内の輝度の分散を求めて最も類似している位置を対応位置としたり、あるいは、画像Ｉのｍ_iで囲まれる領域内の特徽点を、例えば輝度値によるコーナーとしていくつか求め、各特徴点を、例えば矩形ｍ_iのある頂点ｍ_n（ｎ∈｛０，１，２，３｝）を始点として、その矩形の横辺、縦辺を基底ベクトルとしてその一次結合で表し、その特徴点の座標の平均位置（重心位置）を算出する。同様に、その特徴点の他方の画像Ｉ′のｍ'_iで囲まれる領域内における対応点を、例えばブロックマッチング法やオプティイカルフロー探索により求め、原点としたｍ_nに対応するｍ'_nを始点とし、ｍ'_iの縦辺、横辺を基底ベクトルとしてその対応特徴点の座標の平均位置（重心位置）を算出し、両者の結合係数を比較する、などの方法が用いられる。

ｍ_iやｍ'_iで囲まれる領域内には、測定の対象となる被写体の像が写っているため、上述したコーナー等の特徴点は存在する可能性が大きく、前述したｍ_iの対応点を探索する方法よりも処理が容易である。

次に、対応領域移動・評価部４０４は、ｍ'_iのある頂点をエピポーラ線

上で移動させながら、上述した領域形状算出部４０１、領域位置算出部４０２及び特徴量算出部４０３の処理を繰り返し、領域形状算出部４０１、領域位置算出部４０２及び特徴量算出部４０３の処理によって算出される量があるしきい値より小さければ処理を終了し、そうでなければ再度ｍ'_iのある頂点をエピポーラ線

上で移動させて再びこれらの量の算出を行う。

算出される量として、例えば、領域形状算出部４０１においては、現在のｍ'_iから算出される結合係数α'_x，α'_zとα_x，α_zとの差を評価する関数

を用いてもよいし、その正の平方根を用いてもよい。

また、領域位置算出部４０２における評価関数として、

との距離をδ_iとおき、対応点のエピポーラ線上への拘束の度合いを表す関数

を用いてもよい。

また、特徴量算出部４０３における評価関数として、画像ＩとＩ′における特徴点の重心位置の結合係数を（μ，ν），（μ′，ν′）とおき、

を用いてもよい。

また、これらの評価関数の重み付きの和を

として、処理終了の判定基準となるしきい値εを設けて、判定をしてもよい。

また、例えば、矩形内の画素の輝度あるいは赤成分、緑成分、青成分のヒストグラムを求め、それぞれの画像での各明るさに対する画素数の差の２乗の、全ての明るさに対する和を算出して最も値が小さいところ、と判定してもよいし、あるいは矩形内の画素の輝度あるいは赤成分、緑成分、青成分の分散を求め、それぞれの画像での分散の値の差が最も小さいところ、と判定してもよい。

なお、このようにして求めたｍ'_iを新たに対象領域とみなし、一方の画像Ｉに対して、ｍ_iを初期値として同様の処理を繰り返してもよい。

対応対象領域決定部４００によりｍ'_iが求まったら、次に、対象領域実寸算出部５００は、Ｍ'_iの３次元ワールド座標値を求める。以下、対象領域実寸算出部５００での処理を説明する。

世界座標算出部５０１は、既に求めた頂点ｍ_i，ｍ'_i（ｉ＝０，１，２，３）及びアフィン射影行列Ｐ，Ｐ′から、背景技術で述べた方法により、Ｍ_iの３次元ワールド座標値を求める。Ｍ_iは、３次元ワールド座標において対象物体を囲む長方形（矩形）を表しており、長方形が対象物体を囲む最小の大きさであれば、その長方形の縦横の辺の長さを求めることにより、その対象物体の縦横の大きさを求めることができる。

Ｍ_iの３次元ワールド座標値が求められると、相対座標算出部５０２は、Ｍ_iを適当な相対座標値にする。Ｍ_iは参照物体のＸ₀を原点とする座標値であったので、例えば、Ｍ₀を始点として、他の点をＭ₀からの位置ベクトルで表す、などの方法により、相対座標値に変換される。もちろん、相対座標値を算出を省略しても差し支えない。以上の処理によって、一方の画像Ｉ上で矩形領域を設定するだけで、その矩形領域の頂点のワールド座標値を算出することができた。

このようにして求められたＭ_iは、アフィン射影モデルに基づく復元であるから、アフィン射影による近似の影響を受け、カメラ中心から一定の距離にある平面上に全ての点があるように復元される。すなわち、Ｍ_iは、カメラ中心から一定の距離にある平面上に射影された対象物体の像を囲み、かつ、縦辺が参照物体のｙ軸に平行で、横辺が参照物体のｘ軸及びｚ軸からなる面に平行な矩形を形成する。したがって、参照物体近辺は比較的良好に近似されるが、カメラ中心から参照物体までの距離とカメラ中心から対象物体までの距離の差が大きくなると、対象物体を囲むＭ_iの３次元座標値が正確には復元されない。

そこで、カメラ中心から参照物体までの距離とカメラ中心から対象物体までの距離を透視射影行列を用いて算出する。この透視射影行列は既に透視射影行列算出・記憶部２０６に記憶されている。Ｍ_iへのカメラ中心からの距離をＺ_obj、参照物体へのカメラ中心からの距離をＺ_refとすれば、Ｍ_iがなす矩形の大きさはＺ_obj／Ｚ_ref倍となり、より正確な実寸を取得することが可能になる。

ところで、以上の説明におけるワールド座標系は、参照物体の適当な１点を原点をみなしたものであるから、上述のようにして取得された座標値を、カメラ中心を原点とした座標値に変換する必要がある。

カメラ中心を原点とし、カメラからその撮影方向に向かう光軸をＺ軸に取り、このＺ軸に対して右手系をなすようにＸ軸及びＹ軸をとった３次元カメラ中心座標系を考える。ワールド座標系とカメラ中心座標系との間の姿勢の変換を表す回転行列をＲとし、ワールド座標系とカメラ中心座標系との間の原点の並進ベクトルをｔとし、ワールド座標系における座標値を

とし、カメラ中心座標系における座標値を

とすると、これらの間には、

の関係が成立する。透視射影行列Ｐ_pを求めれば、非特許文献２に記載の方法などを用いて、回転行列Ｒ及び並進ベクトルｔを求めることができる。したがって、ワールド座標系による座標値をカメラ中心座標系での座標値に変換できることがわかる。あとは、参照物体を構成する参照点のカメラ中心からの距離の代表値Ｚ_refと、Ｍ_iに囲まれる対象物体のカメラ中心からの距離Ｚ_objを求めればよい。

参照物体を構成するワールド座標系の点として、

を用いればよく、その代表点として、

の重心位置を用いてもよい。

一方、対象物体を構成するワールド座標系の点として、特徴量算出部４０３に関連して上述した、一方の画像Ｉにおいて対象領域にを囲む矩形ｍに含まれる特徴点、及び対応する他の画像Ｉ′における対応対象領域矩形ｍ′に含まれる対応特徴点から、背景技術に記載の方法により、透視射影行列Ｐ_p，Ｐ_p′を用いて復元した３次元座標値を用いることができる。その代表点として、それらの重心を用いてもよい。その際、既知のロバスト推定法を用いて、外れ値となるようなデータを除外してもよい。

奥行算出部５０３は、参照物体の代表点、対象物体の代表点を算出し、さらに、(19)式により、参照物体及び対象物体の代表点を画像Ｉを撮影したカメラ中心座標系に変換し、参照物体の代表点を変換したカメラ中心座標系におけるＺ座標値をＺ_ref、対象物体の代表点を変換したカメラ中心座標系におけるＺ座標値をＺ_objとして、それぞれ奥行を算出する。

実寸計算部５０４は、算出されたＭ_i（ｉ＝０，１，２，３）を(19)式によってカメラ中心座標系に変換してＭ_ci（ｉ＝０，１，２，３）とし、Ｍ_ciの座標値をＺ_obj／Ｚ_ref倍とすることで、より正確な座標値を算出する。あるいは、Ｍ_i（ｉ＝０，１，２，３）の辺の長さのみが重要である場合には、辺の長さをＺ_obj／Ｚ_ref倍としてもよい。

ところで、上述のように囲まれた矩形領域は、画像Ｉ上で勝手に囲んだものであるから、その矩形領域の頂点は現実の３次元空間には存在していない。矩形領域の頂点を求めるには、上述のアフィンカメラを仮定した処理、すなわち、カメラ中心からの距離が一定である平面上に被写体があるという前提が必要である。本実施形態の処理は、カメラ中心からの距離が一定であるような矩形領域の座標値及びサイズを求め、それに対してカメラ中心からの距離に応じて拡大縮小処理を行い、実寸を近似的に得る処理である。

このようにして画像内矩形領域の実寸を知ることができたので、次に、対象領域表示部６００は、画像のその矩形領域を、実寸で定義された３次元のポリゴンとして生成し、また、そのポリゴンに対する画像の矩形領域内の画素のテクスチャマッピングを行う。さらに、同様にして生成された他の対象物体のテクスチャマッピングされたポリゴンと、同じ視界情報を持つシーンにおいて同時に表示することで、互いの大きさ情報を比較することが可能となる。以下、対象領域表示部６００での処理を説明する。

テクスチャオブジェクト生成部６０１は、一方の画像Ｉとｍ_i（ｉ＝０，１，２，３）から、Ｉのｍ_i（ｉ＝０，１，２，３）が囲む領域の画素データを得る。なお、他方の画像Ｉ′とｍ'_i（ｉ＝０，１，２，３）から得られるデータでももちろんよい。そしてポリゴン生成部６０２が、頂点Ｍ_i（ｉ＝０，１，２，３）を持つ四辺形ポリゴンを生成する。ここで、テクスチャオブジェクト生成部６０１で生成した画素データを、ポリゴン生成部６０２が生成したポリゴンにテクスチャマッピングしてもよいし、テクスチャオブジェクト生成部６０１で生成した画素データの形状的な頂点ｍ_i（ｉ＝０，１，２，３）のワールド座標系での位置Ｍ_i（ｉ＝０，１，２，３）が既知であることから、ポリゴンを生成せず、射影することとしてもよい。画像生成部６０３は、このように生成された単独あるいは複数のオブジェクトを、ある視界情報を持つシーンにおける面オブジェクトとして生成する。その後、表示部６０４は、画像生成部６０３によって生成された合成シーンを画面上に表示する。

以上、本発明の好ましい実施形態の計測装置を説明した。上述した計測装置は、専用のハードウェア装置として構成することができるともに、それを実現するためのコンピュータプログラムを、パーソナルコンピュータやワークステーションなどのコンピュータに読み込ませ、そのプログラムを実行させることによっても実現できる。画像計測を行うためのプログラムは、磁気テープやＣＤ−ＲＯＭなどの記録媒体によって、あるいは、ネットワークを介して、コンピュータに読み込まれる。このようなコンピュータは、一般に、ＣＰＵと、プログラムやデータを格納するためのハードディスク装置などの外部記憶装置と、主メモリと、キーボードやマウスさらにはディジタルカメラなどの入力装置と、ＣＲＴや液晶ディスプレイなどの表示装置と、磁気テープやＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置とから構成されている。外部記憶装置、主メモリ、入力装置、表示装置及び読み取り装置は、いずれも中央処理装置に接続している。このコンピュータは、上述した計測を行うためのプログラムを格納した記録媒体を読み取り装置に装着し、記録媒体からプログラムを読み出して外部記憶装置に格納し、あるいはネットワークを介してそのようなプログラムをダウンロードして外部記憶装置に格納し、その後、外部記憶装置に格納されたプログラムをＣＰＵが実行することにより、上述した計測装置として機能する。

以下、コンピュータプログラムとして本実施形態の計測装置を実現した場合における、そのコンピュータプログラムにおける処理ステップについて、図５を用いて説明する。図５は、このようなコンピュータプログラムにおける処理の流れを示しており、ここで、Ｆは画像Ｉ，Ｉ′間のＦ行列であり、

は画像Ｉ，Ｉ′における参照物体の３軸の像であり、［α_x，α_z］は対象領域矩形の辺の、参照物体の軸で表した一次結合係数であり、

は、それぞれ、対象領域矩形のワールド座標値、画像Ｉ，Ｉ′における像である。

なお、図においてＳＰｘｘｘは、このようなコンピュータプログラムにおいて、ひとかたまりのプログラムブロックとして実装されるステップを示している。ここでｘｘｘの部分の数字は、図３に示した計測装置における各処理部の参照符号と対応付けられている。例えば、ＳＰ２０２は、上述した説明での参照物体抽出部２０２での処理に対応するプログラムブロックである。

まずＳＰ１０１において、参照物体及び対象物体が同時に撮影された画像を読み込む。本実施形態では、参照物体は直方体をなしており、水平面上に置かれているものとする。また、参照物体及び対象物体は静止しており、カメラ位置を変えて撮影した２枚の画像を読み込むものとする。その際、カメラパラメータ、すなわちズーム倍率等は固定しなくてもよい。本発明においては、２枚の撮影画像間においてカメラが校正されている必要がないからである。次にＳＰ００１において、読み込んだ画像をディジタルデータとして記憶する。その際、画像を識別するための何らかの識別子（例えばファイル名）と同時に記憶してもよい。この説明では、簡単のため、記憶に関わるステップを全てＳＰ００１で表している。当然ながら、各段階における記憶に関わるステップを、全て独立したステップとしてもよい。また、画像の記憶と平行して、ＳＰ１０３において、画像を表示する。

画像の表示後、ＳＰ２０２において、参照物体の、互いに直交し、１点で交わる３辺の像を、２枚の画像において抽出する。これは、ユーザが画面上でマウス等によりそれらの位置を順序付けて選択してもよいし、２枚の画像間でブロックマッチングやオプティカルフロー探索処理等を行うことにより、一方の画面で選択して他方の画面では対応点として求めるようにしてもよい。その後、ＳＰ２０３において、６頂点の対応付けを行う。これも、ユーザが点を順序付けて選択することで対応付けてもよいし、点を選択後、あらためて対応付けてもよい。

既に説明したとおり、参照物体における互いに直交し１点で交わる３辺をなす４頂点と、それ以外の２つの頂点とを用いてもよい。

６頂点の対応付け後、ＳＰ２０４において、６頂点のうちの、上述した１点で交わる３辺をなす４つの頂点の、対応付けられた画像上への像から、２枚の画像のＦ行列を計算し、ＳＰ００１において記憶する。また、参照物体の情報を、例えばテンプレートマッチングやユーザによる手入力、初期設定などにより、ＳＰ２０１において取得する。ここでは、参照物体における直交する３辺の長さを得る。例えば、上述したように、直交する３辺の交点の３次元座標をＸ₀、Ｘ₀から引いた鉛直下向きに相当する辺をなす参照物体の頂点の３次元座標をＸ₂、残りの２辺の端点をＸ₁，Ｘ₃とし、Ｘ₀Ｘ₁，Ｘ₀Ｘ₂，Ｘ₀Ｘ₃が右手系をなすように３辺を設定する。ただし、Ｘ₀Ｘ₂はＹ軸である。ここで、各辺の長さがＸ₀Ｘ₁＝ｄ₁，Ｘ₀Ｘ₂＝ｄ₂，Ｘ₀Ｘ₃＝ｄ₃として、Ｘ₀＝（０，０，０），Ｘ₁＝（ｄ₁，０，０），Ｘ₂＝（０，ｄ₂，０），Ｘ₃＝（０，０，ｄ₃）とおく。ＳＰ２０１の後、ＳＰ２０５において、Ｘ_i及びこれらの像

からアフィン射影行列Ｐ，Ｐ′を求め、ＳＰ００１において記憶する。次に、ＳＰ２０６において、上述した４つの頂点を含む６つの頂点、及びこれらの両画像における対応付けられた像から、透視射影画像Ｐ_p，Ｐ_p′を求め、ＳＰ００１において記憶する。

また、ＳＰ２０３の実行後、上述とは独立した処理として、ＳＰ３０１において、Ｘ_iの像

から、基底ベクトルとして、上述の

を求める。

さらにまた、ＳＰ２０２の実行後、上述とは独立の処理として、ＳＰ３０２において、ＳＰ２０２で表示された画像の片方であるＩ（一方の画像）に対し、測定の対象となる被写体を囲む最小の長方形領域を指定する。この処理は、ユーザからの入力を受け付けることによって行えばよく、また、長方形の辺は、画像の縦辺、横辺に平行でよい。図４(a)の人物像を囲む領域はその例である。

ＳＰ３０１とＳＰ３０２の処理が両方とも終わったら、ＳＰ３０３において、ＳＰ３０２で設定された長方形領域の横辺の、

で表された一次結合係数を求める。例えば、図４(a)において、

と表し、実数（α_x，α_z）を求め、ＳＰ００１により記憶する。

ＳＰ３０３と同様に、ＳＰ３０４において、図４(a)における

が、長さを保ちつつ

と平行になるように、ｍ₀，ｍ₁の位置を修正する。もちろん、ｍ₂，ｍ₃の位置を修正してもよい。また、この修正により、測定の対象となる被写体が矩形からはみ出してしまったような場合は、ＳＰ３０２に戻って処理を繰り返してもよい。

このようにして、ｍ_iを決定し、ＳＰ００１によって記憶する。

次に、以上説明した処理によって得られた情報を用いて、他方の画像Ｉ′におけるｍ_iの対応点ｍ'_i（ｉ＝０，１，２，３）を決定する。

本実施形態では、矩形内の特徴点の重心位置の結合係数の差によって評価する方法を用いているが、上述したように、ヒストグラムによる評価や分散による評価を用いて実施してももちろんよい。

まず、ＳＰ４０３ｄにおいて、ｍ'_iを決定する処理が終了したかどうかを判定する。終了していなければ、ＳＰ４０３ｅにおいて、次の画像においてｍ'_iを見つけるかどうかの判定を行う。例えば、まだ一方の画像Ｉ上のｍ_iしか決まっていなければＹｅｓを選択し、他方の画像Ｉ′上のｍ'_iを求める処理（以下のＳＰ４０１，ＳＰ４０２）を行う。また、ｍ'_iを求めたが、再度、他方の画像Ｉ′上のｍ'_iを既知の領域として、例えば一方の画像Ｉ上においてｍ_iを求める処理を行ってもよい。あるいは、画像が２枚よりも多い場合に、３枚目以降の画像において対応領域を求める処理を行ってもよい。どういう判断基準でこれらの判定を行うかは、一方の画像Ｉ上のｍ_iに対して他方の画像Ｉ′上のｍ'_iを求める処理を行うことを除き、ユーザが設定してもよいし、画像の入力枚数に応じてプログラムが設定してもよい。

ＳＰ４０１では、結合定数α_x，α_zに基づき、ｍ'_iの辺の方向ベクトルを求める。

とした場合であれば、図４(b)の

とし、初期値としてα'_x＝α_x，α'_z＝α_zとする。また、縦辺の方向ベクトルは

とする。

ＳＰ４０１と平行してＳＰ４０２ａでは、ｍ_iに対応するエピポーラ線

を計算する。

次に、ＳＰ４０１とＳＰ４０２ａの終了後、ＳＰ４０２ｂにおいて、例えば、ｍ'₀の位置を

上で適当に決め、ｍ'₀から(22)式の方向に引いた直線と

との交点をｍ'₁とし、また、ｍ'₀から

の方向に引いた直線と

との交点をｍ'₃とする。残りのｍ'₂は、ｍ'_i（ｉ＝０，１，２，３）が平行四辺形をなすように決めればよい。その後、このようにして決めたｍ'_i（ｉ＝０，１，２，３）について、

を計算する。

次に、ＳＰ４０４において、まず一方の画像Ｉ上で、ｍ_iで囲む領域内の特徴点を見つけ、次にその特徴点の他方の画像Ｉ′上での対応点を見つける。対応点を見つけ方としては、ブロックマッチング、オプティカルフロー探索など、どのような手法を用いてもよい。対応点が見つかったもののみ考慮して、その数がＮ組とすると、一方の画像Ｉ上の特徴点ｑ_n（ｎ＝１，２，…，Ｎ）を全て、

のように表し、全てのｑ_nの平均位置ｑを

により求める。次に、同じように他方の画像Ｉ′についても

のように求め、

を計算する。このとき、ｑ_n及びｑ'_nから、既知のロバスト推定法を用いて、外れ値を除外してもよい。

このようにして特徴量が算出されたら、次に、ＳＰ４０３ａにおいて、これらの評価関数の重み付きの和を

として計算する。重みｗ_iは、ｗ_i＝１／３と均等にしてもよいし、悉意的に順序付けてもよい。この値と、あらかじめ設定された処理終了の判定基準となるしきい値εとを比較し、しきい値よりも小さければ処理を終了してＳＰ４０３ｄに戻り、そうでなければステップＳＰ４０３ｂに進む。

ＳＰ４０３ｂでは、反復回数があるあらかじめ設定された上限値（ＭＡＸ＿ＩＴＥＲＡＴＥ）を超えるかどうかにより、処理を終了するかどうかを判定し、上限値を超えていれば処理を終了してＳＰ４０３ｄに戻り、そうでなければＳＰ４０３ｃに進む。ＳＰ４０３ｃでは、例えばｍ'₀の位置を、

に沿って例えば１画素分動かし、反復回数を１だけ増分してＳＰ４０２ｂに戻る。移動の大きさは１画素でもよいし、より小さな値でもよいし、反復回数に応じて減じていってもよい。また、移動の方向は、１回目の移動によりＥの値が小さくなれば同じ方向へ、そうでなければ逆の方向へ移動してもよい。

このようにしてｍ'_i（ｉ＝０，１，２，３）が算出されたので、ＳＰ４０３ｄにおいて対応算出終了と判定され、ＳＰ００１において、ｍ'_i（ｉ＝０，１，２，３）を記憶する。

次に、ＳＰ５０１において、ｍ_i，ｍ'_i（ｉ＝０，１，２，３）及びアフィン射影行列Ｐ，Ｐ′から、Ｍ_i（ｉ＝０，１，２，３）の３次元ワールド座標値を求め、その後、ＳＰ５０２において、Ｍ_iを適当な相対座標、例えば、他の点をＭ_iのうち原点とみなした１点からの相対座標で表したり、あるいはカメラ中心座標に変換するなどして、ＳＰ００１において記憶する。

次に、ＳＰ５０３において、参照物体を構成する６つの頂点の重心位置を求めて画像Ｉを撮影したカメラ中心座標系に変換し、そのＺ座標値Ｚ_refを求め、ｑ_n及びｑ '_nから透視射影行列Ｐ_p，Ｐ_p′を用いて復元した３次元ワールド座標値の重心位置を求め、その重心位置をＩを撮影したカメラ中心座標系に変換し、そのＺ座標値Ｚ_objを求める。このとき、既知のロバスト推定法を用いて、外れ値を除外してもよい。

次に、ＳＰ５０４において、Ｍ_iを適当な相対座標値に変換した座標値にＺ_obj／Ｚ_refを乗じた結果をＳＰ００１において記憶する。これら記憶したデータは、ＳＰ５０５において、外部記憶装置に出力してもよい。

次に、ＳＰ００２において、これらの情報、すなわち画像の識別子、画像内の矩形領域頂点座標値ｍ_i（ｉ＝０，１，２，３）及びＭ_iをメモリあるいは外部記憶装置に記憶されているファイルから読み込む。そして、ＳＰ６０１において、画像のテクスチャオブジェクトを生成し、ＳＰ６０２において、頂点Ｍ_iを持つ３次元ボリゴンを生成する。その後、ＳＰ６０３ａにおいて表示用のシーン、例えば３次元コンピュータグラフィックスにより生成される３次元シーンを生成し、ＳＰ６０３ｂにおいて、ＳＰ６０２によって生成された３次元ポリゴンに、ＳＰ６０１において生成されたテクスチャオブジェクトをテクスチャマッピングする。また、複数のテクスチャオブジェクトがマッピングされたポリゴンがある際には、これらをシーン内の適当な位置に配置する。最後に、ＳＰ６０４において、以上のシーンとテクスチャマッピングされたポリゴンとを表示し、これによって、例えば異なる撮影現場で撮影された被写体の大きさを、同じシーンで比較表示することが可能となる。

以下、本発明の実施例を説明する。ここでは、図５を用いながら、上述した処理をコンピュータプログラムによって実行する場合の処理ステップの流れを説明する。

まず、ＳＰ１０１において、参照物体及び対象物体が同時に撮影された画像を読み込む。この実施例では、参照物体は直方体であって、水平面上に置かれているものとする。また、参照物体及び対象物体は静止しており、カメラ位置を変えて撮影した２枚の画像を読み込むものとする。その際、カメラパラメータ、すなわちズーム倍率などは固定しておかなくてもよい。本発明においては２枚の撮影画像間でカメラが校正されている必要はないからである。

次に、ＳＰ００１において、読み込んだ画像をデジタルデータとして記憶する。その際、画像を識別するための何らかの識別子（例えばファイル名）と同時に記憶してもよい。本実施例では簡単のため、記憶に関わるステップを全てＳＰ００１で表している。当然のことながら全て独立したステップとしてもよい。

次に、ＳＰ１０２において、画像を表示する。

次に、ＳＰ１０３において、参照物体における、互いに直交し１点で交わる３辺の像を、２枚の画像において抽出する。これは、ユーザが画面上でマウスなどによってそれらの像の位置を順序付けて選択してもよいし、あらかじめ２枚の画像間でブロックマッチングやオプティカルフロー探索処理などにより、一方の画像で選択して他方の画像では対応点として自動的に抽出されるようにしてもよい。

次に、ＳＰ２０３において、上述した４頂点の対応付けを行う。これも、ユーザが、頂点を順序付けて選択することで対応付けてもよいし、あるいは、点を選択後、改めて対応付けてもよい。

次に、ＳＰ２０４において、４つの対応付けられた頂点から、２枚の画像のＦ行列を計算し、ＳＰ００１において記憶する。また、ＳＰ２０１において、参照物体の情報を、例えばテンプレートマッチングやユーザによる手入力、初期設定などにより、取得する。ここでは、参照物体における直交する３辺の長さを得る。例えば、上述の実施形態で述べたように、直交する３辺の交点の３次元座標をＸ₀とし、Ｘ₀から引いた鉛直下向きに相当する辺をなす参照物体の頂点の３次元座標をＸ₂とし、残りの２辺の端点をＸ₁，Ｘ₃とし、Ｘ₀Ｘ₁，Ｘ₀Ｘ₂，Ｘ₀Ｘ₃が右手系をなすように３辺を設定する。ただし、Ｘ₀Ｘ₂はＹ軸である。ここで、各辺の長さがＸ₀Ｘ₁＝ｄ₁，Ｘ₀Ｘ₂＝ｄ₂，Ｘ₀Ｘ₃＝ｄ₃として、Ｘ₀＝（０，０，０），Ｘ₁＝（ｄ₁，０，０），Ｘ₂＝（０，ｄ₂，０），Ｘ₃＝（０，０，ｄ₃）とおく。

次に、ＳＰ２０５において、Ｘ_iからアフィン射影行列Ｐ，Ｐ′を求め、ＳＰ００１において記憶する。

次に、ＳＰ５０１において、ｍ_i，ｍ'_i（ｉ＝０，１，２，３）及びＰ，Ｐ′からＭ'_iの３次元ワールド座標値を求める。次に、ＳＰ５０２において、Ｍ_iを適当な相対座標値にし、ＳＰ００１において記憶する。これらの記憶されたデータは、ＳＰ５０５において外部記憶装置に出力してもよい。

ステレオ視の原理を表した図である。 本発明の基本的な構成を表す図である。 本発明の実施形態を表す構成図である。 対応領域の探索を表す図である。 本発明の実施例における処理の流れを表す図である。

符号の説明

１００ 画像入力部
２００ 撮影情報算出部
３００ 対象領域決定部
４００ 対応対象領域決定部
５００ 対象領域実寸算出部
６００ 対象領域表示部

Claims (13)

1. 測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、前記測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測方法であって、
   前記測定対象及び前記３次元参照物体が同時に撮影された少なくとも２枚の画像を入力する段階と、
   前記３次元参照物体の像の４つの点の像を前記入力された２枚の画像において取得することにより、前記２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び前記２枚の画像間の拘束関係を与える行列を算出して記憶し、さらに、前記４つの点の像に加えて他の２つの点の像を前記２枚の画像において取得することにより、前記２枚の画像を撮影したときの透視射影カメラを仮定した射影行列を算出して記憶する段階と、
   実寸測定の対象となる領域を対象領域として、前記２枚の画像のうちの一方の画像において、前記対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、前記矩形の辺を、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、前記矩形の形状を修正して前記矩形の画面上での頂点位置を記憶する段階と、
   前記２枚の画像のうちの他方の画像において、前記矩形に対応する領域を対応対象領域として算出し、前記対応対象領域の画面上での頂点位置を記憶する段階と、
   前記アフィンカメラを仮定した射影行列と、前記対象領域での頂点位置と、前記対応対象領域での頂点位置を用いて、前記対象領域の頂点の３次元座標を算出し、さらに、前記透視射影カメラを仮定した射影行列を用いて、前記３次元座標が復元された対象領域へのカメラからの距離を算出し、前記復元された対象領域の３次元座標値を算出する段階と、
   を有する画像計測方法。
2. 前記２枚の画像の少なくとも一方と、前記対象領域の画面上での頂点位置と、前記対象領域の頂点位置の３次元座標とを用いて、前記対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する段階をさらに有する、請求項１に記載の画像計測方法。
3. 前記矩形領域の画面上での頂点位置を対応対象領域として記憶する段階は、
   前記算出された結合係数を用いて、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で前記対応対象領域の画面上での頂点位置を算出し評価する段階と、
   前記算出された２画面間の拘束を与える行列を用いて、前記対象領域の頂点の前記他方の画像での対応位置を算出し評価する段階と、
   前記一方の画像における前記対象領域内の輝度情報から得られる特徴点と、前記他方の画像における前記対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する段階と、
   前記各評価する段階による評価値を基に前記対応対象領域の位置、形状を変化させつつ、前記対応対象領域を決定する段階と、
   を有する、請求項１または２に記載の画像による画像計測方法。
4. 前記一方の画像で指定した対象領域の、前記他方の画像における対応対象領域を決定した後に、前記対応対象領域を新たな対象領域とみなし、再び前記一方の画像における新たな対応対象領域を求める段階を有する、請求項１乃至３のいずれか１項に記載の画像計測方法。
5. 測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、前記測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測装置であって、
   前記測定対象及び前記３次元参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶及び／または表示するための画像入力手段と、
   前記３次元参照物体の像の４つの点の像を前記入力された２枚の画像において取得することにより、前記２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び前記２枚の画像間の拘束関係を与える行列を算出して記憶し、さらに、前記４つの点の像に加えて他の２つの点の像を前記２枚の画像において取得することにより、前記２枚の画像を撮影したときの透視射影カメラを仮定した射影行列を算出して記憶する撮影情報算出手段と、
   実寸測定の対象となる領域を対象領域として、前記２枚の画像のうちの一方の画像において、前記対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、前記矩形の辺を、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、前記矩形の形状を修正して前記矩形の画面上での頂点位置を記憶する対象領域決定手段と、
   前記２枚の画像のうちの他方の画像において、前記矩形に対応する領域を対応対象領域として算出し、前記対応対象領域の画面上での頂点位置を記憶する対応対象領域決定手段と、
   前記アフィンカメラを仮定した射影行列と、前記対象領域での頂点位置と、前記対応対象領域での頂点位置を用いて、前記対象領域の頂点の３次元座標を算出し、さらに、前記透視射影カメラを仮定した射影行列を用いて、前記３次元座標が復元された対象領域へのカメラからの距離を算出し、前記復元された対象領域の３次元座標値を算出する対象領域実寸算出手段と、
   を有する画像計測装置。
6. 前記２枚の画像の少なくとも一方と、前記対象領域の画面上での頂点位置と、前記対象領域の頂点位置の３次元座標とを用いて、前記対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する対象領域表示手段をさらに有する、請求項５に記載の画像計測装置。
7. 前記対応対象領域決定手段は、
   前記算出された結合係数を用いて、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で前記対応対象領域の画面上での頂点位置を算出し評価する領域形状算出手段と、
   前記算出された２画面間の拘束を与える行列を用いて、前記対象領域の頂点の前記他方の画像での対応位置を算出し評価する領域位置算出手段と、
   前記一方の画像における前記対象領域内の輝度情報から得られる特徴点と、前記他方の画像における前記対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する特徴量算出手段と、
   前記領域形状算出手段、前記領域位置算出手段及び前記特徴量算出手段による評価値を基に前記対応対象領域の位置、形状を変化させつつ、前記対応対象領域を決定する対応領域移動・評価手段と、
   を有する請求項５または６に記載の画像による画像計測装置。
8. 前記一方の画像で指定した対象領域の、前記他方の画像における対応対象領域を決定した後に、前記対応対象領域を新たな対象領域とみなし、再び前記一方の画像における新たな対応対象領域を求める手段を有する、請求項５乃至７のいずれか１項に記載の画像計測装置。
9. コンピュータを、
   測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶及び／または表示するための画像入力手段、
   前記３次元参照物体の像の４つの点の像を前記入力された２枚の画像において取得することにより、前記２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び前記２枚の画像間の拘束関係を与える行列を算出し、さらに、前記４つの点の像に加えて他の２つの点の像を前記２枚の画像において取得することにより、前記２枚の画像を撮影したときの透視射影カメラを仮定した射影行列を算出して記憶する撮影情報算出手段、
   実寸測定の対象となる領域を対象領域として、前記２枚の画像のうちの一方の画像において前記対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、前記矩形の辺を、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、前記矩形の形状を修正して前記矩形の画面上での頂点位置を記憶する対象領域決定手段、
   前記２枚の画像のうちの他方の画像において、前記矩形に対応する領域を対応対象領域として算出し、前記対応対象領域の画面上での頂点位置を記憶する対応対象領域決定手段、
   前記アフィンカメラを仮定した射影行列と、前記対象領域での頂点位置と、前記対応対象領域での頂点位置を用いて、前記対象領域の頂点の３次元座標を算出し、さらに、前記透視射影カメラを仮定した射影行列を用いて、前記３次元座標が復元された対象領域へのカメラからの距離を算出し、前記復元された対象領域の３次元座標値を算出する対象領域実寸算出手段、
   として機能させるプログラム。
10. 前記コンピュータを、さらに、前記２枚の画像の少なくとも一方と、前記対象領域の画面上での頂点位置と、前記対象領域の頂点位置の３次元座標とを用いて、前記対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する対象領域表示手段として機能させる、請求項９に記載のプログラム。
11. 前記対応対象領域決定手段は、
    前記算出された結合係数を用いて、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で前記対応対象領域の画面上での頂点位置を算出し評価する領域形状算出手段と、
    前記算出された２画面間の拘束を与える行列を用いて、前記対象領域の頂点の前記他方の画像での対応位置を算出し評価する領域位置算出手段と、
    前記一方の画像における前記対象領域内の輝度情報から得られる特徴点と、前記他方の画像における前記対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する特徴量算出手段と、
    前記領域形状算出手段、前記領域位置算出手段及び前記特徴量算出手段による評価値を基に前記対応対象領域の位置、形状を変化させつつ、前記対応対象領域を決定する対応領域移動・評価手段と、
    から構成され、前記コンピュータを前記領域形状算出手段、前記領域位置算出手段、前記特徴量算出手段及び前記対応領域移動・評価手段としても機能させる、請求項９または１０に記載の画像によるプログラム。
12. 前記コンピュータを、さらに、前記一方の画像で指定した対象領域の、前記他方の画像における対応対象領域を決定した後に、前記対応対象領域を新たな対象領域とみなし、再び前記一方の画像における新たな対応対象領域を求める手段として機能させる、請求項９乃至１１のいずれか１項に記載のプログラム。
13. コンピュータが読み取り可能な記録媒体であって、請求項９乃至１２のいずれか１項に記載のプログラムを格納した記録媒体。

Images