JP2003514305A - マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法 - Google Patents

マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法

Info

Publication number
JP2003514305A
JP2003514305A JP2001536934A JP2001536934A JP2003514305A JP 2003514305 A JP2003514305 A JP 2003514305A JP 2001536934 A JP2001536934 A JP 2001536934A JP 2001536934 A JP2001536934 A JP 2001536934A JP 2003514305 A JP2003514305 A JP 2003514305A
Authority
JP
Japan
Prior art keywords
image
mark
act
landmark
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001536934A
Other languages
English (en)
Inventor
アームストロング,ブライアン・エス
シュミッド,カール・ビー
Original Assignee
ゴー・センサーズ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゴー・センサーズ・エルエルシー filed Critical ゴー・センサーズ・エルエルシー
Publication of JP2003514305A publication Critical patent/JP2003514305A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/787Systems for determining direction or deviation from predetermined direction using rotating reticles producing a direction-dependent modulation characteristic
    • G01S3/788Systems for determining direction or deviation from predetermined direction using rotating reticles producing a direction-dependent modulation characteristic producing a frequency modulation characteristic

Abstract

(57)【要約】 拡大縮小または傾斜に関して不変な画像内の1つまたは複数の検出可能な特性を持つ堅牢なランドマークと、そのようなマークを検出するための方法。一実施例では、堅牢なマークは、画像内に、基数特性、順序特性、および/または包含特性などの、画像内に現れるマークのサイズおよび/または画像を取得するカメラに関するマークの向き(回転)および位置(平行移動)の関数として変化しない1つまたは複数の一義的な検出可能な特性を持つ。他の実施例では、堅牢なマークは、画像内で比較的簡単に検出でき、与えられたシーンで偶然発生することはありえず、任意の画像内容の影響を比較的受けない1つまたは複数の不変な特性を持つ。これらの特性により、様々な画像処理条件のもとでマークの自動識別が容易になる。検出方法例は、連続するスキャン経路で1つまたは複数の堅牢なマークを含む画像をスキャンすることにより生成される信号の累積位相回転分析、領域分析、および交差エッジ分析を含む。一実施例では、このようなスキャン経路は本質的に閉じた経路である。

Description

【発明の詳細な説明】
【0001】 (関連出願の相互引用) 本発明は、35 U.S.C.§119(e)に従って、「Image Me
trology System」という名称の米国仮特許出願第60/1647
54号、および「Method for Locating Landmark
s by Machine Vision」という名称の米国仮特許出願第60
/212434号の特典を主張するものであり、その出願を参照により本明細書
に組み込む。
【0002】 (発明の分野) 本発明は、画像処理に関し、より詳細には、任意の画像内容を持つ画像内でマ
ークの検出を容易にする特徴を備えた様々なマークとそのようなマークを検出す
る方法に関する。
【0003】 (関連技術の説明) A.はじめに 写真測量法は、物体を直接測定するのではなく物体の画像を測定することによ
り物体の位置、サイズ、および形状に関する情報を取得する手法である。特に、
従来の写真測量法では、主に、重要な3次元シーン内の物体の相対的物理的位置
およびサイズをそのシーンの2次元画像から(たとえば、シーンの複数の写真に
より)決定する作業を行う必要がある。
【0004】 いくつかの従来の写真測量法の応用例では、1つまたは複数の記録デバイス(
たとえば、カメラ)を重要なシーンに関して異なる場所に配置し、異なる視角か
らシーンの複数の画像を取得する。これらの応用例では、シーンの複数の画像を
同時に撮影する必要も、同じ記録デバイスで撮影する必要もないが、一般には、
重要なシーン内の多数の特徴が異なる視角から得られた複数の画像のそれぞれに
現れるようにする必要がある。
【0005】 従来の写真測量法では、シーンの複数の画像からシーン内の物体に関する情報
を決定するために、重要なシーンと特定の場所にある所与の記録デバイスとの空
間的関係が知られている必要がある。したがって、従来の写真測量法では通常、
画像を記録デバイスにより取得するときにシーンに関して記録デバイスの位置お
よび向きを決定する作業が必要である。一般に、シーンに関する所与の記録デバ
イスの位置および向きのことを、写真測量法では、記録デバイスの「外部標定」
と呼ぶ。さらに、記録デバイス自体に関する情報もある程度知られている(また
は少なくとも十分推定される)必要があり(たとえば焦点および/または較正パ
ラメータ)、この情報は一般に、記録デバイスの「内部標定」と呼ばれている。
従来の写真測量法の目的の1つは、シーンの複数の画像内に現れる特定の特徴の
2次元の測定結果をそのシーンの特徴に関して実際の3次元情報(つまり、位置
とサイズ)に変換することであり、この作業は、シーンのそれぞれの画像を取得
するために使用される記録デバイスの内部向きおよび外部向きに基づく。
【0006】 前記を鑑みて、従来の写真測量法では、通常、多数の数学的変換が必要であり
、これをシーンの画像内で識別された重要な特徴に適用し、シーン内の実際の位
置及びサイズの情報を取得することが理解されよう。写真測量学に関係する基本
概念は、「Close Range Photogrammetry and
Machine Vision」という名称のテキスト(著者:K.B.Atk
inson、出版社:Whittles Publishing、ISBN 1
−870325−46−X、1996年発行)などいくつかのテキストの中で説
明されており、これは引用により本発明に取り込まれている(これ以降、「At
kinsonのテキスト」と呼ぶ)。特に、Atkinsonのテキストの第2
章では、写真測量法の理論的根拠と基本的数学理論の実施例をいくつか提示して
いる。以下では、本開示と密接な関係のあるAtkinsonのテキストの第2
章に提示されている概念のいくつかを簡単に説明する。読者は、この主題のより
詳細な取り扱いについてAtkinsonのテキストおよび/またはその他の適
当なテキストを参照するようお勧めする。さらに、以下で説明する数学的変換の
いくつかは、詳細な説明のセクションLで詳述しており、これらは、より具体的
には、本発明に関する様々な概念に関係している。
【0007】 B.中心透視投影モデル 図1は、中心透視投影の概念を説明する図であり、写真測量法の基本的モデル
例を構築するための出発点となる。中心透視投影モデルでは、重要なシーンの画
像を取得するために使用する記録デバイスは、ピンホールカメラ(つまり、単純
な孔)として理想化される。この開示の目的のために、後述のように、記録デバ
イスが理想化されたピンホールカメラであろうと写真測量法応用例で使用するの
に適している実際の様々な種類の記録デバイスであろうと、「カメラ」という用
語で一般にシーンの画像を取得するための記録デバイスを総称する。
【0008】 図1では、重要な3次元シーンは、基準原点56(Or)と3本の直交軸50
、52、および54(それぞれxr、yr、zr)で定められる基準座標系74に
より表される。基準座標系74の原点、縮尺、および向きは、任意に定義するこ
とができ、また後述するように、シーン内の重要な1つまたは複数の特徴に関連
付けることができる。同様に、シーンの画像を取得するために使用するカメラは
、カメラ原点66(Oc)および3本の直交軸60、62、および64(それぞ
れ、xc、yc、zc)で定められたカメラ座標系76によって表される。
【0009】 図1の中心透視投影モデルでは、カメラ原点66はピンホールであり、すべて
の光線がここを通って交差し、カメラ内に通り、画像(投影)平面24上に入る
。たとえば、図1に示されているように、重要なシーン内の物点51(A)は、
カメラ原点66を通る直線80によりカメラの画像平面24上に画像点51’(
a)として投影される。この場合もやはり、ピンホールカメラは画像記録デバイ
スの理想化された表現であり、実際、カメラ原点66は、後述するように、実際
のカメラまたはその他の記録デバイスのレンズまたはレンズ系の「ノード点」を
表すことができることは理解されるであろう。
【0010】 図1のモデルでは、カメラ座標系76は、zc軸64がカメラの光軸82を定
めるような向きを持つ。光軸82はカメラの画像平面24に直交し、画像平面と
画像平面原点67(Oi)で交差するのが理想的である。したがって、画像平面
24は一般に、2本の直交軸xiおよびyiで定められ、これらの軸はそれぞれ、
カメラ座標系76のxc軸60およびyc軸62と平行である(ただし、カメラ座
標系76のzc軸64は、画像平面24から離れてゆく)。カメラ原点66と画
像平面原点67との間の距離84(d)は、通常、カメラの「主距離」と呼ばれ
る。したがって、カメラ座標系76に関して、画像平面24はzc=−dのとこ
ろに配置される。
【0011】 図1では、物点Aおよび画像点はaはそれぞれ、カメラ座標系76内の3次元
座標に関して説明することができる。本開示の目的のために、表記 SB は、一般に、座標系S内の点Bに対する一組の座標を示すために導入されている
。同様に、この表記は、座標系Sの原点から点Bへのベクトルを表すために使用
できることを理解されたい。上の表記を使用して、この座標の集まりの中の個々
の座標を、たとえば、SB(x)、SB(y)、およびSB(z)で識別する。
さらに、上の表記は任意の数の(たとえば、2または3)次元が定められる座標
系Sを記述するために使用できることは理解されるであろう。
【0012】 前記の表記を念頭におくと、カメラ座標系76内の物点Aに対する3つのX、
Y、Z座標の集まり(および、カメラ原点66から物点AへのベクトルOcA)
は、CAと表すことができる。同様に、カメラ座標系内の画像点aに対する3つ
の座標の集まり(および、カメラ原点66から画像点aへのベクトルOca)は
caと表すことができ、caというz座標は主距離84で与えられる(つまり
ca(z)=−d)。
【0013】 図1の投影モデルから、ベクトルcAおよびcaは方向が反対で、長さは比例
していることがわかる。特に、物点Aとカメラ座標系内の画像点aの座標に対し
て次のような比を書くことができる。
【0014】
【数1】
【0015】 および
【0016】
【数2】
【0017】 上の方程式を並べ替え、主距離84についてca(z)=−dと代入すると、カ
メラ座標系内の画像点aのx座標およびy座標は以下の式で表せる。
【0018】
【数3】
【0019】 および
【0020】
【数4】
【0021】 カメラ座標系76のそれぞれのx軸およびy軸および画像平面24は平行である
ため、式(1)および(2)も画像平面24内の画像点aの画像座標(「写真座
標」とも呼ばれる)を表すことは理解されるであろう。したがって、式(1)お
よび(2)で与えられる画像点aのx座標およびy座標も、それぞれia(x)
およびia(y)と表すことができ、左添字iは画像平面24内のxi軸とyi
で与えられる2次元の画像座標系を表す。
【0022】 上の式(1)および(2)から、主距離dとカメラ座標系内の物点Aの座標が
わかっているとすると、画像点aの画像座標ia(x)およびia(y)を一義
的に求められることは理解できるであろう。ただし、主距離dと画像点aの画像
座標ia(x)およびia(y)が知られている場合、物点Aの3次元座標は式
(1)と(2)だけではこの2つの式には3つの未知数があるため一義的に決定
できないことも理解されるであろう。このような理由から、従来の写真測量法で
は通常、重要な物点が存在するシーン内の物点の3次元座標を決定するために、
そのシーンの複数の画像を必要とする。このように複数の画像を必要とするとい
う条件について以下の「関連技術の説明」のセクションGの「交差」で詳述する
【0023】 C.座標系の変換 式(1)および(2)では、カメラ座標系76に関して図1内の画像点aを物
点Aに関連付けているが、従来の写真測量法の目的の1つは、シーンの基準座標
系(たとえば、図1に示されている基準座標系74)内の3次元座標に関してシ
ーンの画像内の複数の点を実際のシーン内の複数の点に関連付けることである。
したがって、従来の写真測量法の重要な態様の1つでは、多くの場合、図1に示
されているように、特定の場所にあるカメラのカメラ座標系76および基準座標
系74の相対的空間的関係(つまり、相対的位置および向き)を決定する必要が
ある。この関係は、一般に、写真測量法ではカメラの外部標定と呼ばれ、また本
開示全体を通して外部標定と呼ぶ。
【0024】 図2は、シーンの基準座標系74(図2の右側に示されている)とカメラ座標
系76(図2の左側に示されている)との間の座標変換に関係するいくつかの基
本概念を示す図である。座標系変換に関係する以下で説明する様々な概念につい
ては、Atkinsonのテキストやその他の適当なテキスト、さらに「詳細な
説明」のセクションLで詳しく採り上げている。
【0025】 図2では、物点51(A)は、基準座標系74またはカメラ座標系76内の3
次元座標に関して記述できる。特に、上で導入した表記を使用すると、基準座標
系74内の点Aの座標(および、基準座標系74の原点56から点Aへの第1の
ベクトル77)は、rAと表すことができる。同様に、上で述べたように、カメ
ラ座標系76内の点Aの座標(および、カメラ座標系76の原点66から物点A
への第2のベクトル79)は、cAと表すことができ、左上添字rおよびcはそ
れぞれ、基準座標系およびカメラ座標系を表す。
【0026】 さらに図2には、基準座標系74の原点56からカメラ座標系76の原点66
への第3の「平行移動」ベクトル78が示されている。平行移動ベクトル78は
、上の表記で、rOcと表すことができる。特に、ベクトルrOcは、カメラ座標
系76の配置(つまり、位置)を基準座標系74に関して表している。表記rO c は、カメラ座標系76の原点66のx座標、y座標、およびz座標を基準座標
系74に関して表す。
【0027】 一方の座標系から他方の座標系への平行移動(ベクトル78で示されるように
)に加えて、図2では、基準座標系およびカメラ座標系の一方が3次元空間で他
方に関して回転できることを示している。たとえば、基準座標系74に関するカ
メラ座標系76の向きは、座標系の一方のx軸、y軸、z軸の1つまたは複数を
中心とする回転により定めることができる。本開示の目的のために、x軸を中心
とするγ度の回転を「ピッチ」回転と呼び、y軸を中心とするα度の回転を「ヨ
ー」回転と呼び、z軸を中心とするβ度の回転を「ロール」回転と呼ぶ。
【0028】 この用語を念頭に置くと、図2に示されているように、xr軸50を中心とす
る基準座標系74のピッチ回転68により、yr軸52およびzr軸54の位置が
変更され、それぞれ、カメラ座標系76のyc軸62およびzc軸64と平行にな
るように揃えられる。同様に、yr軸52を中心とする基準座標系のヨー回転7
0により、xr軸50およびzr軸54の位置が変更され、それぞれ、カメラ座標
系のxc軸60およびzc軸64と平行になるように揃えられる。また同様に、z r 軸54を中心とする基準座標系のロール回転72により、xr軸50およびyr
軸52の位置が変更され、それぞれ、カメラ座標系のxc軸60およびyc軸62
と平行になるように揃えられる。逆に、カメラ座標系76をその軸の1つ以上を
中心として回転し、軸が基準座標系74の軸と平行になるように揃えることがで
きることは理解されるであろう。
【0029】 つまり、基準座標系74に関するカメラ座標系76の向きは、3つの回転角度
、つまりピッチ回転角度(γ)、ヨー回転角度(α)、およびロール回転角度(
β)に関して与えることができる。この向きは、3×3回転行列で表すことがで
き、この回転行列の9個の要素のそれぞれが、ヨー、ロール、およびピッチの角
度α、β、およびγの1つまたは複数の三角関数を表す。本開示の目的のために
、表記 S2 S1R を使用して、座標系S1から座標系S2への回転を実装する1つまたは複数の回
転行列を表す。この表記を使用すると、c rRは基準座標系からカメラ座標系への
回転を表し、r cRは逆回転(つまり、カメラ座標系から基準座標系への回転)を
表す。これらの回転行列は直交行列であるため、与えられた回転行列の逆行列は
その転置行列に等しく、したがって、r cR=c rrとなる。図2に示されている
カメラ座標系と基準座標系の間の回転は、暗黙のうちに、y軸を中心とする座標
系の1つの180度のヨー回転を含み、そのため、座標系のそれぞれのz軸はあ
る意味で反対になっていることも理解されるであろう(「詳細な説明」のセクシ
ョンLを参照)。
【0030】 上述の平行移動および回転の概念を組み合わせることにより、基準座標系74
内の点Aの座標と基準座標系からカメラ座標系への変換(つまり、平行移動と回
転)に基づく、図2に示されているカメラ座標系76内の物点Aの座標が以下の
ベクトル式で与えられる。
【0031】
【数5】
【0032】 同様に、カメラ座標系内の点Aの座標とカメラ座標系から基準座標系への変換(
つまり、平行移動と回転)に基づく、基準座標系74内の点Aの座標は以下のベ
クトル式で与えられる。
【0033】
【数6】
【0034】 ただし、r cR=c rrであり、平行移動ベクトル78については、rOc=−r c cOrである。式(3)および(4)はそれぞれ、カメラの外部標定を定める6
個のパラメータ、つまり、それぞれの平行移動ベクトルcOrおよびrOc内の3
つの位置パラメータ(つまり、他方の座標系に関する一方の座標系の原点のそれ
ぞれのx、y、z軸)と、それぞれの回転行列c rRおよびr cR内の3つの向きパ
ラメータ(つまり、ヨー、ロール、およびピッチ回転の角度α、β、およびγ)
を含む。
【0035】 別に式(3)および(4)は、表記 S2 S1T(・) (5) を使用して書くことができ、これは、かっこ内の引数の座標変換関数を総称的に
表すために導入されている。かっこ内の引数は座標系S1内の座標の集まりであ
り、変換関数Tはこれらの座標を座標系S2内の座標に変換する。一般に、変換
関数Tは線形である場合も非線形である場合もあり、特に、座標系S1およびS
2は同じ次元の場合も異なる場合もある。以下の説明では、表記T-1を使用して
、座標の逆変換を示す(たとえば、S2 S1-1(・)=S1 S2T(・)で、かっこ内
の引数は座標系S2の座標の集まりである)。
【0036】 式(5)の表記を使用すると、式(3)および式(4)はそれぞれ次のように
書き換えられる。
【0037】
【数7】
【0038】 および
【0039】
【数8】
【0040】 ただし、変換関数c rTおよびr cTは、3次元の基準座標系とカメラ座標系との間
のマッピングを表し、c rT=r c-1(変換は互いに逆変換になっている)である
。変換関数c rTおよびr cTはそれぞれ、回転および平行移動を含み、したがって
、カメラの外部標定の6個のパラメータを持つ。
【0041】 再び図1を参照すると、図2に示されている座標系変換の概念と図1に示され
ている理想化された中央投射投影モデルの概念を組み合わせることにより、シー
ンの基準座標系74内の物点51(A)とカメラの画像平面24内の画像点51
’(a)との間の空間的変換を導くことができる。たとえば、式(6)(または
式(3))を使用して基準座標系内の物点Aの知られている座標をまず、カメラ
座標系内の点Aの座標に変換できる。次に、変換された座標を式(1)および(
2)に代入して、画像平面24内の画像点aの座標を求めることができる。特に
、式(6)をcAの座標のそれぞれに関して書き換え、それぞれの座標cA(x
)、cA(y)、およびcA(z)の結果の式を式(1)および(2)に代入し
て、2つの「共線形式」を求めることができ(たとえば、Atkinsonのテ
キストの2.2章を参照)、これでそれぞれ、画像点aのx画像およびy画像座
標を直接基準座標系74内の物点Aの3次元座標に関連付ける。シーン内の1つ
の物点Aは2つのこのような共線形式(つまり、対応する画像点aのそれぞれの
x画像およびy画像座標に対する1つの式)を生成し、共線形式の各々はカメラ
の主距離dと、さらにカメラの6個の外部標定パラメータ(つまり、3つの位置
パラメータと3つの向きパラメータ)に関連する項を含むことは理解されるであ
ろう。
【0042】 D.外部標定パラメータの決定:「後方交会法」 与えられたカメラの外部標定が先験的に知られていない場合(多くの写真測量
法応用例で当てはまることが多い)、従来の写真測量法の重要な態様の1つでは
、シーンの異なる画像ごとにカメラの外部標定のパラメータを決定する必要があ
る。シーンの単一の画像からカメラの外部標定の6個のパラメータを評価するこ
とを、一般に写真測量法では「後方交会法」と呼んでいる。様々な従来の後方交
会法は、外部標定パラメータを決定する際にその方法と精度において複雑さが異
なるものが知られている。
【0043】 従来の後方交会法では、一般に、カメラの主距離dは知られているか、先験的
に無理なく推定される(式(1)および(2)を参照)。さらに、少なくとも3
つの非共線形「制御点」が、シーンの画像にそれぞれ表示される重要なシーン内
で選択されている。制御点は、シーン内の実際の相対的位置および/またはサイ
ズ情報が知られているシーン内の特徴を指す。特に、シーン内の制御点間の空間
的関係が知られているか、または先験的に決定され(たとえば、測定され)、各
制御点の3次元座標が基準座標系内で知られている必要がある。場合によっては
、少なくとも3つの非共線形制御点を特に選択し、実際にシーンの基準座標系を
定義する。
【0044】 上の「関連技術の説明」のセクションBで説明しているように、従来の写真測
量法では、通常、シーン内の重要な物体の未知の3次元の位置およびサイズの情
報を決定するためにシーンの複数の画像を必要とする。したがって、多くの場合
、後方交会法の制御点を慎重に選択し、異なる位置にあるカメラによりそれぞれ
得られる複数の画像内に見えるようにし、各カメラの外部標定を同じ制御点に関
して決定することができる(つまり、共通の基準座標系)。多くの場合、このよ
うな制御点を選択することは自明な作業ではなく、たとえば、重要なシーンの写
真測量を計画し、シーン内に十分な数の制御点を用意するだけでなく、候補制御
点がシーン内の他の特徴により異なるカメラ配置で隠されないようにする必要が
ある。さらに、場合によっては、複数の画像内の同じ制御点を正確に識別し(つ
まり、制御点の対応する画像の「マッチング」)、共通の基準座標系に関して異
なる配置にあるカメラの外部標定を決定する際の誤差を避けることが写真測量分
析者の役目である。複数の画像内の対応する点の識別に関係するこうした問題や
その他の問題については、「関連技術の説明」のセクションG「交差」およびセ
クションH「マルチイメージ写真測量法とバンドル調整」で詳述する。
【0045】 従来の後方交会法では、それぞれの制御点は2つの共線形式に対応し、それぞ
れ制御点のx画像およびy画像座標を画像内に出現するときに基準座標系74内
の制御点の3次元座標に関連付ける(「関連技術の説明」のセクションCで説明
している)。各制御点について、2つの共線形式内のそれぞれの画像座標が画像
から得られる。さらに、上述のように、カメラの主距離は一般に知られているか
、または先験的に無理なく推定され、各制御点の基準座標系は先験的に知られる
(定義により)。したがって、図1の理想化されたピンホールカメラモデルに基
づく(つまり、式(1)および(2)を使用する)各共線形式では、6個の未知
のパラメータ(つまり、3つの位置パラメータと3つの向きパラメータ)のみが
カメラの外部標定に対応している。
【0046】 前記を鑑みて、少なくとも3つの制御点を使用して、6個の未知数の少なくと
も6個の共線形式(制御点ごとに2つ)の連立方程式が生成される。いくつかの
従来の後方交会法では、3つの非共線形制御点を使用して、6個の未知数の6個
の式からなるこのような連立方程式を直接(つまり、未知のパラメータの近似的
初期値を使用せずに)解き、外部標定パラメータの推定を行う。他の従来の後方
交会法では、さらに厳密な反復最小自乗推定プロセスを使用して、少なくとも6
個の共線形式からなる連立方程式を解く。
【0047】 後方交会法の反復推定プロセスでは、3つよりも多い制御点を使用して、6つ
よりも多い式を生成し、推定の精度を改善することが多い。さらに、このような
反復プロセスでは、収束するためには最終値に十分近い外部標定パラメータの近
似値が先験的に知られている必要があり(たとえば、直接評価を使用して)、し
たがって、反復後方交会法では通常、2つのステップ、つまり初期推定の後反復
最小自乗プロセスを実行する必要がある。このような反復プロセスで得られる外
部標定パラメータの精度は、一部、使用する制御点の数および重要なシーン内の
制御点の空間的分布に依存することがあり、一般に、シーン内に適切に分布する
制御点が多いほど精度が高くなる。もちろん、外部標定パラメータを決定する精
度が今度は、シーン内の物体に関する位置およびサイズ情報をシーンの画像から
決定する精度を左右することも明らかであろう。
【0048】 E.カメラのモデリング:内部標定と歪みの効果 与えられた後方交会法によって得られる外部標定パラメータの精度はさらに、
少なくとも一部は、カメラ自体のモデル化の精度に依存することがある。たとえ
ば、図1は式(1)および(2)で説明されている理想化された投影モデル(ピ
ンホールカメラを使用する)を示しているが、実際は、様々な集束要素(たとえ
ば、レンズやレンズ系)を備える実際のカメラは、図1の理想化されたモデルか
ら逸脱する形で記録デバイスの画像平面への物点の投影に影響を及ぼすことがあ
る。特に、式(1)および(2)は、場合によっては、特定の写真測量法応用例
で望まれる精度に応じて、カメラの様々な構造要素の効果を考慮する他の項を含
むように修正する必要がある。
【0049】 写真測量法応用例の適当な記録デバイスは、一般に、3つのカテゴリ、つまり
、フィルム・カメラ、ビデオ・カメラ、およびデジタル・デバイス(たとえば、
デジタル・カメラおよびスキャナ)に分けることができる。上述のように、本開
示の目的のために、「カメラ」という用語はここでは、与えられた写真測量法応
用例で使用するのに適しているシーンの画像を取得する様々な記録デバイスのう
ちのどれかを総称的に記述する。写真測量法応用例(たとえば、「測量用」カメ
ラ)専用のカメラや、特定の写真測量法の用途に合わせて改造および/または較
正することができるカメラもある。
【0050】 カメラは、特定の焦点設定を行うために本質的に固定される、あるいは多数の
異なる焦点設定を行えるように調整可能な1つまたは複数の集束要素を使用する
ことができる。レンズまたはレンズ系を備えるカメラは、図1の中心透視投影モ
デルの理想化されたピンホール・カメラとは、カメラ原点66(つまり、レンズ
またはレンズ系のノード点)の間の主距離84がレンズ焦点設定とともに変わる
という点で異なる場合がある。さらに、図1に示されている理想化されたモデル
とは異なり、レンズまたはレンズ系を備えるカメラの光軸82は、画像平面24
と画像平面原点Oiで交差せず、むしろ原点Oiからオフセットされる画像平面内
の何らかの点で交差する。本開示の目的のために、光軸82が実際に画像平面2
4と交差する点を画像平面内の「主点」と呼ぶ。主点の画像平面24内のそれぞ
れのx座標およびy座標は、特定の焦点設定に対する主距離とともに、一般に、
写真測量法ではカメラの「内部標定」パラメータと呼ばれ、本開示全体を通して
そのようなものとして呼ばれる。
【0051】 従来、写真測量法応用例専用に製造された測量用カメラは、図1の中心透視投
影モデルによく適合するいくつかの機能を備えるように設計されている。測量用
カメラのメーカーは通常、画像平面24内の主点の座標および特定の焦点設定に
対応する較正済み主距離84をはじめとする各カメラの較正情報を提供する(つ
まり、異なる焦点設定に対するカメラの内部標定パラメータ)。これら3つの内
部標定パラメータを使用して式(1)および(2)を修正し、カメラのモデルを
より正確に表すようにする。
【0052】 フィルム・カメラは、画像を写真フィルムに記録する。フィルム・カメラは、
たとえば、カメラ本体に固定され画像平面24のxi軸およびyi軸を定める「基
準マーク」(たとえば、図1に示されている点f1、f2、f3、およびf4)を含
めることにより、写真測量法応用例(つまり、測量用フィルム・カメラ)専用に
製造することができる。それとは別に、たとえば、いくつかの従来の(つまり、
非測量用)フィルム・カメラを改造し、デバイスのフィルム・レールに取り付け
られるフィルム・タイプの挿入物、またはカメラ本体の画像平面に固定されてい
るガラス板を備えるようにし、基準マークをそこに印刷して、写真測量法応用例
用の画像座標系に利用することができる。場合によっては、フィルム・フォーマ
ット・エッジを使用して、画像座標系の基準を定義することができる。写真測量
法応用例のフィルム・カメラの前記の例では、様々な精度が得られる。写真測量
法応用例用に改造された非測量用フィルム・カメラの場合、通常、以下で詳述す
るように較正により内部標定パラメータを決定する必要がある。
【0053】 デジタル・カメラでは、一般に、カメラの画像平面内に配置された感光素子つ
まり「ピクセル」の2次元配列(たとえば、CCD画像センサ)を採用している
。ふつう、ピクセルの行と列を図1に示されている画像平面24のxi軸および
i軸の基準として使用し、それにより、測量用フィルム・カメラで使用してい
ているほど頻繁に基準マークが使用されるのを防ぐ。一般に、デジタル・カメラ
とビデオ・カメラは両方とも、CCD配列を採用している。ただし、デジタル・
カメラを使用して得られた画像は、デジタル・フォーマットで(たとえば、メモ
リまたはディスク)に格納されるが、ビデオ・カメラを使用して得られた画像は
通常、アナログ・フォーマットで格納される(たとえば、テープやビデオ・ディ
スクに)。
【0054】 デジタル・フォーマットで格納された画像は、特に、コンピュータ処理手法を
使用して実装された写真測量法を使用して実装された写真測量法応用例に有用で
ある。したがって、ビデオ・カメラを使用して得られた画像は、様々な市販のコ
ンバータ(たとえば、「フレーム・グラバ」および/またはデジタイザ・ボード
)を使用してデジタル・フォーマットにすることができる。同様に、フィルム・
カメラを使用して撮った画像は、デジタル・カメラのように、一般にCCDピク
セル配列を採用するデジタル・スキャナを使用するデジタル・フォーマットにす
ることができる。
【0055】 デジタル・カメラおよびスキャナなどのデジタル画像記録デバイスは、内部標
定の他のパラメータ、つまり、画像平面内のCCD配列のアスペクト比(つまり
、デジタイズ・スケール、またはxi軸にそったピクセル密度とyi軸にそったピ
クセル密度との比)を導入している。したがって、全部で4つのパラメータ、つ
まり、主距離、アスペクト比、および主点の画像平面内のそれぞれのx座標およ
びy座標は、通常、デジタル記録デバイスの内部標定を定める。フィルム・カメ
ラを使用して画像を撮り、スキャナを使用してデジタル・フォーマットに変換し
た場合、内部標定のこれら4つのパラメータは、フィルム・カメラおよび、単一
の画像記録デバイスとして仮想的に表示されるスキャナの組み合わせに適用する
ことができる。測量用フィルム・カメラの場合のように、一部のデジタル画像記
録デバイスのメーカーは、4つの内部標定パラメータをはじめとする各デバイス
の較正情報を提供することができる。ただし、他のデジタル・デバイスの場合、
これらのパラメータは較正により決定する必要がある。上述のように、デジタル
・デバイスのこれら4つの内部標定パラメータを使用して式(1)および(2)
を修正し、カメラ・モデルをより正確に表すようにできる。
【0056】 フィルム・カメラ、ビデオ・カメラ、およびデジタル・カメラやスキャナなど
のデジタル画像記録デバイスでは、集束要素の他の特性が図1の理想化された中
心透視投影モデルから逸脱する状況に関わる場合がある。たとえば、レンズまた
はレンズ系の「放射状歪み」とは、光線がレンズまたはレンズ系に入射する角度
の関数としての角倍率の非線形変動のことである。放射状歪みにより微分誤差が
画像点の座標に持ち込まれ、これは、以下の式により、画像平面内の主点からの
画像点の半径方向距離の関数となっている。
【0057】
【数9】
【0058】 Rは主点からの画像点の半径方向距離であり、係数K1、K2、およびK3は、レ
ンズまたはレンズ系の特定の焦点設定に依存するパラメータである(たとえば、
Atkinsonのテキストの2.2.2章を参照)。様々な数の非線形項およ
び様々な次数の項(たとえば、R2、R4)に基づく放射状歪みの他のモデルも、
ときには使用される。いかなる場合も、放射状歪みの様々な数学的モデルは通常
、2ないし3つのパラメータを含み、それぞれレンズまたはレンズ系の特定の焦
点設定に依存するそれぞれの非線形項に対応している。
【0059】 使用している特定の放射状歪みモデルに関係なく、歪みδR(たとえば、式(
8)で与えられる)をx成分とy成分に分解し、式(1)および(2)を修正し
て放射状歪み効果を考慮するようにできる。特に、式(8)の放射状歪みモデル
を使用すると、カメラ・モデル内の放射状歪みの効果を考慮すると、3つのパラ
メータ(たとえば、K1、K2、およびK3)が内部標定パラメータに加えて持ち
込まれ、これを使用して式(1)および(2)を修正し、カメラモデルをより正
確に表すことができる。測量用カメラのメーカーには、異なる焦点設定について
このような放射状歪みパラメータを提供しているところもある。それとは別に、
このようなパラメータは、以下で説明するように、カメラ較正により決定するこ
とができる。
【0060】 他のタイプの歪み効果は、「正接」(または「偏心」)レンズ歪みである。正
接歪みは、レンズ系の集束要素のずれにより生じる画像平面内の画像点の変位を
指す。従来の写真測量法では、正接歪みは、その関わり程度が放射状歪みよりも
かなり小さいためモデル化されないことがある。したがって、正接歪みの効果を
考慮することは通常、最高の精度の測定を行う場合にのみ必要であり、このよう
な場合、正接歪みに関係するパラメータをさらに使用して、式(1)および(2
)を修正し、カメラ・モデルをより正確に表すことができる。
【0061】 つまり、多数の内部標定およびレンズ歪みパラメータをカメラ・モデルに取り
込み、画像記録デバイスの画像平面へのシーン内の重要な物点の投影をより正確
に表すことができる。たとえば、デジタル記録デバイスでは、4つの内部標定パ
ラメータ(つまり、主距離、主点のx座標およびy座標、およびアスペクト比)
と3つの放射状レンズ歪みパラメータ(つまり、式(8)からのK1、K2、およ
びK3)を、望む測定精度に応じて、カメラ・モデルに含めることができる。様
々な内部標定およびレンズ歪みパラメータを含むことができる一般カメラ・モデ
ルを指定するために、式(5)の表記を使用して、以下の式で与えられる座標変
換関数に関して式(1)および(2)の修正バージョンを表す。
【0062】
【数10】
【0063】 ただし、iaは画像平面内の画像点aの2つの座標(xおよびy)を表し、cA は図1に示されているカメラ座標系内の物点Aの3次元座標を表し、変換関数i c Tは3次元カメラ座標系から2次元画像平面へのマッピング(つまり、カメラ・
モデル)を表す。変換関数i cTは、少なくともカメラの主距離を考慮し、オプシ
ョンで、カメラ・モデルの望む精度に応じて、上述のように、他の内部標定およ
びレンズ歪みパラメータに関係する項を含むことができる。
【0064】 F.後方交会法によるカメラ・モデリング・パラメータの決定 式(6)および(9)から、図1の基準座標系内の物点Aの座標を画像平面2
4内の画像点aの画像座標に関連付けるために後方交会法で使用される共線形式
(「関連技術の説明」のセクションCで説明している)を、以下の式で与えられ
る座標変換として書き換えることができる。
【0065】
【数11】
【0066】 式(10)で与えられる変換は画像平面内の画像点aの2つの共線形式を表すこ
とは理解されるであろう(つまり、x座標に1つの式、y座標に1つの式)。変
換関数c rTは、カメラの外部標定の6個のパラメータを含み、変換関数i cT(つ
まり、カメラ・モデル)は、カメラ内部標定およびレンズ歪みに関係する多数の
パラメータを含むことができる(たとえば、4つの内部標定パラメータ、3つの
放射状歪みパラメータ、および場合によっては正接歪みパラメータ)。上述のよ
うに、カメラ・モデルi cTに含まれるパラメータの数は、特定の写真測量法応用
例の望む測定精度レベルによって異なる。
【0067】 与えられたカメラの内部標定およびレンズ歪みパラメータの一部または全部が
、先験的に知られているか(たとえば、測量用カメラ・メーカーから)、または
不明(たとえば、非測量用カメラの場合)の場合がある。これらのパラメータが
高い精度で知られている場合(つまり、i cTが高い信頼性で知られている)、式
(10)に基づいてあまり厳密でない従来の後方交会法を採用し(たとえば、3
つと少ない制御点に対応する共線形連立方程式の直接評価)、妥当な精度で6個
のカメラ外部標定パラメータを得ることができる。この場合もやはり、「関連技
術の説明」のセクションDで説明しているように、さらに多くの適切に分布した
制御点と正確なカメラ・モデルを使用すると、通常、連立方程式内に未知数より
も多い式があるという点で、従来の後方交会法で得られる外部標定パラメータの
精度が向上する。
【0068】 他方、一部または全ての内部標定およびレンズ歪みパラメータが知られていな
い場合、先験的に合理的に推定できるか、またはカメラ・モデルでは単に使用で
きない(主距離を除く。特に、図1の中心透視投影モデルに基づき、少なくとも
主距離がカメラ・モデルi cTで知られているか、または推定される必要があるこ
とは理解されるであろう)。少ないパラメータおよび/または推定されるパラメ
ータを含むカメラ・モデルi cTを使用すると、一般に、後方交会法で得られる外
部標定パラメータの精度が低下する。しかしそれでも、得られる精度は、一部の
写真測量法応用例には十分であり、さらに、外部標定パラメータのこのような推
定は、「関連技術の説明」のセクションDで説明しているように、反復推定プロ
セスでの初期値として使用することができる。
【0069】 それとは別に、複数の内部標定およびレンズ歪みパラメータを含むより正確な
カメラ・モデルi cTが望まれていて、それらのパラメータの一部が未知であるか
、または先験的に推定される場合、いくつかの従来の後方交会法では多数の制御
点を使用して、外部標定パラメータと単一画像からのカメラ・モデル・パラメー
タの一部または全部を決定する。従来の後方交会法を使用してカメラ・モデル・
パラメータを決定する方法は、「カメラ較正」の一例である。
【0070】 後方交会法によるカメラ較正では、通常、後方交会法で評価するパラメータの
個数により、式(10)に基づいて連立方程式に対する閉形式の解に必要な制御
点の数が決まる。すべてのカメラ・モデルおよび外部標定パラメータが未知(た
とえば、最大13個以上の未知パラメータ)である式(10)に基づく連立方程
式に対する閉形式の解について、制御点を同一平面に置くことはできないことは
特筆すべきである(つまり、制御点すべてをシーン内の同じ平面に置くことはで
きない)(たとえば、引用で本発明に取り込まれているテキスト「Three−
dimensional Computer Vision:A Geomet
ric Viewpoint」(Olivier Faugeras著、MIT
Press、Cambridge、Massachusetts、ISBN
0−262−06158−9、1993年発行)を参照)。
【0071】 後方交会法によるカメラ較正の一例では、カメラ・モデルi cTは、より高い精
度が望まれる推定パラメータを少なくとも1つを含むことができる(つまり、カ
メラの主距離)。さらに、式(10)を参照すると、変換c rTには外部標定の未
知の6個のパラメータがあり、この例では後方交会法により全部で7個の未知の
パラメータを決定する。したがって、7個の未知数で8個の方程式からなる系を
評価するには少なくとも4つの制御点(式(10)に似た4つの式を生成し、し
たがって8個の共線形方程式を生成する)が必要である。同様に、デジタル記録
デバイスの完全な内部標定較正が望まれる(つまり、4つの未知または推定され
る内部標定パラメータが先験的にある)場合、全部で10個のパラメータ(4個
の内部標定および6個の外部標定パラメータ)を後方交会法で決定する必要があ
る。したがって、従来の後方交会法を使用して10個の未知数で10個の方程式
からなる系を評価するには少なくとも5つの制御点(式(10)に似た5つの式
を生成し、したがって10個の共線形方程式を生成する)が必要である。
【0072】 たとえばデジタル画像記録デバイスに内部標定および放射状歪みパラメータの
両方を含む「より完全な」カメラ較正(たとえば、式(8)に基づく)が望まし
く、デジタル・デバイスの外部標定が未知である場合、全部で13個のパラメー
タ、つまり6個の外部標定パラメータ、4個の内部標定パラメータ、および式(
8)からの3個の放射状歪みパラメータを後方交会法で決定する必要がある。し
たがって、従来の後方交会法を使用して13個の未知数で14個の方程式からな
る系を評価するには少なくとも7個の同一平面上にない制御点(式(10)に似
た7個の式を生成し、したがって14個の共線形方程式を生成する)が必要であ
る。
【0073】 G.交差 式(10)は、画像点aの2次元画像座標に関して図1に示されている物点A
の3次元座標を表すように以下の式に書き換えることができる。
【0074】
【数12】
【0075】 ここで、i c-1は画像平面からカメラ座標系への逆変換関数を表し、r cTはカメ
ラ座標系から基準座標系への変換関数を表す。式(11)は、従来の写真測量法
の主要な目標の1つを表している、つまり、点の投影された画像の2次元座標か
らシーン内の点の3次元座標を求める。
【0076】 しかし、「関連技術の説明」のセクションBで説明したように、式(11)の
閉形式解は、r cTとカメラ・モデルi cT内の外部標定パラメータが任意の精度で
知られているとしても、単一の画像点aの測定された画像座標iaから単に決定
することはできない。これは、式(11)が本質的に、式(1)および(2)で
与えられる基本的関係に基づく2つの共線形式を表すが、2つの方程式には3つ
の未知数が含まれる(つまり、物点Aの3つの座標)からである。特に、式(1
1)内の関数i c-1ia)は、さらに多くの情報が知られていないと閉形式解
を持たない(たとえば、カメラ原点から物点Aまでの距離などの「深さ」情報)
。このような理由から、従来の写真測量法では、物点のシーン内の3次元座標を
決定するために、重要な物点が存在するシーンの少なくとも2つの異なる画像を
必要とする。このプロセスは、写真測量法では「交差」と呼ばれている。
【0077】 図3を参照すると、座標系761と762で表される2つのカメラの外部標定お
よびカメラ・モデル・パラメータが知られている場合(たとえば、共通の基準座
標系74に関して2つの独立した後方交会法からすでに求められている)、第1
のカメラの画像平面241内の第1の画像点a1(51’1)の画像座標i1a1
ら、また第2のカメラの画像平面242内の第2の画像点a2(51’2)の画像
座標i2a2から、基準座標系74内の物点Aの3次元座標irAを評価できる。
この場合、式(11)に似た式が各画像点a1およびa2から生成され、それぞれ
の式は、2つの共線形式を表すため、物点Aの2つの異なる画像から、3つの未
知数で4つの共線形方程式からなる系が得られる。
【0078】 後方交会法の場合のように、このような連立方程式を評価するために使用する
交差法は、物点Aの座標で望まれる精度によって異なる。たとえば、従来の交差
法は、同じ点の2つの異なる画像から共線形方程式の系を直接評価することにつ
いて知られている。精度を上げるには、上述のように線形化した反復最小自乗推
定プロセスを使用できる。
【0079】 採用している特定の交差法によらず、物点の対応する画像を使用してシーン内
の重要な物点の交差が続く2つのカメラの独立後方交会法は、写真測量法では一
般的な手順となっている。もちろん、独立後方交会法はシーンに対する共通の基
準座標系に関するものでなければならないことは理解されるであろう。多数(少
なくとも3つ)の制御点が与えられた後方交会法についてシーン内で選択された
場合(たとえば、制御点のうち少なくともいくつかによりそのシーンの基準座標
系を定めることができる)、一般に、異なる場所にあるカメラにより撮った画像
内に見えるように制御点を慎重に選択し、各カメラの外部標定を共通基準座標系
に関して決定できるようにする必要がある。「関連技術の説明」のセクションD
で説明しているように、このような制御点の選択は、多くの場合、自明な作業で
はなく、交差がその後に続くマルチカメラ後方交会法の信頼性と精度は、複数画
像内の制御点の対応する画像をマッチさせる際に分析者の誤りに対し不安定な場
合がある。
【0080】 H.マルチイメージ写真測量法および「バンドル調整」 図4は、物点Aで表される、重要な物体の周囲の異なる位置にある多数のカメ
ラを示している。図4は、説明のために使用される5つカメラを示しているが、
下添字1、2、3...jで示されているように、カメラはいくつでも使用でき
る。たとえば、j番目のカメラの座標系は、基準文字76jが含まれる図4内に
示されており、原点Ocjがある、同様に、j番目のカメラで得られる物点Aに対
応する画像点は、それぞれの画像平面24j内のajで示されている。各画像点a 1 −ajは、2つの共線形方程式と関連付けられ、それとは別に、次のように表す
ことができる(それぞれ式(10)および(11)に基づく)。
【0081】
【数13】
【0082】 または
【0083】
【数14】
【0084】 上述のように、式(12)および(13)で表される共線形方程式はそれぞれ、
特定のカメラ(r cjT内の)の外部標定に対する6個のパラメータ、さらに特定
のカメラ(ij cj-1内の)に対する様々なカメラ・モデル・パラメータ(たとえ
ば、内部標定、レンズ歪み)を含む。したがって、全部でj個のカメラについて
、式(12)または(13)によってそれぞれ与えられるj個の式は、物点Aに
対する2j個の共線形方程式の系を表し、共線形連立方程式は様々な知られてい
るパラメータおよび未知のパラメータを持つことができる。
【0085】 シーン内の重要な多数の物点に対する式(12)または(13)のいずれかか
ら導かれる連立方程式に基づくマルチイメージ写真測量法の一般化した機能モデ
ルは以下の式で与えられる。
【0086】
【数15】
【0087】 ただし、Uは連立方程式内の未知のパラメータを表すベクトル(つまり、値が必
要なパラメータ)、Vは測定されたパラメータを表すベクトル、Wは知られてい
るパラメータを表すベクトルである。言い方を変えると、式(14)は、ベクト
ルVおよびWに対するパラメータ値を与えたとすると、ベクトルU内のパラメー
タ値に対する共線形連立方程式の評価を表すということである。
【0088】 一般に、マルチイメージ写真測量法では、どのパラメータが知られているか、
推定されているか(ベクトルWについて)、どのパラメータが測定されるか(ベ
クトルVについて)、どのパラメータを決定すべきか(ベクトルUにおいて)に
関して選択する必要がある。たとえば、一部の応用例では、ベクトルVは、重要
な各物点に対する対応する画像点の測定されたすべての画像座標を含むことがで
き、また、知られている場合には、シーン内の任意の制御点の基準座標系内の座
標を含むこともできる。同様に、基準座標系内の重要な物点の3次元座標は、未
知数としてベクトルUに含めることができる。カメラに対しそれぞれ、事前較正
が行われていて、かつ/または正確で信頼できる値がカメラ・モデル・パラメー
タの一部または全部について知られている場合、これらのパラメータをベクトル
Wに知られている定数として含めることができる。それとは別に、カメラ・モデ
ル・パラメータに対する前の値が得られていない場合、ベクトルU内のこれらの
パラメータを未知数として含めることが可能である。たとえば、カメラの外部標
定パラメータは、事前後方交会法により評価されており、ベクトルW内内の知ら
れている定数として、あるいはベクトルV内の測定されたまたは妥当な推定が行
われたパラメータとして含め、カメラ・モデル・パラメータの評価に利用するこ
とができる。
【0089】 シーンの複数の画像から、シーン内の重要な多数の物点の3次元座標と、一般
に式(14)のモデルにより表される共線形連立方程式に基づく最小自乗推定法
を使用する複数のカメラの外部標定パラメータを同時に評価するプロセスのこと
を、写真測量法では「バンドル調整」と呼ぶ。カメラ・モデルのパラメータ(た
とえば、内部標定およびレンズ歪み)もこの方法で評価する場合は、このプロセ
スを「自己較正バンドル調整」と呼ぶことが多い。マルチイメージ・バンドル調
整では、基準座標系の相対的尺度を設定するために一般に少なくとも2つの制御
点(もっと具体的にいうと、シーン内の2点の間の距離)がシーン内に知られて
いる必要がある。場合によって、未知のパラメータと知られている(または測定
された)パラメータの数に基づき、式(14)のUに対する閉形式解が存在しな
い場合がある。ただし、バンドル調整では反復最小自乗推定プロセスを使用し、
共線形連立方程式に対しいくつかの初期制約を使用して未知のパラメータの初期
推定結果に基づき解を得ることができる。
【0090】 たとえば、マルチイメージ・バンドル調整では、それぞれの画像を撮るカメラ
ごとに7つの未知のパラメータが最初にとられ(つまり、6個の外部標定パラメ
ータと各カメラの主距離d)、各画像内に現れるシーン内の重要な各物点の3次
元座標に対し3つの未知のパラメータがとられる場合、j個の異なる画像に現れ
る各物点に対し全部で7j+3個の未知のパラメータが最初にとられる。同様に
、上述のように、シーン内の各物点は、式(14)で表される連立方程式内の2
j個の共線形方程式に対応する。式(14)に対する初期閉形式解に到達するに
は、連立方程式内の式の数が未知のパラメータの個数以上である必要がある。し
たがって、前記の例では、式(14)で表される連立方程式に対する制約関係を
以下の式で与えることができる。
【0091】
【数16】
【0092】 ただし、nは、j個の異なる画像にそれぞれ現れるシーン内の重要な物点の個数
である。たとえば、式(15)で与えられる制約関係を使用すると、式(14)
に対する初期閉形式解は、7個の制御点(n=7)と3個の異なる画像(j=3
)を使用して求めるとができ、それにより、42個の未知数で42個の共線形方
程式が得られる。各カメラについて7個よりも多い(または少ない)未知のパラ
メータがとられた場合に、式(15)の右側で変数jを掛けた定数はそれに応じ
て変わることは理解されるであろう。特に、バンドル調整および自己較正バンド
ル調整の両方に適用される一般化された制約関係は以下の式で与えることができ
る。
【0093】
【数17】
【0094】 ただし、Cは、各カメラに対する最初にとられた外部標定パラメータおよび/ま
たはカメラ・モデル・パラメータの総数を示している。
【0095】 一般に、式(14)によるマルチイメージ・バンドル(または自己較正バンド
ル)調整からは、後方交会法および交差法よりも高い精度の結果が得られるが、
コストはかかる。たとえば、式(16)の制約関係は、バンドル調整プロセスを
使用して未知のパラメータを決定するためにカメラ配置の何らかの最小数を使用
してシーン内の重要な物点の何らかの最小数の複数の(つまり異なる)画像を取
得する必要があることを暗示している。特に、式(16)を参照すると、バンド
ル調整では、通常、分析者がシーンのある数j個の異なる画像にそれぞれ現れる
シーン内の重要なある数n個の物点を選択し、正しく、画像から画像へのそれぞ
れの物点のj個の対応する画像点をマッチさせる必要がある。本開示の目的のた
めに、複数の画像に現れる物点の対応する画像点をマッチさせるプロセスを「リ
ファレンスする」と呼ぶ。
【0096】 バンドル調整では、画像点が、各物点に対する複数の画像において分析者によ
って「参照」されると、通常、物点すべてに対する参照されている画像点のすべ
ての測定された画像座標が式(14)のモデルのベクトルV内の測定されたパラ
メータとして同時に処理され、外部標定およびたぶんカメラ・モデル・パラメー
タ、さらに各物点の3次元座標が評価される(これは、この場合ベクトルUの要
素となる)。したがって、式(14)でモデル化された連立方程式のバンドル調
整プロセスの同時解では通常、大きなデータ・セットと大きな行列の逆行列の計
算が必要である。
【0097】 バンドル調整に関する特筆すべき問題の1つは、反復推定プロセスでは、複数
の式からなる連立方程式で必要な大きなデータ・セットのせいで、式(14)の
モデルのベクトルVで使用される測定されたパラメータ内の誤差を識別すること
が困難であるというものである。たとえば、分析者が参照プロセスで誤りを犯し
た場合(たとえば、分析者が第1の画像内の第1の物点Aの画像点a1を第2の
画像内の第1の物点Aの画像点a2に正しくマッチさせる、つまり「リファレン
ス」することができず、その代わりに、画像点a1を第2の画像内の第2の物点
Bの画像点b2にリファレンスする)、バンドル調整プロセスにより、誤った結
果が得られ、その誤りの発生源を追跡することはきわめて困難であることがある
。複数の画像内の物点の画像点をリファレンスする(マッチする)際の分析者の
誤りを写真測量法では通常「ブランダ」と呼ぶ。式(16)の制約関係から異な
るカメラ配置から得られるより多くの物点およびより多くの画像はバンドル調整
プロセスからの正確な結果に対し望ましいものであるが、さらに多くの数の画像
内に現れるときにより多くの数の物点をリファレンスする必要があることから、
ある場合に、分析者のブランダの確率が高くなり、したがって、バンドル調整の
結果の信頼性が減じる。
【0098】 I.まとめ 前述の説明から、従来の写真測量法では一般に、シーン内の重要な物体の複数
の画像を(異なる場所から)取得して、それらの画像から、シーン内の物体に関
する実際の3次元の位置およびサイズ情報を決定する必要があることは理解され
るであろう。さらに、従来の写真測量法では通常、特別に製造された、または改
造された画像記録デバイス(一般に、ここでは「カメラ」と呼ぶ)が必要であり
、それに関する様々な較正情報が先験的に知られているか、または専用の較正手
法により取得され、測定の精度を保証する。
【0099】 さらに、写真測量法の適切な応用では、多くの場合、たとえば、大きなデータ
・セットおよび行列などを使用して写真測量手法、光学および幾何学、計算プロ
セスで、訓練を積み、知識を持つ専門の分析者が必要である。たとえば、後方交
会法および交差プロセス(「関連技術の説明」のセクションD、F、およびGで
説明している)では、通常、分析者は少なくとも3つの制御点のシーン内の実際
の相対的位置および/またはサイズ情報を知っている必要があり、さらに、少な
くとも2つの異なる画像のそれぞれにおける制御点の対応する画像を識別(つま
り、「リファレンス」)する必要がある。それとは別に、マルチイメージ・バン
ドル調整プロセスでは(「関連技術の説明」のセクションHで説明している)、
分析者はシーン内の少なくとも2つの制御点を選択し、シーン内の重要な物体の
相対的尺度を設定する必要がある。さらに、バンドル調整では、分析者はシーン
内の重要な多数の物体のそれぞれに対する多数の画像内の多くの場合複数の対応
する画像点を識別(つまり、「リファレンス」)する必要がある。この手動リフ
ァレンス・プロセスは、制御点の手動選択とともに、分析者の誤りつまり「ブラ
ンダ」に弱く、後方交会法/交差またはバンドル調整プロセスのいずれかで誤っ
た結果が得られる。
【0100】 さらに、従来の写真測量法応用例は通常、高度な計算アプローチを必要とし、
また多くの場合、かなりの計算資源を必要とする。したがって、様々な従来の写
真測量法では一般に、複雑で多くの場合高価な機器および計装、相当の計算資源
、高度な訓練などを利用する専門の実行者および分析者(たとえば、科学者、軍
人など)によるいくぶん制限された応用例があった。
【0101】 (発明の概要) 本発明の一実施形態は、画像内にマーク領域がある少なくとも1つのマークの
存在を検出する方法を対象とする。この方法は、スキャンされた信号を得るため
スキャン経路に沿って画像の少なくとも一部をスキャンする操作、画像のスキャ
ンされた部分がマークを含む場合にスキャン経路がマーク領域内の全部に収まる
ようにスキャン経路を形成する操作、およびスキャンされた信号から画像のスキ
ャンされた部分内に少なくとも1つのマークが存在するか存在しないかのいずれ
かを判定する操作を含む。
【0102】 本発明の他の実施形態は、マシン・ビジョンのランドマークを対象とし、ラン
ドマークは中心と半径方向の寸法を持ち、ランドマークは、ランドマークの中心
を中心とする円形の経路内でランドマークがスキャンされ半径がランドマークの
半径方向の寸法よりも小さいときに、円形経路がランドマークの別々に識別可能
な2次元領域の有意な寸法部分を横断するように互いに関して配置されている少
なくとも2つの別々に識別可能な2次元領域を備える。
【0103】 本発明の他の実施形態は、マシン・ビジョンのランドマークを対象とし、少な
くとも3つの別々に識別可能な領域の第2の領域が少なくとも3つの別々に識別
可能な領域の第1の領域を完全に囲み、少なくとも3つの別々に識別可能な領域
の第3の領域が第2の領域を完全に囲むように互いに関して配置された少なくと
も3つの別々に識別可能な領域を備える。
【0104】 本発明の他の実施形態は、マシン・ビジョンのランドマークを対象とし、少な
くとも2つの別々の識別可能な2次元領域を備え、それぞれの領域はスポーク状
の構成の共通領域から発している。
【0105】 本発明の他の実施形態は、マシン・ビジョンのランドマークを対象とし、ラン
ドマークが任意の画像内容を持つ画像内に存在し、少なくとも画像の一部がラン
ドマークの少なくとも2つの別々に識別可能な特徴のそれぞれを横断する開いた
曲線に沿ってスキャンされるときに、ランドマークがランドマークに対する法線
に関して少なくとも15度の傾斜した視角で検出できるように互いに関して配置
された少なくとも2つの別々に識別可能な特徴を備える。
【0106】 本発明の他の実施形態は、プログラムでエンコードされ少なくとも1つのプロ
セッサで実行するコンピュータ読み取り可能媒体を対象とする。プログラムは、
少なくとも1つのプロセッサで実行したときに、画像内の少なくとも1つのマー
クが存在しているかどうかを検出する方法を実行する。プログラムによって実行
されるこの方法は、スキャンされた信号を得るためスキャン経路に沿って画像の
少なくとも一部をスキャンする操作、画像のスキャンされた部分がマークを含む
場合にスキャン経路がマーク領域内の全部に収まるようにスキャン経路を形成す
る操作、およびスキャンされた信号から画像の部分内に少なくとも1つのマーク
が存在するか存在しないかのいずれかを判定する操作を含む。
【0107】 本発明の他の実施形態は、画像内の少なくとも1つのマークが存在するかどう
かを検出する方法を対象とし、本質的に閉じた経路内の画像の少なくとも一部を
スキャンし、スキャンされた信号を取得し、スキャンされた信号から画像の部分
内に少なくとも1つのマークが存在するか存在しないかのいずれかを判定する操
作を含む。
【0108】 本発明の他の実施形態は、プログラムでエンコードされ少なくとも1つのプロ
セッサで実行するコンピュータ読み取り可能媒体を対象とする。プログラムは、
少なくとも1つのプロセッサで実行したときに、画像内の少なくとも1つのマー
クが存在しているかどうかを検出する方法を実行する。プログラムで実行するこ
の方法は、本質的に閉じた経路内の画像の少なくとも一部をスキャンし、スキャ
ンされた信号を取得し、スキャンされた信号から画像の部分内に少なくとも1つ
のマークが存在するか存在しないかのいずれかを判定する操作を含む。
【0109】 付属の図面は、縮尺して作図することを意図していない。これらの図面では、
様々な図内に示されている同一のまたはほとんど同一のそれぞれのコンポーネン
トは同様の参照文字で表されている。わかりやすくするため、全部の図面の中で
全部のコンポーネントにラベルを付けているわけではない。
【0110】 (詳細な説明) A.概要 従来の写真測量法と関連して上で説明したように、シーンの2次元画像から3
次元シーン内の重要な物体の位置および/またはサイズ情報を決定する作業は、
やっかいな問題となっており解決しにくい。特に、従来の写真測量法では多くの
場合、専門の分析者がシーン内の何らかの相対的空間的情報を先験的に知ってい
るか、かつ/またはシーン内で何らかの測定を手動で行い、そのシーンの基準お
よび相対的尺度の何らかのフレームを確定する必要がある。さらに、従来の写真
測量法では、シーンの複数の画像(各画像は重要な1つまたは複数の物体を含む
)を一般に、異なるそれぞれの場所から取得する必要があり、多くの場合分析者
は複数の画像内に現れる重要な物体の対応する画像を手動で識別する必要がある
。この手動識別プロセス(本発明では「リファレンス」と呼ぶ)は、分析者の誤
りつまり「ブランダ」に弱く、そのため必要な情報に関して誤った結果が得られ
る場合がある。
【0111】 さらに、従来の写真測量法は通常、高度な計算アプローチを必要とし、また多
くの場合、かなりの計算資源を必要とする。したがって、様々な従来の写真測量
法では一般に、複雑で多くの場合高価な機器および計装、相当の計算資源、高度
な訓練などを利用する専門の実行者によるいくぶん制限された応用例があった。
【0112】 前記を鑑みると、本発明の様々な実施形態は一般に、専門家とともに非専門家
のユーザ(たとえば、写真測量法の専門訓練を受けていない人)にも適している
自動化された使い勝手のよい画像測定方法および装置に関係する。本開示の目的
について、「画像測定」という用語は一般に様々な測定目的に対する画像分析の
概念を指す。同様に、説明の目的のために、「非専門家ユーザ」はたとえば、建
築家、建築業者、建築物鑑定士、不動産業者、保険見積もり業者、内装設計者、
考古学者、法律執行代理人など、一般的消費者または様々な非技術専門家を含む
が、これに限らない。本発明の一態様では、本発明で開示している画像測定方法
および装置の様々な実施形態は、一般に、従来の写真測量の方法および装置より
も使い勝手がよいことが顕著である。さらに、他の態様によれば、本発明の方法
および装置の様々な実施形態は、実装費用が比較的少なくて済み、したがって、
一般に、従来の写真測量法システムおよび計装に比べて非専門家ユーザにとって
手頃であり利用しやすい。
【0113】 本発明の一態様は、非専門家ユーザの使い勝手を対象としているが、専門家ユ
ーザ(たとえば、写真測量士)でも本発明の様々な実施形態による画像測定方法
および装置を利用できることは理解されるであろう。したがって、後述する本発
明のいくつかの実施形態は、非専門家ユーザだけでなく、様々な写真測量法の専
門実行者および/またはその他の高度な訓練を受けた要員(たとえば、法廷専門
家)であっても広範な応用例で利用できる。
【0114】 自動化した画像測定方法および装置に関係する本発明の様々な実施形態では、
本発明による特定のマシン・ビジョン方法および装置を採用し、自動化を容易に
行えるようにしている(つまり、シーンの画像内の重要な特定の特徴を自動的に
検出する)。本開示の目的のために、「自動的」という用語で、ユーザの介入を
最小限またはまったく必要としない動作を意味する。たとえば、後述するように
、通常、シーンの画像を取得し、画像を処理のためプロセッサにダウンロードす
るのに、ユーザの何らかの介入が最小限必要である。さらに、画像を取得する前
に、いくつかの実施形態では、ユーザが1つまたは複数の基準物体(後述)をシ
ーン内に置く場合がある。本開示の目的のために、画像を取得してダウンロード
し、1つまたは複数の基準物体をシーン内に配置する基本動作をユーザの最小限
の介入として考慮する。前記を鑑みて、「自動的」という用語は、本発明では、
たとえば、上述の基本動作を超えるユーザの介入を必要としない本発明による装
置および方法により実行される様々な動作の1つまたは複数と主に関連して使用
される。
【0115】 一般に、マシン・ビジョンは、自動物体認識または「検出」のプロセスを含み
、通常、画像内の特定の特徴とたとえば記憶媒体(たとえば、コンピュータのメ
モリ)に格納されるような特徴に対するモデルとの間の対応関係を見つける検索
プロセスが関わる。従来のマシン・ビジョンの手法は多数知られているが、出願
人は、特に画像測定応用例に関してこのような従来の手法の様々な欠点を評価し
た。たとえば、従来のマシン・ビジョン物体認識アルゴリズムは一般に、きわめ
て複雑であり、画像内の識別する特徴がごくわずかであっても大きな計算能力を
必要とする。さらに、このような従来のアルゴリズムは一般に、画像内の検索し
ている特徴の尺度と向きが予め知られていないときには問題を生じる(つまり、
偽陽性または偽陰性の結果が得られることが多い)(つまり、不完全かつ/また
は不正確な対応関係モデルを使用して、画像内の特徴を検索する)。さらに、照
明が変化するという条件およびある種の画像内容については、従来のマシン・ビ
ジョンを使用して特徴を検出する作業は難しくなる場合がある。その結果、従来
のマシン・ビジョンの手法を採用する高度に自動化された画像測定システムは従
来から、実用的な実装には問題があった。
【0116】 ただし、出願人は、従来のマシン・ビジョン手法で通常生じる問題のいくつか
を克服する解決策、特に画像測定に対する応用例についての解決策を理解してい
る。特に、本発明の一実施形態は、特徴検出に関してとりわけ堅牢な画像特徴検
出方法および装置を対象としているが、画像内の検索する特徴の尺度と向き、た
とえば、照明条件、カメラ設定、および全体的画像内容の著しい違いがある。本
実施形態の一態様では、本発明の特徴検出方法および装置はさらに、従来のマシ
ン・ビジョン手法に比べて計算量が少なくて済む検出アルゴリズムに対応し、そ
のため、計算資源を減らし、実行時間を短縮できる。したがって、本発明のいく
つかの実施形態の一態様では、新規性のあるマシン・ビジョン手法と新規性のあ
る写真測量法を組み合わせて、広範にわたる応用性を備え、様々なユーザが利用
できる高度に自動化され、使い勝手がよい画像測定方法と装置を実現している。
【0117】 本発明のいくつかの実施形態の他の態様は、自動化と使い勝手に加えて、シー
ンの単一画像からシーン内の重要な物体と関連する位置および/またはサイズ情
報を供給することができる画像測定方法および装置に関するものである。これは
、上述のように、通常、シーン内の物体と関連する3次元情報を供給するために
シーンの複数の異なる画像を必要とする従来の写真測量法とは対照的である。上
述のように単一画像および自動化画像測定法を使用する画像測定法に関係する本
発明の様々な概念は、本発明の異なる実施形態において独立に使用できることは
理解されるであろう(たとえば、様々な自動化機能なしで、単一画像を使用する
画像測定法)。同様に、本発明の少なくとも一部の実施形態では、単一画像およ
び自動化画像測定法を使用する画像測定法の複数の態様を組み合わせることがで
きることは理解されるであろう。
【0118】 たとえば、本発明の一実施形態は、シーンの単一画像からシーン内の重要な1
つまたは複数の物体と関連する位置および/またはサイズ情報を自動的に決定す
ることができる画像測定方法および装置を対象とする。特に、本発明の一実施形
態では、ユーザは(たとえば、デジタル・カメラやデジタル・スキャナを使用し
て写真をスキャンして)シーンの単一デジタル画像を取得し、これを本発明の一
実施形態による画像測定プロセッサにダウンロードする。こうしてダウンロード
されたデジタル画像は、プロセッサに結合されているディスプレイ(たとえば、
CRTモニタ)に表示される。本実施形態の一態様では、ユーザは、プロセッサ
に結合されているユーザ・インタフェースを使用し表示画像を介してシーン内の
重要な1つまたは複数の点を示す(たとえば、マウスを使用してポイントしてク
リックする)。他の態様では、プロセッサが自動的に、本発明による特徴検出方
法及び装置を使用してシーンのデジタル画像内に現れる重要な点を識別する。い
ずれの場合も、プロセッサが画像を処理し、様々なカメラ較正情報を自動的に決
定し、最終的に、シーン内の重要な示された点または自動的に識別された点と関
連する位置および/またはサイズ情報を決定する。つまり、ユーザはシーンの単
一画像を取得し、画像をプロセッサにダウンロードし、シーン内の重要なオブジ
ェクトと関連する位置および/またはサイズ情報を容易に取得できる。
【0119】 本発明のいくつかの実施形態では、重要なシーンは、シーンの画像内に現れる
1つまたは複数の基準物体を含む。本開示の目的のために、「基準物体」という
用語は、一般に、サイズ(寸法)、空間的位置、および向きの情報のうち少なく
とも1つまたは複数がシーンの基準座標系関して先験的に知られているシーン内
の物体を指す。シーン内の1つまたは複数の基準物体に関して先験的に知られて
いる様々な情報を、ここでは一般に「基準情報」と呼ぶ。
【0120】 一実施形態によれば、基準物体の一例は、上述のように、シーンの基準座標系
に関して3次元座標が知られているシーン内の点である制御点により与えられる
。この例では、制御点の3次元座標は、制御点と関連する基準情報を定める。た
だし、ここで使用しているような「基準物体」という用語は、単に前述の制御点
の例に限られるわけではなく、他の種類の物体も含む。同様に、「基準情報」と
いう用語は、制御点の知られている座標に限られるわけではなく、後述のように
他の種類の情報も含む。さらに、いくつかの実施形態によれば、様々な種類の基
準物体はそれ自体、シーンの基準座標系を確定できることは理解されるであろう
【0121】 一般に、本発明の一態様によれば、上述のような1つまたは複数の基準物体は
一部、様々なカメラ較正情報を決定するカメラ較正プロセスを容易にする。本開
示の目的のために、「カメラ較正情報」という用語は、一般に、与えられたカメ
ラの1つまたは複数の外部標定、内部標定、およびレンズ歪みパラメータを指す
。特に、上述のように、カメラ内部標定は重要なシーンに関するカメラの位置お
よび向きを指し、内部標定およびレンズ歪みパラメータは一般に、特定のカメラ
が理想化されたピンホール・カメラとどれくらい異なるかを記述するカメラ・モ
デルを定める。一実施形態によれば、様々なカメラ較正情報は、シーン内に含ま
れる1つまたは複数の基準物体と関連する先験的に知られている基準情報に少な
くとも一部は基づき、シーンの画像内のそのような基準物体の画像から導かれる
情報とともに、決定される。
【0122】 本発明の一実施形態によれば、自動化されたカメラ較正プロセスを容易にする
ため、ある種の基準物体がシーンに含まれる。特に、一実施形態では、重要なシ
ーン内に含まれる1つまたは複数の基準物体は、シーンの画像を撮る前にシーン
内に配置される「堅牢な基準マーク」(これ以降RFIDと呼ぶ)の形とし、画
像内にRFIDが現れるようにすることができる。本開示の目的のために、「堅
牢な基準マーク」という用語は一般に、視点、様々なカメラ設定、異なる照明条
件などの関数として変化しない1つまたは複数の特性が画像にある物体を指す。
【0123】 特に、本実施形態の一態様によれば、RFIDの画像には、尺度または傾斜に
関して不変性がある、つまり、堅牢な基準マークは画像内に現れるときのマーク
のサイズまたはシーンの画像が取得されるときのカメラに関するマークの向きの
いずれかの関数として変化しない1つまたは複数の検出可能な画像内の特性を持
つ。他の態様では、RFIDは、画像内で比較的簡単に検出でき、与えられたシ
ーンで偶然発生することはありえず、異なる種類の一般的な画像内容の影響を比
較的受けない1つまたは複数の不変な特性を持つことが好ましい。
【0124】 一般に、重要なシーン内に含まれる1つまたは複数のRFIDの上述の特性に
より、本発明の様々な実施形態による自動的特徴検出がかなり容易になる。特に
、基準物体としてシーン内に配置されている1つまたは複数のRFIDにより、
様々なカメラ較正情報の自動決定が容易になる。ただし、本発明の様々な実施形
態でのRFIDの使用は、基準物体に限られないことは理解されるであろう。
【0125】 たとえば、後述のように、1つまたは複数のRFIDをシーン内に任意に配置
すると、位置および/またはサイズ情報が知られていないが望ましいシーン内の
重要な物体の自動識別が容易になる。さらに、本発明による画像測定方法および
装置を使用して現場調査する目的で、RFIDをシーン内の特定の場所に配置し
、大きなかつ/または複雑な空間の複数の画像間に自動的に検出可能なリンク点
を設定することができる。前記の例は単に説明のためにのみ用意されており、後
述のようにRFIDは、本発明による画像測定方法および装置でいろいろな形で
使用できることは理解されるであろう。一実施形態では、RFIDを自己接着基
板(たとえば、自動接着性取り外し可能ノート)に印刷するが、これは、自動的
特徴検出が容易に行えるようにシーンの1つまたは複数の画像を取得する前にシ
ーン内の望む位置に簡単に貼り付けることができる。
【0126】 基準物体に関して、本発明の他の実施形態によれば、シーン内の1つまたは複
数の基準物体は、シーンの画像を撮る前にシーン内に配置される「向き依存放射
源」(これ以降ODRと呼ぶ)の形とし、画像内にODRが現れるようにするこ
とができる。本開示の目的のために、向き依存放射源は一般に、シーンの画像か
ら検出することができる、物体の向きに基づく、少なくとも1つの検出可能な特
性を持つ放射を発する物体を指す。本発明の目的に適しているODRの例として
、本発明に引用により取り込まれている1999年8月10日出願の「Orie
ntation Dependent Reflector」という名称の米国
特許第5936723号および本発明に引用により取り込まれている1999年
5月24日出願の「Orientation−Dependent Radia
tion Source」という名称の米国特許出願第09/317052号に
記載されているデバイス、またはこれらの引用で説明されているのと似たデバイ
スがある。
【0127】 特に、本発明の一実施形態によれば、与えられたODRから発せられる放射の
検出可能な特性は、ODRが現れるシーンのそれぞれの画像を取得する特定のカ
メラに関してODRの少なくとも向きに応じて変化する。本実施形態の一態様に
よれば、シーン内に配置された1つまたは複数のODRは、シーンに相対的なカ
メラの向きに関係するシーンの画像内の情報を直接供給し、これにより、少なく
ともカメラの外部標定パラメータを決定しやすくなる。他の態様によれば、シー
ン内に配置されたODRは、カメラとODRとの間の距離に関係する画像内の情
報を供給する。
【0128】 本発明の他の実施形態によれば、1つまたは複数の基準物体は、シーンの画像
を撮る前にシーン内に配置される基準ターゲットの形でシーン内に供給され、画
像内に基準ターゲットが現れるようにすることができる。本実施形態の他の態様
によれば、基準ターゲットは通常、本質的に平面形状であり、1つまたは複数の
基準ターゲットをシーン内に配置し、シーン内に1つまたは複数のそれぞれの基
準平面を確立できる。他の態様によれば、特定の基準ターゲットをシーンの基準
座標系を定めるものとして指定できる(たとえば、基準ターゲットにより、基準
座標系のxy平面を定義し、基準座標系のz軸を基準ターゲットに対し垂直とな
るようにとることができる)。
【0129】 さらに、本実施形態の様々な態様によれば、与えられた基準ターゲットは、特
定の方法でグループとしてまとめて配列されている様々な異なる種類および数の
基準物体(たとえば、上述のように1つまたは複数のRFIDおよび/または1
つまたは複数のODR)を含むことができる。たとえば、本実施形態の一態様に
よれば、与えられた基準ターゲットに含まれる1つまたは複数のRFIDおよび
/またはODRでは、互いの特定の空間的関係およびシーンの基準座標系との特
定の空間的関係が知られている。さらに、与えられた基準ターゲットに含まれる
1つまたは複数の基準物体と関連する他の種類の位置および/または向き情報は
先験的に知られている場合があり、したがって与えられた基準ターゲットと固有
の基準情報を関連付けることができる。
【0130】 本実施形態の他の態様では、本発明により基準ターゲットで採用しているRF
IDとODRの組み合わせにより、上述のように、外部標定、内部標定、および
レンズ歪みパラメータのうち1つまたは複数を含む、様々なカメラ較正情報を簡
単に自動決定することができる。さらに、他の態様では、本発明による基準ター
ゲットでのRFIDとODRの特定の組み合わせおよび配列により、単一画像内
の単一平面基準ターゲットを使用して(外部標定、内部標定、およびレンズ歪み
パラメータのいくつかまたは全部を含めて)広範なカメラ較正情報を決定する機
能を実現する。
【0131】 本発明による画像測定方法および装置に関係する前記の概念は一部、単一画像
を使用する画像測定法に関して導入されているが、それでも、前記の概念および
その他の概念を取り込んでいる本発明の様々な実施形態は、後述のように、2つ
またはそれ以上の画像を使用する画像測定方法および装置を対象とすることは理
解されるであろう。特に、様々なマルチイメージの実施形態によれば、本発明の
方法と装置では、重要なシーンの複数の画像を自動的に結合し(場合によっては
、大きすぎて単一画像で完全にはキャプチャできないこともある)、大きなかつ
/または複雑な空間を3次元画像測定法で調べることができる。さらに、いくつ
かのマルチイメージ実施形態では、立体写真画像からの3次元画像測定とさらに
冗長測定により精度を高めることができる。
【0132】 さらに他の実施形態では、本発明による画像測定方法および装置を、ローカル
・エリア・ネットワークや、インターネットなどのワイド・エリア・ネットワー
ク上に実装し、多数のネットワーク・クライアントに画像測定サービスを提供す
ることができる。本実施形態の一態様では、それぞれのクライアント・ワークス
テーションを使用する多数のシステム・ユーザがシーンの1つまたは複数の画像
をネットワーク経由で1つまたは複数の中央画像測定サーバにアップロードする
ことができる。アップロード後、クライアントは、シーンの1つまたは複数の対
応するアップロードされた画像からのサーバによる計算に従って、特定のシーン
内の重要な様々な物体と関連する位置および/またはサイズ情報をダウンロード
し、クライアント・ワークステーションで計算済み情報を表示および/または格
納することができる。中央サーバ構成であるため、複数のクライアントが同じシ
ーンまたはシーンのグループに関する位置および/またはサイズ情報を取得でき
る。特に、本実施形態の一態様によれば、サーバにアップロードできる1つまた
は複数の画像をサーバにアーカイブしておき、1つまたは複数の計算済み測定結
果について多数の指定ユーザがグローバルにアクセスできるようにできる。それ
とは別に、他の態様によれば、アップロードされた画像は、特定のユーザからし
かアクセスできないようにアーカイブすることができる。
【0133】 画像測定方法および装置のネットワーク実装に関係する本発明のさらに他の実
施形態によれば、処理対象の1つまたは複数の画像をクライアント・ワークステ
ーションに保持し、クライアント側で、必要に応じて1回限りの使用のためサー
バから適切な画像測定アルゴリズムをダウンロードして画像をローカルで処理す
る。この態様では、1つまたは複数のサーバで処理するためにネットワーク上で
画像をアップロードする必要がないためクライアントにはセキュリティ上の利点
がある。
【0134】 本発明による画像測定方法と装置に関係する様々な概念およびその実施形態の
詳細について以下で説明する。上で導入し以下で詳細に説明する本発明の様々な
態様は、本発明が特定の実装方法に限られないので数多くの方法で実装できるこ
とは理解されるであろう。特定の実装および応用例の例は、説明のため用意して
いるだけである。
【0135】 B.単一画像を使用する画像測定法 上述のように、本発明の様々な実施形態は重要なシーンの単一画像を使用する
手動または自動画像測定方法および装置を対象とする。これらの実施形態につい
て、出願人は、ある種のシーン、たとえば、互いの空間的関係が知られている本
質的に平面である表面を含むシーンを考察することにより、シーン内の重要な物
体と関連する位置および/またはサイズ情報をシーンの単一画像から1つまたは
複数の平面に関して決定できることを認識している。
【0136】 特に、図5の例で示しているように、出願人は、人工のまたは「構築された」
空間を含む様々なシーンが特に、シーンの単一画像を使用する画像測定に役立つ
ことを認識しているが、通常このような構築された空間は多くの場合本質的に互
いに直角をなす多数の平面を含むからである(たとえば、壁、床、天井など)。
本開示の目的のために、「構築された空間」という用語は一般に、少なくとも1
つの本質的に平面である人工の表面を含むシーンを指し、より具体的には、互い
に本質的に直角をなす少なくとも2つの本質的に平面である人工の表面を含むシ
ーンを指す。より一般的に、「平面的空間」という用語は、自然のものであろう
と人工のものであろうと、少なくとも1つの本質的に平面である表面を含むシー
ンを指し、より具体的には、自然のものであろうと人工のものであろうと、互い
の空間的関係が知られている少なくとも2つの本質的に平面である人工の表面を
含むシーンを指す。したがって、図5に示されているように、シーン20に含ま
れる(家、オフィスなどの)部屋の部分は構築された空間または平面的空間と考
えることができる。
【0137】 従来の写真測量法に関して上述したように、多くの場合、重要なシーンに関す
る特定のカメラの外部標定、およびその他のカメラ較正情報は、先験的に未知な
場合があるが、たとえば、後方交会法プロセスで決定できる。本発明の一実施形
態によれば、少なくともカメラの外部標定は、シーンの単一の平面、つまり「基
準平面」に配置されている多数の基準物体を使用して決定される。たとえば、図
5に示されているシーン20では、部屋の後ろの壁(ドアを含み、家族肖像写真
34がかかっている)をシーン20の基準平面21として指定できる。本実施形
態の一態様によれば、基準平面を使用して、シーンの基準座標系74を定めるこ
とができ、たとえば、図5に示されているように、xrおよびyr軸で示される基
準平面21(つまり、後壁)は基準座標系74のx−y平面として使用され、基
準座標系74のzr軸は基準平面21に垂直であり、基準原点56でxr軸および
r軸で交差する。基準原点56の位置は、図6に関して後述するように、基準
平面21内で任意に選択することができる。
【0138】 本実施形態の一態様では、少なくともカメラの外部標定が図5のシーン20の
基準平面21(したがって、基準座標系74)に関して決定された後、少なくと
もカメラの主距離およびたぶん他のカメラ・モデル・パラメータが知られている
か、先験的に合理的に推定される(または、たとえば後方交会法プロセスで決定
される)とすると、基準平面21内の重要な任意の点の座標(たとえば、ドアや
家族肖像写真、ソファのバックボードにそった点など)を、上の式(11)に基
づき、シーン20の単一画像から基準座標系74に関して決定できる。これは、
基準平面21内の重要な点に対する基準座標系74内に未知の(xおよびy)座
標が2つしかないため可能であり、特に、基準平面21内の重要なすべての点の
基準座標系74内のz座標は定義通り0に等しいことは理解されるであろう。し
たがって、式(11)で表される2つの共線形式の連立方程式は、2つの未知数
がある2つの式からなる連立方程式として解くことができ、その際に、シーンの
基準平面内の重要な点の単一の対応する画像点(つまり単一画像からの)の2つ
の(xおよびy)画像座標を使用する。対照的に、上述のように従来の交差プロ
セスで、一般にシーン内の重要な点の3つすべての座標は未知であり、その結果
、重要な点の少なくとも2つの対応する画像点(つまり2つの異なる画像から)
は、未知数が3つある4つの共線形式からなる連立方程式を生成し、重要な点の
座標に対する式(11)の閉形式解を求めるために必要である。
【0139】 図5に示されている平面的空間内の重要な点の基準座標系74内の3次元座標
は、このような点が指定された基準平面21と異なる様々な平面内に配置されて
いるとしてもシーン20の単一画像から決定できることは理解されるであろう。
特に、基準平面21との空間的関係が知られている(または決定可能な)平面は
、「測定平面」として使用できる。たとえば、図5では、側壁(窓を含み、これ
に対し花瓶が載っているテーブルが当たっている)と部屋の床では、基準平面2
1との空間的関係が知られているかまたは決定可能であり(つまり、基準平面2
1と本質的に直角をなすと仮定されている)、したがって、側壁は第1の測定平
面23として使用でき、床は第2の測定平面25として使用でき、重要な点の座
標は基準座標系74に関して決定できる。
【0140】 たとえば、2つの点27Aおよび27Bが図5の測定平面23と基準平面21
の交差点で識別される場合、基準座標系74に関する測定平面23の配置と向き
を決定できる。特に、測定平面23と図5に示されている基準座標系74との空
間的関係では、yr軸を中心とするヨー回転は90度であり、平行移動ベクトル
55(mOr)により図5に示されているように基準座標系のxr、yr、zr軸の
うち1つまたは複数に沿う平行移動を伴う。一態様では、この平行移動ベクトル
は、後述のように、基準平面21で決定される点27Aおよび27Bの座標から
確認できる。前記は単に、測定平面を基準平面にリンクする方法の一例であり、
このような関係を定める他の手順は本発明の他の実施形態により適当であること
は理解されるであろう。
【0141】 説明のため、図5には、測定平面23の測定座標軸57(つまり、xm軸とym 軸)の集まりを示している。測定座標軸57の原点27Cは、基準座標系74内
で座標が知られている測定平面23内の都合のよい任意の点として任意に選択で
きることは理解されるであろう(たとえば、測定および基準平面の接合部分での
点27Aまたは27Bの1つであり、他の点は点27Aまたは27Bの1つとの
空間的関係が知られている測定平面23に沿うなど)。さらに、図5に示されて
いる測定座標軸57のym軸は基準座標系74のyr軸に平行であり、測定座標軸
57のxm軸は基準座標系74のzr軸に平行であることも理解されるであろう。
【0142】 測定平面23と基準平面21との空間的関係が判明し、基準平面21に関する
カメラ外部標定が判明したら、測定平面23に関するカメラ外部標定は容易に決
定できる。たとえば、式(5)の表記を使用すると、基準座標系74から測定平
面23への座標系変換m rTは、知られている平行移動ベクトル55(mOr)と
、基準座標系から測定平面への座標軸回転を記述する回転行列m rRに基づいて導
くことができる。特に、図5に関して上で説明した例では、回転行列m rRは測定
平面と基準平面との間の90度のヨー回転を記述している。ただし、一般に、測
定平面では基準平面との任意の空間的関係が知られている場合があり、3つの座
標系軸のうち1つまたは複数を中心とする回転を伴うことは理解されるであろう
【0143】 座標系変換m rTが求められたら、基準平面に関して元々導かれたカメラの外部
標定に基づいて、測定平面に関するカメラの外部標定を以下の変換で表す。
【0144】
【数18】
【0145】 その後、測定平面23(たとえば、窓のコーナー)内の重要な任意の点の測定座
標軸57に沿う座標を、上述の式(11)に基づき、式(11)内のr cTを式(
17)内のm cTで置き換えてシーン20の単一画像から決定し、単一画像内に現
れるときに点の画像座標から測定平面内の点の座標を与えることができる。これ
もまた、この方法で手直しした式(11)の閉形式解は、測定平面23内の重要
な点の未知の(xおよびy)座標が2つしかないため可能であるが、それはこの
ような点のz座標が定義からゼロに等しいからである。したがって、式(17)
を使用して手直しされた式(11)で表される2つの共線形式からなる連立方程
式は未知数が2つある2つの式からなる連立方程式として解くことができる。
【0146】 測定平面23内の重要な点の測定座標軸57に関して決定された座標は、その
後、この場合もやはり、基準原点56と平行移動ベクトル55および任意の座標
軸回転(たとえば、90度のヨー回転)によって与えられる測定座標軸57の選
択された原点27Cとの関係に基づいて逆変換r mTを適用することにより、基準
座標系74内の座標に変換することができる。特に、変換r mTを適用することに
より、測定座標軸57のxm軸に沿って決定された座標は、基準座標系74のzr 軸に沿う座標に変換され、測定座標軸57のym軸に沿って決定された座標は、
基準座標系74のyr軸に沿う座標に変換できる。さらに、図5に示されている
測定平面23内のすべての点は基準座標系74内で同じx座標を持つことは理解
されるであろう。したがって、測定平面23内の重要な点の基準座標系74内の
3次元座標は、シーン20の単一画像から決定できる。
【0147】 シーンの単一画像を処理する本発明による画像測定方法および装置の一態様に
ついては本質的に直角で交差する平面を含む構築された空間の一例を使用して上
で説明しているが、本発明はこの点で制限されていないことは理解されるであろ
う。特に、様々な実施形態では、平面的空間内の1つまたは複数の測定平面につ
いて特定の基準平面に関して直角以外の角度で知られている方法により位置決め
をし、向き付けることができる。与えられた測定平面と基準平面との関係が知ら
れている限り、測定平面に関するカメラ外部標定は、上述のように式(17)に
関して決定できることが理解されよう。様々な実施形態によれば、1つまたは複
数の測定平面と基準平面との関係を定めるシーン内の1つまたは複数の点(たと
えば、測定平面23と基準平面21をそれぞれ定義する2つの壁の交差点の図5
に示されている点27Aおよび27B)は、画像内で手動で識別することができ
、または、たとえば、シーンの画像内のこのような点の自動検出を容易にする1
つまたは複数のスタンドアローンの堅牢な基準マーク(RFID)によりシーン
内で指定できる。一態様では、1つまたは複数の測定平面と基準平面との関係を
識別するために使用される各RFIDは、RFIDを画像内で一義的にかつ自動
的に識別できる1つまたは複数の物理的属性を持つことができる。他の態様では
、このような多数のRFIDを自己接着基板に形成し、シーン内の適切な点に簡
単に貼り付けて望む関係を定めることができる。
【0148】 1つまたは複数の測定平面と基準平面との関係が判明すると、その後、1つま
たは複数の測定平面内の重要な点(さらに、1つまたは複数の基準平面内の重要
な点)に対するシーンの基準座標系内の3次元座標を、上述のように式(11)
を適切に手直ししたバージョンに基づいて決定することができる。任意の測定平
面と基準平面との間の座標系変換に関係する前記の概念については、「詳細な説
明」のセクションLで詳述している。
【0149】 さらに、シーンの単一(または複数の)画像を使用する画像測定方法および装
置に関係する本発明の様々な実施形態において、シーン内の重要な物体と関連す
る様々な位置および/またはサイズ情報をシーンの基準座標系に関してシーン内
の1つまたは複数の点の3次元座標に基づいて導くことができることも理解され
るであろう。たとえば、シーン内の2点間の物理的距離は、基本的な幾何学の原
理に基づいてそれぞれ決定された各点の3次元座標から求めることができる。前
記の説明から、多数の点を重要な物体に結びつけることにより、様々な物体の相
対的位置および/またはサイズ情報を、このような点の3つの次元内の相対的位
置および物体のいくつかの特徴を識別する点の間の距離に基づいて決定できるこ
とも理解されるであろう。
【0150】 C.画像測定装置実施例 図6は、本発明の一実施形態による画像測定装置の一例を示す図である。特に
、図6は、シーン内の重要な物体に関連する位置および/またはサイズ情報を決
定するためにシーンの単一の画像または複数の画像のいずれかを処理するのに適
している画像測定装置の一例を示している。
【0151】 図6の実施形態では、たとえば、重要なシーン20Aは、何らかの構築された
空間(たとえば、家やオフィス)のある部屋の一部として示されており、図5に
示されているのと似ている。特に、図6のシーン20Aは、図5に示されている
シーン20の後壁の本質的に標準の(つまり、「真っ正面の」)図であり、ドア
、家族肖像写真34、ソファを含む。図6は、シーン20Aがシーン内に置かれ
た基準ターゲット120Aを含むことも示している(たとえば、部屋の後壁にか
かっている)。図8に関して後述するように、基準ターゲット120Aと関連す
る知られている基準情報、さらに基準ターゲットの画像から導かれた情報のおか
げで、シーン内の重要な物体と関連する位置および/またはサイズ情報の決定が
一部簡単になる。
【0152】 図6の実施形態の一態様によれば、基準ターゲット120Aはシーンの基準平
面21を確定し、より具体的には、基準ターゲットの平面内のxr軸およびyr
により図6で概略が示されているようなシーンの基準座標系74と、基準原点5
6を確定する(基準座標系74のzr軸は基準ターゲット120Aの平面から外
へ、かつそれに直交する形で向かう)。xr軸およびyr軸は、説明のために基準
原点56とともに図6に示されているが、これらの軸および原点はそれ自体基準
ターゲット120Aに必ずしも実際に表示されるわけではないことは理解される
であろう(本発明の一部の実施形態ではそのようなこともありえるが)。
【0153】 図6に示されているように、カメラ22は、シーン20Aの画像20Bを取得
するために使用され、シーン内に置かれている基準ターゲット120Aの画像1
20Bを含む。上述のように、ここで使用しているような「カメラ」という用語
は、一般に、測量用または非測量用カメラ、フィルムまたはデジタル・カメラ、
ビデオ・カメラ、デジタル・スキャナなど(それに限定はされないが)、本発明
の目的にかなった様々な画像記録デバイスを指す。図6の実施形態の一態様によ
れば、カメラ22は、デジタル・カメラなどのシーンのデジタル画像を取得する
ために使用される1つまたは複数のデバイス、または写真を生成するフィルム・
カメラと写真をスキャンして写真のデジタル画像を生成するデジタル・スキャナ
の組み合わせを表す。後者のケースでは、一態様によれば、フィルム・カメラと
デジタル・スキャナとの組み合わせは、図6でカメラ22により表される仮想的
な単一画像記録デバイスとして見なすことができる。一般に、本発明は、どれか
1つの特定のタイプの画像記録デバイスでの使用に限定されておらず、いろいろ
な種類のかつ/または組み合わせの画像記録デバイスが本発明の様々な実施形態
での使用に適していることも理解されるであろう。
【0154】 図6に示されているカメラ22は、図1に関して上述したように、軸xc、yc およびzcおよびカメラ原点66(たとえば、カメラのレンズまたはレンズ系の
ノード点)で概略が表されるカメラ座標系76と関連する。カメラ22の光軸8
2は、カメラ座標系76のzc軸に沿って置かれている。本実施形態の一態様に
よれば、カメラ22はシーン20Aと任意の空間的関係があり、特に、カメラ外
部標定(つまり、基準座標系74に関するカメラ座標系76の位置および向き)
は先験的に未知である場合がある。
【0155】 図6は、カメラ22がシーン20Aの画像20Bが形成される画像平面24を
持つことも示している。上述のように、カメラ22は、シーン20Aをカメラの
画像平面24に投影し画像20Bを形成する方法を記述している特定のカメラ・
モデル(たとえば、様々な内部標定およびレンズ歪みパラメータを含む)と関連
付けることができる。上述のように、カメラの外部標定とカメラ・モデルを定め
る様々なパラメータは、カメラ較正情報と一般に総称される。
【0156】 本発明の一実施形態によれば、図6に示されている画像測定装置は、シーン2
0Aの画像20Bを受信する画像測定プロセッサ36を備える。いくつかの実施
形態によれば、装置はさらに、画像測定プロセッサ36に結合されているディス
プレイ38(たとえば、CRTデバイス)を備え、これにより、画像20Bの表
示画像20Cを表示する(基準ターゲット120Aの表示画像120Cを含む)
。さらに、図6に示されている装置は、たとえばマウス40Aおよびキーボード
40Bと示されている1つまたは複数のユーザ・インタフェースを備えることが
でき、それぞれ画像測定プロセッサ36に結合される。ユーザ・インタフェース
40Aおよび/または40Bにより、ユーザは表示画像20Cに表示される重要
な様々な特徴を(たとえば、マウスでポイントしてクリックする操作やカーソル
移動で)選択することができる(たとえば、それぞれ、シーン20A内にある実
際の点26Aおよび28Aに対応する2つの点26Bおよび28B)。本発明は
図6に示されているユーザ・インタフェースに限られないことは理解されるであ
ろうし、特に、図6に明示的には示されていない他の種類のかつ/または追加ユ
ーザ・インタフェース(たとえば、タッチ・センシティブ表示スクリーン、キー
ボード40Bに実装された様々なカーソル・コントローラなど)が、シーン内の
重要な1つまたは複数の特徴をユーザが選択するための本発明の他の実施形態に
適している場合がある。
【0157】 一実施形態によれば、図6に示されている画像測定プロセッサ36は、単一画
像20Bから、基準ターゲット120Aと関連する基準情報と基準ターゲット1
20Aの画像120Bから導かれる情報に少なくとも一部基づいて、シーン20
A内の重要な1つまたは複数の物体と関連する位置および/またはサイズ情報を
決定する。この点に関して、画像20Bは一般に、基準ターゲットの画像120
Bに加えて、シーンからの重要な様々な他の画像内容を含むことは理解されるで
あろう。本実施形態の一態様によれば、画像測定プロセッサ36はさらに、ディ
スプレイ38を制御し、決定された位置および/またはサイズ情報の1つまたは
複数の指示をユーザに送る。
【0158】 たとえば、本実施形態の一態様によれば、図6に示されているように、画像測
定プロセッサ36は、基準ターゲット120Aと同じ平面にあるシーン20A内
の任意の2点間の物理的(つまり、実際の)距離を計算することができる。この
ような点は一般に、たとえば、1つまたは複数の表面が基準ターゲット120A
と同じ平面内にある重要な物体と関連付けることができる(たとえば、図6に示
されている家族肖像写真)。特に、図6に示されているように、ユーザは表示画
像20C内に重要な点26Bおよび28Bを(たとえば、ユーザ・インタフェー
ス40Aおよび40Bのいずれかを使用して)示すことができ、点はシーン20
A内の家族肖像写真34の2つのそれぞれのコーナーにある点26Aおよび28
Aに対応し、その間の物理的距離30を測定することが望ましい。それとは別に
、本発明の他の実施形態によれば、1つまたは複数のスタンドアローンの堅牢な
基準マーク(RFID)をシーン内に配置すると、位置および/またはサイズ情
報が望まれている重要な点の自動検出が容易になる。たとえば、RFIDをシー
ン内の点26Aと28Aのそれぞれに配置することができ、シーンの画像20B
内に現れるこれらのRFIDを画像内で自動的に検出し、重要な点を示すように
できる。
【0159】 図6に示されている実施形態のこの態様では、プロセッサ36は距離30を計
算し、ディスプレイ38を制御して、計算した距離の1つまたは複数の指示42
を表示する。たとえば、計算した距離30の指示42は、図6では二重矢印で示
されており、英数字「1 m」(つまり、1メートル)を近似し、これは、選択
された点26Bおよび28Bの近くの表示画像20Cの上にスーパーインポーズ
される。ただし、本発明はこの点に限られるわけではなく、計算した物理的距離
測定の1つまたは複数の指示またはシーン内の重要な物体の様々な他の位置およ
び/サイズ情報を提供する他の方法が他の実施形態では適している場合もあるこ
とは理解されるであろう(たとえば、1つまたは複数の音声指示、1つまたは複
数の指示がスーパーインポーズされる表示画像のハードコピー印刷など)。
【0160】 図6に示されている画像測定装置実施例の他の態様によれば、ユーザは(たと
えば、1つまたは複数のユーザ・インタフェースを介して)、ときどき表示画像
20C内の点の異なる多数のペアを選択することができ(または、それとは別に
、多数のスタンドアローンのRFIDをシーン内の目的の位置に置くことにより
多数の異なる点のペアを一義的にかつ自動的に識別することができ)、これに対
して、シーン20Aの基準平面21内の点の対応するペアの間の物理的距離が計
算される。上述のように、計算した距離の指示はその後、様々な方法でユーザに
対し指示することができる(たとえば、表示画像20Cに表示/スーパーインポ
ーズしたり、プリントアウトしたりするなど)。
【0161】 図6の実施形態では、常時、カメラ22を画像測定プロセッサ36に結合して
おく必要はないことは理解されるであろう。特に、プロセッサが画像取得後間も
なく画像20Bを受け取ることができるが、それとは別に、プロセッサ36は様
々なソースからいつでもシーン20Aの画像20Bを受け取ることができる。た
とえば、画像20Bは、デジタル・カメラで取得して、ある期間にカメラのメモ
リに格納するか、または他の何らかのメモリ(たとえば、パソコンのメモリ)に
ダウンロードすることができる。その後、格納されている画像を画像測定プロセ
ッサ36にダウンロードしていつでも処理できる。それとは別に、画像20Bは
、画像の印刷(つまり、写真)を作成するフィルム・カメラを使用して記録でき
る。画像20Bの印刷を、デジタル・スキャナ(図5には特に示されていない)
によりスキャンし、スキャンした画像の印刷をプロセッサ36に直接ダウンロー
ドするか、または一定期間スキャナのメモリまたはその他のメモリに格納してお
き、後で、プロセッサ36にダウンロードすることができる。
【0162】 前記から、上述のように、様々な画像記録デバイス(たとえば、デジタル・カ
メラやフィルム・カメラ、デジタル・スキャナ、ビデオ・レコーダなど)を随時
使用して、本発明の様々な実施形態による画像測定処理に適したシーンの1つま
たは複数の画像を取得することができる。図6の実施形態の一態様によれば、い
かなる場合も、ユーザは基準ターゲット120Aを重要な特定の平面内に置き、
シーンの基準平面21を定め、基準ターゲット120Aを含むシーンの画像を取
得し、都合のよい時間に画像を画像測定プロセッサ36にダウンロードして、シ
ーンの基準平面内の重要な物体と関連する位置よび/またはサイズ情報を取得す
る。
【0163】 D.画像測定応用例実施例 図6の画像測定装置の実施例と、本発明の他の実施形態による画像測定装置は
、一般に、屋内または屋外の構築された(または一般に平面状の)空間の測定を
ユーザが望むものを含む、様々な応用例に適している。たとえば、契約業者や建
築家は、本発明の画像測定装置を構築された(または構築する予定の)空間への
プロジェクトの設計、改造および作業の見積もりに使用することができる。同様
に、建築物査定士および保険見積もり業者は、本発明の画像測定装置を使用して
有用な測定関係情報を導くことができる。同様に、不動産業者は、様々な建物間
取り図を見込み客に提示して、客に空間の寸法の比較および/または様々な家具
調度品が空間に収まるかどうかの確認をしてもらうことができ、またインテリア
・デザイナはインテリア・デザインのアイデアを見込み客に説明することができ
る。
【0164】 さらに、法律執行代理人は本発明による画像測定装置を犯罪現場の空間的関係
が重要なものとなっている様々な法廷調査に使用することができる。犯罪現場の
分析では、シーンの詳細がすぐに観察されなかったりすぐに記録されないと貴重
な証拠が失われることが多い。本発明による画像測定装置を使用すると、法律執
行当局はたぶん急を要する状況および/または緊急状況で犯罪現場の画像を簡単
にかつ素早く取得し、続いて、後で処理する画像をダウンロードして、シーン内
の重要な物体と関連する様々な位置および/またはサイズ情報を取得できる。
【0165】 本発明の様々な実施形態はここで説明しているように、前記の応用例の1つま
たは複数に適しており、また前記の応用例は図6に関して上述した画像測定装置
に限られないことは理解されるであろう。同様に、本発明の様々な実施形態によ
る画像測定方法および装置は、前記の応用例に限られず、またそのような応用例
実施例は説明のためのみここで説明していることは理解されるであろう。
【0166】 E.画像測定方法および装置のネットワーク実施例 図7は、本発明の他の実施形態による画像測定装置を示す図である。図7の装
置は、ローカル・エリア・ネットワークまたは、インターネットなどのワイド・
エリア・ネットワーク上で実装するのに適した「クライアント・サーバ」画像測
定システムとして構成されている。図7のシステムでは、1つまたは複数の画像
測定サーバ36Aは、図6の画像測定プロセッサ36に似ており、ローカル・エ
リア・ネットワークまたはワイド・エリア・ネットワーク(たとえば、インター
ネット)であるネットワーク46に結合されている。画像測定サーバ36Aは、
図7にPCベースの2台のワークステーション50Aおよび50Bとして示され
、さらにネットワーク46に結合されている、クライアント・ワークステーショ
ンを使用する多数のユーザ(つまり、クライアント)に画像測定処理サービスを
提供する。図7は、2つのクライアント・ワークステーション50Aおよび50
Bのみを示しているが、情報を1つまたは複数の画像測定サーバ36Aからダウ
ンロードしたり、情報をそこへアップロードするためにネットワーク46にクラ
イアント・ワークステーションをいくつでも結合できることが理解されよう。
【0167】 図7は、各クライアント・ワークステーション50Aおよび50Bはワークス
テーション・プロセッサ44(たとえば、パソコン)、1つまたは複数のユーザ
・インタフェース(たとえば、マウス40Aおよびキーボード40B)、および
ディスプレイ38を備えることができることを示している。図7は、さらに、1
つまたは複数のカメラ22を随時各ワークステーション・プロセッサ44に結合
し、記録された画像をローカルでクライアント・ワークステーションにダウンロ
ードすることができることも示している。たとえば、図7は、ワークステーショ
ン50Aに結合されたスキャナとワークステーション50Bに結合されたデジタ
ル・カメラを示している。これらの記録デバイス(またはその他のタイプの記録
デバイス)のいずれかで記録した画像は、いつでも、図6に関して上述したよう
に、ワークステーション・プロセッサ44のどれにでもダウンロードすることが
できる。1つまたは複数の同じまたは異なるタイプのカメラ22を随時任意のク
ライアント・ワークステーションに結合することができ、図7に示されているク
ライアント・ワークステーションおよび画像記録デバイスの特定の配列が説明の
ためのみ用意されていることは理解されるであろう。さらに、本発明の目的のた
めに、各ワークステーション・プロセッサ44は、様々な情報(たとえば、様々
な記録デバイスを使用して記録された画像)の定期的な取得、格納、および/ま
たは表示を行うために1つまたは複数の適切な従来のソフトウェア・プログラム
を使用して動作することは理解されるであろう。
【0168】 図7に示されている画像測定装置の実施形態では、この説明の目的のために、
ネットワーク46を介して情報を転送する操作を簡単にする1つまたは複数の適
切な従来のクライアント・ソフトウェア・プログラムを使用してネットワーク4
6に結合されている各クライアント・ワークステーション44を操作することは
理解されるであろう。同様に、画像測定サーバ36Aは、ネットワーク46を介
して情報を転送する操作を簡単にする1つまたは複数の適切な従来のサーバ・ソ
フトウェア・プログラムを使用して操作する。したがって、後述の本発明の実施
形態では、図7に示されている画像測定サーバ36Aおよび図6に示されている
画像測定プロセッサ36は、サーバ36Aとプロセッサ36の両方に共通の画像
測定に特に関係するコンポーネントおよび機能に関して似た形で説明されている
。特に、後述する実施形態では、図6の画像測定プロセッサ36に関して説明し
ている画像測定の概念および特徴も同様に、図7の画像測定サーバ36Aに関係
しこれに適用される。
【0169】 図7に示されるネットワーク・ベースの画像測定装置の一態様によれば、クラ
イアント・ワークステーション50Aおよび50Bのそれぞれで、画像関連情報
をいつでも画像測定サーバ36Aにアップロードできる。このような画像関連情
報としては、たとえば、シーン自体の画像(たとえば、図6からの画像20B)
、さらにユーザが表示画像内で選択した任意の点(たとえば、図6の表示画像2
0C内の点26Bおよび28B)があり、これは位置および/またはサイズ情報
が必要な重要な物体を示す。この態様では、画像測定サーバ36Aはアップロー
ドされた情報を処理して、目的の位置および/またはサイズ情報を決定し、その
後、画像測定サーバが1つまたは複数のクライアント・ワークステーションに目
的の情報をダウンロードし、この情報をいろいろな方法(たとえば、表示画像2
0Cへのスーパーインポーズ)でユーザのクライアント・ワークステーションに
通信できる。
【0170】 図7に示されているネットワーク・ベースの画像測定装置のさらに他の態様で
は、画像を1つまたは複数のクライアント・ワークステーションから画像測定サ
ーバにアップロードするのではなく、画像をクライアント・ワークステーション
に保持し、適切な画像測定アルゴリズムをサーバからクライアントにダウンロー
ドし、必要に応じてローカルでの画像の処理に使用する。この態様では、1つま
たは複数の画像測定サーバで処理するためにネットワーク上で画像をアップロー
ドする必要がないためクライアントにはセキュリティ上の利点がある。
【0171】 F.ネットワーク・ベースの画像測定応用例実施例 図6の画像測定装置の場合のように、図7に示されているネットワークベース
の画像測定装置の様々な実施形態は一般に、ユーザがシーン内の物体の測定に必
要とする様々な応用例に適している。ただし、図6の装置とは異なり、一実施形
態では、図7のネットワークベースの装置により、地理的に分散している多数の
ユーザが同じ画像または画像のグループから測定結果を取得することができる。
【0172】 たとえば、図7のネットワークベースの画像測定装置の応用例実施例では、不
動産業者(またはたとえばインテリア・デザイナ)は多数の異なる家全体を通し
て多数の異なる部屋の中のシーンの画像を取得し、これらの画像を(たとえば、
自分のクライアント・ワークステーションから)画像測定サーバ36Aにアップ
ロードできる。アップロードされた画像は、任意の期間、サーバに保存しておく
ことができる。関心のある購入者または顧客は、クライアント・ワークステーシ
ョンを介して不動産業者の(またはインテリア・デザイナの)Webページに接
続し、その後Webページから画像測定サーバ36Aにアクセスできる。家のア
ップロードされ格納されている画像から、関心のある購入者または顧客は様々な
部屋またはその他の空間の寸法を家ごとに比較する特定の画像の画像測定処理を
要求することができる。特に、関心のある購入者または顧客は、家具調度品や装
飾品などの個人の家具やその他の所有物が家の様々な居住空間に収まるかどうか
を判定できる。この方法で、見込み購入者または顧客は、便利な場所から地理的
に異なる様々な場所にある家を比較し、選択された測定結果が画像上にスーパー
インポーズされた異なる家の中の多数の部屋の様々な画像ローカルで表示かつ/
印刷することができる。
【0173】 上述のように、本発明の様々な実施形態による画像測定方法および装置のネッ
トワーク実装は、前記の例示の応用例に限られず、またこのような応用例は説明
のためにのみここで説明していることは理解されるであろう。さらに、図7に関
して上述したように、前記の例で、それとは別に画像をクライアント・ワークス
テーションに保持し、適切な画像測定アルゴリズムをサーバから(たとえばサー
ビス・プロバイダのWebページを介して)クライアントにダウンロードし、必
要に応じてローカルでの画像の処理およびセキュリティの確保に使用することが
できる。
【0174】 G.画像測定方法および装置の基準物体例 図5および6に関して上述した本発明の一実施形態によれば、図6に示されて
いる画像測定プロセッサ36はまず、カメラ22と関連する様々なカメラ較正情
報を決定し、最終的にカメラ22によって取得される画像20B内に現れるシー
ン20A内の重要な1つまたは複数の物体と関連する位置および/またはサイズ
情報を決定する。たとえば、一実施形態によれば、画像測定プロセッサ36はカ
メラ22の少なくとも外部標定を決定する(つまり、図6に示されているように
、シーン20Aの基準座標系74に関するカメラ座標系76の位置および向き)
【0175】 本実施形態の一態様では、画像測定プロセッサ36は、上述のようなシーン内
の基準物体と関連する基準情報と、シーンの画像内に現れるときの基準物体のそ
れぞれの画像から導かれる情報に少なくとも一部は基づき後方交会法プロセスを
使用して少なくともカメラの外部標定を決定する。他の態様では、画像測定プロ
セッサ36は、類似の方法で他のカメラ較正情報(たとえば、内部標定およびレ
ンズ歪みパラメータ)を決定する。上述のように、「基準情報」という用語は、
一般に、シーンの基準座標系に関して先験的に知られているシーン内の1つまた
は複数の基準物体と関連する様々な情報(たとえば、位置および/または向き情
報)を指す。
【0176】 一般に、本発明の様々な実施形態により様々な種類、個数、組み合わせ、およ
び配列の基準物体をシーンに含めることができることは理解されるであろう。た
とえば、本発明の目的にかなう基準物体の様々な構成は、個々のまたは「スタン
ドアローンの」基準物体、1つまたは複数の基準ターゲットを形成するように特
定の方法で配列された物体のグループ、スタンドアローンの基準物体の様々な組
み合わせおよび配列、および/または基準ターゲットなどを含む。異なる実施形
態で用意される基準物体の構成は、一部、与えられた応用例について決定するた
めに本発明の画像測定方法または装置が必要とする特定のカメラ較正情報(たと
えば、外部標定、内部標定、および/またはレンズ歪みのパラメータの個数)に
一部は依存する場合がある(したがって、これはさらに、目的の測定精度に依存
する場合がある)。さらに、一部の実施形態によれば、後述のように、一部は1
つまたは複数の基準物体を手動で識別するのか、それともシーンの画像から自動
的に識別するのかに応じて、シーン内で特定の種類の基準物体を用意できる。
【0177】 G1.基準ターゲット実施例 前記を鑑みて、本発明の一実施形態は、重要なシーン内に置いたときに、様々
なカメラ較正情報の決定を簡単にする基準ターゲットを対象とする。特に、図8
は、本発明の一実施形態による、図6のシーン20A内に置かれる基準ターゲッ
ト120Aの一例を示す図である。ただし、上述のように、本発明は、本発明の
様々な実施形態による基準ターゲットの多数の実装(たとえば、異なる個数、種
類、組み合わせ、および配列の基準物体を含む)が可能であるため、図8に示さ
れている基準ターゲット120Aの特定の例に限られないことは理解されるであ
ろう。
【0178】 図8に示されている実施形態の一態様によれば、基準ターゲット120Aは一
般に、ポータブルなように設計されており、異なるシーンおよび/または所与の
シーン内の異なる場所の間で容易に転送可能である。たとえば、一態様では、基
準ターゲット120Aは本質的に矩形形状であり、寸法は25cmのオーダーで
ある。他の態様では、基準ターゲットが配置されたシーンのデジタル画像内で1
00ピクセル×100ピクセルのオーダーで占有するように基準ターゲット12
0Aの寸法を特定の画像測定応用例について選択する。ただし、本発明は、他の
実施形態による基準ターゲットが上に示したのと異なる形状およびサイズを持つ
ため、これらの点には限られないことは理解されるであろう。
【0179】 図8では、基準ターゲット120Aの例は、本質的に平面状の前(つまり、見
えている)表面121を持ち、少なくとも前面121で観察可能な様々な基準物
体を含む。特に、図8は、基準ターゲット120Aが図8内でたとえば、アスタ
リスクで示されている4つの基準マーク124A、124B、124C、および
124Dを含む。一態様では、基準マーク124A〜124Dは、様々な写真測
量法(たとえば、後方交会法)に関して上述したように、制御点に類似している
。図8は、さらに、第1の向き依存の放射源(ODR)122Aおよび第2のO
DR 122Bを含むことを示している。
【0180】 図8に示されている基準ターゲット120Aの実施形態の一態様によれば、基
準マーク124A〜124Dには互いに知られている空間的関係がある。さらに
、各基準マーク124A〜124Dでは、ODR 122Aおよび122Bとの
空間的関係が知られている。別の言い方をすると、基準ターゲット120Aの各
基準物体についてはターゲット上の少なくとも1つの点との空間的関係が知られ
ており、ターゲットの各基準物体と関連する相対的空間的情報が先験的に知られ
る。これらの様々な空間的関係は、基準ターゲット120Aと関連する基準情報
の少なくとも一部を定める。基準ターゲット120Aと関連付けることができる
他の種類の基準情報について以下で詳述する。
【0181】 図8の実施形態では、各ODR 122Aおよび122Bは、基準ターゲット
120Aの画像(たとえば、図6に示されている画像120B)から検出できる
、ODRの向きに基づく、少なくとも1つの検出可能な特性を持つ放射を発する
。本実施形態の一態様によれば、ODR 122Aおよび122Bは、基準ター
ゲット120Aに相対的なカメラの向きに関係する画像内の特定の情報を直接供
給するため、カメラの外部標定パラメータの少なくとも一部を簡単に決定できる
。他の態様によれば、ODR 122Aおよび122Bは、カメラ(たとえば、
図6に示されているカメラ原点66)と基準ターゲット120Aとの間の距離に
関係する画像内の特定の情報を直接供給する。一般にODRの前記の態様と他の
態様については、「詳細な説明」のセクションG2およびJでさらに詳しく説明
する。
【0182】 図8に示されているように、各ODR 122Aおよび122Bは、ODRの
長い辺に平行な一次軸と、一次軸に直交する、ODRの短い辺に平行な二次軸に
よって本質的に矩形の形状が定義される。特に、図8に示されている基準ターゲ
ット例では、ODR 122Aは一次軸130と第1のODR基準点125Aで
交差する二次軸132を持つ。同様に、図8では、ODR 122Bは二次軸1
38および、ODR 122Aの二次軸132と一致する一次軸を持つ。ODR
122Bの軸138および132は、第2のODR基準点125Bで交差する
。本発明は1つまたは複数の軸を共有するODR 122Aおよび122Bに限
られず(図8において軸132によって示されているように)、図8に示されて
いるODRの特定の配列および一般的形状が説明のためのみであることは理解さ
れるであろう。特に、他の実施形態によれば、ODR 122BはODR 12
2Aの二次軸132と一致しない一次軸を持つ場合がある。
【0183】 図8に示されている実施例の一態様によれば、ODR 122Aおよび122
Bは、それぞれの一次軸130および132が互いに直交し、それぞれ基準ター
ゲットの辺と平行になるように、基準ターゲット120A内に配列される。ただ
し、他の実施形態により様々なODRを本質的に矩形またはその他の形状を持つ
基準ターゲット内でいろいろな向き(つまり互いに直交である必要はない)にす
ることができるため、本発明はこの点に限られないことは理解されるであろう。
本発明の様々な実施形態による基準ターゲットに含まれるODR(たとえば、直
交対非直交)の任意の向きについては、「詳細な説明」のセクションLで詳しく
説明する。
【0184】 図8に示されている実施例の他の態様によれば、ODR 122Aおよび12
2Bは、二次軸132および138のそれぞれが基準ターゲットの共通交差点1
40を通るように、基準ターゲット120A内に配列される。図8は基準ターゲ
ット120Aの共通交差点140も通るODR 122Bの一次軸を示している
が、本発明はこの点に限られるわけではないことは理解されるであろう(つまり
、本発明の他の実施形態によればODR 122Bの一次軸は必ずしも基準ター
ゲット120Aの共通交差点140を通過しないということ)。特に、上述のよ
うに、ODR 122Bの一次軸とODR 122Aの二次軸との一致(したが
って、第2のODR基準点125Bは共通交差点140と一致する)は、図8に
示されている特定の例で実装される1つの設計オプションにすぎない。さらに他
の態様では、共通交差点140は、基準ターゲットの幾何学的中心と一致する場
合があるが、ここでもやはり、本発明はこの点に限られるわけではないことを理
解されるであろう。
【0185】 図8に示されているように、本発明の一実施形態によれば、ODR 122B
の二次軸138は、基準ターゲット120Aのxt軸として使用され、ODR
122Aの二次軸132は、基準ターゲットのyt軸として使用される。本実施
形態の一態様では、図8のターゲットで示されている各基準マーク124A〜1
24Dでは、共通交差点140との空間的関係が知られている。特に、各基準マ
ーク124A〜124Dについては、基準ターゲット120Aのxt軸138お
よびyt軸132に関する「ターゲット」座標が知られている。同様に、第1お
よび第2のODR基準点125Aおよび125Bのターゲット座標はxt軸13
8とyt軸132関して知られている。さらに、ODR 122Aおよび122
Bのそれぞれの物理的寸法(たとえば、本質的に矩形のODRの長さおよび幅)
は設計上知られている。このようにして、図8に示されている基準ターゲット1
20Aの各基準物体の空間的位置(および、場合によっては範囲)は、基準ター
ゲット120Aのxt軸138およびyt軸132に関して先験的に知られている
。この場合もまた、この空間的情報は、基準ターゲット120Aと関連する基準
情報の少なくとも一部を定める。
【0186】 図6および図8の両方を再び参照すると、一実施形態では、図8に示されてい
る基準ターゲット120Aの共通交差点140により、基準ターゲットが置かれ
ているシーンに対する基準座標系74の基準原点56が定義される。この実施形
態の一態様では、基準ターゲットのxt軸138およびyt軸132が基準座標系
74の基準平面21内に置かれ、共通交差点140を通過する基準ターゲットの
法線により基準座標系74のzr軸が定義される(つまり、図6および8の両方
の平面から)。
【0187】 特に、本実施形態の一態様では、図6に示されているように、基準ターゲット
120Aをシーン内に配置し、基準ターゲットのxt軸138およびyt軸132
がそれぞれ、基準座標系74のxr軸50およびyr軸52に対応するようにでき
る(つまり、基準ターゲット軸は本質的に、基準座標系74のxr軸50および
r軸52を定義する)。それとは別に、他の態様では(図には示されていない
)、基準ターゲットのxt軸およびyt軸は基準平面21内に置くことができるが
、基準ターゲットは基準座標系74のxr軸50およびyr軸52に関して「ロー
ル」回転が知られている場合がある、つまり、図8に示されている基準ターゲッ
ト120Aを、共通交差点140を通過するターゲットの法線を中心に(つまり
、図6に示されている基準座標系のzr軸を中心に)知られている量だけ回転し
、基準ターゲットのxt軸およびyt軸がそれぞれ、基準座標系74のxr軸およ
びyr軸と揃わないようにできる。基準ターゲット120Aのこのようなロール
回転については「詳細な説明」のセクションLで詳述している。ただし、上の状
況のいずれかでは、本実施形態において、基準ターゲット120Aにより、明示
的に、あるいは基準平面21に関して知られているロール回転を持たせることで
、シーンの基準座標系74が本質的に定義される。
【0188】 「詳細な説明」のセクションG2およびJで詳述しているように、一実施形態
によれば、図8に示されているODR 122Aは二次軸132を中心にODR
122Aの回転136の関数として変化する向き依存の放射126Aを発する
。同様に、図8のODR 122Bは、二次軸138を中心にODR 122B
の回転134の関数として変化する向き依存の放射126Bを発する。
【0189】 基準ターゲット120AのODR 122Aおよび122Bの動作の概略を説
明するために、図8では、向き依存放射126Aおよび126Bのそれぞれを、
ORD 122Aおよび122Bのそれぞれの観察面128Aおよび128Bか
ら発せられる一連の3つの楕円形放射スポットとして示している。ただし、前記
は向き依存の放射126Aおよび126Bの単なる一表現例であり、本発明はこ
の点に限られないことは理解されるであろう。図8の説明を参照すると、一実施
形態によれば、各ODRの3つの放射スポットは、ODRが二次軸を中心に回転
するときにまとめてODRの一次軸に沿って移動する(図8で、各ODRの観察
面の反対向きの矢印により示されている)。したがって、この例では、向き依存
の放射126Aおよび126Bのそれぞれの少なくとも1つの検出可能な特性が
、ODR 122Aおよび122Bのそれぞれの観察面128Aおよび128B
上の一次軸に沿って1つまたは複数の放射スポットの位置(または、より一般的
には、向き依存の放射の空間的分布)に関係する。ここでもやはり、前記はただ
単に、本発明の様々な実施形態に従ってODRによって発せられる向き依存の放
射(および検出可能な特性)の一例を説明しているだけであり、本発明はこの特
定の例に限られないことは理解されるであろう。
【0190】 上で説明したようにODR 122Aおよび122Bの一般的な動作に基づき
、図8に示されている実施形態の一態様において、yt軸132(つまり、OD
R 122Aの二次軸)を中心とする基準ターゲット120Aの「ヨー」回転1
36により、ODR 122Aの一次軸130に沿って(つまり、xt軸138
に平行な)向き依存の放射126Aの変動が生じる。同様に、xt軸138(つ
まり、ODR 122Bの二次軸)を中心とする基準ターゲット120Aの「ピ
ッチ」回転134により、ODR 122Bの一次軸132に沿って(つまり、
t軸に沿って)向き依存の放射126Bの変動が生じる。このようにして、図
8に示されている基準ターゲット120AのODR 122Aおよび122Bは
、2つの直交する方向を持つ基準ターゲットと関連する向き情報を供給する。一
実施形態によれば、基準ターゲット120Aの画像120Bから向き依存の放射
126Aおよび126Bを検出することにより、図6に示されている画像測定プ
ロセッサ36は、基準ターゲット120Aのピッチ回転134およびヨー回転1
36を決定できる。このようなプロセスの例については「詳細な説明」のセクシ
ョンLで詳述している。
【0191】 一実施形態によれば、図8の基準ターゲット120Aのピッチ回転134およ
びヨー回転136は基準ターゲットが見える特定の「カメラ・ベアリング」(つ
まり、視点)に対応している。以下でおよび「詳細な説明」のセクションLで詳
述しているように、カメラ・ベアリングは、カメラ外部標定パラメータの少なく
ともいくつかに関係している。したがって、一態様では、シーンの画像内のカメ
ラ・ベアリングに関する情報を直接提供することにより、基準ターゲット120
Aにより、カメラの外部標定(さらに他のカメラ較正情報)が決定しやすくなり
都合がよい。特に、本発明の様々な実施形態による基準ターゲットは、一般に、
カメラで取得される基準ターゲットの画像内の基準ターゲットの自動検出を容易
にする自動検出手段(このような自動検出手段の例については、「詳細な説明」
のセクションG3で説明している)およびカメラに関する基準ターゲットの位置
および少なくとも1つの向き角度の1つまたは複数の決定を容易にするベアリン
グ決定手段(つまり、外部標定パラメータのうち少なくともいくつか)を備える
ことができる。本実施形態の一態様では、1つまたは複数のODRはベアリング
決定手段を定めることができる。
【0192】 図9は、本発明の一実施形態によるカメラ・ベアリングの概念を示す図である
。特に、図9は、シーン20A内に置かれた基準ターゲット120Aに関する図
6のカメラ22を示している。図9の例では、説明のため、基準ターゲット12
0Aは、xt軸138およびyt軸132がそれぞれ、基準座標系74のxr軸5
0およびyr軸52に対応するようにシーン内に配置されているものとして示さ
れている(つまり、基準座標系74の基準平面21に関して基準ターゲット12
0Aのロールはない)。さらに、図9では、基準ターゲットの共通交差点140
は、基準原点56と一致し、基準座標系74のzr軸54は基準ターゲット12
0Aに対する法線方向にある共通交差点140を通過する。
【0193】 本開示の目的に関して、「カメラ・ベアリング」という用語は一般に、カメラ
によって画像処理される物体に対する基準座標系に関するカメラ・ベアリング・
ベクトルのアジマス角α2と仰角γ2に関して定義される。特に、図9を参照する
と、一実施形態では、カメラ・ベアリングは、基準座標系74に関して、カメラ
・ベアリング・ベクトル78のアジマス角α2および仰角γ2を指す。図9に示さ
れているように(また図1でも)、カメラ・ベアリング・ベクトル78は、カメ
ラ座標系76の原点66(たとえば、カメラ・レンズ系のノード点)と基準座標
系74の原点56(たとえば、基準ターゲット120Aの共通交差点140)と
を接続する。他の実施形態では、カメラ・ベアリング・ベクトルは、原点66を
特定のODRの基準点に接続できる。
【0194】 図9はさらに、カメラ・ベアリング・ベクトル78のアジマス角α2および仰
角γ2を示すためにカメラ・ベアリング・ベクトル78の投影78’(基準座標
系のxr−zr平面内にある)を示しており、特にアジマス角α2はカメラ・ベア
リング・ベクトル78と基準座標系74のyr−zr平面とがなす角、仰角γ2
カメラ・ベアリング・ベクトル78と基準座標系のxr−zr平面とがなす角であ
る。
【0195】 図9から、基準ターゲット120Aについて図8および9に示されているピッ
チ回転134およびヨー回転136はカメラ・ベアリング・ベクトル78の仰角
γ2およびアジマス角α2にそれぞれ対応する。たとえば、図9に示されている基
準ターゲット120Aが、共通交差点140を通過する基準ターゲットの法線が
カメラ・ベアリング・ベクトル78と一致するように最初から向き付けられてい
たとすると、ターゲットは、図9に示されている向きに対応するようにxt軸を
中心にγ2度だけ回転し(つまり、γ2度のピッチ回転)、yt軸を中心にα2度だ
け回転する(つまり、α2度のヨー回転)必要がある。したがって、基準ターゲ
ット120Aのピッチ回転およびヨー回転に関するODR 122Aおよび12
2Bの動作に関する上の説明から、ODR 122Aにより、カメラ・ベアリン
グ・ベクトル78のアジマス角α2の決定が容易になり、ODR 122Bによ
りカメラ・ベアリング・ベクトルの仰角γ2の決定が容易になることが図9から
理解できるであろう。別の言い方をすると、ODR 122Aおよび122Bの
それぞれの傾斜した視角(つまり、それぞれの二次軸を中心とする回転)により
、カメラ・ベアリングの要素が定められる。
【0196】 前記を鑑みて、先験的に知られていることもあり得る図8に示されている基準
ターゲット120Aの基準物体と関連する他の種類の基準情報(つまり、上述の
ように、基準ターゲットのxt軸およびyt軸に関する基準物体の相対的空間的情
報に加えて)は、ODR 122Aおよび122Bに特に関係する。一態様では
、ODR 122Aおよび122Bと関連するそのような基準情報を利用すると
、検出された向き依存の放射126Aおよび126Bに基づいてカメラ・ベアリ
ングを容易に決定できる。
【0197】 より具体的には、一実施形態において、基準ターゲット120Aを真正面から
見たときに(つまり、基準ターゲットを共通交差点140の法線に沿って見たと
きに)ODR 122Aおよび122Bからそれぞれ発せられる向き依存の放射
126Aおよび126Bの検出可能な特性の特定の特性が先験的に知られている
場合があり、ターゲット120Aの基準情報の一部をなす。たとえば、図8の例
に示されているように、基準ターゲットを法線に沿って見たときに向き依存の放
射126Aおよび126Bを表す卵形放射スポットの1つまたは複数のODR一
次軸に沿う特定の位置が、ODRごとに先験的に知られている場合があり、ター
ゲット120Aの基準情報の一部をなす。一態様では、この主の基準情報により
、基準ターゲットに対し「通常カメラ・ベアリング」のベースライン・データが
定められる(たとえば、アジマス角α2が0度、仰角γ2が0度の、または基準タ
ーゲットのピッチ回転およびヨー回転がない、カメラ・ベアリングに対応する)
【0198】 さらに、二次軸を中心に与えられたODRを回転する機能(つまり、回転に対
するODRの「感度」)として向き依存の放射126Aおよび126Bの検出可
能な特性の特徴の変化率は、ODRごとに先験的に知られている場合があり、タ
ーゲット120Aの基準情報の一部をなす。たとえば、図8の例に示されている
ように(また、「詳細な説明」のセクションJで詳述している)、向き依存の放
射を表す1つまたは複数の放射スポットの位置が二次軸を中心とするODRの特
定の回転についてODRの一次軸に沿ってどれだけ移動するかが、ODRごとに
先験的に知られている場合があり、ターゲット120Aの基準情報の一部をなす
【0199】 つまり、図8に示されている基準ターゲット120Aの基準物体に関して先験
的に知られている場合のある基準情報の例として、基準ターゲット120Aのサ
イズ(つまり、ターゲットの物理的寸法)、基準マーク124A〜124Dおよ
び基準ターゲットのxt軸およびyt軸に関するODR基準点125Aおよび12
5Bの座標、ODR 122Aおよび122Bのそれぞれの物理的寸法(たとえ
ば、長さおよび幅)、ターゲットの通常または「真正面」の視点で各ODRから
発せされる向き依存の放射の1つまたは複数の検出可能な特性のそれぞれのベー
スライン特性、および各ODRの回転に対するそれぞれの感度がある(が、それ
らに限らない)。前記に基づき、所与の基準ターゲットと関連する様々な基準情
報は、ターゲットに含まれる基準物体の種類、個数、および特定の組み合わせお
よび配列に一部基づき、そのターゲットに一義的である(つまり、「ターゲット
固有」基準情報)場合があることは理解されるであろう。
【0200】 上述のように(また「詳細な説明」のセクションLで詳述している)、本発明
の一実施形態によれば、図6の画像測定プロセッサ36は、特定の基準ターゲッ
トの基準物体と関連するターゲット固有基準情報を、基準ターゲットの画像から
導かれた情報(たとえば、図6内の画像120B)とともに使用し、様々なカメ
ラ較正情報を決定する。本実施形態の一態様では、このようなターゲット固有基
準情報は、ユーザが手動で画像測定プロセッサ36に入力できる(たとえば、1
つまたは複数のユーザ・インタフェース40Aおよび40B)。特定の基準ター
ゲットについてこのような基準情報を画像測定プロセッサに入力した後、その基
準ターゲットを異なるシーンで繰り返し使用し、1つまたは複数の画像を様々な
画像測定目的のためにプロセッサにダウンロードできる。
【0201】 他の態様では、特定の基準ターゲットのターゲット固有基準情報を記憶媒体(
たとえば、フロッピー(登録商標)ディスク、CD−ROM)に保持し、都合の
よいときに画像測定プロセッサにダウンロードできる。たとえば、一実施形態に
よれば、特定の基準ターゲットのターゲット固有基準情報を格納する記憶媒体を
基準ターゲットとともにパッケージ化することにより、媒体に記憶されている情
報をプロセッサにダウンロードして異なる画像測定プロセッサでポータブルな形
で使用することもできる。他の実施形態では、特定の基準ターゲットのターゲッ
ト固有情報を固有のシリアル番号に関連付け、指定された画像測定プロセッサで
、固有のシリアル番号によりカタログ化されている多数の異なる基準ターゲット
のターゲット固有情報をダウンロードかつ/または格納し、容易に識別すること
ができる。さらに他の実施形態では、特定の基準ターゲットおよび画像測定プロ
セッサをシステムとしてパッケージ化することができ、基準ターゲットのターゲ
ット固有情報が画像測定プロセッサの半永久的または永久的メモリ(たとえば、
ROM、EEPROM)に最初に保持される。前記のことから、本発明の様々な
実施形態により基準情報を画像測定プロセッサで利用できるようにする様々な方
法が適しており、本発明は前記の例に限られないことは理解されるであろう。
【0202】 さらに他の実施形態では、特定の基準ターゲットと関連するターゲット固有基
準情報を自動化をより高度にした形で画像測定プロセッサに転送することができ
る。たとえば、一実施形態では、自動化されたコーディング方式を使用して、タ
ーゲット固有基準情報を画像測定プロセッサに転送する。本実施形態の一態様に
よれば、少なくとも1つの自動読み取り可能コード化パターンを基準ターゲット
に結合することができ、そこでは、自動読み取り可能コード化パターンは基準タ
ーゲットの少なくとも1つの物理的特性に関係するコード化情報を含む(たとえ
ば、1つまたは複数の基準マークの相対的空間的位置、および1つまたは複数の
ODR、基準ターゲットの物理的寸法、および/または1つまたは複数のODR
、ODRの検出可能な特性のベースライン特性、ODRの回転に対する感度など
)。
【0203】 図10Aは、図8に示されている基準ターゲット120Aの後面図である。よ
り自動化された方法でターゲット固有基準情報を画像測定プロセッサに転送する
一実施形態によれば、図10Aは、コード化された情報を含むバーコード129
を基準ターゲット120Aの後面127に取り付けられることを示している。バ
ーコード129に含まれるコード化された情報は、たとえば、ターゲット固有基
準情報自体、または基準ターゲット120Aを一義的に識別するシリアル番号を
含むことができる。次にこのシリアル番号を、たとえば、メモリや、画像測定プ
ロセッサの記憶媒体にすでに格納されているターゲット固有基準情報を相互参照
することができる。
【0204】 図10Aに示されている実施形態の一態様では、バーコード129を、たとえ
ば、画像測定プロセッサに結合されているバーコード・リーダーでスキャンし、
バーコード内に納められているコード化された情報を抽出しダウンロードするこ
とができる。それとは別に、他の態様では、バーコード129を含むターゲット
の後面127の画像を取得し(たとえば、図6に示されているカメラ22を使用
して)、画像測定プロセッサで画像を分析して、コード化されている情報を抽出
することができる。この場合もやはり、画像測定プロセッサで特定の基準ターゲ
ットと関連するターゲット固有基準情報にアクセスした後、そのターゲットを異
なるシーンで繰り返し使用し、1つまたは複数の画像を様々な画像測定目的のた
めにプロセッサにダウンロードできる。
【0205】 再び図8および図10Aを参照し、本発明の一実施形態によれば、基準ターゲ
ット120AはODR 122Aおよび122Bおよび基準マーク124A〜1
24Dは、基準ターゲットの本体として使用される本質的に平面状の基板133
の前面121および後面127のうちの一方または両方に結合されているアート
ワーク・マスクとして形成される。たとえば、本実施形態の一態様では、固形物
に印刷する従来の手法を使用して、様々な基準物体の1つまたは複数のアートワ
ーク・マスクを基板133に印刷することができる。本実施形態の様々な態様に
よれば、1つまたは複数のマスクをモノリシック構造に形成し、多数の基準物体
を含めることができるが、それとは別に、単一の基準物体または基準物体の特定
のサブグループを含む多数のマスクを基板133に結合し(たとえば、印刷し)
、特定の方法で配列することができる。
【0206】 さらに、本実施形態の一態様では、基板133は本質的に透明である(たとえ
ば、様々なプラスチック、ガラス、またはガラス状のいずれかの材質とする)。
さらに、一態様では、1つまたは複数の反射体131を、たとえば、図10Aに
示されているように、基準ターゲット120Aの後面127の少なくとも一部に
結合できる。特に、図10Aは、後面127の一部を覆う反射体131を示して
おり、反射体131の下の基板133の断面図となっている。本発明の目的に適
している反射板の例としては、3M Scotchlite(商標)反射体フィ
ルムなどの逆反射フィルム、白色紙(たとえば、従来のプリンタ印刷用紙)など
のLambertian反射体がある。この態様では、反射体131は、基準タ
ーゲット(図8に示されている)の前面121に入射し、基準ターゲット基板1
33を通り後面127に入る放射を反射する。このようにして、ODR 122
Aおよび122Bの一方または両方のいずれかが「反射」ODRとして機能する
ことができる(つまり、基準ターゲットの後面127に結合された反射体131
で)。それとは別に、1つまたは複数の反射体131を含まない基準ターゲット
の他の実施形態では、ODR 122Aおよび122Bは「バックライト型」ま
たは「透過型」ODRとして機能することができる。
【0207】 本発明の様々な実施形態によれば、基準ターゲットは、与えられた応用例に望
ましい特定のカメラ較正情報(たとえば、後方交会法プロセスで本発明の画像測
定方法または装置によって決定される外部標定、内部標定、レンズ歪みのパラメ
ータの個数)に少なくとも一部は基づいて設計でき、次に、これは上述のように
測定精度に関連付けることができる。特に、本発明の一実施形態によれば、与え
られた基準ターゲットで必要な基準物体の個数と種類は、与えられた応用例につ
いて求める未知のカメラ較正パラメータの個数に関して以下の関係式で表すこと
ができる。
【0208】
【数19】
【0209】 ただし、Uは決定すべき最初は未知のカメラ較正パラメータの個数、#ODRは
基準ターゲットに含まれる向きが異なる(たとえば直交している)ODRから決
定できる基準ターゲットの平面はずれ回転(つまり、ピッチおよび/またはヨー
)の数(つまり、#ODR=0、1、または2)、およびFは基準ターゲットに
含まれる基準マークの個数である。
【0210】 式(18)で与えられる関係は、以下のように理解できる。各基準マークFは
、上述のように、式(10)の式で表される2つの共線形式を生成する。通常、
各共線形式は、少なくとも3つの未知の位置パラメータとカメラ外部標定の3つ
の未知の向きパラメータを含み(つまり式(17)内でU≧6)、これを、後方
交会法プロセスの共線形式の連立方程式から求める。この場合、式(18)から
わかるように、ODRが基準ターゲットに含まれていない(つまり、#ODR=
0)場合、少なくとも6個の未知数のある少なくとも6つの共線形式の連立方程
式を生成するために少なくとも3つの基準マークFが必要である。この状況は、
少なくとも3つの制御点を使用する従来の後方交会法プロセスに関して上で述べ
たものと類似している。
【0211】 それとは別に、1つまたは複数の向きが異なるODRを含む本発明による基準
ターゲットの実施形態において、上で述べたように、また「詳細な説明」のセク
ションLで詳述しているように、各ODRは直接、カメラ外部標定の2つの向き
パラメータのうちの1つ(つまりピッチまたはヨー)に関係する画像内の向き(
つまりカメラ・ベアリング)情報を供給する。別の言い方をすると、基準ターゲ
ット内で1つまたは複数のODRを採用することにより、カメラ外部標定の3つ
の未知の向きパラメータのうち1つまたは2つ(つまり、ピッチおよび/または
ヨー)を、後方交会法プロセスで共線形式の連立方程式を解くことにより決定す
る必要はなく、むしろ、これらの向きパラメータを、画像内の1つまたは複数の
ODRによって直接供給されるカメラ・ベアリング情報から導かれるすでに決定
されているパラメータとして共線形式に代入できる。このようにして、後方交会
法により実際に決定されるカメラ外部標定の未知の向きパラメータの個数は基準
ターゲットに含まれる向きの異なるODRから求めることができる基準ターゲッ
トの平面はずれ回転の個数だけ減らされる。したがって、式(18)では、量#
ODRを最初に未知であるカメラ較正パラメータUの数から引く。
【0212】 前記を鑑みて、式(18)を参照すると、図8に示されている基準ターゲット
120Aの特定の例(F=4および#ODR=2)は、10個の最初に未知であ
るカメラ較正パラメータUを決定するのに十分な情報を用意できる。もちろん、
未知のカメラ較正パラメータが10個未満であれば、式(18)の不等式が最低
限満たされている限り(式(18)の両側が等しい)、カメラ較正情報を決定す
る際に基準ターゲット120Aに含まれる基準物体すべてを考慮する必要はない
。それとは別に、しかしながら、「詳細な説明」のセクションLで詳述している
ように、基準ターゲット120Aによって供給される「過剰な」情報(つまり、
式(18)の左側が右側よりも大きい)を使用して、決定すべき未知のパラメー
タのより正確な結果を求めることができる。
【0213】 この場合もやはり、式(18)を参照すると、少なくとも6個のカメラ外部標
定パラメータを決定するのに適している本発明の様々な実施形態による基準ター
ゲットの他の例として、3つまたはそれ以上の基準マークがあってODRがない
基準ターゲット、3つまたはそれ以上の基準マークがあってODRが1つある基
準ターゲット、および2つまたはそれ以上の基準マークがあってODRが2つあ
る基準ターゲット(つまり、図8の基準ターゲット120Aの一般化)がある(
がそれらに限らない)。与えられた基準ターゲットに含まれる基準物体の前記の
組み合わせのそれぞれから、様々な基準ターゲット構成、さらに単独で使用する
または1つまたは複数の基準ターゲットと組み合わせて使用する単一平面または
重要なシーンの3次元全体に配置された個々の基準物体の構成は、様々なカメラ
較正情報を決定する本発明の目的に適している。
【0214】 後方交会法によるカメラ較正に関して、カメラ・モデルおよび外部標定パラメ
ータのすべてが未知である(たとえば、最大13またはそれ以上の未知のパラメ
ータ)式(10)に基づく連立方程式の閉形式解について、制御点はすべてシー
ン内の同じ平面内にあるわけではないことは特に注目すべきである(「関連技術
の説明」のセクションFで説明している)。特に、広範なカメラ較正情報(外部
標定、内部標定、およびレンズ歪みパラメータのいくつかまたはすべてを含む)
について解くために、カメラ(つまり、カメラ原点)と基準ターゲットの間の距
離に関係する何らかの「深さ」情報が必要であり、この情報は一般に、シーン内
の(たとえば、平面基準ターゲットの)同じ平面内にすべてある多数の制御点か
らは得られない。
【0215】 前記を鑑みて、本発明の他の実施形態によれば、基準ターゲットは、特に、単
一画像内の単一平面基準ターゲットを使用して広範なカメラ較正情報を決定でき
るRFIDおよびORDの組み合わせと配列を含むように設計されている。特に
、本実施形態の一態様によれば、基準ターゲットの1つまたは複数のODRから
、カメラとODR(したがって基準ターゲット)の間の距離に関係するターゲッ
トが配置されるシーンの画像内の情報が得られる。
【0216】 図10Bは、シーンの画像から広範なカメラ較正情報を決定しやすくするシー
ン内に配置できる本発明の一実施形態による基準ターゲット400の一例を示す
図である。本実施形態の一態様によれば、基準ターゲット400の次元は、基準
ターゲット400がシーンの画像内の約250ピクセル×250ピクセルのオー
ダーで占有するように特定の画像測定応用例に基づいて選択できる。ただし、図
10Bに示されている基準物体の特定の配列と基準物体およびターゲットの相対
的サイズは、説明のためにのみ用意されており、本発明はこれらの点に限られる
わけではないことは理解されるであろう。
【0217】 図10Bの基準ターゲット400は4つの基準マーク402A〜402Dと2
つのODR 404Aおよび404Bを含む。図10Bに示されているのと似た
基準マークについては、「詳細な説明」のセクションG3およびKで詳述してい
る。特に、一実施形態によれば、図10Bに示されている基準マーク例402A
〜402Dを使用すると、ターゲットを含むシーンの画像内の基準ターゲット4
00を容易に自動検出できる。図10Bに示されているODR 404Aおよび
404Bについては、「詳細な説明」のセクションG2およびJで詳述している
。特に、基準ターゲット400と基準ターゲット400の画像を取得するカメラ
との間の距離を簡単に決定できるODR 404Aおよび404Bの近距離場効
果については、「詳細な説明」のセクションG2およびJで説明している。様々
なカメラ較正情報を決定する基準ターゲット400(基準ターゲット120Aお
よび本発明の他の実施形態による類似のターゲット)を含む画像を処理する画像
測定方法の例については、「詳細な説明」のセクションHおよびLで説明してい
る。
【0218】 図10Cは、本発明の一実施形態による基準ターゲット1020Aの他の例を
示す図である。一態様では、基準ターゲット1020Aにより、ターゲットから
発せられる向き依存の放射の示差測定が簡単に実行でき、ターゲット回転134
および136の正確な測定を行える。他の態様では、ターゲットから発せられる
向き依存の放射の近距離場示差測定により、ターゲットとカメラとの間の距離を
正確に測定できる。
【0219】 図10Cは、図8の基準ターゲット120Aと同様に、ターゲット1020A
は幾何中心140を持ち、4つの基準マーク124A〜124Dを含むことがで
きる。ただし、図8に示されているターゲット120Aと異なり、ターゲット1
020Aは4つのODR 1022A〜1022Dを含み、これは、ターゲット
120AのODR 122Aおよび122Bと同様に構築できる(これについて
は、「詳細な説明」のセクションG2およびJで詳述している)。図10Cの実
施形態では、ODRの第1のペアは、ODR 1022Aおよび1022Bを含
み、これらは互いに平行で、xt軸138に本質的に平行になるようにそれぞれ
配置されている。ODRの第2のペアは、ODR 1022Cおよび1022D
を含み、互いに平行であり、それぞれyt軸132に本質的に平行になるように
配置されている。したがって、この実施形態では、第1のペアのODR 102
2Aおよび1022Bのそれぞれはヨー回転136の決定を容易にする向き依存
の放射を発するが、第2のペアのODR 1022Cおよび1022Dはピッチ
角度134の決定を容易にする向き依存の放射を発する。
【0220】 一実施形態によれば、図10Cに示されているODRの直交するペアのそれぞ
れのODRが構築され、そのペアの一方のODRが、ペアの他方のODRの類似
の検出可能な特性と反対に変化する少なくとも1つの検出可能な特性を持つよう
に配列される。この現象は、図8に関して上述した、二次軸を中心とするODR
の回転によりODRの一次軸または縦方向の軸に沿って移動する1つまたは複数
の放射スポットの形となっている各ODRから発せられた向き依存放射の例を使
用して説明できる。
【0221】 この例を使用すると、一実施形態により、図10Cで与えられたペアのODR
に示されている反対方向の矢印により示されているように、ヨー回転136が与
えられると、ODR 1022Aの放射スポット1026Aの位置がODR 1
022Aの縦方向の軸に沿って左に移動するが、同じヨー回転により、ODR
1022Bの放射スポット1026Bの位置がODR 1022Bの縦軸に沿っ
て左に移動する。同様に、図10Cに示されているように、与えられたピッチ回
転134により、ODR 1022Cの放射スポット1026Cの位置がODR
1022Cの縦軸に沿って上に移動するが、同じピッチ回転により、ODR
1022Dの放射スポット1026Dの位置はODR 1022Dの縦軸に沿っ
て下へ移動する。
【0222】 このような形で、本発明による様々な画像処理方法(たとえば、以下のセクシ
ョンHおよびLで説明しているような)を使用すると、与えられたヨー回転につ
いて放射スポット1026Aと1026Bの間の位置の示差変化および与えられ
たピッチ回転について放射スポット1026Cと1026Dの間の示差変化を観
察して、基準ターゲット1020Aのピッチおよびヨー回転(したがって、カメ
ラ・ベアリング)に関係する情報を取得できる。ただし、示差測定に関係する本
発明のこの実施形態は放射スポットを使用する前記の例に限られず、ODRの他
の検出可能な特性(たとえば、空間的周期、波長、分極、様々な空間的パターン
など)を利用して様々な示差効果を得られることは理解されるであろう。各OD
Rが構築され、示差効果の測定が簡単になるように配列されているODRペアの
詳細な例ついては、「詳細な説明」のセクションG2およびJで説明している。
【0223】 G2.向き依存放射源(ODR)の例 上述のように、本発明の一実施形態によれば、向き依存放射源(ODR)は、
重要なシーン内の基準物体として使用することができる(たとえば、図8に示さ
れている基準ターゲット120A内のODR 122Aおよび122Bによる例
)。一般に、ODRは、ODRの回転(またはそれとは別に「視角」)の関数と
して変化する(ODRの画像から検出できる)少なくとも1つの検出可能な特性
を持つ放射を発する。一実施形態では、ODRはさらに、ODRからの観測距離
(たとえば、ODRと、ODRの画像を取得するカメラとの距離)の関数として
変化する少なくとも1つの検出可能な特性を持つ放射を発することができる。
【0224】 本発明の一実施形態によるODRの特定の例については、図8に示されている
ODR 122Aに関して以下で説明する。ただし、ODRに関係する概念の以
下の説明は、同様に、たとえば、図8に示されているODR 122Bに当ては
まるだけでなく、本発明の様々な実施形態で一般に採用しているODRにも当て
はまることは理解されるであろう。
【0225】 上述のように、図8に示されているODR 122Aは、観測面128Aから
向き依存の放射126Aを発する。一実施形態によれば、観測面128Aは、基
準ターゲット120Aの前面121と本質的に平行である。さらに、一実施形態
によれば、ODR 122Aは、向き依存の放射126AがODR 122Aを
通る二次軸132を中心とするODR 122Aの回転の関数として変化する少
なくとも1つの検出可能な特性を持つように構築され配列されている。
【0226】 本実施形態の一態様によれば、回転とともに変化する向き依存の放射126A
の検出可能な特性はODR 122Aの一次軸130にそった観測面128A上
の放射の空間的分布の位置を含む。たとえば、図8は、この態様によれば、OD
R 122Aが二次軸132を中心に回転するときに、放射126Aの空間的分
布の位置が、一次軸130に平行な方向で回転方向に応じて左から右へ、または
その逆の方向に移動する(観測面128A上に概略が示されている反対向きの矢
印で示されるように)。本実施形態の他の様々な態様によれば、向き依存の放射
126Aの空間的周期(たとえば、図8に示されている隣接する卵形放射スポッ
ト間の距離)、向き依存の放射126Aの分極、および/または向き依存の放射
126Aの波長は、二次軸132を中心とするODR 122Aの回転とともに
変化することができる。
【0227】 図11A、図11B、および図11Cは、本発明の一実施形態による、図8に
示されている基準ターゲット120Aで使用するのに適しているODR 122
Aの特定の例の様々な面を示す図である。上述のように、図11A〜Cに示され
ているのと似たODRも、図8、さらに本発明の他の様々な実施形態に示されて
いる基準ターゲット120AのODR 122Bとして使用することもできる。
一態様では、図11A〜Cに示されているODR 122Aは、引用により本発
明に取り込まれている、「Orientation Dependent Re
flector」という名称の米国特許第5936723号で説明しているよう
に構築し、配列するか、またはこの関連文書で説明しているのと似た方法で構築
し配列できる。他の態様では、ODR 122Aは、引用により本発明にも取り
込まれている、「Orientation−Dependent Radiat
ion Source」という名称の1999年5月24日出願の米国特許出願
第09/317052号で説明しているように構築し、配列するか、またはこの
関連文書で説明しているのと似た方法で構築し配列できる。図11A−Cに示さ
れているのと似たODRの詳細な数学的および幾何学的分析および説明は、「詳
細な説明」のセクションJにある。
【0228】 図11Aは、観測面128Aを通常の視角から(つまり、観測面に対し垂直に
)見たODR 122Aの正面図であり、一次軸130は水平に示されている。
図11Bは、図11Aに示されているODR 122Aの一部の拡大正面図であ
り、図11CはODR 122Aの上面図である。本開示の目的のために、OD
Rの通常の視角は、別に、0度の回転とみなすことができる。
【0229】 図11Aから11Cは、一実施形態により、ODR 122Aが第1の回折格
子142と第2の回折格子144を備えることを示している。第1と第2の回折
格子はそれぞれ、実質的に透明な領域で分けられた実質的に不透明な領域を含む
。たとえば、図11Cを参照すると、第1の回折格子142は、開口部または実
質的に透明な領域228で隔てられている実質的に不透明な領域226(一般に
、図11A〜11Cでドットで埋められた領域として示されている)を含む。同
様に、第2の回折格子144は、開口部または実質的に透明な領域230で隔て
られている実質的に不透明な領域220(一般に、図11A〜11Cで縦線によ
り陰影が付けらた領域で示されている)を含む。各回折格子の不透明領域は、特
定の波長範囲の放射を少なくとも一部吸収するか、または完全には透過しない様
々な材質のものとすることができる。図11A〜11Cに示されている回折格子
142および144に対するそれぞれの不透明領域および透明領域の特定の相対
的配列および間隔は説明のためにのみ定めており、本発明の様々な実施形態によ
り多数の配列および間隔が可能であることは理解されるであろう。
【0230】 一実施形態では、図11A〜11Cに示されているODR 122Aの第1の
回折格子142および第2の回折格子144は、厚さ147の実質的に透明な基
板146を介して互いに結合されている。本実施形態の一態様では、従来の半導
体加工手法を使用してODR 122Aを加工することができ、第1および第2
の回折格子をそれぞれ、実質的に透明な基板146の反対側に配置したパターン
印刷した薄膜(たとえば、1つまたは複数の適切な波長の放射を少なくとも一部
は吸収する材質のもの)で形成する。他の態様では、固形物に印刷する従来の手
法を使用して、基板146に第1と第2の回折格子を印刷できる。特に、一実施
形態では、図11A〜11Cに示されているODR 122Aの基板146はO
DRを含む図8の基準ターゲット120Aの基板133と一致する(つまり同じ
である)ことは理解されるであろう。本実施形態の一態様では、第1の回折格子
142をターゲット基板133の片側(たとえば、前面121)に結合(たとえ
ば、印刷)し、第2の回折格子144を基板133の他の側(たとえば、図10
に示されている後面127)に結合(たとえば、印刷)できる。ただし、本発明
はこの点に限られず、本発明の目的にかなった他の加工手法および配列も可能で
あることは理解されるであろう。
【0231】 図11A〜11Cからわかるように、一実施形態によれば、ODR 122A
の第1の回折格子142では本質的に、観測面128Aを定める。したがって、
この実施形態では、第1の回折格子を「前」回折格子と呼び、第2の回折格子を
ODRの「後」回折格子と呼ぶことができる。さらに、一実施形態によれば、第
1と第2の回折格子142および144は、それぞれ異なる空間周波数(たとえ
ば、サイクル/メートル)を持つ、つまり、実質的に不透明な領域および一方の
回折格子の実質的に透明な領域の一方または両方が他方の回折格子の対応する領
域と異なる寸法をとりえるということである。透明基板146の回折格子の異な
る空間周波数と厚さ147により、ODR 122Aの放射透過特性は、図11
Aに示されている軸132を中心とするODRの特定の回転136に左右される
(つまり、観測面128Aの法線に関するODRの特定の視角)。
【0232】 たとえば、図11Aを参照すると、0度の回転(つまり、通常の視角)のとき
に、図内に例として示されている回折格子の特定の配列が与えられたとすると、
放射は本質的に、ODR 122Aの中心部分でブロックされるが、ODRは、
図11Aにおいて回折格子間の透明領域で示されているように、中心部分から遠
ざかるにつれ透過性を徐々に増す。ただし、ODR 122Aが軸132を中心
に回転するときに、観測面128Aに現れるときの透明領域の位置は変化する。
この現象は、図12Aと12Bを見ながら説明することができ、「詳細な説明」
のセクションJで詳述されている。図12Aおよび12Bは両方とも、図11C
に示されているのと似た、ODR 122Aの一部の上面図である。
【0233】 図12Aでは、ODR 122Aの中心領域150(たとえば、観測面128
Aの基準点125Aまたはその付近にある)は5つの位置A、B、C、D、およ
びEで表される、観測面128Aの法線に関する5つの異なる視角から見たもの
である(軸132を中心とするODRの5つの異なる回転136にそれぞれ対応
し、図の平面に直交する中心領域150を通る)。図12Aの位置AおよびBか
ら、中心領域150の付近の観測面128A上の「暗い」領域(つまり、放射が
ない領域)が観察される。特に、点Aから中心領域150を通る光線は、第1の
回折格子142および第2の回折格子144の両方の不透明領域で交差する。同
様に、点Bから中心領域150を通る光線は、第1の回折格子142の透明領域
で交差するが、第2の回折格子144の不透明領域で交差する。したがって、視
点位置AおよびBの両方で、放射はODR 122Aによりブロックされる。
【0234】 対照的に、図12Aの位置CおよびDから、中心領域150の付近の観測面1
28A上の「明るい」領域(つまり、放射がある領域)が観察される。特に、そ
れぞれの視点位置CおよびDから出る光線は両方とも、中心領域150を通過す
るが、回折格子142および144のいずれの不透明領域とも交差しない。ただ
し、位置Eから、比較的「明るさ」の少ない領域は中心領域150の付近の観測
面128A上に観察され、より具体的には、位置Eから中心領域150を通る光
線は、第1の回折格子142の透明領域を通過するが、第2の回折格子144の
不透明領域と正確に交差し、それにより一部の放射が部分的に隠される。
【0235】 図12Bは、特定の視角(つまり、回転)である距離(つまり、遠距離場観測
)からODR 122Aを観測することに対応する、複数の平行な放射を示す図
12Aに似た図である。特に、観測面128Aの点AA、BB、CC、DD、お
よびEEは観測面128Aの特定の視角でそれぞれの遠距離場平行光線が交差す
る点に対応している。図12Bから、表面の点AAおよびCCは、これらの点を
通過するそれぞれの平行な光線が第1の回折格子142および第2の回折格子1
44の両方の透明領域と交差するときに、遠距離場においてこの視角で「明るく
」照らされる(つまり、より強い放射が存在する)。対照的に、観測面128A
の点BBおよびEEは、これらの点を通過する光線が第2の回折格子144の不
透明領域とそれぞれ交差するときに、この視角で「暗く」表示される(つまり、
放射がない)。観測面128Aの点DDは、点DDを通過する光線が第2の回折
格子144の不透明領域とほとんど交差するため、遠距離場で観察されるように
この視角で「ぼんやりと」した照明で表示される。
【0236】 したがって、図12Aと図12Bの両方に関しての前記の説明から、向き依存
の放射源122Aの観測面128A上のそれぞれの点は、ある視角からは「明る
く」照らされて表示され、他の視角からは「暗く」表示されることは理解できる
であろう。
【0237】 一実施形態によれば、第1と第2の回折格子142および144のそれぞれの
不透明領域は本質的に矩形である。この実施形態では、ODR 122Aの観測
面128Aで観察された向き依存の放射126Aの空間的分布は、2つの方形波
の積と理解できる。特に、第1と第2の回折格子の相対的配列および異なる空間
周波数から、「モアレ」パターンが観測面128A上に生じ、これは、二次軸1
32を中心にODR 122Aを回転したときに観測面128A上を横切る。モ
アレ・パターンは、2つの類似した反復パターンがほとんど同じであるが、全く
同じではない周波数であるときに発生する干渉パターンの一種であり、本発明の
一実施形態によるODR 122Aの第1と第2の回折格子の場合である。
【0238】 図13A、13B、13C、および13Dは、特定の回転(たとえば、0度、
または通常の視角)でのODR 122Aの透過特性の様々なグラフを示す。図
13A〜13Dでは、相対的放射透過レベルが各グラフの縦軸に示されるが、O
DR 122Aの一次軸130に沿った距離(単位はメートル)は各グラフの横
軸で表される。特に、ODR基準点125Aは、各グラフの横軸に沿ってx=0
のところに示される。
【0239】 図13Aのグラフは、放射透過の2つのプロットを示しており、それぞれのプ
ロットは、回折格子を単独で使用した場合にODR 122Aの2つの回折格子
のいずれか一方の透過に対応する。特に、図13Aのグラフの凡例は、「前」回
折格子を通る放射透過は実線(この例では、第1の回折格子142に対応する)
で表され、「後」回折格子を通る放射透過は波線(この例では第2の回折格子1
44に対応する)で表されることを示している。図13Aの例では、第1の回折
格子142(つまり、前回折格子)は空間周波数が500サイクル/メートルで
、第2の回折格子144(つまり、後回折格子)は空間周波数が525サイクル
/メートルである。ただし、本発明はこの点に限られず、回折格子のこれらのそ
れぞれの空間周波数がここでは説明のためにのみ使用されていることは理解され
るであろう。特に、前回折格子および後回折格子の周波数の様々な関係を利用し
て、「詳細な説明」のこのセクションおよびセクションJで後述するようにOD
Rからの近距離場および/または示差効果を得ることができる。
【0240】 図13Bのグラフは、図13Aに示されている特定の回転での2つの回折格子
の組み合わせ効果を表している。特に、図13Bのグラフは、ODR基準点12
5Aから±0.01メートルの距離にわたりODRの一次軸130に沿って第1
および第2の回折格子の組み合わせ透過特性のプロット126A’を示している
。プロット126A’は、本質的に2つの方形波の積とみなすことができ、それ
ぞれの方形波はODRの第1と第2の回折格子のうちのいずれかを表す。
【0241】 図13Cのグラフは、図13Aおよび図13Bのグラフよりも広い横方向の尺
度を使用するプロット126A’を示す。特に、図13Aおよび図13Bのグラ
フは、ODR基準点125Aから±0.01メートルの一次軸130に沿った横
方向距離にわたる放射透過特性を示しているが、図13Cのグラフは、基準点1
25Aから±0.05メートルの横方向距離にわたる放射透過特性を示している
。図13Cの広い横方向の尺度を使用すると、ODR 122A(図13Aのグ
ラフに示されている)の第1(前)と第2(後)の空間周波数が異なるためモア
レ・パターンの生成が容易に観察される。図13Cに示されているモアレ・パタ
ーンは、いくぶん、パルス幅変調信号に関係しているが、モアレ・パターンを較
正する個々の矩形の「パルス」の境界も中心も完全には周期的でないという点で
このような信号と異なる。
【0242】 図13Dのグラフでは、図13Cのグラフに示されているモアレ・パターンは
、ローパス・フィルタに通され(たとえば、「詳細な説明」のセクションJで説
明しているような、約200サイクル/メートルの−3dB周波数のガウシアン
による畳込みを使用する)、ODR 122Aの観測面128Aに最終的に観察
される向き依存の放射126Aの空間的分布(つまり、本質的に三角波の波形)
を示している。フィルタに通されたモアレ・パターンから、観測面への放射の高
い集中度が図13Dのグラフに3つのピーク152A、152B、および152
Cとして現れており、これは、観測面128Aで検出可能な放射の3つの「重心
」により記号的に表すことができる(図8の例について3つの卵形放射スポット
で示されている)。図13Dに示されているように、放射126Aを表す三角波
の周期154は約0.04メートルで、約25サイクル/メートルの空間周波数
に対応する(つまり、それぞれの前回折格子周波数と後回折格子周波数との差)
【0243】 図13A〜13Dからわかるように、ODR 122Aの興味深い属性の1つ
に、観測された放射126A内の透過ピークは回折格子142および144の一
方または両方の不透明領域に対応する観測面128Aのある場所に生じる可能性
がある。たとえば、図13Bおよび13Cを参照すると、フィルタに通していな
いモアレ・パターン126A’は、x=0で透過が0であることを示しているが
、図13Dに示されているフィルタに通されたモアレ・パターン126Aは、x
=0で透過ピーク152Bを示している。この現象は、主にフィルタ処理の結果
であり、特に、それぞれの回折格子に対応する信号126A’の高周波成分は、
信号126Aからほとんど除去され、後には、多数の回折格子を通して伝送され
た放射の累積効果に対応する全体的な放射密度が残る。しかし、フィルタ処理さ
れた信号126Aであっても、高周波成分の何らかの結果は観察できる(たとえ
ば、図13D内の三角波にそった小さなトラフやリップル)。
【0244】 さらに、ODR 122Aを見るために採用されている観測デバイスのフィル
タ処理特性(つまり、分解能)により、デバイスで実際に観測される放射信号の
種類を決定できることは理解されるであろう。たとえば、ピントのあっている、
または高分解能のカメラは、図13Cに示されているものに近い特徴を持つ放射
パターンを区別し記録できる場合がある。このような場合、記録された画像は、
上述のようにフィルタに通され、図13Dに示されている信号126Aを取得で
きる。対照的に、いくぶんピントが外れたまたは低分解能のカメラ(または人間
の目)の場合、フィルタ処理なしで、図13Dに示されているものに近い向き依
存の放射の画像を観測できる。
【0245】 図11A、12A、および12Bを再び参照すると、ODR 122Aは二次
軸132を中心に回転するので、第1と第2の回折格子の位置は、観測者の視点
から互いに関してシフトできる。そのため、図13Dに示されている観測された
向き依存の放射126Aのピーク152A〜152Cのそれぞれの位置は、OD
Rの回転とともに、一次軸130に沿って左または右に移動する。したがって、
一実施形態では、ODR 122Aの向き(つまり、二次軸132を中心とする
特定の回転角度)は、フィルタに通されたモアレ・パターンの1つまたは複数の
それぞれの放射ピーク152A〜152Cの観測面128Aに沿ったそれぞれの
位置に関係している。放射ピーク152A〜152Cの特定の位置が特定の「基
準」回転または視角(たとえば、0度、または通常の視点)でODR基準点12
5Aに関して先験的に知られている場合、ODRの任意の回転は、基準視角での
ピークの位置に関するピークの位置変位を観測することにより(または、それと
は別に、ODRの回転とともに基準点125Aでの三角波の位相変位を観測する
ことにより)決定できる。
【0246】 図11A、11C、12A、および12Bを参照すると、軸130にそったO
DR 122Aの横方向の長さともとに、第1の回折格子142および第2の回
折格子144の相対的空間周波数は、図13Dに示されている向き依存の放射1
26Aの空間的分布内のピークの異なる数(3以外)が、ODRの様々な回転で
の観測面で確認できるように選択できる。特に、ODR 122Aは、放射ピー
クが1つだけ任意の与えられた回転観測面128A上で検出可能であるか、また
は複数のピークを検出可能なように構築し、配列できる。
【0247】 さらに、一実施形態によれば、第1の回折格子142および第2の回折格子1
44の空間周波数は、それぞれ、特に、二次軸を中心とする回転がある向き依存
の放射の空間的分布の位置の変化に関してODRの一次軸に沿って特定の方向が
得られるように選択できる。たとえば、前回折格子周波数よりも高い後回折格子
周波数だと、回転するときの位置の変化について第1の方向を規定し、前回折格
子周波数よりも低い後回折格子周波数だと、回転するときの位置の変化について
第1の方向に反対の第2の方向を示す。この効果は、同じ回転を持つ位置の変化
に合わせて向かい合う方向となるように構築し配列したODRのペアを使用して
利用し、上述のように、図10Cについて、「詳細な説明」のセクションG1で
説明しているように、示差測定の実行が簡単になる。
【0248】 したがって、ODRの前記の説明は、説明のみのためであり、本発明は特定の
実装方法や、上述のようなODRの使用には限られないことは理解されるであろ
う。回折格子周波数およびODRのその他の物理的特性の特定の選択から得られ
る様々な効果については、「詳細な説明」のセクションJで詳述する。
【0249】 他の実施形態によれば、ODRはさらに、ODRが観測される観測距離(たと
えば、ODR基準点とODRの画像を取得するカメラの原点との距離)を簡単に
決定できる少なくとも1つの検出可能な特性を持つ放射を発するように構築し配
列することができる。たとえば、本実施形態の一態様によれば、図9に示されて
いる基準ターゲット120Aに似た基準ターゲットで採用されているODRは、
カメラ・ベアリング・ベクトル78の長さを簡単に決定できるように構築し配列
することができる。より具体的には、一実施形態によれば、図11A〜11C、
12A、12Bに示されているODR 122Aおよび図13Dに示されている
放射透過特性を参照すると、向き依存の放射126Aの周期154は、ODRが
観測される特定の回転でのODRの観測面128Aからの距離の関数として変化
する。
【0250】 本実施形態では、ODR 122Aの近距離場効果を利用して、ODRに関係
する距離情報に関する観察を行う。特に、遠距離場観測についてはODRから発
せられる放射を本質的平行な光線として概要的に表すことができる距離からOD
Rを観測するものとして上で図12Bに関して説明したが、近距離場観測幾何で
はその代わりに、ODRから発せられる放射が観測点(たとえば、カメラ・レン
ズ系のカメラ原点、またはノード点)に収束する非平行光線でより適切に表され
る距離からODRを観測することを意味する。近距離場観測幾何の一効果では、
ODRの回転とODRを観測する距離に基づいて、ODRの後回折格子の見かけ
の周波数を変更する。したがって、後回折格子の見かけの周波数の変化は、放射
126Aの周期154の変化として観測される。ODRの回転が知られている場
合(たとえば、上述のような遠距離場効果に基づいて)、観測距離は、周期15
4の変化から決定できる。
【0251】 ODR 122Aの遠距離場および近距離場の両方の効果、さらにODRのペ
アからの遠距離場および近距離場の両方の示差効果については、「詳細な説明」
のセクションJおよび付属する図で詳細に分析している。ODR 122Aの近
距離場効果を利用するように特に設計されている基準ターゲット例については、
図10Bに関して「詳細な説明」のセクションG1で説明している。ODRのペ
アからの示差効果を利用するように特に設計されている基準ターゲット例につい
ては、図10Cに関して「詳細な説明」のセクションG1で説明している。シー
ンの画像内の1つまたは複数のODRの遠距離場および近距離場の両方の特性を
検出するための検出方法例については、「詳細な説明」のセクションJおよびL
、関連する図で詳述している。
【0252】 G3.基準マーク例およびそのようなマークを検出する方法例 上述のように、1つまたは複数の基準マークを重要なシーン内に、基準情報が
先験的に知られている基準物体として含めることができる。たとえば、「詳細な
説明」のセクションG1で説明したように、図8に示されている基準ターゲット
120Aは、図8の例について基準ターゲット上で相対的空間的位置が知られて
いる4つのアスタリスクとして示されている多数の基準マーク124A〜124
Dを含むことができる。図8はアスタリスクを基準マークとして示すが、多数の
異なる種類の基準マークが後述のように様々な実施形態による本発明の目的に適
していることは理解されるであろう。
【0253】 前記を鑑みて、本発明の一実施形態は、マークを含む画像内のそのマークを手
動でまたは自動的に簡単に識別できる少なくとも1つの検出可能な特性を持つ基
準マーク(または、より一般的には、「ランドマーク」、これ以降「マーク」呼
ぶ)を対象とする。このようなマークの検出可能な特性の例としては、マークの
形状(たとえば、特定のポリゴン形式または周辺形状)、特定の多数の特徴およ
び/または特徴の固有のシーケンシャルな順序付けを含む空間的パターン(たと
えば、所与の方法で特徴を繰り返したマーク)、特定のカラー・パターン、また
は前記特性の組み合わせまたは部分集合などがあるが、これらに限定されない。
【0254】 特に、本発明の一実施形態は、一般に、マシン・ビジョンのための堅牢なラン
ドマーク(および、さらに具体的には、画像測定応用例の文脈では堅牢な基準マ
ーク)およびそのようなマークを検出する方法を対象とする。本開示の目的のた
めに、「堅牢な」マークとは一般に、視角、様々なカメラ設定、異なる照明条件
などの関数として変化しない1つまたは複数の検出可能な特性が画像にある物体
を指す。特に、本実施形態の一態様によれば、堅牢なマークの画像には、尺度ま
たは傾斜に関して不変性がある、つまり、堅牢なマークは画像内に現れるときの
マークのサイズおよび/またはマークを含むシーンの画像が取得されるときのカ
メラに関するマーク(つまり、マークの視角)の向き(回転)および位置(平行
移動)の関数として変化しない画像内の1つまたは複数の検出可能な固有の特性
を持つ。他の態様では、堅牢なマークは、画像内で比較的簡単に検出でき、与え
られたシーンで偶然発生することはありえず、異なる種類の一般的な画像内容の
影響を比較的受けない1つまたは複数の不変な特性を持つことが好ましい。これ
らの特性により、一般に、様々な画像処理条件のもとでマークの自動識別が容易
になる。
【0255】 従来のマシン・ビジョン手法を使用して画像内のマークを自動検出するという
比較的直接的なシナリオ例では、画像を取得するカメラに関するマークの位置お
よび向きは、それほど正確でないとしても少なくとも近似的には知られている場
合がある。したがって、このシナリオでは、マークが画像内で最終的にとる形状
(たとえば、画像内のマークの輪郭)も知られている。ただし、マークのこの位
置および向き、または視角が画像の取得時に知られていない場合、画像内に現れ
るときのマークの正確な形状も未知であり、この形状は通常、視角とともに変化
する(たとえば、上述のように、特定の観測点から、円の輪郭は円が回転して平
面から外れると楕円になり、斜めに見える)。一般に、従来のマシン・ビジョン
手法に関して、(たとえば、マークの画像の取得時の未知の視角による)検出す
るマークと関連する未知のパラメータまたは特性の個数はマークの検出に使用さ
れる手法の複雑さに大きく影響することは理解されるであろう。
【0256】 従来のマシン・ビジョンはよく発達した技術であり、ランドマーク検出問題に
は、いくつかの知られ実践されている従来の解決策がある。たとえば、従来の「
統計的」アルゴリズムは、画像内の領域について測定される一組の特性(たとえ
ば、領域、周囲、第1および第2のモーメント、偏心、ピクセル密度など)に基
づく。画像内の様々な領域の測定した特性をマークの存在を識別するこれらの特
性について所与の値と比較し、よく一致するものを探す。それとは別に、従来の
「テンプレート・マッチング」アルゴリズムでは、マークのテンプレートを記憶
媒体(たとえば、図6に示されているプロセッサ36のメモリ)に格納し、画像
の様々な領域を検索して、格納されているテンプレートとの一致を探す。通常、
このようなアルゴリズムの計算コストはきわめて高い。特に、画像の各領域と比
較しカメラに関してマークの視角が場合によっては異なる(したがって、画像内
に現れるときのマークの潜在的に異なる形状が多数ある)原因を調べるために多
数の異なるテンプレートを格納する必要がある。
【0257】 従来のマシン・ビジョン・アルゴルズムのさらに他の例ではハフ変換を採用し
ており、これは本質的に画像−空間から空間−空間へのマッピングを記述してい
る。ハフ変換を採用するアルゴリズムでは、空間−空間の「次元性」は、画像内
に現れる可能性があるときにマークの可能なすべての形状を記述するために必要
なパラメータの数で与えられる(たとえば、カメラに関してマークの様々可能な
視角を説明する)。一般に、ハフ変換法は、テンプレート・マッチング・アルゴ
リズムに比べて、計算量がいくぶん少なくて済む。
【0258】 従来のマシン・ビジョン検出アルゴリズムの前記の例は、一般に、画像の非常
に小さい領域で動作するのか(「点」アルゴリズム)、直線または曲線に沿って
画像の一部のスキャンを行うのか(「開曲線」アルゴリズム)、または画像の大
きな領域を評価するのか(「領域」アルゴリズム)に基づいて分類できる。一般
に、与えられた検出アルゴリズムで評価されるデジタル画像のピクセルが多いほ
ど、画像内のノイズに対する結果の堅牢性が増し(背景内容)、特に、アルゴリ
ズムが作用するピクセルの数が多いほど、偽陽性(つまり、マークの間違った識
別)を却下する際に効率が高まる。
【0259】 たとえば、「点」アルゴリズムは一般に、画像内の点の様々な特性を検出する
エッジ・オペレータを伴う。デジタル画像のピクセルの離散的性質のせいで、通
常、点アルゴリズムは9個のピクセルを含む小さな領域に作用する(たとえば、
3ピクセル×3ピクセルの領域)。これらのアルゴリズムでは、ハフ変換は、エ
ッジ・オペレータで検出されるピクセルに適用されることが多い。それとは別に
、「開曲線」アルゴリズムでは、2つの端点を持つ直線または曲線に沿って画像
の1次元領域をスキャンする。これらのアルゴリズムでは、一般に、評価するた
めにグループ化するピクセルの数が多く、したがって、点アルゴリズムよりも堅
牢性が高まる(計算コストがかかるとしても)。開曲線アルゴリズムの一例では
、ハフ変換を使用して、スキャンした直線または曲線上にある点を形状空間にマ
ッピングできる。テンプレート・マッチング・アルゴリズムおよび統計的アルゴ
リズムは、「領域」アルゴリズムの例であり、様々なサイズの画像領域(たとえ
ば、30ピクセル×30ピクセルの領域)を評価している。一般に、領域アルゴ
リズムは、点または曲線アルゴリズムに比べて計算コストが高い。
【0260】 前記の従来のアルゴリズムはそれぞれ、画像内で検索するマークの尺度および
向きが先験的に知られていない場合にある程度影響を受ける。たとえば、統計的
アルゴリズムは、マークの特性(つまり、画像内に現れるときのマークの可能な
形状を記述するパラメータ)が視角、カメラおよびマークの相対的位置、カメラ
設定などとともに変化する。特に、マークの各特性に対し許容する必要のある範
囲が大きいほど、アルゴリズムで検出される偽陽性の潜在的個数が大きい。逆に
、許容範囲が、たとえばマークの平行移動および/または回転のせいでマーク特
性のバリエーションに対応できるほど大きくない場合、過剰な偽陰性が生じるこ
とがある。さらに、マークの未知の特性の数が増えると、テンプレート・マッチ
ング・アルゴリズムおよびハフ変換を採用しているアルゴリズムが解決困難にな
る(つまり、次元が検索に加わるとテストする必要のあるケースの数が劇的に増
大する場合がある)。
【0261】 上述のものなど従来のマシン・ビジョン手法で直面しがちな問題のうちのいく
つかは、一般にテンプレート・マッチング・アルゴリズムを介して画像内で検出
する特徴の例として円を使用して説明できる。円のマークに関して、円と、円の
画像を取得するカメラの間の距離が知られていて、平面はずれの回転がない場合
(たとえば、カメラの光軸が円の平面に直交する)、円を画像内に置くには、2
つの未知のパラメータ、つまり円の中心のx座標とy座標を解決する必要がある
(ただし、x軸とy軸により円の平面が定義される)。たとえば、従来のテンプ
レート・マッチング・アルゴリズムで画像内の100個のテスト点での各xおよ
びy次元をテストすることによりこのような円を検索する場合、円の中心のx座
標とy座標を決定するのに10,000(つまり1002)個のテスト条件が必
要である。
【0262】 ただし、円のマークとカメラの間の距離が未知である場合、3つの未知のパラ
メータ、つまり、円の中心のxおよびy座標と円の半径rがマークと関連付けら
れ、円とカメラの間の距離に応じて画像内で変化する。したがって、従来のテン
プレート・マッチング・アルゴリズムは、3次元空間(x、y、およびr)を検
索し、円を特定し識別する必要がある。これらの寸法がそれぞれこのようなアル
ゴリズムにより100点でテストされる場合、100万(つまり、1003)個
のテスト条件が必要である。
【0263】 上述のように、マークがカメラに関して任意に向き付けられ、位置付けられた
場合(つまり、通常の視点でマークの平面を定義する2本の軸のうち一方または
両方を中心にマークを回転して「平面はずれ」にしマークが斜めに見えるように
する)、マークを見つけるという課題は指数関数的に増大する。一般に、2つの
平面はずれ回転が可能である(つまり、ピッチとヨーであり、平面内回転がロー
ルを定める)。上で導入した円のマークの特定の例では、1つまたは複数の平面
はずれの回転により、円のマークが楕円に変換され、楕円の長軸が未知の向きに
回転する。
【0264】 円のマークのこのような平面はずれの回転または斜めの視角である1つの帰結
として、従来のテンプレート・マッチング・アルゴリズム(さらにたとえば、ハ
フ変換を採用するアルゴリズム)で検索する必要のある次元の数を5つの次元、
つまり、円の中心のxおよびy座標、回転する円の楕円画像の長軸の長さ、回転
する円の楕円画像の短軸の長さ、および回転する円の楕円画像の長軸の回転に拡
大する。後の3つの次元またはパラメータは、複雑なマッピングで、円のピッチ
回転およびヨー回転、およびカメラと円との距離に対応付けられる。これら5つ
の次元のそれぞれが従来のテンプレート・マッチング・アルゴリズムにより10
0点でテストされる場合、100億(つまり、1005)個のテスト条件が必要
である。したがって、次元(つまり、マークの未知のパラメータまたは特性)を
増やした場合、従来の検出アルゴリズムではたちまち解けなくなる可能性があり
、より具体的には、現在の例では、1005個のテンプレートをテストすること
はおそらく、特に計算コストの観点から、多くの応用例で実用的でないであろう
ということが理解されよう。
【0265】 従来のマシン・ビジョン・アルゴリズムでは、多くの場合、特徴の可能な一組
の表示に対し不変である検出される特徴の特性(たとえば、回転、距離など)に
依存する。たとえば、上述の円のマークに関して、楕円として現れる特性は、少
なくとも円を斜めの視角で見ることに関して不変な特性である。ただし、楕円と
して現れるこの特性は、上述のように、検出がきわめて複雑な場合がある。
【0266】 前記を鑑みて、本発明の一態様は、上述の問題のいくつかを克服する様々な堅
牢なマークに関係する。特に、一実施形態によれば、堅牢なマークは、本質的に
、画像内容に関係なく(つまり、様々な任意の内容を持つマークが画像内で検出
可能である)、またカメラに関するマークの位置および/または向き(つまり、
視角)に関係なく、画像内のマークの検出を著しく容易にする1つまたは複数の
検出可能な特性を持つ。さらに、他の態様によれば、様々な画像処理条件および
内容があり得るとすると、このようなマークは画像内に現れるときにマークのサ
イズの関数として変化せず、また画像内で偶然発生することが非常にまれな1つ
または複数の検出可能な特性を持つ。
【0267】 本発明の一実施形態によれば、堅牢なマークの1つまたは複数の平行移動およ
び/または回転不変なトポロジー特性を特に利用することで、画像内のマークの
検出が容易になる。本発明の他の実施形態によれば、スキャンした領域がマーク
を含む場合、スキャン経路がマーク領域内に収まるように、画像内に現れるとき
に領域面積がマークのマーク面積(つまり、空間範囲)以下である画像の領域を
横断するスキャン経路(たとえば、開直線または曲線)に沿って画像の少なくと
も一部をスキャンすることにより画像内にマークが存在するか(存在しないか)
どうかを検出する検出アルゴリズムを採用することにより、このような特性を利
用する。本実施形態では、画像の異なる領域の一連の連続スキャンのこのような
少なくとも1つのスキャン経路がマークを横断し、画像内に現れるときにマーク
の空間的範囲(つまり、マーク領域)内に収まるように画像の全部または一部を
スキャンすることができる。
【0268】 本発明の他の実施形態によれば、本質的に閉経路内の画像の少なくとも一部を
スキャンすることにより画像内にマークが存在するか(または存在しないか)ど
うかを検出する検出アルゴリズムを使用することにより堅牢なマークの1つまた
は複数の平行移動および/または回転不変なトポロジー特性を利用する。本開示
の目的のために、本質的に閉じた経路とは、互いに一致するか、または互いに十
分に近く、経路自体に沿って横断する距離に関して経路の始点と終点の間の直線
的距離が重要でないような始点および終点を持つ経路のことである。たとえば、
本実施形態の一態様によれば、本質的に閉じた経路は様々なアーチ形または螺旋
状の形を取りうる(たとえば、増加または減少する距離で固定点の周りに連続的
に巻き付く任意の曲線を含む)。さらに他の態様では、本質的に閉じた経路は楕
円または円の経路とすることができる。
【0269】 本実施形態のさらに他の態様では、開直線または曲線スキャンを採用する本発
明の方法に関して上述したように、画像内に現れるときに領域面積がマークのマ
ーク面積以下(すなわち、空間的範囲内)の画像の領域を横断するように、本質
的に閉じた経路を選択する。この態様では、画像の異なる領域の一連の連続スキ
ャンのこのような少なくとも1つの本質的に閉じた経路がマークを横断し、画像
内に現れるときにマークの空間的範囲内に収まるように画像の全部または一部を
スキャンすることができる。この態様の特定の例では、本質的に閉じた経路は円
形経路であり、円形経路の半径は、画像内に現れるときに検出されるマークの全
体的空間的範囲またはマーク面積(たとえば、中心からの半径次元)に基づいて
選択される。
【0270】 一態様では、本発明の様々な実施形態による検出アルゴリズムは、少なくとも
1つのマークを含み、記憶媒体(たとえば、図6に示されているプロセッサ36
のメモリ)に格納されるデジタル画像を分析する。この態様では、検出アルゴリ
ズムは、スキャン経路内に配置された複数のピクセルをサンプリングして格納さ
れている画像を分析する。より一般的に、検出アルゴリズムは、異なる領域ごと
にそれぞれのスキャン経路内に配置されている複数のピクセルをサンプリングす
ることにより画像の多数の異なる領域を連続してスキャンすることができる。さ
らに、いくつかの実施形態によれば、開直線または曲線さらに本質的に閉じた経
路スキャン手法を、単独でまたは組み合わせて使用して、画像をスキャンするこ
とができることは理解されるであろう。さらに、上述のように、開直線または曲
線および/または本質的に閉じた経路スキャン方法に加えて、またはそれの代わ
りに、1つまたは複数の様々な点および領域スキャン方法を使用して、本発明に
よるマークのいくつかの不変なトポロジー特性を利用できる。
【0271】 本発明の一実施形態によれば、マークが任意の画像内容を持つ画像内に存在し
、マークの別々に識別可能なそれぞれの特徴を横断する開直線または曲線または
本質的に閉じた経路に沿って画像の少なくとも一部をスキャンしたときに、マー
クは、マークの法線に関する少なくとも15度の斜めの視角で検出できるように
、マークは、互いに関して配置されている2つまたはそれ以上の別々に識別可能
な特徴を含むことができる。特に、本発明の様々な実施形態によれば、マークは
、マークの別々に識別可能な領域の数を識別できる視角(たとえば、90度未満
の角度)で検出できる。より具体的に、一実施形態によれば、マークの別々に識
別可能な特徴は、マークの法線に関して少なくとも25度の斜めの視角で検出で
きるように、互いに関して配置されている。この実施形態の一態様によれば、別
々に識別可能な特徴は、マークが少なくとも30度の斜めの視角で検出できるよ
うに、互いに関して配置されている。さらに他の態様によれば、別々に識別可能
な特徴は、マークが少なくとも45度の斜めの視角で検出できるように、互いに
関して配置されている。さらに他の態様によれば、別々に識別可能な特徴は、マ
ークが少なくとも60度の斜めの視角で検出できるように、互いに関して配置さ
れている。
【0272】 本発明の一実施形態によるマークの不変なトポロジー特性の一例として、マー
クの様々な領域または特徴の特定の順序付け、または「順序特性」がある。特に
、マークの順序特性は、マークをスキャンする特定の閉サンプリング経路が与え
られたとして、少なくともマークの視角に関して不変であるマークを構成する少
なくとも3つの別々に識別可能な領域または特徴の一義的な順序を指す。
【0273】 図14は、本発明の一実施形態による少なくとも不変な順序特性を持つマーク
308の一例である。ただし、本発明の他の実施形態による不変な順序特性およ
び他のトポロジー特性を持つマークは図14に示されている特定のマーク例30
8に限られないことは理解されるであろう。マーク308は、一般的なマーク領
域または空間的範囲309内にそれぞれ配置された3つの別々に識別可能な異な
る色を付けられた領域302(緑)、304(赤)、および306(青)を含む
。図14はさらに、マーク308が存在するかどうかについて画像の少なくとも
一部をスキャンするために使用されるスキャン経路300の一例を示している。
スキャン経路300は、マーク308を含む画像の一部をスキャンしたときにマ
ーク領域309内に入るように形成されている。スキャン経路300は図14内
に本質的円形経路として示されているが、本発明はこの点に限られず、特に、上
述のように、他の実施形態によれば、図14のスキャン経路300は、マーク3
08を含む画像の一部をスキャンするときにマーク領域309内に収まる開直線
または曲線または本質的に閉じた経路のいずれかであることは理解されるであろ
う。
【0274】 図14では、マーク308の青色領域306は、緑色領域302と赤色領域3
04の間の直線310の左にある。青色領域306はマーク308の視角(つま
り、通常または斜め)について直線310の左にあることは理解されるであろう
。一実施形態によれば、マーク308の順序特性は、時計回りまたは反時計回り
のいずれかでスキャン経路300に沿ってスキャンすることにより一義的に検出
できる。特に、経路300に沿って時計回りにスキャンすると、緑色領域は常に
青色領域の前、青色領域は常に赤色領域の前、赤色領域は常に緑色領域の前(た
とえば、緑−青−赤、青−赤−緑、または赤−緑−青)の順序になる。これと対
照的に、経路300に沿う反時計回りのスキャンでは、緑色が常に赤の前、赤色
が常に青色の前、青色が常に緑色の前の順序になる。本実施形態の一態様では、
所与の画像をスキャンするために順次使用するスキャン経路のグリッドについて
(後述)、マーク308のそれぞれの領域を通過する少なくとも1つのスキャン
経路があるようにマーク308の様々な領域を配列することができる。
【0275】 本発明の一実施形態によるマークの不変なトポロジー特性の他の例として、マ
ークの「包含特性」がある。特に、マークの包含特性は、マークを構成する多数
の別々に識別可能な領域または特徴の特定の配列を意味し、少なくとも1つの領
域または特徴が他の領域または特徴の空間的範囲内に完全に含まれる。順序特性
を持つマークと同様に、包含マークは少なくともマークの視角および尺度に関し
て特に不変である。
【0276】 図15は、本発明の一実施形態による少なくとも不変な包含特性を持つマーク
312の一例である。ただし、本発明の他の実施形態による不変な包含特性およ
び他のトポロジー特性を持つマークは図15に示されている特定のマーク例31
2に限られないことは理解されるであろう。マーク312は、マーク領域または
空間的範囲313内にそれぞれ配置された3つの別々に識別可能な異なる色を付
けられた領域314(赤)、316(青)、および318(緑)を含む。図15
に示されているように、青色領域316は赤色領域314を完全に囲み(つまり
、含み)、緑色領域318は青色領域316を完全囲み、目玉模様の多色パター
ンを形成する。図15に明示的に示されていないが、本発明による包含マークの
他の実施形態では、領域314、316、および318の境界は必ずしも円形形
状である必要がなく、また領域314、316、および318はマークの隣接す
る領域と連続している必要もない。さらに、マーク例312では異なる領域は主
に色で識別可能であるが、領域の他の属性を識別に使用できることは理解される
であろう(たとえば、陰影付けまたはグレー・スケール、テクスチャまたはピク
セル密度、対角線や波線などの異なる種類のハッチング)。
【0277】 図15に示されているマーク312などの包含特性を持つマークは、経路がマ
ークの中心に置かれたときに円形経路がマークの各領域と交差するようにするこ
とは困難である場合があるため、円形経路(つまり、図14で経路300により
示されているような)を使用して画像の一部をスキャンする検出方法に必ずしも
役立つわけではない。ただし、包含特性を持つマークについて可能な様々な全体
的な形状、さらに画像の一部をスキャンする本質的に閉じた経路または開直線ま
たは曲線経路の可能な様々な形状(たとえば、円形以外)を与えた場合に、円形
経路以外の様々なスキャン経路を採用する検出方法は、本発明のいくつかの実施
形態に従って包含マークの存在を検出するのに適している場合がある。さらに、
上述のように、点または領域手法を採用する他のスキャン方法も、包含マークの
存在の検出に適している場合がある。
【0278】 本発明の一実施形態によるマークの不変なトポロジー特性のさらに他の例とし
て、マークの領域または特徴のカウント、つまり「基数特性」がある。特に、マ
ークの基数特性は、少なくとも視角に関して不変なマークを構成する別々に識別
可能な個数Nの領域または特徴を指す。一態様では、不変な基数特性を持つマー
クの別々に識別可能な領域または特徴は、画像内に現れるときにマークの全体的
マーク領域(空間的範囲)に完全に入る開直線または曲線または本質的に閉じた
経路のいずれかでそれぞれの領域または特徴がサンプリングされるように互いに
関して配列されている。
【0279】 一般に一実施形態によれば、基数特性および順序特性の一方または両方を持つ
マークについて、マークをマークの中心を囲むスキャン経路内でスキャンしたと
きに(たとえば、アーチ状経路、螺旋経路、またはマークを中心とし半径がマー
クの半径寸法未満の円形経路)、経路がマークのそれぞれ別々に識別可能な領域
または特徴の有意な次元(たとえば、複数ピクセル)を横断するようにマークの
別々に識別可能な領域または特徴を互いに関して配置することができる。さらに
、一態様では、不変な基数および/または順序特性を持つマークの領域または特
徴のそれぞれが類似のまたは同一の幾何学的特性(たとえば、サイズ、形状)を
持つことができるが、それとは別に、さらに他の態様では、このような領域また
は特徴のうち2つまたはそれ以上が異なる区別できる特性(たとえば、異なる形
状および/またはサイズ)を持つことができる。この態様では、このようなマー
クの様々な領域または特徴の区別を利用して、情報をマークにエンコードするこ
とができる。たとえば、一実施形態によれば、「詳細な説明」のセクションIで
後述するように、他のマークと共有されない特定の固有の識別する特徴を持つマ
ークを基準ターゲット内で使用し、基準ターゲットを、画像測定現場調査で使用
できる他のターゲットから区別することができる。
【0280】 図16Aは、本発明の一実施形態により、通常どおり見える、少なくとも不変
な基数特性を持つマーク320の一例である。ただし、本発明の他の実施形態に
よる不変な基数特性および他のトポロジー特性を持つマークは図16Aに示され
ている特定のマーク例320に限られないことは理解されるであろう。この実施
形態では、マーク320は、スポーク状の構成のマーク320の共通領域324
(たとえば中心)から放射状の次元323に沿ってそれぞれ発せられる少なくと
も6つの別々に識別可能な2次元領域322A〜322F(つまり、N=6)を
含む。図16Aでは、マーク320のマーク領域321(つまり、空間的範囲)
の輪郭が波線で示されている。図16Aは、本質的に同一の形状およびサイズが
共通領域324を中心に360度全体にわたって本質的に対称的に配置されてい
るこのような6つの領域を示しているが、本発明はこの点に限られず、つまり他
の実施形態では、マークに異なる数Nの別々に識別可能な領域を設定する、2つ
またはそれ以上の領域に異なる形状および/またはサイズを設定する、かつ/ま
たは領域を共通領域324を中心に非対称に配置することも可能であることは理
解されるであろう。
【0281】 図16Aに示されているマーク例320の基数特性に加えて(つまり、数N個
の別々に識別可能な領域)に加えて、マーク320は、領域322A〜322F
のそれぞれの周囲形状および互いの関係に関して説明できる。たとえば、図16
Aに示されているように、本実施形態の一態様では、それぞれの領域322A〜
322Fは本質的にくさび形の周囲を持ち、共通領域324に近いテーパ付きの
端を持つ。さらに、他の態様では、領域322A〜322Fの周囲形状は、マー
クの中心または共通領域324で交差する複数の交差エッジでまとめて表すこと
ができる。特に、図16Aを見ると、反対側の領域の反対のエッジの点同士を接
続する直線はマーク320の共通領域324で交差する必要があることがわかる
。特に、図16Aに示されているように、円形経路300で示されている点32
8から始めて、円形経路を反時計回りに進みながら、マーク320のくさび形領
域の各エッジにaからlまでの連続する小文字をラベルとして付けてゆく。図1
6Aから、エッジa−g、b−h、c−i、d−jなどを接続する各線は共通領
域324を通過することは容易にわかるであろう。本発明の一実施形態による検
出アルゴリズムではマーク320のこの特性を利用しており、「詳細な説明」の
セクションKで詳述しているように、「交差エッジ分析」を使用している。
【0282】 上述のように、図16Aに示されているマーク320の不変な基数特性は、マ
ークを構成する領域320A〜320Fの個数N(つまり、この例ではN=6)
である。より具体的には、この実施形態では、マーク320の別々に識別可能な
2次元領域は、共通領域324をおおよそ中心とする円形経路として図16Aに
例として示されているスキャン経路300に沿ってマークがスキャンされるとき
に異なる放射輝度の交互に並ぶ領域が生じるように配列される。別の言い方をす
ると、スキャン経路300に沿ってマークをスキャンするときに、各領域322
A〜322Fの有意な次元を横断し、交互に並ぶ放射輝度を表すスキャン信号を
発生するということである。このような交互に並ぶ放射輝度の少なくとも1つの
特性、つまり放射輝度のサイクル合計数は、後述のように、少なくとも視角と、
さらに尺度の変化(つまり、マークからの観測距離)、マークの平面内回転、照
明条件、任意の画像内容などに関して不変である。
【0283】 図16Bは、図16Aに示されている点328から始まり、反時計回りに進む
形で、スキャン経路300に沿って図16Aのマーク320をスキャンすること
により生成される輝度曲線(つまり、スキャン信号)のプロット326を示すグ
ラフである(時計回りのスキャンからも類似の輝度パターンが生じる)。図16
Aでは、領域322A〜322Fの間の明るい領域はそれぞれ、丸で囲んだ数1
〜6までのラベルが付けられ、それぞれ、図16Bのプロット326に示されて
いる明るい輝度のそれぞれ連続する半サイクルに対応する。特に、6つの領域マ
ーク320については、図16Bに示されている輝度曲線には、図16Bにおい
てマーク320の領域322A〜322F間の明るい領域に対応する丸で囲まれ
た番号1〜6で示されているように、経路300に沿った360度スキャンに対
し6サイクルの交互の輝度が生じている。
【0284】 図16Aは本質的に通常の視角でマーク320を示しているが、図17Aは約
60度のオフノーマルの斜めの視角で同じマーク320を示す。図17Bは、図
16Aおよび16Bに関して上述したのと似た方法で、スキャン経路300に沿
って図17Aの斜めに画像処理されたマーク320をスキャンすることにより生
成される輝度曲線(つまり、スキャン信号)のプロット330を示すグラフであ
る。図17Bから、経路300を中心とする360度のスキャンで交互に並ぶ輝
度が6サイクル分あるが、図16Bに示されているものよりもサイクルの間隔が
一定していないことはそれでも明らかである。
【0285】 図18Aは、本質的に通常の視角であるが、スキャン経路300に関して平行
移動しているマーク320を示しており、特に図18Aでは、経路300は、共
通領域324と経路300のスキャン中心338の間のオフセット362だけ斜
めになり(図20に関連して以下で詳述する)、マーク320の共通領域324
から中心はずれになっている。図18Bは、図16A、16B、17A、および
17Bに関して上述したのと似た方法で、斜めになり閉じている経路300に沿
って図18Aのマーク320をスキャンすることにより生成される輝度曲線(つ
まり、スキャン信号)のプロット332を示すグラフである。再び、図18Bか
ら、サイクルはあまり規則正しくないが、経路300を中心とする360度のス
キャンで交互に並ぶ輝度が6サイクル分あることはそれでも明らかである。
【0286】 前記を鑑みて、マークの基数特性を選択した後(つまり、マークの個数Nの別
々に識別可能な領域が先験的に知られている)、スキャン経路300に沿ってマ
ークをスキャンすることにより生成される輝度曲線のサイクル数(時計回りまた
は反時計回りのいずれか)はマークの回転および/または平行移動に関して不変
であり、特に、マーク320(つまり、N=6)については、輝度曲線(つまり
、スキャン信号)は、N個の領域を区別できる視角(たとえば、90度未満の角
度)および経路300に関するマークの平行移動(経路300がマーク内に完全
に収まるとする)に対する6サイクル分の交互に並ぶ輝度を含むことは理解され
るであろう。したがって、本発明の一実施形態による自動化された特徴検出アル
ゴリズムでは、開直線または曲線および/または本質的に閉じた経路(つまり円
形経路)スキャンを採用し、様々な信号復元手法(後述)のうち1つまたは複数
を使用して、マークの基数特性に少なくとも基づいてスキャン信号からスキャン
1回あたりのサイクル数が知られている信号を高い信頼性で検出し、様々な画像
処理条件のもとで画像内のマークが存在するか(または存在しないか)を識別す
ることができる。
【0287】 本発明の一実施形態によれば、上述のように、画像内にマーク領域を持つ、マ
ークが存在するかどうかを検出する自動化特徴検出アルゴリズムは、画像のスキ
ャン部分がマークを含む場合にスキャン経路がマーク領域内に完全に収まるよう
にスキャン経路を形成する、スキャン経路に沿って画像の少なくとも一部をスキ
ャンし、スキャン信号を取得するステップと、スキャン信号から画像のスキャン
部分内にマークが存在するかどうかおよび存在しないかどうかのいずれかを判定
するステップを備える。本実施形態の一態様では、スキャン経路は本質的に閉じ
た経路であってよい。本実施形態の他の態様では、格納されている画像の多数の
異なる領域を連続してスキャンするが、スキャン信号を取得するためにそれぞれ
スキャン経路内にある。次に、各スキャン信号を分析して、後述のように、また
「詳細な説明」のセクションKで詳述しているように、マークが存在するか、ま
たは存在しないかのいずれかを判定する。
【0288】 図19は、それぞれ図16Aに示されているマーク320に似た6個のマーク
3201から3206を含む画像を示す図である。図19では、多数の円形経路3
00はさらに、画像上にスーパーインポーズされた白色の輪郭として示されてい
る。特に、円形経路300の第1のグループ334は、図19の画像の左中心領
域に示されている。より具体的には、第1のグループ334は、円形経路の2つ
の水平スキャン行の一部を含み、経路をわかりやすくするためその行の1つの経
路のいくつかは図に示されていない。同様に、円形経路300の第2のグループ
336も、画像の下中心領域内のマーク3205上にスーパーインポーズされて
いる白色の輪郭として図19に示されている。経路300の第2のグループ33
6から、マーク3205の共通領域または中心324が第2のグループ336の
多数の経路300内に収まることは理解できるであろう。
【0289】 一実施形態によれば、1つまたは複数のマークを含む格納されているデジタル
画像は、多数のそれぞれの円形経路300を使用して複数の異なる領域上で連続
スキャンすることができる。たとえば、図19を参照すると、一実施形態によれ
ば、画像の左側隅から始めて、横方向に右へ進み、格納されている画像の一番右
に到達したら、1行下り、左から右へまたは右から左へとスキャンを続けること
で格納されている画像のスキャンを実行できることは理解できるであろう。この
方法で、円形経路の多数の連続する行を使用して、各領域内にマークが存在する
か、または存在しないかを判定するために画像全体をスキャンすることができる
。一般に、円形経路の連続を使用して画像のすべてまたは1つまたは複数の部分
をスキャンする様々な方法が、本発明の様々な実施形態により可能であり、上述
の特定の実装は説明のためにのみ用意されていることは理解されるであろう。特
に、他の実施形態によれば、画像内にマークが存在するかまたは存在しないかを
判定するために格納されている画像全体より小さい領域をスキャンするだけで十
分である。
【0290】 本開示の目的のために、「スキャン中心」は、マークが存在するかどうかをテ
ストするための画像内の点である。図19に示されているような本発明の一実施
形態では、スキャン中心は、円形サンプリング経路300の中心に対応している
。特に、それぞれのスキャン中心で、円形経路内に配置されたピクセルの集合を
テストする。図20は、スキャン中心338を持つ円形サンプリング経路300
に沿ってテストされる個々のピクセルのプロットを示すグラフである。図20の
例では、それぞれの半径がスキャン中心338から約15.5ピクセルである1
48個のピクセルがテストされている。ただし、図20に示されている経路30
0に沿ってサンプリングされるピクセルの配列および個数は、説明のためにのみ
示されており、本発明は図20に示されている例に限られるわけではないことは
理解されるであろう。
【0291】 特に、本発明の一実施形態によれば、スキャン中心338からの円形経路30
0の半径339は、予め設定されている(固定である)かまたは本発明の一実施
形態による検出アルゴリズムで調節可能であるパラメータである。特に、本実施
形態の一態様によれば、経路300の半径339は、画像内で検出するマークの
空間的範囲全体に対応する画像内の寸法の約2/3以下である。たとえば、図1
6Aを再び参照すると、半径の寸法323がマーク320について示されており
、またこの半径の寸法323は同様に、図19のマーク3206についても示さ
れている。一実施形態によれば、図19に示されている円形経路300の半径3
39(および同様に、図20に示されている経路)は、半径の寸法323の約2
/3以下である。前記から、様々な経路300に対する可能な半径339の範囲
は、画像内に現れると予想されるように、スキャン中心338と経路300(た
とえば、図20に示されているような)との間のピクセル数に関して、マークの
全体のサイズ(たとえば、マークの半径の寸法)に少なくとも一部は関連する。
特に、本発明の一実施形態による検出アルゴリズムでは、与えられた円形スキャ
ン経路300の半径339は、マークを含むシーンとそのシーンの画像を取得す
るカメラとの間の様々な観測距離に対応するように調整することができる。
【0292】 図20はさらに、サンプリング角度344(φ)を示しており、これは、経路
300に沿ってサンプリングする特定のピクセルのスキャン基準点(たとえば、
図20に示されている始点328)からの回転を示す。したがって、サンプリン
グ角度φの範囲は円形経路300に沿ってスキャンごとに0度から360度であ
ることは理解されるであろう。図21は、円形経路300に沿ってサンプリング
した各ピクセル(グラフの横軸)のサンプリング角度φ(グラフの縦軸)を示す
プロット342のグラフである。図21から、スキャンした画像のピクセルの離
散的性質により、サンプリングが円形経路300の回りを進行するときに、サン
プリング角度φのグラフが一様でない(つまり、プロット342は0度から36
0度までの直線でない)ということがわかる。再び、この現象は、円形経路30
0がピクセルの矩形グリッド上にマッピングされた不可避な結果である。
【0293】 図19を再び参照すると、ピクセルがマークのそれぞれ別々に識別可能な領域
または特徴を横断する円形経路(つまり図19の第2のグループ336に示され
ている円形経路の1つまたは複数)に沿ってサンプリングするときに、図16B
、17B、および18Bに示されているのと似た、マークの基数特性に関係する
サイクル数が知られている輝度曲線を表すスキャン信号を発生することができる
。それとは別に、マークを含まない画像の領域内にある円形経路に沿ってピクセ
ルをサンプリングするときに、スキャンされた領域内の画像の任意の内容に基づ
く輝度曲線を表すスキャン信号を発生することができる。たとえば、図22Bは
、表面が均一でない白色紙の画像のスキャン領域(たとえば、図19に示す経路
の第1のグループ334によりスキャンされる領域)内の輝度曲線を表すフィル
タ処理されたスキャン信号のプロット364を示すグラフである。後述のように
、図22Bから、特定のサイクル数はランダム信号では明白でないことを理解で
きるであろう。
【0294】 ただし、曲線内で特定のサイクル数が明白である図16B、17B、18B内
に示されている輝度曲線の比較からわかるように、円形経路300に関するマー
ク320の視角と平行移動の両方が輝度曲線の「一様性」に影響を与える。本開
示の目的のために、用語「一様性」は、何らかのノイズ統計量を含む場合のある
信号を発生するプロセスの不変性または規則正しさを意味する。一様な信号の一
例として、周波数と振幅が一定の正弦波がある。前記を鑑みて、図16Bから、
図16Aに示されている通常見えるマーク320を円形にスキャンすることによ
り得られる輝度曲線(つまり、経路300が共通領域324を本質的に中心とす
るとき)は本質的に一様であることがわかるが、輝度曲線の2つの連続するピー
クの間の周期334が図16Bに示されているピークの各ペアについてほぼ同じ
であるからである。対照的に、図17Bの輝度曲線(約60度の斜めの視角でマ
ーク320を円形にスキャンすることにより得られる)と、図18Bの輝度曲線
(経路300がオフセット362だけマークの共通領域324から斜めになり中
心から外れている場合)は非一様であり、円形スキャン・プロセスの規則正しさ
は、経路300に関するマーク320の回転または平行移動により破られる。
【0295】 上述のように、図16B、17B、および18Bに示されている輝度曲線の一
様性に関係なく、マークの基数特性に基づく不変なサイクル数が知られている信
号をマークの平行移動および/または回転を示す様々な輝度曲線から復元でき、
特に、ノイズ内の一様な信号と非一様な信号の両方を検出する複数の従来の方法
が知られていることは理解されるであろう。従来の信号復元方法では、カルマン
・フィルタ、短時間フーリエ変換、パラメトリック・モデル・ベース検出、およ
び累積的位相回転分析などの様々な処理手法を採用することができ、一部につい
ては、以下で詳述する。
【0296】 一様または非一様な信号のいずれかを処理するため本発明の様々な実施形態に
よる検出アルゴリズムで採用できる方法の1つに、信号の瞬間的位相を検出する
方法がある。この方法は、累積的位相回転分析と一般に呼ばれ、「詳細な説明」
のセクションKで詳述している。図16C、17C、18Cは、それぞれ、図1
6B、17B、および18Bに示されている輝度曲線の累積的位相回転のそれぞ
れのプロット346、348、および350を示すグラフである。同様に、図2
2Cは、図22Bに示されている輝度曲線の累積的位相回転のプロット366を
示すグラフである(つまり、マークを含まない画像の任意の領域のスキャンから
生成される信号を表す)。後述の本発明の一実施形態によれば、図17Bおよび
18Bの非一様な信号は特に、マークの存在を検出するだけでなく、マークのオ
フセット(スキューまたは平行移動)および/または回転(視角)を導くために
も、たとえば、累積的位相回転分析を使用して処理することができる。したがっ
て、貴重な情報をこのような非一様な信号から取得することができる。
【0297】 マークの中心を中心として対称的に配置され、マークを中心とする円形経路に
よりスキャンされたN個の別々に識別可能な特徴を与えたとすると、完全に一様
な輝度曲線の瞬間的累積位相回転(つまり、円形経路に関してマークの回転も平
行移動もない)は円形経路を横断するときにNφで与えられ、φは図20および
21に関して上述したサンプリング角度である。N=6の場合のマーク320に
関して、6サイクル/スキャンの頻度の完全に一様な輝度曲線に基づく基準累積
位相回転は、図16C、17C、18C、および22Cのそれぞれで示されてい
る直線349で示されているように、6φで与えられる。したがって、360度
の最大サンプリング角度では、図16B、17B、および18Bに示されている
輝度曲線の最大累積位相回転は6×360度=2160度である。
【0298】 たとえば、図16Bの輝度曲線は、おおよそ、360度の6個の信号サイクル
を完了する定常正弦波である。したがって、図16Bの輝度曲線の累積位相回転
を表す図16Cのプロット346は、円形経路を横断するときに、比較的定常状
態の進行、つまり位相累積を示し、最大2160度となり、基準累積位相回転直
線349からのずれは比較的小さい。
【0299】 同様に、図17Bに示されている輝度曲線は、360度の6個の信号サイクル
を含むが、図17Aに示されているマーク320の斜めの視角が60度なので、
図17Bの輝度曲線は一様でない。その結果、この信号の非一様性は、2016
度に至る滑らかな定常進行でない、図17Cに示されている累積的位相回転のプ
ロット348に反映される。特に、プロット348は、基準累積位相回転直線3
49から逸脱し、直線349に関する2つの区別できるサイクル352Aおよび
352Bを示している。これら2つのサイクル352Aおよび352Bは、図1
7Bのサイクルに対応し、マークの領域は、斜めの視角の透視法で短縮されてい
る。特に図17Bでは、丸で囲まれた番号1をラベルとして付けられたサイクル
は幅が広く、したがって、図17Cの丸で囲まれた番号1で示されているように
、位相は一様な信号に比べてゆっくりと累積する。この最初の幅広のサイクルの
後に、2つの幅の狭いサイクル2および3が続き、位相は速く累積する。図17
Bおよび17Cの両方に示されているように、このサイクルのシーケンスの後に
、幅の広いサイクル4が続き、その後に2つの幅の狭いサイクル5および6が続
く。
【0300】 図18Bに示されている輝度曲線はさらに、360度の6個の信号サイクルを
含み、そこで再び、図18Cに示されている総累積位相回転は最大2160度と
なる。ただし、上述のように、図18Bの輝度曲線は図17Bに示されている曲
線と似て、非一様でもあるが、それは、図18Aに示されている円形スキャン経
路300がオフセット362だけ中心から外れて斜めであるからである。したが
って、図18Cに示されている累積位相回転のプロット350は、さらに、基準
累積位相回転直線349から外れる。特に、図18Cに示されている累積位相回
転は直線349に関して1/2サイクルの下側位相累積とその後に続く上側位相
累積の1/2サイクルを含む。下側−上側位相累積のこのサイクルは、図18B
のサイクルに対応し、マーク320の共通領域または中心324は円形経路30
0から遠ざかり、マークの中心が経路300に近づくときにサイクルが続く。
【0301】 前記を鑑みて、本発明の一実施形態によれば、累積的位相回転分析を使用して
マークを検出するステップは、基準累積位相回転直線349からのスキャン信号
の測定された累積位相回転の逸脱に基づくことは理解されるであろう。特に、こ
のような逸脱は、図16A、16B、および16Cの場合に最低となり、マーク
は通常どおり見え、円形経路300により「中心にある」でスキャンされる。マ
ークを斜めに見て(図17A、17B、および17Cのように)、かつ/または
「中心はずれ」でスキャンすると(図18A、18B、および18Cのように)
、基準累積位相回転直線からのずれが大きくなる。マークを含まない画像の一部
をスキャンする極端な例では(図22A、22B、および22Cのように)、基
準累積位相回転直線349からのスキャン信号の測定した累積位相回転のずれ(
つまり、図22C内のプロット366)は図22Cに示されているように有意で
ある。したがって、一実施形態によれば、このずれのしきい値は、与えられたス
キャン内にマークが存在することとスキャン内にマークが存在しないこととを区
別できるように選択することが可能である。さらに、本実施形態の一態様によれ
ば、円形スキャン経路に関するマークの傾斜(回転)およびオフセット(平行移
動)は、基準累積位相回転直線349に関して、図17Cおよび18Cに示され
ている累積的位相回転曲線内にそれぞれ存在する周期2および周期1の信号によ
り示すことができる。本発明の一実施形態により、累積位相回転分析を採用して
いる検出アルゴリズムの数学的詳細は、累積位相回転曲線からのマーク・オフセ
ットおよび傾斜の数学的偏差とともに、「詳細な説明」のセクションKで詳述し
ている。
【0302】 本発明の一実施形態によれば、上述の累積的位相回転分析を採用している検出
アルゴリズムを画像の初期スキャンで使用し、画像内にマークが存在するかどう
かについて1つまたは複数の可能な候補を識別することができる。ただし、1つ
または複数の偽陽性候補を画像を通る初期パスで識別する可能性がある。特に、
このアルゴリズムで識別された偽陽性の個数は、一部、探しているマークの全体
的サイズまたは空間的範囲に関して円形経路300(たとえば、図20を参照)
の選択した半径339に基づく場合がある(たとえば、マーク320の半径の寸
法323)。しかし、本実施形態の一態様によれば、偽陽性が識別される場合で
あっても画像を通る初期パスで有効な候補が却下されないように円形経路300
の半径339を選択することが望ましい。一般に、上述のように、一態様では、
半径339は経路の少なくとも1つがマーク内に完全に入りマークの中心を囲む
ようにマークの画像の見かけの半径に関して十分小さくなければならない。
【0303】 検出アルゴリズムで最初に画像内の候補マークを識別すると(たとえば、上述
のように、マークの基数特性、順序特性、または包含特性に基づく)、検出アル
ゴリズムは、その後、代替検出アルゴリズムを使用して、最初にテストされてい
ない可能性のあるマークの他の特性をさらにテストする精密化プロセスを含むこ
とができる。単独で使用できる、あるいは累積位相回転分析との組み合わせで使
用できる本発明の他の実施形態によるいくつかの代替検出アルゴリズムについて
は、「詳細な説明」のセクションKで説明している。
【0304】 検出の精密化について、たとえば、マーク320の基数特性に基づき、マーク
の対称的に向かい合う領域のいくつかの幾何学的特性は、平行移動と回転の影響
を同様に受ける。この現象は、たとえば、図17Aで見られ、上側領域322B
と下側領域322Eは斜めの視角のせいで長く狭く歪んでいるが、左上の領域3
22Cおよび右下の領域322Fは短く広く歪んでいる。一実施形態によれば、
領域の長軸および短軸の長さの幾何学的特性と、向かい合う領域の向きを(たと
えば、「詳細な説明」のセクションKで説明している「領域分析」方法を使用し
て)比較することにより、マーク320に似ていて、画像を通る最初のパスで間
違って識別される多くの候補マークを排除することができる。
【0305】 さらに、多数のマークを持つ特定のアートワーク・サンプルは、偽陽性の指示
を除外するために利用できる1つまたは複数の特性を持つことができる。たとえ
ば、図16Aに示されているように、また上述のように、マーク320の別々に
識別可能な領域の配列では、向かい合う領域の向かい合うエッジが揃えられ、マ
ークの中心または共通領域324内で交差する直線により表すことができる。「
詳細な説明」のセクションKで詳述しているように、この特性を利用する「交差
エッジ」分析を採用している検出アルゴリズムは、単独で使用することも、また
は領域分析または累積位相回転分析の一方または両方と組み合わせて使用し、画
像内の1つまたは複数のこのようなマークが存在するかどうかを検出する方法を
精密化することができる。
【0306】 順序特性と包含特性を持つマークについても類似の精密化手法を採用できる。
特に、図14に示されているマーク308などの順序特性を持つマークを考慮す
る検出アルゴリズムの精密化の他の例として、本発明の一実施形態による、マー
ク308の異なる色付けがされた領域302、304、および306を、さらに
色順序の順序特性に加えて、平行移動および/または回転不変特性も備えるよう
に設計できる。これらの追加特性は、たとえば、相対的面積および向きを含むこ
とができる。同様に、図15に示されているマーク312などの包含特性を持つ
マークに関して、マーク312の様々な領域314、316、および318を、
相対的面積および向きなどの追加平行移動および/または回転不変特性を持つよ
うに設計することも可能である。それぞれの場合において、検出アルゴリズムに
より最も経済的に評価できる特性を使用して、候補の数を絞り込み、それから、
徐々に計算量が増える方法で考察する。場合によっては、評価された特性も使用
して、画像内の識別されたマークの中心位置の推定を改善することができる。
【0307】 前記の説明では図16Aに示されているマーク例320とそのようなマークを
検出するのに適した検出アルゴリズムを主に採り上げたが、他の種類の様々なマ
ークも、本発明の他の実施形態によれば画像測定基準ターゲット(図8に示され
ているターゲット120Aに似ている)で使用するのに適しているかもしれない
ことは理解されるであろう(たとえば、図14に示されているマーク308に似
た順序特性を持つマーク、図15に示されているマーク312に似た包含特性を
持つマークなど)。特に、図23Aおよび23Bは、基数特性と順序特性の両方
を組み込んだ本発明の一実施形態による堅牢なマーク368の他の例を示してい
る。
【0308】 図23Aに示されているマーク368では、マーク320について図16Aに
示されているのと似たくさび形領域の配列内で少なくとも2つの原色を利用して
いる。特に、本実施形態の一態様では、マーク368は、くさび形領域の繰り返
しパターンで青色と黄色の原色を使用している。図23Aは、多数の黒色の領域
320Aを示しており、それぞれ、反時計回りの順序で青色領域370B、緑色
領域370C(青色と黄色の組み合わせ)、そして黄色領域370Dと続く。図
23Bは、青色の光のみを通すフィルタにかけられた図23Aの画像を示してい
る。したがって、図23Bで、2つの暗い領域の間の「透明な」領域370Eは
マーク368の青色と緑色の領域370Bおよび370Cの組み合わせを表し、
暗い領域はマーク368の黒色と黄色の領域370Aおよび370Dの組み合わ
せを表す。図23Bに示されているのと似た画像は、回転されているが、黄色の
光のみを表示するように図23Aの画像にフィルタをかけて得られている。「詳
細な説明」のセクションKで詳述しているように、マーク368で使用されてい
る2つの原色により、色平面上に4位相が定められ、そこから、直接に累積位相
回転を生成することが可能である。
【0309】 さらに、図24Aは、本発明のいくつかの実施形態に適しているマークの他の
例を十字マーク358として示しており、一実施形態では、これを図8に示され
ている基準ターゲット120Aの例の中の基準マーク124A〜124Dとして
使用する1つまたは複数のアスタリスクの代わりに使用できる。さらに、一実施
形態によれば、図15に示されている包含マーク312の例は、必ずしも、多数
のそれぞれ異なる色付き領域を含む必要はないが、その代わりに、多数の交互に
色が付いている、白黒領域、または異なる陰影の付いている領域および/または
ハッチング領域を含むことができる。前記から、一般にマシン・ビジョンの様々
なランドマーク、また具体的には、画像測定応用例の基準マークが、本発明の様
々な実施形態により実現されることは理解されるであろう。
【0310】 本発明の他の実施形態によれば、上述の前記実施形態のどれかによるランドマ
ークまたは基準マークを基板に印刷するか、または他の方法で基板に結合するこ
とができる(たとえば、図8および9に示されている基準ターゲット120Aの
基板133)。特に、本実施形態の一態様では、前記実施形態のどれかによるラ
ンドマークまたは基準マークを物体に取り付けることができる自己接着基板に印
刷するか、または他の方法でその基板に結合することができる。たとえば、図2
4Bは、自己接着面356(つまり裏面)を持つ基板354を示しており、ここ
に(つまり、前面に)図16Aのマーク320を印刷する。一態様では、図24
Bの基板354は自己接着性取り外し可能ノートでよく、これは、自動特徴検出
が容易になるようにシーンの1つまたは複数の画像を取得する前にシーン内の目
的の位置に簡単に貼り付けることができる。
【0311】 特に、一実施形態によれば、自己接着基板に印刷したマークはシーン内の目的
の位置に取り付けて、位置および/またはサイズ情報が知られていないが必要な
シーン内の重要な物体の自動識別を容易にすることができる。さらに、本発明の
一実施形態によれば、マークの印刷を含むこのような自己接着ノートは、シーン
内の特定の位置に置き、1つまたは複数の測定平面と基準平面との間の関係を定
めることができる(たとえば、図5に関して「詳細な説明」のセクションCで説
明しているように)。さらに他の実施形態では、本発明による画像測定方法およ
び装置を使用して現場調査する目的のために、このような自己接着ノートを使用
して、広いかつ/または複雑な空間の複数の画像間のリンク点の自動検出を容易
にすることができる。さらに他の実施形態では、自己接着基板にそれぞれ印刷さ
れている一義的に識別可能な複数のマークを重要な複数の物体としてシーン内に
配置し、自動複数画像バンドル調整プロセスを容易にすることができ(「関連技
術の説明」のセクションHで説明しているように)、その場合、それぞれのマー
クは多数の画像内のマークの自動「リファレンス」を可能にする一義的に識別可
能な物理的属性を持つ。このような自動リファレンス・プロセスを使用すると、
手動リファレンス・プロセスでの分析者のブランダの発生確率を著しく下げるこ
とができる。「自己接着ランドマーク」または「自己接着基準マーク」のこれら
の応用例や他の応用例の例について、「詳細な説明」のセクションIで詳述する
【0312】 H.画像測定のための画像処理方法例 本発明の一実施形態によれば、図6の画像測定プロセッサ36および図7の画
像測定サーバ36Aは、様々な画像測定応用例の画像処理に関して類似の機能を
実装している(つまり、類似の方法を実行できる)。さらに、一実施形態によれ
ば、図7に示されている画像測定サーバ36Aに似た1つまたは複数の画像測定
サーバとさらに図7に示されている様々なクライアント・プロセッサ44では分
散方式で様々な画像測定方法を実行でき、特に上述のように、画像測定方法に関
してここで説明した機能のいくつかは、1つまたは複数の画像測定サーバで実行
できるが、そのような画像測定方法の他の機能は1つまたは複数のクライアント
・プロセッサ44で実行できる。一態様では、このような方法で、本発明による
様々な画像測定方法をモジュール式に実装し、多数の異なるプロセッサ間で分散
方式により実行できる。
【0313】 以下では、本発明の様々な実施形態による画像測定応用例の自動画像処理方法
の実施例について説明する。このセクションの資料については、「詳細な説明」
のセクションLで詳述している(複数の数学的派生物を含む)。以下の説明では
「詳細な説明」のセクションG3およびKで説明しているいくつかの新規性のあ
るマシン・ビジョン手法の一部に基づく自動画像処理方法を重点的に採り上げる
が、このような画像処理方法は、特定の応用例に対し望ましい場合にユーザの様
々なレベルの介在が可能になるように修正することができる(たとえば、シーン
内の1つまたは複数の基準ターゲットまたは制御点の自動識別ではなく手動識別
、シーン内の重要な物点の自動識別ではなく手動識別、シーンの基準平面に関す
る複数画像リンク点または様々な測定平面の自動識別ではなく手動識別など)。
ここで説明した画像測定方法および本発明による様々な画像測定装置の多数の実
施例については、「詳細な説明」のセクションIで詳述している。
【0314】 一実施形態によれば、画像測定方法ではまず、少なくともいくつかのカメラ較
正情報の初期推定を決定する。たとえば、この方法により、シーン内に置かれた
基準ターゲットに関連するカメラおよび基準情報(たとえば、特定のアートワー
ク・モデル)の仮定されたまたは推定された内部標定パラメータに基づいてカメ
ラ外部標定の初期推定を決定することができる。本実施形態では、カメラ較正情
報のこれらの初期推定に基づき、その後これらの推定を精密化するために最小自
乗反復アルゴリズムを採用している。一態様では、初期推定で必要なのは、真の
解に十分に近く、反復アルゴリズムが収束することである。このような推定/精
密化手順を実行し、1つまたは複数の異なるカメラの場所のそれぞれで得られる
シーンの単一画像を使用してカメラの場所ごとに正確なカメラ較正情報を取得す
ることができる。その後、このカメラ較正情報を使用して、シーンの1つまたは
複数の画像内に識別されるシーン内の重要な1つまたは複数の物体と関連する実
際の位置および/またはサイズ情報を決定できる。
【0315】 図25Aおよび25Bは、本発明の一実施形態による画像測定方法の流れ図を
示している。上述のように、図25Aおよび25Bについては「詳細な説明」の
セクションLで詳述している。図25Aおよび25Bの方法は画像測定応用例の
画像処理の一例にすぎず、本発明は、この特定の方法例に限られないことは理解
されるであろう。図25Aおよび25Bの方法の代替方法および/または代替ス
テップのいくつかの例については、以下と「詳細な説明」のセクションLでも説
明している。
【0316】 図25Aおよび25Bの方法については、説明のために、図6に示されている
画像測定装置を参照して以下で採り上げている。上述のように、図25Aおよび
25Bの方法は同様に、図7に示されている様々な画像測定装置(つまり、ネッ
トワーク実装)を使用して実行できることは理解されるであろう。
【0317】 図6を参照すると、図25Aのブロック502において、ユーザは1つまたは
複数のユーザ・インタフェース(たとえば、マウス40Aおよび/またはキーボ
ード40B)を介して、シーン20Aの画像20Bを取得するために使用するカ
メラ22のカメラ・モデル推定値またはメーカー・データをプロセッサ36に入
力するか、またはダウンロードする。「関連技術の説明」のセクションEで上述
したように、カメラ・モデルは一般に、特定の焦点設定に対する主距離などのカ
メラの内部標定パラメータ、主点の画像平面24内のそれぞれのxおよびy座標
(つまり、図1に示されているようにカメラの光軸82が実際に画像平面24と
交差する点)、およびカメラのCCDアレイのアスペクト比を含む。さらに、カ
メラ・モデルは、レンズ歪み効果に関係する1つまたは複数のパラメータを含む
場合がある。これらのカメラ・モデル・パラメータの一部または全部をカメラの
メーカー側で提供することができ、かつ/またはユーザが適切に推定することも
できる。たとえば、ユーザは画像20Bを取得するときにカメラの特定の焦点設
定に基づく推定主距離を入力することができ、また最初に、アスペクト比が1に
等しく、主点が画像平面24の原点にあり(たとえば、図1を参照)、有意なレ
ンズ歪みがない(たとえば、式(8)に関して上述したように、それぞれのレン
ズ歪みパラメータを0に設定する)と想定することができる。カメラ・モデル推
定値またはメーカー・データはユーザが手動でプロセッサに入力することもでき
るし、あるいはたとえば、カメラ・モデル・データが格納される様々な携帯型記
憶媒体のいずれかからプロセッサにダウンロードすることもできることは理解さ
れるであろう。
【0318】 図25Aのブロック504で、ユーザはプロセッサ36に(たとえば、ユーザ
・インタフェースの1つまたは複数を介して)、基準ターゲット120A(また
は本発明の他の実施形態による他の様々な基準ターゲットのいずれか)と関連す
る基準情報を入力またはダウンロードする。特に、図10に関して「詳細な説明
」のセクションG1で説明しているように、一実施形態では、自動コーディング
方式(たとえば、ターゲット固有基準情報自体を含む、基準ターゲットに貼られ
ているバーコード、または基準ターゲットを一義的に識別するシリアル番号など
)を使用して特定の基準ターゲットと関連するターゲット固有基準情報を画像測
定プロセッサ36にダウンロードできる。
【0319】 図25Aのブロック502および504に概略が示されている方法ステップは
、処理するすべての画像について必ずしも実行する必要がないことは理解される
であろう。たとえば、特定の基準ターゲットの特定のカメラおよび基準ターゲッ
ト情報に対するカメラ・モデル・データが画像測定プロセッサ36から利用でき
るようになると、その特定のカメラおよび基準ターゲットを使用して、後述のよ
うに処理できる多数の画像を取得できる。
【0320】 図25Aのブロック506で、図6に示されているシーン20Aの画像20B
(基準ターゲット120Aを含む)がカメラ22によって取得され、プロセッサ
36にダウンロードされる。一態様では、図6に示されているように、画像20
Bは基準ターゲットの画像120B(さらにその上の基準マーク)に加えて、シ
ーンからの重要な様々な他の画像内容を含む。図6に関して上述したように、カ
メラ22は、測量用または非測量用カメラ、フィルムまたはデジタル・カメラ、
ビデオ・カメラ、デジタル・スキャナなどの様々な画像記録デバイスのいずれか
とすることができる。画像をプロセッサにダウンロードした後、図25Aのブロ
ック508で、画像20Bをスキャンし、基準ターゲットの少なくとも1つの基
準マークを自動的に特定し(たとえば、図8の基準マーク124A〜124Dま
たは図10Bの基準マーク402A〜402D)、そこで、基準ターゲットの画
像120Bを特定する。このようなマークを検出するための基準マーク例と方法
例を多数、「詳細な説明」のセクションG3およびKで説明している。
【0321】 図25Aのブロック510で、基準ターゲット120Aの画像120Bは、基
準情報に基づき基準ターゲットのアートワーク・モデルに当てはめられる。基準
ターゲットの画像をターゲットのアートワーク・モデルとすりあわせた後、基準
ターゲットのODR(たとえば、図8のODR 122Aおよび122Bまたは
図10BのODR 404Aおよび404B)を画像内に配置することができる
。ODRを配置した後、この方法はブロック512に進み、そこで、基準ターゲ
ットの各ODRによって発せられる放射パターンを分析する。特に、「詳細な説
明」のセクションLで詳述しているように、一実施形態では、基準ターゲットの
ODRごとに2次元画像領域が決定され、2次元領域内のODR放射パターンが
ODRの縦軸または一次軸に投影され、累積され、たとえば図13Dおよび図3
4に示されているのと似た観測された向き依存の放射の波形を取得する。図25
Aのブロック514および516では、「詳細な説明」のセクションJおよびL
で詳述しているように、基準ターゲット内の各ODRの回転角度が分析されたO
DR放射から決定される。同様に、一実施形態によれば、「詳細な説明」のセク
ションJで説明しているように、基準ターゲットの1つまたは複数のODRの近
距離場をさらに利用して、観測されたODR放射からカメラと基準ターゲット(
たとえば、図36を参照)の間の距離zcamを決定できる。
【0322】 図25Aのブロック518で、カメラ・ベアリング角度α2およびγ2(たとえ
ば、図9を参照)は、ブロック514で決定されたODR回転角度から計算され
る。カメラ・ベアリング角度とODR回転角度の関係については、「詳細な説明
」のセクションLで詳述している。特に、一実施形態によれば、カメラ・ベアリ
ング角度により、シーンの基準座標系とカメラ座標系との中間リンクが定義され
る。中間リンク・フレームを使用すると、後述のように、カメラ・ベアリング角
度に基づきカメラ外部標定の初期推定が容易になる。
【0323】 図25Aのブロック518の後、この方法は図25Bのブロック520に進む
。ブロック520で、カメラ外部標定パラメータの初期推定値は、カメラ・ベア
リング角度、カメラ・モデル推定値(たとえば、内部標定およびレンズ歪みパラ
メータ)、および基準ターゲットの少なくとも2つの基準マークと関連する基準
情報に基づいて決定される。特に、ブロック520では、カメラ・ベアリング角
度と少なくとも2つの基準マークと関連する基準情報を使用してカメラ座標系と
中間リンク・フレームの間の関係を確定し、修正された共線形式の連立方程式を
解く。「詳細な説明」のセクションLで詳述しているように、カメラ座標系と中
間リンク・フレームとの関係が判明した後、基準座標系からリンク・フレームへ
、リンク・フレームからカメラ座標系へ、カメラ座標系からカメラの画像平面へ
の一連の変換により、カメラ外部標定の初期推定値を求めることができる。
【0324】 カメラ外部標定の初期推定値を決定した後、図25Bのブロック522は、一
般にカメラ較正情報の推定値(たとえば、内部標定および外部標定、さらにレン
ズ歪みパラメータ)を最小自乗反復プロセスで精密化できることを示している。
特に、ブロック522では、ブロック520からの外部標定の初期推定値の1つ
または複数、ブロック502からのカメラ・モデル推定値、ブロック504から
の基準情報、およびブロック516からの距離zcamを反復最小自乗アルゴリズ
ム(「詳細な説明」のセクションLで詳述している)への入力パラメータとして
使用し、カメラ画像平面24からシーンの基準座標系74への完全な座標系変換
を求めることができる(たとえば、図1または6に示されており、また式(11
)に関して上述している)。
【0325】 図25Bのブロック524では、位置および/またはサイズ情報が望まれてい
るシーン内の重要な1つまたは複数の点または物体をシーンの画像から手動また
は自動で識別する。たとえば、「詳細な説明」のセクションCで、また図6に関
して説明しているように、ユーザは1つまたは複数のユーザ・インタフェースを
使用して(たとえば、マウスを使用したポイントしてクリックする方法、または
カーソル移動で)シーンの表示画像20Cに現れる重要な様々な特徴を選択する
ことができる。それとは別に、「詳細な説明」のセクションIで詳述しているよ
うに、シーン内の重要な1つまたは複数の物体を(たとえば、1つまたは複数の
RFIDが印刷されている自己接着取り外し可能ノートを使用して)1つまたは
複数の堅牢な基準マーク(RFID)に付けることにより自動的に識別すること
ができる。
【0326】 図25Bのブロック526で、この方法は、画像内で識別された重要な点また
は物体がシーンの基準平面内にあるかどうかを問い合わせる(たとえば、図6に
示されているシーン20Aの基準平面21)。重要なこのような点が基準平面内
にない場合、この方法はブロック528に進み、ユーザはそこで、基準平面と重
要な点が置かれている測定平面との間の関係または変換をプロセッサに入力また
はダウンロードする。たとえば、図5に示されているように、重要な点または物
体が置かれている測定平面23と基準平面21との任意の関係が知られている場
合がある。特に、構築された空間または平面状の空間については、与えられた測
定平面およびシーンの基準平面との間の90度の変換を含む多数の測定平面を選
択できる。
【0327】 図25Bのブロック530で、重要な点または物体が基準平面内にあるかどう
かを判定した後、適切な座標系変換を重要な識別された点または物体に適用し(
たとえば、カメラ画像平面と基準平面またはカメラ画像平面と測定平面との間の
変換)、重要な点または物体と関連する位置および/またはサイズ情報を取得す
ることができる。図6に示されているように、このような位置および/またはサ
イズ情報は、それに限定しないが、シーン20A内の2つの指示された点26A
および28Aの間の物理的距離30を含むことができる。
【0328】 図25Aおよび25Bに概略が示されている画像測定方法では、ブロック51
0〜520で規定されているように、カメラ外部標定パラメータの初期推定値を
求める方法の代替ステップが可能であることも理解されるであろう。特に、一代
替実施形態によれば、外部標定の初期推定値は、基準ターゲットの1つまたは複
数のODRから得られるデータを必ずしも使用しなくても基準ターゲットの多数
の基準マークからのみ決定することができる。たとえば、画像内の基準ターゲッ
トの向き(たとえば、ピッチおよびヨー)、したがってカメラ・ベアリングは、
「詳細な説明」のセクションG3およびKで詳述しているように、累積位相回転
曲線内に存在するマーク傾斜を表す周期2の信号に基づき、画像内の基準マーク
をスキャンすることにより生成される累積位相回転曲線(たとえば、図16C、
17C、および18Cに示されている)から推定できる。その後、単独で、また
はODR放射パターンから求めた実際のカメラ・ベアリング・データと組み合わ
せて取り、この方法で得た外部標定の初期推定値を最小自乗反復アルゴリズムで
使用し、様々なカメラ較正情報の推定値を精密化できる。
【0329】 I.複数画像実装例 このセクションでは、本発明による画像測定方法および装置の多数の複数画像
実装例を説明する。以下で説明する実装は、上述の様々な画像測定応用例の1つ
または複数に適しているが(たとえば、「詳細な説明」のセクションDおよびF
を参照)、これらの応用例に限られるわけではない。さらに、後述の複数画像実
装では、たとえば、単一画像処理手法、自動特徴検出手法、本発明による様々な
種類の基準物体(たとえば、「詳細な説明」のセクションB、C、G、G1、G
2、およびG3を参照)に関して上述した様々な概念の1つまたは複数を伴い、
かつ/またはそれに基づいて構築でき、また「詳細な説明」のセクションHで、
特に様々なカメラ較正情報の決定に関して説明した手法の一部または全部を組み
込むことができる。さらに、一態様では、後述の複数画像実装は、「詳細な説明
」のセクションEで説明しているように、ネットワーク構成で画像測定方法およ
び装置を使用して実現できる。
【0330】 説明を目的として4つの複数画像実装例、つまり1)測定結果を確認し精度を
高めるために異なるカメラ位置から得たシーンの複数の画像を処理する例、2)
単一のカメラ位置から得たシーンの一連の類似の画像を処理し、画像が連続して
大きくなる尺度を持ち(つまり、画像がシーンの連続して大きくなる部分を含む
)、カメラ較正情報を小さな尺度の画像から大きな尺度の画像に内挿する(外挿
ではなく)例、3)シーンの複数の画像を処理し、シーン内の重要な物体に関す
る3次元情報を取得する(たとえば、自動交差またはバンドル調整プロセスに基
づく)例、および4)複数の異なる画像を処理し、各画像が他の画像と一部共有
する画像内容を含み、画像を自動的にリンクしてつなぎ合わせて、大きすぎて単
一の画像でキャプチャできない空間の現場調査を形成する例を採り上げる。本発
明の様々な複数の画像実装はこれらの例に限られず、他の実装も可能であり、そ
の一部はこれらの例に含まれる特徴の様々な組み合わせに基づくことは理解され
るであろう。
【0331】 I1.複数の画像を処理して測定結果を確認し精度を高める操作 本発明の一実施形態によれば、異なるカメラ位置から得られたシーンの多数の
画像を処理して、測定結果を確認し、かつ/または画像を使用して得た測定結果
の精度および信頼性を高めることができる。たとえば、再び図6を参照すると、
2つの異なる場所からカメラ22を使用してシーン20Aの2つの異なる画像を
取得することができ、それぞれの画像は基準ターゲット120Aの画像を含む。
本実施形態の一態様では、プロセッサ36がディスプレイ38にシーンの両方の
画像を同時に表示することができ(たとえば、分割画面を使用して)、画像ごと
にカメラの外部標定を計算する(たとえば、「詳細な説明」のセクションHで説
明しているように図25Aおよび25Bに概略が示されている方法による)。そ
の後、ユーザは表示されている画像の1つを介してシーン内の重要な点を識別し
(または、たとえば、シーン内の目的の位置に置かれているスタンドアローンの
RFIDを使用して重要な点を自動的に識別することもできる)、選択された画
像についてカメラの外部標定に基づき重要な点に関連する位置および/またはサ
イズ情報を取得することができる。それ以降、ユーザは、表示されている画像の
うち他方のものを介してシーン内の重要な同じ点を識別し、この他方の画像に対
するカメラの外部標定に基づく位置および/またはサイズ情報を取得することが
できる。測定で互いが正確に確認されない場合、測定の平均値を取ることができ
る。
【0332】 I2.拡大測定 本発明の一態様によれば、本発明で説明している少なくとも1つの実施形態に
よる画像測定方法および装置を使用し、基準ターゲットがその画像内に得られた
シーンの面積の約1/10以上となる画像を処理してシーン内の様々な測定を正
確に行うことができる(たとえば、図6を再び参照すると、基準ターゲット12
0Aは画像20B内に得られたシーン20Aの面積の少なくとも約1/10とな
る)。これらの場合、様々なカメラ較正情報が、画像内の基準ターゲットを観測
し、基準ターゲットと関連する基準情報を先験的に知ることで決定される(たと
えば、「詳細な説明」のセクションHで説明しているように)。その後、基準タ
ーゲットから決定されたカメラ較正情報を画像の残り部分全体にわたって外挿し
、重要な他の画像内容に適用し、シーン内の測定を判定する。
【0333】 ただし、他の実施形態によれば、シーン内に配置された基準ターゲットよりも
寸法が著しく大きいシーン内で測定を正確に行うことができる。特に、一実施形
態によれば、単一のカメラ位置から得られたシーンの一連の類似画像を「拡大」
手順で処理することができ、画像は連続的に拡大される(つまり、画像はシーン
の連続的に大きくなる部分を含む)。本実施形態の一態様では、カメラ較正情報
を単一画像全体にわたって外挿するのではなく小さな尺度の画像から大きな尺度
の画像に内挿することで、シーン内に置かれた比較的小さな基準物体(たとえば
、基準ターゲット)を使用して、基準物体よりも寸法が著しく大きいシーン全体
にわたって正確な測定を行うことができる。
【0334】 本実装の一実施例では、基準ターゲットを使用してカメラ較正情報を決定する
作業は、本質的に、シーンの小さな部分の画像からシーンの大きな部分の画像に
「ブートストラップ」することであり、画像は共通の基準平面を含む。この例を
説明するために、図26に示されているようにカセドラルを含むシーンの図解を
参照し、3つの画像、つまりカセドラルの第1の部分を含む第1の画像600、
カセドラルの第2の部分を含み、第2の部分が第1の部分よりも大きく、第1の
部分を含む第2の画像602、カセドラルの第3の部分を含み、第3の部分が第
2の部分よりも大きく、第2の部分を含む第3の部分604を考察する。一態様
では、基準ターゲット606は、シーンの第1の部分で、基準平面として使用さ
れるカセドラルの前壁に当たる形で配置されている。基準ターゲット606は、
シーンの第1の部分の面積の約1/10以上となる領域を覆う。一態様では、第
1、第2、および第3の画像のそれぞれを単一の場所(たとえば、三脚)に配置
されたカメラで、ズームまたはレンズ変更を使用してシーンの異なる部分をキャ
プチャすることにより取得する。
【0335】 この例では、基準ターゲット606に関連する基準情報に基づき、第1の画像
600についてカメラの少なくとも外部標定(およびオプションにより、他のカ
メラ較正情報)を推定する。その後、基準ターゲットの領域に含まれない少なく
とも3つの広く間隔をとった制御点608A、608B、および608Cの第1
の集合が第1の画像600内で識別される。これらの制御点のシーン内相対的位
置(つまり、基準座標系の座標)は、第1の画像から外部標定の第1の推定値に
基づいて決定される(たとえば、式(11)による)。制御点のこの第1の集合
は、その後、第2の画像602で識別され、これらの制御点のそれぞれのシーン
内でのすでに決定された位置を第2の画像からの外部標定の第2の推定に対する
基準情報として使用する。
【0336】 次に、少なくとも3つの広く間隔をとった制御点610A、610B、および
610Cの第2の集合を第2の画像で選択し、制御点の第1の集合で覆われたも
のよりも大きな第2の画像の領域を覆う。制御点のこの第2の集合に対する各制
御点のシーン内の相対的位置は、第2の画像から外部標定の第2の推定値に基づ
いて決定される。制御点のこの第2の集合は、その後、第3の画像604で識別
され、これらの制御点のそれぞれのシーン内でのすでに決定された位置を第3の
画像からの外部標定の第3の推定に対する基準情報として使用する。このブート
ストラップ・プロセスは、測定が必要なシーンの範囲を覆う画像について外部標
定が得られるまで画像の任意の数について繰り返すことができる。本実施形態の
他の態様によれば、基準ターゲットの他に、多数のスタンドアローンの堅牢な基
準マークをシーン全体に配置し、制御点の自動的に検出可能な第1と第2の集合
として使用し、上述のような自動拡大測定を簡単に行えるようできる。
【0337】 I3.複数画像を使用する自動交差またはバンドル調整 それぞれ異なるカメラ位置で得られる同じシーンの複数の画像を伴う本発明の
他の実施形態によれば、カメラの位置ごとに自動的にカメラ較正情報を決定する
ことができ、また画像のそれぞれに現れるシーン内の重要な点を使用して測定を
自動的に行うことができる。この手順は、交差(「関連技術の説明」のセクショ
ンGで説明している)やバンドル調整(「関連技術の説明」のセクションHで説
明している)などのいくつかの従来の複数画像写真測量法に関係する幾何学およ
び数学理論に一部基づいている。
【0338】 本発明によれば、「関連技術の説明」のセクションHで説明しているように、
従来の交差およびバンドル調整手法は、自動化を容易にすることで人間の「ブラ
ンダ」で通常生じる潜在的誤りを減らすことにより少なくともある点に関して改
善される。たとえば、本実施形態の一態様では、多数の個々に(つまり、一義的
に)識別可能な堅牢な基準マーク(RFID)を、シーン内に置かれ、異なるカ
メラ位置で得られる複数の画像のそれぞれに現れる基準ターゲット上に配置する
。基準マークの一義的に識別可能な物理的属性のいくつかの例は、「詳細な説明
」のセクションG3で説明されている。特に、図16Aに示されているのと似た
マークを一義的に形成し、マークのくさび形領域の一方がマークの他方の領域に
比較して検出可能な延長された半径を持つようにできる。それとは別に、図16
Aに示されているのと似た基準マークを一義的に形成し、マークのくさび形領域
の一方の少なくとも一部にマークの他方の領域と異なる色を付けることができる
。この態様では、ターゲットのそれぞれの一義的な基準マークの対応する画像は
、複数の画像内で互いに自動的にリファレンスされ、「関連技術の説明」のセク
ションHで上述した「リファレンス」プロセスを簡単に行える。自動的に検出可
能な固有の堅牢な基準マークを使用してこのリファレンス・プロセスを自動化す
ることにより、ユーザのブランダによる誤りを実質的になくすことができる。
【0339】 本実施形態の他の態様では、多数の個々に(つまり、一義的に)識別可能なス
タンドアローンの基準マーク(たとえば、それぞれ固有の識別属性を持ち、たと
えば自己接着基板に印刷されるRFID)がシーン全体に(たとえば、重要な様
々な物体および/またはシーン全体にわたって広く間隔がとられた様々な物体に
貼る)、単一平面内に、またはシーンの3次元全体にわたって印刷され、それぞ
れのマークが画像のそれぞれに現れる。上述のように、それぞれの一義的に識別
可能なスタンドアローンの基準マークの対応する画像は、複数画像内で互いに自
動的にリファレンスされ、バンドル調整のための「リファレンス」プロセスが容
易になる。
【0340】 前記から、1つまたは複数の基準ターゲットおよび/または多数のスタンドア
ローンの基準マークを単独で、または相互に組み合わせて使用することにより、
複数画像交差またはバンドル調整プロセスの自動化を容易にできることは理解さ
れるであろう。このようなプロセスで採用されている基準マークの総数(つまり
、1つまたは複数の基準ターゲットとともにスタンドアローンのマークに配置さ
れる基準マークを含む)は、バンドル調整で解く対象のパラメータの個数に応じ
て、式(15)または(16)で与えられる制約関係式に基づいて選択できる。
さらに、本実施形態の一態様によれば、基準マークがすべてシーンの基準平面に
置かれるようにシーン内に配置されている場合、たとえば、式(16)で与えら
れる制約関係式は次のように修正できる。
【0341】
【数20】
【0342】 ただし、Cは各カメラの最初に仮定した未知のカメラ較正情報パラメータの総数
、nは基準平面内に置かれている基準マークの数、jは異なる画像の数である。
式(19)では、基準マークの個数nに3ではなく2を掛けているが(式(15
)および(16)を参照)、それは、基準平面内に置かれている各基準マークの
z座標が定義により0であり、したがって知られているからである。
【0343】 I4.自動リンクされた複数画像を使用する現場調査 他の実施形態によれば、少なくともいくつかの共通の特徴を含む複数の異なる
画像は、自動的にリンクしてまとめることにより、「現場調査」を形成し、大き
すぎてかつ/または複雑すぎて単一の画像で取得できないシーンまたは現場全体
を通しての測定を容易にすることができる。本実施形態の様々な態様で、このよ
うな調査の画像の連続するペア同士で共有する共通の特徴を、共通の基準ターゲ
ットおよび/または画像内に現れる1つまたは複数のスタンドアローンの堅牢な
基準マークにより確立し、画像の自動リンクを容易にすることができる。
【0344】 たとえば、本実施形態の一態様では、2つまたは複数の基準ターゲットがシー
ン内に配置され、基準ターゲットの少なくとも1つが2つまたはそれ以上の異な
る画像(つまり、シーンの異なる部分の画像)に現れる。特に、構築された空間
の多数の部屋の現場調査をする場合、2つの一義的に識別可能な基準ターゲット
を部屋のすべてを覆う画像のシーケンスで使用する(たとえば、右側の続く壁)
。特に、この例では、連続する画像ごとに、2つの基準ターゲットのうち一方だ
けを移動し、その画像の基準平面を確定するが(このターゲットは本質的に現場
を中心に画像から画像へ「飛び跳ねている」)、2つの基準ターゲットのうち他
方は連続する画像のペアに対し静止しており、2つの連続する画像の間の自動的
に識別可能なリンク点を確定する。隅では、画像をそれぞれの壁の基準ターゲッ
トとともに取得することもできる。基準ターゲットのそれぞれの少なくとも1つ
の一義的に識別できる物理的属性を、たとえば、ターゲット上の一義的に識別可
能な基準マークで実現することができ、例のいくつかは「詳細な説明」のセクシ
ョンI3とG3で説明している。
【0345】 他の実施形態によれば、異なる画像を取得するときに少なくとも1つの基準タ
ーゲットをシーンまたは現場全体で移動して、各画像のカメラ較正を行い、1つ
または複数のスタンドアローンの堅牢な基準マークを使用して、画像間のリンク
点を確定し連続する画像をリンクする。「詳細な説明」のセクションG3で説明
しているように、このようなスタンドアローンの基準マークは、自己接着基板に
印刷するごとに一義的に識別可能なマークとして用意することができ、したがっ
て、このようなマークは、連続する画像間の自動的に検出可能なリンク点を確定
するために現場全体に簡単にかつ都合よく配置することができる。
【0346】 上述の現場調査の実施形態に関係するさらに他の実施形態では、構築された空
間の仮想現実モデルを開発できる。この実施形態では、デジタル・ビデオ・カメ
ラを使用して、構築空間(家または商業空間/工業空間)のリハーサル・レコー
ディングを行う。リハーサル・レコーディングは、空間に対し特定のパターン(
たとえば、右側の続く壁)を使用して実施する。本実施形態の一態様では、記録
されたデジタル・ビデオ画像を図6の画像測定プロセッサ36または図7の画像
測定サーバ36Aのいずれかにより処理し、その空間の次元付きモデルを開発し
、これをもとにコンピュータ支援作図(CAD)モデル・データベースを構築す
ることができる。CADデータベースと画像データから、空間の仮想現実モデル
を作成し、それによりユーザはパソコンを使用して「リハーサルし」その空間を
巡回できる。図7のネットワークベースのシステムでは、ユーザはワイド・エリ
ア・ネットワークに結合されたクライアント・ワークステーションからその空間
の仮想現実モデルをリハーサルすることができる。
【0347】 J.向き依存の放射解析 J1.はじめに フーリエ解析を使用すると、「詳細な説明」のセクションG2で説明している
ように、向き依存の放射源(ODR)例によって発せられる観測された放射パタ
ーンを調べることができる。図13Aに示されているODR例のそれぞれの前回
折格子および後回折格子の2つの方形波パターンが空間的領域で乗算され、した
がって、この積のフーリエ変換はそれぞれの方形波回折格子の変換の畳み込みで
与えられる。続くフーリエ解析は、遠距離場近似に基づき、図12Bに示されて
いるように平行な光線に沿ってODRを見ることに対応する。
【0348】 前回折格子および後回折格子のフーリエ変換は図27、28、29、および3
0に示されている。特に、図27は、−4000から+4000[サイクル/メ
ートル]の前回折格子の変換を示しているが、図29は−1500から+150
0[サイクル/メートル]の同じ変換の拡大図となっている。同様に、図28は
、−4000から+4000[サイクル/メートル]の後回折格子の変換を示し
ているが、図30は−1575から+1575[サイクル/メートル]の同じ変
換の拡大図となっている。方形波回折格子については、奇数高調波成分に累乗が
現れる。前回折格子については、フーリエ係数は以下の式で与えられる。
【0349】
【数21】
【0350】 さらに、後回折格子については、フーリエ係数は以下の式で与えられる。
【0351】
【数22】
【0352】 ただし、 ffは前回折格子[サイクル/メートル]の空間周波数である。
【0353】 fbは後回折格子[サイクル/メートル]の空間周波数である。
【0354】 F(f)は、周波数fでの複素フーリエ係数である。
【0355】 kは高調波次数で、f=kffまたはf=kfbである。
【0356】 Δxb[メートル]は以下の式(26)で定義されている前回折格子に関する
後回折格子の総変位である。
【0357】 前回折格子のフーリエ変換係数が表1に示されている。示されている係数は、
x=0を中心とする前回折格子に対応している(つまり、図13Aに示されてい
るとおりである)。距離Δxbだけ前回折格子に関して変位された後回折格子に
対し、フーリエ係数は式(21)からわかるようにej(Δxbf2π)だけ位相変位
されている。
【0358】
【表1】
【0359】 ODR前回折格子および後回折格子のフーリエ変換の畳み込みは回折格子の乗
算に対応しており、図31および32に示されているように、発せられた向き依
存の放射のフーリエ変換を与える。特に、図32のグラフは、図31に示されて
いる向き依存の放射のフーリエ変換の低周波領域の拡大図になっている。
【0360】 前回折格子および後回折格子のフーリエ変換のそれぞれの係数を、 前:
【0361】
【数23】
【0362】 後:
【0363】
【数24】
【0364】 と識別すると、fb>ffの場合、ODRによって発せられる向き依存の放射の図
32(つまり、最も中心にあるピーク)に示されているフーリエ変換の係数は表
2に示されており、 =min(ff,fb)は、回折格子の空間周波数のうち小さい方である。
【0365】 −から+の範囲の周波数を考察する。
【0366】 Δf=ff−fbは、前回折格子と後回折格子との周波数の差である(Δfは正
または負)。
【0367】
【表2】
【0368】 これらのピークは、本質的に周波数fM=|Δf|および以下の位相変位を持
つ三角波に対応する。
【0369】
【数25】
【0370】 ただし、νは基準点x=0のところの三角波の位相変位である。このような三角
波の例が図13Dに示されている。
【0371】 図31のグラフに関して、回折格子の空間周波数での項のグループ(つまり、
約500[サイクル/メートル])はDC成分で畳み込んだ基本周波数に対応す
る。これらの係数は、表3で与えられる。次の項グループは総和周波数に対応す
る。これらは、表4で与えられる。(ff+fb)でのと似たグループが高い周波
数間隔で発生し、次第に複雑なパターンになる。
【0372】
【表3】
【0373】
【表4】
【0374】 上述のように、図31に示されているフーリエ係数項(つまり、スペクトル全
体についてとった表2の項)の中央グループの逆フーリエ変換により、周波数f M =|Δf|をν=360Δxbb[度]だけ位相変位した三角波が正確に与え
られる。図13Dに示されているように、このような三角波は向き依存の放射の
ローパス・フィルタに通された波形では明らかである。ただし、図13Dに示さ
れている波形は理想的な三角波ではないが、それというのも、a)フィルタ処理
のせいで図31に示されている500および525[サイクル/メートル]の成
分が減衰するがそれでも存在し、b)三角波の高周波成分が減衰しているかであ
る。
【0375】 図33は、約5度標準から外れた斜めの視角(たとえば回転)で見た、セクシ
ョンG2で説明しているのと似た、約400[サイクル/メートル]の3dBの
カットオフ周波数によるローパス・フィルタ処理を使用する、ODRから得られ
た三角波の他の例である。5度の回転による図33の位相変位408は、−72
度であり、これは、基準点x=0に関して三角波ピークの横方向位置xTとして
表すことができる。
【0376】
【数26】
【0377】 ただし、xTは基準点x=0に関する三角波ピークの横方向位置であり、この例
でfM=25[サイクル/メートル]のときに値−0.008[メートル]を取
る。
【0378】 ODRによって発せられる向き依存の放射のフーリエ変換の中央ピークの係数
(表2)は、前回折格子周波数(fb>ff)よりも高い後回折格子周波数の場合
に上で導かれた。後回折格子周波数が前回折格子周波数よりも低い場合、低周波
の寄与分を出力するフーリエ項の組み合わせは反転し、低周波三角波の位相変位
の方向が逆になり(つまり、図33で示すように左に移動するのでなく)、波形
は同じ回転方向で右に移動する。この効果は、表5で見られ、(ff>fb)では
、複素指数関数の符号のように係数の指数は逆になり、したがって位相が変位す
る。
【0379】
【表5】
【0380】 J2.回転のある後回折格子変位の2次元解析 観測者の視点から、ODRの後回折格子(図12Aの144に示されている)
は、ODRが回転するときに(つまり、斜めに見えるときに)前回折格子(図1
2Aの142)に関して変位する。2次元(2D)の場合は、ODRの特性に注
目し、ODRが単一の軸を中心とする回転を測定するように配列されているとき
に適用可能な解析であるためこのセクションで考察する。後回折格子変位のプロ
セスについては、図12Aに図解し、セクションG2で説明する。
【0381】 J2.1.屈折のある遠距離場の場合 図11のODRの実施形態では、ODRは一次軸130と二次軸132を持つ
。ODR座標フレームのX軸およびY軸は、単位ベクトルrD∈R3が一次軸1
30に平行で、単位ベクトルrD∈R3が二次軸132に平行になるように定義
されている(ODR座標フレームはセクションL2.4で詳述されている)。表
rD∈R3は、rDが実数の3つの要素からなるベクトルであることを示し、
たとえば、rD=[1 0 0]Tである。この表記は、以下のベクトルと行列
のサイズを示すために使用される。特別な場合として、R1内の実スカラーがあ
り、たとえばΔxb∈R1である。
【0382】 図11に関して後述するように、δbx∈R3[メートル]は回転による後回折
格子の変位である。一般に、3次元(3D)の場合、以下のセクションJ3で考
察するが、図11に関して説明しているODR実施形態について、観測された放
射パターンの位相変位νは一部、一次軸に平行なδbxの成分で決定され、前記
成分は以下の式で与えられる。
【0383】
【数27】
【0384】 ただし、δDbx[メートル]は、位相変位νの決定に寄与するδbxの成分であ
る。このセクションで説明している特別な2次元(2D)の場合、基準座標フレ
ームのX軸がODRの一次軸に平行になるようにいつでも基準座標フレームを自
由に選択でき、その結果は、rT D=[1 0 0]TおよびδDbx=δbx(1
)となる。
【0385】 約45度の角度のODRの詳細な図が図34にある。斜めの視角による前回折
格子に関する後回折格子の見かけの変位δDbx(たとえば、図12Bに関して説
明している)は以下の式で与えられる。
【0386】
【数28】
【0387】 基板を通る伝播の角度θ’は、以下のSnellの法則で与えられる。
【0388】
【数29】
【0389】 または
【0390】
【数30】
【0391】 ただし、 θは、ODRの回転角度136(たとえば、図12Aにある)[度]である。
【0392】 θ’は、基板146内の伝播の角度[度]である。
【0393】 zlは、基板146の厚さ147[メートル]である。
【0394】 n1、n2は、それぞれ、空気の屈折率および基板146の屈折率である。
【0395】 前回折格子に関する後回折格子の総一次軸変位Δxbは、回転角度と2つの回
折格子の加工オフセットによる変位の総和である。
【0396】
【数31】
【0397】 ただし、 Δxb∈R1は、後回折格子の総変位量[メートル]である。
【0398】 x0∈R1は、2つの回折格子の加工オフセット[メートル]である(基準情報
の一部)。
【0399】 したがって、x0=0およびθ=0度の場合、つまり通常の視角であれば、式
(26)から、Δxb=0(したがって、式(22)からν=0)であることが
わかる。
【0400】 θに関して式(26)を微分した式は以下のように書ける。
【0401】
【数32】
【0402】 式(26)のδDbx項のテイラー級数展開を書くと次のようになる。
【0403】
【数33】
【0404】 屈折率n1=1.0およびn2=1.5の例では、テイラー級数展開は以下のよ
うになる。
【0405】
【数34】
【0406】 ただし、θは[度]単位である。
【0407】 式(28)から、δbxに対する3次と5次の項は必ずしも無意味ではないこ
とがわかる。式(28)の最初の3つの項は、図35の角度の関数としてプロッ
トされている。図35から、3次項はδbxに対して10度で1/1000の寄
与、25度で1%の寄与率となっていることがわかる。
【0408】 したがって、遠距離場の場合、ν(またはxT)をODR(図33を参照)か
ら観測し、fbで除算してΔxb(式(22)から)を求め、最後に式(26)
を評価して、ODR回転角度θ(図34の角度136)を決定する。
【0409】 J2.2.屈折のある近距離場の場合 近距離場のODR観測幾何形状を図36に示す。図12Bではすべての光線が
平行に示されているが(ODRから遠くの位置に置かれているカメラに対応する
)、観測光線AおよびBは角度ψだけ分散することが示されている。
【0410】 図36から、観測角度ψは以下の式で与えられることがわかる。
【0411】
【数35】
【0412】 ただし、fx∈R3[メートル]は、ODRの観測(前)面128A上の観測され
た場所、fx(1)∈R1[メートル]は、fxのX軸成分で、fx(1)=0は、
カメラ・ベアリング・ベクトル78とODRの観測面上の基準点125A(x=
0)との交差点に対応し、カメラ・ベアリング・ベクトル78はODRの基準点
125Aからカメラ座標系の原点66まで伸びており、zcamはカメラ・ベアリ
ング・ベクトルの長さ410(つまり、ODRとカメラ原点66との距離)であ
り、θはODR法線ベクトルとカメラ・ベアリング・ベクトルとの角度[度]で
ある。
【0413】 図36のモデルと式(29)では、カメラの光軸がODR領域の中心と交差す
ると仮定している。式36から、観測光線Bとfx(1)で法線方向にある観測
面とのなす角度は2次元ではθ+ψであり、したがって式(25)とSnell
の法則(たとえば、図34を参照)から以下がわかる。
【0414】
【数36】
【0415】 ψは、表面を横切るときに変化するため、遠距離場の場合のようにδDbxはもは
や一定でない。δDbxのODRの一次軸にそった変化率は以下の式で与えられる
【0416】
【数37】
【0417】 式(31)の断片は以下の式で与えられる。
【0418】
【数38】
【0419】 と1
【0420】
【数39】
【0421】 項dδDbx/dfx(1)は、後回折格子の見かけの周波数を変化させるので
有意である。見かけの後回折格子周波数fb’は以下の式で与えられる。
【0422】
【数40】
【0423】 式(31)および(33)から、後回折格子の見かけの周波数fb’の変化は、
距離zcamに関係する。近距離場の効果により、後回折格子の掃き出し長さは前
回折格子の掃き出し長さよりも長くなり、したがって、後回折格子の見かけの周
波数は常に大きくなる。これには複数の結果がある。
【0424】 ・2つの回折格子と基板を備えるODRは逆にする(二次軸を中心に180度
回転する)ことができ、したがって後回折格子は前になり、前回折格子は後にな
る。近距離場の場合、空間的周期は2つの側から見たモアレ・パターンについて
同じでない。近距離場効果を考察する場合、f’M∈R1、ODRの三角波の見か
けの空間的周波数(たとえば、図33の126Aで見たように)は、以下の見か
けの後回折格子周波数f’bに依存する。
【0425】 1 式(32)および(33)は、n1=n2のときに曲率を無効にする興味深
い特性を持つ。この数値の結果は、代数的にはまだ確定していない。
【0426】
【数41】
【0427】 sign(ff−fb)=sign(ff−f’b)のとき、以下が成立する。
【0428】
【数42】
【0429】 ただし、sign(・)関数は、絶対値から微分項を出すことにより導入される
。後回折格子の空間周波数が低い場合、近距離場効果によるfbの実際の増加に
より、ff−f’bが減少し、f’Mが減少する。それに対応して、後回折格子の
空間周波数が高い場合、f’Mは増加する。この効果により、zcamの微分モード
感知が可能になる。
【0430】 対照的に、ODRおよびカメラが広く隔たっていて、遠距離場近似が有効な場
合、モアレ・パターンの空間周波数(つまり、向き依存の放射の三角波)は単に
M=|ff−fb|で与えられ、(ff−fb)の符号と無関係である。したがっ
て、遠距離場の場合、ODR透過放射の空間周波数(および同様に、図33およ
び13Dに示されている周期154)は、高い周波数回折格子が前か低い周波数
回折格子が前かどうかに関係しない。
【0431】 ・近距離場、たとえばODRパラメータzl、ff、およびfbの特定の組み合
わせを指定し、式(31)でパラメータθおよびzcamを以下のようにした場合
、モアレ・パターンが消える構成がある。
【0432】
【数43】
【0433】 ・空間周波数が同一つまりff=fbの前回折格子および後回折格子では、近距
離場で見たときにモアレ・パターンが発生する。モアレ・パターンの近距離場空
間周波数f’M(式(35)で与えられたような)は、回転角度θが知られてい
る場合にカメラへの距離zcamを示す(式(31)および(33)に基づく)。
【0434】 J.2.3.まとめ 前記から、複数の有用な工学方程式が得られる。
【0435】 ・検出された位相角度νは、δDbxに関して与えられる(式(22)および(
4)から加工オフセットx0=0と仮定する)。
【0436】
【数44】
【0437】 ・fx(1)、zcam、θの関数としてのδDbx:
【0438】
【数45】
【0439】 ・ODR感度 基準点125A(x=0)に関する、ODRが発する向き依存の放射の三角波
のピークの位置xT(たとえば、図33に示されているピーク152B)。加工
オフセットx0=0と取ると、三角波の位置xTは以下の式で与えられる。
【0440】
【数46】
【0441】 ただし、θは度単位であり、式(27)のテイラー級数展開の第1の項を式(3
6)の近似に使用する。
【0442】 式(36)から、ODR感度をSODR=xT/θと定義され、以下の式で近似で
きる。
【0443】
【数47】
【0444】 ・1%未満の効果を与える式(36)の中の三角関数のしきい値角度θT(度
)(つまり、式(36)内の近似の誤差が1%未満)は以下の式で与えられる。
【0445】
【数48】
【0446】 (テイラー級数展開の3次項から、式(27))。n1=1.0およびn2=1.
5を使用して以下の式を得る。
【0447】
【数49】
【0448】 ・1%未満のf’Mの変換率を与える、近距離場効果に対する、カメラ・ベア
リング・ベクトルzT camの長さのしきい値。
【0449】
【数50】
【0450】 n1=1.0、n2=1.5、θ=0°として式(35)を評価すると以下の式が
与えられる。
【0451】
【数51】
【0452】 さらに、式(39)に代入すると以下の式が得られる。
【0453】
【数52】
【0454】 したがって、式(40)は、特定のパラメータを与えたときに近距離場と遠距離
場の観測を区別する基準を1つ与える。一般に、フィギュア・オブ・メリットF
OMは、特定の応用例に基づきODR 122Aの設計基準として以下のように
定義できる。
【0455】
【数53】
【0456】 ただし、FOM>0.01では一般に、確実に検出可能な近距離場効果であり、
FOM>0.1では一般に正確に測定可能な距離zcamである。式(41)のF
OMは、f’Mcam>fb zlの場合に有効であり、それ以外の場合は、近
距離場効果の強度は他の何らかの測定基準に関してスケールされる(たとえば、
f’Mの分解能)。たとえば、f’Mを非常に小さい値に選択し、それにより、感
度をzcamに上げられる。
【0457】 つまり、式(36)および(37)から、放射ピークの観測された位置xT
よび所与の感度SODRに基づいてODRの回転または斜めの視角qを決定しやす
くなるように様々な図に関して上述したのと似たODRを設計できる。さらに、
ODRとカメラ原点(つまり、カメラ・ベアリング・ベクトル78の長さ410
)との間の距離zcamは、角度θに基づき、また式(31)、(33)、および
(35)から、ODRによって発生するモアレ・パターンの空間周波数f’M
または図33および13Dに示されている周期154)を観測して決定すること
ができる。
【0458】 J3.回転のある近距離場の後回折格子変位の一般3D解析 カメラ位置から見た後回折格子の見かけの変位により、モアレ・パターンの位
相変位が決まる。この見かけの変位は、視野方向のベクトル解析により3次元で
決定できる。鍵となる項は、図37の助けを借りて定義されている。
【0459】 V1∈R3は、カメラ原点66からODR 122Aの前(つまり観測)面12
8の点fxへのベクトル412がある。
【0460】 V2∈R3は、ODR基板146を通り後面に入るベクトルV1の継続である(
2は一般に、屈折のためV1と共線形でない)。
【0461】 fx∈R3は、ベクトルV1が前面に当たる点である(測定の座標フレームは、
左の上付きで示され、座標フレームについてはセクションL2.4で詳述してい
る)。
【0462】 bx∈R3は、ベクトルV2が後面に当たる点である。
【0463】 J3.1.fxの関数ν(fx)としての位相変位νの決定 n次元では、Shellの法則は以下のように書ける。
【0464】
【数54】
【0465】 ただし
【0466】
【数55】
【0467】 は、表面の法線に直交するV1またはV2の単位方向ベクトルの成分である。式(
43)および表面法線を単位ベクトル(たとえば、基準座標内の)V‖=[0
0 1]Tとして書けるという事実を利用すると、V2は以下のように計算できる
【0468】
【数56】
【0469】
【数57】
【0470】 δbx(fx)、ν(fx)を使用すると、モアレ・パターン位相νは以下の式
で与えられる。
【0471】
【数58】
【0472】 ただし、rPoCは、基準座標で表したカメラ座標の原点の位置であり、δDbx∈
1[メートル]はODR一次軸に平行で、νを決定するδbx∈R3の成分であ
る。
【0473】
【数59】
【0474】 ただし、 ν(fx)∈R1は、位置fx∈R3のモアレ・パターンの位相である。
【0475】 Dfx∈R1Dfx=rT D frD∈R3は、ODRの一次軸に平行な単位ベクトルである。
【0476】 カメラ較正に使用される輝度のモデルは、三角波の第1の高調波によって与え
られる。
【0477】
【数60】
【0478】 ただし、a0は、ODR領域にわたる平均輝度であり、a1は、輝度偏差の振幅で
ある。
【0479】 式(47)および(48)により、ODR領域による3つのモデル・パラメー
タν0、a0、およびa1が導入される。パラメータν0は、ODR領域の特性であ
り、ODRの組立方に関係する。パラメータa0およびa1は、カメラ開口、シャ
ッター速度、照明条件などに関係する。通常の応用例では、ν0は、場合によっ
ては、ODRの製造時に較正手順の一部として推定され、a0およびa1はODR
の向きが推定されるごとに推定される。
【0480】 K.ランドマーク検出方法 以下では、画像内にマークが存在するか(または存在しないか)どうかを検出
する3つの方法、つまり、累積位相回転分析、領域分析、および交差エッジ分析
について説明する。これらの方法は、アプローチが異なり、したがって偽陽性を
生成するために非常に異なる画像特性を必要とする。様々な実施形態において、
初期検出にこれらの方法をどれか使用することができ、これらの方法を様々な組
み合わせで使用し、検出プロセスを精密化できる。
【0481】 K1.累積位相回転分析 一実施形態では、図19の300に見られるような、閉じた経路の集まりの中
で画像をスキャンする。スキャン点ごとに輝度を記録し、スキャン信号を生成す
る。輝度曲線の例は、図22Aのフィルタ処理の前に見られる。このスキャンは
、マークが存在しない図19の左中心グループ334内の円の1つに対応する。
図22Aに示されている信号は、その領域内の画像の中にあるものの結果であり
、この例では、不均一な表面を持つ白色紙である。
【0482】 一実施形態によれば、図22Aの未処理のスキャン信号は、2パス、線形、デ
ジタル、ゼロ位相フィルタを使用する空間領域内にフィルタ処理される。フィル
タ処理された信号は、図22Bの輝度曲線とみなされる。フィルタ処理された輝
度曲線の他の例は、図16B、17B、および18Bに示されている。
【0483】 フィルタ処理した後、次のステップは、与えられた輝度曲線の瞬間位相回転の
決定である。これを実行するには、カルマン・フィルタ、短時間フーリエ変換、
または後述のように、各サンプルでの位相角度の推定を利用する。後者の方法で
は以下のことを行う。
【0484】 1.360度を超えるスキャンで得られる信号を発生する最初と最後の輝度曲
線を表すフィルタ処理された、スキャン信号。たとえば、350°〜360°の
セグメントを信号の先頭に追加し(−10°〜0°のスキャンをシミュレートす
る)、0°〜10°のセグメントを末尾に追加することで行うことができる。
【0485】 2.以下の式により直交信号を構築する。
【0486】
【数61】
【0487】 ただし、 a(i)∈C1は、点(つまり、ピクセル・サンプル)iの信号の位相を表す
複素数(α(i)∈C1で示される)である。
【0488】 λ(i)∈R1は、ピクセルi(たとえば、iは図20の328などで示され
ているピクセルのインデックスである)のフィルタ処理された輝度である。
【0489】 Δ∈Z+は、以下の式で与えられる、正の整数(Δ∈Z+で示される)オフセッ
トである。
【0490】
【数62】
【0491】 Nsは、スキャン経路内の点の数、Nは、マークの別々に識別可能な領域の数
である。 jは、複素数である。
【0492】 3.サンプルi−1とサンプルiの間の位相回δηi∈R1[度]は以下の式で
与えられる。
【0493】
【数63】
【0494】 ただし、
【0495】
【数64】
【0496】 また、atan2(・,・)は、2引数のアークタンジェント関数であり、たと
えばCプログラミング言語の数学ライブラリに用意されている。
【0497】 4.スキャン・インデックスi、ηi∈R1の累積位相回転は以下の式で与えら
れる。
【0498】
【数65】
【0499】 累積位相回転プロットの例は図16C、17C、18C、および22Cに見られ
る。特に、図16C、17C、および18Cは、マークが存在しているときの累
積位相回転プロットを示しているが、図22Cはマークが存在しないときの累積
位相回転プロットを示す。これらのそれぞれにおいて数字ηiはφi∈R1に対し
プロットされるが、ただし、φiは図20の344に示されているスキャン・イ
ンデックスiでスキャンしたピクセルのスキャン角度である。図19の320に
示されている堅牢な基準マーク(RFID)は、φiに対してプロットしたとき
の勾配Nを持つ累積位相回転曲線(ηi)を与える。つまり、通常の視角で、ス
キャン曲線がRFIDの中心にある場合
【0500】
【数66】
【0501】 図16C、17C、18C、および22Cのそれぞれで、ηi曲線は366に示
されており、Nφi曲線が349に示されている。図16C、17C、および1
8Cと比較すると、Nφ基準直線349からのηi曲線366からの図22Cの
偏差は非常に大きい。この偏差は、累積位相回転分析の基礎となるものである。
検出の性能測定基準は以下のとおりである。
【0502】
【数67】
【0503】 ただし、 rms([λ])は、(たぶんフィルタ処理された)輝度信号[λ]のRMS
値であり、ε([η])は、Nφ基準直線349と輝度曲線の累積位相回転との
間のRMS偏差である。
【0504】
【数68】
【0505】 そして、[λ]、[η]、および[φ]は、スキャン経路にそったNs個のサ
ンプルにわたる対応する変数のベクトルを示す。
【0506】 図18Aに示されているオフセット362は、スキャン経路の中心に関するマ
ークの中心の位置を示す。一次高調波項および二次高調波項に累積位相回転の間
の差、たとえば、346、348、350、または366、基準直線349を当
てはめてマークのオフセットおよび傾斜を求める。
【0507】
【数69】
【0508】 ただし、 式(55)は、累積位相曲線への一次および二次の高調波の寄与のコサインお
よびサイン部分の最小自乗誤差推定を実装する。
【0509】 [φ]は、閉経路の回りのスキャンのサンプリング角度のベクトルである(つ
まり、図16B、16C、17B、17C、18B、18C、22B、および2
2CのX軸)。
【0510】 これは以下の式を与える。
【0511】
【数70】
【0512】 ベクトルΠc∈R4は一次および二次の高調波のコサインおよびサイン部分の係
数を含み、これらは以下の式を書くことで大きさと位相に変換される。
【0513】
【数71】
【0514】 ただし、
【0515】
【数72】
【0516】 基準マークのオフセットおよび傾斜は、以下により、累積位相回転曲線の一次
および二次の高調波に寄与する。
【0517】
【表6】
【0518】 したがって、オフセットと傾斜は以下により決定できる。
【0519】 1.測定された一次高調波からオフセットを決定すること。
【0520】 2.測定された二次高調波からオフセットの影響を差し引くこと。
【0521】 3.調整され測定された二次高調波から傾斜を決定すること。
【0522】 1.オフセットは、以下の式により測定された一次高調波から決定される。
【0523】
【数73】
【0524】 2.累積位相回転に対するオフセットの寄与は以下の式で与えられる。
【0525】
【数74】
【0526】 ただし、ηoは、オフセットと、以下の式によるηに対する寄与である。
【0527】
【数75】
【0528】 測定された二次高調波からオフセットの影響を差し引くと、調整され測定された
二次高調波が得られる。
【0529】
【数76】
【0530】 3.最後に、
【0531】
【数77】
【0532】 傾斜による二次高調波の寄与は以下の式で与えられる。
【0533】
【数78】
【0534】 傾斜は以下の式で与えられる。
【0535】
【数79】
【0536】 ただし、ρtは傾斜軸への回転であり、θt=cos-1(τt)は傾斜角度である
【0537】 K1.1.直交色方法 色画像処理により、基準マークは検出アルゴリズムの堅牢性を強化するために
利用できる追加情報を含むことができる。直交色RFIDについてここで説明す
る。2色を使用して色平面の直交を確立し、式(51)で合成するのではなく、
色平面上に位相回転を直接生成することが可能である。結果−カラー・カメラを
使用するという代償を払って得られる−は計算コストの低減であり、堅牢性の向
上であって、これにより、検出に必要な画像領域が小さくて済んだり、あるいは
照明やその他の画像効果に対する感度が低減される。
【0538】 例は、図23Aに示されている。アートワークは、青色と黄色の2色からなり
、黒色−青色−緑色−黄色−黒色...の回転パターンであり、緑色は青色と黄
色の組み合わせで生じる。
【0539】 カラー画像をフィルタ処理し、青色の光のみを表示するようにする場合、図2
3Bの画像が得られ、フィルタ処理で黄色の光のみを表示するようにして類似し
ているが回転された画像を得る。
【0540】 青色と黄色を軸とする適切に縮尺された2次元色平面上で、図23Aの4色は
図40に示されているように、RFID上の平均輝度を中心とする正方形の四隅
に置かれる。他の実施形態では、色強度は青色−黄色平面上で円を描くように連
続的に変化させることができる。N個のスポークがあるRFID(黒色−青色−
緑色−黄色のサイクル)では、検出された光度は図40の閉経路をN回横断する
。各点の直交信号は以下の式で直接決定される。
【0541】
【数80】
【0542】 ただし、λy(i)およびλb(i)は、それぞれピクセルiの黄色および青色
の光度であり、λ ̄yおよびλ ̄bはそれぞれ黄色および青色の平均光度である
。式(61)からの項a(i)は、式(49)で直接使用し(以下参照)、累積
位相回転アルゴリズムを実装することができ、以下の利点がある。
【0543】 ・上の式(49)で記述されているように、2つの色パターンの追加制約条件
と、直交信号つまり式(49)の中のjλ(i−Δ)項が合成ではなく画像から
物理的に描画されるという事実による、偽陽性に対する堅牢性が非常に高まる。
【0544】 ・特に、直交色を使用する累積位相回転アルゴリズムの堅牢性が増すことで、
またたとえば、スキャン経路に沿って域分析が4色すべての存在に基づいて最初
のスクリーニングを実行することにより領域分析が不要になる場合に計算コスト
が低減する。
【0545】 領域分析および交差エッジ分析は、図40に示されているものなど、2値画像
に対し実行できる。非常に高い堅牢性を得るために、これらの分析のいずれかを
青色および黄色のフィルタ処理済み画像に適用することができる。
【0546】 K2.領域分析 この方法では、領域、周囲、長軸、および短軸などの特性、および画像内の任
意の領域の向きが評価される。たとえば、図38に示されているように、マーク
を含む画像のセクションをしきい値化し、図39に見られるように、異なる接続
された領域で白黒の画像を生成できる。この2値画像は、連続する黒色ピクセル
の区別できる領域を含む。
【0547】 黒色ピクセルの連続グループは、ラベル付きの領域にまとめることができる。
そうしてからラベル付き領域の様々な特性を測定し、数量を割り当てることがで
きる。たとえば、図39の画像内の165の区別できる黒色領域が識別され、領
域ごとに、測定された特性に基づいてレポートが生成されるが、その例を表6に
示した。つまり、複数の特性のそれぞれについて数量を計算するということであ
る。
【0548】
【表7】
【0549】 閉経路内でスキャンする場合、スキャン・ピクセルが接触する各ラベル付き領
域を識別することが可能である。スキャンが、N個の別々に識別可能な領域を持
つマーク上にあるかどうかを判定するアルゴリズムは以下のように進行する。
【0550】 1.中心を囲むスキャン・ピクセルを確定する。
【0551】 2.スキャン・ピクセルが接触するラベル付き領域を決定する。
【0552】 3.面積が最小しきい値ピクセル数未満であるラベル付き領域を捨てる。
【0553】 4.N個の領域がない場合、候補を却下する。
【0554】 5.N個の領域がある場合、以下の式により性能測定を計算する。
【0555】
【数81】
【0556】
【数82】
【0557】
【数83】
【0558】
【数84】
【0559】
【数85】
【0560】 ただし、 Ciは、i番目の領域の重心で、i∈1...Nである。
【0561】 C ̄は、領域の重心の平均であり、マークの中心の推定値である。
【0562】 VCiは、C ̄からCiへのベクトルである。
【0563】 wiは、VCiの角度である。
【0564】 w^iは、i番目の領域の長軸の向きである。
【0565】 w ̄iは、i番目の角度とi番目の向きとの差である。
【0566】 J2は、領域分析方法の第1の性能測定基準である。
【0567】 Aiは、i番目の領域で、i∈{1...N/2}である。
【0568】 i*=i+(N/2)、i番目の領域と反対の領域のインデックスである。
【0569】 Miは、i番目の領域の長軸の長さである。
【0570】 miは、i番目の領域の短軸の長さである。
【0571】 式(62)〜(66)は、図16Aに示されているマーク320の対称的に向
かい合う領域は、アートワークがカメラから遠い(つまり、遠距離場にある)と
きに平行移動と回転により等しく歪み、アートワークが近距離場にあるときには
比較できるほどに歪むという事実に基づいて性能測定基準を計算する。さらに、
中心に向かう長軸で領域が伸びるという事実も使用される。式(62)では、複
数の領域の重心から結合した領域の重心を決定する。式(65)では、各領域の
中心から中心への方向を計算し、長軸の方向と比較する。性能測定基準J2は、
各特性の平均に関して向かい合うスポーク間の差に基づいて計算する。式(62
)〜(66)のアルゴリズムは単一のチューニングされたパラメータなしで働く
ことに注意されたい。領域分析方法はさらに、C ̄の形式でサブピクセル精度に
合わせてマークの中心を与えることがわかる。
【0572】 しきい値設定 領域分析方法では、図38など、2値画像を生成するために光
度しきい値を決定する必要がある場合がある。しきい値を決定する必要があるこ
とで、本質的に閉じた経路スキャンを使用したとしても画像の背景領域がマーク
の検出に影響を及ぼすように思われる。
【0573】 固有のしきい値がスキャンごとに決定される。図16Bの場合のように光度を
集めて、しきい値をそのデータの平均値に設定すると、しきい値は、閉経路の下
のピクセルにしか対応せず、検出マークに当たることが保証され、画像内の制御
されていない領域の影響を受けない。
【0574】 スキャンごとに画像全体にわたって領域ラベル付けと分析を実行することは、
一部の応用例ではコストが高く、実行すべきでない場合がある。しかし、画像が
最初から複数のレベルでしきい値が設定されており、これらの2値画像でラベル
付けが実行されている場合、少数のラベル付け操作のみでスキャン操作を何千回
も実行できる。一実施形態では、しきい値設定を10の対数間隔レベルで実行で
きる。連続するしきい値で生成される2値画像間に制約があるため、10のラベ
ル付き画像を生成するコストは単一のラベル付き画像を生成するコストに比べて
実質的に10倍未満となっている。
【0575】 K3.交差エッジ分析 さらに、マークの向かい合う領域の向かい合うエッジ上の点を接続する直線が
セクションG3で説明されているように、中心で交差する必要があるということ
を観測することで図16A内の320で示されているのと似たマークを検出した
り、またはその検出を精密化することも可能である。共通点でこれらの直線が交
差する度は、候補がマークに対応する度の測定基準である。一実施形態では、マ
ークの各領域の2N個のエッジに数個の点が集められるが、その際に複数の半径
の経路を考慮しており、またこれらのエッジ点は、図16Aのaおよびg、bお
よびhなどエッジをペアにすることでN個のグループに分類される。各グループ
内には、Np(i)個のエッジ点{xj,yj}があり、i∈{1..N}はエッ
ジ点のグループのインデックス、j∈{1..Np(i)}は各グループ内のエ
ッジ点のインデックスである。
【0576】 各エッジ点の集合により、最良適合直線が定義され、これは以下の式で与える
ことができる。
【0577】
【数86】
【0578】
【数87】
【0579】 ただし、αi∈R1は、直線に沿って位置を記述するスカラー・パラメータ、Ωi
^∈R2は直線を定義するエッジ点のxjおよびyj値の平均値として与えられる
直線上の1つの点、μi^∈R2は直線の勾配を記述するベクトルである。値Ωi
^およびμi^は、たとえば、各グループについて解くことにより求められる。
【0580】
【数88】
【0581】
【数89】
【0582】 ただし、xjおよびyjはエッジ点のグループ内の画像点のXおよびY座標、パラ
メータΠi∈R2は、i番目の直線のオフセットと勾配を与え、ξi^∈R1[度]
は角度として表される勾配である。式(69)により、Y軸に沿って測定した誤
差が最小になる。精度が最大になるようにするには、直線に垂直な軸に沿って測
定した誤差を最小にすることが望ましい。これは以下の精密化により実行される
【0583】 δξi^>εsである間以下を実行する
【0584】
【数90】
【0585】
【数91】
【0586】
【数92】
【0587】
【数93】
【0588】 ただし、ij(1)およびlj(2)は、それぞれ、ij∈R2ベクトルの第1
の要素と第2の要素、εsは停止条件を定めるもので、10-12となるような小さ
な数、式(67)のμi^はμi^=[cos(ξi^) sin(ξi^)]T
与えられる。
【0589】 点C^とi番目の最良適合直線との最小距離diは以下の式で与えられる。
【0590】
【数94】
【0591】 直線C^の集合の最良適合交差は、C^と各直線の間の平方和Σii 2を最小
にする点である。平方和距離は以下の式で与えられる。
【0592】
【数95】
【0593】
【数96】
【0594】
【数97】
【0595】 ただし、Qdは最小にすべき平方和距離、C^(1)、Ωi^(1)μi^(1)
はこれらのベクトルのX軸要素、C^(2)、Ωi^(2)、μi^(2)はこれ
らのベクトルのY軸要素、Πd’∈RN+2は、C^のX軸およびY軸の値を含む解
のパラメータとN本の直線のそれぞれに対するパラメータαiからなるベクトル
、行列Ad∈R(N+2)(N+2)および行ベクトルBd∈R(N+2)は、N本の最良適合直
線のパラメータからなる。
【0596】 式(76)は、式Qd=Σi N =1i 2で式(75)を展開すると導かれる。式(
76)は、以下の式によりC^について解くことができる。
【0597】
【数98】
【0598】
【数99】
【0599】 エッジ点のグループによって定義される直線が共通点と交差する角度は以下の2
つの誤差測定基準に関して定義される。
【0600】 ε1:向かい合う領域の向かい合うエッジ上の点が一直線上にない程度を示す
値であり、以下の式により与えられる。
【0601】
【数100】
【0602】 ただし、ljは式(71)〜(72)で与えられ、i番目の直線について評価さ
れる。
【0603】 ε2:向かい合う領域の向かい合うエッジ上の点を接続するN本の直線が共通
点と交差しない程度を示す値であり、以下の式により与えられる。
【0604】
【数101】
【0605】 ただし、diは式(75)で与えられる。
【0606】 要約すると、以下のようなアルゴリズムである。
【0607】 1.複数の半径の経路を考慮してマークの各領域の2N個のエッジに数個の点
を集め、点をaおよびgなどエッジをペアにすることでN個のグループに分類す
る。
【0608】 2.式(67)〜(74)を使用して点のN個のグループについてN本の最良
適合直線を求め、i番目の点グループに対しε1(i)を与えて、これらの点が
対応する最良適合直線上にない__e誤差求める。
【0609】 3.式(75)〜(80)を使用してN本の最良適合直線の交差点に最も近い
重心C^を求める。
【0610】 4.i番目の最良適合直線に対しε2(i)を与えて、最良適合直線のそれぞ
れと重心C^との距離を求める。
【0611】 5.以下の式により性能を計算する。
【0612】
【数102】
【0613】 K4.検出方法の組み合わせ 上述の検出方法は、様々な方法で配列し組み合わせることができる。一例とし
て、以下のようなものがあるが、本発明はこの例に限られるわけではないことは
理解されるであろう。
【0614】 ・最小光度から最高光度までの間の10対数間隔のしきい値で画像にしきい値
設定をしラベル付けをする。
【0615】 ・式(66)の性能測定基準J2を与えた、セクションK2で説明しているよ
うな、本質的に閉じた経路スキャンおよび領域分析。
【0616】 これにより、マーク候補を数を管理しやすい数にまで減らせる。マークのアー
トワーク上の日光のきらきらした光など画像の欠陥をなくすことで、制御されて
いない画像内容はいっさいJ2の計算に影響を及ぼさないため、偽陰性がない。
偽陽性検出の数は、画像に大きく依存している。場合によっては、この点で偽陽
性はない。
【0617】 ・式(83)のJ3を与え、セクションK3で説明しているように、マークの
領域のエッジを当てはめることによる精密化。これにより図に示されているよう
な画像内の偽陽性がなくなる。
【0618】 ・式(53)のJ1を与える位相回転の評価による詳細な精密化。
【0619】 ・性能測定基準のマージ。
【0620】
【数103】
【0621】 L.位置および向きの推定 L1.概要 シーン基準座標系とカメラ座標系との3次元(3D)での相対的位置および向
き(つまり、カメラ外部標定)は、3つの位置{X、Y、およびZ}および3つ
の向き{ピッチ、ロール、ヨー}の6個のパラメータを持つ。いくつかの従来の
標準マシン・ビジョン手法では、これらの変数のうち3つ、つまりX位置、Y位
置、およびロール角度を正確に測定できる。
【0622】 残り3つの変数(2つの平面はずれ傾斜角度ピッチおよびヨー、およびカメラ
と物体との距離、つまりzcam)は、従来のマシン・ビジョン手法を使用したの
ではまったく推定が難しく、正確に推定することは実質的に不可能である。7番
目の変数であるカメラ主距離は、カメラのズームと焦点によって異なり、カメラ
が較正された測量用カメラである場合に知られ、カメラが従来の写真用カメラの
場合は不明である可能性が高い。この変数は、また、従来のマシン・ビジョン手
法を使用したのでは推定が困難である。
【0623】 L1.1.近距離場と遠距離場 向き依存の反射体(ODR)を使用すると、ピッチおよびヨーを測定できる。
一実施形態によれば、遠距離場(ODRがカメラから遠い場合)において、ピッ
チおよびヨーの測定はZ位置または主距離の推定に結合されない。他の実施形態
によれば、近距離場では、ピッチ、ヨー、Z位置、および主距離の推定が結合さ
れ、まとめることができる。この結合により、アルゴリズムの複雑さが増すが、
位置と向きの完全6自由度(DOF)推定のメリットがあり、主距離の推定とい
うメリットもある。
【0624】 L2.座標フレームおよび変換 L2.1.基本事項 以下の資料は、「関連技術の説明」のセクションBおよびCで紹介したもので
あり、ここで詳しく取り扱う。
【0625】 画像測定分析では、多くの座標系またはフレーム(基準またはカメラ座標など
)に関して空間内の点を記述すると役立つ。図1および2に関して上述したよう
に、座標系またはフレームは一般に、3つの直交軸{X、Y、およびZ}を含む
。一般に、点Bの位置は、3本の軸のそれぞれに沿って位置を指定することによ
り、たとえばSB=[3.0,0.8,1.2]Tとして、記述することができ
る。そこで、点Bは、「フレームS」内、「Sフレーム」内、またはそれと同等
の、「S座標」内で記述されるといえる。たとえば、基準フレームに関して点B
の位置を記述する場合、「基準フレーム内の点Bは...」またはそれと同等で
あるが「基準座標内の点Bは...」と書ける。
【0626】 図2に示されているように、点Aはカメラ・フレームCに関して示されており
、表記cAが指定される。基準フレームr内の同じ点は、表記rAが指定される
【0627】 他のフレームに関するフレーム(つまり、座標系)の位置は、図2に示されて
いるように、回転と平行移動の両方を含む。用語cOrは、フレームcで表され
るフレームrの原点の位置である。点Aは、以下の式を使用して基準フレーム(
フレームr)で表される同じ点からカメラ座標(フレームc)内で決定される場
合がある。
【0628】
【数104】
【0629】c r R∈R3×3は、基準座標に関する表記を表し、cOrは、カメラ・フレームで
表されている基準座標フレームの原点の位置である。式(85)は、以下の式で
与えられる、フレームcからフレームrへの等質座標変換を使用して簡素化でき
る。
【0630】
【数105】
【0631】 ただし、 r cR∈R3×3は、カメラから基準フレームへの回転行列である。
【0632】 rOc∈R3は、基準座標内のカメラ・フレームの中心である。
【0633】 基準フレームからカメラ・フレームへの等質変換は以下の式で与えられる。
【0634】
【数106】
【0635】 ただし、c rR=r cTかつcOr=−c rrOcである。
【0636】 等質変換を使用すると、点Aは、以下の式を使用して、基準フレームで表され
る同じ点からカメラ座標内で決定される場合がある。
【0637】
【数107】
【0638】 等質変換を使用するには、位置ベクトルを1だけ増やす。たとえば、cA[3
.0 0.8 1.2]TcA=[3.0 0.8 1.2 1.0]Tとなり
、1.0は末尾に隣接する。これは、c rT∈R4×4とした場合にc rR∈R3×3
対応する。表記cAは、いずれの場合にも使用され、第4の要素を隣り合わせた
り取り除くことにより常に明確である必要がある(または2次元では等質変換に
第3の要素)。一般に、演算に等質変換が関わる場合、追加要素を結合する必要
があるが、それ以外の場合は取り除く。
【0639】 L2.2.回転: 2つの座標フレームは、図2に示されているように、回転と平行移動によって
互いに関連付けられる。一般に、フレームBからフレームAへの回転行列は以下
の式で与えられる。
【0640】
【数108】
【0641】 ただし、AB^は、Aフレームで表されるBフレームの単位Xベクトルであり、 AB^およびAB^についても同様である。3次元で回転を表現する方法は多数
あり、最も一般的なのはA BRなどの3×3回転行列である。また回転は、ピッチ
(γ)、ロール(β)、およびヨー(α)などの3つの角度で記述することもで
き、これは図2にも示されている。
【0642】 ピッチ、ロール、およびヨーの回転を視覚化するために、1)何が回転してい
るか、2)どのような順序で回転を行わせるかの2つの表記を念頭において置く
べきである。たとえば、一実施形態によれば、基準ターゲットは、カメラ・フレ
ームまたは座標系内の移動として考えられる。したがって、基準ターゲットが図
2に示されている基準フレーム74の原点にあった場合、+10°のピッチ回転
68(反時計回り)だと、Y軸が左に、Z軸は下に移動する。数学的には、回転
行列は可換でない、そこで以下の式が成り立つ。
【0643】
【数109】
【0644】 物理的には、ピッチを行い次にヨーを行うと、ヨーを行いその後にピッチを行う
ことで得られるのと異なる位置に達する。ここで使用するピッチ−ヨー−ロール
のシーケンスの重要な特徴は、ロールが最後であり、したがってロール角度は画
像内で直接測定される値であるという点である。
【0645】 一実施形態によれば、角度γ、β、およびαから、カメラ・フレーム内の基準
ターゲットの回転が得られる(つまり、外部標定の3つの向きパラメータ)。基
準フレームからカメラ・フレームへの回転行列c rRは以下の式で与えられる。
【0646】
【数110】
【0647】 ただし、Cβは、角度βのコサイン関数を示し、Sβは、角度θのサイン関数を
示し、対角配列はY軸を中心とするカメラ・フレームの180°の回転を反映し
、カメラのZ軸は基準ターゲットを指す(基準フレームのZ軸の反対という意味
で。以下の「回転した正規化された画像フレーム」を参照)。
【0648】 カメラ・フレームから基準フレームへの回転行列は以下の式で与えられる。
【0649】
【数111】
【0650】 向きは、基準ターゲットのピッチとして指定し、その後にヨーとして、そしてロ
ールとして指定する。
【0651】 L2.3.写真測量表記への接続 写真測量の文献でときおり見られる表記として以下のものがある。
【0652】 ロール κ(βではなく) ヨー φ(αではなく) ピッチ ω(γではなく) 回転の順序はふつう、c rRの場合と同様である。
【0653】 L2.4.フレーム 一実施形態による画像測定分析では、考慮する座標フレームがいくつかある(
たとえば、2つまたは3つの次元を持つ)。
【0654】 1.基準フレームrA 基準フレームの位置をシーンと揃え、基準ターゲット内の中心のに合わせる。
この説明の目的のために、基準フレームまたは、基準フレームとの空間的関係が
知られている測定フレームで測定を考察する。基準ターゲットがシーン内で平坦
な場合、シーンと基準フレームとの間でロール回転があり得る。
【0655】 2.測定フレームmA 基準平面内にないシーン内の重要な点は、基準フレームとの空間的関係が知ら
れている測定平面内にある場合がある。基準フレームから測定フレームへの変換 m r Tは以下の式で与えられる。
【0656】
【数112】
【0657】 ただし、
【0658】
【数113】
【0659】 ただし、α5、β5、およびγ5は任意の知られている、基準フレームと測定フレ
ームの間のヨー、ロール、およびピッチ回転であり、mOrは測定座標内の基準
フレームの原点の位置である。たとえば、図5に示されているように、ベクトル mOrは、測定平面23と基準平面21が合わさる点を選択することにより確定
できる。
【0660】 図5の特定の平面内で、測定平面23は、−90°のヨー回転により基準平面
21に関連付けられている。ヨー回転が90°であるという情報は、表面のある
空間を角度90°で構築するのに利用することができ、専用の情報が他の状況で
利用できる場合もある。回転の符号は、「右手の法則」と一致している必要があ
り、画像から決定できる。
【0661】 −90°のヨー回転がある場合には、式(91)から以下の式が得られる。
【0662】
【数114】
【0663】 3.ODRフレームDjA j番目のODRの座標フレーム。以下が成り立つように、基準フレームに関し
て回転できる。
【0664】
【数115】
【0665】 ただし、ρjは基準フレーム内のj番目のODRのロール回転角度である。OD
R領域の縦(一次)軸の方向ベクトルは以下の式で与えられる。
【0666】
【数116】
【0667】 図8および10Bの例では、基準フレームに関してODRのロール角度ρjは0
または90°である。ただし、ρjは任意のロール角度でよいことは理解される
であろう。
【0668】 4.カメラ・フレームcA カメラ原点(つまり、レンズのノード点)に張り付けられているZ軸はカメラ
から出てシーンに向かう。基準フレームとカメラ・フレームの間に180°のヨ
ー回転があり、基準フレームのZ軸は一般にカメラを指しており、カメラ・フレ
ームのZ軸は一般に基準ターゲットを指している。
【0669】 5.画像平面(ピクセル)座標ia カメラの画像平面内の点a(つまり、物点Aの投影)の位置、ia∈R2
【0670】 6.正規化された画像座標na 下記セクションL3で述べる。
【0671】 7.リンク・フレームLA リンク・フレームのZ軸の位置は、カメラ・ベアリング・ベクトル78(図9
)と揃えられ、基準フレームとカメラ・フレームとを接続する。これは、解釈基
準ターゲット基準物体でカメラの外部標定を決定する場合に使用される。
【0672】 リンク・フレームの原点は基準フレームの原点と一致する。
【0673】
【数117】
【0674】 カメラ原点は、リンク・フレームのZ軸に沿って配置されている。
【0675】
【数118】
【0676】 ただし、zcamは、基準フレーム原点からカメラ原点までの距離である。
【0677】 8.シーン・フレームSA 基準ターゲットは、シーンの平面内で平坦に置かれていると仮定されるが、回
転がある場合がある(基準ターゲット上の−y軸はシーン内で垂直下方でない場
合がある)。ロール角度(基準ターゲット座標内のz軸を中心とする)はロール
角度β4で与えられる。
【0678】
【数119】
【0679】 L2.5.角度集合 前記から、一実施形態によれば、画像処理方法は向き角度の5つの集合に関し
て記述できることは理解されるであろう。
【0680】 1.カメラ・フレーム内の基準ターゲットの向き:r cR(γ,β,α)、(つ
まり、外部標定の3つの向きパラメータ) 2.基準フレーム内のリンク・フレームの向き:r LR(γ2,α2)、(つまり
、カメラ・ベアリング角度) 3.リンク・フレーム内のカメラの向き:c rR(γ3,β3,α3) 4.シーン内の基準ターゲット(つまり、基準フレーム)のロール(基準ター
ゲットで生じる、Y軸は正確には垂直ではない):S rR(β4) 5.基準フレーム内の測定フレームの向き:m rR(γ5,β5,α5)(一般に
、構築された空間について90度のヨー回転) L3.カメラ・モデル 正規化された画像座標を導入することにより、カメラ・モデル特性(内部標定
)をカメラおよび基準ターゲット幾何形状(外部標定)から分離する。正規化さ
れた画像座標は図41に示されている。点から点ia 51’にあるカメラ原点
66を通る光線80がカメラ22の画像処理平面24で交差するシーン20内の
rA 51を画像処理する。
【0681】 カメラ座標のZc=1に正規化された画像平面24’を導入すると、rAから
の光線80が正規化された画像平面と点na 51”で交差する。カメラおよび
シーンを知ってnaを求めるには、rAをカメラ座標で表す。
【0682】
【数120】
【0683】 ただし、
【0684】
【数121】
【0685】 カメラ座標内の光線80のZ成分が1メートルになるように正規化すると、次
のようになる。
【0686】
【数122】
【0687】 式(97)は、「関連技術の説明」のセクションCで説明している共線形式のベ
クトル形式である。
【0688】 画像座標naなどの画像平面24の場所は、画像処理により決定される。正規
化された画像座標naは、以下の式でiaから導かれる。
【0689】
【数123】
【0690】 ただし、Pa∈R3は、中間媒介変数であり、i nTは以下の式で与えられる。
【0691】
【数124】
【0692】 ただし、 i nT∈R3×3は、2次元(2D)正規化画像座標から2D画像座標へのマッピ
ングの等質変換である。
【0693】 dは、カメラの主距離84[メートル]である。
【0694】 kxは、デジタル・カメラに対する画像平面24のX軸そう倍率[ピクセル/
メートル]である。
【0695】 kyは、デジタル・カメラに対する画像平面24のY軸そう倍率[ピクセル/
メートル]である。
【0696】 x0およびy0は、光軸が実際に画像平面と交差するデジタル・カメラの主点の
画像座標系内のXおよびY座標[ピクセル]である。
【0697】 デジタル・カメラでは、kxおよびkyは、通常、メーカー仕様から正確にわか
る。主点値x0およびy0は、カメラ同士、また時間の経過によっても変わり、し
たがって、カメラごとに較正する必要がある。主距離dは、もし存在すればズー
ムと、焦点調整に左右され、画像ごとに推定する必要がある場合がある。i nTの
パラメータは、通常、カメラの「内部標定」パラメータと呼ばれる。
【0698】 L3.1.画像の歪みとカメラ較正 図1の中心投影モデルは理想化されたものである。実際のレンズ系では、レン
ズの半径方向の歪みが入るか、またはアナログ・カメラの場合の接線方向の(つ
まり、センタリング)歪みやフィルム変形などのその他の種類の歪みが入る(た
とえば、Atkinsonのテキストの2.2章または6章を参照のこと)。
【0699】 座標フレーム間の変換、たとえば、図1に関して説明しているc rTとは反対に
、画像歪みは1つの座標フレーム内のマッピングにより取り扱われる。画像座標
内の重要な点の位置は、セクションKで説明しているように、画像処理、たとえ
ば、基準マークの検出により測定される。これらの測定された位置は、重要な点
が歪みのない画像内に置かれる場所にマッピングされる(つまり変換される)。
【0700】 画像歪みの補正の一般的形式は以下のように書ける。
【0701】
【数125】
【0702】 ただし、fcは画像歪みプロセスの逆モデル、Uは歪みモデル・パラメータのベ
クトル、このセクションの目的に関して、ia *は、画像内の重要な点の歪みの
ない位置である。fc(U,・)の数学的形式は、モデル化される歪みによって
異なり、パラメータの値は、カメラとレンズの詳細によって決まる。パラメータ
Uの値を決定する作業は、カメラ較正のプロセスの一部であり、一般に経験に基
づいて行う必要がある。たとえば、半径方向のレンズの歪みのモデルは以下のよ
うに書ける。
【0703】
【数126】
【0704】
【数127】
【0705】
【数128】
【0706】
【数129】
【0707】 ただし、fc(U,・)は式(101)〜(104)で与えられ、ia=[xa
aTは、重要な点a、たとえば図1の51’の測定された位置であり、U[K 123]Tはカメラ較正の一部として決定したパラメータのベクトルであ
り、δiaは半径方向のレンズの歪みで持ち込まれる重要な点aの画像位置のオ
フセットである。他の歪みモデルは、式(101)〜(104)およびパラメー
タ・ベクトルU内の適切なモデル・パラメータを置き換える適切な関数で同様の
方法により特徴付けることができる。
【0708】 半径方向のレンズの歪みは、特に、市販のデジタル・カメラに著しい場合があ
る。多くの場合、単一の歪みモデル・パラメータK1で十分である。パラメータ
は、画像の十分な領域にまたがる制御点(つまり、空間的関係が知られている点
)が十分にある較正画像を分析することにより、決定できる。歪みモデル・パラ
メータはほとんどの場合、最小自乗当てはめプロセスにより推定される(たとえ
ば、Atkinsonの2章および6章を参照のこと)。
【0709】 式(100)の歪みモデルは、写真測量の分野でもっともふつうに使用されて
いる数学的形式と異なるが(たとえば、Atkinsonの2章および6章)、
実際の画像から正規化された画像座標へのマッピングのプロセスを次のようにコ
ンパクトな形式で書けるという利点がある。
【0710】
【数130】
【0711】 ただし、naは正規化された画像座標内の重要な点aの歪み補正した位置、n i
i n-1∈R3×3は等質変換行列、[fc(U,ia^) 1]Tは等質変換表現
に必要な強化を行ったベクトル、関数fc(U,・)は歪みで持ち込まれる非線
形性を含む。それとは別に、式(105)は以下のように書ける。
【0712】
【数131】
【0713】 ただし、かっこは、n iT(・)が場合によっては、非線形マッピングfc(U,
・)の非線形マッピングと等質変換n iTを組み合わせたものであることを示して
いる。
【0714】 式(100)の表記を使用すると、セクションAの式(9)の一般的マッピン
グは以下のように書ける。
【0715】
【数132】
【0716】 さらに、セクションAの式(10)の一般的マッピングは以下のように書ける。
【0717】
【数133】
【0718】 ただし、iaは画像内で測定した重要な点の位置(たとえば、図1内の画像24
の51’)、fc -1(U,ia)は画像歪みプロセスの前進モデル(たとえば、
式(101)〜(104)の逆)、i nTおよびc rTは等質変換行列である。
【0719】 L4.iaを与えてrAを求める画像測定問題 位置rAは、画像ia内の位置から求められる。これは、画像が2次元で、r
Aが点を3次元で表現するため、単に変換ではない。一実施形態によれば、追
加制約条件は、rAが基準ターゲットの平面内にあるという加点から出る。式(
98)を逆にすると、次のようになる。
【0720】
【数134】
【0721】 ベクトルnaが基準平面と交差する位置を発見するために、ベクトルを基準座標
内に回転し、Z座標がrOc(3)に等しくなるように縮尺する。
【0722】
【数135】
【0723】
【数136】
【0724】 ただし、raは、カメラの中心から基準座標内のnaへのベクトルを表す中間結
果であり、rOc(3)とrP(3)は各ベクトルの第3(またはZ軸)要素を表
し、また、r cRは、外部標定の3つの向きパラメータを含み、rOcは外部標定
の3つの位置パラメータを含む。
【0725】 式(109)〜(110)の方法は、基準フレームとの空間的関係が知られて
いる座標フレームにおける測定に対し本質的に変更がない。たとえば、測定フレ
ームm(たとえば、図5の57に示されている)があり、式(91)に関して説
明したm rRおよびmOrが知られている場合、式(109)〜(110)は以下
のようになる。
【0726】
【数137】
【0727】
【数138】
【0728】 ただし、
【0729】
【数139】
【0730】 このセクションの前記の資料は、式(11)に関して、本質的に「関連技術の
説明」のセクションGの説明のさらに詳細な取り扱いである。式(111)およ
び(112)は、図5に関して説明したように、基準平面から測定平面への変換
が関わる場合もある「総合的な」解を与える。
【0731】 L5.画像処理方法例の詳細な説明 一実施形態によれば、画像測定方法ではまず、少なくともいくつかのカメラ較
正情報の初期推定を決定する。たとえば、この方法では、仮定したパラメータ、
推定したパラメータ、または知られている内部標定パラメータ(たとえば、カメ
ラ・メーカーからの)の推定値を求めることができる。カメラ較正情報のこれら
の初期推定に基づき、その後これらの推定を精密化するために最小自乗反復アル
ゴリズムを使用できる。
【0732】 L5.1.初期推定方法例 初期推定方法の一例を、図8または10Bに示されている基準ターゲット・ア
ートワークに関して後述する。一般に、この初期推定方法では、カメラ内部標定
パラメータの妥当な推定または知識、基準ターゲット・アートワークの詳細な知
識(つまり、基準情報)を想定し、かつ画像内の基準ターゲットを自動検出する
こと、基準ターゲットの画像をアートワーク・モデルに当てはめること、基準タ
ーゲットのODRから向き依存の放射を検出すること、ODR放射からカメラ・
ベアリング角度を計算すること、カメラ・ベアリング角度およびターゲット基準
情報に基づいてリンク・フレーム内のカメラ位置と向きを計算すること、および
最終的に基準フレーム内のカメラ外部標定を計算することを必要とする。
【0733】 L5.1.1.基準ターゲット・アートワーク・モデル例(つまり、基準情報
例) 1.基準マークを基準フレーム内のそれぞれの中心により記述する。
【0734】 2.ODRを以下により記述する。
【0735】 (a)基準フレームrODj内の中心。
【0736】 (b)ODRの半分の長さおよび半分の幅(length2,width2
) (c)基準フレームからODRフレームへのロール回転
【0737】
【数140】
【0738】 ただし、ρjはj番目のODRのロール回転角度である。
【0739】 L5.1.2.基準ターゲット幾何形状の解 基準マーク(RFID)のある画像内の基準ターゲット幾何形状を決定するに
は、基準ターゲットRFIDを画像RFIDと照合する必要がある。これは以下
の方法で行う。
【0740】 1.画像内のRFIDを求める(たとえば、セクションKを参照のこと)。
【0741】 2.基準ターゲットRFIDに対する画像RFIDの一致順序を求める。
【0742】 3.RFIDのパターンの中心を決定する。
【0743】 4.基準フレームからカメラ・フレームへの近似的座標変換の最小自乗解。
【0744】 L5.1.3.RFID順序を見つける 基準ターゲット・アートワークに含まれるNFIDsという堅牢な基準マーク(R
FID)は、画像処理で検出され画像内に配置される。基準情報から、アートワ
ーク内のNFIDs基準位置は知られる。検出プロセスには順序はなく、したがって
、アートワークを画像とマッチングする前に、rFjiFjに対応するようにR
FIDをマッチングする必要があるが、ただしrFj∈R2は基準フレーム内のj
番目のRFIDの中心の位置、iFj∈R2は画像内で検出されたj番目のRFI
Dの中心の位置、j∈{1..NFIDs}である。RFIDのマッチングを容易に
するために、RFIDが凸パターンを形成するように設計すべきである。大きな
ロール回転に対する堅牢性が望ましい場合(以下のステップ3を参照)、RFI
Dのパターンはかなり非対称的であるか、または一義的なRFIDは、サイズや
領域の数、色などの他の手段で識別可能であるべきである。
【0745】 4つのRFIDを含むRFIDは、図40に示されている。RFIDの順序は
、3つのステップのプロセスで決定される。
【0746】 ステップ1:RFIDパターンの内側の点を見つけて、NFIDs RFIDのそ
れぞれに対する角度φjをソートする。基準フレームおよび画像フレームのそれ
ぞれのRFIDパターンの内点は、それぞれのフレーム内のNFIDs位置の平均を
とることにより見つけられる。
【0747】
【数141】
【0748】 RFID位置の平均値rFおよびiFは、それぞれのフレーム内の基準パターン
の内側の点を与える。
【0749】 ステップ2:基準フレームおよび画像フレームのそれぞれにおいて、対応する
フレームのX軸と、内点と各RFIDとの間の直線とのなす角度φj、たとえば
図40のφ2などを測定し、角度を最大から最小にソートして、RFIDを一義
的に順序付ける。これにより、ロール回転によって持ち込まれる可能性のある順
列を除く対応関係において、基準フレームと画像フレームのそれぞれのRFID
の順序付きリストにより得られる。基準フレームと画像フレームとの間にロール
回転がほとんどまたはまったくない場合、2つのフレーム内の一義的に順序付け
られたRFIDの順次マッチングにより必要な対応関係が得られる。
【0750】 ステップ3:式(92)のシーンに関するカメラの回転βまたは式(96)の
シーンのアートワークの回転β4で生じる基準フレームと画像フレームの間の著
しいロール回転については、RFIDの少なくとも1つの一義的な属性を利用す
るか、またはRFIDのパターン内の実質的非対称性を利用して対応できる。画
像(または基準)フレーム内のRFIDの順序付きリストは並べ替えができ、対
応関係の適切さについて2つのリストをテストできる。
【0751】 L5.1.4.画像内のODRの検索 基準座標から画像座標への近似的2D変換を求めるには3つまたはそれ以上の
RFIDで十分である。
【0752】
【数142】
【0753】 ただし、iFj∈R3は、等質変換で使用するため強化されている画像座標内のR
FIDの中心、i r2R3×3は、本質的に2Dのアートワークと2D画像との間
の近似的2D変換、rFj∈R3は、等質変換で使用するため強化されている、i
Fjに対応する基準座標内のRFIDの中心のXおよびY座標である。
【0754】 近似的2D変換を使用して、画像内のODRを特定し、向き依存の放射を分析
する。2D変換は、深さに関する情報をいっさい含まないため、そのように識別
される。これは、平坦なアートワークに対する、極限zcam→∞での正確な幾何
学モデルである。基準アートワークが平坦で、カメラと基準アートワークの間の
距離zcamが十分に大きい場合、以下のように書ける。
【0755】
【数143】
【0756】 変換行列i r2のパラメータa、b、c、d、e、およびfは以下の最小自乗当
てはめで見つけられる。
【0757】
【数144】
【0758】 i r2が求められたら、i r2を基準情報に適用し基準ターゲット・アートワー
ク内の各ODRの位置を指定することによりODRのそれぞれに対応する画像領
域を決定できる。特に、画像内の各ODRの隅は、i r2と基準情報を知ること
により識別できる。
【0759】 L5.1.5.ODR放射の検出 基準マークに基づき、2次元画像領域はODRごとに決定され(つまり、OD
R放射パターン)、2次元画像領域内の光度がODR領域の一次軸に投影され、
累積される。累積の問題は、放射パターンの位相の検出を保存する方法でODR
の一次軸に、ピクセルの2次元領域をマッピングすることである。エイリアシン
グ効果が形を変えて位相誤差になる場合があるためこのマッピングは敏感である
。光度の累積は、以下によりODRごとに行われる。
【0760】 1.j番目のODRの一次軸に沿ってビンの数Nbins(j)を定義する。
【0761】 2.j番目のODRの画像領域内のピクセルごとに、ピクセルの中心が入るビ
ンのインデックスkを決定する。
【0762】 3.ビンごとに、合計とビン内に入るピクセルの重み付き合計を累計して、平
均値と最初のモーメントを計算する。
【0763】 (a)j番目のODRのビンkの平均光度は以下の式で与えられる。
【0764】
【数145】
【0765】 ただし、Nj(k)はビンkに入るピクセルの数であり、λ(i)はi番目の
画像ピクセルの測定された高度であり、Lは平均光度である。
【0766】 (b)光度の中心(第1のモーメント)は以下の式で与えられる。
【0767】
【数146】
【0768】 ただし、ij^(k)∈R2はビンk内の光度の第1のモーメントODRjで
あり、iP(i)∈R2はピクセルiの中心の画像位置である。
【0769】 L5.1.6.ODR回転角度θjからのカメラ・ベアリング角度α2およびγ 2 の決定 リンク・フレームのZ軸は、図9の78に示されているように、基準フレーム
中心の原点をカメラ・フレームの原点に接続する。カメラ・ベアリング角度(図
9に関して説明している)と呼ばれるリンク・フレームのピッチおよびヨーが、
それぞれのODR回転角度から導かれる。カメラ・ベアリング角度はα2(ヨー
またはアジマス)およびγ2(ピッチまたは仰角)である。カメラ・ベアリング
はロールに関係なく2点を接続するため、ロール角度はない。
【0770】 リンク・フレームから基準フレームへの回転は以下の式で与えられる。
【0771】
【数147】
【0772】 リンク・フレームのアジマスと仰角の角度α2およびγ2は、基準ターゲットの
ODRから決定される。Dj rRが与えられたとすると、j番目のODRで測定し
た回転角度θjは回転したベアリング角度の第1の要素により与えられる。
【0773】
【数148】
【0774】 ただし、表記Dj rR(1,:)は行列の第1行を指している。したがって、ピッ
チおよびヨーは以下の式によりθjから決定される。
【0775】
【数149】
【0776】 (行列の疑似逆行列は、2つよりも多いODR領域を測定した場合に使用される
)。カメラ・ベアリング・ベクトルは以下の式で与えられる。
【0777】
【数150】
【0778】 ODRフレームでベアリング・ベクトルを表すと次のようになる。
【0779】
【数151】
【0780】 測定された回転角度θjは、以下の式によりベアリング・ベクトルに関連付け
られる。
【0781】
【数152】
【0782】 基準フレームの中心がODRフレームのY軸にあるときに、DjOr(1)=0
かつDjOr(3)=0が成り立つ。したがって、式(116)および(117)
を組み合わせると以下が得られる。
【0783】
【数153】
【0784】 ODR角度θjが測定され、基準情報が知られている場合、式(118)には
γ2およびα2という2つの未知数がある。これらの項を出すと、以下のように書
ける。
【0785】
【数154】
【0786】 ただし、
【0787】
【数155】
【0788】 および
【0789】
【数156】
【0790】 式(119)をh1およびh2について解くと、α2およびγ2を求めることがで
きる。ODRが多数ある場合、式(119)は最小自乗解に役立つ。DjOr(1
)=0かつDjOr(3)=0が成り立つ式(118)で使用する制限は緩和でき
る。zcam>>|[DjOr(1) DjOr(3)]|の場合、式(118)は有
効な近似式となり、真の値に近いα2およびγ2について値を求められる。
【0791】 L5.1.7.リンク・フレーム内のカメラ位置および向きの計算、r LRおよ
cOrの導出 投影座標を使用すると、以下のように書ける。
【0792】
【数157】
【0793】 ただし、 cAは、カメラ座標系内の基準マークの3D座標である(未知)。
【0794】 naは、基準マークの画像点iaの正規化された画像座標である(画像から知
られている)。
【0795】 cA(3)は、カメラ・フレーム内の基準マークPAのZ軸座標である(未知
)。
【0796】 式(120)を使用しカメラ座標への参照を変換することで、以下を求めるこ
とができる。
【0797】
【数158】
【0798】 ただし、cOrは、カメラ・フレーム(未知)内の基準フレーム原点であり、カ
メラ・ベアリング・ベクタも表す(図9)。
【0799】 回転L rRはODRから知られ、点rAが基準情報から知られており、LA(お
よび同様にLB)を以下の式から計算できる。
【0800】
【数159】
【0801】 基準情報から知られている基準フレームの位置rAおよびrBの基準ターゲッ
トの画像内に現れる少なくとも2つの基準マークを使用すると、以下の式を書け
る。
【0802】
【数160】
【0803】 ただし、dAcA(3)かつdBcB(3)[メートル]。これら2つの方程
式は、「修正された」共線形式とみなすことができる。
【0804】 これらの2つの式を引くと以下の式が得られる。
【0805】
【数161】
【0806】 基準フレームの画像点対応原点(中心)iOrは、たとえば、rOrの基準マーク
、基準マークを接続する直線の交差点、または変換i r2を使用して決定される
iOrに対応する正規化された画像点である点nOrは、カメラ中心から基準タ
ーゲット中心へ進む光線を定め、それに沿ってcL^が置かれている。
【0807】
【数162】
【0808】 回転c LRは以下のように書ける。
【0809】
【数163】
【0810】 XL^などは、リンク・フレーム軸の単位ベクトルである。回転行列は以下の式
で与えられる。
【0811】
【数164】
【0812】 したがって、α3およびγ3は以下の式から求められる。
【0813】
【数165】
【0814】 ただし、カメラ・フレームとリンク・フレームとの間が180°ヨーであるため
180°が加えられる。sin-1の範囲は−90°...90°である。カメラ
・フレームからリンクへのピッチ回転は以下の式で与えられる。
【0815】
【数166】
【0816】 以下のように書ける。
【0817】
【数167】
【0818】 式(122)は以下のように書ける。
【0819】
【数168】
【0820】 ただし、
【0821】
【数169】
【0822】 d1およびd2は、β3項をくくりだしたr cRの最初の2つの列を表す。式(12
5)は以下の配列し直すことができる。
【0823】
【数170】
【0824】 ただし、
【0825】
【数171】
【0826】 式(126)の連立方程式は、4つの未知数がある4つの式であり、3つの式
は3つの空間的次元からのものであり、非線形制約は以下のとおりである。
【0827】
【数172】
【0828】 未知数は、{dA,dAB,Cβ3,Sβ3}である。
【0829】 この方程式は、以下の式で解ける。
【0830】 1.4つの未知数のある3つの式からなる線形連立方程式を設定する。
【0831】
【数173】
【0832】 2.行列Q∈R3×4。解は、Qの行空間からの寄与分とQのヌル空間からの寄
与分を含む。行空間の寄与分は以下の式で与えられる。
【0833】
【数174】
【0834】 3.ヌル空間からの寄与分は、制約条件を満たすと決定できる(127)。
【0835】
【数175】
【0836】 ただし、NQは、Qのヌル空間であり、ψ∈R1を決定するものとする。
【0837】 4.ψについて解く。
【0838】
【数176】
【0839】 これは以下の式を与える。
【0840】
【数177】
【0841】 5.この二次方程式には2つの解がある。
【0842】
【数178】
【0843】 正しい解の枝は、dA=B(1)=cA(3)の正の値を与えるものである。
【0844】 式(129)の解により、{dA,dAB,Cβ3,Sβ3}の値が決定され、c L
Rを見つけることができる。ベクトルcOLは以下のように近似的に与えられる
(正確には、rA=[0 0 0]Tの場合に正確に与えられる)。
【0845】
【数179】
【0846】 ステップ1から5で、式(123)および(124)を使用すると、カメラ位
置および向きをリンク座標で推定することができる。セクションL5.1.6で
説明したように、ODR情報の解釈により、基準座標内のリンク・フレームの向
きの推定を行うことができる。基準座標におけるカメラの位置および向きを組み
合わせて推定できる。
【0847】 L5.1.8.初期外部標定推定(つまり後方交会法)の完了 後方交会法の共線形式は、式(10)で以下のように表される。
【0848】
【数180】
【0849】 ただし、式(91)から
【0850】
【数181】
【0851】 上述のようにリンク・フレームを中間フレームとして使用し、
【0852】
【数182】
【0853】 ただし、セクションL5.1.6で、少なくとも2つのODRからの情報を使用
してL rRを決定し、セクションL5.1.7で、少なくとも2つの基準マークか
らの情報を使用してc LRおよびcOrcOLを決定した。c rRから、角度α、β
、γを決定できる。
【0854】 L5.1.9.他の初期推定方法例 セクションL5.1.6およびL5.1.7で概要を説明している方法の他に
、外部標定パラメータの推定値を以下の方法で求めることができる。
【0855】 1.セクションKの式(59)で説明されているように、堅牢な基準マークか
ら得られる累積位相回転信号からピッチとヨーを推定する。
【0856】 2.基準アートワーク内の2つの基準マーク間のベクトルと、2つの基準マー
クの対応する画像間の画像内の座標との間のベクトルがなす角度から直接ロール
を推定する。
【0857】 3.付録Aで説明しているODRの近距離場効果を使用してターゲット距離(
cam)を推定する。
【0858】 4.基準フレームの原点の画像座標からパラメータcOr(1)/cOr(3)
およびcOr(2)/cOr(3)を推定する(原点の基準マーク、基準マークを
接続する直線の交差点、または変換行列i r2を使用して求める)。
【0859】 5.zcamCOr(1)/cOr(3)、cOr(2)/cOr(3)の推定値
を組み合わせてcOrを推定する。
【0860】 外部標定の初期推定値を求める他の方法も使用でき、一態様では、最小自乗反
復が収束するような真の解に十分近い初期推定値であることが唯一の必要条件で
ある。
【0861】 L5.2.推定の精密化、カメラの完全較正 一般的モデル形式は以下の式で与えられる。
【0862】
【数183】
【0863】 ただし、v^∈Rmは、m個の測定済みデータ(たとえば基準マークの中心とO
DR領域の光度分析を含む)、v∈Rmは、基準情報およびカメラ較正データを
使用して予測したm個のデータのベクトル、F(・)は、基準情報およびカメラ
較正データに基づいて測定済みデータをモデル化する関数である。基準情報およ
びカメラ較正パラメータの値は、決定すべきn個のパラメータのベクトルu∈R n と、定数パラメータのベクトルcとに分割される。u+cの複数のパラメータ
は、いろいろな方法で、u(推定対象)とc(定数、知られている)とに分割す
ることができる。たとえば、アートワークのパラメータが正確に知られている場
合、基準情報はcで表される。カメラがきちんと較正されている場合、内部標定
および画像歪みパラメータは、cに入り、外部標定パラメータのみがuに入る。
主距離dが知られておらず、ベクトルuに含まれることになる非測量用カメラで
はよくあることである。カメラ較正については、追加内部標定および画像歪みパ
ラメータがuに入る。一般に、u内のパラメータの個数が多いほど、正確な推定
を行うために、データ・ベクトルv内に多くの情報が存在する必要がある。
【0864】 ベクトルuは、後述のニュートン−ラフソン反復法で推定できる。これは、セ
クションHで式(14)とともに説明している一般化関数モデルの一実施形態で
あり、多少修正した表記で記述している。
【0865】 u0^:拡大縮小されたパラメータの推定値 i=0...(Ni−1)について
【0866】
【数184】
【0867】 ただし、 Niは、ニュートン−ラフソン法の反復回数である。
【0868】 v^∈Rmは、測定済みデータである。
【0869】 εi∈Rmは、i番目のステップの推定残差である。
【0870】 S∈Rnxnは、逆行列の条件を改善するためパラメータを拡大縮小する行列で
ある。
【0871】
【数185】
【0872】 u0^=S-10は、拡大縮小した初期パラメータである。
【0873】 W∈Rmxmは、データに重みを付ける行列である。
【0874】 ・式(133)の反復は、パラメータ更新のサイズが停止しきい値よりも小さ
くなる、つまり|δui|<StopThresholdとなるまで実行される
。これにより、Niが決定される。
【0875】 ・モデル・パラメータをuとcとに分ける仕方は異なる場合があり、いつでも
すべてのパラメータを更新する必要はない。
【0876】 ・拡大縮小は、u=Su^により実装されるが、uはパラメータのベクトルで
ある。式(133)の逆行列を求めるステップは、パラメータが広い範囲の数値
にまたがり、拡大縮小を使用してu^の要素がほぼ同じサイズになるように拡大
縮小する場合、あまりよくない条件であることがある。多くの場合、siは、対
応するuiの代表値に匹敵する大きさを持つように選択される。
【0877】 画像座標、正規化画像座標、およびターゲット座標を含むεiを計算できる座
標フレームがいくつかあり得る。画像座標が使用されるのは、データがここでは
モデル・パラメータを参照せずに直接表されるからである。画像座標を使用する
場合は、式(133)の微分はすべて、画像座標変数に関して計算する必要があ
る。
【0878】 式(133)の反復を実行するには、モデルで予測したデータ、viを、パラ
メータ内のデータの微分(dv/du)uiとともに計算する必要がある。これら
の数量の計算とさらにSおよびWの決定については、次の3つのセクションで説
明する。
【0879】 L5.2.1.viの計算 基準情報およびカメラ較正をもとに予測されるデータは以下の式で与えられる
【0880】
【数186】
【0881】 ただし、iFj(1)は、j番目の基準マークの予測されるX座標、同様にiFj (2)は、j番目の基準マークの予測されるY座標、NDは、ODR領域の個数
であり、j番目のODR領域のk番目のビン内の予測光度はj∈{1..ND
、k∈{1..Nbins(j)}としてLj^(k)と書かれ、kの範囲は、各O
DR領域の光度の累積に対し異なる数のビンを使用できることを示す(セクショ
ンL5.1.5を参照)。
【0882】 図8および10Bの基準アートワーク例では、4つの基準マークの測定された
XおよびY位置に対応する8個のデータと、全部で4つのODR領域内の位置の
関数として光度に対応する344個のデータがある(図8では、122Aおよび
122Bで示されているODRはそれぞれ、2つの領域を含み、領域は示差モー
ド感知を実現するように回折格子周波数を選択することにより配列され、図10
Bでは、4つのODRがあり、それぞれ1つの領域を含み、示差モード感知を実
現するように配列されている)。
【0883】 予測された基準中心は、式(97)おおび(98)を使用して計算する。光度
値は、式(48)を使用して予測される。
【0884】
【数187】
【0885】 ただし、ij^(k)∈R2は、j番目のODRのk番目のビン内の照度の最初
のモーメント、fj^(k)∈R3は、ODRの前面に投影された対応する点(
uおよびc内のカメラ較正パラメータを使用する)、Lj^(k)は、前面点f j ^(k)でモデルにより予測される輝度の値(パラメータa0(j)およびa1
(j)を使用する)である。
【0886】 L5.2.2.モデル・パラメータに関するデータ微分の決定 説明の目的のために、外部標定の、主距離、およびODRパラメータ{ν0
0、a1}の推定値についてこのセクションで考察し、u∈R7+3NDとする。図
8および10Bのアートワークについては、ODRごとに2つのODR領域があ
り、ND=4であり、パラメータは19個、つまりu∈R19である。uベクトル
内のモデル・パラメータの次数は以下のとおりである。
【0887】
【数188】
【0888】 ただし、cor T∈R3は、カメラ座標内の基準アートワーク位置(基準フレーム
原点)を表す。他の実施形態では、さらに、3つの追加内部標定パラメータと、
画像歪みモデルのパラメータを含む場合がある。
【0889】 モデル・パラメータに関する基準マーク位置の微分の決定 基準マーク(RFID)の画像座標位置は、式(108)で与えられた座標変
換を使用してアートワーク内の知られている位置(つまり、基準情報)から計算
されるが、ただし、fc -1(・・)およびc rTおよびi nTは、外部標定、内部標
定、およびカメラ較正パラメータによって決まるが、ODR領域のパラメータに
は左右されない。
【0890】 この微分の計算では、rAに依存するdcA/duが必要であり、以下の式で
与えられる。
【0891】
【数189】
【0892】 ただし、
【0893】
【数190】
【0894】 さらに、dr cR/dγ∈R3×3は、γに関する回転行列の要素ごとの微分である
。式(92)から、以下が求められる。
【0895】
【数191】
【0896】 また、他の3つの回転行列の微分についても同様である。
【0897】 式(97)および(98)から始めると、ピクセル座標の微分は以下の式で与
えられる。
【0898】
【数192】
【0899】 ただし、部分配列は、MATLAB表記を使用して識別し、A(1,:)はAの
1番目の行、B(:,7)はBの7番目の列を表し、Cが3ベクトルの場合、C
(1:2)はベクトルCの1から2までの要素を表す。式(136)内のrA
j番目のRFIDの位置rFjに対応する基準座標内の位置のとき、dio/d
uはパラメータuに関するj番目のRFIDの画像座標内の位置の微分である。
【0900】 L5.2.3.モデル・パラメータに関する向きに依存する放射Lj^(k)
の微分の決定 Lj^(k)の微分の計算は次のように進行する。
【0901】 1.各ビンの光度の中心の知られているピクセル座標をODRの点に変換する
ij^(k)→fj^(k))。
【0902】 2.変換の微分dfj^(k)/dij^(k)は以下のように計算される。
【0903】
【数193】
【0904】
【数194】
【0905】
【数195】
【0906】
【数196】
【0907】 3.点fj^(k)を以下のようにODR領域の縦軸に投影する。
【0908】
【数197】
【0909】 ただし、rDjは、基準座標内のODR領域の縦軸にそった単位ベクトル、rOc は、ODR領域の基準座標中心である。
【0910】 4.微分dδbx/dfj^(k)をfj^(k)||で計算する。この微分
は、式(J21)および(J22)に従う。
【0911】 5.これらのパラメータに関する後回折格子変位の微分を以下のように計算す
る。
【0912】
【数198】
【0913】 6.ODRの縦軸に沿うdδbx/duの成分は以下のように考えられる。
【0914】
【数199】
【0915】 7.これらのパラメータに関する画像内の点でのモアレ・パターン(つまり三
角波)位相の微分は以下の式で与えられる。
【0916】
【数200】
【0917】 ただし、ベクトル[0...1...0]∈R1xNrは、微分に対するν0パラメ
ータの寄与を反映している。
【0918】 8.最後に、これらのパラメータに関する画像内の点でのモアレ・パターン輝
度の微分は以下の式で与えられる。
【0919】
【数201】
【0920】 ただし、第1の項は次元が1×(7+ND)で、拡張外部標定パラメータおよび
ν0による微分を含み、第2の項は次元が1×2NDで、パラメータa0およびa1 に関する微分を含む(式(J25)を参照)。
【0921】 9.これらのパラメータに関するデータの微分は以下の式で与えられる。
【0922】
【数202】
【0923】 ただし、NFIDは基準マークの個数、NlはND個のODR領域からの光度読み取
り値の総数、0の項[0]∈R2NFID×3NDは、基準位置がODR領域パラメータ
に依存しないという事実を反映する。
【0924】 L5.3.重み付けおび拡大縮小行列の決定 重み付け行列Wおよび拡大縮小行列Sは、推定値の精度、反復の挙動、および
逆行列を求める操作の条件を決定する際に重要な役割を果たす。行列W∈R(2NF ID+Nl) ×(2NFID+Nl)およびS∈R(7+3ND)×(7+3ND)は、通常対角行列であり、こ
れを使用すると、式(133)の評価効率が改善される。Wの要素は、データ点
のそれぞれに対する重みをなす。これらの重みを使って、以下の操作を行う。
【0925】 ・基準マークの当てはめを行いながら、当てはめの第1段階でODRデータの
考慮を止める。
【0926】 ・基準マークに付ける相対的重みを制御する。
【0927】 ・ビンに入るピクセルの個数に応じてODR光度データに重みを付ける(式(
114)を参照)。
【0928】 ・ODR光度データに窓を設定する。
【0929】 Sの要素は、各変数の予想される範囲に応じて設定する。たとえば、cOr
3)は数メートルでよいが、dは通常数分の1メートルであり、したがって、S
(6,6)はS(7,7)よりも大きな値を取る。S(6,6)はcOr(3)
に対応し、S(7,7)はdに対応する(式(135)を参照)。WとSの対角
要素は非負である。
【0930】 M.実施例のまとめ 上で特に詳述したものなど本発明による様々な画像測定方法および装置は、数
多くの方法で実装することができ、本発明は特定の実装方法に限られないことは
理解されるであろう。たとえば、本発明の様々な実施形態による画像測定方法お
よび装置は、ここで説明した様々な機能の1つまたは複数を実行するように設計
された専用ハードウェアを使用して、かつ/またはここで説明した様々な機能の
1つまたは複数の実行するマイクロコード(つまり、ソフトウェア)を使用して
プログラムされる1つまたは複数のコンピュータまたはプロセッサ(たとえば、
図6に示されているプロセッサ36、クライアント・ワークステーションのプロ
セッサ44、および/または図7に示されている画像測定サーバ36Aなど)を
使用して、実装することができる。
【0931】 特に、たとえば、「詳細な説明」のセクションJ、K、およびLで述べた詳細
な数学的解析など、本発明で概略を述べた様々な画像測定方法を、様々なオペレ
ーティング・システムのうちの1つを採用するプロセッサ上で実行可能なソフト
ウェアとしてコーディングできることは理解されるであろう。さらに、このよう
なソフトウェアは、多数の適当なプログラミング言語および/またはツール、た
とえば、それに限定しないが、Cプログラミング言語、MATLAB(商標)、
MathCAD(商標)などを使用して作成することができ、また実行可能な機
械語コードにコンパイルすることもできる。
【0932】 この点で、本発明の一実施形態は、1つまたは複数のコンピュータまたは他の
プロセッサ上で実行したときに、上述の本発明の様々な実施形態を実装する方法
を実行する1つまたは複数のコンピュータ・プログラムでエンコードされたコン
ピュータ読み取り可能媒体(または複数のコンピュータ読み取り可能媒体)(た
とえば、コンピュータのメモリ、1つまたは複数のフロッピー(登録商標)・デ
ィスク、コンパクト・ディスク、光ディスク、磁気テープなど)を対象とするこ
とは理解されるであろう。コンピュータ読み取り可能媒体は可搬性があり、そこ
に格納されたプログラムを1つまたは複数の異なるコンピュータ・システムにロ
ードし、上述のように本発明の様々な態様を実装できる。「コンピュータ・プロ
グラム」という用語は、本発明では、上述のように本発明の様々な態様を実装す
るコンピュータまたはその他のプロセッサをプログラムするため採用できる何ら
かの種類のコンピュータ・コードを総称するものと理解されるであろう。さらに
、本実施形態の一態様によれば、実行したときに、本発明の方法を実行する1つ
または複数のコンピュータ・プログラムが単一のコンピュータまたはプロセッサ
上に常駐している必要はなく、モジュール方式で、多数の異なるコンピュータま
たはプロセッサに分散し、本発明の様々な態様を実装できることも理解されるで
あろう。
【0933】 こうして、本発明の図解したいくつかの実施形態を述べてきたが、当業者であ
れば、様々な改変、修正、および改良があることを容易に理解できるであろう。
このような改変、修正、および改良は、本発明の精神と範囲内にあることが意図
されている。したがって、前記の説明は、例にすぎず、制限することを目的とし
ているわけではない。
【図面の簡単な説明】
【図1】 ピンホール・カメラを使用する従来の中心透視投影画像処理モデルの図である
【図2】 重要なシーンの基準座標系と図1のモデル内のカメラ座標系との間の座標系変
換を示す図である。
【図3】 従来の写真測量法としての交差の概念を示す図である。
【図4】 従来の写真測量法としての交差の概念を示す図である。
【図5】 本発明の一実施形態による、シーンの単一の画像を使用して画像測定が実行さ
れるシーンの例を示す図である。
【図6】 本発明の一実施形態による画像測定装置の一例を示す図である。
【図7】 本発明の一実施形態による画像測定装置のネットワーク実装の一例を示す図で
ある。
【図8】 本発明の一実施形態による図6の装置で示されている基準ターゲットの一例を
示す図である。
【図9】 本発明の一実施形態による、カメラ・ベアリングの概念を説明するための、カ
メラおよび図6に示されている基準ターゲットの一例を示す図である。
【図10】 図10Aは、本発明の一実施形態による図8に示されている基準ターゲットの
後面図である。 図10Bは、本発明の一実施形態による基準ターゲットの他の例を示す図であ
る。 図10Cは、本発明の一実施形態による基準ターゲットの他の例を示す図であ
る。
【図11】 図11Aは、本発明の一実施形態による、たとえば図8の基準ターゲットで使
用される向きに依存する放射源の様々な面を示す図である。 図11Bは、本発明の一実施形態による、たとえば図8の基準ターゲットで使
用される向きに依存する放射源の様々な面を示す図である。 図11Cは、本発明の一実施形態による、たとえば図8の基準ターゲットで使
用される向きに依存する放射源の様々な面を示す図である。
【図12】 図12Aは、本発明の一実施形態によるいくつかの基本概念を説明するため、
図11A〜図11Cに示されている向きに依存する放射源の特定の面を示す図で
ある。 図12Bは、本発明の一実施形態によるいくつかの基本概念を説明するため、
図11A〜図11Cに示されている向きに依存する放射源の特定の面を示す図で
ある。
【図13】 図13Aは、本発明の一実施形態による、図11A〜図11Cの向きに依存す
る放射源の様々な放射伝達特性のプロットを示すグラフである。 図13Bは、本発明の一実施形態による、図11A〜図11Cの向きに依存す
る放射源の様々な放射伝達特性のプロットを示すグラフである。 図13Cは、本発明の一実施形態による、図11A〜図11Cの向きに依存す
る放射源の様々な放射伝達特性のプロットを示すグラフである。 図13Dは、本発明の一実施形態による、図11A〜図11Cの向きに依存す
る放射源の様々な放射伝達特性のプロットを示すグラフである。
【図14】 本発明の一実施形態による図8の基準ターゲット内の示されている基準マーク
のうち1つまたは複数のマークとして使用するのに適しているマシン・ビジョン
のランドマークの図である。
【図15】 本発明の他の実施形態によるマシン・ビジョンのランドマークの図である。
【図16】 図16Aは、本発明の他の実施形態によるマシン・ビジョンのランドマークの
図である。 図16Bは、本発明の一実施形態による、円形経路に沿う図16Aのマークを
スキャンすることにより生成される輝度曲線のグラフである。 図16Cは、本発明の一実施形態による、図16Bに示されている輝度曲線の
累積位相回転のグラフである。
【図17】 図17Aは、円形スキャン経路に関して斜めに回転する図16Aに示されてい
るランドマークの図である。 図17Bは、本発明の一実施形態による、円形経路に沿う図17Aのマークを
スキャンすることにより生成される輝度曲線のグラフである。 図17Cは、本発明の一実施形態による、図17Bに示されている輝度曲線の
累積位相回転のグラフである。
【図18A】 図18Aは、円形スキャン経路に関してオフセットされた図16Aに示されて
いるランドマークの図である。 図18Bは、本発明の一実施形態による、円形経路に沿う図87Aのマークを
スキャンすることにより生成される輝度曲線のグラフである。 図18Cは、本発明の一実施形態による、図18Bに示されている輝度曲線の
累積位相回転のグラフである。
【図19】 本発明の一実施形態による図16Aに示されているマークに似た6個のマーク
を含む画像を示す図である。
【図20】 本発明の一実施形態による、図16A、17A、および18Aに示されている
円形経路に沿ってサンプリングされた個々のピクセルのプロットを示すグラフで
ある。
【図21】 本発明の一実施形態による、図20の円形経路に沿うサンプリング角度のプロ
ットを示すグラフである。
【図22】 図22Aは、本発明の一実施形態による、ランドマークを含まない画像の任意
の部分をスキャンすることにより生成されるランダム輝度曲線を表すフィルタ処
理されていないスキャン済み信号のプロットを示すグラフである。 図22Bは、図22Aに示されているランダム輝度曲線のフィルタ処理したバ
ージョンのプロットを示すグラフである。 図22Cは、本発明の一実施形態による、図22Bに示されているフィルタ処
理された輝度曲線の累積位相回転のプロットを示すグラフである。
【図23】 図23Aは、本発明の一実施形態による他の堅牢なマークの図である。 図23Bは、本発明の一実施形態による、カラー・フィルタ処理した後の図2
3Aに示されているマークの図である。
【図24】 図24Aは、本発明の一実施形態による図8に示されている基準ターゲットで
使用するのに適している他の基準マークの図である。 図24Bは、本発明の一実施形態による自己接着基板に印刷されているランド
マークを示す図である。
【図25】 図25Aは、本発明の一実施形態による画像測定方法の流れ図を示す図である
。 図25Bは、本発明の一実施形態による画像測定方法の流れ図を示す図である
【図26】 本発明の一実施形態による拡大測定のためのシーンのサイズの異なる部分の複
数の画像を示す図である。
【図27】 本発明の一実施形態による、向きに依存する放射源の前および後回折のフーリ
エ変換のプロットを示すグラフである。
【図28】 本発明の一実施形態による、向きに依存する放射源の前および後回折のフーリ
エ変換のプロットを示すグラフである。
【図29】 本発明の一実施形態による、向きに依存する放射源の前および後回折のフーリ
エ変換のプロットを示すグラフである。
【図30】 本発明の一実施形態による、向きに依存する放射源の前および後回折のフーリ
エ変換のプロットを示すグラフである。
【図31】 本発明の一実施形態による、向きに依存する放射源から放射される放射のフー
リエ変換のプロットを示すグラフである。
【図32】 本発明の一実施形態による、向きに依存する放射源から放射される放射のフー
リエ変換のプロットを示すグラフである。
【図33】 本発明の一実施形態による、向きに依存する放射源から放射される放射を表す
三角波のプロットを示すグラフである。
【図34】 遠距離場観測分析を容易に行えるようにするため、本発明の一実施形態よる向
きに依存する放射源の図である。
【図35】 本発明の一実施形態による、向きに依存する放射源の回転または視角を決定す
る作業に関係する式の様々な項のプロットを示すグラフである。
【図36】 近距離場観測分析を容易に行えるようにするため、本発明の一実施形態よる向
きに依存する放射源の図である。
【図37】 放射源の回転のある近距離場内の見かけの後回折の分析を容易に行えるように
するための本発明の一実施形態よる向きに依存する放射源の図である。
【図38】 画像の背景内容が多数の岩を含む、本発明の一実施形態によるランドマークを
含む画像を示す図である。
【図39】 図38の画像の白黒の2値しきい値画像を示す図である。
【図40】 本発明の一実施形態による色付きマークのスキャンを示す図である。
【図41】 本発明の一実施形態による正規化された画像座標フレームを示す図である。
【図42】 本発明の一実施形態によるターゲット・アートワークに画像データを当てはま
る概念をわかりやすくする基準ターゲットの基準マークの画像の一例を示す図で
ある。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CR,CU,CZ,DE,DK ,DM,DZ,EE,ES,FI,GB,GD,GE, GH,GM,HR,HU,ID,IL,IN,IS,J P,KE,KG,KP,KR,KZ,LC,LK,LR ,LS,LT,LU,LV,MA,MD,MG,MK, MN,MW,MX,MZ,NO,NZ,PL,PT,R O,RU,SD,SE,SG,SI,SK,SL,TJ ,TM,TR,TT,TZ,UA,UG,US,UZ, VN,YU,ZA,ZW Fターム(参考) 5B057 AA20 BA02 BA17 CA01 CA08 CA12 CA16 CE06 CE12 DA06 DC03 DC04 DC14 5L096 AA02 AA06 BA08 CA04 EA43 FA04 FA59 FA63 FA67 FA69 GA34 GA55 JA18

Claims (92)

    【特許請求の範囲】
  1. 【請求項1】 画像内にマーク領域がある少なくとも1つのマークの存在を
    検出する方法であって、 画像のスキャン部分がマークを含む場合にスキャン経路がマーク領域内に完全
    に収まるように形成されたスキャン経路に沿って画像の少なくとも一部をスキャ
    ンし、スキャンした信号を取得する動作と、 スキャンした信号から画像のスキャン部分に少なくとも1つのマークが存在す
    るか、存在しないかのいずれかを判定する動作とを含む方法。
  2. 【請求項2】 少なくとも1つのマークが存在するか、存在しないかのいず
    れかを判定する動作が、スキャンした信号を処理し、マークの順序特性を識別す
    る動作を含む、請求項1に記載の方法。
  3. 【請求項3】 少なくとも1つのマークが存在するか、存在しないかのいず
    れかを判定する動作が、スキャンした信号を処理し、マークの基数特性を識別す
    る動作を含む、請求項1に記載の方法。
  4. 【請求項4】 少なくとも1つのマークが存在するか、存在しないかのいず
    れかを判定する動作が、スキャンした信号を処理し、マークの包含特性を識別す
    る動作を含む、請求項1に記載の方法。
  5. 【請求項5】 マークが中心とマークの中心で交差する複数の交差エッジで
    表すことができる周囲形状を備え、少なくとも1つのマークが存在するか、存在
    しないかのいずれかを判定する動作がスキャンした信号を使用し累積位相回転解
    析、領域解析、および交差エッジ解析の少なくとも1つを実行する動作を含む、
    請求項1に記載の方法。
  6. 【請求項6】 画像の少なくとも一部をスキャンする動作が画像の複数の異
    なる領域をそれぞれスキャン経路内で連続してスキャンして複数のスキャンした
    信号を取得する動作を含み、少なくとも1つのマークが存在するか、存在しない
    かのいずれかを判定する動作が複数のスキャンした信号のうちそれぞれのスキャ
    ンした信号から複数の異なる領域のうちそれぞれ異なる領域内に少なくとも1つ
    のマークが存在するか、存在しないかのいずれかを判定する動作を含む、請求項
    1に記載の方法。
  7. 【請求項7】 画像の少なくとも一部をスキャンする動作が本質的に閉じた
    経路内で画像の少なくとも一部をスキャンし、スキャンした信号を取得する動作
    を含む、請求項1に記載の方法。
  8. 【請求項8】 本質的に閉じた経路内で画像の少なくとも一部をスキャンす
    る動作が環状経路内で画像の少なくとも一部をスキャンし、スキャンした信号を
    取得する動作を含む、請求項7に記載の方法。
  9. 【請求項9】 少なくとも1つのマークが中心と画像内の半径方向の寸法を
    持ち、環状経路内で画像の少なくとも一部をスキャンする動作が少なくとも1つ
    のマークの半径方向の寸法の約2/3未満の半径を持つ環状経路内で画像の少な
    くとも一部をスキャンする動作を含む、請求項8に記載の方法。
  10. 【請求項10】 環状経路内で画像の少なくとも一部をスキャンする動作が
    それぞれ半径が異なる環状経路を使用して画像の少なくとも一部を少なくとも2
    回スキャンする動作を含む、請求項9に記載の方法。
  11. 【請求項11】 スキャンした信号を処理して、マークの基数特性を識別す
    る動作がスキャンした信号の累積位相回転を決定する動作を含む、請求項8に記
    載の方法。
  12. 【請求項12】 画像が格納済みデジタル画像であり、画像の少なくとも一
    部をスキャンする動作が本質的に閉じた経路内に配置された格納済みデジタル画
    像の複数のピクセルをサンプリングし、スキャンした信号を取得する動作を含む
    、請求項7に記載の方法。
  13. 【請求項13】 本質的に閉じた経路が環状経路であり、閉経路内に配置さ
    れた複数のピクセルをサンプリングする動作が環状経路内に配置された複数のピ
    クセルをサンプリングしてスキャンした信号を取得する動作を含む、請求項12
    に記載の方法。
  14. 【請求項14】 少なくとも1つのマークが存在するか、存在しないかのい
    ずれかを判定する動作がスキャンした信号の累積位相回転を決定する動作を含む
    、請求項13に記載の方法。
  15. 【請求項15】 スキャンした信号の累積位相回転を決定する動作が、 スキャンした信号をフィルタ処理する動作と、 フィルタ処理されたスキャンした信号の累積位相回転を決定する動作とを含む
    、請求項14に記載の方法。
  16. 【請求項16】 スキャンした信号をフィルタ処理する動作が、2パス線形
    デジタル・ゼロ位相フィルタを使用してスキャンした信号をフィルタ処理する動
    作を含む、請求項15に記載の方法。
  17. 【請求項17】 少なくとも1つのマークが複数の別々に識別可能な特徴を
    含み、少なくとも1つのマークの少なくとも1つの検出可能な特性がマークを環
    状経路に沿ってスキャンしたときに複数の別々に識別可能な特徴の多数のサイク
    ルを含み、少なくとも1つのマークが存在するか、存在しないかのいずれかを判
    定する動作がさらに、 サイクルの数に基づいて、スキャンした信号の累積位相回転と基準累積位相回
    転とを比較する動作と、 この比較に基づいて、少なくとも1つのマークが存在するか、存在しないかの
    いずれかを判定する動作とを含む、請求項14に記載の方法。
  18. 【請求項18】 少なくとも1つのマークが存在すると判定された場合にス
    キャンした信号の累積位相回転から閉経路に関して少なくとも1つのマークの回
    転およびオフセットのうち少なくとも一方を決定する動作をさらに含む、請求項
    17に記載の方法。
  19. 【請求項19】 少なくとも1つのマークに個数Nの別々に識別可能な特徴
    があり、閉経路内で画像の少なくとも一部をスキャンしてスキャンした信号を取
    得する動作が、 画像の連続するピクセル・グループを複数のラベル付き領域にまとめる動作と
    、 複数のラベル付き領域のうち各レベル付き領域の少なくとも1つの特性につい
    て少なくとも1つの数量を決定する動作と、 閉経路内で画像の少なくとも一部をスキャンする動作と、 閉経路が横断する第1の数のラベル付きの領域を決定する動作を含む、請求項
    7に記載の方法。
  20. 【請求項20】 スキャンした信号から画像の一部に少なくとも1つのマー
    クが存在するか、存在しないかのいずれかを判定する動作が、 第1の数のラベル付き領域が少なくとも1つのマークの個数Nの別々に識別可
    能な特徴と異なる場合に少なくとも1つのマークが存在しないかどうかを判定す
    る動作と、 ラベル付き領域の第1の個数が個数Nに等しい場合に各候補のラベル付き領域
    の少なくとも1つの数値特性に少なくとも基づいて少なくとも1つのコスト関数
    の評価を計算する動作と、 少なくとも1つのコスト関数の評価に基づいて、少なくとも1つのマークが存
    在するかどうかを判定する動作とを含む、請求項19に記載の方法。
  21. 【請求項21】 連続するピクセル・グループをまとめる動作が、 白黒2値画像を生成する画像のしきい値を設定する動作と、 2値画像の連続する黒色ピクセル・グループを複数のラベル付き領域にまとめ
    る動作とを含み、 閉経路内で画像の少なくとも一部をスキャンする動作が、閉経路内で2値画像
    の少なくとも一部をスキャンする動作を含む、請求項20に記載の方法。
  22. 【請求項22】 閉経路が横断する第1の数のラベル付き領域を決定する動
    作がさらに、 ラベル付き領域の少なくとも1つの数量が少なくとも1つの特性に対する所与
    のしきい値よりも小さい閉経路が横断するラベル付き領域の第2の数のラベル付
    き領域を決定する動作と、 第1の数から第2の数を引いて、環状経路が横断する候補のラベル付き領域の
    第3の個数を求める動作とを含み、 少なくとも1つのマークが存在しないかどうかを判定する動作が、 第3の数が少なくとも1つのマークの個数Nの別々に識別可能な特徴と異なる
    場合に少なくとも1つのマークが存在しないかどうかを判定する動作を含み、 少なくとも1つのコスト関数の評価を計算する動作が、 第3の数が個数Nに等しい場合に各候補のラベル付き領域の少なくとも1つの
    数値特性に少なくとも基づいて少なくとも1つのコスト関数の評価を計算する動
    作を含む、請求項21に記載の方法。
  23. 【請求項23】 閉経路が環状経路であり、少なくとも1つのマークが画像
    内に中心と半径方向の寸法を持ち、閉経路内で2値画像の少なくとも一部をスキ
    ャンする動作が少なくとも1つのマークの半径方向の寸法の約2/3未満の半径
    を持つ環状経路内で2値画像の少なくとも一部をスキャンする動作を含む、請求
    項19に記載の方法。
  24. 【請求項24】 各ラベル付き領域の少なくとも1つの特性が面積、長軸長
    さ、短軸長さ、および各領域の長軸向きのうち少なくとも1つを含み、複数のラ
    ベル付き領域の各領域の少なくとも1つの特性について少なくとも1つの数量を
    決定する動作が複数のラベル付き領域の各領域の面積、長軸長さ、短軸長さ、お
    よび長軸向きの少なくとも1つについて少なくとも1つの数量を決定する動作を
    含む、請求項19に記載の方法。
  25. 【請求項25】 マシン・ビジョン用のランドマークであって、中心と半径
    方向の寸法を持ち、 ランドマークがランドマークの中心を中心とする環状経路内でスキャンされ半
    径がランドマークの半径方向の寸法よりも小さいときに、環状経路がランドマー
    クの別々に識別可能な2次元領域の有意な寸法部分を横断するように互いに関し
    て配置されている少なくとも2つの別々に識別可能な2次元領域を備えるランド
    マーク。
  26. 【請求項26】 少なくとも2つの別々に識別可能な2次元領域が、多数の
    別々に識別可能な領域のうち少なくとも1つと環状経路にそった別々に識別可能
    な領域の固有の連続的順序によりランドマークが一義的に識別されるように互い
    に関して配置されている少なくとも3つの別々に識別可能な領域を含む、請求項
    25に記載のランドマーク。
  27. 【請求項27】 少なくとも3つの別々に識別可能な領域が、多数の別々に
    識別可能な領域と環状経路にそった別々に識別可能な領域の固有の連続的順序に
    よりランドマークが一義的に識別されるように互いに関して配置されている、請
    求項26に記載のランドマーク。
  28. 【請求項28】 少なくとも2つの別々に識別可能な2次元領域が少なくと
    も3種類の色で色分けされた領域を含む、請求項25に記載のランドマーク。
  29. 【請求項29】 少なくとも2つの別々に識別可能な2次元領域のうちそれ
    ぞれ別々に識別可能な領域が周囲形状を持ち、少なくとも2つの別々に識別可能
    な2次元領域の周囲形状をマークの中心で交差する複数の交差エッジでまとめて
    表すことができる、請求項25に記載のランドマーク。
  30. 【請求項30】 少なくとも2つの別々に識別可能な2次元領域が、それぞ
    れ端にテーパが付いている少なくとも6つの本質的にくさび形の領域を含む、請
    求項25に記載のランドマーク。
  31. 【請求項31】 少なくとも6つの本質的にくさび形の領域がスポーク状に
    配列され、それぞれのくさび形領域のテーパ形端部がランドマークの中心に近い
    、請求項30に記載のランドマーク。
  32. 【請求項32】 ランドマークが印刷された基板と組み合わせる、請求項2
    5に記載のランドマーク。
  33. 【請求項33】 基板が物体に貼り付けられる自己接着基板である、請求項
    32に記載の組み合わせ。
  34. 【請求項34】 プロセッサの格納媒体と組み合わせて使用し、格納媒体に
    ランドマークのデジタル画像が格納されている、請求項25に記載のランドマー
    ク。
  35. 【請求項35】 マシン・ビジョン用のランドマークであって、 少なくとも3つの別々に識別可能な領域の第2の領域が少なくとも3つの別々
    に識別可能な領域の第1の領域を完全に囲み、少なくとも3つの別々に識別可能
    な領域の第3の領域が第2の領域を完全に囲むように互いに関して配置された少
    なくとも3つの別々に識別可能な領域を含むランドマーク。
  36. 【請求項36】 少なくとも3つの識別可能な領域のそれぞれの領域が少な
    くとも3つの別々に識別可能な領域のうち少なくとも1つの他方の領域と隣接す
    る、請求項35に記載のランドマーク。
  37. 【請求項37】 少なくとも3つの識別可能な領域のそれぞれの領域が少な
    くとも1つの本質的環状境界を備える、請求項36に記載のランドマーク。
  38. 【請求項38】 少なくとも3つの別々に識別可能な領域に、異なる色、異
    なる陰影付け、および異なるハッチングのうち少なくとも1つが設定される、請
    求項35に記載のランドマーク。
  39. 【請求項39】 ランドマークが多色印刷の目玉パターンである、請求項3
    8に記載のランドマーク。
  40. 【請求項40】 ランドマークが印刷された基板と組み合わせる、請求項3
    5に記載のランドマーク。
  41. 【請求項41】 基板が物体に貼り付けられる自己接着基板である、請求項
    40に記載の組み合わせ。
  42. 【請求項42】 プロセッサの格納媒体と組み合わせて使用し、格納媒体に
    ランドマークのデジタル画像が格納されている、請求項35に記載のランドマー
    ク。
  43. 【請求項43】 マシン・ビジョン用のランドマークであって、 少なくとも2つの別々に識別可能な2次元領域を含み、それぞれの領域がスポ
    ーク状に共通領域から伸びている、ランドマーク。
  44. 【請求項44】 少なくとも2つの別々に識別可能な2次元領域のうちそれ
    ぞれ別々に識別可能な領域が周囲形状を持ち、少なくとも2つの別々に識別可能
    な2次元領域の周囲形状をマークの中心で交差する複数の交差エッジでまとめて
    表すことができる、請求項43に記載のランドマーク。
  45. 【請求項45】 少なくとも2つの別々に識別可能な2次元領域の各領域が
    本質的にくさび形であり、テーパ形端部を持ち、 各領域のテーパ形端部が共通領域に近い、請求項43に記載のランドマーク。
  46. 【請求項46】 少なくとも2つの別々に識別可能な2次元領域が少なくと
    も6つの別々に識別可能な2次元領域を含む、請求項45に記載のランドマーク
  47. 【請求項47】 少なくとも2つの識別可能な2次元領域のうちの一方の領
    域が少なくとも2つの別々に識別可能な2次元領域のうちの他方の領域から一義
    的に識別できる、請求項43に記載のランドマーク。
  48. 【請求項48】 少なくとも2つの別々に識別可能な2次元領域が異なる形
    状を持つ、請求項47に記載のランドマーク。
  49. 【請求項49】 少なくとも2つの別々に識別可能な2次元領域が共通領域
    と異なる半径方向の寸法を持つ、請求項47に記載のランドマーク。
  50. 【請求項50】 少なくとも2つの識別可能な2次元領域のうちの一方の領
    域の一部が少なくとも2つの別々に識別可能な領域のうちの他方の領域と異なる
    色で色分けされる、請求項47に記載のランドマーク。
  51. 【請求項51】 少なくとも2つの別々に識別可能な2次元領域が異なる色
    で色分けされる、請求項47に記載のランドマーク。
  52. 【請求項52】 少なくとも2つの別々に識別可能な2次元領域が本質的に
    同じ形状および本質的に同じサイズである、請求項43に記載のランドマーク。
  53. 【請求項53】 少なくとも2つの別々に識別可能な2次元領域が共通領域
    を中心として対称的に配置されている、請求項43に記載のランドマーク。
  54. 【請求項54】 少なくとも2つの別々に識別可能な2次元領域が共通領域
    を中心として非対称的に配置されている、請求項43に記載のランドマーク。
  55. 【請求項55】 ランドマークが印刷された基板と組み合わせる、請求項4
    3に記載のランドマーク。
  56. 【請求項56】 基板が物体に貼り付けられる自己接着基板である、請求項
    55に記載の組み合わせ。
  57. 【請求項57】 プロセッサの格納媒体と組み合わせて使用し、格納媒体に
    ランドマークのデジタル画像が格納されている、請求項43に記載のランドマー
    ク。
  58. 【請求項58】 マシン・ビジョン用のランドマークであって、 ランドマークが任意の画像内容を持つ画像内に存在し、少なくとも画像の一部
    がランドマークの少なくとも2つの別々に識別可能な特徴のそれぞれを横断する
    開いた曲線に沿ってスキャンされるときに、ランドマークがランドマークに対す
    る法線に関して少なくとも15度の傾斜した視角で検出できるように互いに関し
    て配置された少なくとも2つの別々に識別可能な特徴を備える、ランドマーク。
  59. 【請求項59】 画像の少なくとも一部がランドマークの少なくとも2つの
    別々に識別可能な特徴のそれぞれを横断する本質的に閉じた経路に沿ってスキャ
    ンされるときに、ランドマークが少なくとも15度の傾斜した視角で検出できる
    ように互いに関して配置されている、請求項58に記載のランドマーク。
  60. 【請求項60】 ランドマークを少なくとも25度の傾斜した視角で検出で
    きるように、少なくとも2つの別々に識別可能な特徴を互いに関して配置する、
    請求項58に記載のランドマーク。
  61. 【請求項61】 ランドマークを少なくとも45度の傾斜した視角で検出で
    きるように、少なくとも2つの別々に識別可能な特徴を互いに関して配置する、
    請求項58に記載のランドマーク。
  62. 【請求項62】 ランドマークを少なくとも60度の傾斜した視角で検出で
    きるように、少なくとも2つの別々に識別可能な特徴を互いに関して配置する、
    請求項58に記載のランドマーク。
  63. 【請求項63】 ランドマークを最大約90度までの傾斜した視角で検出で
    きるように、少なくとも2つの別々に識別可能な特徴を互いに関して配置する、
    請求項58に記載のランドマーク。
  64. 【請求項64】 ランドマークが印刷された基板と組み合わせる、請求項5
    8に記載のランドマーク。
  65. 【請求項65】 基板が物体に貼り付けられる自己接着基板である、請求項
    64に記載の組み合わせ。
  66. 【請求項66】 プロセッサの格納媒体と組み合わせて使用し、格納媒体に
    ランドマークのデジタル画像が格納されている、請求項58に記載のランドマー
    ク。
  67. 【請求項67】 少なくとも1つのプロセッサで実行するプログラムで符号
    化されているコンピュータ読み取り可能媒体であって、プログラムを少なくとも
    1つのプロセッサで実行したときに、プログラムで画像内に少なくとも1つのマ
    ークが存在するかどうかを検出する方法を実行し、この方法は、 スキャン経路に沿って画像の少なくとも一部をスキャンし、スキャンした信号
    を取得する動作であって、画像のスキャン部分がマークを含む場合にマーク領域
    内に完全に収まるようにスキャン経路を形成する動作と、 スキャンした信号から画像の一部に少なくとも1つのマークが存在するか、存
    在しないかのいずれかを判定する動作とを含む、コンピュータ読み取り可能媒体
  68. 【請求項68】 少なくとも1つのマークが存在するか、存在しないかのい
    ずれかを判定する動作が、スキャンした信号を処理し、マークの順序特性を識別
    する動作を含む、請求項67に記載のコンピュータ読み取り可能媒体。
  69. 【請求項69】 少なくとも1つのマークが存在するか、存在しないかのい
    ずれかを判定する動作が、スキャンした信号を処理し、マークの基数特性を識別
    する動作を含む、請求項67に記載のコンピュータ読み取り可能媒体。
  70. 【請求項70】 少なくとも1つのマークが存在するか、存在しないかのい
    ずれかを判定する動作が、スキャンした信号を処理し、マークの包含特性を識別
    する動作を含む、請求項67に記載のコンピュータ読み取り可能媒体。
  71. 【請求項71】 マークが中心とマークの中心で交差する複数の交差エッジ
    で表すことができる周囲形状を備え、少なくとも1つのマークが存在するか、存
    在しないかのいずれかを判定する動作がスキャンした信号を使用し累積位相回転
    解析、領域解析、および交差エッジ解析の少なくとも1つを実行する動作を含む
    、請求項67に記載のコンピュータ読み取り可能媒体。
  72. 【請求項72】 画像の少なくとも一部をスキャンする動作が画像の複数の
    異なる領域をそれぞれスキャン経路内で連続してスキャンして複数のスキャンし
    た信号を取得する動作を含み、少なくとも1つのマークが存在するか、存在しな
    いかのいずれかを判定する動作が複数のスキャンした信号のうちそれぞれのスキ
    ャンした信号から複数の異なる領域のうちそれぞれ異なる領域内に少なくとも1
    つのマークが存在するか、存在しないかのいずれかを判定する動作を含む、請求
    項67に記載のコンピュータ読み取り可能媒体。
  73. 【請求項73】 画像の少なくとも一部をスキャンする動作が本質的に閉じ
    た経路内で画像の少なくとも一部をスキャンし、スキャンした信号を取得する動
    作を含む、請求項67に記載のコンピュータ読み取り可能媒体。
  74. 【請求項74】 画像の少なくとも一部をスキャンする動作が環状経路内で
    画像の少なくとも一部をスキャンし、スキャンした信号を取得する動作を含む、
    請求項73に記載のコンピュータ読み取り可能媒体。
  75. 【請求項75】 少なくとも1つのマークが中心と画像内の半径方向の寸法
    を持ち、環状経路内で画像の少なくとも一部をスキャンする動作が少なくとも1
    つのマークの半径方向の寸法の約2/3未満の半径を持つ環状経路内で画像の少
    なくとも一部をスキャンする動作を含む、請求項74に記載のコンピュータ読み
    取り可能媒体。
  76. 【請求項76】 環状経路内で画像の少なくとも一部をスキャンする動作が
    それぞれ半径が異なる環状経路を使用して画像の少なくとも一部を少なくとも2
    回スキャンする動作を含む、請求項75に記載のコンピュータ読み取り可能媒体
  77. 【請求項77】 スキャンした信号を処理して、マークの基数特性を識別す
    る動作がスキャンした信号の累積位相回転を決定する動作を含む、請求項74に
    記載のコンピュータ読み取り可能媒体。
  78. 【請求項78】 画像が格納済みデジタル画像であり、画像の少なくとも一
    部をスキャンする動作が本質的に閉じた経路内に配置された格納済みデジタル画
    像の複数のピクセルをサンプリングし、スキャンした信号を取得する動作を含む
    、請求項73に記載のコンピュータ読み取り可能媒体。
  79. 【請求項79】 本質的に閉じた経路が環状経路であり、閉経路内に配置さ
    れた複数のピクセルをサンプリングする動作が環状経路内に配置された複数のピ
    クセルをサンプリングしてスキャンした信号を取得する動作を含む、請求項78
    に記載のコンピュータ読み取り可能媒体。
  80. 【請求項80】 少なくとも1つのマークが存在するか、存在しないかのい
    ずれかを判定する動作がスキャンした信号の累積位相回転を決定する動作を含む
    、請求項79に記載のコンピュータ読み取り可能媒体。
  81. 【請求項81】 スキャンした信号の累積位相回転を決定する動作が、 スキャンした信号をフィルタ処理する動作と、 フィルタ処理されたスキャンした信号の累積位相回転を決定する動作とを含む
    、請求項80に記載のコンピュータ読み取り可能媒体。
  82. 【請求項82】 スキャンした信号をフィルタ処理する動作が、2パス線形
    デジタル・ゼロ位相フィルタを使用してスキャンした信号をフィルタ処理する動
    作を含む、請求項81に記載のコンピュータ読み取り可能媒体。
  83. 【請求項83】 少なくとも1つのマークが複数の別々に識別可能な特徴を
    含み、少なくとも1つのマークの少なくとも1つの検出可能な特性がマークを環
    状経路に沿ってスキャンしたときに複数の別々に識別可能な特徴の多数のサイク
    ルを含み、少なくとも1つのマークが存在するか、存在しないかのいずれかを判
    定する動作がさらに、 サイクルの数に基づいて、スキャンした信号の累積位相回転と基準累積位相回
    転とを比較する動作と、 この比較に基づいて、少なくとも1つのマークが存在するか、存在しないかの
    いずれかを判定する動作とを含む、請求項80に記載のコンピュータ読み取り可
    能媒体。
  84. 【請求項84】 少なくとも1つのマークが存在すると判定された場合にス
    キャンした信号の累積位相回転から閉経路に関して少なくとも1つのマークの回
    転およびオフセットのうち少なくとも一方を決定する動作をさらに含む、請求項
    83に記載のコンピュータ読み取り可能媒体。
  85. 【請求項85】 少なくとも1つのマークに個数Nの別々に識別可能な特徴
    があり、閉経路内で画像の少なくとも一部をスキャンしてスキャンした信号を取
    得する動作が、 画像の連続するピクセル・グループを複数のラベル付き領域にまとめる動作と
    、 複数のラベル付き領域のうち各レベル付き領域の少なくとも1つの特性につい
    て少なくとも1つの数量を決定する動作と、 閉経路内で画像の少なくとも一部をスキャンする動作と、 閉経路が横断する第1の数のラベル付きの領域を決定する動作とを含む、請求
    項73に記載のコンピュータ読み取り可能媒体。
  86. 【請求項86】 スキャンした信号から画像の一部に少なくとも1つのマー
    クが存在するか、存在しないかのいずれかを判定する動作が、 第1の数のラベル付き領域が少なくとも1つのマークの個数Nの別々に識別可
    能な特徴と異なる場合に少なくとも1つのマークが存在しないかどうかを判定す
    る動作と、 ラベル付き領域の第1の個数が個数Nに等しい場合に各候補のラベル付き領域
    の少なくとも1つの数値特性に少なくとも基づいて少なくとも1つのコスト関数
    の評価を計算する動作と、 少なくとも1つのコスト関数の評価に基づいて、少なくとも1つのマークが存
    在するかどうかを判定する動作とを含む、請求項85に記載のコンピュータ読み
    取り可能媒体。
  87. 【請求項87】 連続するピクセル・グループをまとめる動作が、 白黒2値画像を生成する画像のしきい値を設定する動作と、 2値画像の連続する黒色ピクセル・グループを複数のラベル付き領域にまとめ
    る動作とを含み、 閉経路内で画像の少なくとも一部をスキャンする動作が閉経路内で2値画像の
    少なくとも一部をスキャンする動作を含む、請求項86に記載のコンピュータ読
    み取り可能媒体。
  88. 【請求項88】 閉経路が横断する第1の数のラベル付き領域を決定する動
    作がさらに、 ラベル付き領域の少なくとも1つの数量が少なくとも1つの特性に対する所与
    のしきい値よりも小さい閉経路が横断するラベル付き領域の第2の数のラベル付
    き領域を決定する動作と、 第1の数から第2の数を引いて、環状経路が横断する候補のラベル付き領域の
    第3の個数を求める動作とを含み、 少なくとも1つのマークが存在しないかどうかを判定する動作が、 第3の数が少なくとも1つのマークの個数Nの別々に識別可能な特徴と異なる
    場合に少なくとも1つのマークが存在しないかどうかを判定する動作を含み、 少なくとも1つのコスト関数の評価を計算する動作が、 第3の数が個数Nに等しい場合に各候補のラベル付き領域の少なくとも1つの
    数値特性に少なくとも基づいて少なくとも1つのコスト関数の評価を計算する動
    作を含む、請求項87に記載のコンピュータ読み取り可能媒体。
  89. 【請求項89】 閉経路が環状経路であり、少なくとも1つのマークが画像
    内に中心と半径方向の寸法を持ち、閉経路内で2値画像の少なくとも一部をスキ
    ャンする動作が少なくとも1つのマークの半径方向の寸法の約2/3未満の半径
    を持つ環状経路内で2値画像の少なくとも一部をスキャンする動作を含む、請求
    項85に記載のコンピュータ読み取り可能媒体。
  90. 【請求項90】 各ラベル付き領域の少なくとも1つの特性が面積、長軸長
    さ、短軸長さ、および各領域の長軸向きのうち少なくとも1つを含み、複数のラ
    ベル付き領域の各領域の少なくとも1つの特性について少なくとも1つの数量を
    決定する動作が複数のラベル付き領域の各領域の面積、長軸長さ、短軸長さ、お
    よび長軸向きの少なくとも1つについて少なくとも1つの数量を決定する動作を
    含む、請求項85に記載のコンピュータ読み取り可能媒体。
  91. 【請求項91】 画像内に少なくとも1つのマークが存在するかどうかを検
    出する方法であって、 本質的に閉じた経路内で画像の少なくとも一部をスキャンしてスキャンした信
    号を取得する動作と、 スキャンした信号から画像の部分に少なくとも1つのマークが存在するか、存
    在しないかのいずれかを判定する動作とを含む方法。
  92. 【請求項92】 少なくとも1つのプロセッサで実行するプログラムで符号
    化されているコンピュータ読み取り可能媒体であって、プログラムを少なくとも
    1つのプロセッサで実行したときに、プログラムで画像内に少なくとも1つのマ
    ークが存在するかどうかを検出する方法を実行し、この方法は、 本質的に閉じた経路内で画像の少なくとも一部をスキャンしてスキャンした信
    号を取得する動作と、 スキャンした信号から画像の部分に少なくとも1つのマークが存在するか、存
    在しないかのいずれかを判定する動作とを含む、コンピュータ読み取り可能媒体
JP2001536934A 1999-11-12 2000-11-13 マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法 Pending JP2003514305A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16475499P 1999-11-12 1999-11-12
US60/164,754 1999-11-12
US21243400P 2000-06-16 2000-06-16
US60/212,434 2000-06-16
PCT/US2000/031055 WO2001035052A1 (en) 1999-11-12 2000-11-13 Robust landmarks for machine vision and methods for detecting same

Publications (1)

Publication Number Publication Date
JP2003514305A true JP2003514305A (ja) 2003-04-15

Family

ID=26860819

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2001536934A Pending JP2003514305A (ja) 1999-11-12 2000-11-13 マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法
JP2001536935A Pending JP2003514234A (ja) 1999-11-12 2000-11-13 画像測定方法および装置
JP2001536936A Pending JP2004518105A (ja) 1999-11-12 2000-11-13 向きと距離を測定するための方法と装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2001536935A Pending JP2003514234A (ja) 1999-11-12 2000-11-13 画像測定方法および装置
JP2001536936A Pending JP2004518105A (ja) 1999-11-12 2000-11-13 向きと距離を測定するための方法と装置

Country Status (5)

Country Link
US (1) US20040233461A1 (ja)
EP (3) EP1248940A1 (ja)
JP (3) JP2003514305A (ja)
AU (3) AU1486101A (ja)
WO (3) WO2001035052A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262255A (ja) * 2007-04-10 2008-10-30 Nippon Telegr & Teleph Corp <Ntt> カメラ校正方法、そのプログラム、記録媒体、装置
JP2009005148A (ja) * 2007-06-22 2009-01-08 Seiko Epson Corp 画像処理装置、プロジェクタ
KR101394493B1 (ko) 2013-02-28 2014-05-14 한국항공대학교산학협력단 라벨 병합 기간이 없는 단일 스캔 라벨러
WO2014141881A1 (ja) * 2013-03-11 2014-09-18 Ido Nobuhiko 特徴点集合間の対応付け方法、対応付け装置ならびに対応付けプログラム

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050868B2 (en) * 2001-03-26 2011-11-01 Cellomics, Inc. Methods for determining the organization of a cellular component of interest
ES2282429T3 (es) * 2001-07-12 2007-10-16 Do Labs Procedimiento y sistema para producir informaciones formateadas relacionadas con las distorsiones geometricas.
WO2003007236A2 (fr) * 2001-07-12 2003-01-23 Do Labs Procede et systeme pour produire la frequence des mises a jour de moyens
AU2002357335A1 (en) * 2001-12-28 2003-07-24 Applied Precision, Llc Stereoscopic three-dimensional metrology system and method
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
CN1633659A (zh) 2002-02-15 2005-06-29 电脑联合想象公司 用于绘制椭圆弧的系统和方法
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
JP4297501B2 (ja) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
US8625854B2 (en) * 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
US7742635B2 (en) * 2005-09-22 2010-06-22 3M Innovative Properties Company Artifact mitigation in three-dimensional imaging
WO2007038612A2 (en) * 2005-09-26 2007-04-05 Cognisign, Llc Apparatus and method for processing user-specified search image points
US8341848B2 (en) * 2005-09-28 2013-01-01 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US7454265B2 (en) * 2006-05-10 2008-11-18 The Boeing Company Laser and Photogrammetry merged process
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
WO2008036354A1 (en) 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
EP2188868B1 (en) * 2007-09-11 2018-07-11 RF Controls, LLC Radio frequency signal acquisition and source location system
US8515257B2 (en) 2007-10-17 2013-08-20 International Business Machines Corporation Automatic announcer voice attenuation in a presentation of a televised sporting event
KR100912715B1 (ko) * 2007-12-17 2009-08-19 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
US8897482B2 (en) * 2008-02-29 2014-11-25 Trimble Ab Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
US9050025B2 (en) * 2008-06-18 2015-06-09 Eyelab Group, Llc System and method for determining volume-related parameters of ocular and other biological tissues
US8059267B2 (en) * 2008-08-25 2011-11-15 Go Sensors, Llc Orientation dependent radiation source and methods
US8559699B2 (en) 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US8108267B2 (en) * 2008-10-15 2012-01-31 Eli Varon Method of facilitating a sale of a product and/or a service
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
KR101513602B1 (ko) * 2009-02-11 2015-04-22 삼성전자주식회사 바이오칩 스캐닝 방법
GB2467951A (en) * 2009-02-20 2010-08-25 Sony Comp Entertainment Europe Detecting orientation of a controller from an image of the controller captured with a camera
US8120488B2 (en) * 2009-02-27 2012-02-21 Rf Controls, Llc Radio frequency environment object monitoring system and methods of use
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
TWI389558B (zh) * 2009-05-14 2013-03-11 Univ Nat Central Method of determining the orientation and azimuth parameters of the remote control camera
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
US8344823B2 (en) * 2009-08-10 2013-01-01 Rf Controls, Llc Antenna switching arrangement
WO2011031825A2 (en) * 2009-09-10 2011-03-17 Rf Controls, Llc Calibration and operational assurance method and apparatus for rfid object monitoring systems
US8341558B2 (en) * 2009-09-16 2012-12-25 Google Inc. Gesture recognition on computing device correlating input to a template
JP2011080845A (ja) * 2009-10-06 2011-04-21 Topcon Corp 3次元データ作成方法及び3次元データ作成装置
CA2686991A1 (en) * 2009-12-03 2011-06-03 Ibm Canada Limited - Ibm Canada Limitee Rescaling an avatar for interoperability in 3d virtual world environments
FR2953940B1 (fr) * 2009-12-16 2012-02-03 Thales Sa Procede de geo-referencement d'une zone imagee
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US8625107B2 (en) 2010-05-19 2014-01-07 Uwm Research Foundation, Inc. Target for motion tracking system
EP2405236B1 (de) * 2010-07-07 2012-10-31 Leica Geosystems AG Geodätisches Vermessungsgerät mit automatischer hochpräziser Zielpunkt-Anzielfunktionalität
DE102010060148A1 (de) * 2010-10-25 2012-04-26 Sick Ag RFID-Lesevorrichtung und Lese- und Zuordnungsverfahren
US20120150573A1 (en) * 2010-12-13 2012-06-14 Omar Soubra Real-time site monitoring design
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8791901B2 (en) 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
CA2780419A1 (en) * 2011-06-17 2012-12-17 National Cheng Kung University Unmanned aerial vehicle image processing system and method
WO2013023130A1 (en) * 2011-08-11 2013-02-14 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
US8493459B2 (en) * 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
US8493460B2 (en) * 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of differently scaled images
US9739864B2 (en) * 2012-01-03 2017-08-22 Ascentia Imaging, Inc. Optical guidance systems and methods using mutually distinct signal-modifying
EP2801077B1 (en) 2012-01-03 2023-11-29 Ascentia Imaging, Inc. Coded localization systems, methods and apparatus
AU2013225712B2 (en) * 2012-03-01 2017-04-27 H4 Engineering, Inc. Apparatus and method for automatic video recording
US8668136B2 (en) 2012-03-01 2014-03-11 Trimble Navigation Limited Method and system for RFID-assisted imaging
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
CN102679960B (zh) * 2012-05-10 2014-01-01 清华大学 基于圆形路标成像分析的机器人视觉定位方法
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US20130308013A1 (en) * 2012-05-18 2013-11-21 Honeywell International Inc. d/b/a Honeywell Scanning and Mobility Untouched 3d measurement with range imaging
US8699005B2 (en) * 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
US9562764B2 (en) * 2012-07-23 2017-02-07 Trimble Inc. Use of a sky polarization sensor for absolute orientation determination in position determining systems
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
NO336454B1 (no) 2012-08-31 2015-08-24 Id Tag Technology Group As Anordning, system og fremgangsmåte for identifisering av objekter i et digitalt bilde, samt transponderanordning
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9508042B2 (en) * 2012-11-05 2016-11-29 National Cheng Kung University Method for predicting machining quality of machine tool
KR101392357B1 (ko) 2012-12-18 2014-05-12 조선대학교산학협력단 2차원 및 3차원 정보를 이용한 표지판 검출 시스템
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
KR101387951B1 (ko) * 2013-05-10 2014-04-22 한국기계연구원 싱글 필드 방식의 엔코더를 이용한 웹 이송 속도 측정 방법
JP2014225108A (ja) * 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
EP3035882B1 (en) 2013-08-13 2018-03-28 Brainlab AG Moiré marker device for medical navigation
WO2015022022A1 (en) 2013-08-13 2015-02-19 Brainlab Ag Digital tool and method for planning knee replacement
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9518822B2 (en) * 2013-09-24 2016-12-13 Trimble Navigation Limited Surveying and target tracking by a network of survey devices
EP2865988B1 (de) * 2013-10-22 2018-09-19 Baumer Electric Ag Lichtschnittsensor
US9824397B1 (en) 2013-10-23 2017-11-21 Allstate Insurance Company Creating a scene for property claims adjustment
US10269074B1 (en) 2013-10-23 2019-04-23 Allstate Insurance Company Communication schemes for property claims adjustments
US20150116691A1 (en) * 2013-10-25 2015-04-30 Planitar Inc. Indoor surveying apparatus and method
NL2011811C2 (nl) * 2013-11-18 2015-05-19 Genicap Beheer B V Werkwijze en systeem voor het analyseren en opslaan van informatie.
US10478706B2 (en) * 2013-12-26 2019-11-19 Topcon Positioning Systems, Inc. Method and apparatus for precise determination of a position of a target on a surface
US9621266B2 (en) * 2014-03-25 2017-04-11 Osram Sylvania Inc. Techniques for raster line alignment in light-based communication
US8885916B1 (en) * 2014-03-28 2014-11-11 State Farm Mutual Automobile Insurance Company System and method for automatically measuring the dimensions of and identifying the type of exterior siding
RU2568335C1 (ru) * 2014-05-22 2015-11-20 Открытое акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королева" Способ измерения дальности до объектов по их изображениям преимущественно в космосе
US9361735B1 (en) 2014-07-11 2016-06-07 State Farm Mutual Automobile Insurance Company Method and system of using spatial sensors on vehicle frame to determine crash information
US9769494B2 (en) 2014-08-01 2017-09-19 Ati Technologies Ulc Adaptive search window positioning for video encoding
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US20160112727A1 (en) * 2014-10-21 2016-04-21 Nokia Technologies Oy Method, Apparatus And Computer Program Product For Generating Semantic Information From Video Content
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10755357B1 (en) 2015-07-17 2020-08-25 State Farm Mutual Automobile Insurance Company Aerial imaging for insurance purposes
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10114467B2 (en) 2015-11-30 2018-10-30 Photopotech LLC Systems and methods for processing image information
US10306156B2 (en) * 2015-11-30 2019-05-28 Photopotech LLC Image-capture device
US10706621B2 (en) 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10778877B2 (en) 2015-11-30 2020-09-15 Photopotech LLC Image-capture device
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
WO2018152202A1 (en) * 2017-02-14 2018-08-23 Massachusetts Institute Of Technology Systems and methods for automated microscopy
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10665035B1 (en) 2017-07-11 2020-05-26 B+T Group Holdings, LLC System and process of using photogrammetry for digital as-built site surveys and asset tracking
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10002442B1 (en) * 2017-12-21 2018-06-19 Capital One Services, Llc Placement of augmented reality objects using a guide marker
GB201804132D0 (en) * 2018-03-15 2018-05-02 Secr Defence Forensic analysis of an object for chemical and biological agents
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
JP6988704B2 (ja) * 2018-06-06 2022-01-05 トヨタ自動車株式会社 センサ制御装置、物体探索システム、物体探索方法及びプログラム
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
US11151782B1 (en) 2018-12-18 2021-10-19 B+T Group Holdings, Inc. System and process of generating digital images of a site having a structure with superimposed intersecting grid lines and annotations
MX2021012554A (es) 2019-04-15 2022-01-24 Armstrong World Ind Inc Sistemas y metodos para predecir materiales arquitectonicos dentro de un espacio.
US11257234B2 (en) * 2019-05-24 2022-02-22 Nanjing Polagis Technology Co. Ltd Method for three-dimensional measurement and calculation of the geographic position and height of a target object based on street view images
IT201900012681A1 (it) * 2019-07-23 2021-01-23 Parpas S P A Metodo di funzionamento di una macchina utensile a controllo numerico e dispositivo di rilevamento per implementare tale metodo
CN110502299B (zh) * 2019-08-12 2021-05-14 南京大众书网图书文化有限公司 一种用于提供小说信息的方法与设备
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN111798476B (zh) * 2020-06-08 2023-10-20 国网江西省电力有限公司电力科学研究院 一种高压隔离开关导电臂轴线提取方法
CN112666938B (zh) * 2020-12-08 2022-12-09 苏州光格科技股份有限公司 一种巡检机器人运行产生的位置偏差的智能补偿方法
DE102021111417A1 (de) 2021-05-03 2022-11-03 Carl Zeiss Ag Verfahren und System zu Bestimmung der Lage eines Markers in einem 2D-Bild und dafür ausgebildeter Marker
WO2024011063A1 (en) * 2022-07-06 2024-01-11 Hover Inc. Methods, storage media, and systems for combining disparate 3d models of a common building object

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2991743A (en) * 1957-07-25 1961-07-11 Burroughs Corp Optical device for image display
US3871758A (en) * 1970-02-24 1975-03-18 Jerome H Lemelson Audio-visual apparatus and record member therefore
US3662180A (en) * 1969-11-17 1972-05-09 Sanders Associates Inc Angle coding navigation beacon
US3648229A (en) * 1970-03-23 1972-03-07 Mc Donnell Douglas Corp Pulse coded vehicle guidance system
US3750293A (en) * 1971-03-10 1973-08-07 Bendix Corp Stereoplotting method and apparatus
US3812459A (en) * 1972-03-08 1974-05-21 Optical Business Machines Opticscan arrangement for optical character recognition systems
SE354360B (ja) * 1972-03-27 1973-03-05 Saab Scania Ab
US3873210A (en) * 1974-03-28 1975-03-25 Burroughs Corp Optical device for vehicular docking
US3932039A (en) * 1974-08-08 1976-01-13 Westinghouse Electric Corporation Pulsed polarization device for measuring angle of rotation
US4652917A (en) * 1981-10-28 1987-03-24 Honeywell Inc. Remote attitude sensor using single camera and spiral patterns
NL8601876A (nl) * 1986-07-18 1988-02-16 Philips Nv Inrichting voor het aftasten van een optische registratiedrager.
GB8803560D0 (en) * 1988-02-16 1988-03-16 Wiggins Teape Group Ltd Laser apparatus for repetitively marking moving sheet
US4988886A (en) * 1989-04-06 1991-01-29 Eastman Kodak Company Moire distance measurement method and apparatus
IL91285A (en) * 1989-08-11 1992-12-01 Rotlex Optics Ltd Method and apparatus for measuring the three- dimensional orientation of a body in space
US5078562A (en) * 1991-05-13 1992-01-07 Abbott-Interfast Corporation Self-locking threaded fastening arrangement
DE69208413T2 (de) * 1991-08-22 1996-11-14 Kla Instr Corp Gerät zur automatischen Prüfung von Photomaske
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US5299253A (en) * 1992-04-10 1994-03-29 Akzo N.V. Alignment system to overlay abdominal computer aided tomography and magnetic resonance anatomy with single photon emission tomography
FR2724013B1 (fr) * 1994-08-29 1996-11-22 Centre Nat Etd Spatiales Systeme de reperage d'orientation d'un instrument d'observation.
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5719386A (en) * 1996-02-07 1998-02-17 Umax Data Systems, Inc. High efficiency multi-image scan method
US5936723A (en) * 1996-08-15 1999-08-10 Go Golf Orientation dependent reflector
US5812629A (en) * 1997-04-30 1998-09-22 Clauser; John F. Ultrahigh resolution interferometric x-ray imaging
JP3743594B2 (ja) * 1998-03-11 2006-02-08 株式会社モリタ製作所 Ct撮影装置
TW490596B (en) * 1999-03-08 2002-06-11 Asm Lithography Bv Lithographic projection apparatus, method of manufacturing a device using the lithographic projection apparatus, device manufactured according to the method and method of calibrating the lithographic projection apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262255A (ja) * 2007-04-10 2008-10-30 Nippon Telegr & Teleph Corp <Ntt> カメラ校正方法、そのプログラム、記録媒体、装置
JP2009005148A (ja) * 2007-06-22 2009-01-08 Seiko Epson Corp 画像処理装置、プロジェクタ
KR101394493B1 (ko) 2013-02-28 2014-05-14 한국항공대학교산학협력단 라벨 병합 기간이 없는 단일 스캔 라벨러
WO2014141881A1 (ja) * 2013-03-11 2014-09-18 Ido Nobuhiko 特徴点集合間の対応付け方法、対応付け装置ならびに対応付けプログラム
JP2014174780A (ja) * 2013-03-11 2014-09-22 Nobuhiko Ido 特徴点集合間の対応付け方法、対応付け装置ならびに対応付けプログラム

Also Published As

Publication number Publication date
JP2004518105A (ja) 2004-06-17
AU1486101A (en) 2001-06-06
WO2001035053A1 (en) 2001-05-17
EP1252480A1 (en) 2002-10-30
WO2001035054A1 (en) 2001-05-17
WO2001035052A1 (en) 2001-05-17
EP1236018A1 (en) 2002-09-04
JP2003514234A (ja) 2003-04-15
US20040233461A1 (en) 2004-11-25
AU1763801A (en) 2001-06-06
AU1599801A (en) 2001-06-06
EP1248940A1 (en) 2002-10-16
WO2001035054A9 (en) 2002-12-05

Similar Documents

Publication Publication Date Title
JP2003514305A (ja) マシン・ビジョンのための堅牢なランドマークと前記ランドマークを検出するための方法
Rupnik et al. MicMac–a free, open-source solution for photogrammetry
Kumar Mishra et al. A review of optical imagery and airborne lidar data registration methods
Houshiar et al. A study of projections for key point based registration of panoramic terrestrial 3D laser scan
Moussa Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording
US10432915B2 (en) Systems, methods, and devices for generating three-dimensional models
Welter Automatic classification of remote sensing data for GIS database revision
Ulvi et al. Comparison of the Wearable Mobile Laser Scanner (WMLS) with Other Point Cloud Data Collection Methods in Cultural Heritage: A Case Study of Diokaisareia
Walter et al. Automatic verification of GIS data using high resolution multispectral data
Ghorbani et al. A novel 3-D local DAISY-style descriptor to reduce the effect of point displacement error in point cloud registration
Singh et al. An approach for tree volume estimation using RANSAC and RHT algorithms from TLS dataset
Elkhrachy Feature extraction of laser scan data based on geometric properties
Rodríguez‐Gonzálvez et al. A hybrid approach to create an archaeological visualization system for a Palaeolithic cave
Jin et al. Registration of UAV images using improved structural shape similarity based on mathematical morphology and phase congruency
Keyvanfar et al. Performance comparison analysis of 3D reconstruction modeling software in construction site visualization and mapping
Tao et al. Automatic multi-view registration of point clouds via a high-quality descriptor and a novel 3D transformation estimation technique
US20230119214A1 (en) Four-dimensional data platform using automatic registration for different data sources
Atik et al. An automatic image matching algorithm based on thin plate splines
CN113516059B (zh) 固体废弃物的识别方法、装置、电子设备及存储介质
Altuntas Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images
Foryś et al. Fast adaptive multimodal feature registration (FAMFR): an effective high-resolution point clouds registration workflow for cultural heritage interiors
WO2006105465A2 (en) Automated alignment of spatial data sets using geometric invariant information and parameter space clustering
Lach Semi-automated DIRSIG scene modeling from three-dimensional lidar and passive imagery
Strecha et al. Multi-view stereo and lidar for outdoor scene modelling
Sagüés et al. Robust line matching in image pairs of scenes with dominant planes