JP2003519421A - 任意の局面の受動的な体積画像の処理方法 - Google Patents
任意の局面の受動的な体積画像の処理方法Info
- Publication number
- JP2003519421A JP2003519421A JP2001549261A JP2001549261A JP2003519421A JP 2003519421 A JP2003519421 A JP 2003519421A JP 2001549261 A JP2001549261 A JP 2001549261A JP 2001549261 A JP2001549261 A JP 2001549261A JP 2003519421 A JP2003519421 A JP 2003519421A
- Authority
- JP
- Japan
- Prior art keywords
- image
- rays
- coordinate system
- image data
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
たは合成ステレオ画像の受動的な体積測量に関する。画像コンテンツへのジオメ
トリック効果の影響の包括的な理解、正確な測定、および簡潔なパラメータ表示
により、簡単な組の式を用いて、画像相関の問題から画像のジオメトリの複雑性
を分離することが可能になり、したがって、従来の共面ステレオ画像の場合のよ
うに、相当効率的な自動画像相関への道を開くことが可能である。次いで、これ
により、斜めの画像によって提供された複数の任意の視点から見られ得るように
、実世界の詳細な三次元の仮想モデルを効率的に生成することが可能になる。
位置を決定する工程を含む。測量の際に用いられる画像は、種々の方法のうちの
いずれか一つで取得され得る。例としては、ヘリコプターから取られる画像およ
び移動車両から取られる画像を含む。移動車両から映像画像データを取得する方
法は、同一の譲受人に譲渡された「METHOD AND APPRATUS
FOR COLLECTING AND PROCESSING VISUAL
AND SPATIAL POSITION INFORMATION FR
OM A MOVING PLATFORM」という名称の米国特許第5,63
3,946号(’946特許)に開示される。同文献を本明細書において参考と
して援用する。’946特許は、複数のビデオカメラが異なる方向で車両上に取
り付けられた車両を開示する。車両は道路に沿って運転され、そしてビデオカメ
ラそれぞれからの映像画像は記録される。各画像フレームは、各画像フレームと
関連付けられた時間コードを有する。正確な空間位置データも、関連付けられた
時間コードと共に、取得され、かつ記録される。空間位置データは、衛星航法シ
ステム(GPS)および慣性航法システム(INS)から取得される。GPSシ
ステムは、車両内にGPS受信機、および公知の位置に設けられたGPSベース
の受信機を含む。GPS衛星情報内に導入された誤差は、車両内のGPS受信機
およびGPSベース受信機によって集められたGPSデータの差分処理によって
排除される。INSは、一組の回転センサおよび加速センサを含み、そして、車
両が緯度に沿って、経度に沿って、上昇するように、上下に(pitch)、回
転して、および左右(yaw)移動するごとに、継続的に回転の変化および速度
の変化を測定する。したがって、INSは、正確な位置読み取りがGPSシステ
ムによって行われる位置と位置との間の六つの自由度を備えた生の異なる空間位
置データを提供する。
グ技術が用いられて、バンの六つの自由度の軌跡を時間関数として計算する。こ
の結果生じた軌跡は、すべてのナビゲーションデータの中で最も適した軌跡であ
る。車両の六次元の空間位置データを時間コードでインデックス付けすることに
よって、このデータをそれぞれの記録された映像画像(これも時間コードによっ
てインデックス付けされる)に相関させることが可能である。
て後に用いられるように格納される。カメラの較正データは、車両内のカメラの
内部光ジオメトリおよびカメラ外部の六次元的位置の両方を十分に示すように意
図される。内部アスペクトは、画像ピクセルとカメラ座標内で関連付けられた光
線とを関連付ける。外部アスペクトは、カメラ座標内に規定された光線とグロー
バル座標内の光線とを関連付ける。これらの局面は両方、双方向に動作する。車
両のナビゲーションデータの後処理およびカメラの較正の両方が完了した後、六
次元のグローバル位置が各映像フレームに割り当てられ得る。空間データとカメ
ラの較正データとの組み合わせを、本明細書において各フレームの画像パラメー
タと呼ぶ。画像パラメータが決定された後、画像は測量用に用いられる準備が整
う。異なる位置から同じ対象のオブジェクト(単数または複数)を見る二つ以上
のこのような画像を用いて測量を達成する。
テレオ写真技術の数学的計算は、ソース画像が共面の仮定から得られる画像位置
の小さな偏差の修正項を用いてほぼ同じジオメトリック平面で撮られたという仮
定に基づく。このようなアプローチは、解像度が高い(高い解像度は異常に大量
のデータが格納されることを必要とする)デジタルカメラを用いることによって
二つのカメラ間の比較的短いベース線を補償する必要がある。さらに、ステレオ
の写真測量アプローチにおいてしばしば行われる必要があるように、カメラから
非常に遠い点またはオブジェクトの位置を計算する場合、オブジェクトの位置を
計算する際に誤差が生じる可能性が非常に増加する。
像内に見られるオブジェクトの位置を決定することである。このアプローチにお
いて、画像内のオブジェクトの位置は、画像内のジオメトリに関係なく、重複し
た場面を有する任意の二つ以上の画像から決定される。画像間のジオメトリに関
係なく、全画像の重複ピクセルにこの概念を組織的に適用することが望ましい。
しかし、複数の非共面画像によって生じる難しさは、画像が容易に相関されない
ことである。相関アルゴリズムは、画像データの大部分を検索して、第一の画像
内のピクセルの中で、第二の画像内のピクセルに対応するピクセルを見つける必
要がある。相関はステレオペアの画像上でより効率的に動作するように処理する
ことが一般的に公知である。例えば、人間に見えるステレオペアにおいて、左の
画像および右の画像における同じオブジェクト点は、両方の画像内の同じ水平線
上にある。水平線に沿った横方向の位置ずれの差異は、画像の共面からオブジェ
クト点の距離によって変化する。
の深さに関する決定的な定量知識を有することも望ましい。さらに、人間の生理
機能によって制約されない自動アルゴリズムはこのようなステレオペアのより広
いクラスで動作し得る。このより広いクラスの変換された画像を定量円柱球面の
ステレオペア(QCSP)と呼ぶ。QCSPは対応するピクセルの線登録を保存
する。
を用いてQCSPに変換される。上記QCSPは複数の異なるフォーマット、例
えば、従来の人間の視野内のステレオペア、半径のステレオペアおよび一般的な
場合の定量円柱球面のステレオペアをとり得る。上記QCSPは、種々の三次元
の画像化処理、例えば、受動的な体積測量および三次元の視覚化の生成に用いら
れ得る。
生成) 測量プロセスの第一の工程は、画像データ、空間位置データおよびカメラの較
正データを収集することである。このデータを収集した後、重複場面を有する二
つの画像が識別される。二つの識別された画像は、異なるカメラからの画像であ
ったり、または異なる時間点における同じカメラからの画像であり得る。二つの
画像は共面である必要はない。二つの識別されたソース画像のそれぞれは、変換
された画像または目標画像に変換される。この変換を「円柱球面」変換と呼ぶ。
これは、円柱形の数学的構造および球形の数学的構造の両方を用いて画像を変換
させるからである。二つの変換された画像はQCSPを含み、これにより、特定
の点が両方のソース画像において見られる場合、点が変換された画像両方の同じ
線上にある。円柱球面変換およびこの一般的な場合の出力をまず記述する。定量
な半径のおよび従来のステレオペアは、円柱球面変換の別の出力フォーマットで
ある。
像パラメータ内の誤差により、オブジェクト点と関連付けられたピクセルが、不
正確な水平および/または垂直のオフセットを有するようになり、このオフセッ
トにおいて、ピクセルは変換された画像内に置かれる。したがって、誤差は相関
ウィンドウを拡大させようとする傾向にあり、したがって、計算時間を浪費する
。画像パラメータが正確であればあるほど、画像間で対応するピクセルの検索が
狭くなる。すなわち、非常に正確な画像パラメータを用いると、対応するピクセ
ルは、変換された画像の同じ線に見られる。位置情報の正確さが下がると、対応
するピクセルは数本以上の線内に見られる。
ラの位置を示す。各画像の「画像パラメータ」はこの情報を含む。
のカメラ位置(第一のカメラ位置14Aおよび第二のカメラ位置14B)を図1
に示す。カメラ1の方向は軸20Aによって示され、カメラ2の方向は軸20B
によって示される。カメラ2は、実際には、カメラ1と同じであってもよいが、
カメラを用いる位置および時間を異なって用いてもよい。カメラ位置14Aおよ
び14Bを通る軸12を有する円筒10は、平面18の360度のファン(fa
n)を規定する。平面18それぞれは、円筒10の軸12と交差する。角度「ベ
ータ」は、基準面18Aに対して平面18それぞれの角回転を割り当てる。平面
18の全部でないにしてもいくつかは、二つのソース画像それぞれの視野を通る
。平面が視野にある場合、平面がその端部(edge−on)から見られるため
、この平面は線に見える。ある画像と別の画像との間の対応するピクセルは同じ
線に沿って生じる。これらの線は出力画像の水平線(すなわち、行)を規定する
。
第二のカメラ位置14Bを中心とする。円筒軸12と球体22の原点から始まる
任意のベクトルとの間の角度を「アルファ」と呼ぶ。図1Aにおいて、第一のベ
クトル24は第一のカメラ位置14Aから空間内の点28まで引き伸ばされ、第
二のベクトル26は第二のカメラ位置14Bから同じ点28まで引き伸ばされる
。アルファ1(α1)は第一のベクトル24のアルファ値を示し、アルファ2(
α2)は第二のベクトル26のアルファ値を示す。空間内の任意の点は二つのア
ルファ値および一つのベータ値を有する。不変のアルファ線はQCSP画像の垂
直線(すなわち、列)を規定する。
がって、図1Aの球体22Aおよび22Bは、図1Bに示すような、無限の半径
および一つの(アルファ、ベータ)座標システムを有する共通の球体であるとも
考えられ得る。
円筒軸と位置が合わされた極軸、(2)出力画像の行に対応した経度線、および
(3)出力画像の列に対応した緯度線によって、球のようなグリッドで囲まれる
。このグリッド上へのソース画像の投影は、画像が出力画像にプロットされる図
を示す。円柱球面変換は、回転動作以外のいずれの変換動作にも関与しない。円
柱球面変換は二つのカメラ位置間の偏差ベクトルに固定される。したがって、視
差の誤差は変換によって導入されない。
円筒軸12を規定することである(ブロック50)。ベクトルは、第二のカメラ
位置14Bから第一のカメラ位置14Aまでの線である。カメラ位置14は、格
納された画像パラメータデータから決定される。格納された画像パラメータデー
タは、各画像に対して、ITRF地球中心、地球固定(earth−cente
red,earth−fixed)(ECEF)グローバル座標の変換データ、
標準的な航空機の座標フォーマットの回転データ(回転、上下および左右)(図
6参照)、および回転データに基づいて計算された3×3のオイラーマトリクス
(すなわち、方向コサインマトリクス)(図7参照)を含む。
軸のユニットベクトルは、3×3の回転変換マトリクスの第三の列に割り当てら
れる(ブロック52)。
ック54)。平均的なカメラのビュー方向は、第一の画像と関連付けられた方向
(これは、大体、第一のカメラの外方への光軸の方向)コサインマトリクスの第
一の列と、第二の画像と関連付けられた方向(これは、大体、第二のカメラの外
方への光軸の方向)コサインマトリクスの第一の列とを合計して、そして結果生
じるベクトルを正規化することによって計算される。
、このベクトルは円筒軸および平均ビュー方向の両方に垂直である。回転変換マ
トリクスの第三の列に割り当てられたベクトルは、正規化された円筒軸のベクト
ルと正規化された平均ビュー方向ベクトルとのクロス乗積から生じたベクトルで
ある。結果生じたベクトルは、回転変換マトリクスの第三の列に割り当てられる
前に正規化される。
または「下」のベクトルを用いることが好適であり得る。さらに、円筒軸が垂直
である場合、平均ビュー方向の代わりに「北」ベクトルを用いることが好適であ
り得る。
とによって完成する(ブロック58)。マトリクスの第一の列に割り当てられた
ベクトルは、マトリクスの第二の列とマトリクスの第三の列とのクロス乗積から
生じるベクトルである。完成した回転変換マトリクスは、グローバルECEF座
標で示されたベクトルを回転させて、局所的な円柱球面のX座標、Y座標および
Z座標にする際に用いられる。次いで、アルファ値およびベータ値は、円柱球面
のX座標、Y座標およびZ座標から計算され得る。
、そして、一方向にのみ延びる(すなわち、光線は方向付けられた線セグメント
である)。 回転変換マトリクスが完成した後、変換された画像の視野が決定される(ブロッ
ク60)。視野の決定は、アルファ値およびベータ値の最小値および最大値を識
別する工程を含む。アルファ値およびベータ値の最小値および最大値を識別する
好適な方法は、各ソース画像のピクセルのサブセットを選択することである。画
像のエッジを含む11×11のピクセルのグリッドは、良好であることが分かっ
ている(したがって、121のピクセルがテストされた)。各ピクセルに対して
、カメラ位置から外方に延びる対応する光線が生成される。光線はグローバルE
CEF座標で示される。アルファ値およびベータ値は各光線に対して計算される
。光線に対応するアルファ値およびベータ値を計算する際、光線のグローバル座
標は、回転変換マトリクスを用いて、円柱球面のX座標、Y座標およびZ座標に
変換される。次いで、アルファ値およびベータ値は、円柱球面のX座標、Y座標
およびZ座標から決定される。アルファ値およびベータ値は相互に比較されて、
最小値および最大値を識別する。
よび最大値から計算される(ブロック62)。アルファ中央値はアルファ値の最
小値と最大値とを加算して、この結果を2で除算することによって計算される。
同様に、ベータ中央値はベータ値の最小値と最大値とを加算して、この結果を2
で除算することによって計算される。アルファ中央値およびベータ中央値は、変
換された画像(これは入力画像の視野全体をカバーする)の中央にある。
ットまたは半径の出力フォーマットでの有用性を見ることが望ましい場合がある
。例えば、アルファ値の範囲が正でも負でもない場合、対数目盛の半径のステレ
オ画像は出力され得ない。ベータ値の範囲が180度以上である場合、従来のス
テレオ画像は出力され得ない(これはブロック64において行われる)。
サブセットにさらに制限することが望ましい場合がある。例えば、二つの画像の
重複を制限することによって境界決めされた領域を用いてもよい。これはブロッ
ク66において行われる。
るピクセル数は、所望の水平出力解像度および垂直出力解像度に依存する。
(ブロック70)。ベータのステップ値は、出力画像の行数および出力画像の計
算されたベータ値の範囲(すなわち、ベータ値の最大値からベータ値の最小値を
減算した値)に基づくため、出力画像の各行は対応するベータ値を有する。同様
に、アルファのステップ値は、出力画像の列数および出力画像の計算されたアル
ファ値の範囲(すなわち、アルファ値の最大値からアルファ値の最小値を減算し
た値)に基づくため、出力画像の各列は対応するアルファ値を有する。
のX座標、Y座標およびZ座標で生成される(ブロック72)。次いで、光線は
、回転変換を用いてグローバル座標に変換される。生成されたそれぞれの光線に
対して、ソース画像それぞれを有する光線の交差点が決定される(ブロック74
)。光線が交差したソース画像それぞれのピクセルは、光線を生成するために用
いられたアルファ値およびベータ値の対応する目標画像にコピーされる。
光線が交差したピクセルを識別する場合、カメラの較正データが考慮される。ソ
ース画像内の所与のピクセルと交差する光線を生成するには、入力ピクセルがカ
メラの座標システム内のベクトルに変換される。カメラの座標システムにおいて
、X軸はレンズの中心から外を向き、Y軸は右を向き、そしてZ軸は下を向く。
カメラ座標内のベクトルのX成分は1に設定される。Y成分は、正規化された水
平ピクセル位置に水平の目盛係数を乗算して、次いで水平0点オフセットを加算
することによって規定される。同様に、Z成分は、正規化された垂直ピクセル位
置に垂直の目盛係数を乗算して、次いで垂直0点オフセットを加算することによ
って規定される。目盛係数および0点オフセットは測定されたカメラの較正パラ
メータに基づく。生成されたベクトルは歪みのない画像内の点を示す。半径の歪
みはまず画像の中央から半径距離の点を計算することによって考慮される。半径
距離は、生成されたベクトルのY成分およびZ成分を二乗し、これらの成分を加
算し、そしてこの合計の二乗根を計算することによって計算される。半径距離は
3次多項式の歪み修正アルゴリズムに入力される。3次多項式の歪み修正アルゴ
リズムは、歪みが修正された半径距離を出力する。好適な実施形態において、歪
みが修正された半径距離は、入力半径距離を三乗し、この三乗した入力半径距離
をカメラ特定の目盛歪み係数(scalar distortion fact
or)で乗算し、そして入力半径距離を加算することによって計算される。カメ
ラ特定の歪み係数はカメラごとに異なり、カメラレンズによって生成された歪み
の量に主に依存する。カメラの画像平面は、ピクセルレベルにおいて、比較的ほ
とんど歪みを有さない傾向にある。実験から、光軸からの半径距離に基づいた歪
みの修正が良好に終了されることが分かっている。係数が一つのアプローチによ
り、カメラの較正に必要なデータ収集の複雑性およびサイズが減少する。次いで
、歪みが無いベクトルは、ベクトルのY成分およびZ成分に、歪みが修正された
半径距離と元々計算された半径距離との比を乗算することによって歪みが調整さ
れる。歪みが調整されたベクトルは、焦点面上の真の点を識別する。歪みが調整
されたベクトルには、画像の方向コサインマトリクスが乗算されて、ベクトルを
カメラ座標からグローバル座標に変換し、この結果、グローバル光線が生じる。
ソース画像内のピクセルを識別する場合である。プロセスは、実質的に、上述の
プロセスの逆(すなわち、所与のピクセルと交差する光線を生成するプロセス)
である。しかし、重要な差異が一つある。ピクセルから開始する場合、このピク
セルと交差する光線は常に生成され得る。逆に、光線から開始する場合、この光
線はピクセルを交差する場合も交差しない場合もある。ピクセルが交差されない
場合、適切な「失敗」フラグが設定されて、ピクセルが交差していないことを示
す。
された光線に逆方向の画像のコサインマトリクスを乗算して、この光線をグロー
バル座標からXカメラ座標、Yカメラ座標およびZカメラ座標に変換することで
ある。入力光線のY成分およびZ成分はそれぞれ、入力光線のX成分で除算され
て、画像平面にあるベクトルを生成し、そして焦点面内の真の点を識別する。ベ
クトルのY成分およびZ成分は用いられて、画像中央からの半径距離の真の点を
計算する。半径距離は、Y成分およびZ成分を二乗し、これらの成分を加算し、
そしてこの合計の二乗根を計算することによって計算される。半径距離およびカ
メラ特定の歪み係数は、3次多項式の解を得るアルゴリズムに入力されて、一つ
の真の根に対する3次式の解を得る。3次式の解を得る技術は、Schaum’
s Math Handbookなどの数学の教科書に記載される。アルゴリズ
ムの解を得る3次多項式は歪みが修正された半径距離を出力する。正規化された
水平ピクセル位置は、画像平面ベクトルのY成分に、歪みが修正された半径距離
と元の半径距離との比を乗算し、次いで水平0点オフセットと水平目盛係数との
比を減算することによって計算される。正規化された垂直のピクセル位置は、画
像平面ベクトルのZ成分に、歪みが修正された半径距離と元の半径距離との比を
乗算し、次いで垂直0点オフセットと垂直目盛係数との比を減算することによっ
て計算される。
計算を上述してきた。モード1およびモード2は、有用な方法で水平ピクセル位
置を調整する。モード1は、方向コサインマトリクスで用いられる角度を変更さ
せ、出力画像の水平線間の空間における非線形的な増加を用いる。第一のモード
において、変換は、普通の人間の知覚を用いて見られ得そして解釈され得る「従
来の」ステレオペアを生成する。第一のモードは、画像位置間のベクトルを概し
て横向きに見る画像に対してうまく機能する。第一のモードは、進行方向と位置
が合わされた(すなわち、進行方向を指す)画像に対してはうまく機能しないが
、第二のモードはこのような画像に対してうまく機能する。第二のモードにおい
て、変換は「半径の」ステレオペアを生成する。第二のモードは、画像が進行方
向と位置が合わされていない場合、うまく機能しない。第三のモードは、概して
、共通の場面を共有する任意の対の画像に適用可能である。第三のモードにおい
て、変換は「通常の場合の円柱球面」ステレオペアを生成する。モードの選択は
入力画像の方向および所望の出力特徴に依存する。各種類のQCSPの実施例を
以下の段落において説明する。
示し、カメラがヘリコプターのやや前方の地面の方を見下ろしている画像を示す
。図3Cおよび図3Dはそれぞれ、図3Aおよび図3Bに示すソース画像から生
成されたQCSPを示す。カメラはヘリコプターにボルト留めされ、ヘリコプタ
ーはその飛行経路に沿って、左右に移動、上下に移動、および回転するため、元
の画像のフットプリントは位置が合わせられず、ステレオペアではない。カメラ
がヘリコプターのやや前方に向けられたため、元の画像のフットプリントは形状
が長方形ではなく台形であった。QCSPの下位画像が長方形の重複領域をクロ
ッピングしたことに留意されたい。このようなクロッピングは、特定の対象範囲
(境界線上の任意のピクセルペアの範囲)を示唆する。
いにしてもやや柔軟であることに留意されたい。
転する。(+Xは前、+Yは右、+Zは下に回転する)。
る。
、Z)は以下によってアルファおよびベータに関連する。 ICFを−90度回転する場合: ベータ=アークタンジェント(Z/D) アルファ=アークタンジェント(Y*コサイン(ベータ)/D) ICFを+90度回転する場合: ベータ=アークタンジェント(Z/D) アルファ=アークタンジェント(Y*コサイン(ベータ)/D) 5.典型的な入力画像の台形のフットプリント、およびカメラが円筒軸に対し
て垂直に見ない場合があるという点により、ソース画像の中央軸も出力画像の座
標の中央軸も中心としない画像の重複エリアが生じる。したがって、モード1の
QCSPのパラメータは、ステレオペアの座標フレームの原点から保存された合
成画像のペアの中心への二次元のオフセット移動を含む。結果生じた利益により
、人間の視野を損なうことなく、実際の画像サイズが減少し、そしてコンピュー
タ記憶装置が節約される。
撮られた二つのソース画像、および二つのソース画像の変換を示す。左上の角に
示すソース画像(図4A)は、右上の角に示すソース画像(図4B)より後の時
間に撮られた。各画像の変換をソース画像の下に示す。
選択することが用いられた。中心からの偏差の対数(すなわち、(90度−AB
S(アルファ))のタンジェントの対数)を計算することによって、カメラの偏
差の方向に垂直である標識などの平坦なオブジェクトは同じサイズを有する。ほ
とんどの高速道路の標識が車両の進行方向にほぼ垂直であるため、広く有用なク
ラスのステレオ相関が簡略化される。この機能を図4Cおよび図4Dに示す。進
行方向に垂直のオブジェクトは両方の画像において同じサイズであり、これによ
り、変換された画像内で自動的に測量するために用いられる画像認識アルゴリズ
ムの複雑性を減少させることが可能になる。例えば、図4Cおよび図4Dの変換
された画像に示すように、道路を越えて延びた道路の標識は両方の画像において
同じサイズである。アルファ=0の場合、対数は無限大になり、したがって、円
筒軸の直接上の小さなエリアは変換から排除されることに留意されたい。排除さ
れたエリアは、一つのピクセルのフラクションと同程度に小さく選択されたり、
またはいくつかのピクセルと同程度に大きく選択され得る。範囲情報は進行軸の
近位で品質が下がる。モード2およびモード3の合成ステレオペアは、人間の知
覚には馴染みのないものであるが、モード1のステレオペアとのこれらの差異は
自動画像相関アルゴリズムには分からない。
ら撮られた二つのソース画像を示し、図5Cおよび図5Dは二つのソース画像の
変換を示す。各画像(図5C、図5D)の変換をソース画像(図5A、図5B)
の下に示す。図5Cおよび図5Dに示す円柱球面ステレオペアは内斜視のビュー
用に設定される。
間の対応したピクセルを識別する。共面から離れた画像を相関させることは困難
である。例えば、人がオブジェクトに近づく方向に移動すると、オブジェクトは
大きくなる。オブジェクトのサイズが画像ごとに変化するため、対応するピクセ
ルの検索がより困難になる。上述したように非共面画像をQCSPにすることに
よって、検索が著しく簡略化される。本発明のQCSPにおいて、画像間の対応
するピクセルは、同じ線上にあるかまたは互いの数本の線内にある。これにより
、対応するピクセルの検索が狭い線形空間に限定されるため、相関プロセスの効
率が顕著に増加する。従来のステレオペアと協働するアルゴリズムのような既存
の相関アルゴリズムも、本発明のQCSPと共に用いられ得る。このようなアル
ゴリズムは、エッジ検出、パターン認識および他の技術によって対応するピクセ
ルを識別する。
ピクセルと関連付けられたアルファ値およびベータ値を用いて、円柱球面空間に
おける二つの交差光線が計算される。光線の最も近いアプローチの交差点または
点は、この点の円柱球面のX座標、Y座標およびZ座標である。次いで、この点
は、回転されて、ユーザ定義の座標システム内に変換され得る。したがって、ピ
クセルの範囲が三角測量によって決定され得る。範囲決定プロセスによって、各
ピクセルと関連付けられたX円柱球面座標、Y円柱球面座標およびZ円柱球面座
標が生じる。好適な実施形態において、ITRF地球中心、地球固定(ECEF
)座標が、X座標、Y座標およびZ座標に対して用いられる。ピクセルのX位置
、Y位置およびZ位置が決定された後、ピクセルが体積エンティティになる。好
適な実施形態において、コンピュータはQCSP内のピクセルに自動的に相関さ
せ、そして三次元の視覚化モデルを生成する。
る要素の三次元の定量的空間位置を識別し、そして仮想(例えば、三次元)オブ
ジェクトを場面内に挿入することを可能にするために、画像を有用なツールにす
るデータ構造として保存される。仮想オブジェクトの挿入はモード1において特
に有用であるため、提案された変更が行われた後、自然な方法で、人は既存の場
面のコンテキストにおいて「物はどのように見るか」を見ることが可能である。
QCSPのデータ構造により、三次元における定量情報のリアルタイムの抽出お
よび挿入が可能になる。通常、合成の定量的なステレオペアの合成の間、ソース
画像におけるモデル化された歪みが排除され、これにより、出力画像ジオメトリ
を記載するために歪みパラメータが必要でなくなる。
マップ画像(.BMP)として保存される。QCSPは、54バイトのヘッダを
含み、この直後には、ピクセルデータ(ピクセルあたり3バイトでエンコードさ
れる−−青/緑/赤)の継続的なストリームが続く。各画像の左下の角で開始し
て、ピクセルデータはそれぞれの水平行の画像に対して左から右に書き込まれ、
行の最後は0バイトで埋められて、最も近い4バイトの境界線に切り上げられる
。次の上の行がすぐに続く。QCSPにおいて、画像の低部における黒色のピク
セルの一つ以上の余分な線は定量ヘッダデータを提供する。定量ヘッダデータは
すぐに、標準的なビットマップヘッダに続く。定量ヘッダデータは、対応するピ
クセルの正確な三次元の地理的な位置決めを可能にする一組の式によって用いら
れる数の係数を含む。係数は、三次元の地理的な位置からピクセルペアの座標へ
の逆変換にも用いられる。定量ヘッダ内の最後の入力は、テストのピクセルペア
であり、提供された係数を用いて計算された、関連付けられたECEF座標であ
る。
これらの座標システムは、(1)ステレオペア内部の座標システム、および(2
)ステレオペア外部の座標システムである。ステレオペア外部の座標システムは
ECEF座標を用いる。回転変換は用いられて、ステレオペアの内部座標システ
ムと外部のECEF座標との間で変換される。
および範囲から逸脱することなく、形態および詳細の変更が行われ得ることを理
解する。
ルに示す。
する共通の球体としていかに示され得るかを示す。
プターのやや前方の地面の方を見下ろしている画像を示す。 図3Bは、カメラを一つ備えたヘリコプターから撮られた画像を示し、ヘリコ
プターのやや前方の地面の方を見下ろしている画像を示す。 図3Cは、図3Aおよび図3Bに示すソース画像から生成されたQCSP(こ
れは人間に見えるステレオペアの画像である)を示す。 図3Dは、図3Aおよび図3Bに示すソース画像から生成されたQCSP(こ
れは人間に見えるステレオペアの画像である)を示す。
二つのソース画像を示す。 図4Bは、車両の前方を向いたカメラを一つ備えた移動車両から撮られた二つ
のソース画像を示す。 図4Cは、水平軸上に対数目盛を用いて二つのソース画像を正確な半径のステ
レオペアにする変換を示す。 図4Dは、水平軸上に対数目盛を用いて二つのソース画像を正確な半径のステ
レオペアにする変換を示す。
た二つのソース画像を示す。 図5Bは、車両の右前方に向けられたカメラを一つ備えた移動車両から撮られ
た二つのソース画像を示す。 図5Cは、円柱球面画像目盛を用いた、二つのソース画像の変換を示す。 図5Dは、円柱球面画像目盛を用いた、二つのソース画像の変換を示す。
Claims (29)
- 【請求項1】 記録された画像を処理する方法であって、該方法は、 重複場面を有する一対の記録された画像を選択する工程と、 該一対の記録された画像を定量円柱球面のステレオペア(QCSP)画像に変
換させる工程であって、共通の場面のオブジェクト点に対応するピクセルは該(
QCSP)画像内の対応する水平線内に配置する、工程と 該QCSP画像を用いて画像相関を実行する工程と を包含する、方法。 - 【請求項2】 各記録された画像は、空間位置および該画像を生成したカメ
ラの方向を識別する、関連付けられたデータを有し、該一対の記録された画像を
変換させる工程は該関連付けられたデータに基づく、請求項1に記載の方法。 - 【請求項3】 前記変換させる工程は、前記関連付けられたデータに基づい
てジオメトリックな変換を用いる、請求項2に記載の方法。 - 【請求項4】 対応するピクセルの範囲を、前記画像の相関によって識別さ
れた前記対の合成画像内で決定する工程をさらに包含する、請求項1に記載の方
法。 - 【請求項5】 前記範囲に基づいて、各ピクセルのグローバル位置を決定す
る工程をさらに包含する、請求項4に記載の方法。 - 【請求項6】 前記画像の相関に基づいて、三次元の視覚化モデルを生成す
る工程をさらに包含する、請求項1に記載の方法。 - 【請求項7】 前記一対の記録された画像は第一の画像および第二の画像を
含み、前記変換させる工程は、 前記第一の画像と関連付けられた第一のカメラ位置と、前記第二の画像と関連
付けられた第二のカメラ位置との間に円筒軸を規定する工程と、 該円筒軸に基づいた座標システムを用いて、各記録された画像内に選択された
ピクセルを配置する工程と、 該選択されたピクセルを用いて前記QCSP画像を生成する工程と を包含する、請求項1に記載の方法。 - 【請求項8】 前記変換させる工程は、 前記一対の記録された画像と関連付けられたカメラ位置間に円筒軸を規定する
工程と、 該円筒軸に基づいて局所座標システムを規定する工程と、 グローバル座標システムと該局所座標システムとの間に回転変換を規定する工
程と、 第一の組の光線および第二の組の光線を該局所座標システム内に生成する工程
であって、該システムは前記合成画像のピクセルを規定する、工程と、 該第一の組の光線および該第二の組の光線を該グローバル座標システムに変換
する工程と、 該QCSP画像を該記録された画像のピクセルで満たす工程であって、該ピク
セルは、該グローバル座標システムにおける該第一の組の光線および該第二の組
の光線が交差した、工程と を包含する、請求項1に記載の方法。 - 【請求項9】 各光線は角度アルファおよび角度ベータによって規定され、
該アルファは前記円筒軸に対する前記光線の角度であり、該ベータは、該円筒軸
を通る基準面に対する該光線および該円筒軸によって規定された平面の角度であ
る、請求項8に記載の方法。 - 【請求項10】 画像データを処理する工程であって、 第一の画像データおよび第一のカメラ位置データを保存する工程と、 第二の画像データおよび第二のカメラ位置データを保存する工程と、 該第一のカメラ位置データおよび該第二のカメラ位置データに基づいて該第一
の画像データおよび該第二の画像データをジオメトリックに変換させて、第一の
変換された画像データおよび第二の変換された画像データを生成する工程と、 該第一の変換された画像データおよび該第二の変換された画像データを用いて
画像相関を実行する工程と を包含する、方法。 - 【請求項11】 ジオメトリックに変換させる工程は、 前記第一のカメラ位置と前記第二のカメラ位置との間に円筒軸を規定する工程
と、 第一の球体を該円筒軸上の点において中心に規定する工程と、 第二の球体を該円筒軸上の点において中心に規定する工程と、 該円筒軸、該一の球体および該第二の球体に基づいて回転変換マトリクスを規
定する工程と、 第一の組の光線および第二の組の光線を生成する工程であって、該第一の組の
光線および該第二の組の光線は、該第一の変換された画像データおよび該第二の
変換された画像データのピクセルを規定する、工程と、 該第一の組の光線および該第二の組の光線を、該第一の画像データおよび該第
二の画像データと関連する座標システムに変換させる工程と、 該第一の画像データおよび該第二の画像データ内のピクセルに基づいて該第一
の変換された画像データおよび該第二の変換された画像データを形成する工程で
あって、該ピクセルは該第一の組の光線および該第二の組の光線によって交差さ
れる、工程と を包含する、請求項10に記載の方法。 - 【請求項12】 前記第一の球体は前記第一のカメラ位置を中心とする、請
求項11に記載の方法。 - 【請求項13】 前記第二の球体は前記第二のカメラ位置を中心とする、請
求項12に記載の方法。 - 【請求項14】 各光線は角度アルファおよび角度ベータによって規定され
、該アルファは前記円筒軸に対する前記光線の角度であり、該ベータは、該円筒
軸を通る基準面に対する該光線および該円筒軸によって規定された平面の角度で
ある、請求項11に記載の方法。 - 【請求項15】 前記画像相関によって識別された前記第一の変換された画
像データおよび前記第二の変換された画像データ内の対応するピクセルの範囲を
決定する工程をさらに包含する、請求項10に記載の方法。 - 【請求項16】 前記範囲に基づいて各ピクセルのグローバル位置を決定す
る工程をさらに包含する、請求項15に記載の方法。 - 【請求項17】 前記画像の相関に基づいて、三次元の視覚化モデルを生成
する工程をさらに包含する、請求項10に記載の方法。 - 【請求項18】 ジオメトリックに変換させる工程は、 前記第一の画像と関連付けられた第一のカメラ位置と前記第二の画像と関連付
けられた第二のカメラ位置との間に円筒軸を規定する工程と、 該円筒軸に基づいた座標システムを用いて、各記録された画像内に選択された
ピクセルを位置決めする工程と、 該選択されたピクセルを用いて前記第一の変換された画像データおよび前記第
二の変換された画像データをジオメトリックに生成する工程と を包含する、請求項10に記載の方法。 - 【請求項19】 前記変換させる工程は、 前記記録された画像と関連付けられたカメラ位置間に円筒軸を規定する工程と
、 該円筒軸に基づいて局所座標システムを規定する工程と、 グローバル座標システムと該局所座標システムとの間の回転変換を規定する工
程と、 第一の組の光線および第二の組の光線を該局所座標システム内に生成する工程
であって、該システムは前記合成画像のピクセルを規定する、工程と、 該第一の組の光線および該第二の組の光線を該グローバル座標システムに変換
する工程と、 該変換された画像を該記録された画像のピクセルで満たす工程であって、該ピ
クセルは、該グローバル座標システムにおける該第一の組の光線および該第二の
組の光線によって交差される、工程と を包含する、請求項1に記載の方法。 - 【請求項20】 記録された画像を処理する工程であって、 重複場面を有する第一の記録された画像および第二の記録された画像を選択す
る工程と、 該第一の記録された画像および該第二の記録された画像と関連付けられた第一
のカメラ位置と第二のカメラ位置との間に円筒軸を規定する工程と、 該第一のカメラ位置と該第二のカメラ位置から始まる第一の組の光線および第
二の組の光線それぞれを生成する工程であって、各光線は角度αおよびβによっ
て規定され、アルファは該円筒軸に対する該光線の角度であり、βは、該円筒軸
を通る基準面に対する該光線および該円筒軸によって規定された平面の角度であ
る、工程と、 第一の変換された画像を該第一の記録された画像のピクセルで満たす工程であ
って、該ピクセルは該第一の組の光線によって交差される、工程と、 第二の変換された画像を該第二の記録された画像のピクセルで満たす工程であ
って、該ピクセルは該第二の組の光線によって交差される、工程と を包含する、方法。 - 【請求項21】 前記第一の変換された画像データおよび前記第二の変換さ
れた画像データを用いて画像相関を実行する工程をさらに包含する、請求項20
に記載の方法。 - 【請求項22】 前記画像相関を用いて、前記第一の変換された画像および
前記第二の変換された画像内の対応するピクセルの位置を決定する工程をさらに
包含する、請求項21に記載の方法。 - 【請求項23】 前記第一の変換された画像および前記第二の変換された画
像を用いて、三次元のモデルを生成する工程をさらに包含する、請求項20に記
載の方法。 - 【請求項24】 前記円筒軸に基づいて、前記第一の記録された画像および
前記第二の記録された画像と関連したグローバル座標システムと局所座標システ
ムとの間の回転変換を規定する工程をさらに包含する、請求項20に記載の方法
。 - 【請求項25】 前記第一の組の光線および前記第二の組の光線を前記局所
座標システムから前記グローバル座標システムに変換する工程と、 該変換された第一の組の光線および第二の組の光線と、前記第一の記録された
画像および前記第二の記録された画像のピクセルとの交差点を決定する工程と をさらに包含する、請求項24に記載の方法。 - 【請求項26】 前記第一の組の光線および前記第二の組の光線の光線に対
する光線方向の増加を決定する工程をさらに包含する、請求項20に記載の方法
。 - 【請求項27】 前記光線方向の増加は一定の距離の増加のアークタンジェ
ントに基づく、請求項26に記載の方法。 - 【請求項28】 前記光線方向の増加は前記タンジェントαの対数に基づく
、請求項26に記載の方法。 - 【請求項29】 前記光線方向の増加は一定の角度の増加に基づく、請求項
26に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17344099P | 1999-12-29 | 1999-12-29 | |
US60/173,440 | 1999-12-29 | ||
PCT/US2000/035591 WO2001048683A1 (en) | 1999-12-29 | 2000-12-29 | Any aspect passive volumetric image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003519421A true JP2003519421A (ja) | 2003-06-17 |
JP4685313B2 JP4685313B2 (ja) | 2011-05-18 |
Family
ID=22632044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001549261A Expired - Fee Related JP4685313B2 (ja) | 1999-12-29 | 2000-12-29 | 任意の局面の受動的な体積画像の処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7233691B2 (ja) |
EP (1) | EP1242966B1 (ja) |
JP (1) | JP4685313B2 (ja) |
AU (1) | AU2464101A (ja) |
CA (1) | CA2395257C (ja) |
WO (1) | WO2001048683A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010511212A (ja) * | 2006-11-03 | 2010-04-08 | テレ アトラス ベスローテン フエンノートシャップ | 画像内の平面オブジェクトを識別し且つ位置判定する方法及び装置 |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6603885B1 (en) * | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
US6895126B2 (en) | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
US7424133B2 (en) | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
FR2897163B1 (fr) * | 2006-02-08 | 2008-04-11 | Thales Sa | Procede de geo-localisation d'une ou plusieurs cibles |
US20100245571A1 (en) * | 2006-04-24 | 2010-09-30 | Northrop Grumman Corporation | Global hawk image mosaic |
US7873238B2 (en) | 2006-08-30 | 2011-01-18 | Pictometry International Corporation | Mosaic oblique images and methods of making and using same |
US8593518B2 (en) * | 2007-02-01 | 2013-11-26 | Pictometry International Corp. | Computer system for continuous oblique panning |
US8520079B2 (en) * | 2007-02-15 | 2013-08-27 | Pictometry International Corp. | Event multiplexer for managing the capture of images |
US8145578B2 (en) | 2007-04-17 | 2012-03-27 | Eagel View Technologies, Inc. | Aerial roof estimation system and method |
US8078436B2 (en) | 2007-04-17 | 2011-12-13 | Eagle View Technologies, Inc. | Aerial roof estimation systems and methods |
US9262818B2 (en) | 2007-05-01 | 2016-02-16 | Pictometry International Corp. | System for detecting image abnormalities |
US8385672B2 (en) * | 2007-05-01 | 2013-02-26 | Pictometry International Corp. | System for detecting image abnormalities |
US7991226B2 (en) | 2007-10-12 | 2011-08-02 | Pictometry International Corporation | System and process for color-balancing a series of oblique images |
US8531472B2 (en) | 2007-12-03 | 2013-09-10 | Pictometry International Corp. | Systems and methods for rapid three-dimensional modeling with real façade texture |
US8675068B2 (en) * | 2008-04-11 | 2014-03-18 | Nearmap Australia Pty Ltd | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
US8497905B2 (en) | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
EP2263380A1 (en) * | 2008-04-18 | 2010-12-22 | Tele Atlas B.V. | Method of using laser scanned point clouds to create selective compression masks |
US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
US8917904B2 (en) * | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
US8452053B2 (en) * | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
US8155433B2 (en) * | 2008-07-10 | 2012-04-10 | Goodrich Corporation | Method of object location in airborne imagery using recursive quad space image processing |
GB2461912A (en) * | 2008-07-17 | 2010-01-20 | Micron Technology Inc | Method and apparatus for dewarping and/or perspective correction of an image |
US8588547B2 (en) | 2008-08-05 | 2013-11-19 | Pictometry International Corp. | Cut-line steering methods for forming a mosaic image of a geographical area |
US8170840B2 (en) | 2008-10-31 | 2012-05-01 | Eagle View Technologies, Inc. | Pitch determination systems and methods for aerial roof estimation |
US8209152B2 (en) | 2008-10-31 | 2012-06-26 | Eagleview Technologies, Inc. | Concurrent display systems and methods for aerial roof estimation |
US8401222B2 (en) * | 2009-05-22 | 2013-03-19 | Pictometry International Corp. | System and process for roof measurement using aerial imagery |
US9330494B2 (en) | 2009-10-26 | 2016-05-03 | Pictometry International Corp. | Method for the automatic material classification and texture simulation for 3D models |
US9097532B2 (en) * | 2010-01-20 | 2015-08-04 | Honeywell International Inc. | Systems and methods for monocular airborne object detection |
CA2801486C (en) | 2010-02-01 | 2018-12-11 | Eagle View Technologies, Inc. | Geometric correction of rough wireframe models derived from photographs |
US8477190B2 (en) | 2010-07-07 | 2013-07-02 | Pictometry International Corp. | Real-time moving platform management system |
US8823732B2 (en) | 2010-12-17 | 2014-09-02 | Pictometry International Corp. | Systems and methods for processing images with edge detection and snap-to feature |
BR112013031128A2 (pt) | 2011-06-10 | 2017-06-27 | Pictometry Int Corp | sistema e método para formar fluxo de vídeo que contém dados de gis em tempo real |
US10663294B2 (en) | 2012-02-03 | 2020-05-26 | Eagle View Technologies, Inc. | Systems and methods for estimation of building wall area and producing a wall estimation report |
US8774525B2 (en) | 2012-02-03 | 2014-07-08 | Eagle View Technologies, Inc. | Systems and methods for estimation of building floor area |
US9599466B2 (en) | 2012-02-03 | 2017-03-21 | Eagle View Technologies, Inc. | Systems and methods for estimation of building wall area |
US9933257B2 (en) | 2012-02-03 | 2018-04-03 | Eagle View Technologies, Inc. | Systems and methods for estimation of building wall area |
US10515414B2 (en) | 2012-02-03 | 2019-12-24 | Eagle View Technologies, Inc. | Systems and methods for performing a risk management assessment of a property |
US8953024B2 (en) * | 2012-02-21 | 2015-02-10 | Intellectual Ventures Fund 83 Llc | 3D scene model from collection of images |
US9183538B2 (en) | 2012-03-19 | 2015-11-10 | Pictometry International Corp. | Method and system for quick square roof reporting |
CN104662435A (zh) * | 2012-09-27 | 2015-05-27 | Metaio有限公司 | 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法 |
US9240048B2 (en) | 2012-11-30 | 2016-01-19 | Adobe Systems Incorporated | Depth estimation using three-dimensional epipolar data structures |
US9214025B2 (en) * | 2012-11-30 | 2015-12-15 | Adobe Systems Incorporated | Depth estimation using normalized displacement of image pairs |
US9881163B2 (en) | 2013-03-12 | 2018-01-30 | Pictometry International Corp. | System and method for performing sensitive geo-spatial processing in non-sensitive operator environments |
US9244272B2 (en) | 2013-03-12 | 2016-01-26 | Pictometry International Corp. | Lidar system producing multiple scan paths and method of making and using same |
US9753950B2 (en) | 2013-03-15 | 2017-09-05 | Pictometry International Corp. | Virtual property reporting for automatic structure detection |
US10909482B2 (en) | 2013-03-15 | 2021-02-02 | Pictometry International Corp. | Building materials estimation |
US9275080B2 (en) | 2013-03-15 | 2016-03-01 | Pictometry International Corp. | System and method for early access to captured images |
US9959581B2 (en) | 2013-03-15 | 2018-05-01 | Eagle View Technologies, Inc. | Property management on a smartphone |
US11587176B2 (en) | 2013-03-15 | 2023-02-21 | Eagle View Technologies, Inc. | Price estimation model |
CA2935457C (en) | 2014-01-10 | 2022-08-09 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
US9292913B2 (en) | 2014-01-31 | 2016-03-22 | Pictometry International Corp. | Augmented three dimensional point collection of vertical structures |
CA2938973A1 (en) | 2014-02-08 | 2015-08-13 | Pictometry International Corp. | Method and system for displaying room interiors on a floor plan |
GB201407643D0 (en) | 2014-04-30 | 2014-06-11 | Tomtom Global Content Bv | Improved positioning relatie to a digital map for assisted and automated driving operations |
US9745083B2 (en) * | 2015-04-01 | 2017-08-29 | Worldvu Satellites Limited | Method for thermal stabilization of a communications satellite |
CN107850445B (zh) | 2015-08-03 | 2021-08-27 | 通腾全球信息公司 | 用于生成及使用定位参考数据的方法及系统 |
US20170235018A1 (en) | 2016-01-08 | 2017-08-17 | Pictometry International Corp. | Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles |
WO2017142788A1 (en) | 2016-02-15 | 2017-08-24 | Pictometry International Corp. | Automated system and methodology for feature extraction |
US10671648B2 (en) | 2016-02-22 | 2020-06-02 | Eagle View Technologies, Inc. | Integrated centralized property database systems and methods |
US10628802B2 (en) | 2016-05-19 | 2020-04-21 | Lockheed Martin Corporation | Systems and methods for assessing damage to infrastructure assets |
US10032267B2 (en) | 2016-06-09 | 2018-07-24 | Lockheed Martin Corporation | Automating the assessment of damage to infrastructure assets |
US10503843B2 (en) | 2017-12-19 | 2019-12-10 | Eagle View Technologies, Inc. | Supervised automatic roof modeling |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4754327A (en) * | 1987-03-20 | 1988-06-28 | Honeywell, Inc. | Single sensor three dimensional imaging |
EP0431191B1 (en) * | 1989-06-20 | 1999-09-01 | Fujitsu Limited | Method and apparatus for measuring position and posture of object |
JP3107929B2 (ja) * | 1992-10-22 | 2000-11-13 | キヤノン株式会社 | 複眼撮像装置 |
US5680474A (en) | 1992-10-27 | 1997-10-21 | Canon Kabushiki Kaisha | Corresponding point extraction method for a plurality of images |
JPH0719832A (ja) | 1993-06-21 | 1995-01-20 | Canon Inc | 複数画像の対応点抽出方法 |
US5937015A (en) | 1994-01-11 | 1999-08-10 | Dent; Paul W. | Interference mitigation by joint decoding of overlapped signals |
CA2190596C (en) | 1994-05-19 | 2002-03-26 | Theodore M. Lachinski | Method for collecting and processing visual and spatial position information |
US5963247A (en) | 1994-05-31 | 1999-10-05 | Banitt; Shmuel | Visual display systems and a system for producing recordings for visualization thereon and methods therefor |
US5703961A (en) | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
US5644651A (en) | 1995-03-31 | 1997-07-01 | Nec Research Institute, Inc. | Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation |
US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
DE19636028C1 (de) | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
US6064760A (en) | 1997-05-14 | 2000-05-16 | The United States Corps Of Engineers As Represented By The Secretary Of The Army | Method for rigorous reshaping of stereo imagery with digital photogrammetric workstation |
US6011863A (en) | 1997-06-12 | 2000-01-04 | Nec Research Institute, Inc. | Cylindrical rectification to minimize epipolar distortion |
US6078701A (en) * | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
US6157747A (en) | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
-
2000
- 2000-12-29 WO PCT/US2000/035591 patent/WO2001048683A1/en active Application Filing
- 2000-12-29 US US10/168,811 patent/US7233691B2/en not_active Expired - Lifetime
- 2000-12-29 JP JP2001549261A patent/JP4685313B2/ja not_active Expired - Fee Related
- 2000-12-29 EP EP00988431A patent/EP1242966B1/en not_active Expired - Lifetime
- 2000-12-29 AU AU24641/01A patent/AU2464101A/en not_active Abandoned
- 2000-12-29 CA CA2395257A patent/CA2395257C/en not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
JPN6010039164, 苗村健 他, "光線情報による3次元実空間の効率的記述へ向けた光線空間射影法", 電子情報通信学会技術研究報告Vol.95 No.503, 19960201, IE95−119, p49−56, JP, 社団法人電子情報通信学会 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010511212A (ja) * | 2006-11-03 | 2010-04-08 | テレ アトラス ベスローテン フエンノートシャップ | 画像内の平面オブジェクトを識別し且つ位置判定する方法及び装置 |
US8280107B2 (en) | 2006-11-03 | 2012-10-02 | Tomtom Global Content B.V. | Method and apparatus for identification and position determination of planar objects in images |
Also Published As
Publication number | Publication date |
---|---|
CA2395257C (en) | 2013-04-16 |
EP1242966A4 (en) | 2007-01-31 |
CA2395257A1 (en) | 2001-07-05 |
WO2001048683A1 (en) | 2001-07-05 |
JP4685313B2 (ja) | 2011-05-18 |
EP1242966A1 (en) | 2002-09-25 |
EP1242966B1 (en) | 2012-11-07 |
US7233691B2 (en) | 2007-06-19 |
AU2464101A (en) | 2001-07-09 |
US20020191838A1 (en) | 2002-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4685313B2 (ja) | 任意の局面の受動的な体積画像の処理方法 | |
CN110648398B (zh) | 基于无人机航摄数据的正射影像实时生成方法及系统 | |
CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
KR100912715B1 (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
EP1788349B1 (en) | Method for geocoding a perspective image | |
US8107722B2 (en) | System and method for automatic stereo measurement of a point of interest in a scene | |
KR101504383B1 (ko) | 항공 측량 방법 및 장치 | |
US7583275B2 (en) | Modeling and video projection for augmented virtual environments | |
CN110675450B (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
US20230351625A1 (en) | A method for measuring the topography of an environment | |
CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
CN112184786B (zh) | 一种基于合成视觉的目标定位方法 | |
US20030225513A1 (en) | Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context | |
CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
CN115830116A (zh) | 一种鲁棒视觉里程计方法 | |
CN114140397A (zh) | 全数字地面成像法重力近区地形改正方法及系统 | |
Hirzinger et al. | Photo-realistic 3D modelling-From robotics perception to-wards cultural heritage | |
CN118334263B (zh) | 基于截断符号距离函数的融合激光点云的高精度建模方法 | |
CN110930510A (zh) | 城市空间三维重建方法 | |
EP1796048A2 (en) | Augmented virtual environments | |
Rawlinson | Design and implementation of a spatially enabled panoramic virtual reality prototype | |
Tilley | Mosaic Maps: 2D Information from Perspective Data | |
Shojaei | Accurate Interior 3d Modelling Sans Control Points: Enhance Iphone Tof Capability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071221 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101013 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101020 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101115 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |