JP2006177926A - カメラの位置及び姿勢情報補正方法及びその装置 - Google Patents

Abstract

【課題】カメラに装着された３ラインスキャナーを介して得られる画像情報を分析し、カメラの位置と姿勢情報とを精密に補正できるようにする方法及び装置を提供すること。
【解決手段】衛星航法装置を用いてカメラの位置を計算するステップと、慣性航法装置を用いてカメラの姿勢を計算するステップと、カメラに装着された３ラインスキャナーを介して入力される画像を分析し、カメラの位置及び姿勢補正情報を生成するステップと、生成された位置及び姿勢補正情報をそれぞれ衛星航法装置と慣性航法装置とにフィードバックするステップとを有する。３ラインスキャナーを介して入力される画像は、前方スキャナー観測画像、直下スキャナー観測画像及び後方スキャナー観測画像とから構成される。人工衛星や航空機、車両などの輸送手段に搭載されたカメラを介して観測された画像に対し、地上基準点を使用しなくともカメラの外部標定要素を精密に決めることができる。
【選択図】図１

Description

本発明は、カメラの位置及び姿勢情報補正方法及びその装置に関し、より詳細には、衛星航法装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ；ＧＮＳＳ）と慣性航法装置（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ；ＩＮＳ）とから位置及び姿勢情報を得るために作られたカメラの運用において、カメラに装着された３ラインスキャナー（Ｔｈｒｅｅ Ｌｉｎｅ Ｓｃａｎｎｅｒ；ＴＬＳ）を介して得られる画像情報を分析し、カメラの位置と姿勢情報とを精密に補正できるようにしたカメラの位置及び姿勢情報補正方法及びその装置に関する。

人工衛星や航空機、車両のような観測装置や、これに搭載されたカメラの位置と姿勢とを決める方法は、大別して３つ方法に分けられる。まず、第１の方法は、衛星航法装置と慣性航法装置とから入ってくる情報を結合し、観測装置の位置と姿勢情報とを決める方法である。次に、第２の方法は、慣性航法装置を使用しない状況で、衛星航法装置の一種であるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて複数個のＧＰＳ衛星からくる信号を分析することにより、観測装置の位置と姿勢とを決める方法である。最後に、第３の方法は、衛星航法装置と慣性航法装置とを装着したステレオカメラを介して入力される画像を分析し、対象物の３次元情報を生成する方法である。

衛星航法装置と慣性航法装置とを結合して車両の位置と姿勢とを決め、その結果に対するマップマッチングを通じて車両の現在の位置を表わすための従来技術が、特許文献１の「ハイブリッドナビゲーションシステム」に開示されている。

また、ＧＰＳセンサ、慣性航法装置センサと、ＤＲ（Ｄｅａｄ−Ｒｅｃｋｏｎｉｎｇ）センサとから入力される情報を結合し、移動通信において位置及び姿勢を決めるための従来技術が、特許文献２の「ＧＰＳ及びＩＮＳを用いた移動通信システムにおける位置及び姿勢決定システム」に開示されている。

また、衛星航法装置と慣性航法装置とが装着された車両に設けられているデジタルビデオカメラを介して獲得されるステレオ画像を用いて、対象物に対する３次元位置及び属性情報を獲得する従来技術が、特許文献３の「３次元位置測定装置及びその方法」に開示されている。

また、衛星航法装置と慣性航法装置、また、ＣＣＤカメラを用いて獲得された画像に対し、内部及び外部標定要素を適用して情報を生成する従来技術が、特許文献４の「空間画像の効率的な格納及び検索を支援するための空間画像情報システム及びその検索方法」に開示されている。

また、複数個のＧＰＳ衛星からくる信号とスターセンサ（Ｓｔａｒ Ｓｅｎｓｏｒ又はＳｔａｒ Ｔｒａｃｋｅｒ）とを通じて得られる情報を分析し、人工衛星の位置と姿勢とを予測し、点検するための従来技術が、特許文献５の「Ａｔｔｉｔｕｄｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ａｎｄ Ａｌｉｇｎｍｅｎｔ Ｕｓｉｎｇ Ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ Ｓｅｎｓｏｒｓ ａｎｄ Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅｓ」に開示されている。

さらに、複数個のＧＰＳ衛星からくる信号を分析し、車両の位置と姿勢とを決めるための従来技術が、特許文献６の「Ａｔｔｉｔｕｄｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｕｓｉｎｇ Ａ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ」に開示されている。

韓国特許出願第１９９７−４１０１９号 韓国特許出願第２０００−８５８１７号 韓国特許出願第２００１−４１１８７号 韓国特許出願第２００２−６２４１７号 米国特許出願公開第２００２／０００４６９１号明細書 米国特許第６５８０３８９号明細書

しかしながら、上述した従来技術は、衛星航法装置から得られる情報のみを用いるか、衛星航法装置と慣性航法装置とを同時に用いて観測装置の位置と姿勢とを決めることができる方法であって、位置情報の精度は衛星航法装置から得られる情報の精度に応じて決められ、姿勢情報の精度は慣性航法装置から得られる情報の精度に応じて決められる特性を有している。

従って、位置情報を得る過程では、衛星航法装置によって制限される定められた時間間隔より短い時間間隔に対しては、位置情報を得ることができないという問題点がある。例えば、ＧＰＳの場合、ＧＰＳ信号が通常１秒の間隔で提供されるため、これより短い時間間隔に対して精密な位置情報を計算することができないという問題がある。

また、姿勢情報を得る過程でも、慣性航法装置により制限される時間間隔より短い時間間隔に対しては、姿勢情報を得ることができないという問題点がある。

なお、上述した従来技術は、位置及び姿勢の精度が関連装置の性能により決定されるだけであり、衛星航法装置と慣性航法装置とに接続された観測装置であるカメラから得られる画像情報から付加情報を活用できないという問題点がある。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、衛星航法装置と慣性航法装置とが装着されたカメラの３ラインスキャナーを介して得られるスキャンライン画像情報を用いて、カメラの位置と姿勢情報とを精密に決めることができるようにしたカメラの位置及び姿勢情報補正方法及びその装置を提供することにある。

本発明は、このような目的を達成するためになされたもので、カメラの位置及び姿勢情報補正方法において、衛星航法装置を用いて前記カメラの位置を計算するステップと、慣性航法装置を用いて前記カメラの姿勢を計算するステップと、前記カメラに装着された３ラインスキャナーを介して入力される画像を分析し、前記カメラの位置及び姿勢補正情報を生成するステップと、前記生成されたカメラの位置及び姿勢補正情報をそれぞれ前記衛星航法装置と前記慣性航法装置とにフィードバックするステップとを有することを特徴とする。前記３ラインスキャナーを介して入力される画像は、前方スキャナー観測画像、直下スキャナー観測画像及び後方スキャナー観測画像から構成されている。

また、本発明は、衛星航法装置と慣性航法装置とが接続されたカメラの位置及び姿勢情報補正装置において、前記カメラに備えられた３ラインスキャナーを介して入力される画像を分析して、前記カメラの位置及び姿勢補正情報を生成する手段と、前記生成されたカメラの位置及び姿勢補正情報をそれぞれ前記衛星航法装置と前記慣性航法装置とにフィードバックする手段とを備え、前記カメラの位置及び姿勢情報の精度を向上させることを特徴とする。

上述した目的、特徴及び長所は、添付された図面と関連した次の詳細な説明を通してより明確になり、それにより、本発明の属する技術分野における通常の知識を有する者が本発明の技術的な思想を容易に実施できるであろう。また、本発明を説明するにおいて、本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にする恐れがあると判断される場合、その詳細な説明を省略する。

本発明によれば、人工衛星や航空機、又は車両などの輸送手段に搭載されたカメラを介して観測された画像に対し、地上基準点（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）を使用しなくとも、カメラの外部標定要素（Ｅｘｔｅｒｉｏｒ Ｏｒｉｅｎｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒｓ）を精密に決めることができる。

また、より短い時間間隔に対して、カメラの位置と姿勢情報とをさらに精密に決めることができるという効果がある。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明に係る画像基準位置及び姿勢情報補正装置が適用されるシステムの一実施形態を説明するためのブロック図である。

３ラインスキャナーを備えたカメラ１００は、人工衛星や航空機、又は車両のような観測装置に搭載される。従って、カメラ１００の位置及び姿勢情報は観測装置の位置及び姿勢情報に直結される。

３ラインスキャナーは、観測装置の進行方向の直角方向に向かう直下スキャナー１２０と、進行方向に向かう前方スキャナー１１０及び進行方向と相反される方向に向かう後方スキャナー１３０とからなる。

この時、直下スキャナー１２０と前方スキャナー１１０との間の角度と、直下スキャナー１２０と後方スキャナー１３０との間の角度は９０゜以下である。

衛星航法装置２００は、カメラ１００と接続されて、そのカメラ１００の位置を決める。衛星航法装置２００の一例としてＧＰＳ受信機が使用され得る。慣性航法装置３００は、カメラ１００と接続されて、そのカメラ１００の姿勢を決める。

衛星航法装置２００と慣性航法装置３００とは、カメラ１００と同じフレームに物理的に固設される。衛星航法装置２００と慣性航法装置３００とは、通常のものを使用することができるため、その構成に対する具体的な説明は省略する。

画像基準位置及び姿勢補正装置４００は、カメラ１００の３ラインスキャナーを介して入力されるスキャンライン画像を用いてカメラ１００の位置及び姿勢補正情報を生成する。生成されたカメラの位置及び姿勢補正情報は、それぞれ衛星航法装置２００と慣性航法装置３００とにフィードバックされ、カメラ１００の位置及び姿勢情報はより精密に把握され得る。

図２は、本発明に係る３ラインスキャナーを介して獲得された画像間の関係を示した図である。

３ラインスキャナーは、観測装置の進行方向によって前方スキャナー１１０と、直下スキャナー１２０と、後方スキャナー１３０とから構成される。従って、スキャンライン画像も前方スキャナー１１０を介して生成される前方スキャナー観測画像５１０と、直下スキャナー１２０を介して生成される直下スキャナー観測画像５２０と、後方スキャナー１３０を介して生成される後方スキャナー観測画像５３０とからなる。

観測装置の進行方向を基準として３つのスキャナーが配列されるため、観測対象になる地表面又は施設物は、先に前方スキャナー１１０により観測される。一定の時間Δｔ₁が経った後、観測対象は直下スキャナー１２０により観測され、さらに一定時間Δｔ₂が経った後、観測対象は後方スキャナー１３０により観測される。

観測装置が等速直線運動をし、姿勢の変化のない慣性運動をする場合、前方スキャナー１１０と直下スキャナー１２０、また、後方スキャナー１３０間の観測時間間隔は同じになり（即ち、 Δｔ₁＝ Δｔ₂）、３ラインスキャナー１１０、１２０、１３０を介して観測される画像間にも位置偏差が表れないようになる。即ち、前方スキャナー観測画像、直下スキャナー観測画像、後方スキャナー観測画像は同じになる。

その反面において、観測装置が等速直線運動と慣性運動とをしなかった場合、３ラインスキャナーを介して観測される画像５１０、５２０、５３０間には、図２に示すように、位置偏差が表れるようになる。前方スキャナー観測画像５１０と直下スキャナー観測画像５２０との間の画像位置偏差は画素単位で（１，１）であり、直下スキャナー観測画像５２０と後方スキャナー観測画像５３０との間の画像位置偏差は画素単位で（１，２）である。本発明による画像基準位置及び姿勢情報補正装置４００は、このような画像位置偏差を分析することにより、カメラの位置及び姿勢情報を精密に補正できるようにする。

図３は、本発明に係る画像基準位置及び姿勢情報補正装置の一実施形態を説明するための細部ブロック図である。

３ラインスキャナーを備えたカメラ１００を搭載した観測装置が前方に進行することに従って、３ラインカメラにより順に前方スキャナー観測画像５１０と、直下スキャナー観測画像５２０と、後方スキャナー観測画像５３０とが生成される。生成された観測画像５１０、５２０、５３０は、画像基準位置及び姿勢情報補正装置４００に入力される。

前方スキャナー観測画像５１０は、第１のバッファメモリ４１０に仮格納される。その後、画像整合部４３０は、仮格納された前方スキャナー観測画像５１０と、直下スキャナー１２０を介し、リアルタイムで観測されて入力される直下スキャナー観測画像５２０とに対して画像整合を行い、２つの画像５１０、５２０間に画素単位の画像位置偏差Δｕ₁、Δｖ₁を計算する。画像整合は領域基準整合方法や形状基準整合方法のように、既に知られた様々な方法で行われることができる。

直下スキャナー１２０と後方スキャナー１３０とを介して観測される画像に対しても同じ過程が適用される。即ち、直下スキャナー観測画像５２０は、第２のバッファメモリ４２０に仮格納される。その後、画像整合部４３０は、仮格納された直下スキャナー観測画像５２０と、後方スキャナー１３０を介してリアルタイムで観測されて入力される後方スキャナー観測画像５３０に対して画像整合を行い、画像５２０、５３０間に画素単位の画像位置偏差Δｕ₂、Δｖ₂を計算する。画像整合は、領域基準整合方法や形状基準整合方法のように、既に知られた様々な方法で行うことができる。

前方スキャナー観測画像５１０と直下スキャナー観測画像５２０との間の第１の画像位置偏差関連情報Δｕ₁、Δｖ₁、ｔ_f、ｔ_nと、直下スキャナー観測画像５２０と後方スキャナー観測画像５３０との間の第２の画像位置偏差関連情報Δｕ₂、Δｖ₂、ｔ_n、ｔ_bとは、カルマンフィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）処理部４４０に入力される。

第１の画像位置偏差関連情報Δｕ₁、Δｖ₁、ｔ_f、ｔ_nは、前方スキャナー観測画像５１０と直下スキャナー観測画像５２０との間の画像位置偏差Δｕ₁、Δｖ₁、前方スキャナー観測画像５１０が生成された時刻ｔ_f、直下スキャナー観測画像５２０が生成された時刻ｔ_nから構成される。

第２の画像位置偏差関連情報Δｕ₂、Δｖ₂、ｔ_n、ｔ_bは、直下スキャナー観測画像５２０と後方スキャナー観測画像５３０との間の画像位置偏差Δｕ₂、Δｖ₂、直下スキャナー観測画像５２０が生成された時刻ｔ_n、後方スキャナー観測画像５３０が生成された時刻ｔ_bから構成される。

カルマンフィルタ処理部４４０は、第１及び第２の画像位置偏差関連情報、衛星航法装置２００から入力されるｔ_n時点のカメラの位置情報ｘ、ｙ、ｚ、ｔ_nと、慣性航法装置３００から入力されるｔ_n時点のカメラの姿勢情報ω、κ、φ、ｔ_nから位置及び姿勢補正情報ｘ´、ｙ´、ｚ´、ω´、κ´、φ´、ｔ_mを推定して生成する。

位置及び姿勢補正情報は、画像生成がなされる時間毎の間隔に対して局部的に計算されたカメラの位置及び姿勢変化を含んでいる。ここで、時刻ｔ_mは前方スキャナー観測画像５１０が作られた時刻ｔ_fと後方スキャナー観測画像５３０が作られた時刻ｔ_bとの間に存在する任意の時刻である。画像生成がなされる時間間隔は、通常の衛星航法装置や慣性航法装置によって制限される時間間隔より短い時間間隔からなることができる。

図４は、本発明に係るカルマンフィルタ処理部の一実施形態を説明するための細部ブロック図である。投影変換部４４２は、カメラの位置情報ｘ、ｙ、ｚ、ｔ_nとカメラの姿勢情報ω、κ、φ、ｔ_nとにより定義される７個の媒介変数ｘ、ｙ、ｚ、ω、κ、φ、ｔ_nを、第１及び第２の画像位置偏差関連情報により定義される７個の媒介変数Δｕ₁、Δｖ₁、Δｕ₂、Δｖ₂、ｔ_f、ｔ_n、ｔ_bに適用する投影変換を行う。

このような投影変換の遂行結果を、カメラの位置情報を表わす媒介変数ｘ、ｙ、ｚに適用して実世界の位置偏差を表わす媒介変数δｘ、δｙ、δｚを計算する。

次いで、カルマンフィルタ４４４は、カメラの位置及び姿勢情報を表わす媒介変数ｘ、ｙ、ｚ、ω、κ、φ、ｔ_nと実世界の位置偏差を表わす媒介変数δｘ、δｙ、δｚとから最適化された位置及び姿勢偏差に対する推定値を表わす媒介変数Δｘ、Δｙ、Δｚ、Δω、Δκ、Δφを計算する。

偏差修正部４４６は、位置及び姿勢偏差に対する推定値を表わす媒介変数Δｘ、Δｙ、Δｚ、Δω、Δκ、Δφを用いて位置及び姿勢情報位置並びに姿勢情報を表わす媒介変数ｘ、ｙ、ｚ、ω、κ、φ、ｔ_nの偏差を修正することにより、与えられた時刻ｔ_mに対して最適化されて推定された位置及び姿勢補正情報ｘ´、ｙ´、ｚ´、ω´、κ´、φ´、ｔ_mを算出する。

ｔ_fとｔ_bとの間に存在する任意の時刻ｔ_mに対し、最適化されて推定された位置及び姿勢補正情報ｘ´、ｙ´、ｚ´、ω´、κ´、φ´、ｔ_mは位置補正情報ｘ´、ｙ´、ｚ´、ｔ_mと姿勢補正情報ω´、κ´、φ´、ｔ_mとに分離される。分離された位置補正情報と姿勢補正情報とは衛星航法装置２００と慣性航法装置３００とにそれぞれフィードバックされ、カメラの位置と姿勢情報とを精密に補正するために使用される。

このように、３ラインスキャナー画像を分析して得られる補正情報をフィードバックし、位置及び姿勢情報の精度を向上させる技術は、即座の処理接近方式（Ｏｎｂｏａｒｄ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐｒｏａｃｈ）は勿論であり、後処理接近方式（Ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ Ａｐｐｒｏａｃｈ）によっても行われることができる。

即座の処理接近方式とは、人工衛星や航空機、又は車両において、３ラインスキャナーを介して画像を観測すると共に、位置及び姿勢補正情報を衛生航法装置と慣性航法装置とにフィードバックして位置及び姿勢情報の精度を向上させ、補正された位置と姿勢情報とを３ラインスキャナーを介して得られる画像に直ちに適用（即ち、記録）することを意味する。

後処理接近方式とは、衛星航法装置と慣性航法装置とから得られる位置及び姿勢情報と３ラインスキャナーを介して得られる画像情報とをありのまま記録し、追って、別途の処理過程を通じて位置及び姿勢情報の精度を向上させることを意味する。

本発明による位置及び姿勢補正方法は、プログラムで具現されてコンピュータで読み取り可能な形態の記録媒体（ＣＤＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスクなど）に格納され得る。

なお、本発明は、上述した実施形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲内で様々な変更が可能であり、それらも本発明の技術的範囲に属する。

本発明に係る画像基準位置及び姿勢情報補正装置が適用されるシステムの一実施形態を説明するためのブロック図である。 本発明に係る３ラインスキャナーを介して獲得された画像間の関係を示した図である。 本発明に係る画像基準位置及び姿勢情報補正装置の一実施形態を説明するための細部ブロック図である。 本発明に係るカルマンフィルタ処理部の一実施形態を説明するための細部ブロック図である。

符号の説明

１００ カメラ
１１０ 前方スキャナー
１２０ 直下スキャナー
１３０ 後方スキャナー
２００ 衛星航法装置
３００ 慣性航法装置
４００ 画像基準位置及び姿勢情報補正装置
４１０ 第１のバッファメモリ
４２０ 第２のバッファメモリ
４３０ 画像整合部
４４０ カルマンフィルタ処理部
４４２ 投影変換部
４４４ カルマンフィルタ
４４６ 偏差修正部
５１０ 前方スキャナー観測画像
５２０ 直下スキャナー観測画像
５３０ 後方スキャナー観測画像

Claims (12)

1. 衛星航法装置を用いてカメラの位置を計算するステップと、
   慣性航法装置を用いて前記カメラの姿勢を計算するステップと、
   前記カメラに装着された３ラインスキャナーを介して入力される画像を分析し、前記カメラの位置及び姿勢補正情報を生成するステップと、
   前記生成されたカメラの位置及び姿勢補正情報をそれぞれ前記衛星航法装置と前記慣性航法装置とにフィードバックするステップと
   を有することを特徴とするカメラの位置及び姿勢情報補正方法。
2. 前記カメラの位置及び姿勢補正情報を生成するステップにおいて、前記３ラインスキャナーを介して入力される画像は、前方スキャナー観測画像、直下スキャナー観測画像及び後方スキャナー観測画像からなることを特徴とする請求項１に記載のカメラの位置及び姿勢情報補正方法。
3. 前記カメラの位置及び姿勢補正情報を生成するステップは、
   前記前方スキャナー観測画像と前記直下スキャナー観測画像とを画像整合して第１の画像位置偏差を計算するステップと、
   前記前方スキャナー観測画像と前記直下スキャナー観測画像とを画像整合して第２の画像位置偏差を計算するステップと
   を有することを特徴とする請求項２に記載のカメラの位置及び姿勢情報補正方法。
4. 前記カメラの位置及び姿勢補正情報を生成するステップは、
   前記前方スキャナー観測画像が生成された時刻、前記直下スキャナー観測画像が生成された時刻、前記後方スキャナー観測画像が生成された時刻、前記第１及び第２の画像位置偏差、前記直下スキャナー観測画像が生成された時刻における前記カメラの位置情報及び姿勢補正情報をカルマンフィルタに適用するステップをさらに有することを特徴とする請求項３に記載のカメラの位置及び姿勢情報補正方法。
5. 前記画像位置偏差は、画素単位に計算されることを特徴とする請求項３に記載のカメラの位置及び姿勢情報補正方法。
6. 前記カメラの位置及び姿勢補正情報の精度は、即座の処理接近方式又は後処理接近方式からなることを特徴とする請求項１に記載のカメラの位置及び姿勢情報補正方法。
7. 衛星航法装置と慣性航法装置とが接続されたカメラの位置及び姿勢情報補正装置において、
   前記カメラに備えられた３ラインスキャナーを介して入力される画像を分析して、前記カメラの位置及び姿勢補正情報を生成する手段と、
   前記生成されたカメラの位置及び姿勢補正情報をそれぞれ前記衛星航法装置と前記慣性航法装置とにフィードバックする手段と
   を備え、前記カメラの位置及び姿勢補正情報の精度を向上させることを特徴とするカメラの位置及び姿勢情報補正装置。
8. 前記３ラインスキャナーは、前記カメラが搭載された観測装置の進行方向と直角である方向に向かう直下スキャナーと、
   前記観測装置の進行方向に向かう前方スキャナーと、
   前記観測装置の進行方向と相反される方向に向かう後方スキャナーとからなり、
   前記直下スキャナーと前記前方スキャナーとの間の角度と、前記直下スキャナーと前記後方スキャナーとの間の角度は９０゜以下であることを特徴とする請求項７に記載のカメラの位置及び姿勢情報補正装置。
9. 第１のバッファメモリに格納された前記前方スキャナーの観測画像と、前記直下スキャナーを介してリアルタイムで観測されて入力される画像とを画像整合し、第２のバッファメモリに格納された前記直下スキャナーの観測画像と、前記後方スキャナーを介してリアルタイムで観測されて入力される画像とを画像整合する画像整合部を備えたことを特徴とする請求項８に記載のカメラの位置及び姿勢情報補正装置。
10. 前記画像整合の結果、計算された画素単位の画像位置偏差をカルマンフィルタに適用し、カメラの位置及び姿勢補正情報を生成するカルマンフィルタ処理部を備えたことを特徴とする請求項９に記載のカメラの位置及び姿勢情報補正装置。
11. 前記カルマンフィルタ処理部は、
    前記直下スキャナーの観測画像が生成される時点におけるカメラの位置及び姿勢補正情報を、前記画像位置偏差関連情報に投影変換して実世界の位置偏差を算出する投影変換部と、
    前記直下スキャナーの観測画像が生成される時点におけるカメラの位置及び姿勢補正情報と、前記実世界の位置偏差から最適化された位置及び姿勢偏差とに対する推定値を算出するカルマンフィルタと、
    前記位置及び姿勢偏差に対する推定値から前記直下スキャナーの観測画像が生成される時点におけるカメラの位置及び姿勢情報の偏差を修正することにより、前方スキャナーの観測画像が生成された時刻と後方スキャナー観測画像が生成された時刻との間の任意の時刻に対して最適化され、推定されたカメラの位置及び姿勢補正情報を算出する偏差修正部と
    を備えたことを特徴とする請求項１０に記載のカメラの位置及び姿勢情報補正装置。
12. 前記観測装置は、人工衛星、航空機、又は車両のうちいずれかであることを特徴とする請求項８に記載のカメラの位置及び姿勢情報補正装置。
    

Images