JP2007166296A - 画像処理装置及び動画像表示方法 - Google Patents

Abstract

【課題】動画像のあるフレームにおいて登録された地物の情報を、高速且つ高精度で他のフレームに対しても表示させる。
【解決手段】ステレオ動画像記憶部１５０と、動画像に写っている地物のグローバル座標を記憶した地物情報記憶部１０４と、撮影位置のグローバル座標を記憶した撮影位置座標記憶部１６１と、カメラ姿勢角記憶部１６２と、地物のグローバル座標を撮影位置を基準としたローカル座標に変換する座標変換部１０５と、地物のローカル座標に基づいて、動画像内の地物の位置を特定する3D-2D変換部１０６と、動画像データに基づいて表示装置６に前記動画像及び地物の位置に所定の画像を表示させる動画再生部１０８と、を備える。
【選択図】 図１

Description

本発明は、動画像中に写っている地物に関する情報を表示する技術に関し、特に一つのフレームにおいて地物に関する情報を登録したときに、他のフレームでも登録した情報を表示する技術に関する。

近年、走行中の車両から道路及びその周辺をビデオカメラで撮影した動画像が、道路及びその周辺の施設管理に利用されている。そして、例えば特許文献１には、動画像の一つのフレームでその画像に写っている対象施設に関する情報を登録すると、その対象施設の画像をポリゴンでモデル化し、隣接するフレーム画像上のポリゴン間のパターンマッチングにより、他のフレームでも対象施設の情報を表示させている。
特開２００３−１５７４２８号公報

しかしながら、特許文献１のようにフレーム間でポリゴンのパターンマッチングを行った場合、ポリゴンの生成及びパターンマッチングの処理に時間がかかり、動画の再生速度が遅くなるという問題が生じる。また、そもそも上記パターンマッチングそのものが、常に成功するとは限らないという問題もある。

そこで、本発明の目的は、あるフレームにおいて登録された地物の情報を、高速且つ高精度で他のフレームに対しても表示させることである。

本発明の一実施態様に従う画像処理装置は、動画像を表示するための動画像データを記憶した動画像記憶手段と、前記動画像に写っている地物のグローバル座標系での座標であるグローバル座標を記憶した地物座標記憶手段と、カメラで前記動画像を撮影したときの撮影位置のグローバル座標を記憶した撮影位置記憶手段と、前記動画像を撮影したときの前記カメラの姿勢角を記憶した姿勢角記憶手段と、前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記地物のグローバル座標を前記撮影位置を基準としたローカル座標系での座標である、前記地物のローカル座標に変換する変換手段と、前記地物のローカル座標に基づいて、前記動画像内の前記地物の位置を特定する動画像内位置特定手段と、前記動画像データに基づいて表示装置に前記動画像を表示させるとともに、前記動画像内位置特定手段により特定された前記動画像内の前記地物の位置に所定の画像を表示させる表示制御手段と、を備える。

好適な実施形態では、前記撮影位置記憶手段には、前記動画像撮影中の前記撮影位置のグローバル座標が時系列データとして格納されていて、前記姿勢角記憶手段には、前記動画像撮影中の前記カメラの姿勢角が時系列データとして格納されている。そして、前記変換手段は、前記動画像のフレームごとに、各フレームの撮影時刻に対応する前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記地物のグローバル座標を前記地物のローカル座標に変換し、前記動画像内位置特定手段は、前記動画像のフレームごとに、前記地物の位置を特定し、前記表示制御手段は、前記表示装置に、前記動画像のフレームごとに前記地物の位置に前記所定の画像を表示するようにしてもよい。

好適な実施形態では、前記動画記憶手段には、複数台のカメラにより構成されたステレオカメラで撮影されたステレオ動画像データが記憶されていて、前記動画像データは、前記ステレオカメラを構成するカメラのうちの一つで撮影された動画像データであり、動画像内位置特定手段は、前記フレームごとの前記地物のローカル座標と前記ステレオ動画像データに基づき、フレームごとに前記地物の位置を特定するようにしてもよい。

好適な実施形態では、前記表示制御手段が、前記地物の位置に前記所定の画像を前記表示装置に表示させているときに、前記所定の画像の表示位置の修正入力を受け付ける手段を、さらに備えてもよい。そして、前記表示制御手段は、前記修正入力を受け付けたときに前記表示装置に表示されていたフレームを含む複数のフレームについて、前記所定の画像の表示位置を前記修正入力に基づいて修正した位置に修正して表示させることもできる。

好適な実施形態では、一のフレームを撮影したときの前記撮影位置のグローバル座標と前記地物のグローバル座標とに基づいて、前記一のフレーム撮影時の撮影位置から前記地物までの距離を算出する距離算出手段を、さらに備えてもよい。そして、前記表示制御手段は、前記距離算出手段により算出された距離に基づいて、前記一のフレームに前記ポインタ画像を重ねて表示させるか否かを決定することもできる。

好適な実施形態では、前記動画記憶手段には、複数台のカメラにより構成されたステレオカメラで撮影されたステレオ動画像データが記憶されていて、前記動画像データは、前記ステレオカメラを構成するカメラのうちの一つで撮影された動画像データであってもよい。そして、前記画像処理装置は、前記表示画面に表示された動画像に写っている地物の指定を受け付ける指定手段と、前記ステレオ動画像データを用いて、前記指定手段により指定された指定地物のローカル座標を算出するローカル座標算出手段と、前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記指定地物のローカル座標を前記指定地物のグローバル座標に変換し、前記地物座標記憶手段に格納するグローバル座標変換手段と、をさらに備えていてもよい。

以下、本発明の一実施形態に係る画像処理装置について、図面を参照して説明する。

図１は、本実施形態に係る画像処理装置１の構成を示す図である。

画像処理装置１は、例えば汎用的なコンピュータシステムにより構成され、以下に説明する画像処理装置１内の個々の構成要素または機能は、例えば、コンピュータプログラムを実行することにより実現される。

画像処理装置１は、まず、ステレオ動画像記憶部１５０と、撮影情報記憶部１６０とを備える。そして、ステレオ動画像記憶部１５０、及び撮影情報記憶部１６０には、例えば、図２に示すような車載型の撮影装置で収集されたデータが格納されている。

図２は、車載型の撮影装置９の一例を示す。

車載型の画像撮影装置９は、複数のビデオカメラにより構成され、車両の走行中に前方を撮影するステレオカメラ９１と、ステレオカメラ９１で撮影された複数の画像データ（以下、ステレオ動画像データと呼ぶ）を記憶するステレオ動画像記憶部９２と、ＧＰＳ受信機９３と、ジャイロなどの慣性センサ９４と、距離計９５と、ＧＰＳ受信機９３、慣性センサ９４及び距離計９５の出力した、撮影時のステレオカメラ９１の位置（撮影装置）に関するデータを記憶した撮影情報記憶部９６とを備える。

なお、車載型の撮影装置９の詳細については、特願２００３−３２８４６８号に記載されているので、そちらを参照されたい。

再び図１を参照し、ステレオ動画像記憶部１５０及び撮影情報記憶部１６０について詳細に説明すると、ステレオ動画像記憶部１５０には、ステレオ動画像記憶部９２と同一のデータが格納され、撮影情報記憶部１６０には、撮影情報記憶部９６と同一のデータが格納されている。

すなわち、ステレオ動画像記憶部１５０には、車両の走行中にステレオカメラ９１によって撮影された複数の動画像データが格納されている。撮影情報記憶部１６０には、ステレオカメラ９１で撮影が行われているときのＧＰＳ受信機９３の出力に基づく撮影位置座標（すなわち、ステレオカメラ９１の３次元グローバル座標（例えば、緯度、経度及び楕円体高））１６１と、慣性センサ９４の出力に基づくカメラ姿勢角（すなわち、ステレオカメラ９１の姿勢を示すグローバル座標系での３次元方位角（例えば、ステレオカメラ９１の撮影方向または指向方向のローリング、ピッチング及びヘッディング））１６２と、距離計９５の出力に基づく距離データ１６３とが格納されている。

ここで、撮影位置座標及びカメラ姿勢角は、厳密には、ステレオカメラを構成する複数のカメラのうちの一つのカメラ（基準カメラ）のグローバル座標及び姿勢角であり、ＧＰＳ受信機９３及び慣性センサ９４の出力に、所定の処理を施して算出されたものである。

なお、本実施形態のステレオ動画像データは、２台のビデオカメラからなるステレオカメラで撮影された動画像データであるが、３台以上のビデオカメラからなるステレオカメラで撮影した画像を用いることもできる。

画像処理装置１は、さらに、指定受付部１０１と、2D-3D変換部１０２と、座標変換部１０３と、地物情報記憶部１０４と、座標変換部１０５と、３D-2D変換部１０６と、表示判定部１０７と、動画再生部１０８と、修正受付部１１１と、修正量算出部１１２と、修正量記憶部１１３と、距離算出部１１５とを備える。

本実施形態に係る画像処理装置１では、ステレオ動画像に写っている地物をユーザが指定し、その地物に関する情報を登録することができる。

図３は、地物の登録処理の手順を示すフローチャートであり、同図を参照しながら地物の登録処理について説明する。

まず、動画再生部１０８が、ステレオ動画像記憶部１５０に格納されている動画像データのうちの一つ（例えば、基準カメラの動画像データ）を取得して再生し、表示装置６に動画像を表示させる（Ｓ１１）。

指定受付部１０１は、表示装置６に動画像が表示されているとき、その動画像に写っている地物の指定を受け付ける（Ｓ１２）。この地物の指定は、ユーザがマウスなどの入力装置５を用いて行う。ユーザは、再生中の動画像を一時停止させ、上記の地物の指定を静止した画像に対して行ってもよい。指定受付部１０１は、地物の指定を受け付けたときのフレーム番号及びそのフレーム内での指定された位置（画素）を2D-3D変換部１０２へ通知する。

なお、指定受付部１０１は、選択された地物の説明を含むテキストなどのコメントの入力を受け付けてもよい。入力されたコメントは、上述するように地物情報記憶部１０４に登録される。

2D-3D変換部１０２は、ステレオ動画像記憶部１５０に格納されているステレオ動画像に基づいて、指定受付部１０１で指定された地物の、基準カメラを原点としたローカル座標系における３次元位置（以下、ローカル座標という）を算出し、座標変換部１０３へ通知する（Ｓ１３）。例えば、2D-3D変換部１０２は、指定受付部１０１からフレーム番号及びそのフレーム内で指定された位置の通知を受けると、通知されたフレーム番号と同じタイミングに参照カメラで撮影されたフレーム画像を取得して、ステレオ処理を行う。そして、指定された位置（画素）のローカル座標を算出し、このローカル座標をフレーム番号と併せて座標変換部１０３へ通知する。

座標変換部１０３は、2D-3D変換部１０２から通知されたローカル座標をグローバル座標へ変換する（Ｓ１４）。例えば、座標変換部１０３は、撮影情報記憶部１６０からフレーム番号に対応する時刻の撮影位置のグローバル座標及びカメラ姿勢角を取得する。そして、以下の式を用いてローカル座標をグローバル座標へ変換する。

ＸＧ、ＹＧ、ＺＧ ：指定位置のグローバル座標
Ｒ（３×３） ：カメラ姿勢角による回転行列
ＸＬ、ＹＬ、ＺＬ ：指定位置のローカル座標
Ａ、Ｂ、Ｃ ：並進ベクトル（撮影位置のグローバル座標）
上記変換によって得られたグローバル座標は、指定された地物のグローバル座標として地物情報記憶部１０４に格納される（Ｓ１５）。

上述の処理を繰り返すことにより、ユーザによって指定された複数の地物のグローバル座標などの地物情報が、地物情報記憶部１０４に登録される。

図４は、地物情報記憶部１０４のデータ構造の一例を示す。

すなわち、地物情報記憶部１０４は、選択された地物のグローバル座標１０４ａと、その地物に対する説明などのコメント１０４ｂと、後述する基準点からの距離１０４ｃとをデータ項目として有する。

グローバル座標１０４ａは、座標変換部１０３で算出されたグローバル座標が格納される。

コメント１０４ｂは、指定受付部１０１が受け付けたテキストなどのコメントが格納される。

基準点からの距離１０４ｃは、後述する距離算出部１１５で、所定の基準点からの距離が算出され、設定される。

次に、距離算出部１１５は、地物情報記憶部１０４に登録されている地物について、所定の距離基準点からの距離を算出する。

図５は、各地物の距離算出処理の手順を示すフローチャートである。図６は、各地物の距離算出処理の概要を示す説明図である。図５及び図６を参照しながら、距離算出部１１５が行う処理について説明する。

まず、距離算出部１１５は、撮影情報記憶部１６０を参照し、撮影時の車両の走行軌跡２００を算出する（Ｓ２１）。

次に、距離算出部１１５は、地物情報記憶部１０４から地物（例えば図６の地物ＡまたはＢ）のグローバル座標１０４ａを読み込む（Ｓ２２）。

そして、ステップＳ２２で読み込んだ地物（地物ＡまたはＢ）のグローバル座標に基づいて、その地物から走行軌跡２００の最も近い点（図６のａまたはｂ）を算出し、所定の距離基準点Ｃからの距離を算出する（Ｓ２３）。距離算出部１１５は、ここで算出された基準点Ｃからの距離を、地物情報記憶部１０４の基準点Ｃからの距離１０４ｃに格納する（Ｓ２４）。ここで、距離基準点Ｃは、例えば、撮影のスタート地点などでよい。

上記ステップＳ２２〜Ｓ２４の処理をすべての地物について繰り返し、各地物の基準点からの距離を算出する（Ｓ２５）。

これにより、地物情報記憶部１０４に登録されているすべての地物について、基準点からの距離１０４ｃが登録される。

次に、本実施形態に係る画像処理装置１は、登録された地物情報に基づいて、動画再生時に、その動画像に写っている地物を指し示すポインティング画像を重ねて表示することができる。

図７は、ポインティング画像を動画像に重畳表示する手順を示すフローチャートであり、同図を参照しながらポインティング画像の重畳表示について説明する。

まず、表示判定部１０７は、所定のルールに従って、地物情報記憶部１０４に登録されている地物の中から、表示対象となる地物を選択する（Ｓ３１）。

例えば、表示判定部１０７は、地物情報記憶部１０４に登録されている地物のグローバル座標１０４ａを取得し、各地物について、基準点からの距離１０４ｃを取得する。さらに、表示判定部１０７は、撮影情報記憶部１６０に格納されている情報に基づいて、対象となるフレーム撮影時刻における基準点Ｃからの走行距離を算出する。そして、対象フレーム撮影時刻におけるステレオカメラと地物との相対距離を算出し、その距離が所定距離以下の地物をそのフレームでの表示対象地物として選択する。なお、上記所定距離は、所定のユーザインタフェースを介してユーザが指定することができるようにしてもよい。

表示判定部１０７で表示対象地物があると判定されたときは（Ｓ３１：Ｙｅｓ）、座標変換部１０５は、表示対象地物について、あるフレーム番号のフレーム撮影時の撮影位置座標１６１及びカメラ姿勢角１６２に基づいて座標変換部１０３の逆変換を行い、地物のグローバル座標をそのフレーム撮影時刻におけるローカル座標に変換する（Ｓ３２）。フレーム番号及び各地物のローカル座標は、３D-2D変換部１０６へ通知される。

３D-2D変換部１０６は、通知されたフレーム番号のステレオ画像をステレオ動画像記憶部１５０から取得し、このステレオ画像と通知されたローカル座標とに基づいて、2D-3D変換部１０２の逆変換を行い、そのときの基準カメラのフレーム画像上での地物の位置（画素）を特定する（Ｓ３３）。そして、3D-2D変換部１０６は、フレーム番号及び各フレーム内の表示対象地物の位置（画素）を動画再生部１０８へ通知する。

動画再生部１０８は、３D-2D変換部１０６からフレーム番号及び表示対象地物の位置の通知を受けると、この地物についてのコメント１０４ｂを地物情報記憶部１０４から取得し、その地物を指すポイティング画像を生成する（Ｓ３４）。

動画再生部１０８は、ステレオ動画像記憶部１５０から、基準カメラの対象フレーム画像のデータを取得して、表示装置６に表示させるとともに、そのフレーム画像上にポインティング画像を重ねて表示させる（Ｓ３５）。例えば、動画再生部１０８は、各フレームのそれぞれの地物の位置に、ポインティング画像の先端が一致するように、フレーム画像にポインティング画像を重ねて表示させる。

一方、ステップＳ３１で表示対象地物がないと判定されたフレームについては（Ｓ３１：Ｎｏ）、動画再生部１０８は、ステレオ動画像記憶部１５０から基準カメラの対象フレーム画像のデータを取得して、表示装置６に表示させる（Ｓ３７）。

そして、上記処理を全フレームに対して繰り返すと、動画像を再生しながら、登録されている地物についてポインティング画像を重畳表示することができる（Ｓ３６）。

図８に、上記の処理の結果、一つのフレーム画像にポインティング画像が重畳表示されたときの例を示す。

同図の例では、フレーム画像５００に写っている２つの道路標識と信号に対して、地物情報が登録されている。そして、登録されているそれぞれの地物に対して、地物ポインティング画像５１０、５２０、５３０がフレーム画像５００に重畳して表示されている。

本実施形態によれば、ある一つのフレーム画像に対して地物を指定して登録すれば、上述のような重畳表示処理を行うことにより、他のフレームでもその地物を指すポインティング画像を表示させることができる。

さらに、登録された地物情報には、地物のグローバル座標が含まれるので、地物の登録に用いた動画像とは異なる動画像を用いたときでも、グローバル座標に基づいて地物ポインティング画像を表示させることが可能である。これにより、例えば、前年撮影したステレオ動画像を用いて登録された地物情報に基づいて、同じ道路で改めて撮影したステレオ動画像にポインティング画像を重畳表示させるようなことができる。

上記のように、地物の登録に用いた画像と重畳表示に用いる画像とが異なるとき、例えば図９に示すように、フレーム画像中の地物と地物ポインティング画像５１０，５２０，５３０とがずれてしまうことがある。このずれの主な原因は、撮影位置のグローバル座標またはカメラ姿勢角のずれと考えられる。このような場合、以下に説明するように、修正受付部１１１、修正量算出部１１２及び修正量記憶部１１３が行う修正処理により、このずれを修正することができる。

まず、ずれの修正を行う場合には、図９に示すように、重畳画像とともに修正入力を受け付ける入力受付部６００が表示装置６に表示される。

修正受付部１１１は、ユーザが入力装置５を用いて修正入力を行うと、それを受け付ける。入力受付部６００は、緯度方向の補正入力受付部６１０と、経度方向補正入力受付部６２０と、高さ方向の補正入力受付部６３０とを含む。

修正量算出部１１２は、修正受付部１１１が受け付けた修正入力に基づいて、修正量を算出する。例えば、現在表示中のフレーム内でポインティング画像を移動させるだけでなく、その修正を他のすべてのフレームにも反映させるために、修正量算出部１１２は、修正受付部１１１が受け付けた修正入力に応じて、緯度、経度及び高さの修正量を算出する。この修正量はグローバル座標系における修正量である。

修正量記憶部１１３には、修正量算出部１１２で算出された緯度、経度及び高さの修正量が記憶される。

修正量記憶部１１３に修正量が記憶されているときは、座標変換部１０５がこの修正量を読み込み、地物のグローバル座標を修正した後、ローカル座標への変換を行う。従って、修正量記憶部１１３に記憶されている修正量は、修正されたフレーム以外の他のフレームにおいても、ポインティング画像の表示位置が修正される。

なお、撮影情報記憶部１６０に格納されている撮影位置座標１６１、あるいは撮影位置座標１６１及びカメラ姿勢角１６２の信頼性が低いなどの理由で利用できないときは、特願２００３−３２８４６８号に記載されているように、所定の基準点のグローバル座標に基づいて、撮影位置座標及びカメラ姿勢角を算出するようにしてもよい。あるいは、撮影位置座標１６１が利用できないときは、走行距離データ１６３を代替利用してもよい。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

本発明の一実施形態に係る画像処理装置の構成を示す。 車載型の撮影装置の一例を示す。 地物の登録処理の手順を示すフローチャートである。 地物情報記憶部のデータ構造の一例を示す。 各地物の距離算出処理の手順を示すフローチャートである。 各地物の距離算出処理の概要を示す説明図である。 ポインティング画像を動画像に重畳表示する手順を示すフローチャートである。 一つのフレーム画像にポインティング画像が重畳表示されたときの例を示す。 フレーム画像とポインティング画像とがずれているときの表示例を示す。

符号の説明

１ 画像処理装置
５ 入力装置
６ 表示装置
１０１ 指定受付部
１０２ 変換部
１０３ 座標変換部
１０４ 地物情報記憶部
１０５ 座標変換部
１０６ 変換部
１０７ 表示判定部
１０８ 動画再生部
１０８ 動画生成部
１１１ 修正受付部
１１２ 修正量算出部
１１３ 修正量記憶部
１１５ 距離算出部
１５０ ステレオ動画像記憶部
１６０ 撮影情報記憶部
１６１ 撮影位置座標記憶部
１６２ カメラ姿勢角記憶部

Claims (8)

1. 動画像を表示するための動画像データを記憶した動画像記憶手段と、
   前記動画像に写っている地物のグローバル座標系での座標であるグローバル座標を記憶した地物座標記憶手段と、
   カメラで前記動画像を撮影したときの撮影位置のグローバル座標を記憶した撮影位置記憶手段と、
   前記動画像を撮影したときの前記カメラの姿勢角を記憶した姿勢角記憶手段と、
   前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記地物のグローバル座標を前記撮影位置を基準としたローカル座標系での座標である、前記地物のローカル座標に変換する変換手段と、
   前記地物のローカル座標に基づいて、前記動画像内の前記地物の位置を特定する動画像内位置特定手段と、
   前記動画像データに基づいて表示装置に前記動画像を表示させるとともに、前記動画像内位置特定手段により特定された前記動画像内の前記地物の位置に所定の画像を表示させる表示制御手段と、を備える画像処理装置。
2. 前記撮影位置記憶手段には、前記動画像撮影中の前記撮影位置のグローバル座標が時系列データとして格納されていて、
   前記姿勢角記憶手段には、前記動画像撮影中の前記カメラの姿勢角が時系列データとして格納されていて、
   前記変換手段は、前記動画像のフレームごとに、各フレームの撮影時刻に対応する前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記地物のグローバル座標を前記地物のローカル座標に変換し、
   前記動画像内位置特定手段は、前記動画像のフレームごとに、前記地物の位置を特定し、
   前記表示制御手段は、前記表示装置に、前記動画像のフレームごとに前記地物の位置に前記所定の画像を表示することを特徴とする請求項１記載の画像処理装置。
3. 前記動画記憶手段には、複数台のカメラにより構成されたステレオカメラで撮影されたステレオ動画像データが記憶されていて、前記動画像データは、前記ステレオカメラを構成するカメラのうちの一つで撮影された動画像データであり、
   動画像内位置特定手段は、前記フレームごとの前記地物のローカル座標と前記ステレオ動画像データに基づき、フレームごとに前記地物の位置を特定することを特徴とする請求項２記載の画像処理装置。
4. 前記表示制御手段が、前記地物の位置に前記所定の画像を前記表示装置に表示させているときに、前記所定の画像の表示位置の修正入力を受け付ける手段を、さらに備え、
   前記表示制御手段は、前記修正入力を受け付けたときに前記表示装置に表示されていたフレームを含む複数のフレームについて、前記所定の画像の表示位置を前記修正入力に基づいて修正した位置に修正して表示させることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 一のフレームを撮影したときの前記撮影位置のグローバル座標と前記地物のグローバル座標とに基づいて、前記一のフレーム撮影時の撮影位置から前記地物までの距離を算出する距離算出手段を、さらに備え、
   前記表示制御手段は、前記距離算出手段により算出された距離に基づいて、前記一のフレームに前記ポインタ画像を重ねて表示させるか否かを決定することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記動画記憶手段には、複数台のカメラにより構成されたステレオカメラで撮影されたステレオ動画像データが記憶されていて、前記動画像データは、前記ステレオカメラを構成するカメラのうちの一つで撮影された動画像データであり、
   前記画像処理装置は、
   前記表示画面に表示された動画像に写っている地物の指定を受け付ける指定手段と、
   前記ステレオ動画像データを用いて、前記指定手段により指定された指定地物のローカル座標を算出するローカル座標算出手段と、
   前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記指定地物のローカル座標を前記指定地物のグローバル座標に変換し、前記地物座標記憶手段に格納するグローバル座標変換手段と、をさらに備える請求項１〜５のいずれかに記載の画像処理装置。
7. 動画像に写っている地物のグローバル座標系での座標であるグローバル座標と、カメラで前記動画像を撮影したときの撮影位置のグローバル座標と、前記動画像を撮影したときの前記カメラの姿勢角と、を記憶手段から読み出すステップと、
   前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記地物のグローバル座標を前記撮影位置を基準としたローカル座標系での座標である、前記地物のローカル座標に変換するステップと、
   前記地物のローカル座標に基づいて、前記動画像内の前記地物の位置を特定するステップと、
   前記動画像を表示するための動画像データに基づいて、表示装置に前記動画像を表示させるとともに、前記特定された前記動画像内の前記地物の位置に所定の画像を表示させるステップと、を備えた動画像表示方法。
8. コンピュータに実行されると、
   動画像に写っている地物のグローバル座標系での座標であるグローバル座標と、カメラで前記動画像を撮影したときの撮影位置のグローバル座標と、前記動画像を撮影したときの前記カメラの姿勢角とを記憶手段から読み出すステップと、
   前記撮影位置のグローバル座標及び前記カメラの姿勢角に基づいて、前記地物のグローバル座標を前記撮影位置を基準としたローカル座標系での座標である、前記地物のローカル座標に変換するステップと、
   前記地物のローカル座標に基づいて、前記動画像内の前記地物の位置を特定するステップと、
   前記動画像を表示するための動画像データに基づいて、表示装置に前記動画像を表示させるとともに、前記特定された前記動画像内の前記地物の位置に所定の画像を表示させるステップと、含む動画像表示を行うためのコンピュータプログラム。

Images