JP2000512410A - 参照モデルを用いて画像情報を索引付けをする方法 - Google Patents

Abstract

(57)【要約】 参照モデルに基づいてビデオシーケンスを索引付けする方法である。この方法を実現するシステムは、参照モデル（２０６）を生成するか或いは参照モデルを備えた画像プレプロセッサ（２００）（任意）を含んでいる。そして、プレプロセッサ（２００）には、特定のシーンからなる一連のフレームを含むビデオシーケンス等の入力画像データ（２０８）が提供される。プレプロセッサは、ビデオシーケンス内の画像を参照モデル（２１０）に整列させるための変換を実行する。そして、プレプロセッサは、変換結果、参照モデル、及び、画像データをハードディスクドライブ（２１２）等の大容量記憶装置に記憶する。その後に、システムは、ユーザインタフェースを介して、大容量記憶装置に記憶された情報にアクセスするのを可能にする。ユーザは、参照モデルを読み出してコンピュータ画面上に配置し、参照モデル（２１６）内の特定の点を選択し、参照モデル（２２０）内のその特定の点を含んだ全ての画像データを取り出すようにシステムに要求することができる。

Description

【発明の詳細な説明】 参照モデルを用いて画像情報を索引付けをする方法 本発明は、画像処理システムに関し、より詳細には、記憶媒体に存在する画像 情報を索引付け（indexing）する方法に関する。発明の背景 一般に、ビデオシーケンス等の画像情報は、ビデオシーケンスのユーザによる その後の再現（recall）及び利用のために、ディスクドライブ等の大容量記憶装 置内に記憶される。大容量記憶装置内のそのようなビデオシーケンスを索引付け するために、ヘッダが一般に使用され、個々のヘッダに関してビデオシーケンス の内容が識別される。従って、ユーザは、ヘッダ情報の全体にわたって文字列検 索を行い、関心ある情報を含んだ特定のビデオシーケンスを探し出す。その後、 再現されたビデオシーケンスに対してフレームごとの探索がなされ、そのビデオ シーケンス内の関心ある特定の情報をユーザが探し出すことが可能となる。従っ て、このような検索処理及び索引付けシステムは、時間と経費がかかるものであ る。 このように、この分野において、ビデオシーケンスに含まれるような画像情報 を索引付けする方法が必要とされており、その方法は、画像情報を効率的に再現 及び操作するように機能するものである。発明の概要 これまでの従来技術に関する問題は、参照モデルに基づいてビデオシーケンス を索引付けする本発明による方法によって解決される。より詳細には、この方法 が実現されたシステムは、与えられたビデオシーケンスの各フレームを参照モデ ルに関連づける。参照モデルは、例えば、ビデオシーケンスにおいて描写される シーンに対応した地図、シーン全体の画像、一連のビデオ画像からなるフレーム を整列してそれらの画像をそのシーンのパノラマ写真に組み合わせることによっ て構成されるモザイク、シーンの概略図、上述したもののいくつかを或いは全部 を集成したもの、等の２次元のフレームワークであってもよい。更に、参照モデ ルは、特定のシーンの計算機援用設計モデル等の３次元モデルであってもよい。 索引付けされるべきビデオシーケンスは、フレーム自体と参照モデルとの間の 座標変換に関する情報を全てのフレームが含むように前処理されなければならな い。フレーム自体と参照モデルにおける位置との間のそのような変換は、ビデオ フレーム又はグループからなるフレームにおいて見ることができるようなもので ある。「整列」としてもよく知られているこの前処理は、本発明によるシステム の一部として実現されてもよく、或いは、別の手段によって実行されてもよい。 情報が記憶されると、システムによって、ユーザインタフェースを介して、大 容量記憶装置に記憶された情報へのアクセスが可能になる。ユーザは、参照モデ ルを読み出してコンピュータ画面上に配置し、参照モデル内の特定の点を選択し 、参照モデル内のその特定の点を含んだ全てのビデオフレームを取り出すように システムに要求することができる。或いは、ユーザは、１つのビデオフレーム内 の特定の場所の点又は領域を選択してもよく、システムは、ビデオシーケンス内 にその位置を含んだ参照モデルの一部を提供する。続いて、ユーザは、参照モデ ル内のその特定の点又は領域を含んだ全ての他のビデオフレームを要求してもよ い。或いは、ユーザは、観察されるべき領域又はオブジェクトをそれの位置座標 によって選択してもよい。 更に、本発明によるシステムは、「総観的参照（synopsis reference）」の 形態によって動的な事象を静止画像情報から識別することによって、関心ある特 定の動的な事象を含んだビデオシーケンスの一部に直接にアクセスする方法を提 供する。総観的参照は、参照モデルに付加された事象の個々のスナップショット を有することによって、動的な事象を含んだ連続的に発生する画像情報を表現す る。ビデオシーケンスにおける総観的参照の例は、ビデオシーケンス内を動いて いるオブジェクトであり、それは、参照モデル上のオブジェクトの軌跡として見 える。図面の簡単な説明 添付の図面を参照して以下の詳細な説明を考察することによって、本発明の趣 旨を容易に理解することができる。 図１は、本発明のソフトウェア実施形態を含んだ汎用コンピュータシステムを 示す。 図２は、本発明のソフトウェア実施形態のフローチャートを示す。 図３は、ビデオシーケンスを参照モデルにマッピングする整列処理を説明する 概略図である。 図４は、総観的参照の利用を説明する概略図である。 図５は、画像索引付け処理のフローチャートである。 図６は、索引付け処理を説明する概略図である。 図７は、画像情報編集処理を説明する概略図である。 理解を容易にするために、図面を通して同一の構成要素は、可能な限り同一の 参照番号によって指示される。詳細な説明 図１は、参照モデルを用いて、例えばビデオシーケンスに含まれるような画像 情報を索引付けするためのシステム１００のブロック構成図を示す。このシステ ムは、画像ソース１０２、コンピュータシステム１０４、１以上の出力装置１０ ６、及び、１以上の入力装置１０８を含む。画像ソース１０２は、ビデオカメラ 、赤外線カメラ、又は、シーンを表現する一連の２次元画像を生成する他のセン サであってもよい。或いは、画像ソースは、ビデオテープレコーダ、ディスクド ライブ、又は、シーンを表現する連続的な画像を記録する他の手段などの記憶装 置である。このシステムは、一般には、ディジタル画像を処理する。従って、画 像ソースがアナログ画像を提供する場合には、画像ソースとコンピュータシステ ムとの間にディジタイザ（図示しない）が使用される。 汎用コンピュータ１０４は、参照モデルを生成し、ビデオシーケンスを参照モ デルに対応付け、参照モデル或いはビデオシーケンス内のいかなる位置の画像情 報をも再現するように機能する。具体的には、コンピュータシステムは、データ バッファ１１０、中央処理装置（ＣＰＵ）１１２、サポート回路１１４、ランダ ムアクセスメモリ（ＲＡＭ）１１６、リードオンリメモリ（ＲＯＭ）１１８、大 容量記憶装置１１９、及び、表示ドライブ１２０を含む。更に、ユーザは、キー ボード、マウス、トラックボール、タッチパッドなどの１以上の入力装置１０８ を介してコンピュータシステムと対話する。また、コンピュータシステムは画像 を表示し、様々なグラフィカルインタフェースはコンピュータモニタ等の出力表 示装置１０６上に画像を表示又は上映する。或いは、コンピュータシステムは、 プリンター等の別の出力表示装置と対話して、コンピュータモニタ上に現れるあ らゆる表示のハードコピーを提供してもよい。 データバッファ１１０は、画像ソースとＣＰＵとの間のデータ転送速度を等し いものにする（フレームバッファリング）。通常、このバッファは、先入れ先出 し（ＦＩＦＯ）バッファである。このようなバッファは、通常、画像ソースによ って発生するデータ転送速度に柔軟性を持たせるとともに、ＣＰＵに一定のデー タ転送速度を提供するために使用される。 ＣＰＵ１１２は、通常、汎用プロセッサである。本発明のソフトウェア実施形 態は、ある特定のプロセッサによって実現する必要はないので、本発明のルーチ ンは、並列処理コンピュータ環境において、どのような種類のプロセッサでも或 いはどのようなプロセッサの組み合わせでも実行することができる。 ＣＰＵ１１２は、ＲＡＭ１１６、ＲＯＭ１１８、また、コプロセッサ、クロッ ク回路、キヤッシュ、電源及び他の既知の回路などのサポート回路１１４等の他 の様々な回路と連係して動作する。これらの様々なコンピュータ構成要素の動作 及び相互作用は、この分野において周知であり、更なる説明を必要としない。表 示ドライバ１２０は、出力装置１０６に必要なソフトウェア又はハードウェアの ビデオカードプリンタードライバ、或いは他の一般的なドライバであってもよい 。更に、大容量記憶装置は、ディスタドライブ又は他のなんらかのランダムアク セス可能な大容量記憶装置であってもよい。 ＲＡＭ１１６は、本発明のソフトウェア実施形態を記憶する。通常、本発明の ルーチンは、大容量記憶装置１１９に記憶され、ＣＰＵ１１２によって実行され るときに、一時的な記憶としてＲＡＭ１１６に読み込まれる。本発明は、索引付 けルーチン１２２として実装される。 図２は、索引付けルーチン１２２を示す。ルーチン１２２のおもな構成要素は 、プレプロセッサ２００、ポストプロセッサ２０２、及び、アクセスマネージャ ２０４である。ポストプロセッサ２０２は、本発明のオプションとしての機能を 提供する。オプションとしてのプレプロセッサは、参照地図とも呼ばれる参照モ デルをメモリから生成又は再現することから始める。参照モデルは、ある特定の シーンの航空写真（aerial view）又は衛星画像（satellite view）等のシー ンの 完全な画像としてメモリから読み込まれてもよい。或いは、参照モデルは、建築 物又は他の幾何学的な形状のコンピュータ生成３次元概略図であってもよい。更 に、参照モデルは、特定のシーンを描写したパノラマ集成写真（panoramic mos aic）として継ぎ合わされた一連のビデオ画像から生成されてもよい。そのよう なパノラマ集成写真については、本明細書に援用されている１９９４年１１月１ ４日に出願された米国特許出願第０８／３３９，４９１号明細書に説明されてい る。また、通常の地理学的な地図、又は、建築設計図及び建築見取り図、或いは 、他の形態の図表が、参照モデルとして使用されてもよい。 ステップ２０８において、画像データが、一連のビデオフレームとしてプレプ ロセッサに提供される。ステップ２１０において、ルーチンは、変換を実行して 、各フレームを参照モデル内の画像情報に整列させる。２次元の参照モデルを２ 次元の画像フレームに整列させることのできるそのような変換は、２次元アフィ ン変換又は他のいかなる２次元パラメトリック変換であってもよい。ある場合に は、２次元変換は、シーンにおける例えば地表及び壁等のなにか平らな表面を整 列させるために十分なものであるかもしれないが、フレームの参照モデルへの整 列を改善するために、相対的なカメラ位置、或いは、全部又は一部のオプティカ ルフロー等の更なる情報が、画像点ごとに必要なこともある。 図３は、どのようにしてフレームが参照モデルに関連づけられるかを示す通常 の例である。ビデオフレーム３００₁、３００₂、３００₃、．．．３００_nからな る一連のフレーム３００は、変換３０２₁、３０２₂、３０２₃、．．．３０２_nに よって参照モデル３０４にマッピングされる。フレーム３００₁の視野は、地図 ３０４内の領域３０６である。フレーム３００₂の視野は、地図３０４内の領域 ３０８であり、以下同様である。 図２に戻ると、ステップ２１２において、ビデオシーケンス内のビデオフレー ム、フレームを参照モデルに整列させるための変換（すなわち、変換パラメータ ）、及び、参照モデルそのものが大容量記憶装置に記憶される。 ステップ２１４において、「総観的参照」が、ポストプロセッサ２０２におい てオプションとして参照モデルに付加され、その結果として、ビデオシーケンス 内の動いているオブジェクトが、参照モデル上の軌跡として現れる。総観的参照 は、参照モデル内における空間的な構造及び時間的な事象の両方として時間的な 事象を捕捉する。この総観的参照は、参照モデルに付加された事象の個々のスナ ップショットを有することによって、動的事象を含んだビデオシーケンスを表現 する。図４にその例が示され、ここでは、ビデオフレーム４００₁、４００₂、４ ００₃、．．．４００_nが、それぞれ、動いているオブジェクト４０２₁、４０２₂ 、４０２₃、．．．４０２_nを含む。オブジェクトは各フレームの異なる位置に現 れるが、それは同一のオブジェクトである。このルーチンは、ビデオフレームを 参照モデルに整列させることによって、各ビデオフレームの視野４０８において 捕捉されるような動いているオブジェクトに関しての全ての画像情報を含んだ総 観的参照を提供する。総観的参照４０４は軌跡４０６を含み、オブジェクトの軌 跡の図形的な投影を参照地図上に描写する。マークされた軌跡地図上の各点は、 時間的な情報、すなわち、動いているオブジェクトはいつその位置に存在したか の時刻、及び、その位置で見られたときのオブジェクトを提示するオリジナルフ レームの二次画像（sub-image）への参照を含んでもよい。総観的参照を提供す るための方法は、１９９５年６月２０〜２３日に開催されたFifthInternational Conference on Computer VisionにおけるIraniらによる「Mosaic Based R epresentations of Video Sequences and Their Applications（連続写真 地図によるビデオシーケンスの表現及びその応用）」の貞６０５〜６１１に説明 される。繰り返すと、総観的参照の準備は、後処理機能として構成されるものと 考えられる。すなわち、参照モデル及び画像データが整列された後であり、しか も、索引付け可能な画像情報のデータベースにアクセスを始める前である。 図２に示されるアクセスマネージャ２０４は、ステップ２１６において、関心 ある特定の画像をユーザが選択することを可能にするユーザインタフェースを提 供する。更に、索引付けされたフレーム及び／又は他の画像データをユーザに提 供するために、アクセスマネージャは、画像を索引付けする処理２１８及び出力 するためのステップ２２０を提供する。具体的には、ユーザは、ユーザインタフ ェースを介して、参照モデル内の特定の点又は領域を選択することができ、或い は、画像データすなわち入力ビデオシーケンスの特定のフレーム内の点又は領域 を選択することができる。そして、この情報は、参照モデル又は画像データのい ずれかを索引付けしてその特定の点又は領域を含む画像データの全てのフレーム を再現するのに使用される。或いは、ユーザが画像データのフレーム内にある点 又は領域をすでに選択していれば、出力されるのは、その点又は領域を含む参照 モデルの一部である。そして、ユーザは、その点又は領域を含む索引付けされた フレームを更に出力することを選択してもよい。図５は、アクセスマネージャが 画像データを索引付けする処理を詳細に示す。 図５は、本発明によるシステムにおいて画像データを索引付けするための処理 ５００の詳細フローチャートである。ステップ５０２において、参照モデルが概 略的に表示される。まず最初に、ユーザに対して、デフォルトの表示領域がコン ピュータ表示装置上に描画される。ステップ５０４において、その表示領域が操 作され、モデル内の様々な位置を観察できる。モデルが３次元モデルであれば、 視点が選択されてもよい。この表示操作処理は、ユーザが、モデル内の関心ある 領域を選択してしまうまで経路５０６に沿って反復される。 ステップ５０８において、ユーザは、参照モデル内の特定の点又は位置を選択 する。これは、参照モデル内の領域或いは特定の画像点或いは特定のオブジェク トであってもよい。例えば、参照モデルがアメリカ合衆国の航空写真による地図 であれば、ユーザは、マウスポインターを用いて参照モデル内の様々な領域をズ ームインすることによって、まず最初に、特定の州を選択し、それから、特定の 郡を選択し、そして、特定の町を選択し、特定の市街区域を選択し、最後に、特 定の市街番地を選択してもよい。そして、システムは、参照モデル内のその特定 の位置を含んだビデオの全てのフレームを再現する。或いは、参照モデル内の点 又は領域を選択する代わりに、ユーザは、画像内の特定の点又は領域を選択して もよく、そうすれば、システムは、選択された画像点又は領域に対応する参照モ デルの一部を提供する。これは、更に、この点又は領域を含む他の全てのビデオ フレームを再現するのに使用されてもよい。或いは、ユーザは、領域又はオブジ ェクトの位置座標によって、観察されるべきその領域又はオブジェクトを選択す ることもできる。そのような座標は、ＧＰＳユニット又は他の手段による一般的 な地図又はコンピュータ化された地図から供給されてもよい。 そして、インタフェース表示装置を介して、ユーザは、これらのフレームに注 釈を付けるか（ステップ５１０）、これらのフレームを編集するか（ステップ５ １２）、それとも、これらのフレームを表示画面上にただ単に表示するだけか（ ステップ５１４）を選択することができる。そのような選択は、一般には、メニ ュー方式の選択処理である。ステップ５１０において、ユーザは、画面上に描画 されたフレームに注釈を付加してもよい。そして、ステップ５１６において、注 釈がモデルに関連づけて保存される。或いは、ステップ５１２において、ユーザ は、画面上に現れているフレームを編集してもよい。そして、ステップ５１８に おいて、その変更がモデルに関連づけて記憶される。ステップ５１４においては 、フレームは、画面上にただ単に表示されるだけであり、編集することも注釈を 付けることもなされない。 図６は、選択処理５０８の概略図を示す。ビデオフレーム６００と参照モデル ６０２との間の関係が示される。その後に、参照モデル内の特定の位置６５０が ユーザによって選択される。図示される例においては、参照モデル内のその特定 の点は３つのビデオフレームに対応し、それらは、フレーム６００₁、６００₂、 及び、６００3である。このように、本発明によるシステムは、各フレーム内に おいて関心ある点を提示するこれらの３つのフレームをフレーム６６０として表 示する。 関心ある点の人手による選択に加えて、このシステムは、良く知られたどのよ うな自動選択方法によっても動作することができる。例えば、システムは、画像 から得られる特徴、テクスチャ、色及び他の外観に関しての特性、幾何学的な形 状又は他の得ることのできる画像又は記号を表現する属性、付随するデータなど に基づいて画像におけるオブジェクトを探索する良く知られた方法によって動作 することができる。これらの探索技術は、単一のビデオフレーム又は参照モデル における関心あるオブジェクトの画素位置を識別すると考えられる。このように して選択された点が、選択された点を見ることのできるビデオの続きを表示する のに使用される。 動的な事象へのアクセスについては、総観的参照は、動的な事象全体のスナッ プショット写真（snapshot view）を提供するので、時間的な事象に基づいた索 引付けに使用することができる。例えば、オブジェクトの動きが、参照モデルに おける軌跡として表現されるならば、時間的な事象は、軌跡のある区間を痕跡と して残す空間的な事象に変換されてしまう。従って、それは、その時間間隔にお ける全てのフレームを表示することを可能にする時間間隔を表現することに等し い。従って、それらのフレームが再現されてユーザに表示され、ビデオシーケン ス又はビデオクリップとして関心ある事象を提示する。 例えば、航空画像に家を付加するなどのオブジェクトの挿入又はテキストラベ ルの挿入等の参照モデルの編集又は参照モデルへの注釈付けは、参照モデルに直 接になされてもよく、或いは、単一のフレームだけを編集し或いは単一のフレー ムだけに注釈を付けることによってなされてもよい。１つのフレームを編集し或 いは１つのフレームだけに注釈を付ける場合には、システムは、これを参照モデ ルにおける変更に変換する。注釈が付けられた個所或いは編集された個所を見る ことができるフレームが表示されている間に、この変更又は注釈が、表示された フレームに整列されて付加されてもよい。図７は、注釈を付ける処理の概略図を 示す。編集は、ビデオフレームと参照モデル７０２との間の適切な幾何学的変換 を考慮することによって実現される。参照モデルの全体にオブジェクトを挿入す ることは、オペレータにとって、個々のフレームごとにオブジェクトを挿入する よりもずっと楽である。オブジェクト７０４は、参照モデル自体に挿入されても よく、或いは、参照モデル７０２に変換されるビデオフレーム７００の中の１つ に挿入されてもよい。このように、挿入されるオブジェクトの位置に対応した関 連するフレームが選択された後、編集処理によって、ユーザは、参照地図又はビ デオフレームを編集することができる。フレームと参照モデルとの間の変換を用 いて、オブジェクトが挿入されるべき領域を含む選択されたフレーム７０６及び ７０８のそれぞれにこのオブジェクトを次々に挿入してもよい。オブジェクトの 挿入は再生中になされ、画像自体は変更されない。これは、必要であれば、注釈 のないオリジナルの画像を表示することを可能にする。このように、オブジェク トがフレームの１つに挿入される場合、そのオブジェクトは、編集されたフレー ムと参照モデルとの間の変換、及び、別のフレームと参照モデルとの間の変換を 用いて別のフレームに挿入される。 参照モデルを地理学的な地図に整列させれば、個々のビデオフレームを参照モ デルに関連づける変換によって、入力ビデオシーケンスの各フレームにおける各 画素の地理学的な座標を得ることができる。これは、画像から参照モデルへの変 換及び参照モデルから地図への変換の組み合わせを含む。 ここで、本発明の趣旨を取り入れた様々な実施の形態が図示され詳細に説明さ れたが、当業者は、本発明の趣旨を備えた多くの別の変形した実施の形態を容易 に工夫することができる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アナンダン，パドマナバン アメリカ合衆国 ニュー ジャージー州 ローレンスヴィル カーヴァー プレイス ビー―２

Claims (1)

1. 【特許請求の範囲】 １．整列を定めた変換パラメータを用いて参照モデルに対して整列された複数の 画像フレームである画像情報を、索引付けする方法であって、 前記参照モデル内の位置を選択するステップと、 前記変換パラメータを用いて選択された位置を含む特定の画像フレームを前記 複数の画像フレームの中から決定するステップと、 選択された位置を含む前記特定の画像フレームを出力するステップと、 を備えた方法。 ２．前記参照モデルを提供するステップと、 前記複数の画像フレームを提供するステップと、 前記複数の画像フレームの中の各画像フレームに対する一組の変換パラメータ を結果として得ることのできる変換を用いて、前記複数の画像フレームの中の各 画像フレームを前記参照モデルに整列させるステップと、 前記参照モデル、前記複数の画像フレーム、及び、前記変換パラメータを記憶 するステップと、 を更に備えた請求項１に記載の方法。 ３．注釈を有する少なくとも１つの前記特定の画像フレームに注釈を付けるステ ップと、 前記参照モデル及び前記注釈を有する前記特定の画像フレームを更新するステ ップと、 を更に備えた請求項１に記載の方法。 ４．変更を有する少なくとも１つの前記特定の画像フレームを編集するステップ と、 前記変更を有する前記特定の画像フレーム及び前記参照モデルを更新するステ ップと、 を更に備えた請求項１に記載の方法。 ５．前記参照モデルの総観的参照を前記複数の画像フレームから提供するステッ プを更に備えた請求項１に記載の方法。 ６．整列を定めた変換パラメータを用いて参照モデルに整列された複数の画像フ レームである画像情報を、索引付けする方法であって、 前記複数の画像フレームの中の１つのフレーム内の位置を選択するステップと 、 前記１つのフレームを参照モデルに整列させる前記変換パラメータを用いて、 前記選択された位置を含む前記参照モデルの領域を決定するステップと、 前記変換パラメータを用いて、選択された位置を含む特定の画像フレームを前 記複数の画像フレームの中から決定するステップと、 選択された位置を含む前記特定の画像フレームを出力するステップと、 を備えた方法。 ７．前記参照モデルを提供するステップと、 前記複数の画像フレームを提供するステップと、 前記複数の画像フレームの中の各画像フレームに対する一組の変換パラメータ を結果として得ることのできる変換を用いて、前記複数の画像フレームの中の各 画像フレームを前記参照モデルに整列させるステップと、 前記参照モデル、前記複数の画像フレーム、及び、前記変換パラメータを記憶 するステップと、 を更に備えた請求項６に記載の方法。 ８．注釈を有する少なくとも１つの前記特定の画像フレームに注釈を付けるステ ップと、 前記参照モデル及び前記注釈を有する前記特定の画像フレームを更新するステ ップと、 を更に備えた請求項６に記載の方法。 ９．変更を有する少なくとも１つの前記特定の画像フレームを編集するステップ と、 前記参照モデル及び前記変更を有する前記特定の画像フレームを更新するステ ップと、 を更に備えた請求項６に記載の方法。 １０．前記参照モデルの総観的参照を前記複数の画像フレームから提供するステ ップを更に備えた請求項６に記載の方法。 １１．画像情報を索引付けする方法であって、 参照モデルを提供するステップと、 複数の画像フレームを提供するステップと、 前記複数の画像フレームの中の各画像フレームに対する一組の変換パラメータ を結果として得ることのできる変換を用いて、前記複数の画像フレームの中の各 画像フレームを前記参照モデルに整列させるステップと、 前記参照モデル、前記複数の画像フレーム、及び、前記変換パラメータを記憶 するステップと、 前記参照モデル内又は１つの前記画像フレーム内の位置を選択するステップと 、 前記変換パラメータを用いて、選択された位置を含む特定の画像フレームを前 記複数の画像フレームの中から決定するステップと、 選択された位置を含む前記特定の画像フレームを出力するステップと、 を備えた方法。 １２．注釈を有する少なくとも１つの前記特定の画像フレームに注釈を付けるス テップと、 前記注釈を有する前記特定の画像フレーム及び前記参照モデルを更新するステ ップと、 を更に備えた請求項１１に記載の方法。 １３．変更を有する少なくとも１つの前記特定の画像フレームを編集するステッ プと、 前記参照モデル及び前記変更を有する前記特定の画像フレームを更新するステ ップと、 を更に備えた請求項１１に記載の方法。 １４．前記参照モデルの総観的参照を前記複数の画像フレームから提供するステ ップを更に備えた請求項１１に記載の方法。