JP2002544742A

JP2002544742A - デジタルイメージ撮影システム

Info

Publication number: JP2002544742A
Application number: JP2000618861A
Authority: JP
Inventors: ギルバートスコット; カイマンデヴィッド; シーパークマイケル; シーリプリーデヴィッド
Original assignee: アイムーヴコーポレイション
Priority date: 1999-05-12
Filing date: 1999-07-15
Publication date: 2002-12-24
Also published as: AU5213299A; EP1204933B1; CA2372110A1; ATE285092T1; IL146362A0; CA2372110C; WO2000070486A1; EP1204933A4; US6323858B1; DE69922705D1; EP1204933A1; DE69922705T2

Abstract

(57)【要約】本発明は、プログレッシブスキャン技術を使用してパノラマイメージを記録・格納するための非常に柔軟性に富むデジタルシステムを提供する。イメージ入力装置は、立方体の各面上に配置されたレンズを有し、各レンズは、異なるイメージに焦点を合わせ、各ＣＣＤ上に焦点を結ぶ。組み込み型コントローラーは各ＣＣＤの露光時間を制御し、制御コンピュータはフラーム単位でイメージを格納する。各フレームは各レンズに対して１つのイメージを有する。また、各フレームは、音声トラック、ＧＰＳ、或いは、環境情報などの関連付けられた情報も有する。制御コンピュータは、ユーザがフレームレート、圧縮率、或いは、ゲインなどの制御情報を入力することを可能にするユーザインターフェイスをも含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は、写真に関するものであり、より詳細には、パノラマイメージのデジ
タル撮影および記録システムに関するものである。

【０００２】著作権表示本特許文献の開示内容は、著作権保護の対象となるものを含むものである。著
作権者は、特許庁のファイルや記録のような本特許文献やその開示を何人でも複
製することに依存はない。それ以外の場合は、著作権者はいかなる場合でも全て
の著作権を保持することに留意されたい。

【０００３】背景技術パノラマイメージ（パノラマ映像）は、広視野のイメージである。パノラマイ
メージは、球体全体に至るまで、即ち、水平方向で３６０度、垂直方向で１８０
度までの視野を持つことができる。

【０００４】パノラマイメージは、数学的なモデルを使用してコンピュータで生成され得る
。或いは、パノラマイメージは、写真のように撮影された多数のイメージを一緒
に継ぎ目無く合成することによって生成され得る。継ぎ目無く合成され、パノラ
マを形成すべきイメージの数は、合成、即ち結合されるイメージの各々の視野に
よって決定される。例えば、魚眼レンズは、極めて広視野で撮影でき、わずか二
枚のこのようなイメージを継ぎ目無く合成して、その結果球面パノラマを形成す
ることができる。

【０００５】角を一致させ、幾つかのイメージを継ぎ目無く合成してパノラマを形成させる
ンピュータプログラムが、市販されている。例えば、米国特許第5023925号およ
び5703604号には、イメージを撮影してこれらのイメージを継ぎ目なく合成して
パノラマを形成し、このパノラマイメージの一部の選択された部分を閲覧するシ
ステムが記述されている。ドデカ（Dodeca）L.L.C.社（オレゴン州、ポートラン
ドに所在）は、複眼レンズカメラを使用してイメージを撮影するシステムを市販
している。ドデカ社のシステムでは、イメージは、従来のＮＴＳＣビデオ標準を
使用してビデオテープに録画される。

【０００６】 1999年5月12日出願の同時継続特許出願第09/310715号には、どのようにして一
連のパノラマイメージを作成して、３次元空間を通じての運動をシミュレーショ
ンするパノラマムービー即ちパノラマ映画に変換することができるかが記述され
ている。パノラマムービーを作成するためには、イメージを撮影し、記録し、継
ぎ目無く繋ぎあわせる、即ち合成させなければならない。従来の撮影、格納シス
テムは、従来のＮＴＳＣビデオフォーマットを使用して撮影・格納されたイメー
ジであって、継ぎ目無く合成してパノラマに変換するのに適した一連のイメージ
を撮影する。アナログＮＴＳＣフォーマット信号は、その後、デジタル信号に変
換される。

【０００７】ＮＴＳＣビデオフォーマットは、インターレースされたフィールドを使用する
。インターレースのＮＴＳＣフォーマットを使用してイメージが撮影、格納され
た場合、シーミング、即ち、継ぎ目無く合成する前に、インターレースを除去し
なければならない。この除去は様々な技法を利用して為される。例えば、イメー
ジが、１秒あたり６０のインターレースで撮影された場合、交互の即ち１つおき
ごとのフィールドを無視することができ、結果として、１秒あたり３０のノンイ
ンターレースのデジタルイメージになる。或いは、それぞれの２つの隣接するイ
ンターレースのフィールドを結合して、１つのノンインターレースのデジタルイ
メージに変換することができる。しかしながら、どのようにインターレースを除
去するかにには関係なく、データが喪失する、或いは、所望しないフレーム間の
アーチファクト（即ち人工的なゴミ）が生成され、結果として生じるノンインタ
ーレースのイメージに変換する。

【０００８】本発明は、デジタルプログレッシブ（即ち、ノンインターレース）技術を利用
して元イメージを撮影・格納することによるＮＴＳＣフォーマットによってもた
らされる問題を除去する。本発明は、デジタルプログレッシブフレーム技術を利
用してイメージを最初に撮影するため、本発明を用いて撮影・記録されたイメー
ジから作成された一連のパノラマを、忠実に多次元空間の高速運動を描写するパ
ノラマムービーとして表示することができる。

【０００９】良く知られていることであるが立方体表現（cubic representation）は、パノ
ラマを描写、即ち表現するのに特に有効な技法である。即ち、正確に球面パノラ
マの全体を表現する６つのイメージを記録することは、特に、このようなパノラ
マを格納するのに要するメモリ量に関して効果的である。本発明は、立方体表現
固有の記録効率の利点を本質的、即ち固有的に有するイメージ撮影システムを提
供する。

【００１０】発明の概要本発明は、非常に柔軟性があって、プログレッシブスキャン（即ち、ノンイン
ターレース（non-interleaved））技法を使用して、パノラマイメージを撮影・
格納するデジタルシステムを提供する。本システムは、デジタルイメージ入力装
置、および、関連付けられた即ち付属する制御コンピュータを含む。イメージ撮
影装置はデジタル式であるため、制御コンピュータのソフトウェアによって容易
かつ柔軟に制御することができる。イメージ入力装置は。立方体の６面に配置さ
れた６つのレンズを有する。イメージ入力システムはその他のレンズ構成を取る
こともできるが、球面パノラマを撮影するのに使用されるシステム用には、立方
体構成では６つのレンズの使用が最適である。６つのレンズは、６つのＣＣＤ（
電荷結合素子）上に異なるイメージの焦点を合わせる。また、イメージ入力装置
は、埋め込み式、即ち組み込み型コントローラーとデータ圧縮回路とをも含む。
この組み込み型コントローラーは、ＣＣＤの露光時間（即ち、効果的なアパーチ
ャー（絞り）、効果的なシャッター速度）を制御し、ＣＣＤからイメージデータ
を読み取る。ＣＣＤから読み取られたイメージデータは、圧縮され、多重化され
、そして制御コンピュータへ送出される。制御コンピュータは、フレームでイメ
ージを格納し、各フレームは、６つのレンズの各々からの１つのイメージを有す
る。各フレームは、同時に記録された６つのイメージを含み、さらに、音声トラ
ック、テキスト情報、或いは、ＧＰＳ（全地球即位システム）データや人工水平
器データなどの何らかの関連付けられた情報を含む。制御コンピュータは、ユー
ザが、フレームレート、圧縮率、ゲインなどの制御情報を入力することを可能に
するユーザインターフェイスを含む。制御コンピュータは、制御情報を組み込み
型コントローラーに送信し、この組み込み型コントローラーは、順番に、複数の
ＣＣＤおよび圧縮回路を制御する。イメージを制御コンピュータからリアルタイ
ムビューワー（閲覧ソフト）へ送信することができ、その結果、ユーザは、正確
なイメージが撮影されつつあるか否かを判断することができる。制御コンピュー
タで格納されたイメージは、後で、継ぎ目無く合成され、パノラマに変換され、
そして、パノラマムービーへと変換される。

【００１１】付録の説明付録Ａは、イメージを撮影し、パノラマムービーのイメージのパースペクティ
ブコレクション（遠近補正）を行なうコンピュータプログラムコードを印刷した
ものである。付録Ｂは、パノラマムービーのリンク制御ファイルのサンプルである。付録Ｃは、一連のイメージをリンクしてパノラマムービーの変換するコンピュ
ータ疑似コードである。

【００１２】好適な実施例の説明本発明の好適な実施例の概略図を図１に示す。デジタルイメージ撮影装置１０
があり、これはケーブル１０ｃによって制御コンピュータ２０と接続されている
。イメージ撮影装置１０は、立方体の形をした構造体１０ａの６面に配置された
６つのレンズ４１ａ〜４１ｆを有する。図１Ｂは、イメージ撮影装置１０の平面
図であり、レンズ４１ａ〜４１ｆのうちの図１Ａで見えないレンズが幾つかある
ことを示す。立方体１０ａは、ハンドル１０ｂの最上部に装着される。

【００１３】イメージ撮影装置１０の内部の電気的なコンポーネントのブロック図を図２に
示す。６つのＣＣＤ装置４３ａ〜４３ｆが設けられており、１つのＣＣＤ装置に
レンズ４１ａ〜４１ｆの各々が関連付けられている。各レンズ４１は、関連付け
られたＣＣＤ装置４３上にイメージを投影する。各レンズ４１は、１３５度の視
野を有する。従って、様々なイメージがある程度重なり合い、イメージを継ぎ目
無く合成して死角の無い完全なパノラマへ変換できることを保証する。レンズの
視野は、記憶領域を不必要に使用するような過大な重なり合いをもたらすことな
く効率的に継ぎ目無く合成するために、十分に重なり合うように選択される。

【００１４】各ＣＣＤ４３からの出力は、ＡＤコンバータ４４へ送られ、それから、ＦＩＦ
Ｏ（先入れ先出し）バッファーメモリ装置４５へと送られる。ＣＣＤアレイ４３
によって撮影されたイメージは、プログレッシブスキャンの形式、即ち、ノンイ
ンターレースである。２つのレンズごとに、１つのＪＰＥＧ圧縮チップ４６が設
けられる。例えば、ＦＩＦＯ４５ａとＦＩＦＯ４５ｂとの出力は、圧縮チップ４
６ｈへ行く。圧縮チップ４６の出力は、ＦＩＦＯバッファーメモリ４７へ行き、
その後、コンピュータバス１０ｃへ送られる。

【００１５】レンズ４１およびＣＣＤアレイ４３は、市販されているデジタルカメラに見ら
れるコンポーネント即ち構成要素と同様のものである。ＪＰＥＧ圧縮チップ４４
、ＡＤコンバータ４４、ＦＩＦＯメモリ４５と４７、および、組み込み型コント
ローラ４８も、市販されているコンポーネントである。例えば、このようなコン
ポーネントは、ゾラン（Zoran）コーポレーション社やアトメル（Atmel）コーポ
レーション社などの供給業者から市販されている。

【００１６】組み込み型コントローラー４８は、図２に示した様々なコンポーネントの操作
を制御する。制御線が、図２中の各装置から組み込み型コントローラー４８へと
接続されている。これらの制御線は、図２では破線４８ａで示される。説明の便
宜上および明確化のために１つの破線４８ａのみを図２に示してあるが、破線４
８は、コントローラー４８から各コンポーネントまでの制御線を表わすものと理
解すべきである。さらに詳細には、破線４８ａは、制御線とタイミング信号線と
を示すものである。

【００１７】好適な実施例では、イメージ撮影ユニット１０からコンピュータ２０（そして
コンピュータ２０からリアルタイムビューワ３０（これについては後述する））
への接続部材は、「ホットリンク(HOTlink)」シリアルバスである。このような
接続部材は、サイプレス（Cypress）コーポレーション社、或いは、ブルブロー
（Burr-Brow）カンパニー社の一部門であるデータフォースコーポレーション社
から市販されている。或いは、その他のタイプの高速接続部材を使用することも
できる。例えば、接続部材は、スタンダードＳＣＳＩ接続を使用しても良い。図
２により詳細に示すように、イメージ撮影ユニット１０と制御コンピュータ２０
との間の続部材１０ｃは、イメージデータを伝送するホットリンクバス４８ｃと
、制御情報を伝送する従来のシリアルバス４８ｂとを有する。

【００１８】制御コンピュータ２０は、ウィンドウズＮＴ（登録商標）オペレーティングシ
ステムを搭載した従来のパーソナルコンピュータである。ワシントン州レッドモ
ンドのマイクロソフトコーポレーション社は、このウィンドウズＮＴ（登録商標
）オペレーティングシステムを市販している。アプリケーションプログラムは、
ユーザからの入力を受け取り、制御信号を制御コンピュータ２０からイメージ撮
影装置１０へと送信する。これらの信号を、別個のシリアルバス４８ｂで送信す
ることもできる。

【００１９】ユーザは、以下の制御項目を指定することができる。１）フレームレート：フレームを１５或いは３０フレーム／秒で撮影することができる。高い方のフ
レームレートは、速い動きをより良く示すが、より多くの記憶領域を消費する。
２）シャッター制御：シャッター制御は、自動或いは手動にすることができる。自動モードでは、シ
ャッター設定は、全てのＣＣＤアレイの明るさのレベルを検知して平均設定を算
出するか、或いは、１つのＣＣＤアレイを選択して当該レンズの明るさに基づき
全ての他のものを設定するかによって設定することができる。従って、許容される設定は下記のようになる。自動：全てのセンサで平均化自動：前面センサ制御自動：右面センサ制御自動：左面センサ制御自動：背面センサ制御自動；上面センサ制御自動：底面センサ制御手動：１／１００００秒手動：１／４０００秒手動：１／２０００秒手動：１／１０００秒手動：１／５００秒手動：１／２５０秒手動：１／１２５秒手動：１／６０秒手動：１／３０秒３）ゲインレベル：所望であれば、入力信号を増幅してイメージのコントラストを増大させること
ができる。可能な設定は、通常と増大である。４）圧縮率：圧縮チップ４６は、信号を、異なる量で圧縮することができる。より低い圧縮
率では、生じるイメージの品質はより良いものとなるが、より多くの記憶領域を
必要とする。可能な設定は、最小、低、中、高、および最大である。

【００２０】図３Ａは、コンピュータ２０のユーザに提示してユーザに様々なパラメータを
設定させることを可能にする画面を示すものである。各パラメータは、ユーザが
適切な設定を選択して入力するのを可能にするドロップダウンメニューを有する
。このようなドロップダウンメニューは、従来からあるものである。図３Ａに示
した画面の右側には、オペレータがシステムの操作を制御することができるよう
にする幾つかの追加「ボタン」がある。画面の下部にはバーがあり、このバーは
どのくらいディスクスペースが使用されたかを表わす表示と、システムのスルー
プット（処理性能）のレートがどのくらいかを表わす表示とを示すものである。
このようなバーは、従来からあるものである。

【００２１】図３Ｂは、コンピュータ２０内のプログラムのブロック図である。そこには、
マルチタスク環境で動作する幾つかの独立したタスクがある。本発明と関連性が
ある２つのタスクを図３Ｂに示す。その他のタスクを操作することもできる。タ
スクの検出および制御はブロック３３で示される。

【００２２】データをイメージ入力装置１０から受信しつつあるときに（ブロック３４ａで
示すように）、そのデータをブロック３４ｂで示すようにリアルタイムビューワ
へ送信することができる。ブロック３４ｃに示すように、テキスト、音声、ＧＰ
Ｓデータ、或いは、制御情報などのその他のデータは、イメージに付加すること
ができる。ブロック３４ｄに示すように、イメージおよび関連づけられたデータ
を格納することができる。テキストデータは、関連付けられたイメージが閲覧さ
れるときに表示されるただの単語や数字に過ぎない。音声データや制御情報につ
いては後述する。ＧＰＳデータは、位置およびイメージが撮影された場所を示す
データである。このようなデータは、市販されているＧＰＳ装置から自動で撮影
し得るものである。

【００２３】本システムは、ブロック３５ａに示すように新たなユーザ入力を定期的にチェ
ックする。新たな入力を受け取ったとき、適切なコマンドが生成され、組み込み
型コントローラー４８へシリアルバス４８ｂを介して送出される。コマンドの構
造、および、コンピュータ２０とコントローラー４８との間のコマンド情報の転送は、従来か
らあるものである。

【００２４】多次元空間を通じての運動をシミュレーションするためには、はじめに、一連
のパノラマイメージを取得、即ち撮影しなければならない。撮影されたパノラマ
イメージは、フレームとして格納しなければならず、それから、このフレームか
ら選択した適切なビューウィンドウを適切な順序で表示させなければならない。

【００２５】パノラマ映像は、空間上の特定の地点の方向から何が見えるかに関するデータ
を提供するものである。観覧者やユーザーは、ある特定の時間には、ある一方向
しか見ることができない。観覧者やユーザーの視点の方向は、「ビューウィンド
ウ」、即ちある特定の時間にスクリーン上に投影されるパノラマ映像の部分を決
定する。図４Ａは、キーフレーム（即ちパノラマ映像）或いはパノラマ3aを示す
ものである。パノラマ3aは、これに対応するビューウィンドウ3bを有する。また
、パノラマ3aは、これに関連する幾つかの音声トラック3cも有する。ビューウィ
ンドウに表示されるものと、直線球面状のパノラマ（rectilinear spherical pa
norama）の平坦部に格納されたものとは異なることはもちろんであるが、このこ
とは図４Ａにおいては説明の便宜上省略する。

【００２６】図４Ｂは、本発明の好適実施例を利用するシステムの全体図である。イメージ
撮影ユニット１０は、イメージ即ち映像を撮影する。撮影されたイメージは、コ
ンピュータ２０に送られ、そこに格納される。また、コンピュータ２０は、イメ
ージ撮影ユニット１０を制御する。所望であればこのイメージは、リアルタイム
ビューアー３０で観察することもできる。このイメージは、コンピュータ２０か
らオフラインのコンピュータ２１へ転送される。コンピュータ２１は、イメージ
をシーミング処理、即ち継ぎ目なく合成してパノラマに変換する。また、映像を
エクイレクタンギュラー（equirectangular（等長方形））フォーマットに変換
し、その他の情報を映像に追加し、パノラマを圧縮し、パノラマをリンクしてパ
ノラマムービーへと変換する。最終的には、パノラマムービーをビューアー２２
で見る。

【００２７】図４Ｂの各ユニットで実行される操作を図５A、５B、５C、５D、および５Ｄで
説明する。図５Aのブロック１１aに示すように、カメラユニット１０は、多数の
単一ビューイメージ（映像）を撮影する。ブロック１１bに示すように、これら
の映像は圧縮され、コンピュータ２０へ送られる。コンピュータ２０は、ブロッ
ク２０aに示すように、前述したようにイメージ撮影ユニット１０を駆動して映
像を取り込む。それからコンピュータ２０は、ブロック２０bに示すように映像
を受け入れ、格納する。

【００２８】格納された映像を、手動でオフラインのコンピュータ２１に転送する。転送先
のコンピュータ２１は、図５Cに示した処理をするようにプログラムしてある。
初めに、ブロック２０aに示すように、映像を、取り扱うことができるように解
凍する。次に、ブロック２１bに示すように、単一ビュー映像を継ぎ目なく合成
しパノラマに変換し、そして、エクイレクタンギュラーフォーマットに変換する
。受け入れた６つのイメージ即ち映像（例えば、本イメージ撮影ユニットが３０サ
イクル／秒で操作されている場合、１／３０秒毎（各レンズから１つづつ）に受
け取った映像）は、図５Ｃのステップ２１ｂに示したように、継ぎ目なく合成さ
れ、エクイレクタンギュラーフォーマットに変換され、１つのパノラマとなる。

【００２９】次のブロック２１cに示すように、一連の映像において分岐点を示すホットス
ポット及び音声トラックを追加する。最後に、ブロック２１dに示すように映像
を解凍し、ブロック２１eに示すように、インデックスファイルと共に格納する
。各パノラマを「キーフレーム」と称する。順番に投影される一連のキーフレー
ムが、パノラマムービーである。パノラマムービーが投影されつつあるとき、特
定の時点では観覧者は、各フレームのうちのビューウィンドウの中にあるものだ
けを観察することができる。

【００３０】ビューアーコンピュータ２２のビューアープログラムを用いて、パノラマムー
ビーを観る。ビューアー２２は、一連の映像、即ち一連のキーフレームを順番に
表示する。ブロック２２aに示すように、表示される各キーフレーム毎に、ビュ
ーアー２２は適切なビューウィンドウを決定する。その後、ブロック２２ｂに示
すように、ビューウィンドウに対応するキーフレームの該当部分を、解凍して表
示する。ブロック２２ｃに示すように、該当する場合は音声の再生も行う。

【００３１】所望であれば、映像を撮影している最中に、映像をリアルタイムビューアー３
０へ送出することもできる。リアルタイムビューアー３０で実行される各ステッ
プを、図５Ｅに示す。ブロック２３ａに示すように、映像を受け取った後、ブロ
ック２３ｂに示すように、映像を解凍する。最後に、ブロック２３ｃに示すよう
に、映像を表示する。

【００３２】ブロック２０ａ、２０ｂ、２１ａ〜２１ｅ、２２ａ、２２ｂ、２２ｃで示した
操作は、上述した機能を実行するコンピュータプログラムによって実現されるも
のであることに注意されたい。

【００３３】図６Ａは、パノラマムービーの一連のパノラマ映像を示すものである。図６中
の各矢印は、キーフレームの１つを表わしている。ユーザー或いは観測者は、特
定の時間においては１つのキーフレームから見た一部分（即ちビューウィンドウ
）しか観ることができない。各矢印の方向は、観察方向、即ち、観察用にスクリ
ーン上に投影されるキーフレームの一部分やビューウィンドウの方向を表わして
いる。図６Ａ中の矢印は、それぞれのキーフレームから観たある特定の「ビュー
ウィンドウ」を表わすようになっている。図６Aの文字Ｅで指定した部分で矢印
の方向を変化させて示すように、観察者はパノラマムービーの進行に応じて自分
が観察している方向を変化させることができる。ユーザーがパノラマを観察する
場合、図６Ａの矢印で示すように、ユーザーはスクリーンの上部や下部をポイン
トすることによって、上部から下部、更に加えて水平方向まで３６０度に亘る位
置の映像を観測することができる。

【００３４】一連の映像は、文字Aで示す部分或いはキーフレームのところから始まり、文
字Ｂで示す部分或いはキーフレームのところへと進行する。この文字Bの地点に
おいて、ユーザーは地点Cまで進むか、地点Dまで進むかのいずれかを選択するこ
とができる。この選択は、パノラマにおいて文字Bで示された「ホットスポット
」を「クリック」することによって、或いは、その他の判定基準や動作によって
行うことができる。重要なことは、分岐点Bでは、どちらの移動経路が選択され
たかに拘わらず、ビューの方向（矢印の方向で示す）は同じままであることであ
る。当該分岐点の後の最初のフレームからのビューは、どちらの移動経路でもほ
とんど同じとなる。時間の進行及び観察者が分岐点から離れるに従い、ビューの
方向は徐々に変化する。この効果は、観察者が移動経路における分岐点に達した
場合に現れる。観察者が分岐点から１歩進んだところでは、経路を別れた観察者
の視野は、どちら側でもほとんど同じままである。

【００３５】分岐点Bでは、矢印は地点Dへ向かう移動経路の方向を指示していないことに注
意されたい。通常、観察者が分岐点から進行する方向を選択するとき、分岐点か
ら進行する方向を向いているものである。従って、観察者は、地点Dへ向かう移
動経路を選択しないで、普通は地点Cへ進行するものである。

【００３６】一連のキーフレームを分岐点Bなどの分岐点に結合するか、或いは、分岐点を
一連のキーフレームの最終フレームに位置させることもできる。即ち、分岐点を
一連のキーフレームの最終フレームに位置させることができる。このような分岐
点は、２つの選択可能な移動経路を有し、２つのホットスポットのうちの１つを
クリックすることによって、ユーザーは移動経路の１つを選択することができる
。或いは、一連のキーフレームの最終フレームに、明示分岐点を置くこともでき
る。このような明示分岐点では、ユーザーの介在なしでシステムによって新しい
フレームが選択されることとなる。

【００３７】キーフレームの数とユーザーが取り得る位置は、一対一である。従って、フレ
ームレートとユーザーの移動速度との間には、相関関係がある。ユーザーが環境
を移動中であれば、表示されるそれぞれのフレームは、新しいキーフレームであ
る。ある所定のフレーム間隔においてフレームレートが速くなればなるほど、ユ
ーザーはより高速に移動する。フレームレートを固定した場合、ユーザーの移動
速度は、キーフレームの相対的な間隔によって決定づけることができる。キーフ
レームの間隔を短くすればするほど、ユーザーの移動速度はより低速になる。例
えば、移動速度が約５マイル／時(mph)で、再生フレームレートが１５フレーム
／秒（fps）である場合、個々のパノラマフレームは約６インチずつで撮影する
必要がある。以下の計算式で計算できる。 5マイル／時×63360インチ／マイル）／（3600秒／時×15フレーム／秒）＝6
インチ／フレームムービーの表示中の場合は、フレームを幾つかコマ落しすること（例えば、フ
レームを１つおきでコマ落しする場合、移動速度は２倍になる）によって移動速
度を速くすることができる。フレームのコマ落しは、ビューアーに送るのに必要
なフレームのレートを少なくする。その結果必要な帯域幅を減少させることとな
る。

【００３８】キーフレームの間隔によって移動速度を変化させる他に、ゲート、停止、揺動
、スロー、コマ落しなどの所望の運動を得るために、個々のキーフレームの方向
を調節することもできる。具体的に他の視点が選択されない限り、キーフレーム
の方向は、パノラマ映像の中におけるユーザーのデフォルトのビュー（或いは焦
点）によって規定される。

【００３９】音声は、パノラマムービーによってもたらされる視覚効果と共に提供すること
ができる。図６Bは、各キーフレームが、１つまたは複数の関連するデジタルサ
ウンドトラックを持つことができることを示すものである。図６Bにおいて、デ
ジタルサウンドトラックは、矢印の各々に対応する点線によって示されている。
後述するが、図１１に示すように、各キーフレームは関連する幾つかの異なるサ
ウンドトラックを持つことができる。

【００４０】ブロック２１ｂに示されるシーミング処理（即ち継ぎ目無く合成する処理）は
、コンピュータ２１内のプログラムが実行する。一般的にシーミング処理は、様
々な個別のイメージ間において可能な限り適合する部分を見つけ出すことによっ
て、個々のイメージを結合してパノラマに変換するものである。イメージをシー
ミング処理してパノラマに変換するプロセスは既知のものである。例えば、米国
特許第5694531号は、ポリゴンをシーミング処理することによって低い平均自乗
誤差を有するパノラマに変換することについて述べている。付録Ｄに、カメラ２
０のレンズ４１ａ〜４１ｆからの６つのイメージをシーミング処理してパノラマ
に変換するコンピュータプログラムを掲げる。

【００４１】シーミング処理の終了後は、シーミング処理された映像の各々は、パノラマ映
像（これ以降、「パノラマ」と呼ぶ場合もある）となり、各パノラマは、パノラ
マムービーのフレームとなる。格納する前に、処理しやすいファイルサイズにす
るために、シーミング処理された映像を圧縮する。映像を圧縮するには、市販さ
れている「インデオ（Indeo）」という名前で知られる圧縮プログラムを用いる
。このインデオというプログラムはインテルコーポレーション社で開発され、そ
こから市販されている。インデオ圧縮プログラムは、非フレーム間圧縮を使用す
るモードを有する。本発明の本実施例では、インデオ圧縮プログラムの非フレー
ム間圧縮モードを用いる。フレーム間圧縮ではないため、キーフレームを、順方
向或いは逆方向へアクセスしたり観察したりすることが可能である。更にいえば
、特定のビューウィンドウに対して必要なパノラマの一部のみを解凍するので、
そのため時間や計算リソースを節約することができる。

【００４２】圧縮されたパノラマ映像を、コンピュータ上のハードディスク、テープ、コン
パクトディスク（ＣＤ）などのファイルに格納する。図７に示すように各ファイ
ルには、ヘッダー及びインデックスがある。ヘッダーには、下記のような情報が
含まれる。ファイルタイプタグファイルサイズ：ファイルの合計バイト数インデックスサイズ：フレームインデックスのエントリー数最大フレームサイズ：圧縮されたフレームの最大のものの合計バイト数符号化装置（コーデック）：フレーム圧縮に使用した符号化装置ファイルヘッダーの後には、フレームインデックスが入る（図７を参照されたい
）。各フレームインデックスは、図７に示す矢印のように対応するフレームの位
置を指示する。従って、このフレームインデックスの位置を得ることによって、
個々のフレームを、任意の順序で読み出すことができる。

【００４３】キーフレームが常にフレーム順で使用される場合は、インデックスを付ける仕
組みは必要でない。しかしながら、本発明の実施例におけるシステムは、パノラ
マムービーのキーフレームを、順方向にも逆方向にも再生できるものである。従
って、システムは、任意の順序で順方向にも逆方向にも素早く個々のフレームの
場所を見つける必要がある。更に、システムは、１回のディスクへのアクセスの
みによってキーフレームの場所を見つけられる構成になっていることが望ましい
。ユーザーが、高速の移動速度で（移動速度を速くするために幾つかのキーフレ
ームをコマ落しする）後方へ（キーフレームのディスク記憶装置においては反対
方向へ）移動中である状況を考えてみる。キーフレームの登録簿なしでは、次の
該当のキーフレームを見つけ出しロードするためには、ディスクを「線形リバー
ス」手法によりサーチしなければならない。一方、キーフレーム登録簿がある場
合は、次のキーフレームの場所は、すぐに見つけることができ、（RAMメモリに
登録簿をロード済みの場合は）一回のディスクへのアクセスでロードすることが
できる。

【００４４】図６Aに示すように、ビューアーは、ある一連の映像から他の一連の映像へ分
岐することができる。このことは、図４Aの分岐点Bで示してある。分岐すること
によって、ユーザーはシミュレーションされている移動経路の方向を変更する。
ユーザーは視認可能である「ホットスポット」を「クリック」すること、或いは
隠れたホットスポットを駆動させることによって、変更の意思表示をする。視認
可能なホットスポットは、ビューウィンドウ上の目に見える標識などで示す。例
えば、ホットスポットは、ビューウィンドウの中の明るい赤い点で示すことがで
きる。或いは、ホットスポットは、カーソルがホットスポット上に重なったとき
にカーソルの形状を違うものに変化させることによって示すことも可能である。

【００４５】パノラマムービーの分岐として、全ての場合に明白に別の移動経路がある訳で
はないことに注意されたい。例えば、交差点では、分岐は、全ての視認可能な経
路を提供できる訳ではない。ビューアーに示される分岐点は実際に利用し得るも
のであることが保証されたものであることに注意されたい。

【００４６】３０フレーム／秒のレートで再生中に、ユーザーが、１つのフレーム上に現れ
るホットスポットを見つけてクリックすることは、非常に「速すぎる」ため困難
であり、即ち事実上不可能である。通常の処理では、ある特定のフレームが表示
されるのは１／３０秒間だけであるため、事前に警告されることなく、ある特定
の１つのフレームを表示しているときに、ビューアーが具体的な動作を取り分岐
させることは実際非常に困難である。効果的かつユーザーフレンドリーにするた
めには、ユーザーに、まもなく表示され、ユーザーの動作を要する分岐のチャン
スを予め表示してやる必要がある。パノラマムービーのホットスポットは、比較
的多数のキーフレーム上において観察者の視覚に訴えるものでなければならない
。例えば、分岐点の３０フレーム手前から（逆再生の場合は３０フレーム後）ホ
ットスポットを表示させることができる。

【００４７】図８に示す方法によってホットスポットをパノラマムービー中に挿入する。コ
ンピュータ２１によって、ホットスポットをキーフレームに挿入し、その後、図
３Ｃのブロック２１ｅ及び２１ｄに示したようにフレームを圧縮する。ホットス
ポットをパノラマムービーに挿入するには、元のパノラマ映像にホットスポット
を挿入して変更すること、或いは、ホットスポット映像を含むオーバーレイ映像
を用いることの２つの方法があることに注意されたい。オーバーレイを用いる場
合は、元の映像を投影する際に、同時にオーバーレイ映像を投影しなければなら
ない。ブロック８７ａに示すように、最初に、どのくらい前もってユーザーに警
告したいのかを決めておく必要がある。ホットスポットはある特定のサイズを持
つが、ホットスポットに対する動作が必要なときにホットスポットから離れて観
察した場合、それは多少小さく見えるものである。ブロック８７ｂに示すように
、ホットスポットをパノラマムービーに挿入するためには、ホットスポットを置
く領域を決定しなければならない。一般にこの領域は、ビューにおいて、分岐が
起こる方向側になる。それから、ホットスポットをパノラマに挿入して、パノラ
マ映像を変更する。

【００４８】この領域にスーパーインポーズした明るい色の付いた輪郭によって、ホットス
ポットを表示させることができる。この輪郭で囲んだ領域を、少し暗色或いは明
色とすることもできる。その目的は、元の映像を見えなくすることなく、その領
域を際立たせることである。この表示方法には、その他幾多の変形が考えれれる
。

【００４９】例えば、ホットスポットが３０のフレームで視認し得る場合、ホットスポット
を各フレームに挿入することができる。はじめに、３０フレーム中の最初のフレ
ームに小さなサイズのスポットを置き、最後に、３０番目のフレームに最も大き
なスポットを置く。或いは、補間法（interpolation）を使用することもできる
。正確なサイズのホットスポットを、３０フレームの最初、中間、および最後の
ために設定し、その間にあるフレームは補間法を用いて設定する。

【００５０】ブロック８７ｄ〜８７ｅで示したように、キーフレームが分岐点に達するまで
、これらのプロセスを繰りかえす。最後に、パノラマムービーを逆方向で表示し
ている場合、分岐点が見えるように反対の方向から分岐点まで前記の過程を繰り
返す。

【００５１】個々のキーフレームに対する変更は、従来からあるイメージエディターによっ
て手動で行うことができる。或いは、この目的のためだけに設計されたプログラ
ムを用いて、自動で変更を加えることもできる。

【００５２】ユーザーの介入を不要にするために、「隠れ」ホットスポットを挿入して、複
数のパノラマムービーを連結することもできる。隠れホットスポットは、ユーザ
ーが手動で選択する必要がないホットスポットである。隠れホットスポットの場
合は、ユーザーが隠れホットスポットを持つ特定のキーフレームに移動したとき
、ユーザーの視線は、普通、ホットスポットの方向を向いている。そしてシステ
ムは、ユーザーのホットスポットに対する暗黙の選択に基づき、ユーザーはホッ
トスポットにより導かれる方向に移動する。

【００５３】図９Ａは、パノラマムービーを再生或いは表示するビューアー２２のブロック
図である。ビューアー２２の主コンポーネントは、ＣＤディスクリーダー８０、
コンピュータ８１、ディスプレイ８２、キーボード８４、及びマウス８５である
。コンピュータ８１は、キーフレームをディスク８０から読み出し、ディスプレ
イ８２上に各キーフレームのビューウィンドウを表示する。オペレータやユーザ
ーは、マウス８５を用いてビューの方向を指示する。ビューの方向によって、コ
ンピュータ８１によってディスプレイ８２に表示されるビューウィンドウが決定
される。ブロック２２ａ〜２２ｃ（図３Ｄに示すように）を実現するプログラム
をコンピュータ８１に格納し、実行する。

【００５４】図９Ｂは、リアルタイムビューアー３０のブロック図である。オプションとし
て、カメラ１０で撮影した映像をリアルタイムで観察するここともできる。映像
をリアルタイムでコンピュータ２１からビューアー２２へ転送する。転送は、ホ
ットリンクバスからホットリンクカード８６ａへと経由する。映像を、ホットリ
ンクカード８６ａからＲＡＭメモリ８６ｂへと転送し、それから圧縮を行う圧縮
カード８６ｃへ転送する。映像は、圧縮カード８６ｃからＲＡＭメモリへ戻され
、そしてＣＰＵ８６ｄへ送られる。ＣＰＵ８６ｄは、必要に応じて、この映像を
継ぎ目なく合成、即ちシーミング処理を行い、処理済みの映像をビデオカード８
６ｅに転送し、そしてビデオカード８６ｅは映像をモニタ８６ｆ上に表示する。
ビューアー３０は、通常のマウス８６ｍ及びキーボード８６ｋを用いて制御する
。

【００５５】図１０は、パノラマムービーを表示させるプログラムのフローチャートである
。この図１０のフローチャートで示したプログラムは、図９Ａのコンピュータ８
１上で実行するものである。このプロセスは、ユーザーの入力によりブロック９
１から始まる。ユーザーは開始地点を指示する必要がある（プロセスが最初の場
合、この開始地点は、通常ムービーの一番先頭のフレームになる）。また、ユー
ザーは、再生方向、スピード、ビューの方向を指定しなければならない。ブロッ
ク９２、９２ａ、９２ｂ、９２ｃで示すように、システムは、適切なパノラマフ
レームのデータを決定し、読み出す。ブロック９６及び９６ａに示すように、シ
ステムは、パノラマムービーの一部分（つまり、選択されたビューウィンドウ）
、即ち、フレーム全体のうち解凍される部分を決定する。ブロック９７及び９７
ａに示すように、映像を再投影し、透視ビューを得ることができる。ホットスポ
ットが実際のキーフレーム上に置かれずに、別のファイルに入れられている場合
、ホットスポットイメージは、前記の映像上にオーバーレイされる。最後に、ブ
ロック９８に示すように、ビューウィンドウを構成する映像部分を、スクリーン
上に投影する。

【００５６】ユーザーの移動に応じて、現在のユーザーの位置及び移動の方向によって、次
に必要となるキーフレームを決定する。映像ファイル中のキーフレームの位置は
、ファイルインデックス登録簿を用いて決定する。そして、キーフレームを、順
番にRAMメモリへロードし、解凍し、表示する。パフォーマンスを向上させるた
めには、キーフレームの中のビューウィンドウ部分のみ（現在のユーザービュー
に依存する）をRAMにロードすれば良い。プログラミングを簡単にするため全て
のキーフレームをメモリにロードする場合は、キーフレームのビューウィンドウ
部分のみを解凍すれば良い。キーフレームの全部が、全体として圧縮された場合
、「部分解凍」をサポートする解凍プログラム、例えばインテル社インデオを用
いるのが効率的である。ある特定のビューを表示するのに必要なパノラマの部分
を決定するためには、透視ビュープレーン（ディスプレイウィンドウ）のコーナ
ー部の各座標をパノラマ座標に変換する。その結果得られたパノラマ座標は、必
ずしも矩形を表わすものではない。従って、これらのパノラマデータによる有界
矩形は、あるビュー方向における透視ビューを派生する。

【００５７】所望の有界矩形のコーナー部を決定した後、インデオ圧縮プログラムは、ある
特定のビューウィンドウに対してキーフレームの一部分のみを解凍するよう指示
する。これを行うためには、プログラムは、フレームを解凍する前に、ビデオフ
ォーウィンドウズ機能ICSetStateをCALLする必要がある。これは、例えば下記の
ようにCによってプログラミングすることができる。

【００５８】

【表１】

【００５９】パノラマフレームを格納するのに投影法を用いた場合は、パノラマムービーは
、球座標に関して不連続のピクセルが存在し、また、必要な部分領域は、連続す
る複数の領域の組合わせとすることができる。完全なシリンダー／球のエクイレ
クタンギュラー投影（０度を中心として）の場合、左端のピクセルは−１８０度
であり、右端のピクセルは１８０度である。球座標では、−１８０度は１８０度
と同じである。従って、左／右ピクセルの不連続は、球座標では「ワープしてつ
ながり」連続のものとして表わされる。

【００６０】ある特定のビューウィンドウに対する、元のキーフレームのパノラマの一部分
を決定する計算式は、パノラマを格納するのに用いた投影図法に左右される。オ
プションとして、ビューアーはロードすべき次のキーフレームを予測し（ユーザ
ーの移動方向及びスピードに依存する）、そのキーフレームをロードして、パフ
ォーマンスを向上させることもできる。完全な球体パノラマフレームを用いるエ
クイレクタンギュラー投影法の場合、必要な部分を決定するための計算式は以下
のようになる。前提として、スカラー変数は小文字、ベクトルは太字の小文字、太字の大文字
、どんな透視プレーン点（u,v）からでも、パノラマポイント（s,t）が得られる
こと、透視プレーンは、投影中心から距離ｌの位置で焦点を結ぶこととする。

【００６１】更に、透視プレーンは、所定のビュー方向で任意に回転させること、即ちヘデ
ィング、ピッチ、及びバンク（h,p,b）させることができる。透視プレーンの任意の点は、３Dベクトルで指定することができる。ｗ=<u,v,l> 回転は、標準的なベクトル行列の積で求まる。ヘディング、ピッチ、及びバン
クを求める３次元行列は下記の通りである。

【表２】上記のマトリックスを用いてベクトルｗを回転させると、以下のようにｗ’が
得られる。ｗ’＝H×P×B×ｗ最後のステップは、矩形から球座標への変換である。ベクトルｗ’の３つの成
分をそれぞれ、x、y、zと表示することとする。変換は下記のようになる。ｓ＝atan2(x,z) ｔ＝atan2(y,sqrt(x*x+z*z)) atan2(a,b)は、atan(a/b)と非常に似ている標準的なCの関数であるが、atan2
はaかbが負であるか、或いはbがゼロである場合が生じても、異なるケースとし
て正確に処理することができる点が異なることに注意されたい。

【００６２】オプションとして、ビューアーは、ロードすべき次のキーフレーム（ユーザー
の移動方向及びスピードに依存する）を予測して、パフォーマンスの向上のため
にこの予測したキーフレームを予めロードすることもできる。

【００６３】キーフレームとユーザーが取り得る位置との比率は、一対一であるため、フレ
ームレートとユーザーのスピードとの間には正確な相関関係が存在する。現在、
ユーザーが環境中を移動している最中である場合、表示される各キーフレームは
新しいキーフレームである。従って、フレームレートが高速になればなるほど、
ユーザーの移動速度も速くなる。だからこそ、ユーザーが移動中のフレームレー
トは上限値を定めて、ユーザーの移動速度が速すぎる場合の問題を取り除いてや
る訳である。スムーズな運動を保つためには、フレームレートを標準的なビデオ
のフレームレート（１５フレーム／秒）未満にはしないことである。また、キー
フレームの相対間隔を保持して、扱い易い距離にするためには、フレームレート
を増加させないことである、即ち、フレームレートを高速にすればするほど、キ
ーフレームを近づけて、ユーザーの移動速度を同じにしなければならない。オプ
ションとして、ビューアーは、環境中もユーザーの移動速度を速くするためにキ
ーフレームをコマ落ちさせることもできる。キーフレームをコマ落ちさせればさ
せるほど、ユーザーは速く移動する。即ち、キーフレームをコマ落ちさせない場
合、（所定の一定のフレームレートにおいて）ユーザーはできる限り遅いレート
で移動する。

【００６４】システムは、分岐のために、パノラマムービーのセグメントをリンクすること
ができる。従って、ユーザーが選択した過程が次に表示される。複数の線形（１
次元）のパノラマムービーをリンクし、一緒にして、パノラマムービーの「グラ
フ(graph)」を生成することができる（付録Bを参照されたい）。各パノラマムー
ビーに対して、１つのセグメントの最終フレームを、次のパノラマムービーの先
頭フレームに連結させることができる。この連結（個別のパノラマムービーを繋
ぐこと）が、グラフの形の基である。繋ぎ目をスムーズに処理するためには、「
最初」のパノラマムービーの「最終」フレームを「次」のパノラマムービーの「
先頭」フレームと同じにする必要がある。更に、位置の正確を期すためには、連
結するフレームの相対的なビュー方向を知らなければならない。例えば、「最初
」のパノラマムービーの「最終」フレームが「北」を向いていて、「次」のパノ
ラマムービーの「先頭」フレームが「東」を向いている場合、観察用ソフトウェ
アは、この方向の変化に敏速に対応しなければならない。この情報なしでは、２
つのパノラマムービーの間の繋ぎ目で、９０度の「不規則」な運動がおきてしま
う。全てのこのグラフ情報を、テキスト或いはバイナリ形式で別のファイルに格
納することができる。

【００６５】パノラマムービーの各フレームに関連する音声情報は、パノラマムービーの観
察者がスクリーン上に表示される多数の調整ボタンを持つことを考慮しなければ
ならない。分岐点を選択する機能に加えて、ユーザーは、ビュー方向を変えたり
、停止して拡大したりすることを選択することができる。各キーフレームに関連
する音声情報は、この柔軟性に適応しなければならない。

【００６６】図１１に示すように、各キーフレームと共に格納されている音声情報は、A、B
、C、D、Eと称する５つの音声トラック及び制御情報を含むものである。図１１
では、８つのキーフレームFa〜Fiが示されているが、各キーフレームは、関連す
る５つの音声トラック及び制御フィールドを持つ。音声トラックAは、パノラマ
ムービーを順方向で、通常方向、及び、通常レートの３０フレーム／秒で移動し
た場合に再生されるトラックである。音声トラックＢは、パノラマムービーを逆
回転で表示した場合に再生されるトラックである。音声トラックCは、パノラマ
ムービーを順方向で、半分のスピードで表示した場合に再生されるトラックであ
る。音声トラックDは、パノラマムービーを逆回転で、半分のスピードで表示し
た場合に再生されるトラックである。最後に、音声トラックEは、パノラマムー
ビーを１つのフレームで停止させた場合に、繰り返し再生されるトラックである
。もちろん、音声トラックとしては、色々な状況に対応するため、その他の変形
を追加することができる。例えば、トラックで、その他の音声トラックや音声フ
ァイルを指示することもできる。

【００６７】各フレームと共に記録されている制御情報は、ある特殊効果を制御する。例え
ば、あるフレーム上の制御情報は、ユーザーがある特定のフレーム上でムービー
の再生を停止したとしても、その後のフレームの音声トラックの再生を続行する
ようプログラムに指示することができる。各フレーム上の音声トラックを再生す
るとき、当該フレーム上の制御情報を検査して、次にすべきことを決定する。あ
る特定の時間にどんな音声を再生するかは、観察される特定のフレームの制御情
報と、当該時間に観察者がとる動作との組み合わせに基づいて決定する。プログ
ラミングの観点からは、対応するフレームのビューウィンドウを解凍し、読み出
すときに、各フレームに関連するコマンドを解凍し、読み出す。ある特定のビュ
ーウィンドウを表示するとき（或いは、その表示の若干前）、制御フィールド内
に格納されたコマンドを読み出し、実行する。その結果、当該ビューウィンドウ
を表示するときに、適切な音声を解凍し、再生することができる。

【００６８】例えば、制御情報は、以下のタイプのコマンドを提供する。ユーザーが、パノラマムービーを当該フレームで停止した場合、音声トラック
の再生を停止するコマンド（標準設定）。このコマンドが設定されていない場合
、当該音声トラックの再生を当該トラックが終了するまで同じ方向で続行。ユーザーがパノラマムービーを順方向で観察している場合、当該音声トラック
の再生を開始或いは続行するコマンド（標準設定）。ユーザーがパノラマムービーを逆方向で観察している場合、当該音声トラック
の再生を逆方向で開始或いは続行するコマンド（再生される同じ音声情報が逆で
ある場合、歪んで再生されることに注意されたい）。映像フレームに動きがあり、逆方向で再生しているとき、当該音声トラックを
開始するコマンド。このコマンドによって、逆方向で観察している場合に高品質
の音声を再生することができる。別のファイルストラクチャ上の音声トラックを続行するコマンド（ほとんどの
場合分岐が発生する）。このコマンドを用いて、先に再生されていた音声トラッ
クをフェードアウトさせる。全ての音声トラックを停止するコマンド。ユーザーがパノラマムービーをスロー再生している場合、当該音声トラックを
停止するコマンド。音声ファイルXを開始するコマンド（Xは、パノラマムービーとは別の通常の音
声ファイルである）。特定のパノラマムービーの監督の望みに応じて様々な種類のコマンドを実装す
ることもできる。

【００６９】音声情報は、元映像を撮影するときに同時に、或いはそれとは別に普通のレコ
ーダで録音できる。コンピュータ２１は、この音声データとキーフレームとを一
つにまとめる。この処理はフレーム毎に手動或いは自動で行うことができる。音
声とキーフレームとをひとまとめにするとき、適切な制御情報を追加する。

【００７０】添付の付録は、本発明の様々な実施態様を実現するコンピュータプログラムを
提供する。これらのプログラムは、通常のオペレーティングシステム、例えばマ
イクロソフトコーポレーション社から市販される「ウィンドウズ（登録商標）」
などで実行するように設計されている。

【００７１】付録Aに提示するプログラムは、移動のためにフレームを取り出し、既知の計
算式を用いて遠近補正を行い、ムービーの映像を順番に表示する。

【００７２】付録Bは、パノラマムービーのフレームのためのリンクコントロールファイル
の一例である。付録Cは、どのように一連の映像がパノラマムービーからリンク
されるのかを示す疑似コードである。

【００７３】本発明で使用されるデジタル技術は、より高速、より高解像度の成分が利用可
能になるように本システムを機能向上させる。例えば、本発明の実施例で使用した市販のＣＣＤセンサは、５００×５００ピク
セル／インチの解像度を有する。すぐに７５０×７５０ピクセル／インチの解像
度のＣＣＤアレイが市販され、その後には、１０００×１０００ピクセル／イン
チの解像度のＣＣＤアレイが市販されるであろう。本発明のアーキテクチャーの
おかげで、上記のようなＣＣＤアレイが利用可能になった場合には、現ＣＣＤア
レイを、より高解像度のアレイに置き換えることは非常に容易である。

【００７４】本明細書では、本発明の本質やその範囲から離れることなく広く幾多の変形実
施が可能である。例えば、レンズ４１ａ〜４１ｆのキャプチャーレート（即ちフ
レームレート）と関連するＣＣＤアレイは、全てを同じフレームレートに設定す
る必要はない。例えば、レンズ４１ｆからのビューが速く変化しない場合は、他
のレンズが３０フレーム／秒のフレームレートに設定されていても、レンズ４１
ｆは非常に遅いフレームレート（例えば１フレーム／秒）に設定することができ
る。各レンズのフレームレートは組み込み型コントローラー４８によって制御す
る。これを実現するために、組込み型コントローラー４８は、コンピュータ２０
からのコマンドに応答して各レンズのフレームレートを独立して制御する。

【００７５】本明細書ではパノラマムービーを生成する実施例を説明してきたが、本発明の
デジタルカメラを使用して個別のデジタルイメージ（画像）を撮影できるものを
理解すべきである。例えば、特定のシーンのパノラマビューに興味がある場合、
組込み型コンピュータは、各レンズに６つの同時のイメージを撮影するよう指示
を出す。６つのイメージは、その後、シーミング処理され１つのパノラマになる
。

【００７６】その他の実施例では、特定のビューウィンドウ用に必要なフレーム部分のみを
解凍する代わりに、十分なコンピュータ計算能力が可能であるならば、フレーム
全部を解凍し、ビューウィンドウに必要な部分のみを表示することもできる。十
分なコンピュータ演算能力と伝送帯域幅とが利用可能である場合は、撮影ユニッ
トに圧縮チップを設けなくても良い。

【００７７】さらにその他の実施例では、全てのユニット間、或いは、その一部のユニット
間の接続部に、本明細書の好適実施例で使用した技術のみならず無線技術を使用
することも可能である。本実施例では、イメージを撮像するのに図示したように
ＣＣＤ技術を使用したが、撮像技術はその他のものを代わりに使用することもで
きる。本実施例で図示したように、２つのレートのみが選択可能なものとして挙
げたが、その他の実施例として、異なる或いはさらに多いフレームレートを使用
することが可能である。

【００７８】１９９９年５月１２出願の同時継続出願第09/310,715号の明細書および図面の
全体を参照によって本願に包含させるものとする。

【００７９】本明細書では、様々な実施態様で本発明を説明してきたが、本発明の本質やそ
の範囲から離れることなく、細部や構成を変更することができるものと理解すべ
きである。本出願人の発明は、請求の範囲によってのみ限定されるものである。

【００８０】付録A：フレーム取り出し用コード（FRAME RETRIEVAL CODE） #include “windows.h” #include “mmsystem.h” #include “vfw.h” #include “vfw_spec.h” #define S_BMIH sizeof(BITMAPINFOHEADER) //Externally declared (and allocated) valiables extern UINT currentFrameNumber; // Current Pan Movie file frame number (user position) extern HANDLE hFile; // Open file handle of Pan Movie file extern HIC hic; // Open IC handle (installed compressor) extern DWORD *Index; // Pan Movie Frame Index (read from file at load time) extern LPBITMAPINFOHEADER viewFrame; // Buffer large enough to hold image the size of the display window extern LPBITMAPINFOHEADER panFrame; // Buffer large enough to hold largest uncompressed frame extern LPBITMAPINFOHEADER compressedFrame; // Buffer large enough to hold largest compressed frame // Function prototypes extern void ViewToPan(int viewWidth,int viewHeight,int panWidth,int panHeight,float heading,float pitch,float bank,float zoom,POINT *point);
static LPBITMAPINFOHEADER RetrievePanFrame(int frameNumber,RECT *viewRect); // //This function generates a perspectively correct bitmap image given a
user view orientation and travel speed // static LPBITMAPINFOHEADER RetrieveViewFrame(float userHeading,float userPitch,float userBank,float userZoom,int userTravelSpeed) { // Determine Decode BoundingBox POINT point; RECT localDecompressionRect; // Upper left corner of viewFrame point.x = 0; point.y = 0; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHei ght,userHeading,userPitch,userBank,userZoom,&point); localDecompressionRect.top = point.y; localDecompressionRect.left = point.x; // Upper right corner of viewFrame point.x = viewFrame->biWidth-1; point.y = 0; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHei ght, userHeading, userPitch,userBank,userZoom,&point); localDecompressionRect.top = min(localDecompressionRect.t
op,point.y); localDecompressionRect.right = point.x; //Lower left corner of viewFrame point.x=0; point.y=viewFrame->biHeight-1; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHeight, userHeading,userPitch,userBank,userZoom,&point); localDecompressionRect.bottom=point.y; localDecompressionRect.left = min(localDecompressionRect.left,point.x) //Lower right corner of viewFrame point.x=viewFrame->biWidth-1; point.y=viewFrame->biHeight-1; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHeight,userHeading,userPitch,userBank,userZoom,&point); localDecompressionRect.bottom= max(localDecompressionRect.bottom,point.y); localDecompressionRect.right = max(localDecompressionRect.right,point.x); // Get Pan Frame (or"userDecompressionRect" portion thereof) currentFrameNumber += userTravelSpeed; // userTravelSpeed is nega
tive if traveling backwards LPBITMAPINFOHEADER pFrame = RetrievePanFrame(currentFrameNumber,&localDecompressionRect); if(pFrame == NULL){ currentFrameNubmer -= userTravelSpeed; return NULL; } // A very slow warping routine (assumes 24-bit pixels) LPBYTE srcPixels =((LPBYTE)pFrame) + S_BMIH; LPBYTE dstPixels =((LPBYTE)viewFrame) + S_BMIH; for(int y = 0; y<viewFrame->biHeight;y++){ for(int x = 0; x<viewFrame->biHeight;x++){ point.y=y; point.x=x; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,pFrame->biWidth,pFrame-
>biHeight,userHeading,userPitch,userBank,userZoom,&point); memcpy(&dstPixels[3*(x+ y*viewFrame->biWidth)],&srcPixels[3*(point.x +point.y*pFrame->biWidth)],3); // supports 24-Bit Pixels only } } retum viewFrame; } // // This function reads and decompresses a Pan Frame bitmap image from a
Pan Movie file // static LPBITMAPINFOHEADER RetrievePanFrame(int frameNumber, RECT *viewRect) { DWORD d; UINT frameSize=Index[frameNumber+1]-Index[frameNumber] // Set the file pointer to the start of the requested frame and r
ead in the bitmap header SetFilePointer(hFile, Index[frameNumber],NULL,FILE_BEGIN); ReadFile(hFile,panFrame,S_BMIH,&d,NULL); if(panFrame->biCompression == 0) { // Uncompressed frame (read rest of frame and return) ReadFile(hFile,((BYTE*)panFrame)+S_BMIH,frameSize-S_BMIH,&
d,NULL); return panFrame; } // Read the remainder of the compressed frame *compressedFrame = *panFrame; ReadFile(hFile,((BYTE*)compressedFrame)+S_BMIH,frameSize-S_BMIH,&d,NULL)
; // Set up decompressed bitmap header panFrame->biCompression = 0; panFrame->biSizeImage = 0; panFrame->biBitCount = 24; panFrame->biCIrUsed = 0; LPBITMAPINFOHEADER biSrc = compressedFrame; LPBITMAPINFOHEADER biDst = panFrame; LPBYTE srcPixels = (BYTE*)biSrc + S_BMIH; LPBYTE dstPixels = (BYTE*)biDst + S_BMIH; // if the frame is compressed with Intel Indeo 4 and a local rect
was requested, then perform local decompression if(viewRect && biSrc->biCompression == mmioFOURCC('i','v','4','1'
)) { // Intel Indeo 4.1 R4_DEC_FRAME_DATA StateInfo; memset(&StateInfo,0,sizeof(R4_DEC_FRAME_DATA)); StateInfo.dwSize = sizeof(R4_DEC_FRAME_D
ATA); StateInfo.dwFourCC = biSrc->biCompression; StateInfo.dwVersion =SPECIFIC_INTERFACE_VERSION; StateInfo.mtType = MT_DECODE_FRAME_VALUE
; StateInfo.oeEnvironment = OE_32; SatteInfo.dwFlags = DECFRAME_VALID | DECFRAME_DECODE_RECT; StateInfo.rDecodeRect.dwX = min(viewRect->left,viewRect
->right); StateInfo.rDecodeRect.dwY = min(viewRect->top,viewRect-
>bottom); StateInfo.rDecodeRect.dwWidth = abs((viewRect->right-viewRect->left))+1; StateInfo.rDecodeRect.dwHeight= abs((viewRect->bottom-viewRect->top))+1; ICSetState(hic,&StateInfo,sizeof(R4_DEC_FRAME_DATA)); if(ICDecompressEx(hic,0,biSrc,srcPixels,0,0,biSrc->biWidth,biSrc->biHeig
ht,biDst,dstPixels,0, 0,biDst->biWidth,biDst->biHeight) != ICERR_OK) return NULL; } else { // Decompress entire frame if(ICDecompressEx(hic,0,biSrc,srcPixels,0,0,biSrc->biWidth,biSrc->biHeig
ht,biDst,dstPixels,0, 0,biDst->biWidth,biDst->biHeight) != ICERR_OK ) return NULL; } return panFrame; } （コピーライト） Infinite Pictures 1998

【００８１】付録B：サンプルパノラマムービーリンクコントロール・ファイル ←------------------ -----------------------→ ← C │ B→ │ │ │ │A │ │ [Segment-A (start)] File= “A.pan” North= 0 [Segment-A (end)] File= “A.pan” North= 0 Link 90= “Segment-B(start)” Link270= “Segment-C(start)” [Segment-B(start)] File= "B.pan" North= 90 Link90= "Segment-A(end)" Link180= "Segment-C(start)" [Segment-B(end)] File= "B.pan" North= 90 [Segment-C(start)] File= "C.pan" North= 270 Link270= "Segment-A(end)" Link180= "Segment-B(start)" [Segment-C(end)] File= "C.pan" North= 270 (コピーライト) Infinite Pictures 1998 付録Ｃ擬似コード FOR LINKED PAN MOVIES (VIA CONTROL FILE) GLOBAL FILE controlFile // Control file GLOBAL STRING currentSegment // The name of the current pan movie segment GLOBAL INTEGER currentFrameNumber // The current frame number of the current Pan Movie GLOBAL INTEGER currentHeading // The current user view horizontal
pan orientation // // This function will read the control file and determine which linked
segment is closest // to the current user heading orientation // It will also determine the new frame number of the new segment // BOOLEAN RetrieveLink() { INTEGER minAngle STRING nextSegment if currentFrameNumber == 0 currentSegment = currentSegment + (start) else currentSegment = currentSegment + (end) if no links in section currentSegment of controlFile return FALSE minAngle = link angle closest to currentHeading nextSegment = GetString(minAngle) if AngleDifference(currentHeading,MinAngle) > 45 degrees return FALSE; INTEGER nextNorth = GetNorth(nextSegment) INTEGER currentNorth = GetNorth (currentSegment) currentHeading = currentHeading + (nextNorth - currentNorth
) currentSegment = nextSegment if stringFind(currentSegment,”(end)”) currentFrameNumber = -1 else currentFrameNumber = 0 return TRUE }

【図面の簡単な説明】

【図１Ａ】イメージ入力装置と制御コンピュータを含むシステムの概略図であ
る。

【図１Ｂ】イメージ入力装置の平面図である。

【図２】イメージ入力装置の回路の電気的なブロック図である。

【図３Ａ】ユーザが如何にして制御データを入力するのかを示す表示画面の図
である。

【図３Ｂ】制御コンピュータによって実行される処理のプログラムフローチャ
ートである。

【図４Ａ】ビューウィンドウと関連付けられた音声トラックとが付いたキーフ
レーム（即ち、パノラマイメージ）を示す図である。

【図４Ｂ】好適実施例の主要コンポーネントを示すブロック図である。

【図５Ａ】図４Ｂに示したシステムの様々なコンポーネントによって実施され
る一連の処理を示す図である。

【図５Ｂ】図４Ｂに示したシステムの様々なコンポーネントによって実施され
る一連の処理を示す図である。

【図５Ｃ】図４Ｂに示したシステムの様々なコンポーネントによって実施され
る一連の処理を示す図である。

【図５Ｄ】図４Ｂに示したシステムの様々なコンポーネントによって実施され
る一連の処理を示す図である。

【図５Ｅ】図４Ｂに示したシステムの様々なコンポーネントによって実施され
る一連の処理を示す図である。

【図６Ａ】パノラマムービーを構成する一連のフレームを示す図である。

【図６Ｂ】パノラマムービーのフレームに関連付けられた音声トラックを示す
図である。

【図７】一連の圧縮されたキーフレームとキーフレームの再生を順序付けるフ
ァイルインデックスとして格納された一連のパノラマから成るパノラマムービー
を収容するファイルを示す図である。

【図８】パノラマムービーにホットスポットを挿入するプログラムのブロック
図である。

【図９Ａ】３Ｄパノラマムービーを再生するシステムのブロック図である。

【図９Ｂ】リアルタイムビューイング（閲覧）ユニットのブロック図である。

【図１０】本発明による一連のパノラマを含む３Ｄムービーを閲覧するプログ
ラムのフローチャートである。

【図１１】各キーフレームに関連付けられた音声情報やその他の制御情報とを
説明する図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者マイケルシーパークアメリカ合衆国オレゴン州 97223 ポートランドサウスウェストヴァーモントコート 7000 ナンバー102 (72)発明者デヴィッドシーリプリーアメリカ合衆国オレゴン州 97229 ポートランドノースウェストベンフィールドドライヴ 1546 Ｆターム(参考） 2H059 BA11 5C022 AA00 AB03 AB20 AB61 AC26 AC42 AC52 AC72 【要約の続き】

Claims

【特許請求の範囲】

【請求項１】デジタルイメージ撮影システムであって、ノンインターレースプログレッシブスキャンを使用して重なり合う複数のデジ
タルイメージを同時に撮影するデジタルイメージ撮影ユニットと、制御コンピュータと、前記デジタルイメージ撮影ユニットからのデジタルイメージを前記制御コンピ
ュータへ伝送することを可能にし、および、前記制御コンピュータが制御信号を
前記デジタルイメージ撮影ユニットへ送信できるようにする、前記制御コンピュ
ータとデジタルイメージ撮影ユニットとの間にあるデータ撮影リンクおよび制御
リンクと、を含むシステム。
【請求項２】請求項１に記載のデジタルイメージ撮影システムにおいて、前記デジタルイメージ撮影ユニットが、立方体の６つの面に配置された６つの
レンズを含み、前記デジタルイメージ撮影ユニットが、空間の立方体表現で固有的に撮影する
、ことを特徴とするシステム。
【請求項３】請求項１に記載のデジタルイメージ撮影システムにおいて、前記制御ユニットが、前記デジタルイメージを格納するデジタル記憶装置を含
む、ことを特徴とするシステム。
【請求項４】デジタルイメージ撮影システムであって、デジタルイメージ撮影ユニットと、制御コンピュータとを含み、前記デジタルイメージ撮影ユニットが、異なる方向に向けられた複数のレンズ
と、前記レンズの各々と関連付けられたイメージセンサと、前記イメージセンサ
の出力を圧縮するイメージ圧縮回路と、前記イメージセンサを制御してプログレ
ッシブスキャンイメージを撮影する組み込み型コントローラと、を含み、前記制御コンピュータが、ユーザ入力手段と、前記制御コンピュータと前記組
み込み型コントローラとの間にあって、前記ユーザ入力を前記組み込み型コント
ローラへ伝送する接続部と、を含む、ことを特徴とするシステム。
【請求項５】請求項４に記載のデジタルイメージ撮影システムにおいて、前記イメージセンサは、ＣＣＤ（電荷結合素子）である、ことを特徴とするシステム。
【請求項６】請求項４に記載のデジタルイメージ撮影システムにおいて、前記レンズが、立方体の面に配置されている、ことを特徴とするシステム。
【請求項７】請求項６に記載のデジタルイメージ撮影システムにおいて、前記立方体の各面にレンズがある、ことを特徴とするシステム。
【請求項８】請求項４に記載のデジタルイメージ撮影システムにおいて、前記イメージ圧縮回路はＪＰＥＧ圧縮回路である、ことを特徴とするシステム。
【請求項９】請求項８に記載のデジタルイメージ撮影システムにおいて、前記ＪＰＥＧ圧縮によって適用される圧縮量を制御することができる、ことを特徴とするシステム。
【請求項１０】請求項４に記載のデジタルイメージ撮影システムにおいて、前記イメージセンサの各々と関連付けられた前記圧縮回路との間にあるＦＩＦ
Ｏ（先入れ先出し）メモリ、を含むことを特徴とするシステム。
【請求項１１】請求項４に記載のデジタルイメージ撮影システムにおいて、高速シリアルバスが、前記イメージ撮影ユニットと前記制御コンピュータとを
接続している、ことを特徴とするシステム。
【請求項１２】請求項６に記載のデジタルイメージ撮影システムにおいて、前記レンズの各々が、１２０度の視野角を有する、ことを特徴とするシステム。
【請求項１３】請求項１１に記載のデジタルイメージ撮影システムにおいて、前記圧縮回路と前記高速シリアルバスとの間にあるＦＩＦＯメモリを含むこと
、ことを特徴とするシステム。
【請求項１４】イメージ撮影システムにおいて、制御コンピュータに接続された第１のユニットを含み、前記第１のユニットが、視野角が重なり合う、かつ、直交方向に向けられた複数のレンズと、前記レンズの各々によって投影されたイメージを感知する各レンズに関連づけ
られたセンサーと、前記センサーの各々からの前記イメージを圧縮する圧縮回路と、および、ユーザ入力を受信し、前記センサーと前記圧縮回路とを制御する制御
コンピュータとを含む、ことを特徴とするシステム。
【請求項１５】請求項１４に記載のイメージ撮影システムにおいて、前記ユーザー入力が、フレームレート、シャッター制御、ゲインレベル、およ
び、圧縮率を含む、ことを特徴とするシステム。