JP2002544742A - デジタルイメージ撮影システム - Google Patents
デジタルイメージ撮影システムInfo
- Publication number
- JP2002544742A JP2002544742A JP2000618861A JP2000618861A JP2002544742A JP 2002544742 A JP2002544742 A JP 2002544742A JP 2000618861 A JP2000618861 A JP 2000618861A JP 2000618861 A JP2000618861 A JP 2000618861A JP 2002544742 A JP2002544742 A JP 2002544742A
- Authority
- JP
- Japan
- Prior art keywords
- control computer
- digital image
- frame
- image
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
タル撮影および記録システムに関するものである。
作権者は、特許庁のファイルや記録のような本特許文献やその開示を何人でも複
製することに依存はない。それ以外の場合は、著作権者はいかなる場合でも全て
の著作権を保持することに留意されたい。
メージは、球体全体に至るまで、即ち、水平方向で360度、垂直方向で180
度までの視野を持つことができる。
。或いは、パノラマイメージは、写真のように撮影された多数のイメージを一緒
に継ぎ目無く合成することによって生成され得る。継ぎ目無く合成され、パノラ
マを形成すべきイメージの数は、合成、即ち結合されるイメージの各々の視野に
よって決定される。例えば、魚眼レンズは、極めて広視野で撮影でき、わずか二
枚のこのようなイメージを継ぎ目無く合成して、その結果球面パノラマを形成す
ることができる。
ンピュータプログラムが、市販されている。例えば、米国特許第5023925号およ
び5703604号には、イメージを撮影してこれらのイメージを継ぎ目なく合成して
パノラマを形成し、このパノラマイメージの一部の選択された部分を閲覧するシ
ステムが記述されている。ドデカ(Dodeca)L.L.C.社(オレゴン州、ポートラン
ドに所在)は、複眼レンズカメラを使用してイメージを撮影するシステムを市販
している。ドデカ社のシステムでは、イメージは、従来のNTSCビデオ標準を
使用してビデオテープに録画される。
連のパノラマイメージを作成して、3次元空間を通じての運動をシミュレーショ
ンするパノラマムービー即ちパノラマ映画に変換することができるかが記述され
ている。パノラマムービーを作成するためには、イメージを撮影し、記録し、継
ぎ目無く繋ぎあわせる、即ち合成させなければならない。従来の撮影、格納シス
テムは、従来のNTSCビデオフォーマットを使用して撮影・格納されたイメー
ジであって、継ぎ目無く合成してパノラマに変換するのに適した一連のイメージ
を撮影する。アナログNTSCフォーマット信号は、その後、デジタル信号に変
換される。
。インターレースのNTSCフォーマットを使用してイメージが撮影、格納され
た場合、シーミング、即ち、継ぎ目無く合成する前に、インターレースを除去し
なければならない。この除去は様々な技法を利用して為される。例えば、イメー
ジが、1秒あたり60のインターレースで撮影された場合、交互の即ち1つおき
ごとのフィールドを無視することができ、結果として、1秒あたり30のノンイ
ンターレースのデジタルイメージになる。或いは、それぞれの2つの隣接するイ
ンターレースのフィールドを結合して、1つのノンインターレースのデジタルイ
メージに変換することができる。しかしながら、どのようにインターレースを除
去するかにには関係なく、データが喪失する、或いは、所望しないフレーム間の
アーチファクト(即ち人工的なゴミ)が生成され、結果として生じるノンインタ
ーレースのイメージに変換する。
して元イメージを撮影・格納することによるNTSCフォーマットによってもた
らされる問題を除去する。本発明は、デジタルプログレッシブフレーム技術を利
用してイメージを最初に撮影するため、本発明を用いて撮影・記録されたイメー
ジから作成された一連のパノラマを、忠実に多次元空間の高速運動を描写するパ
ノラマムービーとして表示することができる。
ラマを描写、即ち表現するのに特に有効な技法である。即ち、正確に球面パノラ
マの全体を表現する6つのイメージを記録することは、特に、このようなパノラ
マを格納するのに要するメモリ量に関して効果的である。本発明は、立方体表現
固有の記録効率の利点を本質的、即ち固有的に有するイメージ撮影システムを提
供する。
ターレース(non-interleaved))技法を使用して、パノラマイメージを撮影・
格納するデジタルシステムを提供する。本システムは、デジタルイメージ入力装
置、および、関連付けられた即ち付属する制御コンピュータを含む。イメージ撮
影装置はデジタル式であるため、制御コンピュータのソフトウェアによって容易
かつ柔軟に制御することができる。イメージ入力装置は。立方体の6面に配置さ
れた6つのレンズを有する。イメージ入力システムはその他のレンズ構成を取る
こともできるが、球面パノラマを撮影するのに使用されるシステム用には、立方
体構成では6つのレンズの使用が最適である。6つのレンズは、6つのCCD(
電荷結合素子)上に異なるイメージの焦点を合わせる。また、イメージ入力装置
は、埋め込み式、即ち組み込み型コントローラーとデータ圧縮回路とをも含む。
この組み込み型コントローラーは、CCDの露光時間(即ち、効果的なアパーチ
ャー(絞り)、効果的なシャッター速度)を制御し、CCDからイメージデータ
を読み取る。CCDから読み取られたイメージデータは、圧縮され、多重化され
、そして制御コンピュータへ送出される。制御コンピュータは、フレームでイメ
ージを格納し、各フレームは、6つのレンズの各々からの1つのイメージを有す
る。各フレームは、同時に記録された6つのイメージを含み、さらに、音声トラ
ック、テキスト情報、或いは、GPS(全地球即位システム)データや人工水平
器データなどの何らかの関連付けられた情報を含む。制御コンピュータは、ユー
ザが、フレームレート、圧縮率、ゲインなどの制御情報を入力することを可能に
するユーザインターフェイスを含む。制御コンピュータは、制御情報を組み込み
型コントローラーに送信し、この組み込み型コントローラーは、順番に、複数の
CCDおよび圧縮回路を制御する。イメージを制御コンピュータからリアルタイ
ムビューワー(閲覧ソフト)へ送信することができ、その結果、ユーザは、正確
なイメージが撮影されつつあるか否かを判断することができる。制御コンピュー
タで格納されたイメージは、後で、継ぎ目無く合成され、パノラマに変換され、
そして、パノラマムービーへと変換される。
ブコレクション(遠近補正)を行なうコンピュータプログラムコードを印刷した
ものである。 付録Bは、パノラマムービーのリンク制御ファイルのサンプルである。 付録Cは、一連のイメージをリンクしてパノラマムービーの変換するコンピュ
ータ疑似コードである。
があり、これはケーブル10cによって制御コンピュータ20と接続されている
。イメージ撮影装置10は、立方体の形をした構造体10aの6面に配置された
6つのレンズ41a〜41fを有する。図1Bは、イメージ撮影装置10の平面
図であり、レンズ41a〜41fのうちの図1Aで見えないレンズが幾つかある
ことを示す。立方体10aは、ハンドル10bの最上部に装着される。
示す。6つのCCD装置43a〜43fが設けられており、1つのCCD装置に
レンズ41a〜41fの各々が関連付けられている。各レンズ41は、関連付け
られたCCD装置43上にイメージを投影する。各レンズ41は、135度の視
野を有する。従って、様々なイメージがある程度重なり合い、イメージを継ぎ目
無く合成して死角の無い完全なパノラマへ変換できることを保証する。レンズの
視野は、記憶領域を不必要に使用するような過大な重なり合いをもたらすことな
く効率的に継ぎ目無く合成するために、十分に重なり合うように選択される。
O(先入れ先出し)バッファーメモリ装置45へと送られる。CCDアレイ43
によって撮影されたイメージは、プログレッシブスキャンの形式、即ち、ノンイ
ンターレースである。2つのレンズごとに、1つのJPEG圧縮チップ46が設
けられる。例えば、FIFO45aとFIFO45bとの出力は、圧縮チップ4
6hへ行く。圧縮チップ46の出力は、FIFOバッファーメモリ47へ行き、
その後、コンピュータバス10cへ送られる。
れるコンポーネント即ち構成要素と同様のものである。JPEG圧縮チップ44
、ADコンバータ44、FIFOメモリ45と47、および、組み込み型コント
ローラ48も、市販されているコンポーネントである。例えば、このようなコン
ポーネントは、ゾラン(Zoran)コーポレーション社やアトメル(Atmel)コーポ
レーション社などの供給業者から市販されている。
を制御する。制御線が、図2中の各装置から組み込み型コントローラー48へと
接続されている。これらの制御線は、図2では破線48aで示される。説明の便
宜上および明確化のために1つの破線48aのみを図2に示してあるが、破線4
8は、コントローラー48から各コンポーネントまでの制御線を表わすものと理
解すべきである。さらに詳細には、破線48aは、制御線とタイミング信号線と
を示すものである。
コンピュータ20からリアルタイムビューワ30(これについては後述する))
への接続部材は、「ホットリンク(HOTlink)」シリアルバスである。このような
接続部材は、サイプレス(Cypress)コーポレーション社、或いは、ブルブロー
(Burr-Brow)カンパニー社の一部門であるデータフォースコーポレーション社
から市販されている。或いは、その他のタイプの高速接続部材を使用することも
できる。例えば、接続部材は、スタンダードSCSI接続を使用しても良い。図
2により詳細に示すように、イメージ撮影ユニット10と制御コンピュータ20
との間の続部材10cは、イメージデータを伝送するホットリンクバス48cと
、制御情報を伝送する従来のシリアルバス48bとを有する。
ステムを搭載した従来のパーソナルコンピュータである。ワシントン州レッドモ
ンドのマイクロソフトコーポレーション社は、このウィンドウズNT(登録商標
)オペレーティングシステムを市販している。アプリケーションプログラムは、
ユーザからの入力を受け取り、制御信号を制御コンピュータ20からイメージ撮
影装置10へと送信する。これらの信号を、別個のシリアルバス48bで送信す
ることもできる。
レームレートは、速い動きをより良く示すが、より多くの記憶領域を消費する。
2)シャッター制御: シャッター制御は、自動或いは手動にすることができる。自動モードでは、シ
ャッター設定は、全てのCCDアレイの明るさのレベルを検知して平均設定を算
出するか、或いは、1つのCCDアレイを選択して当該レンズの明るさに基づき
全ての他のものを設定するかによって設定することができる。 従って、許容される設定は下記のようになる。 自動:全てのセンサで平均化 自動:前面センサ制御 自動:右面センサ制御 自動:左面センサ制御 自動:背面センサ制御 自動;上面センサ制御 自動:底面センサ制御 手動:1/10000秒 手動:1/4000秒 手動:1/2000秒 手動:1/1000秒 手動:1/500秒 手動:1/250秒 手動:1/125秒 手動:1/60秒 手動:1/30秒 3)ゲインレベル: 所望であれば、入力信号を増幅してイメージのコントラストを増大させること
ができる。可能な設定は、通常と増大である。 4)圧縮率: 圧縮チップ46は、信号を、異なる量で圧縮することができる。より低い圧縮
率では、生じるイメージの品質はより良いものとなるが、より多くの記憶領域を
必要とする。可能な設定は、最小、低、中、高、および最大である。
設定させることを可能にする画面を示すものである。各パラメータは、ユーザが
適切な設定を選択して入力するのを可能にするドロップダウンメニューを有する
。このようなドロップダウンメニューは、従来からあるものである。図3Aに示
した画面の右側には、オペレータがシステムの操作を制御することができるよう
にする幾つかの追加「ボタン」がある。画面の下部にはバーがあり、このバーは
どのくらいディスクスペースが使用されたかを表わす表示と、システムのスルー
プット(処理性能)のレートがどのくらいかを表わす表示とを示すものである。
このようなバーは、従来からあるものである。
マルチタスク環境で動作する幾つかの独立したタスクがある。本発明と関連性が
ある2つのタスクを図3Bに示す。その他のタスクを操作することもできる。タ
スクの検出および制御はブロック33で示される。
示すように)、そのデータをブロック34bで示すようにリアルタイムビューワ
へ送信することができる。ブロック34cに示すように、テキスト、音声、GP
Sデータ、或いは、制御情報などのその他のデータは、イメージに付加すること
ができる。ブロック34dに示すように、イメージおよび関連づけられたデータ
を格納することができる。テキストデータは、関連付けられたイメージが閲覧さ
れるときに表示されるただの単語や数字に過ぎない。音声データや制御情報につ
いては後述する。GPSデータは、位置およびイメージが撮影された場所を示す
データである。このようなデータは、市販されているGPS装置から自動で撮影
し得るものである。
ックする。新たな入力を受け取ったとき、適切なコマンドが生成され、組み込み
型コントローラー48へシリアルバス48bを介して送出される。コマンドの構
造、および、 コンピュータ20とコントローラー48との間のコマンド情報の転送は、従来か
らあるものである。
のパノラマイメージを取得、即ち撮影しなければならない。撮影されたパノラマ
イメージは、フレームとして格納しなければならず、それから、このフレームか
ら選択した適切なビューウィンドウを適切な順序で表示させなければならない。
を提供するものである。観覧者やユーザーは、ある特定の時間には、ある一方向
しか見ることができない。観覧者やユーザーの視点の方向は、「ビューウィンド
ウ」、即ちある特定の時間にスクリーン上に投影されるパノラマ映像の部分を決
定する。図4Aは、キーフレーム(即ちパノラマ映像)或いはパノラマ3aを示す
ものである。パノラマ3aは、これに対応するビューウィンドウ3bを有する。また
、パノラマ3aは、これに関連する幾つかの音声トラック3cも有する。ビューウィ
ンドウに表示されるものと、直線球面状のパノラマ(rectilinear spherical pa
norama)の平坦部に格納されたものとは異なることはもちろんであるが、このこ
とは図4Aにおいては説明の便宜上省略する。
撮影ユニット10は、イメージ即ち映像を撮影する。撮影されたイメージは、コ
ンピュータ20に送られ、そこに格納される。また、コンピュータ20は、イメ
ージ撮影ユニット10を制御する。所望であればこのイメージは、リアルタイム
ビューアー30で観察することもできる。このイメージは、コンピュータ20か
らオフラインのコンピュータ21へ転送される。コンピュータ21は、イメージ
をシーミング処理、即ち継ぎ目なく合成してパノラマに変換する。また、映像を
エクイレクタンギュラー(equirectangular(等長方形))フォーマットに変換
し、その他の情報を映像に追加し、パノラマを圧縮し、パノラマをリンクしてパ
ノラマムービーへと変換する。最終的には、パノラマムービーをビューアー22
で見る。
説明する。図5Aのブロック11aに示すように、カメラユニット10は、多数の
単一ビューイメージ(映像)を撮影する。ブロック11bに示すように、これら
の映像は圧縮され、コンピュータ20へ送られる。コンピュータ20は、ブロッ
ク20aに示すように、前述したようにイメージ撮影ユニット10を駆動して映
像を取り込む。それからコンピュータ20は、ブロック20bに示すように映像
を受け入れ、格納する。
のコンピュータ21は、図5Cに示した処理をするようにプログラムしてある。
初めに、ブロック20aに示すように、映像を、取り扱うことができるように解
凍する。次に、ブロック21bに示すように、単一ビュー映像を継ぎ目なく合成
しパノラマに変換し、そして、エクイレクタンギュラーフォーマットに変換する
。 受け入れた6つのイメージ即ち映像(例えば、本イメージ撮影ユニットが30サ
イクル/秒で操作されている場合、1/30秒毎(各レンズから1つづつ)に受
け取った映像)は、図5Cのステップ21bに示したように、継ぎ目なく合成さ
れ、エクイレクタンギュラーフォーマットに変換され、1つのパノラマとなる。
ポット及び音声トラックを追加する。最後に、ブロック21dに示すように映像
を解凍し、ブロック21eに示すように、インデックスファイルと共に格納する
。各パノラマを「キーフレーム」と称する。順番に投影される一連のキーフレー
ムが、パノラマムービーである。パノラマムービーが投影されつつあるとき、特
定の時点では観覧者は、各フレームのうちのビューウィンドウの中にあるものだ
けを観察することができる。
ビーを観る。ビューアー22は、一連の映像、即ち一連のキーフレームを順番に
表示する。ブロック22aに示すように、表示される各キーフレーム毎に、ビュ
ーアー22は適切なビューウィンドウを決定する。その後、ブロック22bに示
すように、ビューウィンドウに対応するキーフレームの該当部分を、解凍して表
示する。ブロック22cに示すように、該当する場合は音声の再生も行う。
0へ送出することもできる。リアルタイムビューアー30で実行される各ステッ
プを、図5Eに示す。ブロック23aに示すように、映像を受け取った後、ブロ
ック23bに示すように、映像を解凍する。最後に、ブロック23cに示すよう
に、映像を表示する。
操作は、上述した機能を実行するコンピュータプログラムによって実現されるも
のであることに注意されたい。
の各矢印は、キーフレームの1つを表わしている。ユーザー或いは観測者は、特
定の時間においては1つのキーフレームから見た一部分(即ちビューウィンドウ
)しか観ることができない。各矢印の方向は、観察方向、即ち、観察用にスクリ
ーン上に投影されるキーフレームの一部分やビューウィンドウの方向を表わして
いる。図6A中の矢印は、それぞれのキーフレームから観たある特定の「ビュー
ウィンドウ」を表わすようになっている。図6Aの文字Eで指定した部分で矢印
の方向を変化させて示すように、観察者はパノラマムービーの進行に応じて自分
が観察している方向を変化させることができる。ユーザーがパノラマを観察する
場合、図6Aの矢印で示すように、ユーザーはスクリーンの上部や下部をポイン
トすることによって、上部から下部、更に加えて水平方向まで360度に亘る位
置の映像を観測することができる。
字Bで示す部分或いはキーフレームのところへと進行する。この文字Bの地点に
おいて、ユーザーは地点Cまで進むか、地点Dまで進むかのいずれかを選択するこ
とができる。この選択は、パノラマにおいて文字Bで示された「ホットスポット
」を「クリック」することによって、或いは、その他の判定基準や動作によって
行うことができる。重要なことは、分岐点Bでは、どちらの移動経路が選択され
たかに拘わらず、ビューの方向(矢印の方向で示す)は同じままであることであ
る。当該分岐点の後の最初のフレームからのビューは、どちらの移動経路でもほ
とんど同じとなる。時間の進行及び観察者が分岐点から離れるに従い、ビューの
方向は徐々に変化する。この効果は、観察者が移動経路における分岐点に達した
場合に現れる。観察者が分岐点から1歩進んだところでは、経路を別れた観察者
の視野は、どちら側でもほとんど同じままである。
意されたい。通常、観察者が分岐点から進行する方向を選択するとき、分岐点か
ら進行する方向を向いているものである。従って、観察者は、地点Dへ向かう移
動経路を選択しないで、普通は地点Cへ進行するものである。
一連のキーフレームの最終フレームに位置させることもできる。即ち、分岐点を
一連のキーフレームの最終フレームに位置させることができる。このような分岐
点は、2つの選択可能な移動経路を有し、2つのホットスポットのうちの1つを
クリックすることによって、ユーザーは移動経路の1つを選択することができる
。或いは、一連のキーフレームの最終フレームに、明示分岐点を置くこともでき
る。このような明示分岐点では、ユーザーの介在なしでシステムによって新しい
フレームが選択されることとなる。
ームレートとユーザーの移動速度との間には、相関関係がある。ユーザーが環境
を移動中であれば、表示されるそれぞれのフレームは、新しいキーフレームであ
る。ある所定のフレーム間隔においてフレームレートが速くなればなるほど、ユ
ーザーはより高速に移動する。フレームレートを固定した場合、ユーザーの移動
速度は、キーフレームの相対的な間隔によって決定づけることができる。キーフ
レームの間隔を短くすればするほど、ユーザーの移動速度はより低速になる。例
えば、移動速度が約5マイル/時(mph)で、再生フレームレートが15フレーム
/秒(fps)である場合、個々のパノラマフレームは約6インチずつで撮影する
必要がある。以下の計算式で計算できる。 5マイル/時×63360インチ/マイル)/(3600秒/時×15フレーム/秒)=6
インチ/フレーム ムービーの表示中の場合は、フレームを幾つかコマ落しすること(例えば、フ
レームを1つおきでコマ落しする場合、移動速度は2倍になる)によって移動速
度を速くすることができる。フレームのコマ落しは、ビューアーに送るのに必要
なフレームのレートを少なくする。その結果必要な帯域幅を減少させることとな
る。
、スロー、コマ落しなどの所望の運動を得るために、個々のキーフレームの方向
を調節することもできる。具体的に他の視点が選択されない限り、キーフレーム
の方向は、パノラマ映像の中におけるユーザーのデフォルトのビュー(或いは焦
点)によって規定される。
ができる。図6Bは、各キーフレームが、1つまたは複数の関連するデジタルサ
ウンドトラックを持つことができることを示すものである。図6Bにおいて、デ
ジタルサウンドトラックは、矢印の各々に対応する点線によって示されている。
後述するが、図11に示すように、各キーフレームは関連する幾つかの異なるサ
ウンドトラックを持つことができる。
、コンピュータ21内のプログラムが実行する。一般的にシーミング処理は、様
々な個別のイメージ間において可能な限り適合する部分を見つけ出すことによっ
て、個々のイメージを結合してパノラマに変換するものである。イメージをシー
ミング処理してパノラマに変換するプロセスは既知のものである。例えば、米国
特許第5694531号は、ポリゴンをシーミング処理することによって低い平均自乗
誤差を有するパノラマに変換することについて述べている。付録Dに、カメラ2
0のレンズ41a〜41fからの6つのイメージをシーミング処理してパノラマ
に変換するコンピュータプログラムを掲げる。
像(これ以降、「パノラマ」と呼ぶ場合もある)となり、各パノラマは、パノラ
マムービーのフレームとなる。格納する前に、処理しやすいファイルサイズにす
るために、シーミング処理された映像を圧縮する。映像を圧縮するには、市販さ
れている「インデオ(Indeo)」という名前で知られる圧縮プログラムを用いる
。このインデオというプログラムはインテルコーポレーション社で開発され、そ
こから市販されている。インデオ圧縮プログラムは、非フレーム間圧縮を使用す
るモードを有する。本発明の本実施例では、インデオ圧縮プログラムの非フレー
ム間圧縮モードを用いる。フレーム間圧縮ではないため、キーフレームを、順方
向或いは逆方向へアクセスしたり観察したりすることが可能である。更にいえば
、特定のビューウィンドウに対して必要なパノラマの一部のみを解凍するので、
そのため時間や計算リソースを節約することができる。
パクトディスク(CD)などのファイルに格納する。図7に示すように各ファイ
ルには、ヘッダー及びインデックスがある。ヘッダーには、下記のような情報が
含まれる。 ファイルタイプタグ ファイルサイズ: ファイルの合計バイト数 インデックスサイズ: フレームインデックスのエントリー数 最大フレームサイズ: 圧縮されたフレームの最大のものの合計バイト数 符号化装置(コーデック): フレーム圧縮に使用した符号化装置 ファイルヘッダーの後には、フレームインデックスが入る(図7を参照されたい
)。各フレームインデックスは、図7に示す矢印のように対応するフレームの位
置を指示する。従って、このフレームインデックスの位置を得ることによって、
個々のフレームを、任意の順序で読み出すことができる。
組みは必要でない。しかしながら、本発明の実施例におけるシステムは、パノラ
マムービーのキーフレームを、順方向にも逆方向にも再生できるものである。従
って、システムは、任意の順序で順方向にも逆方向にも素早く個々のフレームの
場所を見つける必要がある。更に、システムは、1回のディスクへのアクセスの
みによってキーフレームの場所を見つけられる構成になっていることが望ましい
。ユーザーが、高速の移動速度で(移動速度を速くするために幾つかのキーフレ
ームをコマ落しする)後方へ(キーフレームのディスク記憶装置においては反対
方向へ)移動中である状況を考えてみる。キーフレームの登録簿なしでは、次の
該当のキーフレームを見つけ出しロードするためには、ディスクを「線形リバー
ス」手法によりサーチしなければならない。一方、キーフレーム登録簿がある場
合は、次のキーフレームの場所は、すぐに見つけることができ、(RAMメモリに
登録簿をロード済みの場合は)一回のディスクへのアクセスでロードすることが
できる。
岐することができる。このことは、図4Aの分岐点Bで示してある。分岐すること
によって、ユーザーはシミュレーションされている移動経路の方向を変更する。
ユーザーは視認可能である「ホットスポット」を「クリック」すること、或いは
隠れたホットスポットを駆動させることによって、変更の意思表示をする。視認
可能なホットスポットは、ビューウィンドウ上の目に見える標識などで示す。例
えば、ホットスポットは、ビューウィンドウの中の明るい赤い点で示すことがで
きる。或いは、ホットスポットは、カーソルがホットスポット上に重なったとき
にカーソルの形状を違うものに変化させることによって示すことも可能である。
はないことに注意されたい。例えば、交差点では、分岐は、全ての視認可能な経
路を提供できる訳ではない。ビューアーに示される分岐点は実際に利用し得るも
のであることが保証されたものであることに注意されたい。
るホットスポットを見つけてクリックすることは、非常に「速すぎる」ため困難
であり、即ち事実上不可能である。通常の処理では、ある特定のフレームが表示
されるのは1/30秒間だけであるため、事前に警告されることなく、ある特定
の1つのフレームを表示しているときに、ビューアーが具体的な動作を取り分岐
させることは実際非常に困難である。効果的かつユーザーフレンドリーにするた
めには、ユーザーに、まもなく表示され、ユーザーの動作を要する分岐のチャン
スを予め表示してやる必要がある。パノラマムービーのホットスポットは、比較
的多数のキーフレーム上において観察者の視覚に訴えるものでなければならない
。例えば、分岐点の30フレーム手前から(逆再生の場合は30フレーム後)ホ
ットスポットを表示させることができる。
ンピュータ21によって、ホットスポットをキーフレームに挿入し、その後、図
3Cのブロック21e及び21dに示したようにフレームを圧縮する。ホットス
ポットをパノラマムービーに挿入するには、元のパノラマ映像にホットスポット
を挿入して変更すること、或いは、ホットスポット映像を含むオーバーレイ映像
を用いることの2つの方法があることに注意されたい。オーバーレイを用いる場
合は、元の映像を投影する際に、同時にオーバーレイ映像を投影しなければなら
ない。ブロック87aに示すように、最初に、どのくらい前もってユーザーに警
告したいのかを決めておく必要がある。ホットスポットはある特定のサイズを持
つが、ホットスポットに対する動作が必要なときにホットスポットから離れて観
察した場合、それは多少小さく見えるものである。ブロック87bに示すように
、ホットスポットをパノラマムービーに挿入するためには、ホットスポットを置
く領域を決定しなければならない。一般にこの領域は、ビューにおいて、分岐が
起こる方向側になる。それから、ホットスポットをパノラマに挿入して、パノラ
マ映像を変更する。
ポットを表示させることができる。この輪郭で囲んだ領域を、少し暗色或いは明
色とすることもできる。その目的は、元の映像を見えなくすることなく、その領
域を際立たせることである。この表示方法には、その他幾多の変形が考えれれる
。
を各フレームに挿入することができる。はじめに、30フレーム中の最初のフレ
ームに小さなサイズのスポットを置き、最後に、30番目のフレームに最も大き
なスポットを置く。或いは、補間法(interpolation)を使用することもできる
。正確なサイズのホットスポットを、30フレームの最初、中間、および最後の
ために設定し、その間にあるフレームは補間法を用いて設定する。
、これらのプロセスを繰りかえす。最後に、パノラマムービーを逆方向で表示し
ている場合、分岐点が見えるように反対の方向から分岐点まで前記の過程を繰り
返す。
て手動で行うことができる。或いは、この目的のためだけに設計されたプログラ
ムを用いて、自動で変更を加えることもできる。
数のパノラマムービーを連結することもできる。隠れホットスポットは、ユーザ
ーが手動で選択する必要がないホットスポットである。隠れホットスポットの場
合は、ユーザーが隠れホットスポットを持つ特定のキーフレームに移動したとき
、ユーザーの視線は、普通、ホットスポットの方向を向いている。そしてシステ
ムは、ユーザーのホットスポットに対する暗黙の選択に基づき、ユーザーはホッ
トスポットにより導かれる方向に移動する。
図である。ビューアー22の主コンポーネントは、CDディスクリーダー80、
コンピュータ81、ディスプレイ82、キーボード84、及びマウス85である
。コンピュータ81は、キーフレームをディスク80から読み出し、ディスプレ
イ82上に各キーフレームのビューウィンドウを表示する。オペレータやユーザ
ーは、マウス85を用いてビューの方向を指示する。ビューの方向によって、コ
ンピュータ81によってディスプレイ82に表示されるビューウィンドウが決定
される。ブロック22a〜22c(図3Dに示すように)を実現するプログラム
をコンピュータ81に格納し、実行する。
て、カメラ10で撮影した映像をリアルタイムで観察するここともできる。映像
をリアルタイムでコンピュータ21からビューアー22へ転送する。転送は、ホ
ットリンクバスからホットリンクカード86aへと経由する。映像を、ホットリ
ンクカード86aからRAMメモリ86bへと転送し、それから圧縮を行う圧縮
カード86cへ転送する。映像は、圧縮カード86cからRAMメモリへ戻され
、そしてCPU86dへ送られる。CPU86dは、必要に応じて、この映像を
継ぎ目なく合成、即ちシーミング処理を行い、処理済みの映像をビデオカード8
6eに転送し、そしてビデオカード86eは映像をモニタ86f上に表示する。
ビューアー30は、通常のマウス86m及びキーボード86kを用いて制御する
。
。この図10のフローチャートで示したプログラムは、図9Aのコンピュータ8
1上で実行するものである。このプロセスは、ユーザーの入力によりブロック9
1から始まる。ユーザーは開始地点を指示する必要がある(プロセスが最初の場
合、この開始地点は、通常ムービーの一番先頭のフレームになる)。また、ユー
ザーは、再生方向、スピード、ビューの方向を指定しなければならない。ブロッ
ク92、92a、92b、92cで示すように、システムは、適切なパノラマフ
レームのデータを決定し、読み出す。ブロック96及び96aに示すように、シ
ステムは、パノラマムービーの一部分(つまり、選択されたビューウィンドウ)
、即ち、フレーム全体のうち解凍される部分を決定する。ブロック97及び97
aに示すように、映像を再投影し、透視ビューを得ることができる。ホットスポ
ットが実際のキーフレーム上に置かれずに、別のファイルに入れられている場合
、ホットスポットイメージは、前記の映像上にオーバーレイされる。最後に、ブ
ロック98に示すように、ビューウィンドウを構成する映像部分を、スクリーン
上に投影する。
に必要となるキーフレームを決定する。映像ファイル中のキーフレームの位置は
、ファイルインデックス登録簿を用いて決定する。そして、キーフレームを、順
番にRAMメモリへロードし、解凍し、表示する。パフォーマンスを向上させるた
めには、キーフレームの中のビューウィンドウ部分のみ(現在のユーザービュー
に依存する)をRAMにロードすれば良い。プログラミングを簡単にするため全て
のキーフレームをメモリにロードする場合は、キーフレームのビューウィンドウ
部分のみを解凍すれば良い。キーフレームの全部が、全体として圧縮された場合
、「部分解凍」をサポートする解凍プログラム、例えばインテル社インデオを用
いるのが効率的である。ある特定のビューを表示するのに必要なパノラマの部分
を決定するためには、透視ビュープレーン(ディスプレイウィンドウ)のコーナ
ー部の各座標をパノラマ座標に変換する。その結果得られたパノラマ座標は、必
ずしも矩形を表わすものではない。従って、これらのパノラマデータによる有界
矩形は、あるビュー方向における透視ビューを派生する。
特定のビューウィンドウに対してキーフレームの一部分のみを解凍するよう指示
する。これを行うためには、プログラムは、フレームを解凍する前に、ビデオフ
ォーウィンドウズ機能ICSetStateをCALLする必要がある。これは、例えば下記の
ようにCによってプログラミングすることができる。
、球座標に関して不連続のピクセルが存在し、また、必要な部分領域は、連続す
る複数の領域の組合わせとすることができる。完全なシリンダー/球のエクイレ
クタンギュラー投影(0度を中心として)の場合、左端のピクセルは−180度
であり、右端のピクセルは180度である。球座標では、−180度は180度
と同じである。従って、左/右ピクセルの不連続は、球座標では「ワープしてつ
ながり」連続のものとして表わされる。
を決定する計算式は、パノラマを格納するのに用いた投影図法に左右される。オ
プションとして、ビューアーはロードすべき次のキーフレームを予測し(ユーザ
ーの移動方向及びスピードに依存する)、そのキーフレームをロードして、パフ
ォーマンスを向上させることもできる。完全な球体パノラマフレームを用いるエ
クイレクタンギュラー投影法の場合、必要な部分を決定するための計算式は以下
のようになる。 前提として、スカラー変数は小文字、ベクトルは太字の小文字、太字の大文字
、どんな透視プレーン点(u,v)からでも、パノラマポイント(s,t)が得られる
こと、透視プレーンは、投影中心から距離lの位置で焦点を結ぶこととする。
ィング、ピッチ、及びバンク(h,p,b)させることができる。 透視プレーンの任意の点は、3Dベクトルで指定することができる。 w=<u,v,l> 回転は、標準的なベクトル行列の積で求まる。ヘディング、ピッチ、及びバン
クを求める3次元行列は下記の通りである。
得られる。 w’=H×P×B×w 最後のステップは、矩形から球座標への変換である。ベクトルw’の3つの成
分をそれぞれ、x、y、zと表示することとする。変換は下記のようになる。 s=atan2(x,z) t=atan2(y,sqrt(x*x+z*z)) atan2(a,b)は、atan(a/b)と非常に似ている標準的なCの関数であるが、atan2
はaかbが負であるか、或いはbがゼロである場合が生じても、異なるケースとし
て正確に処理することができる点が異なることに注意されたい。
の移動方向及びスピードに依存する)を予測して、パフォーマンスの向上のため
にこの予測したキーフレームを予めロードすることもできる。
ームレートとユーザーのスピードとの間には正確な相関関係が存在する。現在、
ユーザーが環境中を移動している最中である場合、表示される各キーフレームは
新しいキーフレームである。従って、フレームレートが高速になればなるほど、
ユーザーの移動速度も速くなる。だからこそ、ユーザーが移動中のフレームレー
トは上限値を定めて、ユーザーの移動速度が速すぎる場合の問題を取り除いてや
る訳である。スムーズな運動を保つためには、フレームレートを標準的なビデオ
のフレームレート(15フレーム/秒)未満にはしないことである。また、キー
フレームの相対間隔を保持して、扱い易い距離にするためには、フレームレート
を増加させないことである、即ち、フレームレートを高速にすればするほど、キ
ーフレームを近づけて、ユーザーの移動速度を同じにしなければならない。オプ
ションとして、ビューアーは、環境中もユーザーの移動速度を速くするためにキ
ーフレームをコマ落ちさせることもできる。キーフレームをコマ落ちさせればさ
せるほど、ユーザーは速く移動する。即ち、キーフレームをコマ落ちさせない場
合、(所定の一定のフレームレートにおいて)ユーザーはできる限り遅いレート
で移動する。
ができる。従って、ユーザーが選択した過程が次に表示される。複数の線形(1
次元)のパノラマムービーをリンクし、一緒にして、パノラマムービーの「グラ
フ(graph)」を生成することができる(付録Bを参照されたい)。各パノラマムー
ビーに対して、1つのセグメントの最終フレームを、次のパノラマムービーの先
頭フレームに連結させることができる。この連結(個別のパノラマムービーを繋
ぐこと)が、グラフの形の基である。繋ぎ目をスムーズに処理するためには、「
最初」のパノラマムービーの「最終」フレームを「次」のパノラマムービーの「
先頭」フレームと同じにする必要がある。更に、位置の正確を期すためには、連
結するフレームの相対的なビュー方向を知らなければならない。例えば、「最初
」のパノラマムービーの「最終」フレームが「北」を向いていて、「次」のパノ
ラマムービーの「先頭」フレームが「東」を向いている場合、観察用ソフトウェ
アは、この方向の変化に敏速に対応しなければならない。この情報なしでは、2
つのパノラマムービーの間の繋ぎ目で、90度の「不規則」な運動がおきてしま
う。全てのこのグラフ情報を、テキスト或いはバイナリ形式で別のファイルに格
納することができる。
察者がスクリーン上に表示される多数の調整ボタンを持つことを考慮しなければ
ならない。分岐点を選択する機能に加えて、ユーザーは、ビュー方向を変えたり
、停止して拡大したりすることを選択することができる。各キーフレームに関連
する音声情報は、この柔軟性に適応しなければならない。
、C、D、Eと称する5つの音声トラック及び制御情報を含むものである。図11
では、8つのキーフレームFa〜Fiが示されているが、各キーフレームは、関連す
る5つの音声トラック及び制御フィールドを持つ。音声トラックAは、パノラマ
ムービーを順方向で、通常方向、及び、通常レートの30フレーム/秒で移動し
た場合に再生されるトラックである。音声トラックBは、パノラマムービーを逆
回転で表示した場合に再生されるトラックである。音声トラックCは、パノラマ
ムービーを順方向で、半分のスピードで表示した場合に再生されるトラックであ
る。音声トラックDは、パノラマムービーを逆回転で、半分のスピードで表示し
た場合に再生されるトラックである。最後に、音声トラックEは、パノラマムー
ビーを1つのフレームで停止させた場合に、繰り返し再生されるトラックである
。もちろん、音声トラックとしては、色々な状況に対応するため、その他の変形
を追加することができる。例えば、トラックで、その他の音声トラックや音声フ
ァイルを指示することもできる。
ば、あるフレーム上の制御情報は、ユーザーがある特定のフレーム上でムービー
の再生を停止したとしても、その後のフレームの音声トラックの再生を続行する
ようプログラムに指示することができる。各フレーム上の音声トラックを再生す
るとき、当該フレーム上の制御情報を検査して、次にすべきことを決定する。あ
る特定の時間にどんな音声を再生するかは、観察される特定のフレームの制御情
報と、当該時間に観察者がとる動作との組み合わせに基づいて決定する。プログ
ラミングの観点からは、対応するフレームのビューウィンドウを解凍し、読み出
すときに、各フレームに関連するコマンドを解凍し、読み出す。ある特定のビュ
ーウィンドウを表示するとき(或いは、その表示の若干前)、制御フィールド内
に格納されたコマンドを読み出し、実行する。その結果、当該ビューウィンドウ
を表示するときに、適切な音声を解凍し、再生することができる。
の再生を停止するコマンド(標準設定)。このコマンドが設定されていない場合
、当該音声トラックの再生を当該トラックが終了するまで同じ方向で続行。 ユーザーがパノラマムービーを順方向で観察している場合、当該音声トラック
の再生を開始或いは続行するコマンド(標準設定)。 ユーザーがパノラマムービーを逆方向で観察している場合、当該音声トラック
の再生を逆方向で開始或いは続行するコマンド(再生される同じ音声情報が逆で
ある場合、歪んで再生されることに注意されたい)。 映像フレームに動きがあり、逆方向で再生しているとき、当該音声トラックを
開始するコマンド。このコマンドによって、逆方向で観察している場合に高品質
の音声を再生することができる。 別のファイルストラクチャ上の音声トラックを続行するコマンド(ほとんどの
場合分岐が発生する)。このコマンドを用いて、先に再生されていた音声トラッ
クをフェードアウトさせる。 全ての音声トラックを停止するコマンド。 ユーザーがパノラマムービーをスロー再生している場合、当該音声トラックを
停止するコマンド。 音声ファイルXを開始するコマンド(Xは、パノラマムービーとは別の通常の音
声ファイルである)。 特定のパノラマムービーの監督の望みに応じて様々な種類のコマンドを実装す
ることもできる。
ーダで録音できる。コンピュータ21は、この音声データとキーフレームとを一
つにまとめる。この処理はフレーム毎に手動或いは自動で行うことができる。音
声とキーフレームとをひとまとめにするとき、適切な制御情報を追加する。
提供する。これらのプログラムは、通常のオペレーティングシステム、例えばマ
イクロソフトコーポレーション社から市販される「ウィンドウズ(登録商標)」
などで実行するように設計されている。
算式を用いて遠近補正を行い、ムービーの映像を順番に表示する。
の一例である。付録Cは、どのように一連の映像がパノラマムービーからリンク
されるのかを示す疑似コードである。
能になるように本システムを機能向上させる。 例えば、本発明の実施例で使用した市販のCCDセンサは、500×500ピク
セル/インチの解像度を有する。すぐに750×750ピクセル/インチの解像
度のCCDアレイが市販され、その後には、1000×1000ピクセル/イン
チの解像度のCCDアレイが市販されるであろう。本発明のアーキテクチャーの
おかげで、上記のようなCCDアレイが利用可能になった場合には、現CCDア
レイを、より高解像度のアレイに置き換えることは非常に容易である。
施が可能である。例えば、レンズ41a〜41fのキャプチャーレート(即ちフ
レームレート)と関連するCCDアレイは、全てを同じフレームレートに設定す
る必要はない。例えば、レンズ41fからのビューが速く変化しない場合は、他
のレンズが30フレーム/秒のフレームレートに設定されていても、レンズ41
fは非常に遅いフレームレート(例えば1フレーム/秒)に設定することができ
る。各レンズのフレームレートは組み込み型コントローラー48によって制御す
る。これを実現するために、組込み型コントローラー48は、コンピュータ20
からのコマンドに応答して各レンズのフレームレートを独立して制御する。
デジタルカメラを使用して個別のデジタルイメージ(画像)を撮影できるものを
理解すべきである。例えば、特定のシーンのパノラマビューに興味がある場合、
組込み型コンピュータは、各レンズに6つの同時のイメージを撮影するよう指示
を出す。6つのイメージは、その後、シーミング処理され1つのパノラマになる
。
解凍する代わりに、十分なコンピュータ計算能力が可能であるならば、フレーム
全部を解凍し、ビューウィンドウに必要な部分のみを表示することもできる。十
分なコンピュータ演算能力と伝送帯域幅とが利用可能である場合は、撮影ユニッ
トに圧縮チップを設けなくても良い。
間の接続部に、本明細書の好適実施例で使用した技術のみならず無線技術を使用
することも可能である。本実施例では、イメージを撮像するのに図示したように
CCD技術を使用したが、撮像技術はその他のものを代わりに使用することもで
きる。本実施例で図示したように、2つのレートのみが選択可能なものとして挙
げたが、その他の実施例として、異なる或いはさらに多いフレームレートを使用
することが可能である。
全体を参照によって本願に包含させるものとする。
の範囲から離れることなく、細部や構成を変更することができるものと理解すべ
きである。本出願人の発明は、請求の範囲によってのみ限定されるものである。
static LPBITMAPINFOHEADER RetrievePanFrame(int frameNumber,RECT *viewRect); // //This function generates a perspectively correct bitmap image given a
user view orientation and travel speed // static LPBITMAPINFOHEADER RetrieveViewFrame(float userHeading,float userPitch,float userBank,float userZoom,int userTravelSpeed) { // Determine Decode BoundingBox POINT point; RECT localDecompressionRect; // Upper left corner of viewFrame point.x = 0; point.y = 0; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHei ght,userHeading,userPitch,userBank,userZoom,&point); localDecompressionRect.top = point.y; localDecompressionRect.left = point.x; // Upper right corner of viewFrame point.x = viewFrame->biWidth-1; point.y = 0; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHei ght, userHeading, userPitch,userBank,userZoom,&point); localDecompressionRect.top = min(localDecompressionRect.t
op,point.y); localDecompressionRect.right = point.x; //Lower left corner of viewFrame point.x=0; point.y=viewFrame->biHeight-1; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHeight, userHeading,userPitch,userBank,userZoom,&point); localDecompressionRect.bottom=point.y; localDecompressionRect.left = min(localDecompressionRect.left,point.x) //Lower right corner of viewFrame point.x=viewFrame->biWidth-1; point.y=viewFrame->biHeight-1; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,panFrame->biWidth,panFr
ame->biHeight,userHeading,userPitch,userBank,userZoom,&point); localDecompressionRect.bottom= max(localDecompressionRect.bottom,point.y); localDecompressionRect.right = max(localDecompressionRect.right,point.x); // Get Pan Frame (or"userDecompressionRect" portion thereof) currentFrameNumber += userTravelSpeed; // userTravelSpeed is nega
tive if traveling backwards LPBITMAPINFOHEADER pFrame = RetrievePanFrame(currentFrameNumber,&localDecompressionRect); if(pFrame == NULL){ currentFrameNubmer -= userTravelSpeed; return NULL; } // A very slow warping routine (assumes 24-bit pixels) LPBYTE srcPixels =((LPBYTE)pFrame) + S_BMIH; LPBYTE dstPixels =((LPBYTE)viewFrame) + S_BMIH; for(int y = 0; y<viewFrame->biHeight;y++){ for(int x = 0; x<viewFrame->biHeight;x++){ point.y=y; point.x=x; ViewToPan(viewFrame->biWidth,viewFrame->biHeight,pFrame->biWidth,pFrame-
>biHeight,userHeading,userPitch,userBank,userZoom,&point); memcpy(&dstPixels[3*(x+ y*viewFrame->biWidth)],&srcPixels[3*(point.x +point.y*pFrame->biWidth)],3); // supports 24-Bit Pixels only } } retum viewFrame; } // // This function reads and decompresses a Pan Frame bitmap image from a
Pan Movie file // static LPBITMAPINFOHEADER RetrievePanFrame(int frameNumber, RECT *viewRect) { DWORD d; UINT frameSize=Index[frameNumber+1]-Index[frameNumber] // Set the file pointer to the start of the requested frame and r
ead in the bitmap header SetFilePointer(hFile, Index[frameNumber],NULL,FILE_BEGIN); ReadFile(hFile,panFrame,S_BMIH,&d,NULL); if(panFrame->biCompression == 0) { // Uncompressed frame (read rest of frame and return) ReadFile(hFile,((BYTE*)panFrame)+S_BMIH,frameSize-S_BMIH,&
d,NULL); return panFrame; } // Read the remainder of the compressed frame *compressedFrame = *panFrame; ReadFile(hFile,((BYTE*)compressedFrame)+S_BMIH,frameSize-S_BMIH,&d,NULL)
; // Set up decompressed bitmap header panFrame->biCompression = 0; panFrame->biSizeImage = 0; panFrame->biBitCount = 24; panFrame->biCIrUsed = 0; LPBITMAPINFOHEADER biSrc = compressedFrame; LPBITMAPINFOHEADER biDst = panFrame; LPBYTE srcPixels = (BYTE*)biSrc + S_BMIH; LPBYTE dstPixels = (BYTE*)biDst + S_BMIH; // if the frame is compressed with Intel Indeo 4 and a local rect
was requested, then perform local decompression if(viewRect && biSrc->biCompression == mmioFOURCC('i','v','4','1'
)) { // Intel Indeo 4.1 R4_DEC_FRAME_DATA StateInfo; memset(&StateInfo,0,sizeof(R4_DEC_FRAME_DATA)); StateInfo.dwSize = sizeof(R4_DEC_FRAME_D
ATA); StateInfo.dwFourCC = biSrc->biCompression; StateInfo.dwVersion =SPECIFIC_INTERFACE_VERSION; StateInfo.mtType = MT_DECODE_FRAME_VALUE
; StateInfo.oeEnvironment = OE_32; SatteInfo.dwFlags = DECFRAME_VALID | DECFRAME_DECODE_RECT; StateInfo.rDecodeRect.dwX = min(viewRect->left,viewRect
->right); StateInfo.rDecodeRect.dwY = min(viewRect->top,viewRect-
>bottom); StateInfo.rDecodeRect.dwWidth = abs((viewRect->right-viewRect->left))+1; StateInfo.rDecodeRect.dwHeight= abs((viewRect->bottom-viewRect->top))+1; ICSetState(hic,&StateInfo,sizeof(R4_DEC_FRAME_DATA)); if(ICDecompressEx(hic,0,biSrc,srcPixels,0,0,biSrc->biWidth,biSrc->biHeig
ht,biDst,dstPixels,0, 0,biDst->biWidth,biDst->biHeight) != ICERR_OK) return NULL; } else { // Decompress entire frame if(ICDecompressEx(hic,0,biSrc,srcPixels,0,0,biSrc->biWidth,biSrc->biHeig
ht,biDst,dstPixels,0, 0,biDst->biWidth,biDst->biHeight) != ICERR_OK ) return NULL; } return panFrame; } (コピーライト) Infinite Pictures 1998
pan orientation // // This function will read the control file and determine which linked
segment is closest // to the current user heading orientation // It will also determine the new frame number of the new segment // BOOLEAN RetrieveLink() { INTEGER minAngle STRING nextSegment if currentFrameNumber == 0 currentSegment = currentSegment + (start) else currentSegment = currentSegment + (end) if no links in section currentSegment of controlFile return FALSE minAngle = link angle closest to currentHeading nextSegment = GetString(minAngle) if AngleDifference(currentHeading,MinAngle) > 45 degrees return FALSE; INTEGER nextNorth = GetNorth(nextSegment) INTEGER currentNorth = GetNorth (currentSegment) currentHeading = currentHeading + (nextNorth - currentNorth
) currentSegment = nextSegment if stringFind(currentSegment,”(end)”) currentFrameNumber = -1 else currentFrameNumber = 0 return TRUE }
る。
である。
ートである。
レーム(即ち、パノラマイメージ)を示す図である。
る一連の処理を示す図である。
る一連の処理を示す図である。
る一連の処理を示す図である。
る一連の処理を示す図である。
る一連の処理を示す図である。
図である。
ァイルインデックスとして格納された一連のパノラマから成るパノラマムービー
を収容するファイルを示す図である。
図である。
ラムのフローチャートである。
説明する図である。
Claims (15)
- 【請求項1】 デジタルイメージ撮影システムであって、 ノンインターレースプログレッシブスキャンを使用して重なり合う複数のデジ
タルイメージを同時に撮影するデジタルイメージ撮影ユニットと、 制御コンピュータと、 前記デジタルイメージ撮影ユニットからのデジタルイメージを前記制御コンピ
ュータへ伝送することを可能にし、および、前記制御コンピュータが制御信号を
前記デジタルイメージ撮影ユニットへ送信できるようにする、前記制御コンピュ
ータとデジタルイメージ撮影ユニットとの間にあるデータ撮影リンクおよび制御
リンクと、 を含むシステム。 - 【請求項2】 請求項1に記載のデジタルイメージ撮影システムにおいて、 前記デジタルイメージ撮影ユニットが、立方体の6つの面に配置された6つの
レンズを含み、 前記デジタルイメージ撮影ユニットが、空間の立方体表現で固有的に撮影する
、 ことを特徴とするシステム。 - 【請求項3】 請求項1に記載のデジタルイメージ撮影システムにおいて、 前記制御ユニットが、前記デジタルイメージを格納するデジタル記憶装置を含
む、 ことを特徴とするシステム。 - 【請求項4】 デジタルイメージ撮影システムであって、 デジタルイメージ撮影ユニットと、制御コンピュータとを含み、 前記デジタルイメージ撮影ユニットが、異なる方向に向けられた複数のレンズ
と、前記レンズの各々と関連付けられたイメージセンサと、前記イメージセンサ
の出力を圧縮するイメージ圧縮回路と、前記イメージセンサを制御してプログレ
ッシブスキャンイメージを撮影する組み込み型コントローラと、を含み、 前記制御コンピュータが、ユーザ入力手段と、前記制御コンピュータと前記組
み込み型コントローラとの間にあって、前記ユーザ入力を前記組み込み型コント
ローラへ伝送する接続部と、を含む、 ことを特徴とするシステム。 - 【請求項5】 請求項4に記載のデジタルイメージ撮影システムにおいて、 前記イメージセンサは、CCD(電荷結合素子)である、 ことを特徴とするシステム。
- 【請求項6】 請求項4に記載のデジタルイメージ撮影システムにおいて、 前記レンズが、立方体の面に配置されている、 ことを特徴とするシステム。
- 【請求項7】 請求項6に記載のデジタルイメージ撮影システムにおいて、 前記立方体の各面にレンズがある、 ことを特徴とするシステム。
- 【請求項8】 請求項4に記載のデジタルイメージ撮影システムにおいて、 前記イメージ圧縮回路はJPEG圧縮回路である、 ことを特徴とするシステム。
- 【請求項9】 請求項8に記載のデジタルイメージ撮影システムにおいて、 前記JPEG圧縮によって適用される圧縮量を制御することができる、 ことを特徴とするシステム。
- 【請求項10】 請求項4に記載のデジタルイメージ撮影システムにおいて、 前記イメージセンサの各々と関連付けられた前記圧縮回路との間にあるFIF
O(先入れ先出し)メモリ、 を含むことを特徴とするシステム。 - 【請求項11】 請求項4に記載のデジタルイメージ撮影システムにおいて、 高速シリアルバスが、前記イメージ撮影ユニットと前記制御コンピュータとを
接続している、 ことを特徴とするシステム。 - 【請求項12】 請求項6に記載のデジタルイメージ撮影システムにおいて、 前記レンズの各々が、120度の視野角を有する、 ことを特徴とするシステム。
- 【請求項13】 請求項11に記載のデジタルイメージ撮影システムにおいて、 前記圧縮回路と前記高速シリアルバスとの間にあるFIFOメモリを含むこと
、 ことを特徴とするシステム。 - 【請求項14】 イメージ撮影システムにおいて、 制御コンピュータに接続された第1のユニットを含み、 前記第1のユニットが、 視野角が重なり合う、かつ、直交方向に向けられた複数のレンズと、 前記レンズの各々によって投影されたイメージを感知する各レンズに関連づけ
られたセンサーと、 前記センサーの各々からの前記イメージを圧縮する圧縮回路と、 および、ユーザ入力を受信し、前記センサーと前記圧縮回路とを制御する制御
コンピュータとを含む、 ことを特徴とするシステム。 - 【請求項15】 請求項14に記載のイメージ撮影システムにおいて、 前記ユーザー入力が、フレームレート、シャッター制御、ゲインレベル、およ
び、圧縮率を含む、 ことを特徴とするシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/310,715 | 1999-05-12 | ||
US09/310,715 US6337683B1 (en) | 1998-05-13 | 1999-05-12 | Panoramic movies which simulate movement through multidimensional space |
US09/338,790 | 1999-06-23 | ||
US09/338,790 US6323858B1 (en) | 1998-05-13 | 1999-06-23 | System for digitally capturing and recording panoramic movies |
PCT/US1999/015989 WO2000070486A1 (en) | 1999-05-12 | 1999-07-15 | A system for digitally capturing and recording panoramic images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002544742A true JP2002544742A (ja) | 2002-12-24 |
JP2002544742A5 JP2002544742A5 (ja) | 2006-08-10 |
Family
ID=26977545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000618861A Pending JP2002544742A (ja) | 1999-05-12 | 1999-07-15 | デジタルイメージ撮影システム |
Country Status (9)
Country | Link |
---|---|
US (1) | US6323858B1 (ja) |
EP (1) | EP1204933B1 (ja) |
JP (1) | JP2002544742A (ja) |
AT (1) | ATE285092T1 (ja) |
AU (1) | AU5213299A (ja) |
CA (1) | CA2372110C (ja) |
DE (1) | DE69922705T2 (ja) |
IL (1) | IL146362A0 (ja) |
WO (1) | WO2000070486A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3191131U (ja) * | 2013-09-06 | 2014-06-12 | 幸男 伊神 | 全景撮像装置 |
JP2014137891A (ja) * | 2013-01-16 | 2014-07-28 | Hitachi Vehicle Energy Ltd | 角形二次電池 |
JP2016220254A (ja) * | 2016-09-14 | 2016-12-22 | 株式会社リコー | 撮像装置 |
Families Citing this family (111)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999059026A2 (en) | 1998-05-13 | 1999-11-18 | Infinite Pictures Inc. | Panoramic movies which simulate movement through multidimensional space |
US6690374B2 (en) | 1999-05-12 | 2004-02-10 | Imove, Inc. | Security camera system for tracking moving objects in both forward and reverse directions |
US7050085B1 (en) * | 2000-10-26 | 2006-05-23 | Imove, Inc. | System and method for camera calibration |
US20040075738A1 (en) * | 1999-05-12 | 2004-04-22 | Sean Burke | Spherical surveillance system architecture |
US6738073B2 (en) * | 1999-05-12 | 2004-05-18 | Imove, Inc. | Camera system with both a wide angle view and a high resolution view |
US6317689B1 (en) * | 2000-02-09 | 2001-11-13 | Garmin Corporation | Method and device for displaying animated navigation information |
US6859557B1 (en) * | 2000-07-07 | 2005-02-22 | Microsoft Corp. | System and method for selective decoding and decompression |
US6788333B1 (en) * | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
IL139995A (en) | 2000-11-29 | 2007-07-24 | Rvc Llc | System and method for spherical stereoscopic photographing |
GB2370709A (en) * | 2000-12-28 | 2002-07-03 | Nokia Mobile Phones Ltd | Displaying an image and associated visual effect |
US20020094026A1 (en) * | 2001-01-12 | 2002-07-18 | Edelson Steven D. | Video super-frame display system |
US7126630B1 (en) * | 2001-02-09 | 2006-10-24 | Kujin Lee | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method |
US20020109771A1 (en) * | 2001-02-14 | 2002-08-15 | Michael Ledbetter | Method and system for videoconferencing |
JP2002251608A (ja) * | 2001-02-23 | 2002-09-06 | Mixed Reality Systems Laboratory Inc | 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体 |
US7053908B2 (en) * | 2001-04-12 | 2006-05-30 | Polaroid Corporation | Method and apparatus for sensing and interpolating color image data |
US7369160B2 (en) * | 2001-06-15 | 2008-05-06 | Yokogawa Electric Corporation | Camera system for transferring both image data and an image processing program to transfer the image data to an external device |
US6947059B2 (en) * | 2001-08-10 | 2005-09-20 | Micoy Corporation | Stereoscopic panoramic image capture device |
JP5037765B2 (ja) * | 2001-09-07 | 2012-10-03 | 株式会社トプコン | オペレータ誘導システム |
US6770863B2 (en) * | 2001-10-26 | 2004-08-03 | Agilent Technologies, Inc. | Apparatus and method for three-dimensional relative movement sensing |
US7456875B2 (en) * | 2002-03-14 | 2008-11-25 | Sony Corporation | Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus |
US20030184650A1 (en) * | 2002-03-27 | 2003-10-02 | Eastman Kodak Company | Transferring and proccessing a plurality of digital images captured by a digital camera using a computer |
US7433581B2 (en) * | 2002-05-31 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Interactive video playback |
US20040012811A1 (en) * | 2002-07-22 | 2004-01-22 | Toshiba Tec Kabushiki Kaisha | System and method for taking, storing and printing digital pictures |
US8483960B2 (en) | 2002-09-20 | 2013-07-09 | Visual Intelligence, LP | Self-calibrated, remote imaging and data processing system |
US7893957B2 (en) | 2002-08-28 | 2011-02-22 | Visual Intelligence, LP | Retinal array compound camera system |
US8994822B2 (en) | 2002-08-28 | 2015-03-31 | Visual Intelligence Lp | Infrastructure mapping system and method |
US6928194B2 (en) * | 2002-09-19 | 2005-08-09 | M7 Visual Intelligence, Lp | System for mosaicing digital ortho-images |
USRE49105E1 (en) | 2002-09-20 | 2022-06-14 | Vi Technologies, Llc | Self-calibrated, remote imaging and data processing system |
JP3887819B2 (ja) * | 2002-10-11 | 2007-02-28 | 株式会社セガ | コンピュータプログラム |
US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
US7463280B2 (en) | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
US7492390B2 (en) * | 2003-07-14 | 2009-02-17 | Arecont Vision, Llc. | Dual spectral band network camera |
AU2004313174A1 (en) | 2003-12-26 | 2005-07-21 | Micoy Corporation | Multi-dimensional imaging apparatus, systems, and methods |
US7656429B2 (en) * | 2004-02-04 | 2010-02-02 | Hewlett-Packard Development Company, L.P. | Digital camera and method for in creating still panoramas and composite photographs |
US7433893B2 (en) * | 2004-03-08 | 2008-10-07 | Marpex Inc. | Method and system for compression indexing and efficient proximity search of text data |
DE102004033766A1 (de) * | 2004-07-11 | 2006-02-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Übertragung von Bilddaten bei Application Sharing |
US7183549B2 (en) * | 2004-09-09 | 2007-02-27 | Flir Systems, Inc. | Multiple camera systems and methods |
US7381952B2 (en) | 2004-09-09 | 2008-06-03 | Flir Systems, Inc. | Multiple camera systems and methods |
US7965314B1 (en) | 2005-02-09 | 2011-06-21 | Flir Systems, Inc. | Foveal camera systems and methods |
US7663662B2 (en) * | 2005-02-09 | 2010-02-16 | Flir Systems, Inc. | High and low resolution camera systems and methods |
US8004558B2 (en) * | 2005-04-07 | 2011-08-23 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
EP1900216A2 (en) * | 2005-05-12 | 2008-03-19 | Tenebraex Corporation | Improved methods of creating a virtual window |
US7872665B2 (en) | 2005-05-13 | 2011-01-18 | Micoy Corporation | Image capture and processing |
JP4712872B2 (ja) * | 2005-06-03 | 2011-06-29 | メディアポッド リミテッド ライアビリティ カンパニー | 多次元画像化システムおよびその方法 |
US20070127909A1 (en) * | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
US7221866B2 (en) * | 2005-07-19 | 2007-05-22 | Cgi Group Ag | Methods for creating spherical imagery |
KR20080064864A (ko) * | 2005-10-16 | 2008-07-09 | 미디어팟 엘엘씨 | 디지털 이미지 캡쳐의 품질을 증가시키기 위한 장치,시스템 및 방법 |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US20070139192A1 (en) * | 2005-12-21 | 2007-06-21 | Wimberly Michael R | Sensor unit having a network video camera |
US7834910B2 (en) * | 2006-03-01 | 2010-11-16 | David M. DeLorme | Method and apparatus for panoramic imaging |
US8446509B2 (en) | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
CN101191719A (zh) * | 2006-12-01 | 2008-06-04 | 鸿富锦精密工业(深圳)有限公司 | 影像焦点合成系统及方法 |
US8678598B2 (en) | 2007-08-08 | 2014-03-25 | Frank William Harris | Systems and methods for image capture, generation, and presentation |
US8791984B2 (en) | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
JP5551075B2 (ja) | 2007-11-16 | 2014-07-16 | テネブラックス コーポレイション | 仮想ウィンドウを生成するシステムおよび方法 |
GB2457466A (en) | 2008-02-13 | 2009-08-19 | Sight Digital Ltd X | Multi-channel digital video recorder (DVR) with user selection of MPEG codec recording parameters |
US9736368B2 (en) | 2013-03-15 | 2017-08-15 | Spatial Cam Llc | Camera in a headframe for object tracking |
US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
US9171221B2 (en) | 2010-07-18 | 2015-10-27 | Spatial Cam Llc | Camera to track an object |
US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
US8164655B2 (en) | 2008-05-19 | 2012-04-24 | Spatial Cam Llc | Systems and methods for concurrently playing multiple images from a storage medium |
US20110098083A1 (en) * | 2008-05-19 | 2011-04-28 | Peter Lablans | Large, Ultra-Thin And Ultra-Light Connectable Display For A Computing Device |
US10585344B1 (en) | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US10896327B1 (en) | 2013-03-15 | 2021-01-19 | Spatial Cam Llc | Device with a camera for locating hidden object |
US11119396B1 (en) | 2008-05-19 | 2021-09-14 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US10354407B2 (en) | 2013-03-15 | 2019-07-16 | Spatial Cam Llc | Camera for locating hidden objects |
US20100050221A1 (en) * | 2008-06-20 | 2010-02-25 | Mccutchen David J | Image Delivery System with Image Quality Varying with Frame Rate |
US20100026822A1 (en) * | 2008-07-31 | 2010-02-04 | Itt Manufacturing Enterprises, Inc. | Multiplexing Imaging System for Area Coverage and Point Targets |
ES2313860B1 (es) * | 2008-08-08 | 2010-03-16 | Nilo Garcia Manchado | Camara digital y procedimiento asociado. |
US8416282B2 (en) * | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
US20100321471A1 (en) * | 2009-06-22 | 2010-12-23 | Casolara Mark | Method and system for performing imaging |
US8462209B2 (en) * | 2009-06-26 | 2013-06-11 | Keyw Corporation | Dual-swath imaging system |
US8098247B2 (en) * | 2009-09-24 | 2012-01-17 | Crucs Holdings, Llc | Systems and methods for geometric data compression and encryption |
CN102055901B (zh) * | 2009-11-05 | 2014-01-22 | 鸿富锦精密工业(深圳)有限公司 | Ptz摄影机及其ptz控制方法 |
CN102572549B (zh) * | 2010-10-16 | 2016-05-04 | 佳能株式会社 | 服务器设备及视频数据的发送方法 |
CA2772206C (en) * | 2011-03-24 | 2016-06-21 | Kabushiki Kaisha Topcon | Omnidirectional camera |
US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
CN104350734B (zh) * | 2012-06-11 | 2017-12-12 | 索尼电脑娱乐公司 | 图像生成设备以及图像生成方法 |
CN102868853A (zh) * | 2012-10-08 | 2013-01-09 | 长沙尼采网络科技有限公司 | 基于正多面体的360度无盲区全景视频拍摄设备 |
CN104769540A (zh) * | 2012-11-06 | 2015-07-08 | 诺基亚技术有限公司 | 用于滑动变换照片浏览的方法和装置 |
WO2014152855A2 (en) * | 2013-03-14 | 2014-09-25 | Geerds Joergen | Camera system |
US9449372B2 (en) | 2013-08-22 | 2016-09-20 | Bae Systems Information And Electronic Systems Integration Inc. | Dust removal technology for driver vision leverage |
FR3011645B1 (fr) * | 2013-10-07 | 2015-11-13 | Giroptic | Dispositif optique pour la capture d'images selon un champ de vision horizontal de 360° |
DK3183687T3 (da) | 2014-08-21 | 2020-09-14 | Identiflight Int Llc | System og fremgangsmåde til fugledetektering |
US20160055399A1 (en) * | 2014-08-21 | 2016-02-25 | Identiflight, Llc | Graphical display for bird or bat detection and identification |
US10027887B1 (en) | 2015-01-30 | 2018-07-17 | Google Llc | Dynamic 3D panoramas |
KR20170091323A (ko) * | 2016-02-01 | 2017-08-09 | 삼성전자주식회사 | 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 |
US10375306B2 (en) | 2017-07-13 | 2019-08-06 | Zillow Group, Inc. | Capture and use of building interior data from mobile devices |
US10530997B2 (en) | 2017-07-13 | 2020-01-07 | Zillow Group, Inc. | Connecting and using building interior data acquired from mobile devices |
US10643386B2 (en) | 2018-04-11 | 2020-05-05 | Zillow Group, Inc. | Presenting image transition sequences between viewing locations |
CA3058602C (en) | 2018-10-11 | 2023-01-24 | Zillow Group, Inc. | Automated mapping information generation from inter-connected images |
US10809066B2 (en) | 2018-10-11 | 2020-10-20 | Zillow Group, Inc. | Automated mapping information generation from inter-connected images |
US10708507B1 (en) | 2018-10-11 | 2020-07-07 | Zillow Group, Inc. | Automated control of image acquisition via use of acquisition device sensors |
US12014120B2 (en) | 2019-08-28 | 2024-06-18 | MFTB Holdco, Inc. | Automated tools for generating mapping information for buildings |
US11243656B2 (en) | 2019-08-28 | 2022-02-08 | Zillow, Inc. | Automated tools for generating mapping information for buildings |
US11164368B2 (en) | 2019-10-07 | 2021-11-02 | Zillow, Inc. | Providing simulated lighting information for three-dimensional building models |
US11164361B2 (en) | 2019-10-28 | 2021-11-02 | Zillow, Inc. | Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors |
US10825247B1 (en) | 2019-11-12 | 2020-11-03 | Zillow Group, Inc. | Presenting integrated building information using three-dimensional building models |
US11676344B2 (en) | 2019-11-12 | 2023-06-13 | MFTB Holdco, Inc. | Presenting building information using building models |
US11405549B2 (en) | 2020-06-05 | 2022-08-02 | Zillow, Inc. | Automated generation on mobile devices of panorama images for building locations and subsequent use |
KR20230004887A (ko) * | 2020-07-15 | 2023-01-06 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라에서의 시점 수차-보정 |
US11514674B2 (en) | 2020-09-04 | 2022-11-29 | Zillow, Inc. | Automated analysis of image contents to determine the acquisition location of the image |
US11592969B2 (en) | 2020-10-13 | 2023-02-28 | MFTB Holdco, Inc. | Automated tools for generating building mapping information |
US11481925B1 (en) | 2020-11-23 | 2022-10-25 | Zillow, Inc. | Automated determination of image acquisition locations in building interiors using determined room shapes |
US11252329B1 (en) | 2021-01-08 | 2022-02-15 | Zillow, Inc. | Automated determination of image acquisition locations in building interiors using multiple data capture devices |
CA3142154A1 (en) | 2021-01-08 | 2022-07-08 | Zillow, Inc. | Automated determination of image acquisition locations in building interiors using multiple data capture devices |
US11790648B2 (en) | 2021-02-25 | 2023-10-17 | MFTB Holdco, Inc. | Automated usability assessment of buildings using visual data of captured in-room images |
US11836973B2 (en) | 2021-02-25 | 2023-12-05 | MFTB Holdco, Inc. | Automated direction of capturing in-room information for use in usability assessment of buildings |
US11501492B1 (en) | 2021-07-27 | 2022-11-15 | Zillow, Inc. | Automated room shape determination using visual data of multiple captured in-room images |
US11842464B2 (en) | 2021-09-22 | 2023-12-12 | MFTB Holdco, Inc. | Automated exchange and use of attribute information between building images of multiple types |
US11830135B1 (en) | 2022-07-13 | 2023-11-28 | MFTB Holdco, Inc. | Automated building identification using floor plans and acquired building images |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5023725A (en) * | 1989-10-23 | 1991-06-11 | Mccutchen David | Method and apparatus for dodecahedral imaging system |
US5235198A (en) * | 1989-11-29 | 1993-08-10 | Eastman Kodak Company | Non-interlaced interline transfer CCD image sensing device with simplified electrode structure for each pixel |
US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
US6020894A (en) * | 1990-08-16 | 2000-02-01 | Canon Kabushiki Kaisha | Full-color desktop publishing system |
US5355450A (en) * | 1992-04-10 | 1994-10-11 | Avid Technology, Inc. | Media composer with adjustable source material compression |
DE69534358T2 (de) * | 1994-06-14 | 2006-05-24 | Matsushita Electric Industrial Co., Ltd., Kadoma | Fernsehsignalaufnahme-, Fernsehsignalaufnahme- und wiedergabe, Fernsehsignalkodierer und Fernsehsignalübertragungsvorrichtung |
US5886745A (en) * | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
US5703604A (en) * | 1995-05-22 | 1997-12-30 | Dodeca Llc | Immersive dodecaherdral video viewing system |
US5708469A (en) * | 1996-05-03 | 1998-01-13 | International Business Machines Corporation | Multiple view telepresence camera system using a wire cage which surroundss a plurality of movable cameras and identifies fields of view |
US5933137A (en) * | 1997-06-10 | 1999-08-03 | Flashpoint Technology, Inc. | Method and system for acclerating a user interface of an image capture unit during play mode |
-
1999
- 1999-06-23 US US09/338,790 patent/US6323858B1/en not_active Expired - Lifetime
- 1999-07-15 AU AU52132/99A patent/AU5213299A/en not_active Abandoned
- 1999-07-15 JP JP2000618861A patent/JP2002544742A/ja active Pending
- 1999-07-15 AT AT99937258T patent/ATE285092T1/de not_active IP Right Cessation
- 1999-07-15 CA CA002372110A patent/CA2372110C/en not_active Expired - Lifetime
- 1999-07-15 DE DE69922705T patent/DE69922705T2/de not_active Expired - Lifetime
- 1999-07-15 WO PCT/US1999/015989 patent/WO2000070486A1/en active IP Right Grant
- 1999-07-15 EP EP99937258A patent/EP1204933B1/en not_active Expired - Lifetime
- 1999-07-15 IL IL14636299A patent/IL146362A0/xx not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014137891A (ja) * | 2013-01-16 | 2014-07-28 | Hitachi Vehicle Energy Ltd | 角形二次電池 |
JP3191131U (ja) * | 2013-09-06 | 2014-06-12 | 幸男 伊神 | 全景撮像装置 |
JP2016220254A (ja) * | 2016-09-14 | 2016-12-22 | 株式会社リコー | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CA2372110A1 (en) | 2000-11-23 |
DE69922705T2 (de) | 2005-12-08 |
IL146362A0 (en) | 2002-07-25 |
AU5213299A (en) | 2000-12-05 |
EP1204933A1 (en) | 2002-05-15 |
DE69922705D1 (de) | 2005-01-20 |
US6323858B1 (en) | 2001-11-27 |
EP1204933A4 (en) | 2003-01-15 |
EP1204933B1 (en) | 2004-12-15 |
WO2000070486A1 (en) | 2000-11-23 |
ATE285092T1 (de) | 2005-01-15 |
CA2372110C (en) | 2007-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002544742A (ja) | デジタルイメージ撮影システム | |
US6337683B1 (en) | Panoramic movies which simulate movement through multidimensional space | |
US20020046218A1 (en) | System for digitally capturing and recording panoramic movies | |
US6466262B1 (en) | Digital wide camera | |
US6750903B1 (en) | Super high resolution camera | |
US6034740A (en) | Keying system and composite image producing method | |
US20170116709A1 (en) | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor | |
US8421871B2 (en) | Method and apparatus for image pickup and image processing | |
KR20100043139A (ko) | 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램 | |
US20070201107A1 (en) | Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program | |
KR20100043138A (ko) | 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램 | |
JP4938615B2 (ja) | 動画像記録再生装置 | |
US8515256B2 (en) | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor | |
JPH1169293A (ja) | 画像処理システムならびにカメラ一体型ビデオレコーダ | |
JP2008131617A (ja) | 映像処理装置 | |
JPH1042307A (ja) | キーシステム及び合成画像作成方法 | |
WO2002087218A2 (en) | Navigable camera array and viewer therefore | |
JPH11168685A (ja) | 画像処理方法 | |
KR100460081B1 (ko) | 동영상 가상현실 이미지 제작 시스템 및 방법 | |
JP2005341241A (ja) | 画像記録再生装置 | |
JP3024204U (ja) | クロマキーシステム | |
JP2001160950A (ja) | 画像記録再生方法及び記録媒体並びに画像記録再生システム | |
JPH08139836A (ja) | フィルムスキャナ | |
JP2009272843A (ja) | デジタル映像と固定静止画による撮影箇所および撮影領域表示映像一括表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090324 |