JP2003524927A - パノラマ画像および動画を生成し表示するためのシステムおよび方法 - Google Patents

パノラマ画像および動画を生成し表示するためのシステムおよび方法

Info

Publication number
JP2003524927A
JP2003524927A JP2000591781A JP2000591781A JP2003524927A JP 2003524927 A JP2003524927 A JP 2003524927A JP 2000591781 A JP2000591781 A JP 2000591781A JP 2000591781 A JP2000591781 A JP 2000591781A JP 2003524927 A JP2003524927 A JP 2003524927A
Authority
JP
Japan
Prior art keywords
image
images
panoramic
camera
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000591781A
Other languages
English (en)
Other versions
JP2003524927A5 (ja
Inventor
シュミュエル ペレグ
モシェ ベネズラ
ロバート エス． ローゼンシェイン
Original Assignee
イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=27568603&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2003524927(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム filed Critical イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム
Publication of JP2003524927A publication Critical patent/JP2003524927A/ja
Publication of JP2003524927A5 publication Critical patent/JP2003524927A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

(57)【要約】 あるシーンのパノラマ立体閲覧を容易にする際に使用するために左右のパノラマモザイク画像を生成し、閲覧者に対して立体パノラマ画像を表示するためのシステムを開示する。左右のパノラマ画像生成器は、各画像がそれぞれの左右の画像部分を有し、それぞれの角位置またはその他の位置に対応して記録またはその他の方法で生成された一連の画像から左右のパノラマモザイク画像を生成し、それらの画像の部分をまとめてモザイク処理してそれぞれの左右のパノラマ画像を形成する。表示システムは、それぞれが閲覧者のそれぞれの目によって閲覧されるように左右のパノラマ画像を表示することにより、閲覧者に対して立体パノラマ画像を表示する。

Description

【発明の詳細な説明】
【０００１】 （発明の分野） 本発明は、一般に画像を記録、生成、再生、または表示する分野に関し、より
詳細にはパノラマ画像を生成し、立体的に表示することに関する。
【０００２】 （発明の背景） パノラマ画像とは３６０°全体までの広い視野を有するシーンの画像である。
パノラマ画像は、広い視野を提供する広角レンズ、ミラーなどを使用して記録す
ることができる。より広い視野を有するパノラマ画像は、たとえば、特定の点の
周りの複数の画像を記録し、従来のモザイク処理技法を使用して単一モザイク像
を生成することにより、生成することができる。また、パノラマ画像は、従来の
コンピュータグラフィックス技法を使用して、模擬シーンから生成することもで
きる。
【０００３】 問題は、パノラマ画像を立体的に閲覧することに関連して発生する。人が立体
的に見ることができるのは、（立っているときに）その人の目が水平に変位し、
それにより、あるシーンを閲覧するときに本来は存在しないはずの奥行を知覚で
きるからである。立体画像は、わずかに変位した複数の位置から記録された、１
つのシーンについて記録された２つの画像を含み、これにより、それぞれの目で
同時に閲覧したときに奥行を知覚する。現在、非パノラマ画像を生成し、立体的
に表示するための配置が存在するが、パノラマ画像を生成し、立体的に表示する
ためのこのような配置はまったく存在しない。
【０００４】 （発明の概要） 本発明は、立体的なパノラマ画像を生成し表示するための新規かつ改良された
システムおよび方法を提供する。
【０００５】 簡単に要約すると、一態様では、本発明は、あるシーンのパノラマ立体閲覧を
容易にする際に使用するために、左右のパノラマモザイク画像を生成するための
システムを提供する。左右のパノラマ画像生成器は、各画像がそれぞれの左右の
画像部分を有し、それぞれの角位置またはその他の位置に対応して記録またはそ
の他の方法で生成された一連の画像から左右のパノラマモザイク画像を生成し、
それらの画像の部分をまとめてモザイク処理してそれぞれの左右のパノラマ画像
を形成する。
【０００６】 他の態様では、本発明は、それぞれが閲覧者のそれぞれの目によって閲覧され
るように左右のパノラマ画像を表示することにより、閲覧者に対して立体パノラ
マ画像を表示するためのシステムを提供する。
【０００７】 本発明は、特許請求の範囲に詳細に示されている。本発明の上記その他の利点
は、添付図面に関連して以下に示す説明を参照することにより、よりよく理解す
ることができる。
【０００８】 （例示的実施形態の詳細な説明） 本発明は、あるシーンの立体パノラマ画像を生成し、１人または複数の閲覧者
がそのパノラマ画像を立体的に閲覧できるようにその閲覧者（複数も可）に対し
て画像を表示するためのシステムおよび方法を提供する。本発明のシステムおよ
び方法について説明する前に、立体パノラマ画像がどういうものであるかと、こ
こに記載する様々なシステムおよび方法が一般にどのように立体パノラマ画像を
生成し、その表示を容易にするかを説明すると有用であると思われる。これにつ
いては、図１Ａおよび図１Ｂに関連して行う。まず図１Ａを参照すると、同図は
、垂直に立ち、あるシーンの点Ｐを観察している観察者、特に、ドット２Ｌおよ
び２Ｒ（一般に参照番号「２Ｌ／Ｒ」によって識別される）によって表される目
の概略を示している。観察者は、点Ｐから反射され、破線矢印３Ｌおよび３Ｒに
よって表されるそれぞれの光線に沿って目２Ｌおよび２Ｒに向けられた光線によ
り、点Ｐを見る。ただし、光線３Ｌおよび３Ｒは平行ではないので、観察者は点
Ｐおよびその付近のそのシーンの領域に関する奥行を観察できるようになること
が分かるだろう。
【０００９】 通常、観察者は、自分の周りの３６０Ｅパノラマの小さい部分しか見ることが
できない。パノラマのより多くの部分を見るためには、観察者は、たとえば、参
照番号４によって識別される矢印が示す方向に自分の頭を回転させることになる
。頭を回転させることにより、観察者は自分とともに回転する光線（図示せず）
に沿ってそのシーン内の他の点（同じく図示せず）を閲覧できるようになる。観
察者が３６０Ｅ全体の周りを回転した場合、それぞれの目は同じ視野円５の周り
を回転することになる。
【００１０】 観察者が回転するにつれてその観察者の２つの目によって見られる一連の画像
のそれぞれは別々の画像セットに分離することができ、各画像セットがそれぞれ
の目に関連することは図１Ａから明らかになるだろう。これについては、図１Ｂ
に関連して説明する。図１Ｂは、左右のそれぞれの目に関する別々の視野円５Ｌ
および５Ｒ（一般に５Ｌ／Ｒ）に分割された視野円５を示し、点Ｐは各視野円５
Ｌ／Ｒならびに図１Ａに示す光線３Ｌおよび３Ｒに対応する関連光線３Ｌ（１）
および３Ｒ（１）に関して図１Ａと同じ位置に示されている。また、各視野円５
Ｌ／Ｒは、観察者が矢印４Ｌおよび４Ｒによって表される方向に回転するにつれ
て観察者の左右のそれぞれの目がそのシーン内の様々な点について受け取る画像
を表す参照番号３Ｌ（２）、．．．、３Ｌ（Ｎ）（一般に参照番号３Ｌ（ｎ）に
よって識別される）および３Ｒ（２）、．．．、３Ｒ（Ｎ）（一般に参照番号３
Ｒ（ｎ）によって識別される）によって識別される他の光線も示している。
【００１１】 さらに図１Ｂに関連して説明すると、閲覧者によるそのシーンの立体パノラマ
画像の閲覧を容易にするために、観察者のそれぞれの目によって受け取られると
思われる画像を別々に記録し、閲覧者のそれぞれの目によって閲覧するかまたは
その他の方法で閲覧者のそれぞれの目に対して表示することができる。したがっ
て、たとえば、光線３Ｌ（１）、．．．、３Ｌ（Ｎ）によって示される連続方向
に視野円５Ｌに対応する円の周りの連続点に画像を記録し、その画像をまとめて
モザイク処理し、さらに光線３Ｒ（１）、．．．、３Ｒ（Ｎ）によって示される
連続方向に視野円５Ｒに対応する円の周りの連続点に画像を記録する場合、なら
びに（光線３Ｌ（ｎ）と３Ｒ（ｎ）の交点が同じ相対位置で閲覧されるように）
これらの画像を適当に位置合せし、閲覧者のそれぞれの目に対して表示する場合
、閲覧者はそのシーンの立体パノラマ画像を見ることができる。
【００１２】 同様に、コンピュータグラフィックス技法を使用して立体パノラマ画像を生成
することができる。しかし、従来の画像レンダリングで使用する正規透視投影の
代わりに、視野円５Ｌなどの円に接する光線を使用して左目用のパノラマ画像を
レンダリングし、視野円５Ｒなどの円に接する光線を使用して右目用のパノラマ
画像をレンダリングすることになる。
【００１３】 本発明は、そこから左右のパノラマ画像を生成することができ、そのパノラマ
画像を閲覧者に表示することができる、画像の記録を容易にするための様々な配
置を提供する。一般に、左右のパノラマ画像は、あるモデルからレンダリングす
るか、または複数の非パノラマ画像を記録し、その一部分をまとめてモザイク処
理して左右のパノラマ画像を生成することにより、生成することができる。図１
Ａでは、視野円５に接する方向に閲覧するものとして目が示されているが、実施
形態によっては、カメラがむしろ一般に、精密ではないが、視野円に対して垂直
になる可能性があることが分かるだろう。
【００１４】 図２は、本発明の一実施形態により構築された立体パノラマ記録生成システム
１０の概略を示している。図２を参照すると、システム１０は、カメラリグ１１
とパノラマモザイク画像生成器１２とを含む。カメラリグ１１は、上方に（水平
記録パノラマの場合）に延びるマスト１４とそれに堅く取り付けられてそこから
延びるアーム１５とを含む支持部上に取り付けられたカメラ１３などの画像記録
装置を含む。カメラ１３は、たとえば、フィルム、電荷結合素子（ＣＣＤ）など
を含む複数タイプのいずれかの画像記録媒体を使用して画像を記録することがで
きる。カメラ１３によって記録された画像がそれによりマスト１４から所定の距
離に記録されるように、カメラ１３はアーム１５上に堅く取り付けられている。
モータ１６は、垂直軸の周りでマスト１４を回転させ、それにより、その周りを
マスト１４が回転する軸上にセンタリングされた湾曲経路に沿ってカメラ１３が
回転するように構成されている。後述するように、モータ１６の移動はモータ制
御部１７によって制御され、そのモータ制御部１７はパノラマモザイク画像生成
器１２によって制御される。カメラ１３はアーム１５に堅く取り付けられている
ので、カメラ１３はアーム１５によって定義される方向を指すことになる。一実
施形態では、カメラ１３は動画用カメラとは対照的にスチールカメラであり、そ
の実施形態では、モータ１６は好ましくはカメラ１３がステップバイステップ方
式で回転できるようにするためにステッピングモータになり、カメラ１３はカメ
ラ１３が画像を記録できるようにするために各ステップで停止する。その場合、
ステップ間の角度は、図２および図３に関連して後述するように、パノラマ画像
になるように各ステップで記録された画像のモザイク処理を容易にするようなも
のになる。一部の点では、連続ステップで記録された画像のそれぞれがパノラマ
モザイク画像生成器１２に供給されて処理される。次にパノラマモザイク画像生
成器１２は、連続ステップで記録された画像を受け取り、その画像の部分をまと
めてモザイク処理して、そこから左右のパノラマ画像を含む立体パノラマ画像対
を生成する。立体パノラマ画像対を構成する左右のパノラマ画像は、図３に関連
して後述するようにユーザに対して表示するかまたはユーザによって閲覧し、そ
のユーザにカメラ１３が記録したシーンの立体画像を提供することができる。
【００１５】 上記の通り、パノラマ画像は、マスト１４の回転中心の周りの様々な角位置で
カメラ１３によって記録された画像の部分をまとめてモザイク処理することによ
り生成される。さらに処理する前に、カメラ１３の詳細と、パノラマ画像生成器
１２が画像の部分をまとめてモザイク処理し、観察者の左右の目によって同時に
閲覧したときにマスト１４の位置を取り囲むシーンの単一立体パノラマ画像をも
たらすパノラマ画像対を形成する方法について説明すると有用であると思われる
。図３は図２の最上部から見たときのカメラ１３の内部の詳細を示す平面図であ
り、図４はカメラによって記録された画像の詳細と、その画像の部分をまとめて
モザイク処理して立体パノラマ画像対を形成する方法を示している。まず図３を
参照すると、カメラ１３は、前部アパーチャ２０と、後部画像記録媒体２１と、
画像記録媒体２１に近接しそれより前方にあるスクリーン２２と、シャッタ２３
とを有するハウジング２４を含む。画像記録媒体２１は、カメラ１３の画像平面
を定義するものであり、フィルム、ＣＣＤアレイなどを含む、従来の画像記録媒
体を含むことができる。また、カメラ１３は、画像平面上に画像の焦点を合わせ
るのを容易にするためにアパーチャ２０内にレンズ（図示せず）も含むことがで
きる。あるいは、カメラ１３はピンホールカメラを含むことができ、その場合、
レンズはまったく設けられない。
【００１６】 シャッタ２３は、カメラ１３が向けられたシーン２７の部分から反射された光
が選択的にカメラに入り、スクリーン２２および画像記録媒体２１の部分に投射
され、それにより記録が行われるようにするために設けられている。シーン２７
は、マスト１４の回転軸上にセンタリングされたパノラマシーンの一部を形成す
る。好ましくは、シャッタ２３は、モータ１６がカメラ１３をあるステップから
次のステップへ移動する間、閉じられ、それにより、このような移動中にシーン
２７からの光がカメラ１３に入り、画像記録媒体２１を露光するのをブロックす
るが、このような移動は本来は記録画像のぶれを引き起こす可能性がある。モー
タ１６が次のステップに到達し、カメラ１３が移動を停止した後、シャッタ２３
を開いて、シーン２７からの光がカメラに入り、スクリーン２２および画像記録
媒体２１に向かって後方に向けられるようにすることができる。画像記録媒体２
１が適切に露光された後、シャッタを閉じ、モータ１６を励起してマスト１４を
回転し、それによりカメラ１３を新しい向きにステップさせることができ、その
点でこれらの動作を繰り返すことができる。好ましくは、画像記録媒体２１がフ
ィルムである場合、二重露光を回避するために、シャッタ２３をもう一度開く前
にそのフィルムを前に進めることになり、同様に、画像記録媒体２１がＣＣＤデ
バイスである場合、二重露光を回避するために必要に応じて、画像情報を検索し
て記憶し、ＣＣＤをリフレッシュすることができる。それぞれのステップでカメ
ラ１３によって記録された画像は、多重露光を回避するために、互いに独立した
ものになる。
【００１７】 スクリーン２２は、一般に画像記録媒体２１の部分を覆うように構成されてい
るが、シーン２７のそれぞれの方向ならびに部分２７Ｌおよび２７Ｒからの光が
画像記録媒体２１の近接領域２６Ｌおよび２６Ｒ上に向き、それにより記録され
るようにするための少なくとも２つの垂直スリット２５Ｌおよび２５Ｒは除く。
破線２８Ｌおよび２８Ｒが示すように、スリット２５Ｒは画像記録媒体２１の領
域２６Ｒがシーン２７の左側部分２７Ｒを記録できるように位置決めされ、スリ
ット２５Ｌは画像記録媒体２１の領域２６Ｌがシーン２７の右側部分２７Ｌを記
録できるように位置決めされている。図１Ａを参照すると、画像記録媒体２１の
領域２６Ｒによって記録されるシーン２７の部分２７Ｒは、観察者がそのシーン
の部分２７Ｒを直接見ている場合に観察者の右目がそのシーンのその部分２７Ｒ
を閲覧する方向に対応する方向からのものであることが分かるだろう。同様に、
画像記録媒体の領域２６Ｌによって記録されるシーン２７の部分２７Ｌは、観察
者がそのシーンの部分２７Ｌを直接見ている場合に観察者の左目がそのシーンの
その部分２７Ｌを閲覧する方向に対応する方向からのものである。さらに、好ま
しくは、アーム１５上のカメラ１３の位置決めは、カメラ１３が回転したときに
領域２６Ｌおよび２６Ｒが円、すなわち、画像円を描いて回転し、破線２８Ｌお
よび２８Ｒが示す光線が図１Ａおよび図１Ｂに関連して前述したものと同様の内
部視野円に接するようなものになることが分かるだろう。したがって、画像記録
媒体２１の領域２６Ｌがシーン２７の部分２７Ｒとして図３に示されているもの
を記録できるようにモータ１６がカメラ１３をステップすると、左目でその画像
を閲覧し、同時にそのシーン２７の領域２７Ｒ内に前に記録された画像を右目で
閲覧する観察者は、シーン２７のその部分２７Ｒの立体画像を見ることになるだ
ろう。同様に、画像記録媒体２１の領域２６Ｒがシーン２７の領域２７Ｌとして
図３に示されているものを記録できるようにモータ１６がカメラ１３をステップ
すると、右目でその画像を閲覧し、同時にそのシーン２７の領域２７Ｌ内に前に
記録された画像を左目で閲覧する観察者は、シーン２７のその部分２７Ｌの立体
画像を見ることになるだろう。
【００１８】 図３に示す実施形態では、カメラ１３のスクリーン２２には中央スリット２５
Ｃも設けられており、これはスクリーン２７からの光がカメラ１３に入るように
シャッタ２２が開いたときに、画像記録媒体２１の中央領域２６Ｃがシーン２７
の領域２７Ｃとして図３に示されているものを記録できるようにするものである
。中央領域２６Ｃはその領域を直視したものであり、光線２８Ｃはカメラの光学
的中心にだいたい対応することが分かるだろう。
【００１９】 上記のように、マスト１４の回転中心の周りの様々なステップでカメラ１３に
よって記録された画像は、パノラマモザイク画像生成器１２によってまとめてモ
ザイク処理し、左右のパノラマ画像を提供することができる。左右のパノラマ画
像は、観察者、特に観察者の左右の目によって同時に閲覧したときに、マスト１
４の回転中心上にセンタリングされたパノラマシーンの立体パノラマ画像が得ら
れることになる。左右のパノラマ画像が生成される方法については、図４に関連
して詳述する。図４を参照すると、マスト１４の回転中心の周りの「Ｎ」（ただ
し、「Ｎ」は整数である）個の連続ステップで記録された画像３０（１）から３
０（Ｎ）（一般に参照番号３０（ｎ）によって識別される）のそれぞれは、左画
像部分３０Ｌ（ｎ）と右画像部分３０Ｒ（ｎ）とを含む。次に各画像３０（ｎ）
の左画像部分３０Ｌ（ｎ）は「ｎ番目」のステップで画像記録媒体２１上に記録
された左領域２６Ｌに対応し、右画像部分３０Ｒ（ｎ）は同じ「ｎ番目」のステ
ップで画像記録媒体２１上に記録された右領域２６Ｒに対応する。パノラマモザ
イク画像生成器１２は、連続画像３０（１）、３０（２）、．．．、３０（Ｎ）
を受け取り、矢印３２Ｌ（１）、３２Ｌ（２）、．．．、３２Ｌ（Ｎ）が示すよ
うに、それからの左画像部分３０Ｌ（１）、３０Ｌ（２）、．．．、３０Ｌ（Ｎ
）をまとめてモザイク処理して左パノラマ画像３１Ｌを形成する。同様に、パノ
ラマモザイク画像生成器１２は、矢印３２Ｒ（１）、３２Ｒ（２）、．．．、３
２Ｒ（Ｎ）が示すように、それからの右画像部分３０Ｒ（１）、３０Ｒ（２）、
．．．、３０Ｒ（Ｎ）をまとめてモザイク処理して右パノラマ画像３１Ｒを形成
する。パノラマモザイク画像生成器１２は、画像または画像の部分をまとめてモ
ザイク処理するための任意の従来の技法を使用して左右のパノラマ画像３１Ｌお
よび３１Ｒを生成することができる。左右のパノラマ画像３１Ｌおよび３１Ｒは
、図１Ｂに関連して前述した左右の視野円５Ｌおよび５Ｒを描いて回転するとき
に観察者がそれぞれ自分の左右の目を通して見ると思われるものに適合すること
が分かるだろう。パノラマモザイク画像生成器１２はそれぞれの画像ストリップ
として左右のパノラマ画像３１Ｌおよび３１Ｒを生成することができるか、また
はそれぞれの左右の端部をまとめてモザイク処理することにより、それぞれの連
続ループとして画像を形成することができる。しかも、この画像は、用紙または
フィルムなどの従来の媒体、電子または磁気データ記憶域内のディジタル形式、
または当業者には分かるようなその他の媒体上に形成するかまたはそこに記憶す
ることができる。
【００２０】 それぞれの画像３０（ｎ）の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）
の幅は、一般にスクリーン２２の左右のスリット２５Ｌおよび２５Ｒ（図３）の
幅に相関するものであり、一般に連続ステップのためにモータ１６が拘束される
角度を決定することになることがさらに分かるだろう。連続ステップ間の角度は
、連続画像部分３０Ｌ（１）、３０Ｌ（２）、．．．、３０Ｌ（Ｎ）をまとめて
モザイク処理すると単一かつ連続的な左パノラマ画像３１Ｌを提供することがで
き、連続画像３０Ｒ（１）、３０Ｒ（２）、．．．、３０Ｒ（Ｎ）をまとめてモ
ザイク処理すると単一かつ連続的な右パノラマ画像３１Ｒを提供することができ
ることを保証するようなものになる。
【００２１】 上記のように、一実施形態では、スクリーン２２（図３）は、画像記録媒体の
中央領域２６Ｃにおけるシーン２７の一部分の記録を容易にするために中央スリ
ット２５Ｃも有し、その一部分は左右の領域２６Ｌおよび２６Ｒ上に記録された
部分同士の中間物になる。それぞれの画像３０（ｎ）上に記録された中央画像部
分は図２では参照番号３０Ｃ（ｎ）によって識別される。その場合、パノラマモ
ザイク画像生成器１２は、連続画像３０（ｎ）の中央画像部分３０Ｃ（ｎ）から
中央パノラマ画像も生成することができる。このように生成された中央パノラマ
画像（図４には示されていない）は他の２つのパノラマ画像３１Ｌおよび３１Ｒ
のうちの一方とともに立体閲覧に使用することができるが、２つの画像間の対称
性によってゆがみが減少し、立体視不均衡が増すので、左右のパノラマ画像３１
Ｌおよび３１Ｒを使用することが好ましい。
【００２２】 マスト１４からカメラ１３までの距離ならびに左右のスリット２５Ｌおよび２
５Ｒ間の分離は、通常の立体視の場合、すべての光線２８Ｒ、２８Ｌが接する視
野円の半径が人間の両目の間の距離に近くなり、次にそれが図１Ａに関連して前
述した視野円の直径にだいたい対応するように選択される。また、視野円の直径
は誇張立体視または縮小立体視のために拡大または縮小できることが分かるだろ
う。
【００２３】 この背景により、左右のパノラマ画像３１Ｌおよび３１Ｒの生成に関して立体
パノラマ記録生成システム１０によって実行される動作について、図５の流れ図
に関連して説明する。図５を参照すると、マスト１４の軸が立体パノラマ用の回
転中心に位置するようにカメラリグ１１を位置決めした後、モータ制御部１７は
まず、モータ１６がカメラ１３を第１の画像３０（１）が記録される開始点に位
置決めできるようにする（ステップ１００）。カメラ１３がだいたい位置決めさ
れた後、モータ制御部１７はパノラマモザイク画像生成器１２に通知する（ステ
ップ１０１）。
【００２４】 その後、立体パノラマ記録生成システム１０は、複数回の反復により、マスト
１４の回転中心の周りの連続ステップで連続画像３０（１）、３０（２）、．．
．、３０（Ｎ）を記録する。各反復ごとに、パノラマモザイク画像生成器１２は
画像記録媒体２１上に１つの画像を第１の反復画像３０（１）として記録するよ
うにカメラ１３を制御する（ステップ１０２）。その動作では、パノラマモザイ
ク画像生成器１２は、画像記録媒体２１の露光を容易にするためにカメラのシャ
ッタ２３が開けるようにすることができる。画像記録媒体２１が適当に露光され
た後、シャッタ２３は閉じられる。その後、カメラ１３が画像記録媒体２１とし
てフィルムを使用する場合、そのフィルムを前に進めることができる。あるいは
、カメラ１３が画像記録媒体２１としてＣＣＤアレイを使用する場合、パノラマ
モザイク画像生成器１２は、その画像をカメラ１３によって維持されている記憶
媒体（図示せず）によって記憶するかまたは記憶のためにそれ（すなわち、パノ
ラマモザイク画像生成器１２）にダウンロードできるようにすることができる。
【００２５】 ステップ１０２で画像記録媒体２１によって画像が記録された後、パノラマモ
ザイク画像生成器１２は、立体パノラマ画像対用の左右のパノラマ画像３１Ｌお
よび３１Ｒを生成する際に使用されたすべての画像３０（１）から３０（Ｎ）が
記録されたかどうかを判定することになる（ステップ１０３）。ステップ１０３
でパノラマモザイク画像生成器１２が否定の判定を行った場合、すなわち、立体
パノラマ画像対に必要なすべての画像３０（１）から３０（Ｎ）が記録されたわ
けではないと判定された場合、それは、モータ制御部１７がステップを前進する
ようにモータ１６を制御できるようにする（ステップ１０４）。その後、他の画
像３０（２）の記録を容易にするために動作はステップ１０２に戻る。
【００２６】 立体パノラマ画像対に必要なすべての画像３０（１）から３０（Ｎ）が記録さ
れたとパノラマモザイク画像生成器１２がステップ１０３で判定するまで、立体
パノラマ記録生成システム１０は、複数回の反復によりステップ１０２から１０
４を実行し、それぞれの反復ではマスト１４の回転中心の周りの連続ステップの
それぞれで１つの画像３０（ｎ）を記録する。その時点で、パノラマモザイク画
像生成器１２は、立体パノラマ画像対を生成するために記録画像３０（ｎ）の処
理を開始することができる。その動作では、パノラマモザイク画像生成器１２は
まず、それぞれの画像３０（ｎ）の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（
ｎ）を識別し（ステップ１０５）、連続する左画像部分３０Ｌ（ｎ）をモザイク
処理して左パノラマ画像３１Ｌを形成し、連続する右画像部分３０Ｒ（ｎ）をモ
ザイク処理して右パノラマ画像３１Ｒを形成する（ステップ１０６）ことができ
る。パノラマモザイク画像生成器１２は、従来のモザイク処理技法を使用してス
テップ１０６で左右のパノラマ画像３１Ｌおよび３１Ｒを生成する。
【００２７】 図２に関連して前述した立体パノラマ記録生成システム１０は、マスト１４お
よびアーム１５上に取り付けられ、シーン２７のパノラマ画像を生成するために
必要なアークによりモータ１６およびモータ制御部１７によって回転される単一
カメラを使用するが、他の配置も使用することができる。たとえば、モータ制御
部を使用するのではなく、コンピュータビジョン技法を使用してビデオフレーム
から画像運動を測定することにより、マストの回転に近づけることができる。他
の例として、図６は、参照番号５０によって識別される本システムの第２の実施
形態の概略を示し、複数のカメラが円内に取り付けられている。好ましくは、そ
の円の直径は図２に関連して前述した回転カメラシステムと同じように、すなわ
ち、すべてのカメラの左スリットからの光線と右スリットからの光線が内部視野
円に接し、それが図１Ａに関連して前述した視野円５の直径に対応するように、
選択されることが分かるだろう。これらのカメラはそのシーンの画像を同時に記
録することができ、その後、図４に関連して前述したのと同じようにその画像を
処理して左右のパノラマ画像を生成することができる。図６を参照すると、立体
パノラマ記録生成システム５０は、円形支持部５２によって支持された複数のカ
メラ５１（１）から５１（Ｎ）（一般に参照番号５１（ｎ）によって識別される
）を含む。カメラの数「Ｎ」は、左右のパノラマ画像３１Ｌおよび３１Ｒを生成
するのに十分な左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）を提供するのに
必要な画像３０（Ｎ）の数「Ｎ」を生成するのに必要な数に対応する。カメラ５
１（ｎ）は、図１および図２に関連して前述した立体パノラマ記録生成システム
１０に使用するカメラ１３（図２）と同様のものにすることができる。それぞれ
のカメラ５１（ｎ）は、破線５２Ｌ（ｎ）および５２Ｒ（ｎ）ならびに矢印５３
（ｎ）によって表される特定の視野５２（ｎ）を有することになる。カメラの数
「Ｎ」、それぞれの視野５２（ｎ）、円形支持部５２の周りのそれぞれの配置は
、左右のパノラマ画像３１Ｌおよび３１Ｒが連続することを保証するために十分
な数の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）が記録されることを十分
保証できるものになる。
【００２８】 システム１０（図２）およびシステム５０（図６）では、カメラ１３および５
１（ｎ）は、ピンホールカメラまたは画像記録媒体２６上に画面２７から画像の
焦点を合わせるためのレンズを備えたカメラのいずれかとして記載されている。
図７から図９に関連して説明する他の実施形態では、シーン２７の画像をカメラ
に向かって反射させるためにミラーを使用する。図７から図９は、それぞれの立
体パノラマ記録生成システム用の画像記録コンポーネント（本質的に図２に示す
カメラリグ１１に類似するもの）を概略図形式で具体的に示しているが、このよ
うなシステム内に同じく含まれるパノラマモザイク画像生成器１２は示していな
い。まず図７を参照すると、同図は、多辺形ＣＣＤアレイ６１とミラーアレイ６
２とを含むカメラリグ６０の平面図の概略を示している。一実施形態では、ＣＣ
Ｄアレイ６１は上から見ると多辺形であり、各辺６０（１）から６０（Ｓ）（一
般に参照番号６０（ｓ）によって識別される）は２つのＣＣＤデバイス６１（ｓ
）（Ｌ）および６１（ｓ）（Ｒ）（一般に参照番号６１（ｓ）（ｌ／ｒ）によっ
て識別される）を有する。図７に示す例示的な実施形態では、ＣＣＤアレイ６１
は上から見ると八角形の形になっており、その場合、「Ｓ」は「８」になる。上
記のように、図７は上からのＣＣＤアレイ６１を示し、辺６０（ｓ）は好ましく
は正面から見たときに図７Ａに示すように正方形または矩形の構成を有すること
が分かるだろう。同様に、それぞれのＣＣＤデバイス６１（ｓ）（ｌ／ｒ）は好
ましくは、それぞれの辺６０（ｓ）を正面から見たときに正方形または矩形の構
成を有することになる。好ましくは、各辺６０（ｓ）のＣＣＤデバイス６１（ｓ
）（ｌ／ｒ）は、それぞれの辺６０（ｓ）を垂直に二等分する垂線６３の両側に
対称的に配置されることになる。
【００２９】 それぞれのミラー６４（ｓ）は八角形のＣＣＤアレイ６１の各辺６１（ｓ）か
ら変位しており、各ミラー６４（ｓ）は一般に互いに対して所定の角度で配置さ
れた左右のミラー面６５（ｓ）（Ｌ）および６５（ｓ）（Ｒ）（一般に参照番号
６５（ｓ）（ｌ／ｒ）によって識別される）を含み、頂点６６（ｓ）はＣＣＤア
レイ６１のそれぞれの辺６０（ｓ）の中心に向いており、それぞれの辺６０（ｓ
）を垂直に二等分する垂線６３に平行である。それぞれのミラー面６５（ｓ）（
ｌ／ｒ）は、あるシーンの一部分の画像を対応インデックス付きＣＣＤデバイス
６１（ｓ）（ｌ／ｒ）に向けるように配置されている。
【００３０】 近接ミラー６４（ｓ）および６４（ｓ′）の近接ミラーの左右のミラー面６５
（ｓ）（Ｌ）および６５（ｓ′）（Ｒ）（ｓ′＝ｓ＋１、モジュロＳ）は、それ
ぞれの左右のＣＣＤデバイス６１（ｓ）（Ｌ）および６２（ｓ′）（Ｒ）によっ
て記録するためにあるシーンの画像を向けるように機能する。これは以下の説明
から明らかになる。一般に、図７に示すように、あるシーン（図示せず）からの
それぞれの光線７０（ｓ）（Ｌ）および７０（ｓ′）（Ｒ）はそれぞれのミラー
面６５（ｓ）（Ｌ）および６５（ｓ′）（Ｒ）からそれぞれのＣＣＤデバイス６
１（ｓ）（Ｌ）および６１（ｓ）（Ｒ）に向かって反射する。光線７０（ｓ）（
Ｌ）および７０（ｓ）（Ｒ）は一般に、あるシーンの一部分の左右の方向からの
ものであることが分かるだろう。したがって、それぞれのミラー面６５（１）（
Ｌ）および６５（２）（Ｒ）によって提供されるように、ＣＣＤデバイス６２（
１）（Ｌ）および６２（２）（Ｒ）の組合せによって記録された画像は、あるシ
ーンの特定の領域用の適切な左右の画像を含むことになる。
【００３１】 連続インデックス付きＣＣＤデバイス６１（ｓ）（Ｌ）によって記録された画
像をまとめてモザイク処理して、左のパノラマモザイク画像を提供する。同様に
、連続インデックス付きＣＣＤデバイス６１（ｓ）（Ｒ）によって記録された画
像をまとめてモザイク処理すると、右のパノラマモザイク画像を提供することが
できる。
【００３２】 図８は、単一固定カメラと回転平面ミラーを使用する立体パノラマ記録生成シ
ステム用のカメラリグ８０を含む画像記録コンポーネントを上から見た平面図を
示している。図８を参照すると、カメラリグ８０はカメラ８１と平面ミラー８２
とを含む。カメラ８１は一般に従来のカメラである。ミラー８２は通常、垂直ポ
スト（図示せず）上に取り付けられ、図２に関連して前述したように、カメラ１
３およびアーム１５をモータ１６およびモータ制御部１７によって回転させる方
法と同様にモータ（同じく図示せず）によって回転させる。ミラー８２は好まし
くは矩形の形になり、その上辺を図８に示す。ミラー８２は破線矢印８４が示す
線に沿ってシーン８３からカメラ８１に向かって画像を反射する。カメラ８１に
供給される画像は反射画像なので、カメラの仮想視点または投射中心は破線矢印
８５によって定義される。ミラーが回転するにつれて、シーン８３のうちカメラ
に向かって反射される部分がミラーの回転中心上にセンタリングされた円の周り
を回転し、それに対するカメラ８１の有向仮想視点は円８６の周りを移動する。
ミラー８２が回転するにつれて、カメラ８１は、図４に関連して前述した画像３
０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４
に関連して前述したのと同様に、その画像の左右の画像部分をまとめてモザイク
処理して左右のパノラマ画像を生成することができる。
【００３３】 カメラ８１に供給される画像は反射画像なので、カメラの仮想視点または投射
中心は破線矢印８５によって定義される。ミラーが回転するにつれて、シーン８
３のうちカメラに向かって反射される部分がミラーの回転中心上にセンタリング
された円の周りを回転し、それに対するカメラ８１の有向仮想視点は円８６の周
りを移動する。ミラー８２が回転するにつれて、カメラ８１は、図４に関連して
前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像
生成器は、図４に関連して前述したのと同様に、その画像の左右の画像部分をま
とめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３４】 図９は、単一固定カメラと湾曲ミラーを使用する立体パノラマ記録生成システ
ム用のカメラリグ１００を含む画像記録コンポーネントを上から見た平面図を示
している。図９を参照すると、カメラリグ１００はカメラ１０１と湾曲ミラー１
０２とを含む。カメラ１０１は、従来のフィルムまたはビデオカメラなどの従来
のカメラである。ミラー１０２は好ましくは図９に示すように湾曲反射表面を有
する。ミラー１０２は、一般に参照番号１０４によって示される破線矢印が示す
光線に沿ってシーン１０５からカメラ１０１に向かって画像を反射するように湾
曲している。一般に、参照番号１０６によって示されるようにシーン１０５から
の光線がカメラの光学的中心に向けられるように、ミラー１０２が構築され、カ
メラ１０１が配置される。そのプロセスでは、そのシーンから反射され、想像上
の視野円１０３に接して投射される光線は、ミラー１０２から反射し、カメラの
光学的中心に向けられることになる。次にカメラ１０１は、光学的中心を通過す
る光線によって表される画像を受け取って記録するように配置される。湾曲ミラ
ー１０２が一般に約１８０度までの比較的広い角度付きアークの範囲を定めるシ
ーン１０５の画像の記録を容易にすることは明らかになるだろう。
【００３５】 カメラリグ１００は固定することができ、その場合、カメラリグは図９に示す
ようにシーン１０５のみの画像を記録することになる。３６０度全体を覆うため
に、例示的な実施形態はこのようなカメラリグを６台使用することができ、その
うちの３台は左目用の３６０度を覆うために使用し、他の３台は右目用の３６０
度を覆うために使用する。あるいはカメラリグ１００は、想像上の視野円１０３
上にセンタリングされた回転中心を回転するように取り付けることもできる。カ
メラ１０１およびミラー１０２を支持するために、どのような従来の支持部（図
示せず）を設けることもできる。この支持部は垂直ポスト（図示せず）上に取り
付けられ、アセンブリはモータ（同じく図示せず）によって回転され、いずれも
図２に関連して前述したようにカメラ１３およびアーム１５がモータ１６および
モータ制御部１７によって回転されるのと同様に行われる。アセンブリが回転す
るにつれて、カメラ１０１は図４に関連して前述した画像３０（ｎ）と同様の一
連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述した
のと同様に、画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ
画像を生成することができる。
【００３６】 上記のように、本発明は、それにより生成器１２などのパノラマモザイク画像
生成器がコンピュータグラフィックス技法を使用してパノラマ立体画像対を生成
することができる配置も提供する。これに関してパノラマモザイク画像生成器に
よって実行される動作については、図１０に関連して説明する。一般に、パノラ
マモザイク画像生成器は円１１０上に位置するカメラ用の画像を合成する。通常
の立体視効果を得るためには、円１１０の半径は人間の頭の半径程度でなければ
ならず、角度「ａ」はｄ＝２ｒ ｓｉｎ ａが人間の両目の間の距離にだいたい
対応するようなものでなければならない。円１１０上のすべての位置で角度「ｂ
」が角度「ａ」にだいたい対応する場合、図１０に示すように、１つの画像は２
通りの閲覧方向に人工的に生成され、一方は左パノラマ画像３１Ｌ用であり、も
う一方は右パノラマ画像３１Ｒ用である。図１０に示すように、各カメラ位置Ｐ
１、Ｐ２、．．．、の閲覧方向は、左パノラマ画像３１Ｌを生成する際に使用す
る画像の場合は右方向であり、右パノラマ画像３１Ｒを生成する際に使用する画
像の場合は左方向である。連続カメラ位置で生成されるすべての画像をまとめて
モザイク処理し、左右のパノラマ画像を作成する。
【００３７】 本発明は、パノラマモザイク画像生成器１２によって生成された左右のパノラ
マ画像３１Ｌおよび３１Ｒ（図４）を閲覧者に対して表示し、それにより閲覧者
がそれによって表されたパノラマを立体的に閲覧できるようにするためのシステ
ムをさらに対象とする。図１１から図１２Ｂに関連して、いくつかの例示的なパ
ノラマ画像表示システムについて説明する。図１１を参照すると、同図は、閲覧
者が自分の目の上に着けることができるゴーグルを含むパノラマ画像表示システ
ム１２０の概略を示している。一般に、パノラマ画像表示システム１２０は、左
右の表示装置１２１Ｌおよび１２１Ｒと、表示制御モジュール１２２と、左右の
表示制御部１２３Ｌおよび１２３Ｒと、ポインティングスティック１２４とを含
む。左右の表示装置１２１Ｌおよび１２１Ｒは、左右のそれぞれの目の上にゴー
グルとして閲覧者が身に着けることができる。左右の表示装置１２１Ｌおよび１
２１Ｒは、たとえば、薄膜トランジスタアクティブマトリックス型表示装置、液
晶表示装置などを含む、どのような便利な装置でも含むことができる。左右の表
示装置１２１Ｌおよび１２１Ｒは、たとえば、メガネの枠、マスクなどを含み、
それを閲覧者のそれぞれの目の正面に保持するどのような便利な配置にも取り付
けることができる。左右の表示制御部１２３Ｌおよび１２３Ｒは、表示制御モジ
ュール１２２の制御下で、左右のそれぞれの表示装置１２１Ｌおよび１２１Ｒが
左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒのうちの少なくとも選択した
部分を表示できるようにして、閲覧者がそれらを閲覧できるようにする。表示制
御モジュールにより、左右のパノラマ画像は、図１Ｂに関連して前述したように
、閲覧者の視野内の同じ相対位置でパノラマの同じ部分に関する画像を表示する
ように位置合せされることになる。閲覧者は、ポインティングスティック１２４
を使用して、そのシーンのうち閲覧者の目のすぐ正面にある特定の部分を調整す
るように表示制御モジュールを制御することができるが、これは図１Ａに関連し
て前述したようにそのシーンを閲覧する際に観察者の角位置を制御することと同
様である。
【００３８】 パノラマ画像が記録される表面の幾何学的形状は、画像が表示される表面の幾
何学的形状とは異なる可能性があるので、ゆがみを回避するためにその画像に対
する何らかの幾何学的変形が必要になる場合もある。たとえば、図２の回転カメ
ラシステムは円筒形の表面上にパノラマ立体画像を生成する。平らなスクリーン
を有するゴーグルを使用してその画像を表示する場合、その画像は、好ましくは
表示の前に円筒形から平面への変形を使用して矯正しなければならない。これに
対して、図１２Ａに示すように円筒形の画像を円筒形の劇場に表示する場合には
いかなる矯正も不要である可能性がある。
【００３９】 図１２Ａおよび図１２Ｂは閲覧者に対して立体パノラマを表示するための全方
向性劇場配置の概略を示しており、図１２Ａは一般に正面図を示し、図１２Ｂは
平面図を示す。図１２Ａおよび図１２Ｂに示す配置では、円筒形スクリーンによ
って範囲が定められた空間の内部に位置決めされた閲覧者の目に見えるように、
スクリーンの表面上に左右のパノラマ画像３１Ｌおよび３１Ｒが投射される。こ
れらの画像は直交方向に偏光させることができ、スクリーンによって範囲が定め
られた空間の内部に位置決めされ、偏光メガネを身に着けた閲覧者は、スクリー
ン上のパノラマ画像を立体的に閲覧することができる。左右のそれぞれのパノラ
マ画像３１Ｌおよび３１Ｒを含む画像は、スクリーンによって範囲が定められた
空間内に位置するプロジェクタによって、またはその外部の位置から投射するこ
とができる。画像は互いに直交して偏光されるので、閲覧者が身に着けたメガネ
のレンズの偏光により、閲覧者のそれぞれの目は、スクリーン上に投射された画
像のそれぞれ１つを受け取ることができるようになる。
【００４０】 したがって、図１２Ａおよび図１２Ｂを参照すると、全方向性劇場１４０は、
円筒形スクリーン１４１と、それぞれが２つのプロジェクタ１４３Ｌ（ｎ）およ
び１４３Ｒ（ｎ）を含む複数のプロジェクタセット１４２（１）から１４２（Ｎ
）（一般に参照番号１４２（ｎ）によって識別される）とを含む。各プロジェク
タセット１４２（ｎ）内のプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）の
それぞれは、左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒの一部分をスク
リーン１４１のそれぞれの部分上に投射する。プロジェクタセット１４２（ｎ）
の数は好ましくは、表示された画像がゆがまず、それぞれのプロジェクタセット
１４２（ｎ）によって表示される左右のパノラマ画像３１Ｌおよび３１Ｒの一部
分がスクリーン１４１の周りに連続画像を提供し、それによりパノラマ画像を提
供するように選択される。プロジェクタセット１４２（ｎ）は、図１２Ｂに示す
ようにスクリーン１４１の外部にその画像を投射するように位置決めすることが
できる。ただし、スクリーン１４１は、スクリーン１４１によって範囲が定めら
れた空間の内部で投射画像を閲覧できるようなものでなければならない。あるい
は、プロジェクタセット１４２（ｎ）はスクリーン１４１の内部にその画像を投
射するように位置決めすることもできる。スクリーン１４１によって範囲が定め
られた空間の内部に立ち、偏光メガネ１４５を身に着けた閲覧者１４４は、パノ
ラマ画像を立体的に閲覧できるようになる。
【００４１】 当業者であれば、偏光の使用に加え、他の立体分離の方法を使用して立体閲覧
を実行できることが分かるだろう。これはシャッタを備えた立体メガネを含み、
「左」と「右」の画像を交互に表示することにより機能する。このメガネは高速
シャッタを有し、それは、左の画像が表示される場合は、左目側が透明で、右目
側が不透明になり、右の画像が表示される場合はその逆になる。他の配置では、
緑と赤のメガネを備えた「アナグリフステレオ」を使用する。
【００４２】 本発明はいくつかの利点をもたらす。特に、本発明は、あるシーンの立体パノ
ラマ画像を生成し、閲覧者がそのパノラマ画像を立体的に閲覧できるようにその
閲覧者に対して画像を表示するためのシステムおよび方法を提供する。
【００４３】 ここに記載したシステムおよび方法に対して、いくつかの変更が可能であるこ
とは分かるだろう。たとえば、図２に関連して説明したシステムは、カメラ１３
が固定点の周りを回転できるようにすることにより、左右のパノラマ画像を提供
するものとして記載されているが、このシステムはむしろ、カメラ１３が１つの
線に沿って並進できるようにし、それにより細長いパノラマ画像を提供できるこ
とが分かるだろう。
【００４４】 しかも、ここに記載したシステムは静止パノラマ画像を記録し表示するものと
して記載されているが、そのシステムを使用して動画を立体的に記録し表示でき
ることが分かるだろう。たとえば、図６から図８に関連して説明したようなシス
テムは、回転カメラ、ミラーなどを使用するものではなく、経路に沿って必要に
応じて並進させ、並進するにつれて３６０Ｅのパノラマ画像を記録することがで
きる。図２および図８に関連して説明したようなシステムは、回転カメラ、ミラ
ーなどを使用するものであり、回転する間に並進させることもできる。しかし、
後者の場合、完全なパノラマを提供するために、カメラおよび／またはミラーを
並進させると同時に回転させることが必要になる。このカメラおよび／またはミ
ラーは、わずかに並進させる前に３６０Ｅの円全体を回転させることができ、こ
の動作を繰り返す。あるいは、並進が比較的遅く、カメラとミラーが並進するに
つれてまったく完全なパノラマを可能にするためにかなりオーバラップする場合
、一方または両方を回転させながら並進させることができる。いずれの場合も、
パノラマモザイク画像生成器１２は一連の左右のパノラマ画像３１Ｌおよび３１
Ｒを生成し、それを閲覧者に対して連続的に表示できることが分かるだろう。た
とえば、パノラマ画像表示システム１２０では、左右の表示装置１２１Ｌおよび
１２１Ｒが連続する左右のパノラマ画像を表示できるようになる。同様に、全方
向性劇場配置１４０では、それぞれのプロジェクタセット１４２（ｎ）の左右の
プロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）がスクリーン１４１のそれぞ
れの部分に左右のパノラマ画像３１Ｌおよび３１Ｒのそれぞれの部分を投射でき
るようになる。表示された左右の画像３１Ｌおよび３１Ｒが同じパノラマからの
ものになるように左右の表示装置１２１Ｌおよび１２１Ｒならびに様々なプロジ
ェクタセットによる左右のパノラマ画像の前進が同期化されることが分かるだろ
う。
【００４５】 しかも、カメラ１３は左右のスリット２５Ｌおよび２５Ｒを有するスクリーン
２２を含むものとして記載されているが、カメラ１３はスクリーンを含む必要が
ないことが分かるだろう。むしろ、パノラマモザイク画像生成器は、左右のそれ
ぞれのパノラマ画像３１Ｌおよび３１Ｒを生成する際に画像３１（ｎ）の左側部
分と右側部分のそれぞれからの断片を使用することができる。
【００４６】 しかも、パノラマ画像表示システム１２０は閲覧者の目に対して立体パノラマ
画像の中心の角位置を制御するためにポインティングスティックを使用するもの
として記載されているが、たとえば、閲覧者の頭の位置または角度の向きの変化
を判定するためにトラッカなどの配置を含む他の装置を使用できることが分かる
だろう。
【００４７】 さらに、本発明は、閲覧者に対して表示可能な左右のパノラマ画像３１Ｌおよ
び３１Ｒの生成に関連して使用するために画像を記録するための配置を含むもの
として記載されているが、左右のパノラマ画像３１Ｌおよび３１Ｒはむしろコン
ピュータグラフィックス技法を使用して生成できることが分かるだろう。
【００４８】 本発明により構築されたシステムは、たとえば、移動中に後で報告または分析
するため、ならびに教育およびマーケティングに使用するためにスポーツイベン
トを記録することを含む、いくつかの応用例で有用である可能性があることが分
かるだろう。しかも、本発明により構築されたシステムは、ロボット工学および
コンピュータビデオゲームに関連して有用である可能性がある。さらに、特定の
表示配置に関連して本発明を説明してきたが、コンピュータモニタ、テレビなど
での表示など、他のタイプの配置も有用である可能性があることが分かるだろう
。
【００４９】 本発明によるシステムは、専用ハードウェアまたは汎用コンピュータシステム
あるいはその組合せから全部または一部を構築することができ、そのいずれの部
分も適当なプログラムで制御できることが分かるだろう。どのようなプログラム
も、従来通り全部または一部が本システムの一部を含むかまたは本システム上に
記憶することができ、あるいは従来通り情報を転送するためのネットワークまた
は他のメカニズムにより全部または一部を本システム内に供給することができる
。しかも、本システムは、本システムに直接接続できるかまたは従来通り情報を
転送するためのネットワークまたは他のメカニズムにより本システムに情報を転
送できるオペレータ入力要素（図示せず）を使用してオペレータによって提供さ
れた情報により操作またはその他の方法で制御できることが分かるだろう。
【００５０】 上記の説明は、本発明の特定の実施形態に限定されている。しかし、本発明の
利点の一部または全部を達成するとともに、本発明の様々な変形形態および修正
形態が可能であることは明らかになるだろう。特許請求の範囲の目的は、本発明
の真の精神および範囲に該当するような上記その他の変形形態および修正形態を
含めることである。
【００５１】 本発明により構築されたシステムは、たとえば、移動中に後で報告または分析
するため、ならびに教育およびマーケティングに使用するためにスポーツイベン
トを記録することを含む、いくつかの応用例で有用である可能性があることが分
かるだろう。しかも、本発明により構築されたシステムは、ロボット工学および
コンピュータビデオゲームに関連して有用である可能性がある。さらに、特定の
表示配置に関連して本発明を説明してきたが、コンピュータモニタ、テレビなど
での表示など、他のタイプの配置も有用である可能性があることが分かるだろう
。
【００５２】 上記の説明は、本発明の特定の実施形態に限定されている。しかし、本発明の
利点の一部または全部を達成するとともに、本発明の様々な変形形態および修正
形態が可能であることは明らかになるだろう。特許請求の範囲の目的は、本発明
の真の精神および範囲に該当するような上記その他の変形形態および修正形態を
含めることである。
【図面の簡単な説明】
【図１Ａ】 本発明により構築された立体パノラマ画像を生成し表示するための配置によっ
て実行される動作を理解する際に有用な図である。
【図１Ｂ】 本発明により構築された立体パノラマ画像を生成し表示するための配置によっ
て実行される動作を理解する際に有用な図である。
【図２】 本発明の一実施形態により構築された立体パノラマ記録生成システムの概略を
示す図である。
【図３】 図２に示す立体パノラマ記録生成システムで使用するカメラの概略を示す図で
ある。
【図４】 図１Ｂに示すカメラによって記録された画像からの左右のパノラマ画像の生成
を示す図であり、図２に示す立体パノラマ記録生成システムのパノラマ画像生成
器の動作を理解する際に有用な図である。
【図５】 立体パノラマ記録生成システムによって実行される動作を示す流れ図である。
【図６】 本発明の第２の実施形態により構築された立体パノラマ記録生成システムの概
略を示す図である。
【図７】 本発明の第３の実施形態により構築された立体パノラマ記録生成システムの概
略を示す図である。
【図７Ａ】 本発明の第３の実施形態により構築された立体パノラマ記録生成システムの概
略を示す図である。
【図８】 本発明の第４の実施形態により構築された立体パノラマ記録生成システムの概
略を示す図である。
【図９】 本発明の第５の実施形態により構築された立体パノラマ記録生成システムの概
略を示す図である。
【図１０】 コンピュータグラフィックス技法を使用する立体パノラマ画像対の生成を理解
する際に有用な図である。
【図１１】 閲覧者に対して立体パノラマ画像を表示するための第１の配置の概略を示す図
である。
【図１２Ａ】 閲覧者に対して立体パノラマ画像を表示するための第２の配置の概略を示す図
である。
【図１２Ｂ】 閲覧者に対して立体パノラマ画像を表示するための第２の配置の概略を示す図
である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｚ 13/02 13/02 13/04 13/04 (31)優先権主張番号 ６０／１１３，９６２ (32)優先日 平成10年12月28日(1998．12．28) (33)優先権主張国 米国（ＵＳ） (31)優先権主張番号 ６０／１１６，１３８ (32)優先日 平成11年１月12日(1999．1．12) (33)優先権主張国 米国（ＵＳ） (31)優先権主張番号 ６０／１１６，１３９ (32)優先日 平成11年１月12日(1999．1．12) (33)優先権主張国 米国（ＵＳ） (31)優先権主張番号 ６０／１２３，０８０ (32)優先日 平成11年３月４日(1999．3．4) (33)優先権主張国 米国（ＵＳ） (31)優先権主張番号 ６０／１２９，９８７ (32)優先日 平成11年４月18日(1999．4．18) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ， ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，Ｃ Ｚ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ， ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 ローゼンシェイン ロバート エス． イスラエル エルサレム イフタッチ ス トリート ６ Ｆターム(参考） 5B050 AA09 BA11 CA06 DA07 EA19 EA24 FA02 FA06 5C022 AA01 AA13 AB62 AB68 AC27 AC51 AC74 CA01 CA02 5C061 AA02 AA03 AA20 AB03 AB06 AB08 AB12 AB18 AB20 AB21 5C082 AA27 BA42 BA47

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 あるシーンのパノラマ立体閲覧を容易にする際に使用するた
    めに左右のパノラマモザイク画像を含むパノラマモザイク画像対を生成するため
    のシステムであって、それぞれの位置に対応して各画像がそれぞれの左右の画像
    部分を有する一連の画像から左右のパノラマモザイク画像を生成し、それらの画
    像の部分をまとめてモザイク処理してそれぞれの左右のパノラマ画像を形成する
    ようにそれぞれが構成された左右のパノラマ画像生成器を含むことを特徴とする
    システム。
  2. 【請求項２】 それぞれの位置が角度の向きの変化に対応することを特徴と
    する請求項１に記載のシステム。
  3. 【請求項３】 それぞれの位置が並進位置に対応することを特徴とする請求
    項１に記載のシステム。
  4. 【請求項４】 前記一連の画像を生成するための画像生成器をさらに含むこ
    とを特徴とする請求項１に記載のシステム。
  5. 【請求項５】 前記画像生成器が所定のコンピュータグラフィックス技法を
    使用して前記一連の画像を生成することを特徴とする請求項４に記載のシステム
    。
  6. 【請求項６】 前記画像生成器が、あるシーンの画像を記録するように構成
    されたカメラリグを含むことを特徴とする請求項４に記載のシステム。
  7. 【請求項７】 前記カメラリグが前記一連の画像を記録し、左右のパノラマ
    画像が左右のパノラマ画像を生成する画像の部分を使用して生成することを特徴
    とする請求項６に記載のシステム。
  8. 【請求項８】 前記カメラリグが、左右のパノラマ画像生成器が使用する画
    像を別々に記録するための別々の画像レコードを含むことを特徴とする請求項７
    に記載のシステム。
  9. 【請求項９】 閲覧者に対して立体パノラマ画像を表示するためのシステム
    であって、前記画像の１つが前記閲覧者のそれぞれの目によって閲覧されるよう
    に前記閲覧者に対してあるシーンの左右のパノラマ画像を表示するように構成さ
    れたそれぞれの左右の表示要素を含むことを特徴とするシステム。
  10. 【請求項１０】 前記左右の表示要素のそれぞれが、閲覧者のそれぞれの目
    の正面に配置されるように構成された表示装置と、そのシーンの立体パノラマ視
    点を提供するように互いに位置決めして左右のパノラマ画像を表示するための表
    示制御部とを含むことを特徴とする請求項９に記載のシステム。
  11. 【請求項１１】 前記表示制御部により、閲覧者がパノラマ視点の位置を制
    御することができることを特徴とする請求項１０に記載のシステム。
  12. 【請求項１２】 前記左右の表示要素が、スクリーン上でオーバラップする
    前記左右のパノラマ画像の１つを投射するようにそれぞれが構成された複数のプ
    ロジェクタと、閲覧者のそれぞれの目に対する前記画像のそれぞれ１つの伝送を
    容易にするための配置とを含むことを特徴とする請求項９に記載のシステム。
JP2000591781A 1998-09-17 1999-09-16 パノラマ画像および動画を生成し表示するためのシステムおよび方法 Pending JP2003524927A (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US10072198P 1998-09-17 1998-09-17
US60/100,721 1998-09-17
US10272098P 1998-09-29 1998-09-29
US60/102,720 1998-09-29
US11396298P 1998-12-28 1998-12-28
US60/113,962 1998-12-28
US11613899P 1999-01-12 1999-01-12
US11613999P 1999-01-12 1999-01-12
US60/116,138 1999-01-12
US60/116,139 1999-01-12
US12308099P 1999-03-04 1999-03-04
US60/123,080 1999-03-04
US12998799P 1999-04-18 1999-04-18
US60/129,987 1999-04-18
PCT/IB1999/002124 WO2000039995A2 (en) 1998-09-17 1999-09-16 System and method for generating and displaying panoramic images and movies

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010051044A Division JP2010166596A (ja) 1998-09-17 2010-03-08 パノラマ画像および動画を生成し表示するためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2003524927A true JP2003524927A (ja) 2003-08-19
JP2003524927A5 JP2003524927A5 (ja) 2006-11-02

Family

ID=27568603

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2000591781A Pending JP2003524927A (ja) 1998-09-17 1999-09-16 パノラマ画像および動画を生成し表示するためのシステムおよび方法
JP2010051044A Pending JP2010166596A (ja) 1998-09-17 2010-03-08 パノラマ画像および動画を生成し表示するためのシステムおよび方法
JP2012204817A Expired - Fee Related JP5358015B2 (ja) 1998-09-17 2012-09-18 パノラマ画像および動画を生成し表示するためのシステムおよび方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2010051044A Pending JP2010166596A (ja) 1998-09-17 2010-03-08 パノラマ画像および動画を生成し表示するためのシステムおよび方法
JP2012204817A Expired - Fee Related JP5358015B2 (ja) 1998-09-17 2012-09-18 パノラマ画像および動画を生成し表示するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US6665003B1 (ja)
EP (1) EP1048167B1 (ja)
JP (3) JP2003524927A (ja)
AT (1) ATE420528T1 (ja)
DE (1) DE69940253D1 (ja)
IL (2) IL136128A0 (ja)
WO (1) WO2000039995A2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011043249A1 (ja) * 2009-10-09 2011-04-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011043248A1 (ja) * 2009-10-09 2011-04-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011082920A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011078066A1 (ja) * 2009-12-25 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011078065A1 (ja) * 2009-12-25 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011223291A (ja) * 2010-04-09 2011-11-04 Sony Corp 撮像装置、表示制御方法およびプログラム
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
WO2012039307A1 (ja) * 2010-09-22 2012-03-29 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2012039306A1 (ja) * 2010-09-22 2012-03-29 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2012086326A1 (ja) * 2010-12-24 2012-06-28 富士フイルム株式会社 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
JP2013541884A (ja) * 2010-09-09 2013-11-14 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 携帯型装置でのステレオスコピック（３ｄ）のパノラマ生成
JP2017040687A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム
JP2017040686A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム
JP2018522429A (ja) * 2015-05-27 2018-08-09 グーグル エルエルシー パノラマバーチャルリアリティコンテンツのキャプチャおよびレンダリング
US10375381B2 (en) 2015-05-27 2019-08-06 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10474228B2 (en) 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US7996878B1 (en) * 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US7477284B2 (en) * 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
US7710451B2 (en) * 1999-12-13 2010-05-04 The Trustees Of Columbia University In The City Of New York Rectified catadioptric stereo sensors
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US6917701B2 (en) * 2001-08-29 2005-07-12 Intel Corporation Omnivergent stereo image capture
DE60331534D1 (de) * 2002-04-25 2010-04-15 Sony Corp Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildverarbeitungsprogramm
IL150131A (en) 2002-06-10 2007-03-08 Rafael Advanced Defense Sys A method for turning a series of monoscopic images into a series of stereoscopic images
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
US20040041906A1 (en) * 2002-09-04 2004-03-04 Fruit Theodoric Benjamin Method for producing a real-time, moving, stereoscopic, preview image
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
US7333113B2 (en) * 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
DE10320975A1 (de) * 2003-05-09 2004-12-09 Siemens Ag Aufnahmevorrichtung zur fotografischen Aufnahme von Bildsequenzen
US20050025313A1 (en) * 2003-06-19 2005-02-03 Wachtel Robert A. Digital imaging system for creating a wide-angle image from multiple narrow angle images
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
WO2005050560A1 (en) * 2003-11-20 2005-06-02 Yissum Research Development Company Of The Hebrew University Of Jerusalem Image mosaicing responsive to camera ego motion
DE10359925A1 (de) * 2003-12-19 2005-07-14 Siemens Ag Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung und Computerprogrammprodukt
JP2007517264A (ja) 2003-12-26 2007-06-28 マイコイ・コーポレーション 多次元の撮像装置、システムおよび方法
US7079173B2 (en) * 2004-02-04 2006-07-18 Hewlett-Packard Development Company, L.P. Displaying a wide field of view video image
CN1998153A (zh) * 2004-05-10 2007-07-11 辉达公司 用于视频数据的处理器
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
JP2006033257A (ja) * 2004-07-14 2006-02-02 Fujitsu Ltd 画像配信装置
US7791638B2 (en) * 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
EP1854282B1 (en) * 2004-11-05 2019-02-27 Briefcam Ltd. Method and system for spatio-temporal video warping
US20060103723A1 (en) * 2004-11-18 2006-05-18 Advanced Fuel Research, Inc. Panoramic stereoscopic video system
IL166305A0 (en) 2005-01-14 2006-01-15 Rafael Armament Dev Authority Automatic conversion from monoscopic video to stereoscopic video
US7796152B2 (en) * 2005-04-04 2010-09-14 Micoy Corporation Multi-dimensional imaging
US8004558B2 (en) 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
KR101299840B1 (ko) * 2005-07-01 2013-08-23 소니 주식회사 모바일 모션 캡쳐 카메라
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
CA2640834C (en) 2005-11-15 2014-08-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
WO2008004222A2 (en) 2006-07-03 2008-01-10 Yissum Research Development Company Of The Hebrew University Of Jerusalem Computer image-aided method and system for guiding instruments through hollow cavities
US20080078935A1 (en) * 2006-09-28 2008-04-03 Bijwaard Dennis Johannes Adria Imaging apparatus
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US8184906B2 (en) * 2007-06-21 2012-05-22 Samuel Chrichton Chaffey System and method for creating images
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
WO2009039512A1 (en) * 2007-09-21 2009-03-26 The Trustees Of Columbia University In The City Of New York Systems and methods for panoramic imaging
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
SG166690A1 (en) * 2009-05-13 2010-12-29 Sony Corp Camera for multiple perspective image capturing
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP5337658B2 (ja) * 2009-10-02 2013-11-06 株式会社トプコン 広角撮像装置及び測定システム
CA2781232C (en) * 2009-11-21 2018-01-02 Diehl Bgt Defence Gmbh & Co. Kg Method for combining at least two images to form a panoramic image
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
KR20120046802A (ko) * 2010-10-27 2012-05-11 삼성전자주식회사 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
KR101776702B1 (ko) * 2011-03-25 2017-09-08 한화테크윈 주식회사 3차원 영상을 생성하는 감시 카메라 및 그 방법
KR101685418B1 (ko) * 2011-04-27 2016-12-12 한화테크윈 주식회사 3차원 영상을 생성하는 감시 시스템
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
US9019352B2 (en) * 2011-11-21 2015-04-28 Amchael Visual Technology Corp. Two-parallel-channel reflector with focal length and disparity control
US9710958B2 (en) 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US8995788B2 (en) * 2011-12-14 2015-03-31 Microsoft Technology Licensing, Llc Source imagery selection for planar panorama comprising curve
US9019316B2 (en) * 2012-04-15 2015-04-28 Trimble Navigation Limited Identifying a point of interest from different stations
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
WO2014071400A1 (en) 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
JP6111702B2 (ja) * 2013-01-31 2017-04-12 株式会社ソシオネクスト 表示システム、表示装置
US9967549B2 (en) * 2013-03-20 2018-05-08 Mediatek Inc. 3D image capture method with 3D preview of preview images generated by monocular camera and related electronic device thereof
US9398215B2 (en) 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
US20150138311A1 (en) * 2013-11-21 2015-05-21 Panavision International, L.P. 360-degree panoramic camera systems
EP3080986A4 (en) * 2013-12-13 2017-11-22 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
CN104702907B (zh) * 2014-03-20 2019-05-10 杭州海康威视数字技术股份有限公司 一种视频拼接的实现方法和系统
US9185391B1 (en) * 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
KR102249831B1 (ko) 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
KR101808129B1 (ko) * 2014-10-14 2017-12-13 한국전자통신연구원 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
US10523929B2 (en) * 2016-04-27 2019-12-31 Disney Enterprises, Inc. Systems and methods for creating an immersive video content environment
US9674435B1 (en) * 2016-07-06 2017-06-06 Lawrence Maxwell Monari Virtual reality platforms for capturing content for virtual reality displays
US10346950B2 (en) 2016-10-05 2019-07-09 Hidden Path Entertainment, Inc. System and method of capturing and rendering a stereoscopic panorama using a depth buffer
US10419669B2 (en) 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
GB2560301A (en) * 2017-02-20 2018-09-12 Nokia Technologies Oy Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1314623C (en) * 1988-09-20 1993-03-16 Naoshi Suzuki Image pickup system capable of obtaining a plurality of stereo images with different base height ratios
JPH0348233A (ja) * 1989-07-17 1991-03-01 Sony Corp 立体映像記録及び投影装置
US5049987A (en) * 1989-10-11 1991-09-17 Reuben Hoppenstein Method and apparatus for creating three-dimensional television or other multi-dimensional images
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US6301447B1 (en) 1991-05-13 2001-10-09 Interactive Pictures Corporation Method and system for creation and interactive viewing of totally immersive stereoscopic images
US5686975A (en) * 1993-10-18 1997-11-11 Stereographics Corporation Polarel panel for stereoscopic displays
JPH07181424A (ja) * 1993-12-22 1995-07-21 Canon Inc 複眼式画像表示装置
US5510831A (en) * 1994-02-10 1996-04-23 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using suit scanning of parallax images
JPH07298307A (ja) * 1994-04-28 1995-11-10 Canon Inc 画像記録再生装置
US5929951A (en) * 1994-10-21 1999-07-27 Canon Kabushiki Kaisha Illumination device and display apparatus including same
JP3458486B2 (ja) * 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5659323A (en) * 1994-12-21 1997-08-19 Digital Air, Inc. System for producing time-independent virtual camera movement in motion pictures and other media
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US6252707B1 (en) * 1996-01-22 2001-06-26 3Ality, Inc. Systems for three-dimensional viewing and projection
JPH09322030A (ja) * 1996-05-27 1997-12-12 Mitsubishi Heavy Ind Ltd カメラヘッド
US5768447A (en) * 1996-06-14 1998-06-16 David Sarnoff Research Center, Inc. Method for indexing image information using a reference model
GB2314203B (en) * 1996-06-15 2000-11-08 Ibm Auto-stereoscopic display device and system
US5790182A (en) * 1996-08-05 1998-08-04 Interval Research Corp. System and method for panoramic imaging using concentric spherical mirrors
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
US6278480B1 (en) * 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
GB9720864D0 (en) * 1997-10-01 1997-12-03 Univ Nottingham Trent Line-scan imaging in 3-d
WO1999018725A1 (en) * 1997-10-08 1999-04-15 Interactive Pictures Corporation (Ipix) Method and system for the creation and interactive viewing of totally immersive stereoscopic images
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011043248A1 (ja) * 2009-10-09 2011-04-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011082920A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
WO2011043249A1 (ja) * 2009-10-09 2011-04-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8687048B2 (en) 2009-12-25 2014-04-01 Sony Corporation Image processing apparatus and method, and program
WO2011078066A1 (ja) * 2009-12-25 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011078065A1 (ja) * 2009-12-25 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011135459A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011135458A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011223291A (ja) * 2010-04-09 2011-11-04 Sony Corp 撮像装置、表示制御方法およびプログラム
US8736666B2 (en) 2010-04-09 2014-05-27 Sony Corporation Imaging device, display control method and program
US9210408B2 (en) 2010-06-24 2015-12-08 Fujifilm Corporation Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JP5390707B2 (ja) * 2010-06-24 2014-01-15 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JP2013541884A (ja) * 2010-09-09 2013-11-14 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 携帯型装置でのステレオスコピック（３ｄ）のパノラマ生成
WO2012039307A1 (ja) * 2010-09-22 2012-03-29 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2012039306A1 (ja) * 2010-09-22 2012-03-29 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012070154A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012068380A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5214826B2 (ja) * 2010-12-24 2013-06-19 富士フイルム株式会社 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
WO2012086326A1 (ja) * 2010-12-24 2012-06-28 富士フイルム株式会社 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
US8687041B2 (en) 2010-12-24 2014-04-01 Fujifilm Corporation Stereoscopic panorama image creating apparatus, stereoscopic panorama image creating method, stereoscopic panorama image reproducing apparatus, stereoscopic panorama image reproducing method, and recording medium
US10474228B2 (en) 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine
JP2018522429A (ja) * 2015-05-27 2018-08-09 グーグル エルエルシー パノラマバーチャルリアリティコンテンツのキャプチャおよびレンダリング
US10375381B2 (en) 2015-05-27 2019-08-06 Google Llc Omnistereo capture and render of panoramic virtual reality content
JP2017040687A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム
JP2017040686A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム
US10474414B2 (en) 2015-08-17 2019-11-12 Ricoh Company, Ltd. Image display system, information processing apparatus, and image display method

Also Published As

Publication number Publication date
WO2000039995A3 (en) 2000-11-23
IL136128A0 (en) 2001-05-20
EP1048167A1 (en) 2000-11-02
EP1048167A4 (en) 2005-06-08
JP2010166596A (ja) 2010-07-29
IL136128A (en) 2013-01-31
EP1048167B1 (en) 2009-01-07
US6665003B1 (en) 2003-12-16
ATE420528T1 (de) 2009-01-15
JP2012257329A (ja) 2012-12-27
WO2000039995A2 (en) 2000-07-06
JP5358015B2 (ja) 2013-12-04
DE69940253D1 (de) 2009-02-26

Similar Documents

Publication Publication Date Title
JP5358015B2 (ja) パノラマ画像および動画を生成し表示するためのシステムおよび方法
US6831677B2 (en) System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
JP5172972B2 (ja) 立体映像表示装置
US20060109200A1 (en) Rotating cylinder multi-program and auto-stereoscopic 3D display and camera
JP3787841B2 (ja) 表示装置および表示方法
US20080266523A1 (en) Display apparatus
JP2004514951A (ja) 球面立体視撮影システム及びその方法
KR20070007059A (ko) 다중-차원 촬영 장치, 시스템, 및 방법
US20060023065A1 (en) Multiple program and 3D display with high resolution display and recording applications
WO2018237263A1 (en) VISUAL DISPLAY WITH TEMPORAL MULTIPLEXING FOR STEREOSCOPIC VIEW
JP2006525534A (ja) 立体視ディスプレー
JP2001238229A (ja) 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
KR100430381B1 (ko) 입체 영상 표시 장치
EP1083757A2 (en) Stereoscopic image display apparatus
WO2003054625A1 (en) A panoramic stereoscopic imaging method and apparatus
RU2718777C2 (ru) Объемный дисплей
WO2018161648A1 (zh) 图像显示系统
JP2003519445A (ja) 立体システム
CA2194630A1 (en) Viewing system for electronic 3-d animation and 3-d viewing mirror
JPH10282453A (ja) 時分割レンチキュラ三次元表示装置
WO1997031484A1 (fr) Systeme de reconnaissance optique large champ
JPH11220758A (ja) ステレオ画像表示方法及び装置
JP2001209004A (ja) 画像鑑賞メガネ
JPH07134345A (ja) 立体画像撮影装置、立体画像撮影用アタッチメントおよび立体画像観賞装置
JP2001312018A (ja) ２枚組み画像および該画像を得るためのステレオカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060915

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090410

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090710

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090810

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100308