JP2004512701A - System and method for capturing and displaying a stereoscopic panoramic image - Google Patents

System and method for capturing and displaying a stereoscopic panoramic image Download PDF

Info

Publication number
JP2004512701A
JP2004512701A JP2001576672A JP2001576672A JP2004512701A JP 2004512701 A JP2004512701 A JP 2004512701A JP 2001576672 A JP2001576672 A JP 2001576672A JP 2001576672 A JP2001576672 A JP 2001576672A JP 2004512701 A JP2004512701 A JP 2004512701A
Authority
JP
Japan
Prior art keywords
stereoscopic
image
handling system
panoramic image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001576672A
Other languages
Japanese (ja)
Other versions
JP2004512701A5 (en
Inventor
ペレグ　シュミュエル
ベン　エツラ　モシェ
プリッチ　イェール
Original Assignee
イッサム　リサーチ　ディベロップメント　カンパニー　オブ　ザ　ヘブリュー　ユニバーシティ　オブ　エルサレム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イッサム　リサーチ　ディベロップメント　カンパニー　オブ　ザ　ヘブリュー　ユニバーシティ　オブ　エルサレム filed Critical イッサム　リサーチ　ディベロップメント　カンパニー　オブ　ザ　ヘブリュー　ユニバーシティ　オブ　エルサレム
Publication of JP2004512701A publication Critical patent/JP2004512701A/en
Publication of JP2004512701A5 publication Critical patent/JP2004512701A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

立体画像作成システムが提供される。当システムは、少なくとも１基の立体データ記録送信装置（１１Ａ〜１１Ｎ）と、少なくとも１基の利用装置（１２Ａ〜１２Ｎ）と、分配チャネル（１３）とを備える。前記少なくとも１基の立体データ記録送信装置は、画像を記録し、これから、１組の立体パノラマ画像セットを作成することができる。前記利用装置は、前記立体画像セットを視たり、プリントしたり、他の方法で利用したりするために設けられる。前記分配チャネルは、立体データ記録送信装置と利用装置との間に情報を送信するのを可能とする。情報には、前記立体データで記録された画像、あるいは立体画像セット自体が含まれる。多種多様の構成の立体データ記録送信装置、例えば、固定および可動のミラー、プリズム、レンズなどが多数開示されているが、これらは本発明の立体画像作成システムにおける立体データ記録送信装置に用いることができるものである。A stereoscopic image creation system is provided. The system includes at least one stereoscopic data recording and transmitting device (11A to 11N), at least one utilization device (12A to 12N), and a distribution channel (13). The at least one stereoscopic data recording and transmitting device can record an image, and create a stereoscopic panoramic image set from the image. The utilization device is provided for viewing, printing, and utilizing the stereoscopic image set in other ways. The distribution channel allows information to be transmitted between the stereoscopic data recording and transmitting device and the utilizing device. The information includes the image recorded with the stereoscopic data or the stereoscopic image set itself. Many types of three-dimensional data recording and transmitting devices having various configurations, for example, fixed and movable mirrors, prisms, lenses, and the like are disclosed, but these can be used for the three-dimensional data recording and transmitting device in the three-dimensional image creation system of the present invention. You can do it.

Description

【０００１】
（参考文献）
シュムエル・ペレッグ（Ｓｈｍｕｅｌ　Ｐｅｌｅｇ）らの名前の１９９９年９月１６日付け米国特許出願第０９／３９６，２４８号、名称「パノラマ画像と動画を作成し、ディスプレイするシステムと方法（Ｓｙｓｔｅｍ　ａｎｄ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｇｅｎｅｒａｔｉｎｇ　ａｎｄ　Ｄｉｓｐｌａｙｉｎｇ　Ｐａｎｏｒａｍｉｃ　Ｉｍａｇｅｓ　ａｎｄ　Ｍｏｖｉｅｓ）」（以下、「ペレッグ特許出願Ｉ」と称する）は、本出願人の出願になるものであるが、これを参考文献として本明細書に引用する。
【０００２】
シュムエル・ペレッグ（Ｓｈｍｕｅｌ　Ｐｅｌｅｇ）らの名前の２０００年１１月２９日付け米国特許出願第０９／７２６，１９８号、名称「立体パノラマ画像ペアに有用なパノラマ画像を記録する立体パノラマカメラ配置（Ｓｔｅｒｅｏ　Ｐａｎｏｒａｍｉｃ　Ｃａｍｅｒａ　Ａｒｒａｎｇｅｍｅｎｔｓ　Ｆｏｒ　Ｒｅｃｏｒｄｉｎｇ　Ｐａｎｏｒａｍｉｃ　Ｉｍａｇｅｓ　Ｕｓｅｆｕｌ　Ｉｎ　Ａ　Ｓｔｅｒｅｏ　Ｐａｎｏｒａｍｉｃ　Ｉｍａｇｅ　Ｐａｉｒ）」（以下、「ペレッグ特許出願ＩＩ」と称する）は、本出願人の出願になるものであるが、これを参考文献として本明細書に引用する。
【０００３】
シュムエル・ペレッグ（Ｓｈｍｕｅｌ　Ｐｅｌｅｇ）らの名前の２００１年２月２４日付け米国特許出願第０９／７９２，６３８号、名称「立体パノラマ画像ペアにおけるディスプレイの調整を容易にするシステムと方法（Ｓｙｓｔｅｍ　Ａｎｄ　Ｍｅｔｈｏｄ　Ｆｏｒ　Ｆａｃｉｌｉｔａｔｉｎｇ　Ｔｈｅ　Ａｄｊｕｓｔｍｅｎｔ　Ｏｆ　Ｄｉｓｐａｒｉｔｙ　Ｉｎ　Ａ　Ｓｔｅｒｅｏ　Ｐａｎｏｒａｍｉｃ　Ｉｍａｇｅ　Ｐａｉｒ）」（以下、「ペレッグ特許出願ＩＩＩ」と称する）は、本出願人の出願になるものであるが、これを参考文献として本明細書に引用する。
【０００４】
（技術分野）
本発明は一般に、画像を記録、作成する分野に関し、特に、パノラマ画像を立体的に作成、表示、印刷することに関する。本発明は、特に、立体パノラマ画像セットを作成、表示するシステムと方法を提供する。この立体パノラマ画像セットは、シーンの各画像を少なくとも２枚含み、各画像は相異なる視野方向を有し、視る人が各々左目と右目で同時に視ると、視る人にはシーンが立体画像に見えるものである。
【０００５】
（背景技術）
パノラマ画像とは、最大３６０°の超広角度視野を有するシーン画像である。パノラマ画像は広角レンズやミラーなどを用いて記録され、広角度視野を提供することができるものである。広角度視野を有するパノラマ画像は、例えば、ある特定のポイント周りで複数の画像を記録し、従来のモザイク処理技法を用い、単一のモザイク画像を作成することによって行うことができる。パノラマ画像は、また、従来のコンピュータグラフィック技法を用いて模擬されたシーンからも作成できる。立体パノラマ画像も、また、当業者に既知の多岐にわたる技法を用いて多くの画像から作成することができる。技法の一つで、１９９８年開催のディー・エイ・アール・ピー・エイ画像理解ワークショップ（ＤＡＲＰＡ　Ｉｍａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ　Ｗｏｒｋｓｈｏｐ」で発表されたジョシュア・グルックマン（Ｊｏｓｈｕａ　Ｇｌｕｃｋｍａｎ）らの論文「リアルタイム多方向およびパノラマステレオ（Ｒｅａｌ−Ｔｉｍｅ　Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ　Ａｎｄ　Ｐａｎｏｒａｍｉｃ　Ｓｔｅｒｅｏ）」に記載の方法では、共通軸に沿って垂直方向に配置された、２台の多方向カメラを用いて、周囲のシーンのパノラマ画像を記録する。カメラが離れて配置されているので、これら２台のカメラで記録された画像のペアは、組み合わせて考慮されると、カメラの周囲のシーンにある被写体に関する奥行き情報を与える。しかし、カメラ配置が垂直方向なので、上記のように記録された画像は、人が立体パノラマとして視覚するには不適切である。
【０００６】
（発明の開示）
本発明は、立体パノラマ画像セットを作成、表示する改良された新しいシステムと方法を提供する。この立体パノラマ画像セットは、シーンの各パノラマ画像を少なくとも２枚含み、各画像は相異なる視野方向を有し、視る人が各々左目と右目で同時に視ると、視る人にはシーンが立体画像に見えるものである。
【０００７】
簡単に要約すると、本発明は、立体画像セットを含む画像を作成、使用するのに用いられる画像を記録する配置システムを提供する。この配置システムは、少なくとも１基の立体データ記録送信装置（立体データソース；　ｓｔｅｒｅｏ　ｄａｔａ　ｓｏｕｒｃｅ）と少なくとも１基の利用装置と分配チャネルとを備える。前記少なくとも１基の立体データ記録送信装置は、立体画像セットを作成できる画像を記録する。前記利用装置は、立体画像セットを用いて視たり、印刷したりなどを可能とするために設けられる。前記分配チャネルは、立体データ記録送信装置と利用装置との間の情報送信を可能とするものであり、前記情報には、立体データ記録送信装置によって記録された画像、または得られた立体画像セット自体が含まれる。立体画像セットが複数のモザイク画像から構成される場合は、これらモザイク画像は、前記の立体データ記録送信装置、画像利用装置、および／または分配チャネルを用いて作成することができる。
【０００８】
多種多様の構成の立体データ記録送信装置、例えば、固定および可動のミラー、プリズム、レンズなどが多数開示されるが、これらは本発明の立体画像作成システムにおける立体データ記録送信装置に用いることができるものである。
【０００９】
（発明を実施するための最良の形態）
本発明は、前記の特許請求の範囲に記載されるとおりである。本発明の上記内容および更なる利点は、添付の図面に関して行われる以下の説明を参照すれば、より良く理解することができる。
【００１０】
図１は、本発明に基づいて構成された、立体パノラマ画像を記録、作成、表示するための立体パノラマ画像作成システム１０の概略を示す。図１を参照すると、立体パノラマ画像作成システム１０は、１基または複数基の立体データ記録送信装置１１Ａ〜１１Ｎ（一般に参照数字１１ｎで識別）と１基または複数基の表示装置１２Ａ〜１２Ｎ（一般に参照数字１１ｍで識別）とを備える。一般に、各立体データ記録送信装置１１ｎは、画像を記録し、これからパノラマ画像の１セットを含む少なくとも１組みの立体パノラマ画像セットを作成する。各立体データ記録送信装置１１ｎは、また、作成した立体パノラマ画像セット各々を、分配チャネル１３経由で、１基または複数基の表示装置１２ｍに送信し、表示したり、レンチキュラープリント（ｌｅｎｔｉｃｕｌａｒ　ｐｒｉｎｔ；微小凸レンズフィルムによる立体印刷）を行ったり、あるいは当業者には明白の他の処置をする。
【００１１】
立体データ記録送信装置１１ｎの一例は、図２と図３とに関して以下に記載される。一般に、立体データ記録送信装置１１ｎは、画像記録部と、画像処理部と、通信部とを備える。画像記録部は、立体パノラマ画像セットの作成に使用される１個または複数個の画像を記録する。この画像記録部は、ペレッグ特許出願Ｉまたはペレッグ特許出願ＩＩに記載のものと同様なものでよい。画像記録部がペレッグ特許出願Ｉに記載のものと、あるいはペレッグ特許出願ＩＩに記載のものと、同様であって、画像記録部を回転および／または移動することによって、パノラマ画像の作成に使用される画像を記録できる場合は、少なくともこの画像記録部は、回転中心を含む軸の周りに回転されるとき、あるパスに沿って移動されるとき、あるいは回転と移動の組み合わせで動かされるとき、一連の画像を記録する。画像記録部は、回転および／または移動されるとき、一連の画像を記録し、これらの画像から、前記画像処理部が、ペレッグ特許出願Ｉに記載のように、または以下に図５に関して記載のように、立体パノラマ画像セットを含む少なくとも１組のパノラマ画像を作成する。一般に、立体パノラマ画像セットの作成では、前記画像記録部が一連の画像を記録する。立体パノラマ画像セットに含まれる各パノラマ画像を取得するには、前記画像処理部が、一連の画像から得られた画像細片を一緒にモザイク処理することによって、前記パノラマ画像を作成する。各画像から得られた細片は、ペレッグ特許出願Ｉに記載のように、すべて各画像の中心から等距離だけ離れているものでもよく、あるいはペレッグ特許出願ＩＩＩに記載のように、画像中心から相異なる距離に離れているものでもよい。別法としては、上記のように、前記パノラマ画像の作成は、図５に関して以下に記載のように行うことができる。
【００１２】
別法としては、前記画像記録部は、ペレッグ特許出願ＩＩに記載のものと同様なものでよい。ペレッグ特許出願ＩＩに記載の画像記録部の幾つかでは、各画像処理部を回転および／または移動することによって、一連の画像を記録し、これらの画像から得た細片を一緒にモザイク処理し、立体パノラマ画像セットを構成する１組のパノラマ画像を作成することができる。他方、ペレッグ特許出願ＩＩに記載されている画像記録部の他の幾つかでは、各画像記録部として、ステレオ（ｏｍｎｉ；オムニ）カメラを含む配置でよい。このタイプのものを用いると、直接的にパノラマ画像を記録し、モザイク処理を行わずに立体パノラマ画像セットを得ることができる。
【００１３】
前記通信部は、前記立体パノラマ画像セットを分配チャネル１３に送信して１基または複数基の表示装置１２ｍに分配することができる。一般に、通信部で送信される立体パノラマ画像セットを規定する情報は、デジタル形式であり、通信部としては、二つの装置の間にデジタルデータを送信することを可能とするものならどんなものでもよい。上記二つの装置は同じ個所に置かれたものでも、相異なる個所に置かれたものでもよい。通信部としては、例えば、ワイヤ、ケーブルまたは光ファイバ接続のような直接接続、ワイヤレス接続、デジタル形式で情報を伝えることを可能とする他のもの、またはこれらを組み合わせたものがある。直接接続としては、例えば、直接ネットワーク接続があり、間接接続としては、コンピュータ経由のネットワーク、交換機経由の公衆電話ネットワークなどが挙げられる。ワイヤレス接続としては、例えば、無線接続、セルラー（携帯）電話接続、赤外線接続などが挙げられる。
【００１４】
表示装置の例は、図４に関して以下に記載される。一般に、表示装置は、通信部と、画像記憶部と、ディスプレイ、プリンタまたは人が視る画像を作成する他の装置とを備える。表示装置の通信部は、分配チャネル１３から送られてくる立体パノラマ画像セットを受信可能とするものである。一般に、通信部で受信される立体パノラマ画像セットを規定する情報は、デジタル形式であり、通信部の例としては、ワイヤ、ケーブルまたは光ファイバ接続のような直接接続、セルラー電話接続のようなワイヤレス接続、またはデジタル形式で情報を伝えることができる他の装置が挙げられる。
【００１５】
画像記憶部は、分配チャネル１３から表示装置の通信部で受信した立体パノラマ画像セットを含むデジタル情報を記憶しておき、後でこれを表示するためのものである。画像記憶部に記憶可能な情報の量と立体パノラマ画像セットを含む情報の量とに依存するのであるが、画像記憶部は、立体パノラマ画像セットを１組のみ含む情報を記憶する能力のものとすることができるし、または立体パノラマ画像セットを複数組み含む情報を記憶する能力のものとすることもできる。
【００１６】
ディスプレイは、備えられる場合は、立体パノラマ画像セットを含む１組または複数組の画像の少なくとも一部を表示する。理解されることであるが、ディスプレイが画像一枚の少なくとも一部を表示する場合は、当画像は、視ると、立体的になっていない。他方、ディスプレイが、例えば、レンチキュラーレンズを用いて、画像二枚の少なくとも一部を表示する場合は、図６に関して以下に記載されるように、当画像は、視ると、立体的になっている。プリンタが備えられている場合は、プリンタは、立体パノラマ画像セットを含む１組または複数組の画像のハードコピーを作成することができるので、図６に関して以下に記載されるように、プリンタはレンチキュラープリントを作成することができる。このレンチキュラープリントは、視る人がレンチキュラーレンズを用いて視ると、前記立体パノラマ画像で示されたシーンの立体画像を得ることができる。
【００１７】
理解されることであるが、各立体データ記録送信装置１１ｎと表示装置１２ｍとは双方とも制御部を備え、各オペレータがこれらの制御を行うことができる。例えば、立体データ記録送信装置１１ｎが回転および／または移動しなければならない画像記録部を備える場合、当該画像記録部を回転および／または移動可能とする制御器を備えることができる。更に、立体データ記録送信装置１１ｎは、オペレータが画像記録部を起動し、シーンの画像記録を行えるようにし、画像処理部をしてシーンの立体パノラマ画像セットの作成を行わせ、次いで通信部をして立体パノラマ画像セットを分配チャネル１３に送信させ、当該立体パノラマ画像セットを１基または複数基の表示装置に送信することを可能とする制御器を備えることができる。
【００１８】
同様に、各表示装置１２ｍは、分配チャネル１３から立体パノラマ画像セットを受信し、画像記憶装置に記憶することを可能とする制御器を備えることができる。更に、各表示装置１２ｍは、表示される立体パノラマ画像セットを選択し、ディスプレイモードを選択し、分配チャネル１３から立体パノラマ画像セットを受信し、表示すべき立体パノラマ画像セットの一部を選択することを可能とする制御器を備えることができる。表示装置１２ｍは、各ディスプレイモードとして、立体パノラマ画像セットの少なくとも一部は勿論のこと、立体パノラマ画像セットの個々のパノラマ画像の少なくとも一部を選択的に表示でき、ディスプレイモードの選択により、選択された立体パノラマ画像セットの立体画像を１組または複数組表示することができる。更に、表示装置１２ｍは表示すべき立体パノラマ画像セットの各部分を選択することを可能とする制御器を備えることができるし、あるいは表示装置１２ｍに表示すべき立体パノラマ画像セットから得られた個々の画像の一部分が、そのようなディスプレイモードを与える。
【００１９】
上記のように、表示装置１２ｍは、立体パノラマ画像セットをレンチキュラーレンズで表示して立体的に見えるようにするディスプレイ装置の代わりに、あるいはそのようなディスプレイ装置に追加して、立体パノラマ画像セットを構成する画像の片方または両方の少なくとも一部のハードコピープリント、または立体パノラマ画像セットの少なくとも一部のハードコピープリントを作成するプリンタまたは同様な装置を備えることができる。このようなハードコピーは、レンチキュラーレンズを通して視ると、立体パノラマが見えるものである。プリンタまたは同様な装置を備える表示装置１２ｍは、そのようなハードコピープリントの作成を可能とする制御器を備えることができる。
【００２０】
このようなことを背景として、立体データ記録送信装置１１ｎの一例を、図２と図３に関して記載する。図２は、例示された立体データ記録送信装置１１ｎの外観平面図を示し、図３は、例示された立体データ記録送信装置の機能ブロック図である。一般に、例示された立体データ記録送信装置１１ｎは、例えば、オペレータが手で抱えたり、車に載せたりなどができるポータブル装置であり、立体パノラマ画像セットを作成する一連の画像を記録することができるように回転および／移動することができるポータブル装置である。更に、この装置は、立体パノラマ画像セットを含む情報をセルラー電話通信リンク上に送信する。図２を参照すると、例示された立体データ記録送信装置１１ｎは、ビデオカメラ２１を収容し支持するハウジング２０と、オペレータ制御パネル２２と、ディスプレイ２３と、アンテナ２４とを備える。ビデオカメラ２１は、上記の画像記録部を構成し、オペレータ制御パネル２２は、ビデオカメラ２１を起動して所定のオペレーションを行わせることができる複数の制御器を備える。これらの制御器は、多くの方法を用いて組み入れることができる。例えば、オペレータが押すと各制御器が起動できるプッシュボタン方式がそうである。
【００２１】
オペレータは、オペレータ制御パネル２２上の各制御器を起動することによって立体データ記録送信装置１１ｎを作動した後、ビデオカメラ２１をある特定の方向に向けることができる。ディスプレイ２３は、ビデオカメラ２１が記録する画像を表示できる。オペレータは、オペレータ制御パネル２２上の制御器を起動することによってビデオカメラ２１を作動することができる。オペレータは、画像記録制御器を起動し、立体データ記録送信装置１１ｎを回転／移動するときに、ビデオカメラ２１をして立体パノラマ画像セットを作成できる一連の画像を記録させることができる。立体データ記録送信装置１１ｎが一連の画像を記録し終わった後、オペレータが画像記録制御器のボタンを離すと、その時点でビデオカメラ２１は画像の記録を停止することができる。
【００２２】
オペレータは、立体データ記録送信装置１１ｎが一連の画像を記録し終わった後、オペレータ制御パネル２２上の他の制御器を起動し、立体データ記録送信装置１１ｎをして立体パノラマ画像セットを含むパノラマ画像を作成させることができる。パノラマ画像の少なくとも１枚が作成された後、オペレータはオペレータ制御パネル２２上の他の制御器を起動し、立体データ記録送信装置１１ｎをして、作成されたパノラマ画像の少なくとも一部分をディスプレイ２３に表示させることができる。この一部分の選択は、オペレータ制御パネル２２上の同じまたは他の制御器を用いて行うことができる。同様に、立体パノラマ画像セットの少なくとも二つのパノラマ画像が作成された後、オペレータはオペレータ制御パネル２２上の他の制御器を起動し、立体データ記録送信装置１１ｎをして、これら少なくとも２枚のパノラマ画像を立体的に見ることが可能なように表示させることができる。立体データ記録送信装置１１ｎが立体パノラマ画像セットを表示するに際しては、立体視を可能とするに必要な多くの種類の器具のうちどんなものを用いてもよい。このような器具としては、例えば、レンチキュラーレンズ、偏光レンズ付き眼鏡または相異なるカラーレンズ付き眼鏡があり、他の器具も当業者なら分かるものである。立体データ記録送信装置１１ｎは、これらの器具に対応する方法で立体パノラマ画像セットを表示する。
【００２３】
更に、立体データ記録送信装置１１ｎは、立体パノラマ画像セットを含むパノラマ画像を作成し終わった後、当該画像を分配チャネルに送り、表示装置１２ｍの各装置に分配することができる。上記のように、例示された立体データ記録送信装置１１ｎは、セルラー電話接続を用いて情報を分配チャネル１３に送信する。従って、オペレータは、オペレータ制御パネル２２上の１個または複数個の他の制御器を起動し、立体データ記録送信装置１１ｎをしてセルラープロバイダ（図示せず）経由でセルラー電話コールを分配チャネル１３に行わせることができる。その場合、立体データ記録送信装置１１ｎは、アンテナ２４から発信してセルラーリンクに接続することができる。
【００２４】
図３は、図２に関して上に記載の立体データ記録送信装置１１ｎの機能ブロック図を示す。図３を参照すると、立体データ記録送信装置１１ｎは、オペレータ制御パネル２２は勿論のこと、画像撮像ユニット３０と、ローカルメモリユニット３１と、処理ユニット３２と、１基または複数基のローカルディスプレイ３３Ａ，３３Ｂ，．．．と、通信ユニット３４とを備える。画像撮像ユニット３０とローカルメモリユニット３１と処理ユニット３２とは一緒になって、図２に関して上に記載のビデオカメラ２１を形成し、ローカルディスプレイ装置３３Ａ，３３Ｂ，．．．は、図２に関して上に記載のディスプレイ２３を形成する。撮像ユニット３０は、例えば、画像センサ、アパーチャ、レンズ、および／またはこれらの同等品を備え、各画像を撮像または取得できるようになっている。画像センサとしては、従来の多くの画像センサ、例えば、ＣＣＤ（電荷結合デバイス）やフィルムなどの中のどんなものを用いてもよい。
【００２５】
一般に、オペレータが、オペレータ制御パネル２２上の各制御器を起動することによって立体データ記録送信装置１１ｎを作動した後、処理ユニット３２は、撮像ユニット３０、特に画像センサを制御して、画像の受信を始め、これをローカルディスプレイ、例えば、ローカルディスプレイ３３Ａに送信し、オペレータに表示する。オペレータがオペレータ制御パネル２２上の画像記録制御器を起動すると、処理ユニット３２は、画像センサが撮像した画像をローカルディスプレイ３３Ａに送信するのに加えて、該画像をローカルメモリユニット３１に送り、これを記憶させる。更に、オペレータがオペレータ制御パネル２２上の立体パノラマ画像セット作成制御器を起動すると、処理ユニット３２は、立体パノラマ画像セットを含むパノラマ画像を作成し、これをローカルディスプレイ３３Ａ，３３Ｂ，．．．に表示することができる。
【００２６】
更に、オペレータがオペレータ制御パネル２２上の立体パノラマ画像セット送信制御器を起動すると、処理ユニット３２は、立体パノラマ画像セットを含むパノラマ画像を、通信ユニット３４経由で、分配チャネル１３に送信することができる。そのオペレーションでは、上記のように、立体データ記録送信装置１１ｎがセルラー電話リンクを用いて立体パノラマ画像セットを分配チャネル１３に送信することができるので、処理ユニット３２は、分配チャネル１３にセルラー電話をコールし始め、分配チャネル１３が応答した後、分配チャネル１３と連係して、立体パノラマ画像セットを分配チャネル１３に送信することが可能となる。処理ユニット３２は、セルラー電話をコールし始めるに際して既定の電話番号を用いることもできるし、あるいはオペレータ制御パネル２２経由でオペレータが与えた電話番号を用いることもできる。従って、オペレータ制御パネル２２は、オペレータが電話番号を与えるのに用いられる数字入力キーボードを備えることができる。理解されることであるが、処理ユニット３２は、立体パノラマ画像セットを含む情報を送信する前に、複数のエンコードまたは圧縮アルゴリズムを用いて情報をエンコードすることもできる。このようなアルゴリズムとしては、例えば、周知のＪＰＥＧまたはＧＩＦアルゴリズムがあり、これらを用いると、情報送信に必要な時間の削減が可能となる。
【００２７】
上記のように、表示装置は、立体データ記録送信装置１１ｎが作成した立体パノラマ画像セット各々を含むパノラマ画像を選択的に受信して、これをオペレータに表示する。図４は、本発明に基づいて構成された表示装置１２ｍの一例の機能ブロック図を示す。図４を参照すると、例示された表示装置１２ｍは、レシーバ４０と、デコーダ４１と、ディスプレイユニット４２と、方向制御ユニット４３とを備える。レシーバ４０は、分配チャネル１３から送信された立体パノラマ画像セットを含むパノラマ画像を規定する情報を受信するのに設けられる。レシーバ４０は、デコーダ４１にデコード用の情報を提供する。デコーダ４１がデジタル情報をデコードした後、デコーダ４１はそれをディスプレイユニット４２に提供し、オペレータに表示することができる。ディスプレイユニット４２は、視る人に画像を表示するディスプレイ自体を備えると同時に、１組または複数組の立体パノラマ画像セットを含むパノラマ画像を記憶するに十分なメモリを備えることができる。ディスプレイユニット４２が複数組の立体パノラマ画像セットを含むパノラマ画像を記憶するに十分なメモリを備えている場合は、表示装置１２ｍは、オペレータが立体パノラマ画像セットを表示用に選択可能とする制御器も備えることができる。ディスプレイユニット４２が立体パノラマ画像セット全体を一度に表示出来ない場合は、方向制御ユニット４３を用いることによって、視る人は、表示されるべき立体パノラマセットの一部分を選択可能である。
【００２８】
ディスプレイユニット４２は、立体パノラマ画像セットを立体的に表示するのが好ましい。その場合、ディスプレイユニット４０は、立体パノラマ画像セットの各画像を左右別々のディスプレイに表示することができる。この場合、左右別々に表示された画像は、視る人のそれぞれ対応する目で視ることができる。双眼装置を設けることによって、各一眼部分には、視る人の各一眼に対応する各画像、またはその一部を表示するようにすることができる。別には、ディスプレイユニット４２がパノラマ画像を表示するに際し、立体視が可能となるように用いられる多くの種類の器具を用いると、画像は立体的に見える。このような器具としては、例えば、レンチキュラーレンズ、偏光レンズ付き眼鏡または相異なるカラーレンズ付き眼鏡があり、他の器具も当業者なら分かるものである。
【００２９】
上記のように、ペレッグ特許出願ＩとＩＩに関して記載のように、立体パノラマ画像セットを含む２組のパノラマ画像を、立体データ記録送信装置１１ｎで記録された一連の画像各々から切り取られた画像細片を２枚用いて作成することができる。別法として、複数のパノラマ画像を含む立体パノラマ画像セットを作成することができ、この場合、当該パノラマ画像を１組として視ると、立体画像が得られる。このことは、図５に関して記載されている。図５を参照すると、図５は、一連の順列である画像５０（１），５０（２），．．．，５０（３）（一般に参照数字５０（ｉ）で識別）を示すが、これらの画像は、立体データ記録送信装置１１ｎが移動および／または回転されるに連れて、立体データ記録送信装置１１ｎによって記録されるものである。立体パノラマ画像セットを含む複数のパノラマ画像５１ａ，５１ｂ，．．．は、各画像５０（ｉ）から切り取られる各細片ａ１，ａ２，．．．ａ３、ｂ１，ｂ２，．．．ｂ３，．．．を用いて作成される。画像５１ａに用いられる細片ａ１，ａ２，．．．ａ３はすべて各画像５０（ｉ）の中心から同じ距離だけ水平方向に離れているものであり、画像５１ｂに用いられる細片ｂ１，ｂ２，．．．ｂ３はすべて各画像５０（ｉ）の中心から同じ距離だけ垂直方向に離れているものであり、等々ということである。理解されることであるが、画像５１（ｉ）をペアで視ると、立体的奥行き感が得られる。何故ならば、これらの画像は、実質的に相異なる視線方向からのものだからである。
【００３０】
更に上記のように、ディスプレイ２３，３３Ａ，３３Ｂ（立体データ記録送信装置１１ｎ）とディスプレイ４２（表示装置１２ｍ）とは、レンチキュラーレンズを用いて立体パノラマ画像セットを含むパノラマ画像を表示できるが、これらのパノラマ画像は立体画像に見え得る。これは、図６に関連して説明される。図６を参照すると、レンチキュラーレンズ６１は、平坦な背表面と曲面状の前表面とを備える。立体パノラマ画像セットから得られたパノラマ画像は、レンチキュラーレンズの平坦背表面に、セグメントの形で、投射され、視る人は、前表面に向かって見ることによって立体画像を視る。図６に例示されているレンチキュラーレンズ６１には、３個のレンズセグメント６１（１）〜６１（３）（一般に参照数字６１（ｓ）で識別）が図示されており、当該セグメント各々には、曲面状の前表面が付与されている。各レンズセグメント６１（ｓ）には、参照数字６２（ｓ）（Ａ），６２（ｓ）（Ｂ），６２（ｓ）（Ｃ）（一般には参照数字６２（ｓ）（ｐ）で識別）で識別されるパノラマ画像各々の各セグメントがプリントされている。ここで、インデックス「ｐ」は各パノラマ画像を示す。図６に示されているように、ある特定の方向からレンチキュラーレンズを通してみると、視る人は、３個の画像６３（Ａ），６３（Ｂ）、６３（Ｃ）（一般には参照数字６３（ｐ）で識別）の内の１個を選択的に視ることができる。従って、例えば、視る人が右側から（図６で示されるときは、下から）レンチキュラーレンズ６１を視ると、セグメント６２（ｓ）（Ｃ）を含む画像を視ることができる。他方、視る人が左側から（図６で示されるときは、上から）レンチキュラーレンズ６１を視ると、セグメント６２（ｓ）（Ａ）を含む画像を視ることができる。最後に、視る人が直接正面からンチキュラーレンズ６１を視ると、セグメント６２（ｓ）（Ｂ）を含む画像を視ることができる。もし、例えば、視る人がレンチキュラーレンズ６１を視るに当たって、左目が右側からレンズを視て、かつ右目が左側からレンズを視るとすれば、しかも、セグメント６２（ｓ）（Ａ）に用いられるパノラマ画像が立体パノラマ画像セットの左側のパノラマ画像であり、セグメント６２（ｓ）（Ｃ）に用いられるパノラマ画像が同じ立体パノラマ画像セットの右側のパノラマ画像であるとすれば、視る人は画像を立体的に視ることになる。
【００３１】
上記のように、画像記録部は、例示された立体データ記録送信装置１１ｎのビデオカメラ２１を備えるものであるが、ペレッグ特許出願ＩまたはＩＩに記載のものと同様なものでよい。これらの特許出願書に記載されているように、立体パノラマ画像セットを含むパノラマ画像を作成するのに用いられるべき画像を記録する前記カメラを回転するとき、カメラの回転中心は、カメラの投影中心の後になるようにし、各画像から得られた細片が相異なる視線方向から来るものとすることによって、立体パノラマ画像セットに必要な各パノラマ画像を作成できるようにするのが好ましい。しかし、理解されることであるが、立体データ記録送信装置１１ｎに用いられる画像記録部は、多くの他の形式の内のどんなものを用いてもよい。これらの形式の幾つかは、図７〜図１４に概略示される。これらの図が示し得るのは、有効投影中心がカメラの前にあるものである。それらの場合、有効投影中心がカメラの前にあるので、カメラの回転中心はカメラと交差することができる。図７〜図９は、固定ミラー、または回転ミラー、またはミラーセグメントを用いる画像記録部１００，１１０，１２０を示し、図１０〜図１２は、固定プリズム、または回転プリズム、またはプリズムセグメントをそれぞれ用いる画像記録部１３０，１４０，１５０を示し、図１３は、レンズを用いる画像記録部１６０を示し、図１４は、複数のカメラをリニアに配列したものを用いる画像記録部１７０を示す。各画像記録部１００，１１０，１２０，１３０，１４０，１５０，１６０は各１台のカメラ１０１，１１１，１２１，１３１，１４１，１５１，１６１を備える。この各１台のカメラは、スチルカメラまたはビデオカメラのいずれでもよい。画像記録部１７０は複数台数のカメラを利用するが、これらのカメラもスチルカメラまたはビデオカメラのいずれでもよい。
【００３２】
次に図７を参照する。同図は、カメラ１０１とミラー１０２とを備える画像記録部１００を概略示す。ミラー１０２は、カメラ軸１０３に対してある固定角で配置されている。この角度の選択は、０°〜９０°の間の範囲で、光線１０４Ａ〜１０４Ｃをカメラの撮像センサ１０５の方に反射できるように行われる。図７に示されているように、シーン（図示せず）から画像記録部の方向に導かれる光線１０４Ａ，１０４Ｂ，１０４Ｃ（一般に参照数字１０４で識別）をミラー１０２で反射し、それぞれ、領域１０６Ａ，１０６Ｂ、１０６Ｃに導き、シーンの画像を記録できるようにしている。図７に示されるように、光線１０４Ａ，１０４Ｂ、１０４Ｃは、各々視野方向を示す。上記の各領域を含む画像細片を用いることによって、上記のように立体パノラマ画像セット用の各画像を作成することができる。図７に示されるように、ミラー１０２は、光線１０４の見掛け投影中心を、カメラ１０１の光学系１０７のＯ点から、カメラ１０１のずっと前で、かつミラー１０２の後部のＯ’点まで移動させる役目を果たす。こうすることにより、カメラ１０１を通る回転中心であって、カメラの投影中心Ｏをも通る回転中心の周りにカメラ１０１を回転することが可能となる。
【００３３】
図８を参照する。同図は、カメラ１１１とミラー１１２とを備える画像記録部１１０を概略示す。ミラー１１２は、カメラ軸１１３に関して複数の配置角を成すように配置されている。これらの角度の選択は、０°〜９０°の間の範囲で、光線１１４Ａと１１４Ｂをカメラの撮像センサ１１５の中心の方に反射できるように行われる。図８に示されるように、シーン（図示せず）から画像記録部の方向に導かれる光線１１４Ａと１１４Ｂと（一般に参照数字１１４で識別）をミラー１１２で反射し、画像センサ１１５の中心の方に向けて同領域に導くようにしている。画像１１６Ａ，１１６Ｂ，．．．は、配置角各々に対応した位置に記録される。図８に示されるように、光線１１４Ａと１１４Ｂとは、各視野方向を示す。カメラ１１１は、ミラー１１２が配置されている配置角各々に対応する各画像を記録し、シーンの各画像の記録を行うことができる。上記の各領域を含む画像細片を用いることによって、上記のように立体パノラマ画像セット用の各画像を作成することができる。図８に示されるように、ミラー１１２は、光線１１４の見掛け投影中心を、カメラ１１１の光学系１１７のＯ点から、ミラー１１２の回転中心に一致するＯ’点まで移動させる役目を果たす。カメラ１０１の場合と同じように、こうすることにより、カメラ１１１を通る回転中心であって、しかもカメラの投影中心Ｏをも通ることができる回転中心の周りにカメラ１１１を回転することが可能となる。
【００３４】
図９を参照する。同図は、カメラ１２１と各ミラーセグメント１２２Ａ，１２２Ｂとを備える画像記録部１２０を概略示す。各ミラーセグメント１２２Ａ，１２２Ｂは、カメラ軸１２３に対して互いに向かい合って配置され、カメラ軸に関して互いに補角となる固定角で配置されている。この角度の選択は、０°〜９０°の間の範囲で、光線１２４Ａと１２４Ｂをカメラの撮像センサ１２５の方に反射できるように行われる。図９に示されるように、シーン（図示せず）から画像記録部の方向に導かれる光線１２４Ａと１２４Ｂと（一般に参照数字１２４で識別）をミラーセグメント１２２Ａ，１２２Ｂで反射し、領域１２６Ａと１２６Ｂとに導き、シーンの画像を記録できるようにしている。もし、器械配置１２０に関してはそうなのであるが、ミラーセグメント１２２Ａと１２２Ｂとの間にギャップがあれば、ギャップを通る光線１２４Ｂは、領域１２６Ａと１２６Ｃとの間の領域１２６Ｂに導かれる。図９に示されるように、光線１２４Ａ，１２４Ｂ，１２４Ｃは、各視野方向を示す。上記の各領域を含む画像細片を用いることによって、上記のように立体パノラマ画像セット用の各画像を作成することができる。図９に示されるように、ミラー１２２Ａと１２２Ｂとは連係して、光線１２４の見掛け投影中心を、カメラ１２１の光学系１２７のＯ点から、カメラ１２１の前で、かつミラー１２２Ａと１２２Ｂとの間のＯ’点まで移動させる役目を果たす。こうすることにより、カメラ１２１を通る回転中心であって、しかもカメラの投影中心Ｏをも通ることができる回転中心の周りにカメラ１２１を回転することが可能となる。
【００３５】
図１０と図１２は、図７と図９に関して上に記載の各画像記録器械１００、１２０と同様な画像記録器械１３０、１５０を概略示す。だだし、違いは、ミラーを用いる代わりに、各画像記録部１３０、１５０が、各々プリズム１３２（図１０の場合）、またはプリズムセグメント１５２（図１２の場合）を備えていることである。プリズム１３２と、プリズムセグメント１５２Ａ，１５２Ｃとはカメラ軸１３４，１５４に関して固定角度で配置されている。画像記録部１００の場合のように、画像記録部１３０では、シーン（図示せず）から画像記録器械の方向に導かれる光線１３４Ａ，１３４Ｂ，１３４Ｃ（一般に参照数字１３４で識別）をプリズム１３２で屈折し、それぞれ、領域１３６Ａ，１３６Ｂ，１３６Ｃに導き、シーンの画像を記録できるようにし、上記の各領域を含む画像細片を用いて、上記のように、立体パノラマ画像セット用の各画像を作成することができる。同様に、画像記録部１２０の場合のように、画像記録部１５０では、シーン（図示せず）から画像記録部の方向に導かれる光線１５４Ａ，１５４Ｂ，１５４Ｃ（一般に参照数字１５４で識別）をプリズムセグメント１５２Ａ，１５２Ｃで屈折し、それぞれ、領域１５６Ａと１５６Ｃとに導き、シーンの画像を記録できるようにしている。もし、配置１５０に関してはそうなのであるが、プリズムセグメント１５２Ａと１５２Ｃとの間にギャップがあれば、ギャップを通る光線１５４Ｂは、領域１５６Ａと１５６Ｃとの間の領域１５６Ｂに導かれる。図１０，１２に示されるように、光線１３４Ａ，１３４Ｂ，１３４Ｃ（図１０）と光線１５４Ａ，１５４Ｂ，１５４Ｃ（図１２）は、各視野方向を示す。プリズム１３２およびプリズムセグメント１５２は、光線１３４，１５４の見掛け投影中心を、カメラ１３１，１５１の光学系１３７，１５７のＯ点から、各カメラの投影中心に一致するＯ’点まで移動させる役目を果たす。カメラ１０１，１２１の場合と同じように、こうすることにより、カメラ１３１，１５１を通る回転中心であって、しかもカメラの投影中心Ｏをも通ることができる回転中心の周りにカメラ１３１、１５１を回転することが可能となる。
【００３６】
図１１は、図８に関して上に記載の各画像記録部１１０と同様な画像記録部１４０を概略示す。だだし、違いは、ミラーを用いる代わりに、画像記録部１４０はプリズム１４２を備えていることである。プリズム１４２はカメラ軸１４４に関して各々複数の角度で配置されている。画像記録部１１０の場合のように、画像記録部１４０では、シーン（図示せず）から画像記録部の方向に導かれる光線１４４Ａ，１４４Ｂ，．．．（一般に参照数字１４４で識別）をプリズム１４２で屈折し、画像センサ１４５の中心方向の領域に導いている。カメラ１４１は、プリズム１４２が配置された角度の位置に対する各画像を記録し、シーンの各画像を記録できるようにしている。図１１に示されるように、光線１４４Ａ，１４４Ｂ，．．．は、各視野方向を示す。プリズム１４２は、光線１４４の見掛け投影中心を、カメラ１４１の光学系１４７のＯ点から、各カメラの投影中心に一致するＯ’点まで移動させる役目を果たす。カメラ１１１の場合と同じように、こうすることにより、カメラ１４１を通る回転中心であって、しかもカメラの投影中心Ｏをも通ることができる回転中心の周りにカメラ１４１を回転することが可能となる。
【００３７】
図１３は、図８と図１２に関して上に記載の各画像記録部１２０と１５０と同様な画像記録部１６０を概略示す。だだし、違いは、ミラーセグメントまたはプリズムセグメントを用いる代わりに、画像記録部１６０がレンズ１６２を備えていることである。画像記録部１００の場合のように、画像記録部１６０では、シーン（図示せず）から画像記録部の方向に導かれる光線１６４Ａ，１６４Ｂ，１６４Ｃ（一般に参照数字１６４で識別）をレンズ１６２で屈折し、それぞれ、領域１６６Ａ，１６６Ｂ，１６６Ｃに導き、シーンの画像を記録できるようにし、これら各領域を含む画像細片を用いて、上記のように立体パノラマ画像セット用の各画像を作成することができる。図１３に示されるように、光線１６４Ａ，１６４Ｂ，１６４Ｃは、各視野方向を示す。レンズ１６２は、光線１６４の見掛け投影中心を、カメラ１６１の光学系１６７のＯ点から、カメラ１６１の回転中心に一致するＯ’点まで移動させる役目を果たす。カメラ１２１、１５１の場合と同じように、こうすることにより、カメラ１６１を通る回転中心であって、しかもカメラの投影中心Ｏをも通ることができる回転中心の周りにカメラ１６１を回転することが可能となる。
【００３８】
理解されることであるが、図７〜図１３に関して上に記載の画像記録部の各々は、画像記録部が１個のカメラを用いてシーンの画像を記録するに当たって、画像の相異なる部分が相異なる視野方向からのものであるようにし、立体パノラマ画像セット用の各パノラマ画像を作成し、立体パノラマ画像セットを同時に視ると、シーンの画像を立体的に視ることができるようにする。図１４は、複数個のカメラ１７１Ａ，．．．，１７１Ｋ（一般に参照数字１７１ｋで識別）をプラットフォーム１７２にリニアに取り付けたものを利用する装置１７０を示す。理解されることであるが、この装置１７０をある特定の方向に向けて、カメラ１７０ｋで各画像を記録できるようにするとき、カメラ１７１ｋで記録された画像では、各カメラで記録された「Ｋ」番目の各画像の細片は、視る方向が相異なるものとなる。装置１７０を回転中心の周りに回転したり、ある距離に沿って移動したりすると、カメラ１７１ｋは一連の画像を上記のように記録することが可能となる。立体パノラマ画像セット用の各パノラマ画像を作成する場合、各カメラ１７１ｋ’，１７１ｋ’’，．．．各々で記録された一連の画像の各細片は、一緒にモザイク処理して各パノラマ画像を形成することができる。すなわち、例えば、カメラ１７１ｋ’に対しては、「Ｉ」個の画像各々から「Ｓ」個の細片Ｓ１ １，Ｓ１ ２，．．．Ｓ１ Ｓ，Ｓ２ １，．．．ＳＩ Ｓ（一般に参照数字Ｓｉ Ｓで識別）が得られ、順次並んだ画像ｉ＝１，２，３，．．．から得た「Ｓ番目」の細片Ｓ１ Ｓ，Ｓ２ Ｓ，Ｓ３ Ｓを、一緒にモザイク処理して、立体パノラマ画像セットに使用することができる各パノラマ画像を形成することができる。従って、理解されることであるが、装置１７０を用いれば、「Ｓ」×「Ｋ」個のパノラマ画像を含む立体パノラマ画像セットを作成することができ、これらは、視たりプリントしたりなどに使用することができる。
【００３９】
本発明を用いると、多くの利点が得られる。特に、本発明は、シーンの画像を記録して立体画像を作成するのに用いられる立体データ記録送信装置と、シーンを立体的に見えるように立体画像セットを表示したり、プリントを作成したりなどの表示装置とを含む装置を提供する。
【００４０】
理解されることであるが、数多の修正を本明細書に記載の装置に加えることが可能である。例えば、本発明の装置は、パノラマ画像を作成し、表示し、プリントするなどとして記載されたが、当装置は、代わりに、普通の「非パノラマ」画像を作成し、表示し、プリントするなどもできることが理解されよう。
【００４１】
更に、立体データ記録送信装置は、立体画像セットを作成するものとして記載されたが、この立体データ記録送信装置は立体パノラマ画像セットを作成することができる材料である一連の画像自体をも記録できることが理解されよう。立体データ記録送信装置は、一連の画像を記録した後、これらの画像を分配チャネル１３に送り、１基または複数基の表示装置に分配することができる。分配チャネル１３または表示装置はそれ自体、立体パノラマ画像セットを含む画像を作成することができる。その場合、分配チャネルおよび／または１基または複数基の表示装置は立体パノラマ画像セットを作成するコンポーネントを備えることは理解されよう。このような機能は立体データ記録送信装置の一部を構成するものとして既に上に記載済である。
【００４２】
更に、立体画像セットの少なくとも一部分の画像を大略同時に視ることを可能とする特定のメカニズムを記載したけれども、他のメカニズムも、代わりに用いることができるし、併用することもできることが理解されよう。例えば、限定されるわけではないが、相異なるカラーのレンズを備えた眼鏡、偏光方向が反対のレンズを備えた眼鏡で、立体画像セットの少なくとも２個の画像を十分に速く表示し、奥行き感も視させることができるようにしたり、あるいは当業者に理解される他のメカニズムを用いることもできる。
【００４３】
その上、図７〜図１４に関して上記されたカメラは従来のスチルカメラまたはビデオカメラから成るものであると記載されたけれども、画像記録エレメントが各画像面の部分だけに設けられているカメラから成るものでもよいことが理解されよう。細片は、この画像面から得られ、立体画像セットの各画像を作成するのに用いられる。
【００４４】
更に、本発明は、立体パノラマ画像セットからの各画像のセグメントがレンチキュラーレンズを通して表示した上で見せられるものとして記載されたが、その代わりに、レンチキュラーレンズを通してプリントした上で見せられたり、レンチキュラーレンズの背面の上に直接プリントされたり、あるいは当業者に明らかな他の配置の仕方で行われたりすることも、当業者には明白であることが理解されよう。例えば、画像がレンチキュラーレンズの背面上にプリントされる場合、レンチキュラー前方向曲面の形成が行われるのは、画像プリントを行う前にでも、最中にでも、またはその後にでもよいことが、理解されよう。
【００４５】
その上、図５に関連する上記では、立体パノラマ画像セットの各パノラマ画像の細片は、順次に並ぶ画像において水平方向距離が同じな画像からのものであると示されているが、ペレッグ特許出願ＩＩＩに記載のように水平方向距離が相異なっているものからでもよいことが理解されよう。これは、立体的奥行き感の採り入れが所望の場合に不斉パリティの調整を行うのに関連して有用であると思われる。
【００４６】
理解されることであるが、本発明に基づくシステムは、全体または部分として、特殊目的ハードウェアまたは汎用コンピュータシステム、またはこれらの組み合わせで構成でき、これらのどの部分も、好適なプログラムで制御できる。どのようなプログラムも、全体または部分として上記システムの一部を構成しまたは従来の方法で上記システムに記憶しておくことができるし、あるいは全体または部分としてネットワーク上または従来の方法で情報を伝達す他のメカニズム上で前記システムに供給することができる。更に、理解されることであるが、前記システムは、オペレータ入力装置（図示せず）を用いるオペレータが与える情報によって操作および／または制御できる。オペレータ入力装置は、システムに直接接続することができるし、あるいはネットワーク上または従来の方法で情報を伝達する他のメカニズム上でシステムに情報を供給することができる。
【００４７】
以上の説明は本発明の特定の実施の形態に限定されたものである。しかし、本発明の利点を部分的または全体的に得ながらも、多岐にわたる変形と修正を本発明に行うことができることは明らかである。本発明の特許請求の範囲の記載目的は、これらおよびそのような他の変形と修正を本発明の真の思想と範囲とに含まれるものとして網羅することである。
【００４８】
新規なものとしてクレームし、特許を取得したいとするものは、前記特許請求の範囲に記載されている。
【図面の簡単な説明】
【図１】本発明に基づいて構成された、立体パノラマ画像を記録、作成、表示する立体パノラマ画像作成システムの概略図である。
【図２】図１に示される立体パノラマ画像作成システムに関して用いられる立体データ記録送信装置の外観平面の概略図である。
【図３】図２に示される立体データ記録送信装置の機能ブロック図である。
【図４】図３に示される表示装置の一例の機能ブロック図である。
【図５】立体パノラマ画像セット作成に関して図１に示される立体パノラマ画像作成システムで行われるオペレーションを理解するのに有用な図である。
【図６】レンチキュラープリントを作成し、表示するシステム構成を理解するのに有用な図である。
【図７】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図８】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図９】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図１０】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図１１】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図１２】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図１３】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。
【図１４】図２と図３に関して記載の立体データ記録送信装置に関連して用いることができる画像記録部の例の説明図である。[0001]
(References)
No. 09 / 396,248, filed Sep. 16, 1999, to Shmuel Peleg et al., Entitled "Systems and Methods for Creating and Displaying Panoramic Images and Movies" (System @ and @ Method @ for @ Generating). and "Displaying Panoramic Images and Motions" (hereinafter referred to as "Pereg Patent Application I") is the applicant's application, which is incorporated herein by reference.
[0002]
U.S. patent application Ser. No. 09 / 726,198, filed Nov. 29, 2000, named Shmuel Peleg et al., Entitled "Stereo @ Panoramaic, which records useful panoramic images for stereoscopic panoramic image pairs. "Camera Arrangements For Recording Panoramic Images Images Useful In A Stereo Stereo Panoramic Image Pair" (hereinafter referred to as "Pereg Patent Application II"), which is hereby incorporated by reference into the present application, is hereby incorporated by reference. To quote.
[0003]
No. 09 / 792,638, filed Feb. 24, 2001, to Shmuel Peleg et al., Entitled "Systems and Methods to Facilitate Display Adjustment in Stereoscopic Panoramic Image Pairs (System @ And @ Method)." For Facilitating The Adjustment Of Disparity In A Stereo Panoramic Image Pair) "(hereinafter referred to as" Pereg Patent Application III "), which is hereby incorporated by reference into the present specification. I do.
[0004]
(Technical field)
The present invention relates generally to the field of recording and creating images, and more particularly to creating, displaying, and printing panoramic images in three dimensions. The present invention provides, among other things, a system and method for creating and displaying a stereoscopic panoramic image set. This stereoscopic panoramic image set includes at least two images of each of the scenes, each image having a different viewing direction, and when the viewer views each with the left and right eyes simultaneously, the viewer sees the scene in three dimensions. It looks like an image.
[0005]
(Background technology)
A panoramic image is a scene image having an ultra-wide-angle field of view of up to 360 °. A panoramic image is recorded using a wide-angle lens, a mirror, or the like, and can provide a wide-angle field of view. A panoramic image with a wide angle field of view can be done, for example, by recording multiple images around a particular point and creating a single mosaic image using conventional mosaic processing techniques. Panoramic images can also be created from simulated scenes using conventional computer graphic techniques. Stereoscopic panoramic images can also be created from many images using a variety of techniques known to those skilled in the art. One of the techniques is a real-time multidirectional and panoramic paper by Joshua Gluckman et al., Which was presented at the 1998 DARPA Image Understanding Underworking Workshop. In the method described in “Stereo (Real-Time / Omnidirectional / And / Panamic / Stereo)”, a panoramic image of a surrounding scene is recorded by using two multidirectional cameras arranged vertically along a common axis. Are spaced apart, so pairs of images recorded by these two cameras, when considered in combination, provide depth information about the subject in the scene around the camera. Since camera arrangement is vertical, the image recorded as described above, the human is unsuitable for visual as stereoscopic panorama.
[0006]
(Disclosure of the Invention)
The present invention provides an improved new system and method for creating and displaying stereoscopic panoramic image sets. This stereoscopic panoramic image set includes at least two of each panoramic image of the scene, each image having a different viewing direction, and when the viewer looks at the left eye and right eye simultaneously, the viewer sees the scene. It looks like a stereoscopic image.
[0007]
In brief summary, the present invention provides an arrangement system for recording images used to create and use images including a stereoscopic image set. The arrangement system includes at least one stereoscopic data recording and transmitting device (stereoscopic data source; \ stereo \ data \ source), at least one utilization device, and a distribution channel. The at least one stereoscopic data recording and transmitting device records an image from which a stereoscopic image set can be created. The utilization device is provided to enable viewing, printing, and the like using a stereoscopic image set. The distribution channel enables information transmission between the three-dimensional data recording and transmitting device and the using device, and the information includes an image recorded by the three-dimensional data recording and transmitting device, or an obtained three-dimensional image set. Includes itself. When the stereoscopic image set is composed of a plurality of mosaic images, these mosaic images can be created using the above-described stereoscopic data recording and transmitting device, the image using device, and / or the distribution channel.
[0008]
Many types of stereoscopic data recording and transmitting devices having various configurations, for example, fixed and movable mirrors, prisms, lenses, and the like are disclosed, but these can be used for the stereoscopic data recording and transmitting device in the stereoscopic image creation system of the present invention. Things.
[0009]
(Best Mode for Carrying Out the Invention)
The present invention is as set forth in the appended claims. The foregoing and further advantages of the present invention may be better understood with reference to the following description, taken in conjunction with the accompanying drawings.
[0010]
FIG. 1 schematically shows a stereoscopic panoramic image creation system 10 configured to record, create, and display a stereoscopic panoramic image according to the present invention. Referring to FIG. 1, a stereoscopic panoramic image creation system 10 includes one or more stereoscopic data recording and transmitting devices 11A to 11N (generally identified by reference numeral 11n) and one or more display devices 12A to 12N (generally, (Identified by reference numeral 11m). In general, each stereoscopic data recording and transmitting device 11n records an image and creates at least one stereoscopic panoramic image set including one set of panoramic images from this. Each of the three-dimensional data recording and transmitting devices 11n also transmits each of the created three-dimensional panoramic image sets to one or more display devices 12m via the distribution channel 13 for display or lenticular print (microscopic print). 3D printing with a convex lens film) or other treatments obvious to those skilled in the art.
[0011]
An example of the three-dimensional data recording and transmitting device 11n is described below with reference to FIGS. Generally, the three-dimensional data recording and transmitting device 11n includes an image recording unit, an image processing unit, and a communication unit. The image recording unit records one or more images used for creating a stereoscopic panoramic image set. This image recording section may be similar to that described in Pereg Patent Application I or Pereg Patent Application II. The image recording unit is similar to that described in Pereg Patent Application I or that described in Pereg Patent Application II, and is used to create a panoramic image by rotating and / or moving the image recording unit. If an image can be recorded at least, this image recording unit is rotated when it is rotated around an axis including the center of rotation, when it is moved along a certain path, or when it is moved by a combination of rotation and movement. Record the image. The image recording unit, when rotated and / or moved, records a series of images, from which the image processing unit can determine whether the image processing unit is as described in Pereg Patent Application I or as described below with respect to FIG. In this way, at least one set of panoramic images including a stereoscopic panoramic image set is created. Generally, in creating a stereoscopic panoramic image set, the image recording unit records a series of images. To obtain each panoramic image included in the stereoscopic panoramic image set, the image processing unit creates the panoramic image by mosaic processing image strips obtained from a series of images together. The strips obtained from each image may be all equidistant from the center of each image, as described in Pereg Patent Application I, or from the image center, as described in Pereg Patent Application III. They may be at different distances. Alternatively, as described above, the creation of the panoramic image can be performed as described below with respect to FIG.
[0012]
Alternatively, the image recording section may be similar to that described in Pereg Patent Application II. In some of the image recording units described in Pereg Patent Application II, a series of images are recorded by rotating and / or moving each image processing unit, and strips obtained from these images are mosaiced together. , A set of panoramic images constituting a stereoscopic panoramic image set can be created. On the other hand, in some other image recording units described in Pereg Patent Application II, each image recording unit may be arranged to include a stereo (omni) camera. When this type is used, a panoramic image can be directly recorded and a stereoscopic panoramic image set can be obtained without performing a mosaic process.
[0013]
The communication unit may transmit the stereoscopic panoramic image set to the distribution channel 13 and distribute the stereoscopic panoramic image set to one or more display devices 12m. Generally, the information defining the stereoscopic panoramic image set transmitted by the communication unit is in a digital format, and the communication unit may be any device that can transmit digital data between two devices. . The two devices may be located at the same location or at different locations. The communicator may be, for example, a direct connection, such as a wire, cable or fiber optic connection, a wireless connection, another that allows information to be transmitted in digital form, or a combination thereof. The direct connection includes, for example, a direct network connection, and the indirect connection includes a network via a computer, a public telephone network via an exchange, and the like. Examples of the wireless connection include a wireless connection, a cellular (cellular) telephone connection, and an infrared connection.
[0014]
An example of a display device is described below with respect to FIG. Generally, a display device includes a communication unit, an image storage unit, and a display, a printer, or another device that creates an image viewed by a person. The communication unit of the display device can receive the stereoscopic panoramic image set sent from the distribution channel 13. In general, the information that defines the stereoscopic panoramic image set received by the communicator is in digital form and examples of the communicator include a direct connection such as a wire, cable or fiber optic connection, or a wireless connection such as a cellular telephone connection. Connections or other devices capable of conveying information in digital form.
[0015]
The image storage unit stores digital information including the stereoscopic panoramic image set received by the communication unit of the display device from the distribution channel 13, and displays the digital information later. Depending on the amount of information that can be stored in the image storage unit and the amount of information including the stereoscopic panoramic image set, the image storage unit has the ability to store information including only one set of stereoscopic panoramic image sets. Or the ability to store information that includes multiple sets of stereoscopic panoramic images.
[0016]
The display, if provided, displays at least a portion of one or more sets of images including the stereoscopic panoramic image set. It will be appreciated that if the display displays at least a portion of an image, the image is not stereoscopic when viewed. On the other hand, if the display displays at least a portion of the two images, for example, using a lenticular lens, then the image becomes stereoscopic when viewed, as described below with respect to FIG. I have. If a printer is provided, the printer can make a hard copy of one or more sets of images, including a stereoscopic panoramic image set, so that the printer is a lenticular, as described below with respect to FIG. Prints can be created. With this lenticular print, a viewer can obtain a stereoscopic image of the scene indicated by the stereoscopic panoramic image when the viewer views the image using a lenticular lens.
[0017]
As will be understood, each of the three-dimensional data recording and transmitting devices 11n and the display device 12m has a control unit, and each operator can perform these controls. For example, when the three-dimensional data recording and transmitting device 11n includes an image recording unit that needs to rotate and / or move, a controller that can rotate and / or move the image recording unit can be provided. Further, the three-dimensional data recording and transmitting device 11n allows the operator to activate the image recording unit, perform image recording of the scene, cause the image processing unit to create a stereoscopic panoramic image set of the scene, and then set the communication unit to Then, a controller can be provided that allows the stereoscopic panoramic image set to be transmitted to the distribution channel 13 and transmits the stereoscopic panoramic image set to one or more display devices.
[0018]
Similarly, each display device 12m can include a controller that allows the stereoscopic panoramic image set to be received from the distribution channel 13 and stored in an image storage device. Further, each display device 12m selects a stereoscopic panoramic image set to be displayed, selects a display mode, receives the stereoscopic panoramic image set from the distribution channel 13, and selects a part of the stereoscopic panoramic image set to be displayed. Can be provided. The display device 12m can selectively display at least a part of the stereoscopic panoramic image set as well as at least a part of the individual panoramic images of the stereoscopic panoramic image set as each display mode. One or more sets of stereoscopic images of the set stereoscopic panoramic image set can be displayed. In addition, the display device 12m may include a controller that allows selection of each part of the stereoscopic panoramic image set to be displayed, or an individual obtained from the stereoscopic panoramic image set to be displayed on the display device 12m. A portion of this image provides such a display mode.
[0019]
As described above, the display device 12m can replace the stereoscopic panoramic image set with a lenticular lens so that the stereoscopic panoramic image set is displayed in a three-dimensional manner, or can be added to such a display device, and can display the stereoscopic panoramic image set. A printer or similar device may be provided for producing a hardcopy print of at least one or both of the constituent images or at least a portion of the stereoscopic panoramic image set. Such a hard copy is such that a stereoscopic panorama can be seen when viewed through a lenticular lens. A display 12m comprising a printer or similar device may be provided with a controller that allows for the creation of such hardcopy prints.
[0020]
Against this background, an example of the three-dimensional data recording and transmitting device 11n will be described with reference to FIGS. FIG. 2 is an external plan view of the exemplified three-dimensional data recording and transmitting apparatus 11n, and FIG. 3 is a functional block diagram of the exemplified three-dimensional data recording and transmitting apparatus. In general, the illustrated stereoscopic data recording and transmitting device 11n is, for example, a portable device that can be held by an operator by hand or mounted on a car, and can record a series of images for creating a stereoscopic panoramic image set. Device that can be rotated and / or moved. In addition, the device transmits information including a stereoscopic panoramic image set over a cellular telephone communication link. Referring to FIG. 2, the illustrated stereoscopic data recording and transmitting apparatus 11n includes a housing 20 that accommodates and supports a video camera 21, an operator control panel 22, a display 23, and an antenna 24. The video camera 21 constitutes the above-described image recording unit, and the operator control panel 22 includes a plurality of controllers that can activate the video camera 21 to perform a predetermined operation. These controllers can be implemented using a number of methods. For example, a push-button system in which each controller can be activated when pressed by an operator.
[0021]
After activating the three-dimensional data recording and transmitting device 11n by activating each controller on the operator control panel 22, the operator can turn the video camera 21 in a specific direction. The display 23 can display an image recorded by the video camera 21. The operator can activate the video camera 21 by activating the controls on the operator control panel 22. When the operator activates the image recording controller and rotates / moves the stereoscopic data recording / transmission device 11n, the operator can cause the video camera 21 to record a series of images that can create a stereoscopic panoramic image set. After the stereoscopic data recording and transmitting device 11n finishes recording a series of images, when the operator releases the button of the image recording controller, the video camera 21 can stop recording the images at that point.
[0022]
After the stereoscopic data recording and transmitting device 11n has finished recording a series of images, the operator activates another controller on the operator control panel 22 and operates the stereoscopic data recording and transmitting device 11n to perform a panorama including a stereoscopic panoramic image set. Images can be created. After at least one of the panoramic images is created, the operator activates another controller on the operator control panel 22 and operates the stereoscopic data recording and transmitting device 11n to display at least a part of the created panoramic image on the display 23. Can be displayed. The selection of this portion can be made using the same or other controls on the operator control panel 22. Similarly, after at least two panoramic images of the stereoscopic panoramic image set have been created, the operator activates another controller on the operator control panel 22 and operates the stereoscopic data recording and transmitting device 11n to execute these at least two panoramic images. A panoramic image can be displayed so that it can be viewed three-dimensionally. When displaying the stereoscopic panoramic image set by the stereoscopic data recording and transmitting device 11n, any of various types of appliances necessary for enabling stereoscopic viewing may be used. Such instruments include, for example, lenticular lenses, spectacles with polarizing lenses or spectacles with different color lenses, and other instruments will be known to those skilled in the art. The stereoscopic data recording and transmitting device 11n displays a stereoscopic panoramic image set by a method corresponding to these appliances.
[0023]
Further, after completing the creation of the panoramic image including the stereoscopic panoramic image set, the stereoscopic data recording and transmitting device 11n can send the image to the distribution channel and distribute the image to each device of the display device 12m. As described above, the illustrated stereoscopic data recording and transmitting device 11n transmits information to the distribution channel 13 using a cellular telephone connection. Accordingly, the operator activates one or more other controls on the operator control panel 22 and activates the stereoscopic data recording and transmitting device 11n to route the cellular telephone call via the cellular provider (not shown) to the distribution channel 13 Can be performed. In that case, the three-dimensional data recording and transmitting device 11n can transmit from the antenna 24 and connect to the cellular link.
[0024]
FIG. 3 shows a functional block diagram of the stereoscopic data recording and transmitting device 11n described above with reference to FIG. Referring to FIG. 3, the three-dimensional data recording and transmitting apparatus 11n includes an image capturing unit 30, a local memory unit 31, a processing unit 32, and one or more local displays 33A, as well as the operator control panel 22. 33B,. . . And a communication unit 34. The imaging unit 30, the local memory unit 31, and the processing unit 32 together form the video camera 21 described above with reference to FIG. 2, and include the local display devices 33A, 33B,. . . Form the display 23 described above with respect to FIG. The imaging unit 30 includes, for example, an image sensor, an aperture, a lens, and / or the like, and can capture or acquire each image. As the image sensor, any one of many conventional image sensors, for example, a CCD (Charge Coupled Device) or a film may be used.
[0025]
Generally, after the operator activates the three-dimensional data recording and transmitting device 11n by activating each controller on the operator control panel 22, the processing unit 32 controls the imaging unit 30, especially the image sensor, and receives the image. Is transmitted to a local display, for example, the local display 33A, and displayed to the operator. When the operator activates the image recording controller on the operator control panel 22, the processing unit 32 transmits the image captured by the image sensor to the local display 33A, and sends the image to the local memory unit 31. Is stored. Further, when the operator activates the stereoscopic panorama image set creation controller on the operator control panel 22, the processing unit 32 creates a panorama image including the stereoscopic panorama image set, and displays the panorama image on the local displays 33A, 33B,. . . Can be displayed.
[0026]
Further, when the operator activates the stereoscopic panoramic image set transmission controller on the operator control panel 22, the processing unit 32 transmits a panoramic image including the stereoscopic panoramic image set to the distribution channel 13 via the communication unit 34. it can. In that operation, the processing unit 32 transmits the cellular telephone to the distribution channel 13 because the stereoscopic data recording and transmitting device 11n can transmit the stereoscopic panoramic image set to the distribution channel 13 using the cellular telephone link as described above. After the call starts and the distribution channel 13 responds, it becomes possible to transmit the stereoscopic panoramic image set to the distribution channel 13 in cooperation with the distribution channel 13. The processing unit 32 can use the default telephone number to begin calling the cellular telephone, or use the telephone number provided by the operator via the operator control panel 22. Accordingly, the operator control panel 22 may include a numeric input keyboard used by the operator to provide a telephone number. As will be appreciated, the processing unit 32 may encode the information using multiple encoding or compression algorithms before transmitting the information including the stereoscopic panoramic image set. As such an algorithm, for example, there is a well-known JPEG or GIF algorithm, and when these algorithms are used, the time required for information transmission can be reduced.
[0027]
As described above, the display device selectively receives a panoramic image including each of the stereoscopic panoramic image sets created by the stereoscopic data recording and transmitting device 11n and displays the panoramic image to the operator. FIG. 4 shows a functional block diagram of an example of the display device 12m configured according to the present invention. Referring to FIG. 4, the illustrated display device 12m includes a receiver 40, a decoder 41, a display unit 42, and a direction control unit 43. The receiver 40 is provided for receiving information defining a panoramic image including the stereoscopic panoramic image set transmitted from the distribution channel 13. The receiver 40 provides the decoder 41 with information for decoding. After the decoder 41 decodes the digital information, it can provide it to a display unit 42 for display to an operator. The display unit 42 may include the display itself for displaying images to a viewer, as well as sufficient memory to store panoramic images, including one or more stereoscopic panoramic image sets. If the display unit 42 has sufficient memory to store a panoramic image including a plurality of stereoscopic panoramic image sets, the display device 12m may include a controller that allows an operator to select the stereoscopic panoramic image set for display. Can also be provided. If the display unit 42 cannot display the entire stereoscopic panoramic image set at a time, the viewer can use the direction control unit 43 to select a part of the stereoscopic panoramic set to be displayed.
[0028]
The display unit 42 preferably displays the stereoscopic panoramic image set stereoscopically. In that case, the display unit 40 can display each image of the stereoscopic panoramic image set on separate left and right displays. In this case, the images displayed separately on the left and right sides can be viewed by the eyes of the viewer. By providing the binocular device, it is possible to display each image corresponding to each single eye of a viewer, or a part thereof, on each single eye portion. Alternatively, when the display unit 42 displays a panoramic image using many types of instruments that are used to enable stereoscopic viewing, the image appears stereoscopic. Such instruments include, for example, lenticular lenses, spectacles with polarizing lenses or spectacles with different color lenses, and other instruments will be known to those skilled in the art.
[0029]
As described above, as described with respect to Pereg patent applications I and II, two sets of panoramic images, including a stereoscopic panoramic image set, are image detail cropped from each of a series of images recorded by stereoscopic data recording and transmitting device 11n. It can be made using two pieces. Alternatively, a stereoscopic panoramic image set including a plurality of panoramic images can be created. In this case, when the panoramic images are viewed as a set, a stereoscopic image is obtained. This is described with respect to FIG. Referring to FIG. 5, FIG. 5 illustrates a series of permutations of images 50 (1), 50 (2),. . . , 50 (3) (generally identified by reference numeral 50 (i)), these images are transmitted by the stereoscopic data recording and transmitting device 11n as the stereoscopic data recording and transmitting device 11n is moved and / or rotated. It is to be recorded. A plurality of panoramic images 51a, 51b,. . . Is each strip a cut out from each image 50 (i)1, A2,. . . a3, B1, B2,. . . b3,. . . Created using Strip a used for image 51a1, A2,. . . a3Are all horizontally separated from the center of each image 50 (i) by the same distance, and the strip b used for the image 51b is1, B2,. . . b3Are all vertically separated by the same distance from the center of each image 50 (i), and so on. As can be appreciated, viewing image 51 (i) in pairs provides a stereoscopic depth perception. This is because these images are from substantially different viewing directions.
[0030]
Further, as described above, the displays 23, 33A, 33B (the stereoscopic data recording and transmitting device 11n) and the display 42 (the display device 12m) can display a panoramic image including a stereoscopic panoramic image set using a lenticular lens. May look like a stereoscopic image. This is described with reference to FIG. Referring to FIG. 6, the lenticular lens 61 has a flat back surface and a curved front surface. The panoramic image obtained from the stereoscopic panoramic image set is projected onto the flat back surface of the lenticular lens in the form of a segment, and the viewer views the stereoscopic image by looking toward the front surface. The lenticular lens 61 illustrated in FIG. 6 illustrates three lens segments 61 (1) -61 (3) (generally identified by reference numeral 61 (s)), each of which includes: A curved front surface is provided. Each lens segment 61 (s) has a reference numeral 62 (s) (A), 62 (s) (B), 62 (s) (C) (generally identified by reference numeral 62 (s) (p)). Each segment of each panoramic image identified by is printed. Here, the index “p” indicates each panoramic image. As shown in FIG. 6, when viewed through a lenticular lens from a particular direction, the viewer sees three images 63 (A), 63 (B), 63 (C) (generally reference numeral 63). (Identified by (p)) can be selectively viewed. Therefore, for example, when the viewer views the lenticular lens 61 from the right side (from the bottom in FIG. 6), an image including the segments 62 (s) and (C) can be viewed. On the other hand, when the viewer looks at the lenticular lens 61 from the left side (from the top in FIG. 6), an image including the segment 62 (s) (A) can be viewed. Finally, when the viewer directly looks at the optical lens 61 from the front, an image including the segments 62 (s) and (B) can be viewed. For example, if the observer looks at the lenticular lens 61 when the left eye looks at the lens from the right side and the right eye looks at the lens from the left side, it is used for the segment 62 (s) (A). If the panoramic image to be obtained is a panoramic image on the left side of the stereoscopic panoramic image set and the panoramic image used for the segment 62 (s) (C) is a panoramic image on the right side of the same stereoscopic panoramic image set, the viewer will You will see the image stereoscopically.
[0031]
As described above, the image recording unit includes the video camera 21 of the illustrated stereoscopic data recording and transmitting apparatus 11n, but may be the same as that described in Pereg Patent Application I or II. As described in these patent applications, when rotating the camera that records an image to be used to create a panoramic image including a stereoscopic panoramic image set, the camera's center of rotation is It is preferred that each panorama image required for the stereoscopic panorama image set can be created by setting the strip obtained from each image from different viewing directions. However, it will be understood that the image recording unit used in the stereoscopic data recording and transmitting device 11n may use any of a number of other formats. Some of these types are schematically illustrated in FIGS. These figures can show that the effective projection center is in front of the camera. In those cases, the center of rotation of the camera can intersect the camera since the effective projection center is in front of the camera. 7 to 9 show image recording units 100, 110, and 120 using a fixed mirror, a rotating mirror, or a mirror segment, and FIGS. 10 to 12 use a fixed prism, a rotating prism, or a prism segment, respectively. 13 shows an image recording unit 160 using a lens, and FIG. 14 shows an image recording unit 170 using a plurality of cameras arranged linearly. Each of the image recording units 100, 110, 120, 130, 140, 150, 160 includes one camera 101, 111, 121, 131, 141, 151, 161. Each of the cameras may be a still camera or a video camera. The image recording unit 170 uses a plurality of cameras, and these cameras may be either still cameras or video cameras.
[0032]
Next, reference is made to FIG. FIG. 1 schematically shows an image recording unit 100 including a camera 101 and a mirror 102. The mirror 102 is arranged at a fixed angle with respect to the camera axis 103. The selection of this angle is such that light rays 104A-104C can be reflected towards the imaging sensor 105 of the camera in a range between 0 ° and 90 °. As shown in FIG. 7, light rays 104A, 104B, and 104C (generally identified by reference numeral 104) guided from a scene (not shown) toward the image recording unit are reflected by the mirror 102, and each area 106A. , 106B, and 106C so that an image of the scene can be recorded. As shown in FIG. 7, each of the light rays 104A, 104B, and 104C indicates a viewing direction. By using the image strips including the above-described respective regions, each image for the stereoscopic panoramic image set can be created as described above. As shown in FIG. 7, the mirror 102 moves the apparent projection center of the light beam 104 from the point O of the optical system 107 of the camera 101 to a point O ′ far in front of the camera 101 and at the rear of the mirror 102. Play a role. By doing so, it is possible to rotate the camera 101 around the rotation center passing through the camera 101 and also passing through the projection center O of the camera.
[0033]
Referring to FIG. FIG. 1 schematically shows an image recording unit 110 including a camera 111 and a mirror 112. The mirror 112 is arranged so as to form a plurality of arrangement angles with respect to the camera axis 113. The selection of these angles is such that the rays 114A and 114B can be reflected towards the center of the camera's imaging sensor 115 in the range between 0 ° and 90 °. As shown in FIG. 8, light rays 114A and 114B (generally identified by reference numeral 114) guided from a scene (not shown) toward the image recording unit are reflected by a mirror 112, and are reflected toward a center of the image sensor 115. Toward the same area. Images 116A, 116B,. . . Are recorded at positions corresponding to the respective arrangement angles. As shown in FIG. 8, the light rays 114A and 114B indicate each viewing direction. The camera 111 can record each image corresponding to each arrangement angle at which the mirror 112 is arranged, and can record each image of the scene. By using the image strips including the above-described respective regions, each image for the stereoscopic panoramic image set can be created as described above. As shown in FIG. 8, the mirror 112 serves to move the apparent projection center of the light beam 114 from the point O of the optical system 117 of the camera 111 to the point O ′ coincident with the rotation center of the mirror 112. As in the case of the camera 101, this makes it possible to rotate the camera 111 around a rotation center that passes through the camera 111 and can also pass through the projection center O of the camera. Become.
[0034]
Please refer to FIG. FIG. 1 schematically shows an image recording unit 120 including a camera 121 and mirror segments 122A and 122B. Each of the mirror segments 122A and 122B are arranged opposite to each other with respect to the camera axis 123, and are arranged at fixed angles that are complementary to each other with respect to the camera axis. The selection of this angle is such that the rays 124A and 124B can be reflected towards the imaging sensor 125 of the camera in the range between 0 ° and 90 °. As shown in FIG. 9, light rays 124A and 124B (generally identified by reference numeral 124) guided from a scene (not shown) in the direction of the image recording unit are reflected by mirror segments 122A and 122B, and areas 126A and 126B. To record images of the scene. If there is a gap between mirror segments 122A and 122B, as is the case with instrument arrangement 120, ray 124B passing through the gap is directed to region 126B between regions 126A and 126C. As shown in FIG. 9, light rays 124A, 124B, and 124C indicate respective viewing directions. By using the image strips including the above-described respective regions, each image for the stereoscopic panoramic image set can be created as described above. As shown in FIG. 9, the mirrors 122A and 122B cooperate to move the apparent projection center of the ray 124 from the point O of the optical system 127 of the camera 121 in front of the camera 121 and between the mirrors 122A and 122B. It serves to move to the O 'point between them. By doing so, it is possible to rotate the camera 121 around a rotation center that passes through the camera 121 and can also pass through the projection center O of the camera.
[0035]
FIGS. 10 and 12 schematically illustrate image recording devices 130, 150 that are similar to the image recording devices 100, 120 described above with respect to FIGS. 7 and 9, respectively. However, the difference is that instead of using a mirror, each of the image recording units 130 and 150 includes a prism 132 (in the case of FIG. 10) or a prism segment 152 (in the case of FIG. 12). The prism 132 and the prism segments 152A, 152C are arranged at a fixed angle with respect to the camera axes 134,154. As in the case of the image recording unit 100, the image recording unit 130 refracts a light beam 134 A, 134 B, 134 C (generally identified by the reference numeral 134) guided from a scene (not shown) toward the image recording device by the prism 132. Then, the images are guided to the regions 136A, 136B, and 136C, respectively, so that the images of the scenes can be recorded, and the images for the stereoscopic panoramic image set are created using the image strips including the regions described above. can do. Similarly, as in the case of the image recorder 120, the image recorder 150 prisms light rays 154A, 154B, 154C (generally identified by reference numeral 154) that are directed from the scene (not shown) toward the image recorder. It is refracted at the segments 152A and 152C and leads to regions 156A and 156C, respectively, so that an image of the scene can be recorded. If there is a gap between prism segments 152A and 152C, as with arrangement 150, ray 154B passing through the gap is directed to region 156B between regions 156A and 156C. As shown in FIGS. 10 and 12, light beams 134A, 134B and 134C (FIG. 10) and light beams 154A, 154B and 154C (FIG. 12) indicate respective viewing directions. The prism 132 and the prism segment 152 serve to move the apparent projection centers of the light beams 134 and 154 from the O points of the optical systems 137 and 157 of the cameras 131 and 151 to an O ′ point that matches the projection center of each camera. . As in the case of the cameras 101 and 121, this allows the cameras 131 and 151 to be positioned around the rotation center passing through the cameras 131 and 151 and also passing through the projection center O of the camera. It is possible to rotate.
[0036]
FIG. 11 schematically illustrates an image recording unit 140 similar to each image recording unit 110 described above with respect to FIG. However, the difference is that the image recording unit 140 includes a prism 142 instead of using a mirror. The prisms 142 are each arranged at a plurality of angles with respect to the camera axis 144. As in the case of the image recording unit 110, in the image recording unit 140, rays 144A, 144B,... Guided from a scene (not shown) toward the image recording unit. . . (Generally identified by reference numeral 144) is refracted by the prism 142 and directed to a region of the image sensor 145 toward the center. The camera 141 records each image with respect to the position of the angle at which the prism 142 is arranged, so that each image of the scene can be recorded. As shown in FIG. 11, rays 144A, 144B,. . . Indicates each viewing direction. The prism 142 serves to move the apparent projection center of the light ray 144 from the point O of the optical system 147 of the camera 141 to a point O 'corresponding to the projection center of each camera. As in the case of the camera 111, this makes it possible to rotate the camera 141 around the center of rotation that passes through the camera 141 and can also pass through the projection center O of the camera. Become.
[0037]
FIG. 13 schematically illustrates an image recording section 160 similar to each of the image recording sections 120 and 150 described above with respect to FIGS. However, the difference is that the image recording unit 160 has a lens 162 instead of using a mirror segment or a prism segment. As in the case of the image recording unit 100, the image recording unit 160 refracts rays 164A, 164B, 164C (generally identified by reference numeral 164) guided from a scene (not shown) toward the image recording unit by a lens 162. Then, the images are guided to the regions 166A, 166B, and 166C, respectively, so that the images of the scenes can be recorded. Using the image strips including these regions, the respective images for the stereoscopic panoramic image set are created as described above. Can be. As shown in FIG. 13, light rays 164A, 164B, and 164C indicate each viewing direction. The lens 162 serves to move the apparent projection center of the light beam 164 from the point O of the optical system 167 of the camera 161 to the point O 'coincident with the rotation center of the camera 161. As in the case of the cameras 121 and 151, this allows the camera 161 to rotate around the center of rotation that passes through the camera 161 and can also pass through the projection center O of the camera. It becomes possible.
[0038]
It will be appreciated that each of the image recording units described above with respect to FIGS. 7-13 may have different portions of the image as the image recording unit records images of the scene using a single camera. Make each panorama image for a stereoscopic panoramic image set so that it is from different viewing directions, and when viewing the stereoscopic panoramic image set at the same time, you can view the scene image stereoscopically . FIG. 14 shows a plurality of cameras 171A,. . . , 171K (generally identified by the reference numeral 171k) are shown mounted on a platform 172 in a linear fashion. As will be understood, when the device 170 is oriented in a certain direction so that each image can be recorded by the camera 170k, the image recorded by the camera 171k includes “K” recorded by each camera. The strip of each "th" image has a different viewing direction. Rotating the device 170 around the center of rotation or moving along a distance allows the camera 171k to record a series of images as described above. When creating each panorama image for a stereoscopic panorama image set, each camera 171k ', 171k' ',. . . Each strip of the series of images recorded at each can be mosaiced together to form each panoramic image. That is, for example, for camera 171k ', "S" strips S from each of "I" images1 1, S1 2,. . . S1 S, S2 1,. . . SI S(Generally the reference number Si SAre obtained, and images i = 1, 2, 3,. . . "Sth" strip S obtained from1 S, S2 S, S3 SCan be mosaiced together to form each panoramic image that can be used for a stereoscopic panoramic image set. Thus, it should be understood that the device 170 can be used to create a stereoscopic panoramic image set containing “S” × “K” panoramic images, which can be viewed, printed, etc. Can be used.
[0039]
Many advantages are obtained with the present invention. In particular, the present invention relates to a three-dimensional data recording and transmitting apparatus used to record a scene image and create a three-dimensional image, and to display a three-dimensional image set so that the scene looks three-dimensional or to create a print. And a display device such as the above.
[0040]
It will be appreciated that many modifications can be made to the devices described herein. For example, while the apparatus of the present invention has been described as creating, displaying, and printing panoramic images, the apparatus instead creates, displays, prints, etc. ordinary "non-panoramic" images. It will be understood that it can also be.
[0041]
Further, while the stereoscopic data recording and transmitting device has been described as creating a stereoscopic image set, the stereoscopic data recording and transmitting device can also record a series of images itself, which is a material from which a stereoscopic panoramic image set can be created. Will be understood. After recording the series of images, the stereoscopic data recording and transmitting apparatus can send these images to the distribution channel 13 and distribute them to one or more display devices. The distribution channel 13 or the display device itself can create an image containing a stereoscopic panoramic image set. In that case, it will be appreciated that the distribution channel and / or the one or more display devices comprise components for creating a stereoscopic panoramic image set. Such a function has already been described above as constituting a part of the three-dimensional data recording and transmitting apparatus.
[0042]
Furthermore, although specific mechanisms have been described that enable viewing of images of at least a portion of the stereoscopic image set at substantially the same time, it will be understood that other mechanisms can be used instead or in combination. . For example, but not limited to, spectacles with lenses of different colors, spectacles with lenses of opposite polarization direction, display at least two images of a stereoscopic image set fast enough to provide a sense of depth. Or other mechanisms as will be appreciated by those skilled in the art can be used.
[0043]
Moreover, although the camera described above with reference to FIGS. 7-14 has been described as comprising a conventional still camera or a video camera, it comprises a camera in which the image recording elements are provided only in each image plane portion. It will be appreciated that they may be. Strips are obtained from this image plane and are used to create each image of the stereoscopic image set.
[0044]
Further, while the present invention has been described as having each image segment from the stereoscopic panoramic image set displayed and shown through a lenticular lens, alternatively, it may be printed and shown through a lenticular lens or a lenticular lens. It will be apparent to those skilled in the art that it may also be printed directly on the back of the device or performed in other arrangements apparent to those skilled in the art. For example, if the image is to be printed on the back of a lenticular lens, it is understood that the formation of the lenticular forward curve may occur before, during, or after the image print. Like.
[0045]
Moreover, in the above description relating to FIG. 5, the strips of each panoramic image of the stereoscopic panoramic image set are shown to be from images having the same horizontal distance in the sequentially arranged images. It will be appreciated that the horizontal distances may be different as described in Application III. This may be useful in connection with adjusting the asymmetric parity when the adoption of a sense of stereoscopic depth is desired.
[0046]
It will be appreciated that the system according to the present invention, in whole or in part, may consist of special purpose hardware or a general purpose computer system, or a combination thereof, any of which may be controlled by a suitable program. Any program may constitute, in whole or in part, a part of the system or be stored in the system in a conventional manner, or transmit information in whole or in part over a network or in a conventional manner The system can be supplied on other mechanisms. Further, it will be appreciated that the system can be operated and / or controlled by information provided by an operator using an operator input device (not shown). The operator input device can be connected directly to the system, or can provide information to the system over a network or other mechanism that communicates information in a conventional manner.
[0047]
The foregoing description has been limited to a specific embodiment of this invention. However, it will be apparent that a wide variety of variations and modifications may be made to the invention, while still obtaining some or all of the advantages of the invention. The purpose of the appended claims is to cover these and other such changes and modifications as fall within the true spirit and scope of the invention.
[0048]
What is claimed as new and desired to be patented is set forth in the following claims.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a stereoscopic panoramic image creating system configured to record, create, and display a stereoscopic panoramic image according to the present invention.
FIG. 2 is a schematic plan view of an external appearance of a stereoscopic data recording and transmitting apparatus used for the stereoscopic panoramic image creating system shown in FIG. 1;
FIG. 3 is a functional block diagram of the three-dimensional data recording and transmitting apparatus shown in FIG. 2;
4 is a functional block diagram of an example of the display device shown in FIG.
FIG. 5 is a diagram useful in understanding the operations performed in the stereoscopic panorama image creation system shown in FIG. 1 with respect to stereoscopic panorama image set creation.
FIG. 6 is a diagram useful for understanding a system configuration for creating and displaying a lenticular print.
FIG. 7 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting apparatus described with reference to FIGS. 2 and 3;
8 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting device described with reference to FIGS. 2 and 3. FIG.
9 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting apparatus described with reference to FIGS. 2 and 3. FIG.
10 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting device described with reference to FIGS. 2 and 3. FIG.
FIG. 11 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting device described with reference to FIGS. 2 and 3;
FIG. 12 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting apparatus described with reference to FIGS. 2 and 3;
FIG. 13 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting device described with reference to FIGS. 2 and 3;
14 is an explanatory diagram of an example of an image recording unit that can be used in connection with the three-dimensional data recording and transmitting device described with reference to FIGS. 2 and 3. FIG.

Claims (32)

少なくとも１基の立体データ記録送信装置と少なくとも１基の利用装置と両者を相互接続する分配チャネルとを備える立体画像取扱システムであって、
前記少なくとも１基の立体データ記録送信装置が、立体画像セットを作成できる画像を記録するように構成され、
前記利用装置が、前記立体画像セットを用い得るように構成され、
前記分配チャネルが、前記立体データ記録送信装置と前記利用装置との間の情報送信を選択的に行うように構成され、
前記情報が、前記立体データ記録送信装置が記録した画像または前記立体画像セットを含み、
前記少なくとも１基の立体データ記録送信装置、分配チャネルまたは利用装置のうちの一つが、前記立体データ記録送信装置が記録した画像から前記立体画像セットを作成する構成とされている立体画像取扱システム。A stereoscopic image handling system comprising at least one stereoscopic data recording and transmitting device, at least one utilization device, and a distribution channel interconnecting the two.
The at least one stereoscopic data recording and transmitting device is configured to record an image from which a stereoscopic image set can be created,
The utilization device is configured to be able to use the stereoscopic image set,
The distribution channel is configured to selectively perform information transmission between the three-dimensional data recording transmission device and the utilization device,
The information includes the image or the stereoscopic image set recorded by the stereoscopic data recording and transmitting device,
A stereoscopic image handling system, wherein one of the at least one stereoscopic data recording and transmitting device, a distribution channel, and a utilization device is configured to create the stereoscopic image set from images recorded by the stereoscopic data recording and transmitting device. 請求項１に記載の立体画像取扱システムにおいて、
前記立体画像セットが立体パノラマ画像セットであって、
前記立体データ記録送信装置が記録した画像から前記立体画像セットを作成するように構成されている、前記少なくとも１基の立体データ記録送信装置、分配チャネルまたは利用装置のうちの一つが、前記立体画像セットを立体パノラマ画像セットとして作成する構成とされていることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 1,
The stereoscopic image set is a stereoscopic panoramic image set,
The stereoscopic data recording and transmitting device is configured to create the stereoscopic image set from images recorded by the stereoscopic data recording and transmitting device. A stereoscopic image handling system, wherein a set is created as a stereoscopic panoramic image set. 請求項１に記載の立体画像取扱システムにおいて、
前記利用装置が、ユーザが視ると立体感ある奥行きが感じられるように前記立体データセットをディスプレイする構成とされていることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 1,
A three-dimensional image handling system, wherein the utilization device is configured to display the three-dimensional data set so that the user can feel a three-dimensional depth when viewed by a user. 請求項３に記載の立体画像取扱システムにおいて、
前記立体画像セットが２枚の画像から成り、利用装置が、前記画像の各一枚をそれぞれ各カラーで表示するに際して、対応するカラー付の眼鏡を通して同時に視ると、前記表示された立体データセットによって立体感ある奥行きが感じられる構成とされていることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 3,
The stereoscopic image set is composed of two images, and when the utilization apparatus displays each one of the images in each color, when the user views them simultaneously through the corresponding colored glasses, the displayed stereoscopic data set A stereoscopic image handling system characterized in that the stereoscopic image handling system is configured to provide a stereoscopic depth. 請求項３に記載の立体画像取扱システムにおいて、
前記立体画像セットが２枚の画像から成り、利用装置が、前記画像の各一枚をそれぞれ各偏光で表示し、対応する偏光眼鏡を通して同時に視ると、前記表示された立体データセットによって立体感ある奥行きが感じられる構成とされることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 3,
When the stereoscopic image set is composed of two images, and the utilization apparatus displays each one of the images with each polarization and simultaneously views through the corresponding polarized glasses, the displayed stereoscopic data set provides a three-dimensional effect. A stereoscopic image handling system, characterized in that a certain depth is felt. 請求項１に記載の立体画像取扱システムにおいて、
前記利用装置が、ユーザが視ると立体感ある奥行きが感じられるように前記立体データセットをプリントする構成とされていることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 1,
A three-dimensional image handling system, wherein the utilization device is configured to print the three-dimensional data set so that the user feels a three-dimensional depth when viewed by a user. 請求項６に記載の立体画像取扱システムにおいて、
前記立体画像セットが２枚の画像から成り、利用装置が、前記画像をプリントし、レンチキュラーレンズを通して視ると、前記プリントされて視られた立体データセットによって立体感ある奥行きが感じられる構成とされていることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 6,
The stereoscopic image set is composed of two images, and when a utilization apparatus prints the image and views it through a lenticular lens, the printed stereoscopic data set provides a stereoscopic depth. A stereoscopic image handling system, characterized in that: 請求項１に記載の立体画像取扱システムにおいて、
前記立体データ記録送信装置が、
Ａ．画像センサと、光を前記画像センサに選択的に到達させ得る構成とされている光学系とを備えるカメラと、
Ｂ．シーンからの光線を前記光学系に導いて前記画像センサに検出させるに際して前記画像センサに導かれた光線がシーンの相異なる視野方向からのものとする構成とされている光学装置と、
を備えることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 1,
The three-dimensional data recording and transmitting device,
A. An image sensor, and a camera including an optical system configured to allow light to selectively reach the image sensor,
B. An optical device configured to guide light beams from a scene to the optical system and to detect the image sensors by detecting the light beams guided to the image sensor from different viewing directions of the scene;
A stereoscopic image handling system comprising: 請求項８に記載の立体画像取扱システムにおいて、
前記光学系がレンズとシャッタを備えることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 8,
The three-dimensional image handling system, wherein the optical system includes a lens and a shutter. 請求項８に記載の立体画像取扱システムにおいて、
前記光学装置がミラーであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 8,
The stereoscopic image handling system, wherein the optical device is a mirror. 請求項１０に記載の立体画像取扱システムにおいて、
前記光学装置が画像センサに関してある固定された角度で配置されたミラーであって、画像センサの相異なる部分に導かれた光線が、シーンの相異なる視野方向からのものであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 10,
The optical device is a mirror positioned at a fixed angle with respect to the image sensor, wherein light rays directed to different portions of the image sensor are from different viewing directions of the scene. Stereoscopic image handling system. 請求項１０に記載の立体画像取扱システムにおいて、
前記光学装置が、画像センサに関して複数の配置角度で選択的に配置可能なミラーであって、各配置角度のミラーから画像センサの同じ部分に導かれる光線が、シーンの各視野方向からのものであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 10,
The optical device is a mirror that can be selectively arranged at a plurality of arrangement angles with respect to the image sensor, and light rays guided from the mirrors at each arrangement angle to the same portion of the image sensor are from each view direction of the scene. A stereoscopic image handling system characterized by the following. 請求項８に記載の立体画像取扱システムにおいて、
前記光学装置がプリズムであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 8,
A stereoscopic image handling system, wherein the optical device is a prism. 請求項１３に記載の立体画像取扱システムにおいて、
前記光学装置が画像センサに関してある固定された角度で配置されたプリズムであって、画像センサの相異なる部分に導かれた光線が、シーンの相異なる視野方向からのものであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 13,
The optical device is a prism disposed at a fixed angle with respect to the image sensor, wherein the light rays directed to different portions of the image sensor are from different viewing directions of the scene. Stereoscopic image handling system. 請求項１３に記載の立体画像取扱システムにおいて、
前記光学装置が画像センサに関して複数の角度で選択的に配置可能なプリズムであって、各配置角度のプリズムから画像センサの同じ部分に導かれる光線が、シーンの各視野方向からのものであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 13,
The optical device is a prism that can be selectively arranged at a plurality of angles with respect to the image sensor, and light rays guided from the prisms at each arrangement angle to the same part of the image sensor are from each view direction of the scene. A stereoscopic image handling system characterized by the following. 請求項８に記載の立体画像取扱システムにおいて、
前記光学装置が画像センサに関してある角度で配置されたレンズであって、画像センサの相異なる部分に導かれた光線が、シーンの相異なる視野方向からのものであることを特徴とする立体画像取扱システム。The stereoscopic image handling system according to claim 8,
Stereoscopic image handling wherein the optical device is a lens positioned at an angle with respect to an image sensor, wherein light rays directed to different parts of the image sensor are from different viewing directions of the scene. system. 画像記録デバイスが、
Ａ．画像センサと、光を前記画像センサに選択的に到達させ得る構成とされている光学系とを備えるカメラと、
Ｂ．シーンからの光線を前記光学系に導いて前記画像センサに検出させるに際して、前記画像センサに導かれた光線が、シーンの相異なる視野方向からのものとする構成とさている光学装置と、
を備えることを特徴とする画像記録デバイス。The image recording device is
A. An image sensor, and a camera including an optical system configured to allow light to selectively reach the image sensor,
B. When the light from the scene is guided to the optical system and detected by the image sensor, the light guided to the image sensor is configured to be from different viewing directions of the scene,
An image recording device comprising: 請求項１７に記載の画像記録デバイスにおいて、
前記光学系がレンズとシャッタを備えることを特徴とする画像記録デバイス。The image recording device according to claim 17,
An image recording device, wherein the optical system includes a lens and a shutter. 請求項１７に記載の画像記録デバイスにおいて、
前記光学装置がミラーであることを特徴とする画像記録デバイス。The image recording device according to claim 17,
An image recording device, wherein the optical device is a mirror. 請求項１９に記載の画像記録デバイスにおいて、
前記光学装置が画像センサに関してある固定された角度で配置されたミラーであって、画像センサの相異なる部分に導かれた光線が、シーンの相異なる視野方向からのものであることを特徴とする画像記録デバイス。The image recording device according to claim 19,
The optical device is a mirror positioned at a fixed angle with respect to the image sensor, wherein light rays directed to different portions of the image sensor are from different viewing directions of the scene. Image recording device. 請求項１９に記載の画像記録デバイスにおいて、
前記光学装置が、画像センサに関して複数の角度で選択的に配置可能なミラーであって、各配置角度のミラーから画像センサの同じ部分に導かれる光線が、シーンの各視野方向からのものであることを特徴とする画像記録デバイス。The image recording device according to claim 19,
The optical device is a mirror that can be selectively positioned at a plurality of angles with respect to the image sensor, wherein light rays guided from the mirror at each of the positioning angles to the same portion of the image sensor are from each view direction of the scene. An image recording device, characterized in that: 請求項１７に記載の画像記録デバイスにおいて、
前記光学装置がプリズムであることを特徴とする画像記録デバイス。The image recording device according to claim 17,
An image recording device, wherein the optical device is a prism. 請求項２２に記載の画像記録デバイスにおいて、
前記光学装置が画像センサに関してある固定された角度で配置されたプリズムであって、画像センサの相異なる部分に導かれた光線が、シーンの相異なる視野方向からのものであることを特徴とする画像記録デバイス。The image recording device according to claim 22,
The optical device is a prism disposed at a fixed angle with respect to the image sensor, wherein the light rays directed to different portions of the image sensor are from different viewing directions of the scene. Image recording device. 請求項２２に記載の画像記録デバイスにおいて、
前記光学装置が、画像センサに関して複数の角度で選択的に配置可能なプリズムであって、各配置角度のプリズムから画像センサの同じ部分に導かれる光線が、シーンの各視野方向からのものであることを特徴とする画像記録デバイス。The image recording device according to claim 22,
The optical device is a prism that can be selectively disposed at a plurality of angles with respect to the image sensor, and light beams guided from the prisms at each of the disposed angles to the same portion of the image sensor are from each view direction of the scene. An image recording device, characterized in that: 請求項１７に記載の画像記録デバイスにおいて、
前記光学装置が画像センサに関してある角度で配置されたレンズであって、画像センサの相異なる部分に導かれた光線が、シーンの相異なる視野方向からのものであることを特徴とする画像記録デバイス。The image recording device according to claim 17,
An image recording device, wherein the optical device is a lens disposed at an angle with respect to an image sensor, wherein light rays directed to different portions of the image sensor are from different viewing directions of a scene. . 少なくとも１基の立体データ記録送信装置と、少なくとも１基の立体パノラマ画像セット利用装置と、両者を相互接続する分配チャネルとを備えている立体パノラマ画像取扱システムであって、
前記立体データ記録送信装置が、立体画像セットを作成できる画像を記録するように構成され、
前記立体パノラマ画像セット利用装置が、前記立体画像セットを用いることができるように構成され、
前記分配チャネルが、前記立体データ記録送信装置からの画像を選択的に受信し、立体パノラマ画像セットを作成し、前記立体パノラマ画像セットを前記少なくとも１基の立体パノラマ画像利用装置に送信する構成とされていることを特徴とする立体パノラマ画像取扱システム。A stereoscopic panoramic image handling system comprising at least one stereoscopic data recording and transmitting device, at least one stereoscopic panoramic image set using device, and a distribution channel interconnecting the two.
The three-dimensional data recording and transmitting device is configured to record an image capable of creating a three-dimensional image set,
The stereoscopic panoramic image set using device is configured to be able to use the stereoscopic image set,
A configuration in which the distribution channel selectively receives an image from the stereoscopic data recording and transmitting device, creates a stereoscopic panoramic image set, and transmits the stereoscopic panoramic image set to the at least one stereoscopic panoramic image utilization device; A stereoscopic panoramic image handling system, characterized in that it has been performed. 請求項２６に記載の立体パノラマ画像取扱システムにおいて、
前記少なくとも１基の立体パノラマ画像セット利用装置が、ユーザが視ると立体感ある奥行きが感じられるように前記立体パノラマ画像セットを表示する構成とされていることを特徴とする立体パノラマ画像取扱システム。The stereoscopic panoramic image handling system according to claim 26,
A stereoscopic panoramic image handling system, wherein the at least one stereoscopic panoramic image set using apparatus displays the stereoscopic panoramic image set so that the user can feel a stereoscopic depth when viewed by a user. . 請求項２６に記載の立体画像取扱システムにおいて、
前記立体パノラマ画像利用装置が、ユーザが視ると立体感ある奥行きが感じられるように前記立体パノラマ画像セットを表示する構成とされていることを特徴とする立体パノラマ画像取扱システム。The stereoscopic image handling system according to claim 26,
A stereoscopic panoramic image handling system, wherein the stereoscopic panoramic image utilization device is configured to display the stereoscopic panoramic image set such that a stereoscopic depth is felt when viewed by a user. 請求項２８に記載の立体パノラマ画像取扱システムにおいて、
前記立体パノラマ画像セットが２枚の画像から成り、前記立体パノラマ画像セット利用装置が、前記画像の各１枚をそれぞれ各カラーで表示し、対応するカラー付の眼鏡を通して同時に視ると、前記表示された立体パノラマ画像セットによって立体感ある奥行きが感じられる構成とされていることを特徴とする立体パノラマ画像取扱システム。The stereoscopic panoramic image handling system according to claim 28,
When the stereoscopic panoramic image set is composed of two images, and the stereoscopic panoramic image set utilization device displays each one of the images in each color and simultaneously views them through the corresponding colored glasses, the display is performed. A stereoscopic panoramic image handling system, characterized in that the stereoscopic panoramic image set is configured to provide a stereoscopic depth. 請求項２８に記載の立体パノラマ画像取扱システムにおいて、
前記立体パノラマ画像セットが２枚の画像から成り、前記立体パノラマ画像セット利用装置が、前記画像の各１枚を各偏光で表示し、対応する偏光眼鏡を通して同時に視ると、前記表示された立体パノラマ画像セットによって立体感ある奥行きが感じられる構成とされていることを特徴とする立体パノラマ画像取扱システム。The stereoscopic panoramic image handling system according to claim 28,
When the stereoscopic panoramic image set is composed of two images, and the stereoscopic panoramic image set utilization device displays each one of the images with each polarized light and simultaneously views through the corresponding polarized glasses, the displayed stereoscopic panoramic image set is displayed. A stereoscopic panorama image handling system, characterized in that a stereoscopic depth is felt by a panoramic image set. 請求項２６に記載の立体パノラマ画像取扱システムにおいて、
前記立体パノラマ画像セット利用装置が、ユーザが視ると立体感ある奥行きが感じられるように前記立体パノラマ画像セットをプリントする構成とされていることを特徴とする立体パノラマ画像取扱システム。The stereoscopic panoramic image handling system according to claim 26,
A stereoscopic panoramic image handling system, wherein the stereoscopic panoramic image set utilization device is configured to print the stereoscopic panoramic image set so that a stereoscopic depth is felt when the user views the stereoscopic panoramic image set. 請求項３１に記載の立体パノラマ画像取扱システムにおいて、
前記立体パノラマ画像セットが２枚の画像から成り、前記立体パノラマ画像セット利用装置が、前記画像をプリントし、レンチキュラーレンズを通して視ると、前記プリントされて視られた立体パノラマ画像セットによって立体感ある奥行きが感じられる構成とされていることを特徴とする立体パノラマ画像取扱システム。The stereoscopic panoramic image handling system according to claim 31,
The stereoscopic panoramic image set includes two images, and when the stereoscopic panoramic image set using device prints the image and views the image through a lenticular lens, the printed stereoscopic panoramic image set provides a stereoscopic effect. A stereoscopic panoramic image handling system, characterized in that it has a configuration in which depth can be felt.
JP2001576672A 2000-04-19 2001-04-19 System and method for capturing and displaying a stereoscopic panoramic image Pending JP2004512701A (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US19838100P 2000-04-19 2000-04-19
US21715900P 2000-07-06 2000-07-06
US23056200P 2000-08-30 2000-08-30
PCT/IB2001/000837 WO2001080545A2 (en) 2000-04-19 2001-04-19 System and method for capturing and viewing stereoscopic panoramic images

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2011245024A Division JP5719754B2 (en) 2000-04-19 2011-11-09 Apparatus and method for capturing and displaying stereoscopic panoramic images
JP2012213833A Division JP2013038807A (en) 2000-04-19 2012-09-27 System and method for capturing and displaying stereoscopic panoramic image

Publications (2)

Publication Number Publication Date
JP2004512701A true JP2004512701A (en) 2004-04-22
JP2004512701A5 JP2004512701A5 (en) 2008-06-05

Family

ID=27393869

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2001576672A Pending JP2004512701A (en) 2000-04-19 2001-04-19 System and method for capturing and displaying a stereoscopic panoramic image
JP2011245024A Expired - Lifetime JP5719754B2 (en) 2000-04-19 2011-11-09 Apparatus and method for capturing and displaying stereoscopic panoramic images
JP2012213833A Pending JP2013038807A (en) 2000-04-19 2012-09-27 System and method for capturing and displaying stereoscopic panoramic image

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2011245024A Expired - Lifetime JP5719754B2 (en) 2000-04-19 2011-11-09 Apparatus and method for capturing and displaying stereoscopic panoramic images
JP2012213833A Pending JP2013038807A (en) 2000-04-19 2012-09-27 System and method for capturing and displaying stereoscopic panoramic image

Country Status (4)

Country Link
EP (1) EP1334622A4 (en)
JP (3) JP2004512701A (en)
AU (1) AU5249001A (en)
WO (1) WO2001080545A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474228B2 (en) 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2835973T3 (en) * 2013-08-06 2015-11-30 Sick Ag 3D camera and method for recording three-dimensional image data

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01247300A (en) * 1988-03-28 1989-10-03 Toshiba Corp Visual device of spacecraft
JPH0348233A (en) * 1989-07-17 1991-03-01 Sony Corp Stereoscopic image recording and projecting device
JPH03203734A (en) * 1989-12-29 1991-09-05 Minobu Jumonji Photographing and recording method for stereoscopic picture
JPH089421A (en) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd Stereoscopic video equipment
JPH09284809A (en) * 1996-04-18 1997-10-31 Canon Inc Image processing unit and image processing method
US5721585A (en) * 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10108152A (en) * 1996-09-27 1998-04-24 Sanyo Electric Co Ltd Portable information terminal
JPH10224820A (en) * 1997-02-07 1998-08-21 Canon Inc Compound-eye camera apparatus
JPH10307351A (en) * 1997-05-06 1998-11-17 Minolta Co Ltd Camera for taking stereoscopic picture
JPH1155693A (en) * 1997-08-07 1999-02-26 Hitachi Ltd Electronic photographic paper device and digital still picture camera
JPH11164326A (en) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd Panorama stereo image generation display method and recording medium recording its program

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4134644A (en) * 1977-01-10 1979-01-16 Marks Alvin M 3D Color pictures with multichrome filters
JPH0518175U (en) * 1991-08-08 1993-03-05 コニカ株式会社 Image sensor for panoramic electronic camera
US5825466A (en) * 1996-01-18 1998-10-20 Image Technology International, Inc. 3D photo printer with image distortion correction
JPH0749466A (en) * 1993-08-04 1995-02-21 Sony Corp Method for displaying image
JPH07146507A (en) * 1993-11-25 1995-06-06 Sony Corp Camera apparatus
JPH09197579A (en) * 1996-01-19 1997-07-31 Nec Eng Ltd Stereoscopic vision image pickup telescope
JP3650221B2 (en) * 1996-06-27 2005-05-18 株式会社フォトクラフト社 Stereoscopic image capturing method and apparatus
JP3595634B2 (en) * 1996-09-11 2004-12-02 キヤノン株式会社 Compound eye camera and image processing method
JPH11146425A (en) * 1997-11-11 1999-05-28 Canon Inc Double eye camera, double eye camera system and double eye camera control method
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
JP2000092519A (en) * 1998-09-10 2000-03-31 Toshiba Corp Stereoscopic image receiver and stereoscopic image display system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01247300A (en) * 1988-03-28 1989-10-03 Toshiba Corp Visual device of spacecraft
JPH0348233A (en) * 1989-07-17 1991-03-01 Sony Corp Stereoscopic image recording and projecting device
JPH03203734A (en) * 1989-12-29 1991-09-05 Minobu Jumonji Photographing and recording method for stereoscopic picture
JPH089421A (en) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd Stereoscopic video equipment
JPH09284809A (en) * 1996-04-18 1997-10-31 Canon Inc Image processing unit and image processing method
US5721585A (en) * 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10108152A (en) * 1996-09-27 1998-04-24 Sanyo Electric Co Ltd Portable information terminal
JPH10224820A (en) * 1997-02-07 1998-08-21 Canon Inc Compound-eye camera apparatus
JPH10307351A (en) * 1997-05-06 1998-11-17 Minolta Co Ltd Camera for taking stereoscopic picture
JPH1155693A (en) * 1997-08-07 1999-02-26 Hitachi Ltd Electronic photographic paper device and digital still picture camera
JPH11164326A (en) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd Panorama stereo image generation display method and recording medium recording its program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474228B2 (en) 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine

Also Published As

Publication number Publication date
EP1334622A2 (en) 2003-08-13
AU5249001A (en) 2001-10-30
WO2001080545A3 (en) 2002-06-20
WO2001080545A2 (en) 2001-10-25
JP2013038807A (en) 2013-02-21
EP1334622A4 (en) 2006-06-07
JP5719754B2 (en) 2015-05-20
JP2012080554A (en) 2012-04-19

Similar Documents

Publication Publication Date Title
US7477284B2 (en) System and method for capturing and viewing stereoscopic panoramic images
JP5358015B2 (en) System and method for generating and displaying panoramic images and videos
JP5014979B2 (en) 3D information acquisition and display system for personal electronic devices
JP4111231B2 (en) 3D display system
JPH10234057A (en) Stereoscopic video device and computer system including the same
JPH10327431A (en) Image generating method in virtual space, its device and image pickup device
JP4627952B2 (en) Stereoscopic image capturing machine and stereoscopic image capturing method
JP5638791B2 (en) Imaging device
JP5719754B2 (en) Apparatus and method for capturing and displaying stereoscopic panoramic images
JP2002125245A (en) Stereoscopic image edit method, stereoscopic image editor and stereoscopic image display system
JPH0713105A (en) Observer follow-up type stereoscopic display device
JP2004207780A (en) Photo taking apparatus
JP4475201B2 (en) Stereoscopic image display device and stereoscopic image display device system
JP2007072269A (en) Stereoscopic display device
JP2004258594A (en) Three-dimensional image display device realizing appreciation from wide angle
JP5627930B2 (en) 3D image data generation method
JP5551517B2 (en) Imaging device
JPH06276552A (en) Stereoscopic picture image pickup device and picture display device
JPH1070740A (en) Stereoscopic camera and video transmission system
JP2656787B2 (en) 3D image communication device
JP2005328332A (en) Three-dimensional image communication terminal
JPH04324410A (en) Stereoscopic microscope
JP2002027494A (en) System for imaging and presenting stereoscopic image
JP2006047690A (en) Projection type ip system three-dimensional display system
Kim et al. Performance analysis of a compact electro-optical 3D adapter with a wide capturing angle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110727

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110906

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111004

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120530

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121120