JP2006515128A - Stereo panoramic image capturing device - Google Patents

Stereo panoramic image capturing device Download PDF

Info

Publication number
JP2006515128A
JP2006515128A JP2004567640A JP2004567640A JP2006515128A JP 2006515128 A JP2006515128 A JP 2006515128A JP 2004567640 A JP2004567640 A JP 2004567640A JP 2004567640 A JP2004567640 A JP 2004567640A JP 2006515128 A JP2006515128 A JP 2006515128A
Authority
JP
Japan
Prior art keywords
image
combined
imaging system
panoramic
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004567640A
Other languages
Japanese (ja)
Inventor
ピアース,ドン
ヘレンスタッド,スティーブン
グロバー,トレント
グッド,フレッド
Original Assignee
マイコイ・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイコイ・コーポレーション filed Critical マイコイ・コーポレーション
Publication of JP2006515128A publication Critical patent/JP2006515128A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

複数の第1画像取り込み装置を含むイメージングシステム。オーバラップした複数の直線的画像が取り込まれて二分され、各左半部分がつなぎ合わされて第1等矩形画像に変換され、各右半分は、つなぎ合わされて第2等矩形画像に変換される。第1等矩形画像及び第2等矩形画像は、立体方位で表示され、立体等矩形画像を生成する。該イメージングシステムを用いて、複数の連続画像を取り込み、フルモーションの立体等矩形画像を生成することができる。An imaging system including a plurality of first image capture devices. A plurality of overlapping linear images are captured and divided into two, the left half portions are joined and converted into a first equal rectangular image, and the right halves are joined and converted into a second equal rectangular image. The first equal rectangular image and the second equal rectangular image are displayed in a three-dimensional orientation, and a three-dimensional rectangular image is generated. Using this imaging system, it is possible to capture a plurality of continuous images and generate a rectangular full-motion rectangular image.

Description

本発明の実施形態は、一般に、パノラマ画像取り込み装置に関し、更に具体的には、立体パノラマ画像を生成するためのパノラマ画像取り込み装置に関する。   Embodiments of the present invention generally relate to a panoramic image capturing device, and more specifically to a panoramic image capturing device for generating a stereoscopic panoramic image.

パノラマカメラは当該技術分野で公知である。このようなカメラは、単一の回転可能なカメラを使用する場合が多い。このような装置は、静止画像に好適であるが、静止していない対象物を取り込むために使用される場合には通常、ぼけた画像又は歪んだ画像を生成する。また、複数の画像取り込み装置を有する画像取り込みシステムを用いることは、当該技術分野で公知である。この方法では、複数の画像をほぼ同時に取り込むことができ、当該技術分野で公知のプロセスを用いて共につなぎ合わせることができる。このようなシステムは、動いている対象を取り込むことに伴う問題をかなり排除するが、このようなシステムは立体画像を生成するための手段を提供するものではない。   Panorama cameras are known in the art. Such cameras often use a single rotatable camera. Such an apparatus is suitable for still images, but typically produces blurred or distorted images when used to capture non-stationary objects. The use of an image capture system having a plurality of image capture devices is well known in the art. In this way, multiple images can be captured almost simultaneously and stitched together using processes known in the art. While such a system significantly eliminates the problems associated with capturing moving objects, such a system does not provide a means for generating a stereoscopic image.

立体画像を取り込むために「魚眼」レンズを使用することも当該技術分野では公知である。しかしながら、このような画像は、結果として得られる画像に多大な歪みを持ち込み、比較的低品質の画像を取り込む。従って、歪みが少なく高品質のパノラマ画像を生成することが望ましいであろう。   The use of “fish-eye” lenses to capture stereoscopic images is also known in the art. However, such images introduce significant distortion into the resulting image and capture relatively low quality images. Therefore, it would be desirable to generate a high quality panoramic image with little distortion.

通常、立体画像を取り込むためには、2つのイメージングシステムが特定の画像を取り込むために互いに隣接して位置付けられる。残念ながら、この方法は、1つの画像取り込み装置が隣接する画像取り込み装置の視野に必然的に入るので、立体パノラマ画像を生成するところまで外挿することができない。従って、特定の画像の立体表示のためのパノラマ画像の立体ペアを生成するために用いることができるパノラマ画像取り込みシステムを提供することが望まれる。   Usually, to capture a stereoscopic image, two imaging systems are positioned adjacent to each other to capture a particular image. Unfortunately, this method cannot be extrapolated to the point where a stereoscopic panoramic image is generated because one image capture device necessarily enters the field of view of an adjacent image capture device. Accordingly, it is desirable to provide a panoramic image capture system that can be used to generate a stereo pair of panoramic images for stereoscopic display of a particular image.

本発明によって提供される利点において、画像取り込みシステムは、パノラマ画像の立体映像ペアを生成する。   In an advantage provided by the present invention, the image capture system generates a stereoscopic video pair of panoramic images.

本発明は、シームレスなパノラマ画像を生成するための画像取り込みシステムを提供できる利点を有する。   The present invention has the advantage of providing an image capture system for generating seamless panoramic images.

本発明は、動いている立体パノラマ画像を生成するための画像取り込みシステムを提供できる利点を有する。   The present invention has the advantage of providing an image capture system for generating a moving stereoscopic panoramic image.

本発明は最小の歪みの立体パノラマ画像を提供できる利点を有する。   The present invention has the advantage of providing a stereoscopic panoramic image with minimal distortion.

本発明は、フルモーションでリアルタイムのパノラマ立体映像イメージングのためのイメージングシステムを提供できる利点を有する。   The present invention has the advantage of providing an imaging system for full-motion, real-time panoramic stereoscopic imaging.

本発明の好ましい実施態様では、第1画像取り込み装置、第2画像取り込み装置、第3画像取り込み装置を含むイメージングシステムを設けることが望ましい。本実施態様は、第1画像取り込み装置を使用して取り込まれた第1画像の少なくとも第1の部分を、第2画像取り込み装置を使用して取り込まれた第2画像の部分と結合させて、第1結合画像を生成するための手段を提供する。第1画像の少なくとも第2の部分を、第3画像取り込み装置を使用して取り込まれた第3画像の少なくとも1部分と結合させて、第2結合画像を生成するための手段をも提供する。   In a preferred embodiment of the present invention, it is desirable to provide an imaging system that includes a first image capture device, a second image capture device, and a third image capture device. This embodiment combines at least a first portion of a first image captured using a first image capture device with a portion of a second image captured using a second image capture device, Means are provided for generating a first combined image. Means are also provided for combining at least a second portion of the first image with at least a portion of the third image captured using the third image capture device to generate a second combined image.

好ましい実施態様において、複数の画像取り込み装置が複数の画像を生成するために用いられ、それらの画像の各部分が隣接した画像の一部と結合されて、第1結合パノラマ画像を生成する。同様に、各画像の第2部分が隣接した画像の別の部分と結合されて、第2結合パノラマ画像を生成する。好ましくは、第1結合パノラマ画像と第2結合パノラマ画像は、立体パノラマ画像を生成するように立体的な方位で表示される。本発明のイメージングシステムを用いると、複数の画像を取り込み、フルモーションの立体パノラマ画像を生成することができる。   In a preferred embodiment, multiple image capture devices are used to generate multiple images, and each portion of the images is combined with a portion of the adjacent image to generate a first combined panoramic image. Similarly, the second portion of each image is combined with another portion of the adjacent image to produce a second combined panoramic image. Preferably, the first combined panorama image and the second combined panorama image are displayed in a stereoscopic orientation so as to generate a stereoscopic panoramic image. With the imaging system of the present invention, it is possible to capture a plurality of images and generate a full motion stereoscopic panoramic image.

次に、例証として添付の図面を参照しながら本発明を説明する。   The present invention will now be described by way of example with reference to the accompanying drawings.

図1を参照すると、プラスチック又は他の同様の軽量材料製の本体(12)を有するカメラ(10)が示されている。好ましい実施形態において、本体(12)は、直径が好ましくは約0.001から約500センチメートルの間、更に好ましくは約10から約50センチメートルの間のほぼ球体である。本体(12)の表面にわたってほぼ等間隔で配置された複数のレンズ(14)が備えられている。該レンズ(14)は、好ましくは約5オングストロームから約10センチメートル、更に好ましくは約0.5から約5センチメートルの間の直径を有する円形レンズであるのが好ましい。好ましい実施形態において、レンズは、NY11725、Commack、Mall Drive55所在のCBC Americaによって製造されたモデルナンバーBCL38C3.8ミリメートルマイクロレンズである。図2に示されるように、レンズ(14)は、当該技術分野でよく知られるような電荷結合素子(CCD)組立体(16)と各々関連付けられている。好ましい実施形態では、Panasonicによって製造されRock2000.comから入手可能なGP−CX171/LM CCDカラーボードカメラが使用されるが、任意の既知の画像取り込みシステムを使用してもよい。従って、本開示の目的において、レンズ(14)及び/又はCCD組立体(16)もまた、「画像取り込みユニット」(26)、(40)、(54)として説明することができる。図2に示されるように、画像取り込みユニット(26)、(40)、(54)の全ては、画像取り込み装置(14)及び/又は(16)から画像を受け取ることができる処理ユニット(CPU)(22)に動作可能に結合されている。好ましい実施形態において、CPU(22)は、CA94086、Sunnyvale、Pontrero480所在の3Dlabsによって製造されたOxygen GVX210グラフィックスカードを備えたPentium(登録商標)4、900MHzクラスのパーソナルコンピュータである。CPUは当該技術分野で公知の任意のタイプとすることができるが、当該技術分野で公知の方法でクワッドバッファリング(quad buffering)やページフリッピングソフトウェア(page flipping software)を利用するのが好ましい。CPU(22)は、ヘッドマウントディスプレイ(24)に結合される。好ましい実施形態では、これは、NY14623、Rochester、Brighton Henrietta Townline Road2166に所在のInteractive Imaging Systemsによって製造されたVFX3Dである。   Referring to FIG. 1, a camera (10) is shown having a body (12) made of plastic or other similar lightweight material. In a preferred embodiment, the body (12) is generally spherical with a diameter of preferably between about 0.001 and about 500 centimeters, more preferably between about 10 and about 50 centimeters. A plurality of lenses (14) arranged at approximately equal intervals over the surface of the main body (12) are provided. The lens (14) is preferably a circular lens having a diameter between about 5 angstroms and about 10 centimeters, more preferably between about 0.5 and about 5 centimeters. In a preferred embodiment, the lens is a model number BCL38C 3.8 millimeter microlens manufactured by CBC America, NY11725, Commack, Mall Drive 55. As shown in FIG. 2, lenses (14) are each associated with a charge coupled device (CCD) assembly (16) as is well known in the art. In a preferred embodiment, Rock2000. The GP-CX171 / LM CCD color board camera available from com is used, but any known image capture system may be used. Thus, for purposes of this disclosure, the lens (14) and / or the CCD assembly (16) can also be described as "image capture units" (26), (40), (54). As shown in FIG. 2, all of the image capture units (26), (40), (54) are processing units (CPU) that can receive images from the image capture devices (14) and / or (16). (22) is operably coupled. In the preferred embodiment, the CPU (22) is a Pentium® 4, 900 MHz class personal computer with an Oxygen GVX210 graphics card manufactured by 3Dlabs located in CA94086, Sunnyvale, Pontrero 480. The CPU can be of any type known in the art, but preferably utilizes quad buffering or page flipping software in a manner known in the art. The CPU (22) is coupled to the head mounted display (24). In a preferred embodiment, this is VFX3D manufactured by Interactive Imaging Systems located at NY14623, Rochester, Brighton Henrietta Townline Road 2166.

図2で示されるように、レンズ(14)は、互いに分散させらており、本体(12)によって定められたほぼアーチ形の経路又はラインに沿って互いに約20度オフセットしている。ほぼアーチ形の経路の方向に沿って約5から約45度とすることができるこのオフセットによって、各レンズ(14)及び/又は画像取り込みユニット(26)、(40)、(54)に、ほぼ同様の焦点を持たせることが可能となる。各レンズ(14)は、横方向に並んだレンズの視野を約10ないし約90パーセント、好ましくは約50から約65パーセントだけオーバラップさせた約53度の視野を有する。図2で示されるように、第1画像取り込みユニット(26)は、左側平面(30)で一方の側に境界付けられ、右側平面(32)で反対の側に境界付けられた画像を二分する光学軸(28)と関連付けられる。画像取り込みユニット(26)のレンズ(14)は、左の画像平面(36)と右の画図平面(38)とに分割された定められた画像平面(34)に合焦される。   As shown in FIG. 2, the lenses (14) are dispersed from each other and are offset from each other by about 20 degrees along a generally arcuate path or line defined by the body (12). This offset, which can be about 5 to about 45 degrees along the direction of the generally arcuate path, causes each lens (14) and / or image capture unit (26), (40), (54) to be approximately It is possible to have a similar focus. Each lens (14) has a field of view of about 53 degrees with the laterally aligned field of view of the lenses overlapping from about 10 to about 90 percent, preferably from about 50 to about 65 percent. As shown in FIG. 2, the first image capture unit (26) bisects the image bounded on one side by the left plane (30) and bounded on the opposite side by the right plane (32). Associated with the optical axis (28). The lens (14) of the image capture unit (26) is focused on a defined image plane (34) divided into a left image plane (36) and a right drawing plane (38).

同様に、第2画像取り込みユニット(40)にも、光学軸(42)、左側平面(44)、右側平面(46)、定められた画像平面(48)、左の画像平面(50)、右の画像平面(52)が設けられている。第1画像取り込みユニット(26)の右側の第3画像取り込みユニット(54)には、光学軸(56)、左側平面(58)、右側平面(60)、定められた画像平面(62)、左の画像平面(64)、右の画像平面(66)が設けられている。   Similarly, the second image capture unit (40) also includes the optical axis (42), the left plane (44), the right plane (46), the defined image plane (48), the left image plane (50), the right Image plane (52) is provided. The third image capture unit (54) on the right side of the first image capture unit (26) includes an optical axis (56), a left plane (58), a right plane (60), a defined image plane (62), a left The image plane (64) and the right image plane (66) are provided.

複数の画像取り込みユニット(26)、(40)、(54)を設け、定められた画像平面(34)、(48)、(62)を半分などの部分に分割し、かつ画像取り込みユニット(26)、(40)、(54)を図2に示されるように配向することによって、最終パノラマ画像に関連する全てのポイントは、少なくとも2つの隣接する画像取り込みユニット(26)、(40)、及び/又は(54)の定められた画像平面内に存在する。図5A−5Bに示されるように、隣接する画像取り込みユニットの定められた画像平面は、垂直方向で、好ましくは約1−20パーセント、更に好ましくは約5−10パーセント、及び好ましい実施形態においては約7パーセント、オーバラップする。同様に、隣接する画像取り込みユニットの定められた画像平面は、水平方向で、好ましくは約20パーセント、更に好ましくは約5−10パーセント、及び好ましい実施形態では約6パーセント、オーバラップする。これらのオーバラップは、以下に説明される「ステッチング(つなぎ合わせ)」プロセスを助ける。   A plurality of image capturing units (26), (40), (54) are provided, the defined image planes (34), (48), (62) are divided into halves and the like, and the image capturing unit (26 ), (40), (54) are oriented as shown in FIG. 2, so that all points associated with the final panoramic image are at least two adjacent image capture units (26), (40), and And / or in the defined image plane of (54). As shown in FIGS. 5A-5B, the defined image plane of adjacent image capture units is preferably about 1-20 percent, more preferably about 5-10 percent, and in a preferred embodiment in the vertical direction. About 7 percent overlap. Similarly, the defined image planes of adjacent image capture units overlap in the horizontal direction, preferably about 20 percent, more preferably about 5-10 percent, and in a preferred embodiment about 6 percent. These overlaps aid the “stitching” process described below.

シーンの約180度(例えば半球体)を表示することができる本発明の最終パノラマ画像(68)を生成するために、第1パノラマ画像(72)と第2パノラマ画像(74)が生成される(図3、図4A−4B)。パノラマ画像(72)、(74)の各々は、シーンの約90度(例えば半球体の約半分)を表示することができる。第1パノラマ画像(72)を生成するために、第1画像取り込みユニット(26)の左画像平面(36)に関連する画像(76)は、第2画像取り込みユニット(40)の左画像平面(50)に関連する画像(78)、及び第3画像取り込みユニット(54)の左画像平面(64)に関連する画像(80)と結合される(図2、4A、5A)。図2に示されるように、関連する画像平面(36)、(50)、(64)は、好ましくは約0.5−30パーセント、更に好ましくは約10−20パーセント、好ましい実施形態では約13パーセントだけオーバラップするが、互いに平行ではなく、更に第1パノラマ画像(72)を定める曲線に必ずしも接していない(図2、4A)。従って、平面(36)、(50)、(64)に関連する画像(76)、(78)、(80)、(82)、(84)、(86)は、以下に説明されるように1つにステッチングして最終パノラマ画像(68)を形成する前に、平行でない方向に関連する歪みを除去するために変換する必要がある(図2、3、4A−4B、5A−5B)。   A first panorama image (72) and a second panorama image (74) are generated to generate the final panorama image (68) of the present invention that can display approximately 180 degrees (eg, a hemisphere) of the scene. (FIG. 3, FIG. 4A-4B). Each of the panoramic images (72), (74) can display about 90 degrees of the scene (eg, about half of a hemisphere). To generate the first panoramic image (72), the image (76) associated with the left image plane (36) of the first image capture unit (26) is the left image plane ( 50) and the image (80) associated with the left image plane (64) of the third image capture unit (54) (FIGS. 2, 4A, 5A). As shown in FIG. 2, the associated image planes (36), (50), (64) are preferably about 0.5-30 percent, more preferably about 10-20 percent, and in a preferred embodiment about 13 They overlap by a percentage but are not parallel to each other and do not necessarily touch the curve defining the first panoramic image (72) (FIGS. 2, 4A). Thus, the images (76), (78), (80), (82), (84), (86) associated with the planes (36), (50), (64) are as described below. Before stitching together to form the final panoramic image (68), it must be transformed to remove distortions associated with non-parallel directions (FIGS. 2, 3, 4A-4B, 5A-5B). .

左画像平面(38)、(52)、(66)に関連する画像(76)、(78)、(80)と、右画像平面(36)、(50)、(64)に関連する画像(82)、(84)、(86)が、画像取り込みユニット(26)、(40)、(54)の全てにより収集され受け取られると、画像は、配線、無線、或いは任意の望ましい接続を介してCPU(22)に伝送される。次いで、CPU(22)は、図6A−6Cで説明されるプロセスに従って画像を変換させるように動作する。ブロック(88)に示されるように、好ましい実施形態ではほぼ直線の画像であるが、勿論任意のタイプの画像とすることができるソース画像が、CPU(22)によって画像取り込みユニット(26)、(40)、(54)から得られ、或いは受け取られる(図2、4A、4B、及び6A−6C)。ブロック(94)に示されるように、次に、CPU(22)は、未変換のソース画像のための位置合わせ画素ペアを決める。   Images (76), (78), (80) associated with the left image plane (38), (52), (66) and images associated with the right image plane (36), (50), (64) ( 82), (84), (86) are collected and received by all of the image capture units (26), (40), (54), the images can be wired, wireless, or via any desired connection. It is transmitted to the CPU (22). The CPU (22) then operates to convert the image according to the process described in FIGS. 6A-6C. As shown in block (88), the preferred embodiment is a substantially straight image, but of course the source image, which can be any type of image, is captured by the CPU (22) by the image capture unit (26), ( 40), (54) or received (FIGS. 2, 4A, 4B, and 6A-6C). As shown in block (94), the CPU (22) then determines an alignment pixel pair for the unconverted source image.

その後、ブロック(96)に示されるように、CPU(22)は、入力ファイルを作成する。入力ファイルは、最終パノラマ画像(68)の高さと幅、ソース情報、位置合わせポイント情報を含む。ソース情報は、ソース画像のファイル名とパス、画素におけるソース画像の高さと幅を含み、さらに関連する画像取り込みユニットのソースのヨー角、ピッチ角、ロール角を含む。画像取り込みユニットの水平視野は、好ましくは約1から約80度の間、更に好ましくは約30から約60度の間、好ましい実施形態では約53度であり、ソース画像の関連する左側平面と右側平面、Xシフト、Yシフト、ズーム値によって定義される。位置合わせポイントに関連する情報は、位置合わせポイントの第1画素位置に関連するソース画像に関する情報、第1ソース画像の水平及び垂直画素位置、第2画素位置に関連するソース画像に関する情報のリストインデックスを含み、さらに第2ソース画像の水平及び垂直画素位置を含む。   Thereafter, as shown in block (96), the CPU (22) creates an input file. The input file includes the height and width of the final panoramic image (68), source information, and alignment point information. The source information includes the file name and path of the source image, the height and width of the source image in pixels, and further includes the yaw angle, pitch angle, and roll angle of the source of the associated image capture unit. The horizontal field of view of the image capture unit is preferably between about 1 and about 80 degrees, more preferably between about 30 and about 60 degrees, and in a preferred embodiment about 53 degrees, with the associated left plane and right side of the source image. Defined by plane, X shift, Y shift, and zoom value. The information related to the alignment point includes information relating to the source image related to the first pixel position of the alignment point, horizontal and vertical pixel positions of the first source image, and a list index of information relating to the source image related to the second pixel position And the horizontal and vertical pixel positions of the second source image.

画像平面(36、38、50、52、64、66)に関連する画像(76−86)は、ほぼ直線の標準フラットフィールド画像であり、パノラマ画像(72、74)は、図4A−4Bに示されるような方法で球形表面上への画素マッピングを表す、少なくとも部分的に等矩形(equirectangular)である。従って、CPU(22)が入力ファイルを作成すると、ブロック(98)で示されるように、位置合わせ画素ペアを、最終パノラマ画像(68)における該画素ペアの位置を特定するために変換する。   Images (76-86) associated with the image planes (36, 38, 50, 52, 64, 66) are generally straight standard flat field images, and panoramic images (72, 74) are shown in FIGS. 4A-4B. It is at least partially equirectangular, representing pixel mapping onto a spherical surface in the manner shown. Thus, when the CPU (22) creates the input file, it converts the aligned pixel pair to identify the position of the pixel pair in the final panoramic image (68), as indicated by block (98).

任意のソース画像で開始し、最終パノラマ画像(68)上に位置付ける、三次元空間における所与の位置合わせ画素ペアの第1画素を表すベクトルが定められる。これは、各画素に以下のマトリックス変換を適用することによって達成される。   A vector is defined that starts with an arbitrary source image and represents the first pixel of a given aligned pixel pair in three-dimensional space, located on the final panoramic image (68). This is achieved by applying the following matrix transformation to each pixel.

セグメントxを定める:画像の中心を基準とするようにソース画像の画素の水平位置を変える。次いで、ソース画像のXシフトとズーム変数を補正する。   Define segment x: Change the horizontal position of the pixels of the source image so that it is referenced to the center of the image. Next, the X shift and zoom variable of the source image are corrected.

セグメントyを定める:画像の中心を基準とするようにソース画像の画素の垂直位置を変える。次いで、ソース画像のYシフトとズーム変数を補正する。   Define segment y: change the vertical position of the pixels of the source image to be relative to the center of the image. Next, the Y shift and zoom variable of the source image are corrected.

セグメントzを定める:種々のソース画像変数を使用して、画素での画像サイズによって与えられるスケールに対応するzセグメントを決定する。   Define segment z: Various source image variables are used to determine the z segment corresponding to the scale given by the image size in pixels.

ソースカメラの回転角に対応するようにベクトルを変換する。これは、3つの回転マトリックスの各々によってベクトルを変換することにより計算される。

Figure 2006515128
Transform the vector to correspond to the rotation angle of the source camera. This is calculated by transforming the vector by each of the three rotation matrices.
Figure 2006515128

マトリックス変換では、画素ベクトルは、三次元空間でのそのポイントのグローバル位置globX、globY、globZを表す。次いで、CPU(22)はこれらの位置を球体座標に変換し、これらを最終パノラマ座標に直接適用する。ベクトルのヨー角は、その水平パノラマ位置である、新しいXを表わし、ピッチ角は、その垂直パノラマ位置である、新しいYを表す。   In matrix transformation, a pixel vector represents the global position globX, globY, globZ of that point in 3D space. The CPU (22) then converts these positions to spherical coordinates and applies them directly to the final panoramic coordinates. The yaw angle of the vector represents the new X, its horizontal panorama position, and the pitch angle represents the new Y, its vertical panorama position.

ブロック(100)で示されるように、位置合わせ画素ペアが、この方法で最終パノラマ画像(68)にマップされると、CPU(22)は、位置合わせ画素ペア間の間隔を計算する。所与のソース画像の位置合わせ画素ペアの平均間隔が、初期変換時の場合のように未だ最小でない場合には、ブロック(102)で示されるように、ソース画像のヨーがわずかに変更され、その後プロセスはブロック(98)に戻り、位置合わせ画素ペアを最終パノラマ画像(68)における画素ポイントに再度変換する。ヨーを変更するこのプロセスは、ソース画像の位置合わせ画素ペアの平均間隔が最小になるまで続く。その後、関連する位置合わせ画素ペアの平均間隔が最小になるまで、ピッチ、ロール、Xシフト、Yシフト、ズームが変更される。特定のソース画像のヨー、ピッチ、ロール、Xシフト、Yシフト、ズームが最適化されると、ブロック(104)で示されるように、全ソース画像に対して、これらの全てが最適化されるまでこの変換手順が繰り返される。   Once the alignment pixel pair is mapped to the final panoramic image (68) in this manner, as indicated by block (100), the CPU (22) calculates the spacing between the alignment pixel pair. If the average spacing of the alignment pixel pairs for a given source image is not yet minimal as in the initial transformation, the source image yaw is slightly changed, as shown in block (102), The process then returns to block (98) to convert the aligned pixel pair back to pixel points in the final panoramic image (68). This process of changing the yaw continues until the average spacing of the alignment pixel pairs in the source image is minimized. Thereafter, the pitch, roll, X shift, Y shift, and zoom are changed until the average spacing of the associated alignment pixel pairs is minimized. When the yaw, pitch, roll, X shift, Y shift, and zoom of a particular source image are optimized, all of these are optimized for the entire source image, as indicated by block (104). This conversion procedure is repeated until.

ブロック(106)で示されるように、このようにしてソース画像の全ての最適化が完了すると、全ソース画像の位置合わせ画素ペアの平均間隔が計算され、これらが未だ最小でない場合には、ブロック(108)で示されるようにソース画像のヨー、ピッチ、ロール、Xシフト、Yシフト、ズームが変更されて、プロセスがブロック(98)に戻り、位置合わせ画素ペア間の間隔がソース画像の全てにおいて最小になるまでプロセスが継続する。   As shown in block (106), once all optimization of the source image is completed in this way, the average spacing of the alignment pixel pairs of all source images is calculated, and if they are not yet minimal, The source image's yaw, pitch, roll, X shift, Y shift, and zoom are changed as shown at (108), and the process returns to block (98) where the spacing between the aligned pixel pairs is all of the source image. The process continues until it is at a minimum.

位置合わせ画素ペア間の平均間隔が全ソース画像にわたり最小化されると、ブロック(110)で示されるように、出力ファイルが作成され、第1パノラマ画像(72)の高さと幅、各特定のソース画像に対するヨー、ピッチ、ロール、Xシフト、Yシフト、ズーム変換画像情報を識別する。その後、ブロック(112)で示されるように、所与のソース画像内の各画素に対して、上記に説明されたベクトル変換を使用して三次元空間での特定の画素の位置を表すベクトルが定められる。   When the average spacing between the alignment pixel pairs is minimized across all source images, an output file is created, as indicated by block (110), and the height and width of the first panoramic image (72), each specific Identify yaw, pitch, roll, X shift, Y shift and zoom converted image information for the source image. Thereafter, as shown in block (112), for each pixel in a given source image, a vector representing the position of a particular pixel in three-dimensional space using the vector transformation described above is obtained. Determined.

ベクトルが定められると、ブロック(114)で示されるように、ベクトルは、出力ファイルにおいて定義されたようなソース画像に関連するヨー、ピッチ、ロール、Xシフト、Yシフト、ズーム情報を反映するように変換される。ベクトルの変換完了後、ブロック(116)で示されるように、変換されたベクトルは、最終パノラマ画像(68)の画素に関連付けられる。ブロック(118)で示されるように、このプロセスは、特定のソース画像の画素の全てがベクトルに変換され、これらの位置が最終パノラマ画像(68)上に位置付けられるまで繰り返される。   Once the vectors are defined, the vectors reflect the yaw, pitch, roll, X shift, Y shift, zoom information associated with the source image as defined in the output file, as indicated by block (114). Is converted to After completing the vector conversion, the converted vector is associated with the pixels of the final panoramic image (68), as indicated by block (116). As indicated by block (118), this process is repeated until all of the pixels of a particular source image have been converted to vectors and these positions are located on the final panoramic image (68).

ブロック(120)で示されるように、所与のソース画像の画素の全てが最終パノラマ画像(68)上に位置付けられると、各々が最終パノラマ画像(68)の高さと幅にほぼ等しい高さと幅を有する2つの画像バッファ(90)、(92)が生成される(図3、5A−5B、6B)。ブロック(122)で示されるように、画像バッファ(90)、(92)が生成されると、特定のソース画像の四辺形の4つの隣接する画素に関連するベクトル変換情報を用いて、適切な画像バッファ(90)又は(92)上に画素の四辺形を描画する(図5A−5B、6C)。画素が左画像平面(38)、(52)、又は(66)にある場合には、該画素は左画像バッファ(90)に書き込まれる。画素が右画像平面(36)、(50)、又は(64)にある場合には、該画素は右画像バッファ(92)内にある(図2、5A−5B)。   When all of the pixels of a given source image are positioned on the final panorama image (68), as indicated by block (120), each has a height and width approximately equal to the height and width of the final panorama image (68). Two image buffers (90), (92) having are generated (FIGS. 3, 5A-5B, 6B). Once the image buffers (90), (92) are generated, as indicated by block (122), the appropriate vector transformation information associated with the four adjacent pixels of the quadrilateral of the particular source image is used to generate the appropriate A quadrilateral of pixels is drawn on the image buffer (90) or (92) (FIGS. 5A-5B and 6C). If the pixel is in the left image plane (38), (52), or (66), the pixel is written to the left image buffer (90). If the pixel is in the right image plane (36), (50), or (64), it is in the right image buffer (92) (FIGS. 2, 5A-5B).

ブロック(124)で示されるように、変換により画像バッファ上の画素の四辺形が拡大する可能性があるので、関連する画像バッファ(90)又は(92)において画素が直線位置から等矩形位置に変換されると、画素間のギャップが生じる可能性がある(図5A−5B、6C)。画素の四辺形が関連する画像バッファ(90)又は(92)上に位置付けられるとき、それにより生成されたギャップは、当該技術分野で公知の方法で、恐らくはコーナー画素カラーの線形グラディエントを使用して可能な限り平滑にフィルされる。公知の線形グラディエントフィル(linear gradient fill)技術を、画像間の目に見える継ぎ目を無くすために使用できる。付加的なソース画像情報が画像バッファ(90)、(92)に加えられると、画素データで既にフィルされた画像バッファ(90)、(92)の領域に対し、新たにオーバラップする画素のアルファ透明度が直線的に低下し、以下に説明されるように結果として得られた継ぎ目を平滑にする。   As indicated by block (124), the pixel quadrilateral on the image buffer may be enlarged due to the transformation, so that the pixel is moved from a straight line position to an equirectangular position in the associated image buffer (90) or (92) When converted, gaps between pixels can occur (FIGS. 5A-5B, 6C). When a pixel quadrilateral is positioned on the associated image buffer (90) or (92), the gap created thereby is in a manner known in the art, perhaps using a linear gradient of corner pixel colors. Fills as smoothly as possible. Known linear gradient fill techniques can be used to eliminate visible seams between images. When additional source image information is added to the image buffers (90), (92), the alpha of the newly overlapping pixel in the area of the image buffers (90), (92) already filled with pixel data. The transparency decreases linearly and smoothes the resulting seam as described below.

従って、関連する画像バッファ(90)又は(92)に四辺形をマッピングする場合には、CPU(22)は、ギャップを隣接する画素と比較することを含むことができる当該技術分野で公知の任意の方法を使用して、内部画素値を内挿することによってギャップを除去するか、或いは、動画取り込みシステムにおける直前のフレームと直後のフレームとを利用してギャップの最も適切な画素値を外挿することによってギャップを「ホワイトボクシング(white boxing)」することができる。ブロック(126)で示されるように、ブロック(122)、(124)は、ソース画像画素の全てが適切な画像バッファ(90)又は(92)にマップされるまで繰り返される。   Thus, when mapping a quadrilateral to the associated image buffer (90) or (92), the CPU (22) can include any known in the art that can include comparing the gap to adjacent pixels. To eliminate the gap by interpolating the internal pixel value, or extrapolate the most appropriate pixel value of the gap using the previous and next frames in the video capture system. By doing so, the gap can be “white boxing”. As indicated by block (126), blocks (122), (124) are repeated until all of the source image pixels are mapped to the appropriate image buffer (90) or (92).

全ての画素のマップが完了すると、ブロック(128)で示されるように、第1画像バッファ画素が第1パノラマ画像画素と比較される。第1パノラマ画像(72)が第1画像バッファ(90)の画素と関連する画素を持たない場合には、CPU(22)は視認性を最大にするよう第1画像バッファ(90)の画素を設定する。第1パノラマ画像(72)が既に第1画像バッファ(90)の画素に関連する画素を有する場合には、既存の画素が第1画像バッファ(90)の対応する画素と比較される。第1画像バッファ(90)の画素が、既存の画素に比べてそのそれぞれのソース画像の中心までの間隔が短い場合には、第1画像バッファ(90)の画素は、視認性を最大にするように設定される。逆に、第1画像バッファ(90)の画素が、既存の画素に比べてそのそれぞれのソース画像の中心までの間隔が長い場合には、第1画像バッファ(90)の画素は視認性を最小にするように設定される。プロセスは、第2画像バッファ(92)の画素を第2パノラマ画像(74)にマージするために繰り返される。   When the map of all pixels is complete, the first image buffer pixel is compared with the first panoramic image pixel, as indicated by block (128). If the first panoramic image (72) has no pixels associated with the pixels of the first image buffer (90), the CPU (22) sets the pixels of the first image buffer (90) to maximize visibility. Set. If the first panoramic image (72) already has pixels associated with the pixels of the first image buffer (90), the existing pixels are compared with the corresponding pixels of the first image buffer (90). When the pixels of the first image buffer (90) have a shorter distance to the center of their respective source images than the existing pixels, the pixels of the first image buffer (90) maximize visibility. Is set as follows. Conversely, when the pixels of the first image buffer (90) have a longer distance to the center of their respective source images than the existing pixels, the pixels of the first image buffer (90) have minimal visibility. Is set to The process is repeated to merge the pixels of the second image buffer (92) into the second panoramic image (74).

ブロック(130)で示されるように、画像バッファ(90)、(92)の画像のオーバラップエッジは、オーバラップの領域全体の画素の視認性を低下させることによってフェザリングされる。このフェザリングは、画像が画像バッファ(90)、(92)からパノラマ画像(72)、(74)にマージされると、画像のオーバラップ領域を平滑にする。ブロック(132)で示されるように、画像バッファ画素が適切な視認性に設定され、画像バッファの画像がフェザリングされると、画像バッファ内の画像が、第1と第2パノラマ画像(72)、(74)にマージされる。ブロック(134)で示されるように、ブロック(122)から(132)が、全てのソース画像が第1と第2パノラマ画像(72)、(74)にマージされるまで繰り返される。上述のように、画像取り込みユニット(26)、(40)、(54)の左画像平面(36)、(50)、(64)に関連する画像(76)、(78)、(80)は、第1パノラマ画像(72)を生成するために使用され、画像取り込みユニット(26)、(40)、(54)の右画像平面(38)、(52)、(66)に関連する画像(82)、(84)、(86)は、第2パノラマ画像(74)を生成するために使用される。   As indicated by block (130), the overlapping edges of the images in the image buffers (90), (92) are feathered by reducing the visibility of the pixels across the area of overlap. This feathering smoothes the overlap area of the images when the images are merged from the image buffers (90), (92) into the panoramic images (72), (74). As indicated by block (132), when the image buffer pixels are set for proper visibility and the image in the image buffer is feathered, the images in the image buffer are first and second panoramic images (72). , (74). As indicated by block (134), blocks (122) through (132) are repeated until all source images are merged into the first and second panoramic images (72), (74). As described above, the images (76), (78), (80) associated with the left image planes (36), (50), (64) of the image capture units (26), (40), (54) are , Images used to generate the first panoramic image (72) and associated with the right image planes (38), (52), (66) of the image capture units (26), (40), (54) ( 82), (84), (86) are used to generate a second panoramic image (74).

最終パノラマ画像(72)、(74)の両方が生成されると、ブロック(138)で示されるように、パノラマ画像(72)、(74)は、最終パノラマ画像(68)として一緒に表示することができる(図3、4A、4B)。パノラマ画像(72)、(74)は、逆方向に偏光にされ、図3に示されるように標準パノラマ画面(140)上に表示されて、逆偏光のレンズを有するメガネ(142)を用いて見ることができる。或いは、パノラマ画像(72)、(74)は、図1に示されるヘッドマウントディスプレイ(24)に伝達することができる。CPU(22)は、公知の「ページフリッピング」技術を使用して複数のパノラマ画像をヘッドマウントディスプレイ(24)に送り、必要に応じてヘッドマウントディスプレイ(24)の左右のディスプレイに画像を送り且つ個別に表示することができる。このプロセスを用いると、フル24フレームパーセカンド(ftp)の映画として表示を動画化し、或いは各表示に対して複数の画像を表示することができる。従って、イメージングシステム(図2を参照)は、第1画像(36)を取り込むための第1画像取り込みユニット(26)、第2画像(50)を取り込むための第2画像取り込みユニット(40)、第3画像(64)を取り込むための第3画像取り込みユニット(54)を含み、さらに第1画像(36)の第1部分を第2画像(50)の一部分と結合させて第1結合画像を生成する手段(22)と、第1画像(36)の第2部分と第3画像(64)の部分を結合させて第2結合画像を生成する手段(22)を含むことができる。第1画像の第1部分は、最大第1画像全体までの任意の量とすることができ、或いは第1画像の約20パーセントと約80パーセントの間とすることができる。第2画像の部分は、最大第2画像全体までの任意の量とすることができ、或いは第2画像の約20パーセントと約80パーセントの間とすることができる。第1と第2結合画像は、立体的な動きを伝達するように反復的に生成し、表示することができる。   Once both final panoramic images (72), (74) are generated, panoramic images (72), (74) are displayed together as final panoramic images (68), as indicated by block (138). (FIGS. 3, 4A, 4B). The panoramic images (72), (74) are polarized in the reverse direction and displayed on the standard panoramic screen (140) as shown in FIG. 3, using glasses (142) with lenses of reverse polarization. Can see. Alternatively, the panoramic images (72), (74) can be transmitted to the head mounted display (24) shown in FIG. The CPU (22) uses a known “page flipping” technique to send a plurality of panoramic images to the head mounted display (24), and to send images to the left and right displays of the head mounted display (24) as necessary, and Can be displayed individually. Using this process, the display can be animated as a full 24 frame second (ftp) movie, or multiple images can be displayed for each display. Accordingly, the imaging system (see FIG. 2) includes a first image capture unit (26) for capturing a first image (36), a second image capture unit (40) for capturing a second image (50), A third image capture unit (54) for capturing the third image (64) is included, and the first portion of the first image (36) is combined with a portion of the second image (50) to combine the first combined image. Means for generating (22) and means (22) for combining the second portion of the first image (36) and the portion of the third image (64) to generate a second combined image may be included. The first portion of the first image can be any amount up to the entire first image, or can be between about 20 percent and about 80 percent of the first image. The portion of the second image can be any amount up to the entire second image, or can be between about 20 percent and about 80 percent of the second image. The first and second combined images can be repeatedly generated and displayed so as to transmit a stereoscopic motion.

また、イメージングシステムは、画像を提供するための画像取り込みユニット(26)、画像の第1部分を使用して第1立体画像を提供する手段(22)、画像の第2部分を使用して第2立体画像を提供する手段(22)を含むことができる。   The imaging system also includes an image capture unit (26) for providing an image, means (22) for providing a first stereoscopic image using the first portion of the image, and a second portion using the second portion of the image. Means (22) for providing a two-dimensional image may be included.

ヘッドマウントディスプレイユニット(24)は、当該技術分野でよく知られたような方位センサ(144)を備えれば、センサ(144)が移動するとヘッドマウントディスプレイ(24)に提供される画像を変えることができる。このようにして、ユーザ(図示せず)は、上下、及び任意の方向を見て、ユーザの視線のベクトルに関連する該当する部分の最終パノラマ画像(68)を視認することができ、三次元空間を実際に見渡すような知覚を得ることができる。   If the head-mounted display unit (24) includes an orientation sensor (144) as is well known in the art, it changes the image provided to the head-mounted display (24) as the sensor (144) moves. Can do. In this way, the user (not shown) can view the final panorama image (68) of the corresponding part related to the user's line-of-sight vector by looking up and down and in any direction, It is possible to obtain a perception that actually looks around the space.

本発明の別の実施形態において、カメラ(10)には、互いにほぼ平行に向けられたほぼ直線の取り込みシステムを有する複数の画像取り込みペアを備えることができる。該ペアは、所要の立体画像を得るために所定の因子によってオフセットさせることができる。画像がペアで取り込まれるので、この実施形態に関連する変換プロセスは、画像を半分に分割し各半部分からの画素を別々の画像バッファに送る以外は上記に説明されたものと同一であり、各画像取り込み装置ペアの「左」画像取り込み装置からの画像に関連する画素の全ては、一方の画像バッファに送られ、「右」画像取り込み装置からの画像に関連する画素の全ては、もう片方の画像バッファに送られる。   In another embodiment of the present invention, the camera (10) can be provided with a plurality of image capture pairs having generally linear capture systems oriented substantially parallel to each other. The pair can be offset by a predetermined factor to obtain the required stereoscopic image. Since the images are captured in pairs, the conversion process associated with this embodiment is the same as described above, except that the image is split in half and the pixels from each half are sent to separate image buffers, All of the pixels associated with the image from the “left” image capture device of each image capture device pair are sent to one image buffer, and all of the pixels associated with the image from the “right” image capture device are sent to the other Sent to the image buffer.

本発明の別の実施形態において、カメラ(10)及びCPU(22)を用いて、24fps又はそれ以上を取り込み、リアルタイムで動画として最終立体パノラマ画像(68)を表示することができる。   In another embodiment of the present invention, the camera (10) and CPU (22) can be used to capture 24 fps or higher and display the final stereoscopic panoramic image (68) as a moving image in real time.

本発明の更に別の実施形態では、当該技術分野でよく知られるような方法で生成されたコンピュータ生成グラフィック情報がCPU(22)の最終パノラマ画像(72)、(74)と結合され、カメラ(10)で取り込まれた実際の画像をシームレスに統合し、デジタル化されたバーチャルリアリティ画像(146)を提供する(図3)。この結合は、リアルとバーチャルによるパノラマ立体バーチャル画像のシームレス表示を生成する。   In yet another embodiment of the present invention, computer generated graphic information generated in a manner well known in the art is combined with the final panoramic images (72), (74) of the CPU (22) to provide a camera ( The actual images captured in 10) are seamlessly integrated to provide a digitized virtual reality image (146) (FIG. 3). This combination produces a seamless display of real and virtual panoramic stereoscopic virtual images.

本発明の更に別の実施形態において、カメラ(10)によって取り込まれた画像は、上記の変換手順を用いて変換され、シームレスな360度パノラマモノグラフ画像を生成する。図1に示されるように、カメラ(10)は、支持ポスト(148)と、遠隔制御車両などと関連して使用されるものと同様又は同一の遠隔制御キャリッジ(150)のような輸送ユニットを備えている。画像取り込みユニットの左画像平面に関連する画像は、結合画像を生成するために使用され、画像取り込みユニットの右画像平面に関連する画像は、結合画像において見えてしまうはずの支持ポスト(148)や、キャリッジ(150)、他の任意のカメラ装置を隠すために結合画像を上書きし且つフィルするために使用することができる。前述の変換手順は、このような上書きとフィリングのために用いることができる。このように、不要な情報を含まない画像だけが最終パノラマ画像(152)にマップされ、球面スクリーン(154)又はヘッドマウントディスプレイ(24)上に表示される(図1、7)。キャリッジ(150)の占有面積によって覆われた領域を反映した画像の部分について、上記に詳述された内挿とフェザリング技術を利用して、キャリッジ(150)の下にある画像を近似して、完全に遮るものがない360度画像の外観を生成することができる。   In yet another embodiment of the present invention, the image captured by the camera (10) is converted using the conversion procedure described above to produce a seamless 360 degree panoramic monograph image. As shown in FIG. 1, the camera (10) includes a transport post, such as a remote control carriage (150) similar or identical to that used in connection with a support post (148), a remote control vehicle, and the like. I have. The image associated with the left image plane of the image capture unit is used to generate the combined image, and the image associated with the right image plane of the image capture unit is the support post (148) that should be visible in the combined image, , Carriage (150), can be used to overwrite and fill the combined image to hide any other camera device. The conversion procedure described above can be used for such overwriting and filling. In this way, only the image not including unnecessary information is mapped to the final panorama image (152) and displayed on the spherical screen (154) or the head mounted display (24) (FIGS. 1 and 7). For the portion of the image that reflects the area covered by the area occupied by the carriage (150), approximate the image under the carriage (150) using the interpolation and feathering techniques detailed above. A 360 degree image appearance that is completely unobstructed can be generated.

本発明をその好ましい実施形態に関して説明してきたが、本発明においては、添付の請求項によって定義される本発明の十分に意図された範囲内にある変更及び修正を行うことができるので、これらの実施形態は本発明を限定するものではない点を理解されたい。   Although the invention has been described with reference to preferred embodiments thereof, it is to be understood that changes and modifications may be made in the invention which are within the fully intended scope of the invention as defined by the appended claims. It should be understood that the embodiments are not intended to limit the invention.

本発明のイメージングシステムの正面図を示す。1 shows a front view of an imaging system of the present invention. 本発明のイメージングシステムの隣接した画像取り込み装置の画像取り込み範囲のグラフィック表示を示す。Fig. 4 shows a graphic representation of the image capture range of an adjacent image capture device of the imaging system of the present invention. 画面に表示された最終的なパノラマ立体画像の底面透視図及び画像を見るのに使用される偏光メガネを示す。FIG. 5 shows a bottom perspective view of the final panoramic stereoscopic image displayed on the screen and polarized glasses used to view the image. 左のパノラマ画像を示す。The left panorama image is shown. 右のパノラマ画像を示す。The right panoramic image is shown. 第1画像バッファに関連する画像を示す。An image associated with a first image buffer is shown. 第2画像バッファに関連する画像を示す。An image associated with a second image buffer is shown. イメージング装置で取り込まれた複数の画像を第1パノラマ画像及び第2パノラマ画像に変換して立体パノラマ画像を生成する、本発明の装置のイメージングシステムに関連して用いられる変換プロセスのフローチャートである。6 is a flowchart of a conversion process used in connection with the imaging system of the apparatus of the present invention for converting a plurality of images captured by the imaging apparatus into a first panorama image and a second panorama image to generate a stereoscopic panorama image. イメージング装置で取り込まれた複数の画像を第1パノラマ画像及び第2パノラマ画像に変換して立体パノラマ画像を生成する、本発明の装置のイメージングシステムに関連して用いられる変換プロセスのフローチャートである。6 is a flowchart of a conversion process used in connection with the imaging system of the apparatus of the present invention for converting a plurality of images captured by the imaging apparatus into a first panorama image and a second panorama image to generate a stereoscopic panorama image. イメージング装置で取り込まれた複数の画像を第1パノラマ画像及び第2パノラマ画像に変換して立体パノラマ画像を生成する、本発明の装置のイメージングシステムに関連して用いられる変換プロセスのフローチャートである。6 is a flowchart of a conversion process used in connection with the imaging system of the apparatus of the present invention for converting a plurality of images captured by the imaging apparatus into a first panorama image and a second panorama image to generate a stereoscopic panorama image. 図1のカメラを使用して生成された360度遮るのもがないパノラマ立体画像の透視図を示す。FIG. 2 shows a perspective view of an unobstructed panoramic stereoscopic image generated using the camera of FIG.

Claims (46)

第1画像を取り込むための第1画像取り込みユニットと、
第2画像を取り込むための第2画像取り込みユニットと、
第3画像を取り込むための第3画像取り込みユニットと、
前記第1画像の第1部分を前記第2画像の部分と結合して第1結合画像を生成する手段と、
前記第1画像の第2部分を前記第3画像の部分と結合して第2結合画像を生成する手段と
を含むイメージングシステム。
A first image capture unit for capturing a first image;
A second image capture unit for capturing a second image;
A third image capture unit for capturing a third image;
Means for combining a first portion of the first image with a portion of the second image to generate a first combined image;
Means for combining a second portion of the first image with a portion of the third image to generate a second combined image.
前記第1画像取り込みユニット、前記第2画像取り込みユニット、前記第3画像取り込みユニットは、互いに対して約5から約45度離れて円弧に沿って位置付けられることを特徴とする請求項1に記載のイメージングシステム。   The first image capture unit, the second image capture unit, and the third image capture unit are positioned along an arc about 5 to about 45 degrees apart from each other. Imaging system. 前記第1画像に関連する画像平面は、前記第2画像に関連する画像平面に約0.5から約30パーセントだけオーバラップすることを特徴とする請求項1に記載のイメージングシステム。   The imaging system of claim 1, wherein an image plane associated with the first image overlaps an image plane associated with the second image by about 0.5 to about 30 percent. 前記第1画像に関連する画像平面は、前記第2画像に関連する画像平面に約1から約20パーセントだけ垂直方向でオーバラップすることを特徴とする請求項1に記載のイメージングシステム。   The imaging system of claim 1, wherein the image plane associated with the first image overlaps the image plane associated with the second image in a vertical direction by about 1 to about 20 percent. 前記第1画像と前記第2画像は、ほぼ直線で形成されることを特徴とする請求項1に記載のイメージングシステム。   The imaging system according to claim 1, wherein the first image and the second image are formed in a substantially straight line. 前記第1結合画像と前記第2結合画像は、少なくとも部分的に等矩形であることを特徴とする請求項1に記載のイメージングシステム。   The imaging system according to claim 1, wherein the first combined image and the second combined image are at least partially equirectangular. 前記第1結合画像と第2結合画像は、立体画像となるように表示することができることを特徴とする請求項1に記載のイメージングシステム。   The imaging system according to claim 1, wherein the first combined image and the second combined image can be displayed so as to be a stereoscopic image. 前記第1結合画像と前記第2結合画像を立体画像を提供するよう表示する手段を更に含むことを特徴とする請求項1に記載のイメージングシステム。   The imaging system according to claim 1, further comprising means for displaying the first combined image and the second combined image to provide a stereoscopic image. 複数の前記第1結合画像と第2結合画像を動画立体画像として連続的に表示する手段を更に含むことを特徴とする請求項1に記載のイメージングシステム。   The imaging system according to claim 1, further comprising means for continuously displaying the plurality of first combined images and second combined images as moving image stereoscopic images. 前記第1結合画像を十分な複数の画像と結合してシーンの少なくとも約90度を表す第1結合パノラマ画像を生成し、前記第2結合画像を十分な複数の他の画像と結合して前記シーンの約90度を表す第2結合パノラマ画像を生成する手段と、前記第1結合パノラマ画像と前記第2結合パノラマ画像は、立体パノラマ画像を提供するよう表示される手段とを更に含むことを特徴とする請求項1に記載のイメージングシステム。   Combining the first combined image with a plurality of sufficient images to produce a first combined panoramic image representing at least about 90 degrees of the scene, and combining the second combined image with a plurality of other sufficient images to Means for generating a second combined panoramic image representing approximately 90 degrees of the scene; and means for displaying the first combined panoramic image and the second combined panoramic image to provide a stereoscopic panoramic image. The imaging system of claim 1, wherein: 結合パノラマ画像の第1セットと結合パノラマ画像の第2セットとを連続して表示し、動画立体パノラマ画像を提供する手段を更に含むことを特徴とする請求項10に記載のイメージングシステム。   11. The imaging system of claim 10, further comprising means for continuously displaying the first set of combined panoramic images and the second set of combined panoramic images to provide a moving stereoscopic panoramic image. 前記第1結合画像と第2結合画像は、デジタル画像と結合されて該デジタル画像を含む立体画像を生成することを特徴とする請求項1に記載のイメージングシステム。   The imaging system according to claim 1, wherein the first combined image and the second combined image are combined with a digital image to generate a stereoscopic image including the digital image. 画像を提供する画像取り込みユニットと、
前記画像の第1部分を使用して第1立体画像を提供する手段と、
前記画像の第2部分を使用して第2立体画像を提供する手段と
を含むイメージングシステム。
An image capture unit that provides images;
Means for providing a first stereoscopic image using a first portion of the image;
Means for providing a second stereoscopic image using the second portion of the image.
前記第1立体画像と第2立体画像とを結合してパノラマ立体画像にする手段を更に含むことを特徴とする請求項13に記載のイメージングシステム。   The imaging system according to claim 13, further comprising means for combining the first stereoscopic image and the second stereoscopic image into a panoramic stereoscopic image. 複数の画像を提供するための複数の画像取り込みユニットと、
前記複数の画像から選択された画像をそれらの画像と結合して結合画像を生成する手段と、
前記結合画像を第1パノラマ画像と第2パノラマ画像に結合する手段と、
前記第1パノラマ画像と第2パノラマ画像を表示してパノラマ立体画像を提供する手段と
を更に含むことを特徴とする請求項13に記載のイメージングシステム。
Multiple image capture units to provide multiple images;
Means for combining an image selected from the plurality of images with the images to generate a combined image;
Means for combining the combined image into a first panoramic image and a second panoramic image;
14. The imaging system according to claim 13, further comprising means for displaying the first panorama image and the second panorama image to provide a panoramic stereoscopic image.
前記第1パノラマ画像は、シーンの約90度を表示することを特徴とする請求項15に記載のイメージングシステム。   16. The imaging system of claim 15, wherein the first panoramic image displays about 90 degrees of a scene. 前記パノラマ立体画像は、シーンの約180度を表示することを特徴とする請求項15に記載のイメージングシステム。   16. The imaging system according to claim 15, wherein the panoramic stereoscopic image displays about 180 degrees of a scene. 第1画像を取得する段階と、
第2画像を取得する段階と、
第3画像を取得する段階と、
前記第1画像の第1部分を前記第2画像の部分と結合して第1結合画像を生成する段階と、
前記第1画像の第2部分を前記第3画像の部分と結合して第2結合画像を生成する段階と、
前記第1結合画像と前記第2結合画像を立体画像として表示する段階と、
を含む方法。
Acquiring a first image;
Acquiring a second image;
Acquiring a third image;
Combining a first portion of the first image with a portion of the second image to generate a first combined image;
Combining a second portion of the first image with a portion of the third image to generate a second combined image;
Displaying the first combined image and the second combined image as a stereoscopic image;
Including methods.
円弧に沿って位置付けられた複数の画像取り込みユニットから、前記第1画像、前記第2画像、前記第3画像を取得する段階を更に含む請求項18に記載の方法。   19. The method of claim 18, further comprising obtaining the first image, the second image, and the third image from a plurality of image capture units positioned along an arc. 前記複数の画像取り込みユニットは、前記円弧に沿って単一の方向に約5度から約45度離れて位置付けられていることを特徴とする請求項19に記載の方法。   The method of claim 19, wherein the plurality of image capture units are positioned about 5 degrees to about 45 degrees apart in a single direction along the arc. 連続した複数の第1結合画像と連続した複数の第2結合画像とを表示して動画立体画像を提供する段階を更に含む請求項18に記載の方法。   19. The method of claim 18, further comprising displaying a plurality of consecutive first combined images and a plurality of consecutive second combined images to provide a moving image stereoscopic image. 前記動画立体画像は、シーンの約180度を表すことを特徴とする請求項21に記載の方法。   The method of claim 21, wherein the animated stereoscopic image represents approximately 180 degrees of a scene. 複数の位置合わせ画素ペアを定める段階を更に含む請求項18に記載の方法。   The method of claim 18, further comprising defining a plurality of alignment pixel pairs. 前記複数の位置合わせ画素ペアを変換して画像位置合わせの間隔を最小にする段階を更に含む請求項23に記載の方法。   24. The method of claim 23, further comprising transforming the plurality of alignment pixel pairs to minimize image alignment intervals. 前記複数の位置合わせ画素ペアのうちの1つの画素を表すベクトルを定める段階を更に含む請求項23に記載の方法。   24. The method of claim 23, further comprising determining a vector representing one pixel of the plurality of alignment pixel pairs. ソース回転角に対するように前記ベクトルを変換ベクトルに変換する段階を更に含む請求項25に記載の方法。   26. The method of claim 25, further comprising converting the vector to a transform vector as to a source rotation angle. 前記変換ベクトルをパノラマ画像の画素と関連付ける段階を更に含む請求項26に記載の方法。   27. The method of claim 26, further comprising associating the transformation vector with a panoramic image pixel. 前記パノラマ画像の画素に関連する間隔を画像バッファの画素に関連する間隔と比較することによって、前記画像バッファの画素の視認性を調整する段階を更に含む請求項27に記載の方法。   28. The method of claim 27, further comprising adjusting visibility of pixels of the image buffer by comparing an interval associated with pixels of the panoramic image with an interval associated with pixels of the image buffer. オーバラップ領域の画素の視認性を下げることによって画像バッファの画像のオーバラップエッジをフェザリングする段階を更に含む請求項21に記載の方法。   The method of claim 21, further comprising feathering overlapping edges of the image in the image buffer by reducing visibility of pixels in the overlap region. 第1画像を取り込むための第1画像取り込みユニットと、
第2画像を取り込むための第2画像取り込みユニットと、
第3画像を取り込むための第3画像取り込みユニットと、
前記第1、第2、第3画像取り込みユニットに動作可能に結合されて前記第1、第2、第3画像を受信する処理ユニットと、
を備え、
前記第1画像の第1部分が前記第2画像の部分と結合されて第1結合画像を提供し、前記第1画像の第2部分が前記第3画像の部分と結合されて第2結合画像を提供し、更に前記第1結合画像と第2結合画像を表示して立体画像を提供することができることを特徴とするイメージングシステム。
A first image capture unit for capturing a first image;
A second image capture unit for capturing a second image;
A third image capture unit for capturing a third image;
A processing unit operatively coupled to the first, second and third image capture units for receiving the first, second and third images;
With
A first portion of the first image is combined with a portion of the second image to provide a first combined image, and a second portion of the first image is combined with a portion of the third image to form a second combined image. And a stereoscopic image can be provided by displaying the first combined image and the second combined image.
前記第1、前記第2、前記第3画像取り込みユニットは、ほぼ弓形の経路に沿って互いにほぼ等間隔で位置付けられることを特徴とする請求項30に記載のイメージングシステム。   31. The imaging system of claim 30, wherein the first, second, and third image capture units are positioned substantially equidistant from one another along a generally arcuate path. 前記ほぼ弓形の経路は、略球形体によって定められることを特徴とする請求項31に記載のイメージングシステム。   32. The imaging system of claim 31, wherein the generally arcuate path is defined by a generally spherical body. 前記第1画像取り込みユニットと第2画像取り込みユニットが、円弧に沿って約5度から約45度の角度間隔によって互いに隔てられ、前記第2画像取り込みユニットと第3画像取り込みユニットは、前記円弧に沿ってほぼ前記の角度間隔だけ互いに隔てられることを特徴とする請求項30に記載のイメージングシステム。   The first image capturing unit and the second image capturing unit are separated from each other by an angular interval of about 5 degrees to about 45 degrees along an arc, and the second image capturing unit and the third image capturing unit are arranged in the arc. The imaging system of claim 30, wherein the imaging system is spaced apart from each other by approximately the angular interval. 前記第1画像取り込みユニットに関連する視野は、あるオーバラップ量で前記第2画像取り込みユニットに関連する視野とオーバラップし、前記第2画像取り込みユニットに関連する視野は、前記オーバラップ量で前記第3画像取り込みユニットに関連する視野とオーバラップすることを特徴とする請求項30に記載のイメージングシステム。   The field of view associated with the first image capture unit overlaps the field of view associated with the second image capture unit by a certain amount of overlap, and the field of view associated with the second image capture unit is the amount of overlap by the The imaging system of claim 30, wherein the imaging system overlaps a field of view associated with a third image capture unit. 前記オーバラップ量は、約10パーセントから約90パーセントであることを特徴とする請求項34に記載のイメージングシステム。   The imaging system of claim 34, wherein the amount of overlap is from about 10 percent to about 90 percent. 前記第1画像取り込みユニットに関連する定められた画像平面は、約1から約20パーセントだけ前記第2画像取り込みユニットに関連する定められた画像平面とオーバラップすることを特徴とする請求項30に記載のイメージングシステム。   The defined image plane associated with the first image capture unit overlaps with the defined image plane associated with the second image capture unit by about 1 to about 20 percent. The imaging system described. 前記第1画像の第1部分は、前記第1画像の約20パーセントから約80パーセントの間であり、前記第2画像の部分は、前記第2画像の約20パーセントから約80パーセントの間であることを特徴とする請求項30に記載のイメージングシステム。   The first portion of the first image is between about 20 percent and about 80 percent of the first image, and the portion of the second image is between about 20 percent and about 80 percent of the second image. 31. The imaging system of claim 30, wherein there is an imaging system. 複数の前記第1結合画像と第2結合画像は、動きを伝達するために連続して表示されることを特徴とする請求項30に記載のイメージングシステム。   The imaging system according to claim 30, wherein a plurality of the first combined image and the second combined image are displayed in succession to transmit motion. 前記第1結合画像は、十分な複数の画像と結合されてシーンの約90度を表す第1結合パノラマ画像を生成し、前記第2結合画像は、十分な複数の他の画像と結合されて前記シーンの約90度を表す第2結合パノラマ画像を生成し、更に前記第1結合パノラマ画像と前記第2結合パノラマ画像は、立体パノラマ画像を提供するよう表示されることを特徴とする請求項30に記載のイメージングシステム。   The first combined image is combined with a sufficient number of images to generate a first combined panoramic image representing approximately 90 degrees of the scene, and the second combined image is combined with a sufficient number of other images. The second combined panoramic image representing about 90 degrees of the scene is generated, and the first combined panoramic image and the second combined panoramic image are displayed to provide a stereoscopic panoramic image. 30. Imaging system according to 30. 第1結合パノラマ画像のセット及び第2結合パノラマ画像のセットを連続して表示して、動画立体パノラマ画像を提供することを特徴とする請求項39に記載のイメージングシステム。   40. The imaging system of claim 39, wherein the first combined panoramic image set and the second combined panoramic image set are displayed sequentially to provide a moving stereoscopic panoramic image. 画像を提供するための画像取り込みユニットと、
前記画像取り込みユニットに結合されて、前記画像の第1部分を受け取って第1立体画像を提供し、且つ前記画像の第2部分を受け取って第2立体画像を提供する処理ユニットと
を備えるイメージングシステム。
An image capture unit for providing images;
An imaging system coupled to the image capture unit, wherein the processing unit receives a first portion of the image to provide a first stereoscopic image and receives a second portion of the image to provide a second stereoscopic image. .
前記第1立体画像と前記第2立体画像は、パノラマ立体画像に結合されることを特徴とする請求項41に記載のイメージングシステム。   The imaging system according to claim 41, wherein the first stereoscopic image and the second stereoscopic image are combined with a panoramic stereoscopic image. 前記処理ユニットに結合されて複数の画像を提供するための複数の画像取り込みユニットを更に備え、
前記複数の画像の選択された画像が、少なくとも1つの他の画像と結合されて複数の結合画像を生成し、前記複数の結合画像は、第1パノラマ画像及び第2パノラマ画像を提供するように結合され、前記第1パノラマ画像と前記第2パノラマ画像は、パノラマ立体画像を提供するように結合されることを特徴とする請求項41に記載のイメージングシステム。
A plurality of image capture units coupled to the processing unit for providing a plurality of images;
A selected image of the plurality of images is combined with at least one other image to generate a plurality of combined images, the plurality of combined images providing a first panoramic image and a second panoramic image. 42. The imaging system of claim 41, wherein the first panorama image and the second panorama image are combined to provide a panoramic stereoscopic image.
前記第1パノラマ画像は、シーンの約90度を表示することを特徴とする請求項43に記載のイメージングシステム。   44. The imaging system of claim 43, wherein the first panoramic image displays about 90 degrees of a scene. 前記パノラマ立体画像は、シーンの約180度を表示することを特徴とする請求項43に記載のイメージングシステム。   44. The imaging system of claim 43, wherein the panoramic stereoscopic image displays about 180 degrees of a scene. 前記処理ユニットに結合されたイメージングユニットを更に備えることを特徴とする請求項41に記載のイメージングシステム。   The imaging system of claim 41, further comprising an imaging unit coupled to the processing unit.
JP2004567640A 2003-01-24 2003-01-24 Stereo panoramic image capturing device Pending JP2006515128A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2003/002285 WO2004068865A1 (en) 2003-01-24 2003-01-24 Steroscopic panoramic image capture device

Publications (1)

Publication Number Publication Date
JP2006515128A true JP2006515128A (en) 2006-05-18

Family

ID=32823170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004567640A Pending JP2006515128A (en) 2003-01-24 2003-01-24 Stereo panoramic image capturing device

Country Status (7)

Country Link
EP (1) EP1586204A1 (en)
JP (1) JP2006515128A (en)
CN (1) CN1771740A (en)
AU (1) AU2003214899A1 (en)
CA (1) CA2513874A1 (en)
IL (1) IL169827A0 (en)
WO (1) WO2004068865A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002210A (en) * 2011-09-08 2013-03-27 卡西欧计算机株式会社 Image processing device and image processing method
KR20170052676A (en) * 2014-09-22 2017-05-12 삼성전자주식회사 Camera system for three-dimensional video
JP2017518148A (en) * 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Quantitative 3D imaging of surgical scenes from a multiport perspective
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697839B2 (en) 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
US9792012B2 (en) 2009-10-01 2017-10-17 Mobile Imaging In Sweden Ab Method relating to digital images
JP2011082919A (en) * 2009-10-09 2011-04-21 Sony Corp Image processing device and method, and program
SE534551C2 (en) 2010-02-15 2011-10-04 Scalado Ab Digital image manipulation including identification of a target area in a target image and seamless replacement of image information from a source image
JP5390707B2 (en) * 2010-06-24 2014-01-15 富士フイルム株式会社 Stereoscopic panorama image synthesis apparatus, imaging apparatus, stereo panorama image synthesis method, recording medium, and computer program
US9544498B2 (en) 2010-09-20 2017-01-10 Mobile Imaging In Sweden Ab Method for forming images
TWI506595B (en) * 2011-01-11 2015-11-01 Altek Corp Method and apparatus for generating panorama
JP2012199752A (en) * 2011-03-22 2012-10-18 Sony Corp Image processing apparatus, image processing method, and program
SE1150505A1 (en) 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Method and apparatus for taking pictures
CA2841910A1 (en) 2011-07-15 2013-01-24 Mobile Imaging In Sweden Ab Method of providing an adjusted digital image representation of a view, and an apparatus
KR101804199B1 (en) * 2011-10-12 2017-12-05 삼성전자주식회사 Apparatus and method of creating 3 dimension panorama image
CN103096101B (en) * 2011-11-07 2016-03-30 联想(北京)有限公司 Image synthesizing method, device and electronic equipment
KR20150068298A (en) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 Method and system of generating images for multi-surface display
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US9934615B2 (en) * 2016-04-06 2018-04-03 Facebook, Inc. Transition between binocular and monocular views
CN106851240A (en) * 2016-12-26 2017-06-13 网易(杭州)网络有限公司 The method and device of image real time transfer
GB2591278A (en) * 2020-01-24 2021-07-28 Bombardier Transp Gmbh A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076227A (en) * 1992-12-29 1995-01-10 Philips Electron Nv Method and apparatus for processing of image for formation of image from plurality of adjacent images
JPH0962861A (en) * 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd Panoramic video device
JP2001094857A (en) * 1999-08-09 2001-04-06 Fuji Xerox Co Ltd Method for controlling virtual camera, camera array and method for aligning camera array
JP2002094849A (en) * 2000-09-12 2002-03-29 Sanyo Electric Co Ltd Wide view image pickup device
JP2002159019A (en) * 2000-11-16 2002-05-31 Canon Inc Display control device, imaging position estimating device, display system, image pickup system, image positioning method, imaging position estimating method, and recording medium recorded with process program
JP2002262307A (en) * 2001-02-28 2002-09-13 Sony Corp Image input system
JP2003141562A (en) * 2001-10-29 2003-05-16 Sony Corp Image processing apparatus and method for nonplanar image, storage medium, and computer program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076227A (en) * 1992-12-29 1995-01-10 Philips Electron Nv Method and apparatus for processing of image for formation of image from plurality of adjacent images
JPH0962861A (en) * 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd Panoramic video device
JP2001094857A (en) * 1999-08-09 2001-04-06 Fuji Xerox Co Ltd Method for controlling virtual camera, camera array and method for aligning camera array
JP2002094849A (en) * 2000-09-12 2002-03-29 Sanyo Electric Co Ltd Wide view image pickup device
JP2002159019A (en) * 2000-11-16 2002-05-31 Canon Inc Display control device, imaging position estimating device, display system, image pickup system, image positioning method, imaging position estimating method, and recording medium recorded with process program
JP2002262307A (en) * 2001-02-28 2002-09-13 Sony Corp Image input system
JP2003141562A (en) * 2001-10-29 2003-05-16 Sony Corp Image processing apparatus and method for nonplanar image, storage medium, and computer program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002210A (en) * 2011-09-08 2013-03-27 卡西欧计算机株式会社 Image processing device and image processing method
CN103002210B (en) * 2011-09-08 2015-09-09 卡西欧计算机株式会社 Image processing apparatus and image processing method
JP2017518148A (en) * 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Quantitative 3D imaging of surgical scenes from a multiport perspective
KR20170052676A (en) * 2014-09-22 2017-05-12 삼성전자주식회사 Camera system for three-dimensional video
KR101885780B1 (en) * 2014-09-22 2018-08-06 삼성전자주식회사 Camera system for three-dimensional video
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching

Also Published As

Publication number Publication date
CA2513874A1 (en) 2004-08-12
EP1586204A1 (en) 2005-10-19
CN1771740A (en) 2006-05-10
IL169827A0 (en) 2007-07-04
AU2003214899A1 (en) 2004-08-23
WO2004068865A1 (en) 2004-08-12

Similar Documents

Publication Publication Date Title
US6947059B2 (en) Stereoscopic panoramic image capture device
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
JP2006515128A (en) Stereo panoramic image capturing device
EP3130143B1 (en) Stereo viewing
US7429997B2 (en) System and method for spherical stereoscopic photographing
US7855752B2 (en) Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
JP4642723B2 (en) Image generating apparatus and image generating method
CN101938599A (en) Method for generating interactive dynamic panoramic image
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
US11812009B2 (en) Generating virtual reality content via light fields
WO2017128887A1 (en) Method and system for corrected 3d display of panoramic image and device
KR101725024B1 (en) System for real time making of 360 degree VR video base on lookup table and Method for using the same
KR101670328B1 (en) The appratus and method of immersive media display and image control recognition using real-time image acquisition cameras
KR101704362B1 (en) System for real time making of panoramic video base on lookup table and Method for using the same
CN114513646A (en) Method and device for generating panoramic video in three-dimensional virtual scene
CN110060349B (en) Method for expanding field angle of augmented reality head-mounted display equipment
JP5249733B2 (en) Video signal processing device
CN109272445A (en) Panoramic video joining method based on Sphere Measurement Model
WO2019026388A1 (en) Image generation device and image generation method
KR20060015460A (en) Stereoscopic panoramic image capture device
CN102802003A (en) Real-time shooting and real-time free stereoscopic display system based on both GPU and network cameras
CN113632458A (en) System, algorithm and design for wide angle camera perspective experience
WO2019026184A1 (en) Image generation device and image generation method
JP2005077808A (en) Image display device, image display method, and image display system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081224

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090224

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090602