JP2006515128A - Stereo panoramic image capturing device - Google Patents
Stereo panoramic image capturing device Download PDFInfo
- Publication number
- JP2006515128A JP2006515128A JP2004567640A JP2004567640A JP2006515128A JP 2006515128 A JP2006515128 A JP 2006515128A JP 2004567640 A JP2004567640 A JP 2004567640A JP 2004567640 A JP2004567640 A JP 2004567640A JP 2006515128 A JP2006515128 A JP 2006515128A
- Authority
- JP
- Japan
- Prior art keywords
- image
- combined
- imaging system
- panoramic
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
複数の第1画像取り込み装置を含むイメージングシステム。オーバラップした複数の直線的画像が取り込まれて二分され、各左半部分がつなぎ合わされて第1等矩形画像に変換され、各右半分は、つなぎ合わされて第2等矩形画像に変換される。第1等矩形画像及び第2等矩形画像は、立体方位で表示され、立体等矩形画像を生成する。該イメージングシステムを用いて、複数の連続画像を取り込み、フルモーションの立体等矩形画像を生成することができる。An imaging system including a plurality of first image capture devices. A plurality of overlapping linear images are captured and divided into two, the left half portions are joined and converted into a first equal rectangular image, and the right halves are joined and converted into a second equal rectangular image. The first equal rectangular image and the second equal rectangular image are displayed in a three-dimensional orientation, and a three-dimensional rectangular image is generated. Using this imaging system, it is possible to capture a plurality of continuous images and generate a rectangular full-motion rectangular image.
Description
本発明の実施形態は、一般に、パノラマ画像取り込み装置に関し、更に具体的には、立体パノラマ画像を生成するためのパノラマ画像取り込み装置に関する。 Embodiments of the present invention generally relate to a panoramic image capturing device, and more specifically to a panoramic image capturing device for generating a stereoscopic panoramic image.
パノラマカメラは当該技術分野で公知である。このようなカメラは、単一の回転可能なカメラを使用する場合が多い。このような装置は、静止画像に好適であるが、静止していない対象物を取り込むために使用される場合には通常、ぼけた画像又は歪んだ画像を生成する。また、複数の画像取り込み装置を有する画像取り込みシステムを用いることは、当該技術分野で公知である。この方法では、複数の画像をほぼ同時に取り込むことができ、当該技術分野で公知のプロセスを用いて共につなぎ合わせることができる。このようなシステムは、動いている対象を取り込むことに伴う問題をかなり排除するが、このようなシステムは立体画像を生成するための手段を提供するものではない。 Panorama cameras are known in the art. Such cameras often use a single rotatable camera. Such an apparatus is suitable for still images, but typically produces blurred or distorted images when used to capture non-stationary objects. The use of an image capture system having a plurality of image capture devices is well known in the art. In this way, multiple images can be captured almost simultaneously and stitched together using processes known in the art. While such a system significantly eliminates the problems associated with capturing moving objects, such a system does not provide a means for generating a stereoscopic image.
立体画像を取り込むために「魚眼」レンズを使用することも当該技術分野では公知である。しかしながら、このような画像は、結果として得られる画像に多大な歪みを持ち込み、比較的低品質の画像を取り込む。従って、歪みが少なく高品質のパノラマ画像を生成することが望ましいであろう。 The use of “fish-eye” lenses to capture stereoscopic images is also known in the art. However, such images introduce significant distortion into the resulting image and capture relatively low quality images. Therefore, it would be desirable to generate a high quality panoramic image with little distortion.
通常、立体画像を取り込むためには、2つのイメージングシステムが特定の画像を取り込むために互いに隣接して位置付けられる。残念ながら、この方法は、1つの画像取り込み装置が隣接する画像取り込み装置の視野に必然的に入るので、立体パノラマ画像を生成するところまで外挿することができない。従って、特定の画像の立体表示のためのパノラマ画像の立体ペアを生成するために用いることができるパノラマ画像取り込みシステムを提供することが望まれる。 Usually, to capture a stereoscopic image, two imaging systems are positioned adjacent to each other to capture a particular image. Unfortunately, this method cannot be extrapolated to the point where a stereoscopic panoramic image is generated because one image capture device necessarily enters the field of view of an adjacent image capture device. Accordingly, it is desirable to provide a panoramic image capture system that can be used to generate a stereo pair of panoramic images for stereoscopic display of a particular image.
本発明によって提供される利点において、画像取り込みシステムは、パノラマ画像の立体映像ペアを生成する。 In an advantage provided by the present invention, the image capture system generates a stereoscopic video pair of panoramic images.
本発明は、シームレスなパノラマ画像を生成するための画像取り込みシステムを提供できる利点を有する。 The present invention has the advantage of providing an image capture system for generating seamless panoramic images.
本発明は、動いている立体パノラマ画像を生成するための画像取り込みシステムを提供できる利点を有する。 The present invention has the advantage of providing an image capture system for generating a moving stereoscopic panoramic image.
本発明は最小の歪みの立体パノラマ画像を提供できる利点を有する。 The present invention has the advantage of providing a stereoscopic panoramic image with minimal distortion.
本発明は、フルモーションでリアルタイムのパノラマ立体映像イメージングのためのイメージングシステムを提供できる利点を有する。 The present invention has the advantage of providing an imaging system for full-motion, real-time panoramic stereoscopic imaging.
本発明の好ましい実施態様では、第1画像取り込み装置、第2画像取り込み装置、第3画像取り込み装置を含むイメージングシステムを設けることが望ましい。本実施態様は、第1画像取り込み装置を使用して取り込まれた第1画像の少なくとも第1の部分を、第2画像取り込み装置を使用して取り込まれた第2画像の部分と結合させて、第1結合画像を生成するための手段を提供する。第1画像の少なくとも第2の部分を、第3画像取り込み装置を使用して取り込まれた第3画像の少なくとも1部分と結合させて、第2結合画像を生成するための手段をも提供する。 In a preferred embodiment of the present invention, it is desirable to provide an imaging system that includes a first image capture device, a second image capture device, and a third image capture device. This embodiment combines at least a first portion of a first image captured using a first image capture device with a portion of a second image captured using a second image capture device, Means are provided for generating a first combined image. Means are also provided for combining at least a second portion of the first image with at least a portion of the third image captured using the third image capture device to generate a second combined image.
好ましい実施態様において、複数の画像取り込み装置が複数の画像を生成するために用いられ、それらの画像の各部分が隣接した画像の一部と結合されて、第1結合パノラマ画像を生成する。同様に、各画像の第2部分が隣接した画像の別の部分と結合されて、第2結合パノラマ画像を生成する。好ましくは、第1結合パノラマ画像と第2結合パノラマ画像は、立体パノラマ画像を生成するように立体的な方位で表示される。本発明のイメージングシステムを用いると、複数の画像を取り込み、フルモーションの立体パノラマ画像を生成することができる。 In a preferred embodiment, multiple image capture devices are used to generate multiple images, and each portion of the images is combined with a portion of the adjacent image to generate a first combined panoramic image. Similarly, the second portion of each image is combined with another portion of the adjacent image to produce a second combined panoramic image. Preferably, the first combined panorama image and the second combined panorama image are displayed in a stereoscopic orientation so as to generate a stereoscopic panoramic image. With the imaging system of the present invention, it is possible to capture a plurality of images and generate a full motion stereoscopic panoramic image.
次に、例証として添付の図面を参照しながら本発明を説明する。 The present invention will now be described by way of example with reference to the accompanying drawings.
図1を参照すると、プラスチック又は他の同様の軽量材料製の本体(12)を有するカメラ(10)が示されている。好ましい実施形態において、本体(12)は、直径が好ましくは約0.001から約500センチメートルの間、更に好ましくは約10から約50センチメートルの間のほぼ球体である。本体(12)の表面にわたってほぼ等間隔で配置された複数のレンズ(14)が備えられている。該レンズ(14)は、好ましくは約5オングストロームから約10センチメートル、更に好ましくは約0.5から約5センチメートルの間の直径を有する円形レンズであるのが好ましい。好ましい実施形態において、レンズは、NY11725、Commack、Mall Drive55所在のCBC Americaによって製造されたモデルナンバーBCL38C3.8ミリメートルマイクロレンズである。図2に示されるように、レンズ(14)は、当該技術分野でよく知られるような電荷結合素子(CCD)組立体(16)と各々関連付けられている。好ましい実施形態では、Panasonicによって製造されRock2000.comから入手可能なGP−CX171/LM CCDカラーボードカメラが使用されるが、任意の既知の画像取り込みシステムを使用してもよい。従って、本開示の目的において、レンズ(14)及び/又はCCD組立体(16)もまた、「画像取り込みユニット」(26)、(40)、(54)として説明することができる。図2に示されるように、画像取り込みユニット(26)、(40)、(54)の全ては、画像取り込み装置(14)及び/又は(16)から画像を受け取ることができる処理ユニット(CPU)(22)に動作可能に結合されている。好ましい実施形態において、CPU(22)は、CA94086、Sunnyvale、Pontrero480所在の3Dlabsによって製造されたOxygen GVX210グラフィックスカードを備えたPentium(登録商標)4、900MHzクラスのパーソナルコンピュータである。CPUは当該技術分野で公知の任意のタイプとすることができるが、当該技術分野で公知の方法でクワッドバッファリング(quad buffering)やページフリッピングソフトウェア(page flipping software)を利用するのが好ましい。CPU(22)は、ヘッドマウントディスプレイ(24)に結合される。好ましい実施形態では、これは、NY14623、Rochester、Brighton Henrietta Townline Road2166に所在のInteractive Imaging Systemsによって製造されたVFX3Dである。 Referring to FIG. 1, a camera (10) is shown having a body (12) made of plastic or other similar lightweight material. In a preferred embodiment, the body (12) is generally spherical with a diameter of preferably between about 0.001 and about 500 centimeters, more preferably between about 10 and about 50 centimeters. A plurality of lenses (14) arranged at approximately equal intervals over the surface of the main body (12) are provided. The lens (14) is preferably a circular lens having a diameter between about 5 angstroms and about 10 centimeters, more preferably between about 0.5 and about 5 centimeters. In a preferred embodiment, the lens is a model number BCL38C 3.8 millimeter microlens manufactured by CBC America, NY11725, Commack, Mall Drive 55. As shown in FIG. 2, lenses (14) are each associated with a charge coupled device (CCD) assembly (16) as is well known in the art. In a preferred embodiment, Rock2000. The GP-CX171 / LM CCD color board camera available from com is used, but any known image capture system may be used. Thus, for purposes of this disclosure, the lens (14) and / or the CCD assembly (16) can also be described as "image capture units" (26), (40), (54). As shown in FIG. 2, all of the image capture units (26), (40), (54) are processing units (CPU) that can receive images from the image capture devices (14) and / or (16). (22) is operably coupled. In the preferred embodiment, the CPU (22) is a Pentium® 4, 900 MHz class personal computer with an Oxygen GVX210 graphics card manufactured by 3Dlabs located in CA94086, Sunnyvale, Pontrero 480. The CPU can be of any type known in the art, but preferably utilizes quad buffering or page flipping software in a manner known in the art. The CPU (22) is coupled to the head mounted display (24). In a preferred embodiment, this is VFX3D manufactured by Interactive Imaging Systems located at NY14623, Rochester, Brighton Henrietta Townline Road 2166.
図2で示されるように、レンズ(14)は、互いに分散させらており、本体(12)によって定められたほぼアーチ形の経路又はラインに沿って互いに約20度オフセットしている。ほぼアーチ形の経路の方向に沿って約5から約45度とすることができるこのオフセットによって、各レンズ(14)及び/又は画像取り込みユニット(26)、(40)、(54)に、ほぼ同様の焦点を持たせることが可能となる。各レンズ(14)は、横方向に並んだレンズの視野を約10ないし約90パーセント、好ましくは約50から約65パーセントだけオーバラップさせた約53度の視野を有する。図2で示されるように、第1画像取り込みユニット(26)は、左側平面(30)で一方の側に境界付けられ、右側平面(32)で反対の側に境界付けられた画像を二分する光学軸(28)と関連付けられる。画像取り込みユニット(26)のレンズ(14)は、左の画像平面(36)と右の画図平面(38)とに分割された定められた画像平面(34)に合焦される。 As shown in FIG. 2, the lenses (14) are dispersed from each other and are offset from each other by about 20 degrees along a generally arcuate path or line defined by the body (12). This offset, which can be about 5 to about 45 degrees along the direction of the generally arcuate path, causes each lens (14) and / or image capture unit (26), (40), (54) to be approximately It is possible to have a similar focus. Each lens (14) has a field of view of about 53 degrees with the laterally aligned field of view of the lenses overlapping from about 10 to about 90 percent, preferably from about 50 to about 65 percent. As shown in FIG. 2, the first image capture unit (26) bisects the image bounded on one side by the left plane (30) and bounded on the opposite side by the right plane (32). Associated with the optical axis (28). The lens (14) of the image capture unit (26) is focused on a defined image plane (34) divided into a left image plane (36) and a right drawing plane (38).
同様に、第2画像取り込みユニット(40)にも、光学軸(42)、左側平面(44)、右側平面(46)、定められた画像平面(48)、左の画像平面(50)、右の画像平面(52)が設けられている。第1画像取り込みユニット(26)の右側の第3画像取り込みユニット(54)には、光学軸(56)、左側平面(58)、右側平面(60)、定められた画像平面(62)、左の画像平面(64)、右の画像平面(66)が設けられている。 Similarly, the second image capture unit (40) also includes the optical axis (42), the left plane (44), the right plane (46), the defined image plane (48), the left image plane (50), the right Image plane (52) is provided. The third image capture unit (54) on the right side of the first image capture unit (26) includes an optical axis (56), a left plane (58), a right plane (60), a defined image plane (62), a left The image plane (64) and the right image plane (66) are provided.
複数の画像取り込みユニット(26)、(40)、(54)を設け、定められた画像平面(34)、(48)、(62)を半分などの部分に分割し、かつ画像取り込みユニット(26)、(40)、(54)を図2に示されるように配向することによって、最終パノラマ画像に関連する全てのポイントは、少なくとも2つの隣接する画像取り込みユニット(26)、(40)、及び/又は(54)の定められた画像平面内に存在する。図5A−5Bに示されるように、隣接する画像取り込みユニットの定められた画像平面は、垂直方向で、好ましくは約1−20パーセント、更に好ましくは約5−10パーセント、及び好ましい実施形態においては約7パーセント、オーバラップする。同様に、隣接する画像取り込みユニットの定められた画像平面は、水平方向で、好ましくは約20パーセント、更に好ましくは約5−10パーセント、及び好ましい実施形態では約6パーセント、オーバラップする。これらのオーバラップは、以下に説明される「ステッチング(つなぎ合わせ)」プロセスを助ける。 A plurality of image capturing units (26), (40), (54) are provided, the defined image planes (34), (48), (62) are divided into halves and the like, and the image capturing unit (26 ), (40), (54) are oriented as shown in FIG. 2, so that all points associated with the final panoramic image are at least two adjacent image capture units (26), (40), and And / or in the defined image plane of (54). As shown in FIGS. 5A-5B, the defined image plane of adjacent image capture units is preferably about 1-20 percent, more preferably about 5-10 percent, and in a preferred embodiment in the vertical direction. About 7 percent overlap. Similarly, the defined image planes of adjacent image capture units overlap in the horizontal direction, preferably about 20 percent, more preferably about 5-10 percent, and in a preferred embodiment about 6 percent. These overlaps aid the “stitching” process described below.
シーンの約180度(例えば半球体)を表示することができる本発明の最終パノラマ画像(68)を生成するために、第1パノラマ画像(72)と第2パノラマ画像(74)が生成される(図3、図4A−4B)。パノラマ画像(72)、(74)の各々は、シーンの約90度(例えば半球体の約半分)を表示することができる。第1パノラマ画像(72)を生成するために、第1画像取り込みユニット(26)の左画像平面(36)に関連する画像(76)は、第2画像取り込みユニット(40)の左画像平面(50)に関連する画像(78)、及び第3画像取り込みユニット(54)の左画像平面(64)に関連する画像(80)と結合される(図2、4A、5A)。図2に示されるように、関連する画像平面(36)、(50)、(64)は、好ましくは約0.5−30パーセント、更に好ましくは約10−20パーセント、好ましい実施形態では約13パーセントだけオーバラップするが、互いに平行ではなく、更に第1パノラマ画像(72)を定める曲線に必ずしも接していない(図2、4A)。従って、平面(36)、(50)、(64)に関連する画像(76)、(78)、(80)、(82)、(84)、(86)は、以下に説明されるように1つにステッチングして最終パノラマ画像(68)を形成する前に、平行でない方向に関連する歪みを除去するために変換する必要がある(図2、3、4A−4B、5A−5B)。 A first panorama image (72) and a second panorama image (74) are generated to generate the final panorama image (68) of the present invention that can display approximately 180 degrees (eg, a hemisphere) of the scene. (FIG. 3, FIG. 4A-4B). Each of the panoramic images (72), (74) can display about 90 degrees of the scene (eg, about half of a hemisphere). To generate the first panoramic image (72), the image (76) associated with the left image plane (36) of the first image capture unit (26) is the left image plane ( 50) and the image (80) associated with the left image plane (64) of the third image capture unit (54) (FIGS. 2, 4A, 5A). As shown in FIG. 2, the associated image planes (36), (50), (64) are preferably about 0.5-30 percent, more preferably about 10-20 percent, and in a preferred embodiment about 13 They overlap by a percentage but are not parallel to each other and do not necessarily touch the curve defining the first panoramic image (72) (FIGS. 2, 4A). Thus, the images (76), (78), (80), (82), (84), (86) associated with the planes (36), (50), (64) are as described below. Before stitching together to form the final panoramic image (68), it must be transformed to remove distortions associated with non-parallel directions (FIGS. 2, 3, 4A-4B, 5A-5B). .
左画像平面(38)、(52)、(66)に関連する画像(76)、(78)、(80)と、右画像平面(36)、(50)、(64)に関連する画像(82)、(84)、(86)が、画像取り込みユニット(26)、(40)、(54)の全てにより収集され受け取られると、画像は、配線、無線、或いは任意の望ましい接続を介してCPU(22)に伝送される。次いで、CPU(22)は、図6A−6Cで説明されるプロセスに従って画像を変換させるように動作する。ブロック(88)に示されるように、好ましい実施形態ではほぼ直線の画像であるが、勿論任意のタイプの画像とすることができるソース画像が、CPU(22)によって画像取り込みユニット(26)、(40)、(54)から得られ、或いは受け取られる(図2、4A、4B、及び6A−6C)。ブロック(94)に示されるように、次に、CPU(22)は、未変換のソース画像のための位置合わせ画素ペアを決める。 Images (76), (78), (80) associated with the left image plane (38), (52), (66) and images associated with the right image plane (36), (50), (64) ( 82), (84), (86) are collected and received by all of the image capture units (26), (40), (54), the images can be wired, wireless, or via any desired connection. It is transmitted to the CPU (22). The CPU (22) then operates to convert the image according to the process described in FIGS. 6A-6C. As shown in block (88), the preferred embodiment is a substantially straight image, but of course the source image, which can be any type of image, is captured by the CPU (22) by the image capture unit (26), ( 40), (54) or received (FIGS. 2, 4A, 4B, and 6A-6C). As shown in block (94), the CPU (22) then determines an alignment pixel pair for the unconverted source image.
その後、ブロック(96)に示されるように、CPU(22)は、入力ファイルを作成する。入力ファイルは、最終パノラマ画像(68)の高さと幅、ソース情報、位置合わせポイント情報を含む。ソース情報は、ソース画像のファイル名とパス、画素におけるソース画像の高さと幅を含み、さらに関連する画像取り込みユニットのソースのヨー角、ピッチ角、ロール角を含む。画像取り込みユニットの水平視野は、好ましくは約1から約80度の間、更に好ましくは約30から約60度の間、好ましい実施形態では約53度であり、ソース画像の関連する左側平面と右側平面、Xシフト、Yシフト、ズーム値によって定義される。位置合わせポイントに関連する情報は、位置合わせポイントの第1画素位置に関連するソース画像に関する情報、第1ソース画像の水平及び垂直画素位置、第2画素位置に関連するソース画像に関する情報のリストインデックスを含み、さらに第2ソース画像の水平及び垂直画素位置を含む。 Thereafter, as shown in block (96), the CPU (22) creates an input file. The input file includes the height and width of the final panoramic image (68), source information, and alignment point information. The source information includes the file name and path of the source image, the height and width of the source image in pixels, and further includes the yaw angle, pitch angle, and roll angle of the source of the associated image capture unit. The horizontal field of view of the image capture unit is preferably between about 1 and about 80 degrees, more preferably between about 30 and about 60 degrees, and in a preferred embodiment about 53 degrees, with the associated left plane and right side of the source image. Defined by plane, X shift, Y shift, and zoom value. The information related to the alignment point includes information relating to the source image related to the first pixel position of the alignment point, horizontal and vertical pixel positions of the first source image, and a list index of information relating to the source image related to the second pixel position And the horizontal and vertical pixel positions of the second source image.
画像平面(36、38、50、52、64、66)に関連する画像(76−86)は、ほぼ直線の標準フラットフィールド画像であり、パノラマ画像(72、74)は、図4A−4Bに示されるような方法で球形表面上への画素マッピングを表す、少なくとも部分的に等矩形(equirectangular)である。従って、CPU(22)が入力ファイルを作成すると、ブロック(98)で示されるように、位置合わせ画素ペアを、最終パノラマ画像(68)における該画素ペアの位置を特定するために変換する。 Images (76-86) associated with the image planes (36, 38, 50, 52, 64, 66) are generally straight standard flat field images, and panoramic images (72, 74) are shown in FIGS. 4A-4B. It is at least partially equirectangular, representing pixel mapping onto a spherical surface in the manner shown. Thus, when the CPU (22) creates the input file, it converts the aligned pixel pair to identify the position of the pixel pair in the final panoramic image (68), as indicated by block (98).
任意のソース画像で開始し、最終パノラマ画像(68)上に位置付ける、三次元空間における所与の位置合わせ画素ペアの第1画素を表すベクトルが定められる。これは、各画素に以下のマトリックス変換を適用することによって達成される。 A vector is defined that starts with an arbitrary source image and represents the first pixel of a given aligned pixel pair in three-dimensional space, located on the final panoramic image (68). This is achieved by applying the following matrix transformation to each pixel.
セグメントxを定める:画像の中心を基準とするようにソース画像の画素の水平位置を変える。次いで、ソース画像のXシフトとズーム変数を補正する。 Define segment x: Change the horizontal position of the pixels of the source image so that it is referenced to the center of the image. Next, the X shift and zoom variable of the source image are corrected.
セグメントyを定める:画像の中心を基準とするようにソース画像の画素の垂直位置を変える。次いで、ソース画像のYシフトとズーム変数を補正する。 Define segment y: change the vertical position of the pixels of the source image to be relative to the center of the image. Next, the Y shift and zoom variable of the source image are corrected.
セグメントzを定める:種々のソース画像変数を使用して、画素での画像サイズによって与えられるスケールに対応するzセグメントを決定する。 Define segment z: Various source image variables are used to determine the z segment corresponding to the scale given by the image size in pixels.
ソースカメラの回転角に対応するようにベクトルを変換する。これは、3つの回転マトリックスの各々によってベクトルを変換することにより計算される。
マトリックス変換では、画素ベクトルは、三次元空間でのそのポイントのグローバル位置globX、globY、globZを表す。次いで、CPU(22)はこれらの位置を球体座標に変換し、これらを最終パノラマ座標に直接適用する。ベクトルのヨー角は、その水平パノラマ位置である、新しいXを表わし、ピッチ角は、その垂直パノラマ位置である、新しいYを表す。 In matrix transformation, a pixel vector represents the global position globX, globY, globZ of that point in 3D space. The CPU (22) then converts these positions to spherical coordinates and applies them directly to the final panoramic coordinates. The yaw angle of the vector represents the new X, its horizontal panorama position, and the pitch angle represents the new Y, its vertical panorama position.
ブロック(100)で示されるように、位置合わせ画素ペアが、この方法で最終パノラマ画像(68)にマップされると、CPU(22)は、位置合わせ画素ペア間の間隔を計算する。所与のソース画像の位置合わせ画素ペアの平均間隔が、初期変換時の場合のように未だ最小でない場合には、ブロック(102)で示されるように、ソース画像のヨーがわずかに変更され、その後プロセスはブロック(98)に戻り、位置合わせ画素ペアを最終パノラマ画像(68)における画素ポイントに再度変換する。ヨーを変更するこのプロセスは、ソース画像の位置合わせ画素ペアの平均間隔が最小になるまで続く。その後、関連する位置合わせ画素ペアの平均間隔が最小になるまで、ピッチ、ロール、Xシフト、Yシフト、ズームが変更される。特定のソース画像のヨー、ピッチ、ロール、Xシフト、Yシフト、ズームが最適化されると、ブロック(104)で示されるように、全ソース画像に対して、これらの全てが最適化されるまでこの変換手順が繰り返される。 Once the alignment pixel pair is mapped to the final panoramic image (68) in this manner, as indicated by block (100), the CPU (22) calculates the spacing between the alignment pixel pair. If the average spacing of the alignment pixel pairs for a given source image is not yet minimal as in the initial transformation, the source image yaw is slightly changed, as shown in block (102), The process then returns to block (98) to convert the aligned pixel pair back to pixel points in the final panoramic image (68). This process of changing the yaw continues until the average spacing of the alignment pixel pairs in the source image is minimized. Thereafter, the pitch, roll, X shift, Y shift, and zoom are changed until the average spacing of the associated alignment pixel pairs is minimized. When the yaw, pitch, roll, X shift, Y shift, and zoom of a particular source image are optimized, all of these are optimized for the entire source image, as indicated by block (104). This conversion procedure is repeated until.
ブロック(106)で示されるように、このようにしてソース画像の全ての最適化が完了すると、全ソース画像の位置合わせ画素ペアの平均間隔が計算され、これらが未だ最小でない場合には、ブロック(108)で示されるようにソース画像のヨー、ピッチ、ロール、Xシフト、Yシフト、ズームが変更されて、プロセスがブロック(98)に戻り、位置合わせ画素ペア間の間隔がソース画像の全てにおいて最小になるまでプロセスが継続する。 As shown in block (106), once all optimization of the source image is completed in this way, the average spacing of the alignment pixel pairs of all source images is calculated, and if they are not yet minimal, The source image's yaw, pitch, roll, X shift, Y shift, and zoom are changed as shown at (108), and the process returns to block (98) where the spacing between the aligned pixel pairs is all of the source image. The process continues until it is at a minimum.
位置合わせ画素ペア間の平均間隔が全ソース画像にわたり最小化されると、ブロック(110)で示されるように、出力ファイルが作成され、第1パノラマ画像(72)の高さと幅、各特定のソース画像に対するヨー、ピッチ、ロール、Xシフト、Yシフト、ズーム変換画像情報を識別する。その後、ブロック(112)で示されるように、所与のソース画像内の各画素に対して、上記に説明されたベクトル変換を使用して三次元空間での特定の画素の位置を表すベクトルが定められる。 When the average spacing between the alignment pixel pairs is minimized across all source images, an output file is created, as indicated by block (110), and the height and width of the first panoramic image (72), each specific Identify yaw, pitch, roll, X shift, Y shift and zoom converted image information for the source image. Thereafter, as shown in block (112), for each pixel in a given source image, a vector representing the position of a particular pixel in three-dimensional space using the vector transformation described above is obtained. Determined.
ベクトルが定められると、ブロック(114)で示されるように、ベクトルは、出力ファイルにおいて定義されたようなソース画像に関連するヨー、ピッチ、ロール、Xシフト、Yシフト、ズーム情報を反映するように変換される。ベクトルの変換完了後、ブロック(116)で示されるように、変換されたベクトルは、最終パノラマ画像(68)の画素に関連付けられる。ブロック(118)で示されるように、このプロセスは、特定のソース画像の画素の全てがベクトルに変換され、これらの位置が最終パノラマ画像(68)上に位置付けられるまで繰り返される。 Once the vectors are defined, the vectors reflect the yaw, pitch, roll, X shift, Y shift, zoom information associated with the source image as defined in the output file, as indicated by block (114). Is converted to After completing the vector conversion, the converted vector is associated with the pixels of the final panoramic image (68), as indicated by block (116). As indicated by block (118), this process is repeated until all of the pixels of a particular source image have been converted to vectors and these positions are located on the final panoramic image (68).
ブロック(120)で示されるように、所与のソース画像の画素の全てが最終パノラマ画像(68)上に位置付けられると、各々が最終パノラマ画像(68)の高さと幅にほぼ等しい高さと幅を有する2つの画像バッファ(90)、(92)が生成される(図3、5A−5B、6B)。ブロック(122)で示されるように、画像バッファ(90)、(92)が生成されると、特定のソース画像の四辺形の4つの隣接する画素に関連するベクトル変換情報を用いて、適切な画像バッファ(90)又は(92)上に画素の四辺形を描画する(図5A−5B、6C)。画素が左画像平面(38)、(52)、又は(66)にある場合には、該画素は左画像バッファ(90)に書き込まれる。画素が右画像平面(36)、(50)、又は(64)にある場合には、該画素は右画像バッファ(92)内にある(図2、5A−5B)。 When all of the pixels of a given source image are positioned on the final panorama image (68), as indicated by block (120), each has a height and width approximately equal to the height and width of the final panorama image (68). Two image buffers (90), (92) having are generated (FIGS. 3, 5A-5B, 6B). Once the image buffers (90), (92) are generated, as indicated by block (122), the appropriate vector transformation information associated with the four adjacent pixels of the quadrilateral of the particular source image is used to generate the appropriate A quadrilateral of pixels is drawn on the image buffer (90) or (92) (FIGS. 5A-5B and 6C). If the pixel is in the left image plane (38), (52), or (66), the pixel is written to the left image buffer (90). If the pixel is in the right image plane (36), (50), or (64), it is in the right image buffer (92) (FIGS. 2, 5A-5B).
ブロック(124)で示されるように、変換により画像バッファ上の画素の四辺形が拡大する可能性があるので、関連する画像バッファ(90)又は(92)において画素が直線位置から等矩形位置に変換されると、画素間のギャップが生じる可能性がある(図5A−5B、6C)。画素の四辺形が関連する画像バッファ(90)又は(92)上に位置付けられるとき、それにより生成されたギャップは、当該技術分野で公知の方法で、恐らくはコーナー画素カラーの線形グラディエントを使用して可能な限り平滑にフィルされる。公知の線形グラディエントフィル(linear gradient fill)技術を、画像間の目に見える継ぎ目を無くすために使用できる。付加的なソース画像情報が画像バッファ(90)、(92)に加えられると、画素データで既にフィルされた画像バッファ(90)、(92)の領域に対し、新たにオーバラップする画素のアルファ透明度が直線的に低下し、以下に説明されるように結果として得られた継ぎ目を平滑にする。 As indicated by block (124), the pixel quadrilateral on the image buffer may be enlarged due to the transformation, so that the pixel is moved from a straight line position to an equirectangular position in the associated image buffer (90) or (92) When converted, gaps between pixels can occur (FIGS. 5A-5B, 6C). When a pixel quadrilateral is positioned on the associated image buffer (90) or (92), the gap created thereby is in a manner known in the art, perhaps using a linear gradient of corner pixel colors. Fills as smoothly as possible. Known linear gradient fill techniques can be used to eliminate visible seams between images. When additional source image information is added to the image buffers (90), (92), the alpha of the newly overlapping pixel in the area of the image buffers (90), (92) already filled with pixel data. The transparency decreases linearly and smoothes the resulting seam as described below.
従って、関連する画像バッファ(90)又は(92)に四辺形をマッピングする場合には、CPU(22)は、ギャップを隣接する画素と比較することを含むことができる当該技術分野で公知の任意の方法を使用して、内部画素値を内挿することによってギャップを除去するか、或いは、動画取り込みシステムにおける直前のフレームと直後のフレームとを利用してギャップの最も適切な画素値を外挿することによってギャップを「ホワイトボクシング(white boxing)」することができる。ブロック(126)で示されるように、ブロック(122)、(124)は、ソース画像画素の全てが適切な画像バッファ(90)又は(92)にマップされるまで繰り返される。 Thus, when mapping a quadrilateral to the associated image buffer (90) or (92), the CPU (22) can include any known in the art that can include comparing the gap to adjacent pixels. To eliminate the gap by interpolating the internal pixel value, or extrapolate the most appropriate pixel value of the gap using the previous and next frames in the video capture system. By doing so, the gap can be “white boxing”. As indicated by block (126), blocks (122), (124) are repeated until all of the source image pixels are mapped to the appropriate image buffer (90) or (92).
全ての画素のマップが完了すると、ブロック(128)で示されるように、第1画像バッファ画素が第1パノラマ画像画素と比較される。第1パノラマ画像(72)が第1画像バッファ(90)の画素と関連する画素を持たない場合には、CPU(22)は視認性を最大にするよう第1画像バッファ(90)の画素を設定する。第1パノラマ画像(72)が既に第1画像バッファ(90)の画素に関連する画素を有する場合には、既存の画素が第1画像バッファ(90)の対応する画素と比較される。第1画像バッファ(90)の画素が、既存の画素に比べてそのそれぞれのソース画像の中心までの間隔が短い場合には、第1画像バッファ(90)の画素は、視認性を最大にするように設定される。逆に、第1画像バッファ(90)の画素が、既存の画素に比べてそのそれぞれのソース画像の中心までの間隔が長い場合には、第1画像バッファ(90)の画素は視認性を最小にするように設定される。プロセスは、第2画像バッファ(92)の画素を第2パノラマ画像(74)にマージするために繰り返される。 When the map of all pixels is complete, the first image buffer pixel is compared with the first panoramic image pixel, as indicated by block (128). If the first panoramic image (72) has no pixels associated with the pixels of the first image buffer (90), the CPU (22) sets the pixels of the first image buffer (90) to maximize visibility. Set. If the first panoramic image (72) already has pixels associated with the pixels of the first image buffer (90), the existing pixels are compared with the corresponding pixels of the first image buffer (90). When the pixels of the first image buffer (90) have a shorter distance to the center of their respective source images than the existing pixels, the pixels of the first image buffer (90) maximize visibility. Is set as follows. Conversely, when the pixels of the first image buffer (90) have a longer distance to the center of their respective source images than the existing pixels, the pixels of the first image buffer (90) have minimal visibility. Is set to The process is repeated to merge the pixels of the second image buffer (92) into the second panoramic image (74).
ブロック(130)で示されるように、画像バッファ(90)、(92)の画像のオーバラップエッジは、オーバラップの領域全体の画素の視認性を低下させることによってフェザリングされる。このフェザリングは、画像が画像バッファ(90)、(92)からパノラマ画像(72)、(74)にマージされると、画像のオーバラップ領域を平滑にする。ブロック(132)で示されるように、画像バッファ画素が適切な視認性に設定され、画像バッファの画像がフェザリングされると、画像バッファ内の画像が、第1と第2パノラマ画像(72)、(74)にマージされる。ブロック(134)で示されるように、ブロック(122)から(132)が、全てのソース画像が第1と第2パノラマ画像(72)、(74)にマージされるまで繰り返される。上述のように、画像取り込みユニット(26)、(40)、(54)の左画像平面(36)、(50)、(64)に関連する画像(76)、(78)、(80)は、第1パノラマ画像(72)を生成するために使用され、画像取り込みユニット(26)、(40)、(54)の右画像平面(38)、(52)、(66)に関連する画像(82)、(84)、(86)は、第2パノラマ画像(74)を生成するために使用される。 As indicated by block (130), the overlapping edges of the images in the image buffers (90), (92) are feathered by reducing the visibility of the pixels across the area of overlap. This feathering smoothes the overlap area of the images when the images are merged from the image buffers (90), (92) into the panoramic images (72), (74). As indicated by block (132), when the image buffer pixels are set for proper visibility and the image in the image buffer is feathered, the images in the image buffer are first and second panoramic images (72). , (74). As indicated by block (134), blocks (122) through (132) are repeated until all source images are merged into the first and second panoramic images (72), (74). As described above, the images (76), (78), (80) associated with the left image planes (36), (50), (64) of the image capture units (26), (40), (54) are , Images used to generate the first panoramic image (72) and associated with the right image planes (38), (52), (66) of the image capture units (26), (40), (54) ( 82), (84), (86) are used to generate a second panoramic image (74).
最終パノラマ画像(72)、(74)の両方が生成されると、ブロック(138)で示されるように、パノラマ画像(72)、(74)は、最終パノラマ画像(68)として一緒に表示することができる(図3、4A、4B)。パノラマ画像(72)、(74)は、逆方向に偏光にされ、図3に示されるように標準パノラマ画面(140)上に表示されて、逆偏光のレンズを有するメガネ(142)を用いて見ることができる。或いは、パノラマ画像(72)、(74)は、図1に示されるヘッドマウントディスプレイ(24)に伝達することができる。CPU(22)は、公知の「ページフリッピング」技術を使用して複数のパノラマ画像をヘッドマウントディスプレイ(24)に送り、必要に応じてヘッドマウントディスプレイ(24)の左右のディスプレイに画像を送り且つ個別に表示することができる。このプロセスを用いると、フル24フレームパーセカンド(ftp)の映画として表示を動画化し、或いは各表示に対して複数の画像を表示することができる。従って、イメージングシステム(図2を参照)は、第1画像(36)を取り込むための第1画像取り込みユニット(26)、第2画像(50)を取り込むための第2画像取り込みユニット(40)、第3画像(64)を取り込むための第3画像取り込みユニット(54)を含み、さらに第1画像(36)の第1部分を第2画像(50)の一部分と結合させて第1結合画像を生成する手段(22)と、第1画像(36)の第2部分と第3画像(64)の部分を結合させて第2結合画像を生成する手段(22)を含むことができる。第1画像の第1部分は、最大第1画像全体までの任意の量とすることができ、或いは第1画像の約20パーセントと約80パーセントの間とすることができる。第2画像の部分は、最大第2画像全体までの任意の量とすることができ、或いは第2画像の約20パーセントと約80パーセントの間とすることができる。第1と第2結合画像は、立体的な動きを伝達するように反復的に生成し、表示することができる。 Once both final panoramic images (72), (74) are generated, panoramic images (72), (74) are displayed together as final panoramic images (68), as indicated by block (138). (FIGS. 3, 4A, 4B). The panoramic images (72), (74) are polarized in the reverse direction and displayed on the standard panoramic screen (140) as shown in FIG. 3, using glasses (142) with lenses of reverse polarization. Can see. Alternatively, the panoramic images (72), (74) can be transmitted to the head mounted display (24) shown in FIG. The CPU (22) uses a known “page flipping” technique to send a plurality of panoramic images to the head mounted display (24), and to send images to the left and right displays of the head mounted display (24) as necessary, and Can be displayed individually. Using this process, the display can be animated as a full 24 frame second (ftp) movie, or multiple images can be displayed for each display. Accordingly, the imaging system (see FIG. 2) includes a first image capture unit (26) for capturing a first image (36), a second image capture unit (40) for capturing a second image (50), A third image capture unit (54) for capturing the third image (64) is included, and the first portion of the first image (36) is combined with a portion of the second image (50) to combine the first combined image. Means for generating (22) and means (22) for combining the second portion of the first image (36) and the portion of the third image (64) to generate a second combined image may be included. The first portion of the first image can be any amount up to the entire first image, or can be between about 20 percent and about 80 percent of the first image. The portion of the second image can be any amount up to the entire second image, or can be between about 20 percent and about 80 percent of the second image. The first and second combined images can be repeatedly generated and displayed so as to transmit a stereoscopic motion.
また、イメージングシステムは、画像を提供するための画像取り込みユニット(26)、画像の第1部分を使用して第1立体画像を提供する手段(22)、画像の第2部分を使用して第2立体画像を提供する手段(22)を含むことができる。 The imaging system also includes an image capture unit (26) for providing an image, means (22) for providing a first stereoscopic image using the first portion of the image, and a second portion using the second portion of the image. Means (22) for providing a two-dimensional image may be included.
ヘッドマウントディスプレイユニット(24)は、当該技術分野でよく知られたような方位センサ(144)を備えれば、センサ(144)が移動するとヘッドマウントディスプレイ(24)に提供される画像を変えることができる。このようにして、ユーザ(図示せず)は、上下、及び任意の方向を見て、ユーザの視線のベクトルに関連する該当する部分の最終パノラマ画像(68)を視認することができ、三次元空間を実際に見渡すような知覚を得ることができる。 If the head-mounted display unit (24) includes an orientation sensor (144) as is well known in the art, it changes the image provided to the head-mounted display (24) as the sensor (144) moves. Can do. In this way, the user (not shown) can view the final panorama image (68) of the corresponding part related to the user's line-of-sight vector by looking up and down and in any direction, It is possible to obtain a perception that actually looks around the space.
本発明の別の実施形態において、カメラ(10)には、互いにほぼ平行に向けられたほぼ直線の取り込みシステムを有する複数の画像取り込みペアを備えることができる。該ペアは、所要の立体画像を得るために所定の因子によってオフセットさせることができる。画像がペアで取り込まれるので、この実施形態に関連する変換プロセスは、画像を半分に分割し各半部分からの画素を別々の画像バッファに送る以外は上記に説明されたものと同一であり、各画像取り込み装置ペアの「左」画像取り込み装置からの画像に関連する画素の全ては、一方の画像バッファに送られ、「右」画像取り込み装置からの画像に関連する画素の全ては、もう片方の画像バッファに送られる。 In another embodiment of the present invention, the camera (10) can be provided with a plurality of image capture pairs having generally linear capture systems oriented substantially parallel to each other. The pair can be offset by a predetermined factor to obtain the required stereoscopic image. Since the images are captured in pairs, the conversion process associated with this embodiment is the same as described above, except that the image is split in half and the pixels from each half are sent to separate image buffers, All of the pixels associated with the image from the “left” image capture device of each image capture device pair are sent to one image buffer, and all of the pixels associated with the image from the “right” image capture device are sent to the other Sent to the image buffer.
本発明の別の実施形態において、カメラ(10)及びCPU(22)を用いて、24fps又はそれ以上を取り込み、リアルタイムで動画として最終立体パノラマ画像(68)を表示することができる。 In another embodiment of the present invention, the camera (10) and CPU (22) can be used to capture 24 fps or higher and display the final stereoscopic panoramic image (68) as a moving image in real time.
本発明の更に別の実施形態では、当該技術分野でよく知られるような方法で生成されたコンピュータ生成グラフィック情報がCPU(22)の最終パノラマ画像(72)、(74)と結合され、カメラ(10)で取り込まれた実際の画像をシームレスに統合し、デジタル化されたバーチャルリアリティ画像(146)を提供する(図3)。この結合は、リアルとバーチャルによるパノラマ立体バーチャル画像のシームレス表示を生成する。 In yet another embodiment of the present invention, computer generated graphic information generated in a manner well known in the art is combined with the final panoramic images (72), (74) of the CPU (22) to provide a camera ( The actual images captured in 10) are seamlessly integrated to provide a digitized virtual reality image (146) (FIG. 3). This combination produces a seamless display of real and virtual panoramic stereoscopic virtual images.
本発明の更に別の実施形態において、カメラ(10)によって取り込まれた画像は、上記の変換手順を用いて変換され、シームレスな360度パノラマモノグラフ画像を生成する。図1に示されるように、カメラ(10)は、支持ポスト(148)と、遠隔制御車両などと関連して使用されるものと同様又は同一の遠隔制御キャリッジ(150)のような輸送ユニットを備えている。画像取り込みユニットの左画像平面に関連する画像は、結合画像を生成するために使用され、画像取り込みユニットの右画像平面に関連する画像は、結合画像において見えてしまうはずの支持ポスト(148)や、キャリッジ(150)、他の任意のカメラ装置を隠すために結合画像を上書きし且つフィルするために使用することができる。前述の変換手順は、このような上書きとフィリングのために用いることができる。このように、不要な情報を含まない画像だけが最終パノラマ画像(152)にマップされ、球面スクリーン(154)又はヘッドマウントディスプレイ(24)上に表示される(図1、7)。キャリッジ(150)の占有面積によって覆われた領域を反映した画像の部分について、上記に詳述された内挿とフェザリング技術を利用して、キャリッジ(150)の下にある画像を近似して、完全に遮るものがない360度画像の外観を生成することができる。 In yet another embodiment of the present invention, the image captured by the camera (10) is converted using the conversion procedure described above to produce a seamless 360 degree panoramic monograph image. As shown in FIG. 1, the camera (10) includes a transport post, such as a remote control carriage (150) similar or identical to that used in connection with a support post (148), a remote control vehicle, and the like. I have. The image associated with the left image plane of the image capture unit is used to generate the combined image, and the image associated with the right image plane of the image capture unit is the support post (148) that should be visible in the combined image, , Carriage (150), can be used to overwrite and fill the combined image to hide any other camera device. The conversion procedure described above can be used for such overwriting and filling. In this way, only the image not including unnecessary information is mapped to the final panorama image (152) and displayed on the spherical screen (154) or the head mounted display (24) (FIGS. 1 and 7). For the portion of the image that reflects the area covered by the area occupied by the carriage (150), approximate the image under the carriage (150) using the interpolation and feathering techniques detailed above. A 360 degree image appearance that is completely unobstructed can be generated.
本発明をその好ましい実施形態に関して説明してきたが、本発明においては、添付の請求項によって定義される本発明の十分に意図された範囲内にある変更及び修正を行うことができるので、これらの実施形態は本発明を限定するものではない点を理解されたい。 Although the invention has been described with reference to preferred embodiments thereof, it is to be understood that changes and modifications may be made in the invention which are within the fully intended scope of the invention as defined by the appended claims. It should be understood that the embodiments are not intended to limit the invention.
Claims (46)
第2画像を取り込むための第2画像取り込みユニットと、
第3画像を取り込むための第3画像取り込みユニットと、
前記第1画像の第1部分を前記第2画像の部分と結合して第1結合画像を生成する手段と、
前記第1画像の第2部分を前記第3画像の部分と結合して第2結合画像を生成する手段と
を含むイメージングシステム。 A first image capture unit for capturing a first image;
A second image capture unit for capturing a second image;
A third image capture unit for capturing a third image;
Means for combining a first portion of the first image with a portion of the second image to generate a first combined image;
Means for combining a second portion of the first image with a portion of the third image to generate a second combined image.
前記画像の第1部分を使用して第1立体画像を提供する手段と、
前記画像の第2部分を使用して第2立体画像を提供する手段と
を含むイメージングシステム。 An image capture unit that provides images;
Means for providing a first stereoscopic image using a first portion of the image;
Means for providing a second stereoscopic image using the second portion of the image.
前記複数の画像から選択された画像をそれらの画像と結合して結合画像を生成する手段と、
前記結合画像を第1パノラマ画像と第2パノラマ画像に結合する手段と、
前記第1パノラマ画像と第2パノラマ画像を表示してパノラマ立体画像を提供する手段と
を更に含むことを特徴とする請求項13に記載のイメージングシステム。 Multiple image capture units to provide multiple images;
Means for combining an image selected from the plurality of images with the images to generate a combined image;
Means for combining the combined image into a first panoramic image and a second panoramic image;
14. The imaging system according to claim 13, further comprising means for displaying the first panorama image and the second panorama image to provide a panoramic stereoscopic image.
第2画像を取得する段階と、
第3画像を取得する段階と、
前記第1画像の第1部分を前記第2画像の部分と結合して第1結合画像を生成する段階と、
前記第1画像の第2部分を前記第3画像の部分と結合して第2結合画像を生成する段階と、
前記第1結合画像と前記第2結合画像を立体画像として表示する段階と、
を含む方法。 Acquiring a first image;
Acquiring a second image;
Acquiring a third image;
Combining a first portion of the first image with a portion of the second image to generate a first combined image;
Combining a second portion of the first image with a portion of the third image to generate a second combined image;
Displaying the first combined image and the second combined image as a stereoscopic image;
Including methods.
第2画像を取り込むための第2画像取り込みユニットと、
第3画像を取り込むための第3画像取り込みユニットと、
前記第1、第2、第3画像取り込みユニットに動作可能に結合されて前記第1、第2、第3画像を受信する処理ユニットと、
を備え、
前記第1画像の第1部分が前記第2画像の部分と結合されて第1結合画像を提供し、前記第1画像の第2部分が前記第3画像の部分と結合されて第2結合画像を提供し、更に前記第1結合画像と第2結合画像を表示して立体画像を提供することができることを特徴とするイメージングシステム。 A first image capture unit for capturing a first image;
A second image capture unit for capturing a second image;
A third image capture unit for capturing a third image;
A processing unit operatively coupled to the first, second and third image capture units for receiving the first, second and third images;
With
A first portion of the first image is combined with a portion of the second image to provide a first combined image, and a second portion of the first image is combined with a portion of the third image to form a second combined image. And a stereoscopic image can be provided by displaying the first combined image and the second combined image.
前記画像取り込みユニットに結合されて、前記画像の第1部分を受け取って第1立体画像を提供し、且つ前記画像の第2部分を受け取って第2立体画像を提供する処理ユニットと
を備えるイメージングシステム。 An image capture unit for providing images;
An imaging system coupled to the image capture unit, wherein the processing unit receives a first portion of the image to provide a first stereoscopic image and receives a second portion of the image to provide a second stereoscopic image. .
前記複数の画像の選択された画像が、少なくとも1つの他の画像と結合されて複数の結合画像を生成し、前記複数の結合画像は、第1パノラマ画像及び第2パノラマ画像を提供するように結合され、前記第1パノラマ画像と前記第2パノラマ画像は、パノラマ立体画像を提供するように結合されることを特徴とする請求項41に記載のイメージングシステム。 A plurality of image capture units coupled to the processing unit for providing a plurality of images;
A selected image of the plurality of images is combined with at least one other image to generate a plurality of combined images, the plurality of combined images providing a first panoramic image and a second panoramic image. 42. The imaging system of claim 41, wherein the first panorama image and the second panorama image are combined to provide a panoramic stereoscopic image.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2003/002285 WO2004068865A1 (en) | 2003-01-24 | 2003-01-24 | Steroscopic panoramic image capture device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006515128A true JP2006515128A (en) | 2006-05-18 |
Family
ID=32823170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004567640A Pending JP2006515128A (en) | 2003-01-24 | 2003-01-24 | Stereo panoramic image capturing device |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP1586204A1 (en) |
JP (1) | JP2006515128A (en) |
CN (1) | CN1771740A (en) |
AU (1) | AU2003214899A1 (en) |
CA (1) | CA2513874A1 (en) |
IL (1) | IL169827A0 (en) |
WO (1) | WO2004068865A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002210A (en) * | 2011-09-08 | 2013-03-27 | 卡西欧计算机株式会社 | Image processing device and image processing method |
KR20170052676A (en) * | 2014-09-22 | 2017-05-12 | 삼성전자주식회사 | Camera system for three-dimensional video |
JP2017518148A (en) * | 2014-03-28 | 2017-07-06 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Quantitative 3D imaging of surgical scenes from a multiport perspective |
US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697839B2 (en) | 2006-06-30 | 2010-04-13 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
US9792012B2 (en) | 2009-10-01 | 2017-10-17 | Mobile Imaging In Sweden Ab | Method relating to digital images |
JP2011082919A (en) * | 2009-10-09 | 2011-04-21 | Sony Corp | Image processing device and method, and program |
SE534551C2 (en) | 2010-02-15 | 2011-10-04 | Scalado Ab | Digital image manipulation including identification of a target area in a target image and seamless replacement of image information from a source image |
JP5390707B2 (en) * | 2010-06-24 | 2014-01-15 | 富士フイルム株式会社 | Stereoscopic panorama image synthesis apparatus, imaging apparatus, stereo panorama image synthesis method, recording medium, and computer program |
US9544498B2 (en) | 2010-09-20 | 2017-01-10 | Mobile Imaging In Sweden Ab | Method for forming images |
TWI506595B (en) * | 2011-01-11 | 2015-11-01 | Altek Corp | Method and apparatus for generating panorama |
JP2012199752A (en) * | 2011-03-22 | 2012-10-18 | Sony Corp | Image processing apparatus, image processing method, and program |
SE1150505A1 (en) | 2011-05-31 | 2012-12-01 | Mobile Imaging In Sweden Ab | Method and apparatus for taking pictures |
CA2841910A1 (en) | 2011-07-15 | 2013-01-24 | Mobile Imaging In Sweden Ab | Method of providing an adjusted digital image representation of a view, and an apparatus |
KR101804199B1 (en) * | 2011-10-12 | 2017-12-05 | 삼성전자주식회사 | Apparatus and method of creating 3 dimension panorama image |
CN103096101B (en) * | 2011-11-07 | 2016-03-30 | 联想(北京)有限公司 | Image synthesizing method, device and electronic equipment |
KR20150068298A (en) * | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | Method and system of generating images for multi-surface display |
GB2525170A (en) | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
US9934615B2 (en) * | 2016-04-06 | 2018-04-03 | Facebook, Inc. | Transition between binocular and monocular views |
CN106851240A (en) * | 2016-12-26 | 2017-06-13 | 网易(杭州)网络有限公司 | The method and device of image real time transfer |
GB2591278A (en) * | 2020-01-24 | 2021-07-28 | Bombardier Transp Gmbh | A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH076227A (en) * | 1992-12-29 | 1995-01-10 | Philips Electron Nv | Method and apparatus for processing of image for formation of image from plurality of adjacent images |
JPH0962861A (en) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | Panoramic video device |
JP2001094857A (en) * | 1999-08-09 | 2001-04-06 | Fuji Xerox Co Ltd | Method for controlling virtual camera, camera array and method for aligning camera array |
JP2002094849A (en) * | 2000-09-12 | 2002-03-29 | Sanyo Electric Co Ltd | Wide view image pickup device |
JP2002159019A (en) * | 2000-11-16 | 2002-05-31 | Canon Inc | Display control device, imaging position estimating device, display system, image pickup system, image positioning method, imaging position estimating method, and recording medium recorded with process program |
JP2002262307A (en) * | 2001-02-28 | 2002-09-13 | Sony Corp | Image input system |
JP2003141562A (en) * | 2001-10-29 | 2003-05-16 | Sony Corp | Image processing apparatus and method for nonplanar image, storage medium, and computer program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5023725A (en) * | 1989-10-23 | 1991-06-11 | Mccutchen David | Method and apparatus for dodecahedral imaging system |
US6141034A (en) * | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
-
2003
- 2003-01-24 CN CNA038261855A patent/CN1771740A/en active Pending
- 2003-01-24 JP JP2004567640A patent/JP2006515128A/en active Pending
- 2003-01-24 CA CA002513874A patent/CA2513874A1/en not_active Abandoned
- 2003-01-24 AU AU2003214899A patent/AU2003214899A1/en not_active Abandoned
- 2003-01-24 EP EP03710742A patent/EP1586204A1/en not_active Withdrawn
- 2003-01-24 WO PCT/US2003/002285 patent/WO2004068865A1/en active Application Filing
-
2005
- 2005-07-21 IL IL169827A patent/IL169827A0/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH076227A (en) * | 1992-12-29 | 1995-01-10 | Philips Electron Nv | Method and apparatus for processing of image for formation of image from plurality of adjacent images |
JPH0962861A (en) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | Panoramic video device |
JP2001094857A (en) * | 1999-08-09 | 2001-04-06 | Fuji Xerox Co Ltd | Method for controlling virtual camera, camera array and method for aligning camera array |
JP2002094849A (en) * | 2000-09-12 | 2002-03-29 | Sanyo Electric Co Ltd | Wide view image pickup device |
JP2002159019A (en) * | 2000-11-16 | 2002-05-31 | Canon Inc | Display control device, imaging position estimating device, display system, image pickup system, image positioning method, imaging position estimating method, and recording medium recorded with process program |
JP2002262307A (en) * | 2001-02-28 | 2002-09-13 | Sony Corp | Image input system |
JP2003141562A (en) * | 2001-10-29 | 2003-05-16 | Sony Corp | Image processing apparatus and method for nonplanar image, storage medium, and computer program |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002210A (en) * | 2011-09-08 | 2013-03-27 | 卡西欧计算机株式会社 | Image processing device and image processing method |
CN103002210B (en) * | 2011-09-08 | 2015-09-09 | 卡西欧计算机株式会社 | Image processing apparatus and image processing method |
JP2017518148A (en) * | 2014-03-28 | 2017-07-06 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Quantitative 3D imaging of surgical scenes from a multiport perspective |
KR20170052676A (en) * | 2014-09-22 | 2017-05-12 | 삼성전자주식회사 | Camera system for three-dimensional video |
KR101885780B1 (en) * | 2014-09-22 | 2018-08-06 | 삼성전자주식회사 | Camera system for three-dimensional video |
US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
US10313656B2 (en) | 2014-09-22 | 2019-06-04 | Samsung Electronics Company Ltd. | Image stitching for three-dimensional video |
US10547825B2 (en) | 2014-09-22 | 2020-01-28 | Samsung Electronics Company, Ltd. | Transmission of three-dimensional video |
US10750153B2 (en) | 2014-09-22 | 2020-08-18 | Samsung Electronics Company, Ltd. | Camera system for three-dimensional video |
US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
Also Published As
Publication number | Publication date |
---|---|
CA2513874A1 (en) | 2004-08-12 |
EP1586204A1 (en) | 2005-10-19 |
CN1771740A (en) | 2006-05-10 |
IL169827A0 (en) | 2007-07-04 |
AU2003214899A1 (en) | 2004-08-23 |
WO2004068865A1 (en) | 2004-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6947059B2 (en) | Stereoscopic panoramic image capture device | |
US11528468B2 (en) | System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view | |
JP2006515128A (en) | Stereo panoramic image capturing device | |
EP3130143B1 (en) | Stereo viewing | |
US7429997B2 (en) | System and method for spherical stereoscopic photographing | |
US7855752B2 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system | |
JP4642723B2 (en) | Image generating apparatus and image generating method | |
CN101938599A (en) | Method for generating interactive dynamic panoramic image | |
WO2012166593A2 (en) | System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view | |
US11812009B2 (en) | Generating virtual reality content via light fields | |
WO2017128887A1 (en) | Method and system for corrected 3d display of panoramic image and device | |
KR101725024B1 (en) | System for real time making of 360 degree VR video base on lookup table and Method for using the same | |
KR101670328B1 (en) | The appratus and method of immersive media display and image control recognition using real-time image acquisition cameras | |
KR101704362B1 (en) | System for real time making of panoramic video base on lookup table and Method for using the same | |
CN114513646A (en) | Method and device for generating panoramic video in three-dimensional virtual scene | |
CN110060349B (en) | Method for expanding field angle of augmented reality head-mounted display equipment | |
JP5249733B2 (en) | Video signal processing device | |
CN109272445A (en) | Panoramic video joining method based on Sphere Measurement Model | |
WO2019026388A1 (en) | Image generation device and image generation method | |
KR20060015460A (en) | Stereoscopic panoramic image capture device | |
CN102802003A (en) | Real-time shooting and real-time free stereoscopic display system based on both GPU and network cameras | |
CN113632458A (en) | System, algorithm and design for wide angle camera perspective experience | |
WO2019026184A1 (en) | Image generation device and image generation method | |
JP2005077808A (en) | Image display device, image display method, and image display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081224 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090126 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090202 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090224 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090303 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090602 |