JP2010220067A - Apparatus and method for capturing three-dimensional image - Google Patents
Apparatus and method for capturing three-dimensional image Download PDFInfo
- Publication number
- JP2010220067A JP2010220067A JP2009066656A JP2009066656A JP2010220067A JP 2010220067 A JP2010220067 A JP 2010220067A JP 2009066656 A JP2009066656 A JP 2009066656A JP 2009066656 A JP2009066656 A JP 2009066656A JP 2010220067 A JP2010220067 A JP 2010220067A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- cameras
- view
- lens
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
Abstract
Description
本発明は、立体画像生成に必要な複数の撮像画像を撮像する複数のカメラを用いた立体画像撮像装置及び立体画像撮像方法に関する。 The present invention relates to a stereoscopic image capturing apparatus and a stereoscopic image capturing method using a plurality of cameras that capture a plurality of captured images necessary for generating a stereoscopic image.
立体(3次元)ディスプレイの一つに、多視点からの撮像画像(多視点画像)を同時に1つのディスプレイに表示する多眼立体ディスプレイが開発されている。多眼立体ディスプレイで用いられる多視点画像の撮像技術の一つとして、マルチカメラアレイが提案されている。マルチカメラアレイでは、複数のカメラを直線上に配置し、被写体を複数の方向から撮像する。そして、複数の撮像画像の中からすべてのカメラで共通に撮像された領域を合成して立体画像を生成する。 As one of the three-dimensional (three-dimensional) displays, a multi-view three-dimensional display that displays captured images (multi-view images) from multiple viewpoints simultaneously on one display has been developed. A multi-camera array has been proposed as one of the imaging techniques for multi-viewpoint images used in multi-view stereoscopic displays. In a multi-camera array, a plurality of cameras are arranged on a straight line, and a subject is imaged from a plurality of directions. Then, a three-dimensional image is generated by synthesizing regions captured in common by all cameras from among a plurality of captured images.
マルチカメラアレイにおいては、複数のカメラの画角が一定の場合、被写体に対して遠い位置に配置されたカメラでは、撮像画像中の立体画像の生成において不要な部分が大きくなり、レンズや撮像素子の性能を十分に生かしきれないという問題が生じている。また、被写体に対して遠い位置に配置されたカメラほど広角なレンズが必要となり、すべてのカメラのレンズを最も広角のレンズに合わせて設計する場合、被写体に近い位置にあるカメラでは、撮像画像中の立体画像の生成において不要な部分が大きくなり、レンズや撮像素子の性能を十分に生かしきれないという問題がある。このため、撮像素子の画素が少ない場合には、高画質の立体画像を得ることが困難である。 In a multi-camera array, when the angle of view of a plurality of cameras is constant, in a camera arranged at a position far from the subject, an unnecessary part in generating a stereoscopic image in a captured image becomes large, and a lens or an image sensor There is a problem that the performance of can not be fully utilized. In addition, a camera located farther from the subject requires a wider-angle lens. When designing all cameras with the widest-angle lens, the camera closer to the subject must There is a problem in that an unnecessary portion becomes large in generating a stereoscopic image, and the performance of the lens and the image sensor cannot be fully utilized. For this reason, when there are few pixels of an image sensor, it is difficult to obtain a high-quality three-dimensional image.
また、被写体から遠い位置にあるカメラほどレンズに対して撮像素子をシフトして配置することで、被写体が存在する部分のみを撮像する発明が開示されている(例えば、特許文献1参照。)。しかしながら、特許文献1に記載の発明では、撮像素子を有効に使うために、レンズに対して撮像素子をシフトするだけでなく、レンズと撮像素子の間の距離を調整し画角を変えているが、シフトかつ画角を変更することを同時に高精度に行うことは困難であり、実装には特殊なレンズが必要である。
Further, an invention has been disclosed in which only the part where the subject exists is imaged by shifting the imaging element relative to the lens to the camera farther from the subject (see, for example, Patent Document 1). However, in the invention described in
本発明の目的は、一般的なズームレンズを用いて、撮像素子の画素数が少ない場合でも、高画質の立体画像を容易に得ることが可能な立体画像撮像装置及び立体画像撮像方法を提供することである。 An object of the present invention is to provide a stereoscopic image capturing apparatus and a stereoscopic image capturing method capable of easily obtaining a high-quality stereoscopic image even when the number of pixels of an imaging element is small using a general zoom lens. That is.
本願発明の一態様によれば、(イ)レンズと撮像素子とをそれぞれ有し、所定方向に配置された立体画像を生成するための撮像画像をそれぞれ撮像する複数のカメラと、(ロ)隣接したカメラ同士のうち被写体から近い方のレンズの所定方向画角が被写体から遠い方のレンズの所定方向画角と等しいか或いは小さく、且つ被写体から最も近い位置にあるレンズの所定方向画角が被写体から最も遠い位置にあるレンズの所定方向画角よりも小さくなるように、複数のレンズのそれぞれに対して、対応する複数の撮像素子の位置を相対的に移動させる駆動手段とを備える立体画像撮像装置が提供される。 According to one aspect of the present invention, (b) a plurality of cameras each having a lens and an image sensor and each capturing a captured image for generating a stereoscopic image arranged in a predetermined direction; The predetermined direction angle of view of the lens closest to the subject among the selected cameras is equal to or smaller than the predetermined direction angle of view of the lens far from the subject, and the predetermined direction angle of view of the lens closest to the subject is the subject. 3D image pick-up comprising drive means for relatively moving the positions of a plurality of image pickup elements corresponding to each of the plurality of lenses so as to be smaller than a predetermined direction angle of view of the lens farthest from the lens An apparatus is provided.
本願発明の他の態様によれば、(イ)所定方向に配置された複数のカメラのそれぞれのレンズから被写体までの距離を計測するステップと、(ロ)計測された距離に基づいて、それぞれのレンズの画角調整量をそれぞれ算出するステップと、(ハ)画角調整量に基づいて、隣接したカメラ同士のうち被写体から近い方のレンズの所定方向画角が被写体から遠い方のレンズの所定方向画角と等しいか或いは小さく、且つ被写体から最も近い位置にあるレンズの所定方向画角が被写体から最も遠い位置にあるレンズの所定方向画角よりも小さくなるように、複数のカメラがそれぞれ有する撮像素子の位置を対応するそれぞれのレンズの位置に対して相対的に移動するステップと、(ニ)複数のカメラが被写体をそれぞれ撮像し、立体画像を生成するための撮像画像をそれぞれ取得するステップとを含む立体画像撮像方法が提供される。 According to another aspect of the present invention, (b) a step of measuring a distance from each lens of a plurality of cameras arranged in a predetermined direction to a subject, and (b) based on the measured distance, A step of calculating a lens angle adjustment amount; and (c) based on the field angle adjustment amount, a predetermined direction angle of view of a lens closer to the subject among adjacent cameras is predetermined of a lens farther from the subject. Each of the plurality of cameras has a predetermined direction angle of view of a lens that is equal to or smaller than the direction angle of view and that is closest to the subject, and smaller than a predetermined direction of view of a lens that is farthest from the subject. A step of moving the position of the image sensor relative to the position of each corresponding lens; and (d) a plurality of cameras each image a subject to generate a stereoscopic image. Stereoscopic imaging method comprising the steps of acquiring each captured image for are provided.
本発明によれば、一般的なズームレンズを用いて、撮像素子の画素数が少ない場合でも、高画質の立体画像を容易に得ることが可能な立体画像撮像装置及び立体画像撮像方法を提供することができる。 According to the present invention, there is provided a stereoscopic image capturing apparatus and a stereoscopic image capturing method capable of easily obtaining a high-quality stereoscopic image even when the number of pixels of the imaging element is small using a general zoom lens. be able to.
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。 Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, it should be noted that the drawings are schematic, and the relationship between the thickness and the planar dimensions, the ratio of the thickness of each layer, and the like are different from the actual ones. Therefore, specific thicknesses and dimensions should be determined in consideration of the following description. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings.
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。 Further, the embodiments described below exemplify apparatuses and methods for embodying the technical idea of the present invention, and the technical idea of the present invention includes the material, shape, structure, The layout is not specified as follows. The technical idea of the present invention can be variously modified within the scope of the claims.
(立体画像撮像装置)
本発明の実施の形態では、縦置き型の3次元(3D)ディスプレイ用に複数のカメラを平行配置した立体画像撮像装置を一例として説明する。「縦置き型」とは、表示面を垂直にし、観賞者が表示面と向かい合うように観賞する方法である。「平行配置」とは、複数のカメラを直線上に配置し、すべてのカメラの光軸が平行となるように配置した構成を意味する。なお、縦横、垂直水平の方向は、観察者との相対的な方向を指し、絶対的な空間の方向と必ずしも一致する必要はない。
(Stereoscopic imaging device)
In the embodiment of the present invention, a stereoscopic image capturing apparatus in which a plurality of cameras are arranged in parallel for a vertically placed three-dimensional (3D) display will be described as an example. The “vertical installation type” is a method in which the display surface is set to be vertical and the viewer views the image so as to face the display surface. “Parallel arrangement” means a configuration in which a plurality of cameras are arranged on a straight line and the optical axes of all the cameras are arranged in parallel. Note that the vertical and horizontal directions and the vertical and horizontal directions indicate directions relative to the observer, and do not necessarily coincide with the absolute space directions.
本発明の実施の形態に係る立体画像撮像装置は、図1に示すように、マルチカメラアレイ1、制御装置2、測距手段3、駆動手段(光学ズーム手段)4、記憶装置5及び表示装置6を備える。マルチカメラアレイ1は、所定方向(水平方向)の直線上に等間隔に配置された複数(奇数台)のカメラ10,11,12,・・・,1n,1(n+1)を有する。なお、図1では5台のカメラ10,11,12,1n,1(n+1)を示しているが、カメラの数は特に限定されない。また、カメラ10,11,12,・・・,1n,1(n+1)の数が偶数台の場合は後述する。
As shown in FIG. 1, a stereoscopic image capturing apparatus according to an embodiment of the present invention includes a
複数のカメラ10,11,12,・・・,1n,1(n+1)は、立体画像(3D画像)生成に必要な複数の撮像画像をそれぞれ撮像する。撮像画像には、静止画像及び動画像が含まれる。複数のカメラ10,11,12,・・・,1n,1(n+1)のそれぞれは、外界の像を結像するレンズ20,21,22,・・・,2n,2(n+1)と、レンズ20,21,22,・・・,2n,2(n+1)により結像した像をそれぞれ撮像画像データに変換する撮像素子30,31,32,・・・,3n,3(n+1)を備える。
The plurality of
カメラ10,11,12,・・・,1n,1(n+1)によりそれぞれ撮像される撮像領域は、その水平方向の幅W0,W1,W2,・・・,Wn,W(n+1)がレンズ20,21,22,・・・,2n,2(n+1)の水平画角(所定方向画角)θ0,θ1,θ2,・・・,θn,θ(n+1)によりそれぞれ規定され、図示を省略した垂直方向の幅が、レンズ20,21,22,・・・,2n,2(n+1)の垂直画角によりそれぞれ規定される。
.., 1n, 1 (n + 1), and the horizontal widths W0, W1, W2,..., Wn, W (n + 1) are the
本発明の実施の形態において、隣接するカメラ(例えばカメラ10,11とする)同士のうち被写体41から遠い方のカメラ11のレンズ21の水平画角θ1は、被写体41から近い方のカメラ10のレンズ20の水平画角θ0と同じか或いは大きく設定されている。また、被写体41から最も遠い位置にあるカメラ1n,1(n+1)のレンズ2n,2(n+1)の水平画角θn,θ(n+1)は、被写体41に最も近い位置にあるカメラ10のレンズ20の水平画角θ0よりも大きくなるように設定されている。
In the embodiment of the present invention, the horizontal angle of view θ1 of the
各レンズ20,21,22,・・・,2n,2(n+1)の水平画角θ0,θ1,θ2,・・・,θn,θ(n+1)は、各レンズ20,21,22,・・・,2n,2(n+1)と対応する各撮像素子30,31,32,・・・,3n,3(n+1)との相対的な距離D10,D11,D12,D1n,D1(n+1)を調整することにより設定可能である。例えば、図1においては、被写体41に最も近い位置にあるカメラ10では、レンズ20と撮像素子30との距離D10を最も長く設定している。一方、被写体41から最も遠い位置にあるカメラ1n,1(n+1)では、レンズ2n,2(n+1)と撮像素子3n,3(n+1)との距離D1n,D1(n+1)をそれぞれ最も短く設定している。被写体41に最も近い位置にあるカメラ10と、被写体41から最も遠い位置にあるカメラ1n,1(n+1)との間にあるカメラ11,12,・・・では、被写体41から遠い位置にあるほどレンズ21,22,・・・と撮像素子31,32,・・・との距離D11,D12,・・・が短く設定されている。
The horizontal angles of view θ0, θ1, θ2,..., Θn, θ (n + 1) of the
各カメラ10,11,12,1n,1(n+1)により撮像された撮像画像111,112,113,114,115をそれぞれ図2(a)〜図2(e)に示す。図2(a)〜図2(e)において、すべてのカメラ10,11,12,1n,1(n+1)で共通に撮像される領域(以下、「共通撮像領域」という。)121,122,123,124,125は、立体画像生成に使用される領域であり、この領域内に被写体41が収まるように撮像される。共通撮像領域121,122,123,124,125は、その縦と横の長さの比(以下、「アスペクト比」という。)が3Dディスプレイのアスペクト比と等しくなるように撮像される。なお、本発明の実施の形態では、撮像素子30,31,32,・・・,3n,3(n+1)のアスペクト比と3Dディスプレイのアスペクト比が同じである場合を説明する。
Captured
図2(a)に示すように、被写体41に最も近い位置にあるカメラ10で撮像された撮像画像111のすべての領域が共通撮像領域121と設定される。図2(b)〜図2(e)に示すように、他のカメラ11,12,1n,1(n+1)では、被写体41に最も近い位置にあるカメラ10で撮像した共通撮像領域121にそれぞれ対応する共通撮像領域122,123,124,125ができるだけ大きく撮像されるように水平画角θn,θ1,θ12,θ(n+1)が設定される。
As shown in FIG. 2A, all areas of the captured
図1に示した測距手段3として、例えば、磁気センサ、オートフォーカスによるもの、ステレオ法によるものなどが採用可能である。測距手段3は、レンズ20,21,22,・・・,2n,2(n+1)から被写体41がある撮像面42までの距離(以下、「撮像距離」という。)Lを計測する。
As the distance measuring means 3 shown in FIG. 1, for example, a magnetic sensor, an autofocus method, a stereo method, or the like can be employed. The distance measuring means 3 measures a distance L (hereinafter referred to as “imaging distance”) L from the
駆動手段4としては、アクチュエータ等が採用可能である。また、駆動手段4は、複数のカメラ10,11,12,・・・,1n,1(n+1)に個々に備えられていても良い。駆動手段4は、レンズ20,21,22,・・・,2n,2(n+1)に対し、撮像素子30,31,32,・・・,3n,3(n+1)を互いに相対的に移動させることにより、レンズ20,21,22,・・・,2n,2(n+1)と撮像素子30,31,32,・・・,3n,3(n+1)との距離D10,D11,D12,・・・,D1n,D1(n+1)を調整する。距離D10,D11,D12,・・・,D1n,D1(n+1)が大きくなると、レンズ20,21,22,・・・,2n,2(n+1)により結像した像が光学的に拡大され(ズームし)、レンズ20,21,22,・・・,2n,2(n+1)の水平画角θ0,θ1,θ2,・・・,θn,θ(n+1)が小さくなる。
As the driving means 4, an actuator or the like can be employed. Further, the driving means 4 may be individually provided in a plurality of
制御装置2としては、中央演算処理装置(CPU)が使用可能である。制御装置2は、図3に示すように、画角調整量算出部101、画角設定部102、切り出し部103及び立体画像生成部104をハードウェア資源であるモジュール(論理回路)として論理的に備える。
As the
画角調整量算出部101は、測距手段3により計測された撮像距離Lや、記憶装置5に予め記憶されている撮像条件等に基づいて、各レンズ20,21,22,・・・,2n,2(n+1)の画角調整量をそれぞれ算出する。画角設定部102は、画角調整量算出部101により算出された画角調整量に基づいて駆動手段4を制御し、複数のレンズ20,21,22,・・・,2n,2(n+1)に対して対応する複数の撮像素子30,31,32,・・・,3n,3(n+1)の相対的な位置を移動させ、距離D10,D11,D12,・・・,D1n,D1(n+1)を調整させる。切り出し部103は、記憶装置5に記憶されている撮像画像データのそれぞれから共通撮像領域を切り出す(トリミングする)。立体画像生成部104は、被写体41に最も近い位置にあるカメラ10により撮像された共通撮像領域の大きさを基準とし、他のカメラ10,11,12,・・・,1n,1(n+1)により撮像された共通撮像領域のサイズを補正(拡大又は縮小)する。そして、各共通撮像領域を合成し、3Dディスプレイに表示するための立体画像(三次元画像)を生成する。
The angle-of-view adjustment
表示装置6は、立体画像生成部104により生成された立体画像を表示可能な3Dディスプレイである。
The
記憶装置5は、撮像素子30,31,32,・・・,3n,3(n+1)により得られた撮像画像データ及び立体画像生成部104により生成された立体画像等を記憶する。記憶装置5としては、例えば半導体メモリ、磁気ディスク、光ディスク等が採用可能である。半導体メモリとしては、ROM及びRAMが使用可能である。ROMは、制御装置2において実行されるプログラムを格納しているプログラム記憶装置等として機能させることが可能である(プログラムの詳細は後述する。)。RAMは、制御装置2におけるプログラム実行処理中に利用されるデータ等を一時的に格納したり、作業領域として利用される一時的なデータメモリ等として機能させることも可能である。
The
(立体画像撮像方法)
次に、本発明の実施の形態に係る立体画像撮像装置を用いた立体画像撮像方法を図4のフローチャートを参照しながら説明する。
(Stereoscopic imaging method)
Next, a stereoscopic image capturing method using the stereoscopic image capturing apparatus according to the embodiment of the present invention will be described with reference to the flowchart of FIG.
(イ)ステップS1において、測距手段3が、被写体41と各レンズ20,21,22,・・・,2n,2(n+1)との撮像距離Lを計測する。ステップS2において、画角調整量算出部101は、測距手段3により計測された撮像距離Lや、記憶装置5に予め記憶されている撮像条件等に基づいて、各レンズ20,21,22,・・・,2n,2(n+1)の画角調整量をそれぞれ算出する。
(A) In step S1, the distance measuring means 3 measures the imaging distance L between the subject 41 and the
(ロ)ステップS3において、画角設定部102が、画角調整量算出部101により算出された画角調整量に基づいて駆動手段4を制御し、複数のレンズ20,21,22,・・・,2n,2(n+1)に対して対応する複数の撮像素子30,31,32,・・・,3n,3(n+1)の相対的な位置を移動させ、距離D10,D11,D12,・・・,D1n,D1(n+1)を設定させる。ここで、隣接したカメラ(例えば、カメラ10,11)同士のうち被写体41から近い方のレンズ20の水平画角θ0が被写体41から遠い方のレンズ21の水平画角θ1と等しいか或いは小さく、且つ被写体41から最も近い位置にあるレンズ20の水平画角θ0が被写体41から最も遠い位置にあるレンズ2n,2(n+1)の水平画角θn,θ(n+1)よりも小さくなるように、距離D10,D11,D12,・・・,D1n,D1(n+1)がそれぞれ調整される。
(B) In step S3, the angle-of-
(ハ)ステップS4において、複数のカメラ10,11,12,・・・,1n,1(n+1)が、被写体41を撮像し、複数の撮像画像データをそれぞれ取得する。複数の撮像画像データは記憶装置5に順次記憶される。
(C) In step S4, the plurality of
(ニ)ステップS5において、切り出し部103は、記憶装置5により記憶された撮像画像データのそれぞれから共通撮像領域を切り出す(トリミングする)。ステップS6において、立体画像生成部104は、被写体41に最も近い位置にあるカメラ10により撮像された共通撮像領域の大きさを基準とし、他のカメラ10,11,12,・・・,1n,1(n+1)により撮像された共通撮像領域を同じ大きさになるように補正(拡大又は縮小)する。そして、立体画像生成部104は、各共通撮像領域を合成し、立体画像(三次元画像)を生成する。生成した立体画像は記憶装置5に記憶される。立体画像は表示装置6に表示させることも可能である。
(D) In step S5, the
このように、本発明の実施の形態によれば、複数のレンズ20,21,22,・・・,2n,2(n+1)と対応する複数の撮像素子30,31,32,・・・,3n,3(n+1)との距離D10,D11,D12,・・・,D1n,D1(n+1)をそれぞれ調整し、水平画角θ0,θ1,θ2,・・・,θn,θ(n+1)を設定することにより、複数のカメラ10,11,12,・・・,1n,1(n+1)において共通撮像領域を大きく撮像することができる。したがって、画素数が少ない場合でも、立体画像生成に必要な共通撮像領域を含む撮像画像を高画質で容易に撮像することができる。
As described above, according to the embodiment of the present invention, the plurality of
次に、第1の比較例を説明する。第1の比較例に係る立体画像撮像装置は、図31に示すように、縦置き型の3Dディスプレイ用に複数のカメラ1010,1011,1012,・・・,101n,101(n+1)を平行配置したマルチカメラアレイ1xを備える。第1の比較例では、各レンズ1020,1021,1022,・・・,102n,102(n+1)と対応する各撮像素子1030,1031,1032,・・・,103n,103(n+1)との距離が等しく、すべてのレンズ1020,1021,1022,・・・,102n,102(n+1)の水平画角θ10,θ11,θ12,・・・,θ1n,θ1(n+1)が等しい。
Next, a first comparative example will be described. As shown in FIG. 31, the stereoscopic image capturing apparatus according to the first comparative example has a plurality of
図32(a)〜図32(e)に、複数のカメラ1010,1011,1012,101n,101(n+1)で撮像された共通撮像領域1051,1052,1053,1054,1055を含む撮像画像1041,1042,1043,1044,1045を示す。図32(d)及び図32(e)で示した被写体41から遠い位置にあるカメラ101n,101(n+1)における共通撮像領域1054,1055に合わせて、図32(a)に示した被写体41から近い位置にあるカメラ1010における共通撮像領域1051も小さくなり、立体画像生成において不要な部分が大きくなる。第1の比較例に対して、本発明の実施の形態に係る立体画像撮像装置によれば、図2(a)〜図2(e)に示すように共通撮像領域121,122,123,124,125を大きくとることができ、高精度の立体画像を得ることが可能となる。
32A to 32E, captured
次に、第2の比較例を説明する。第2の比較例に係る立体画像撮像装置は、図33に示すように、縦置き型の3Dディスプレイ用に複数のカメラ1060,1061,1062,・・・,106n,106(n+1)を平行配置したマルチカメラアレイ1yを備える。第2の比較例では、被写体41より遠い位置にあるほど撮像素子1080,1081,1082,・・・,108n,108(n+1)がレンズ1070,1071,1072,・・・,107n,107(n+1)に対してシフトして配置されている。
Next, a second comparative example will be described. As shown in FIG. 33, the stereoscopic image capturing apparatus according to the second comparative example has a plurality of
図34(a)〜図34(e)に、複数のカメラ1060,1061,1062,・・・,106n,106(n+1)で撮像された共通撮像領域1101,1102,1103,1104,1105を含む撮像画像1091,1092,1093,1094,1095を示す。第2の比較例では、すべてのカメラ1060,1061,1062,・・・,106n,106(n+1)で撮像画像1091,1092,1093,1094,1095のサイズで共通撮像領域1101,1102,1103,1104,1105を撮像することができる。しかしながら、第2の比較例では、撮像素子1080,1081,1082,・・・,108n,108(n+1)を有効に使うために、レンズ1070,1071,1072,・・・,107n,107(n+1)に対して撮像素子1080,1081,1082,・・・,108n,108(n+1)をシフトするだけでなく、レンズ1070,1071,1072,・・・,107n,107(n+1)との距離を変えて水平画角θ20,θ21,θ22,・・・,θ2n,θ2(n+1)を調整しているが、撮像素子1080,1081,1082,・・・,108n,108(n+1)のシフトと水平画角θ20,θ21,θ22,・・・,θ2n,θ2(n+1)の調整を同時に高精度に行なうことは困難であり、実装には特殊なレンズ1070,1071,1072,・・・,107n,107(n+1)が必要である。第2の比較例に対して、本発明の実施の形態に係る立体画像撮像装置によれば、一般的な駆動手段(光学ズーム手段)4等の簡単な構成で、比較的高精度の立体画像を容易に得ることが可能となる。
34 (a) to 34 (e) include
また、図4に示した一連の手順は、図4と等価なアルゴリズムのプログラムにより、図1に示した立体画像撮像装置を制御して実行出来る。このプログラムは、例えば記憶装置5に記憶させればよい。また、このプログラムは、コンピュータ読取り可能な記憶媒体に保存し、この記憶媒体を立体画像撮像装置の記憶装置5に読み込ませることにより、本発明の実施の形態の一連の手順を実行することができる。ここで、「コンピュータ読取り可能な記憶媒体」とは、例えばコンピュータのメモリ、磁気ディスク、光ディスク等のプログラムを記憶することができるような媒体等を意味する。具体的には、メモリカード、CD−ROM,MOディスク等が「コンピュータ読取り可能な記憶媒体」に含まれる。
Further, the series of procedures shown in FIG. 4 can be executed by controlling the stereoscopic image pickup apparatus shown in FIG. 1 by a program of an algorithm equivalent to FIG. This program may be stored in the
(第1の変形例)
第1の変形例として、縦置き型の3Dディスプレイ用に、複数のカメラを輻輳配置した場合を説明する。「輻輳配置」とは、複数のカメラを直線上に配置し、すべてのカメラのレンズの光軸が空間中(被写体)のある一点で交わるように、カメラを被写体の方向に傾けて配置した構成を意味する。
(First modification)
As a first modification, a case will be described in which a plurality of cameras are congested and arranged for a vertical 3D display. “Congestion placement” is a configuration in which multiple cameras are placed on a straight line and the cameras are tilted toward the subject so that the optical axes of the lenses of all the cameras intersect at a certain point in space (subject). Means.
第1の変形例に係る立体画像撮像装置は、図5に示すように、複数のカメラ10,11,12,・・・,1n,1(n+1)を輻輳配置したマルチカメラアレイ1aを備える。複数のカメラ10,11,12,・・・,1n,1(n+1)は直線上に配置されている。複数のカメラ10,11,12,・・・,1n,1(n+1)は、すべてのレンズ20,21,22,・・・,2n,2(n+1)の光軸A0,A1,A2,・・・,An,A(n+1)が被写体41のある一点で交わるように、被写体41の方向に傾けて配置されている。第1の変形例では、図1に示した立体画像撮像装置と同様に、各レンズ20,21,22,・・・,2n,2(n+1)と対応する各撮像素子30,31,32,・・・,3n,3(n+1)との距離D10,D11,D12,・・・,D1n,D1(n+1)をそれぞれ調整することにより、水平画角θ0,θ1,θ2,・・・,θn,θ(n+1)が設定されている。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
As shown in FIG. 5, the stereoscopic image capturing apparatus according to the first modification includes a multi-camera array 1a in which a plurality of
図6(a)〜図6(e)に、各カメラ10,11,12,1n,1(n+1)により撮像された共通撮像領域141,142,143,144,145を含む撮像画像131,132,133,134,135を示す。輻輳配置の場合、キーストン歪みの影響で、各共通撮像領域141,142,143,144,145の形状は台形となっている。このため、立体画像生成の際には、共通撮像領域141,142,143,144,145に対して立体画像生成部104によりキーストン補正が行われる。
6A to 6E, captured
このように、第1の変形例によれば、縦置き型の3Dディスプレイ用に複数のカメラ10,11,12,・・・,1n,1(n+1)を輻輳配置した場合でも、立体画像生成に必要な複数の撮像画像を高画質で容易に撮像することができる。
As described above, according to the first modification, even when a plurality of
(第2の変形例)
第2の変形例として、平置き型の3Dディスプレイ用に、複数のカメラを平行配置した場合を説明する。「平置き型」とは、表示面を水平にし、観賞者が表示面を見下ろすように観賞する方法である。
(Second modification)
As a second modification, a case where a plurality of cameras are arranged in parallel for a flat-type 3D display will be described. The “flat type” is a method in which the display surface is leveled and the viewer looks down on the display surface.
第2の変形例に係る立体画像撮像装置は、図7に示すように、複数のカメラ10,11,12,・・・,1n,1(n+1)を平行配置したマルチカメラアレイ1bを備える。第2の変形例では、図1に示した立体画像撮像装置と同様に、各レンズ20,21,22,・・・,2n,2(n+1)と対応する各撮像素子30,31,32,・・・,3n,3(n+1)との距離D10,D11,D12,・・・,D1n,D1(n+1)をそれぞれ調整することにより、水平画角θ0,θ1,θ2,・・・,θn,θ(n+1)が設定されている。平置き型の3Dディスプレイ用の撮像の際は、複数のカメラ10,11,12,・・・,1n,1(n+1)は、被写体41を真上の位置よりずらした俯角をつけてそれぞれ撮像する。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
As shown in FIG. 7, the stereoscopic image capturing apparatus according to the second modification includes a
図8(a)〜図8(e)に、各カメラ10,11,12,1n,1(n+1)により撮像された共通撮像領域161,162,163,164,165を含む撮像画像151,152,153,154,155を示す。平置き型の場合、撮像画像151,152,153,154,155のうち、立体画像生成で利用できる部分は、俯角に対応する垂直方向の幅W11を除いた部分となる。
8A to 8E, captured
このため、図8(a)に示すように被写体41に最も近い位置にあるカメラ10により、俯角に対応する垂直方向の幅W11を除いた部分で最大限に撮像できる領域を共通撮像領域161とするようにレンズ20の垂直画角が設定される。水平画角θ0は、垂直画角及び3Dディスプレイのアスペクト比に応じて設定される。また、図8(b)〜図8(e)に示すように、他のカメラ11,12,1n,1(n+1)では、共通撮像領域163,163,164,165ができるだけ大きくなるように水平画角θ1,θ2,θn,θ(n+1)が設定される。垂直画角は、水平画角θ1,θ2,θn,θ(n+1)及び3Dディスプレイのアスペクト比に応じて設定される。
For this reason, as shown in FIG. 8A, the area that can be imaged to the maximum by the
このように、第2の変形例によれば、平置き型の3Dディスプレイ用に複数のカメラ10,11,12,・・・,1n,1(n+1)を平行配置した場合でも、立体画像生成に必要な複数の撮像画像を高画質で容易に撮像することができる。
Thus, according to the second modification, even when a plurality of
(第3の変形例)
第3の変形例として、平置き型の3Dディスプレイ用に、複数のカメラを輻輳配置した場合を説明する。
(Third Modification)
As a third modification, a case will be described in which a plurality of cameras are congested and arranged for a flat-type 3D display.
第3の変形例に係る立体画像撮像装置は、図9に示すように、複数のカメラ10,11,12,・・・,1n,1(n+1)を輻輳配置したマルチカメラアレイ1cを備える。複数のカメラ10,11,12,・・・,1n,1(n+1)は直線上に配置されている。複数のカメラ10,11,12,・・・,1n,1(n+1)は、すべてのレンズ20,21,22,・・・,2n,2(n+1)の光軸A0,A1,A2,・・・,An,A(n+1)が被写体41のある一点で交わるように、被写体41の方向に傾けて配置されている。第3の変形例では、図1に示した立体画像撮像装置と同様に、各レンズ20,21,22,・・・,2n,2(n+1)と対応する各撮像素子30,31,32,・・・,3n,3(n+1)との距離D10,D11,D12,・・・,D1n,D1(n+1)をそれぞれ調整することにより、水平画角θ0,θ1,θ2,・・・,θn,θ(n+1)が設定されている。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
As shown in FIG. 9, the stereoscopic image capturing apparatus according to the third modification includes a multi-camera array 1c in which a plurality of
図10(a)〜図10(e)に、各カメラ10,11,12,1n,1(n+1)により撮像された共通撮像領域181,182,183,184,185を含む撮像画像171,172,173,174,175を示す。輻輳配置の場合、第1の変形例と同様に、キーストン歪みの影響で、共通撮像領域181,182,183,184,185の形状は台形となる。このため、立体画像生成の際には、共通撮像領域181,182,183,184,185に対して立体画像生成部104によりキーストン補正が行われる。
10A to 10E, the captured
また、平置き型の場合、第2の変形例と同様に、撮像画像111,112,113,114,115のうち、立体画像生成で利用できる部分は俯角に対応する垂直方向の幅W12を除いた部分となる。このため、図10(a)に示すように被写体41に最も近い位置にあるカメラ10では、俯角に対応する垂直方向の幅W12を除いた部分で最大限に撮像できる領域を共通撮像領域181とするようにレンズ20の垂直画角が設定される。水平画角θ0は、垂直画角及び3Dディスプレイのアスペクト比に応じて設定される。
Further, in the case of the flat type, as in the second modified example, of the captured
また、図10(b)〜図10(e)に示すように、他のカメラ11,12,1n,1(n+1)では、共通撮像領域182,183,184,185ができるだけ大きくなるように水平画角θn,θ1,θ2,θ(n+1)が設定される。垂直画角は、水平画角θn,θ1,θ2,θ(n+1)及び3Dディスプレイのアスペクト比に応じて設定される。
Further, as shown in FIGS. 10B to 10E, in the
このように、第3の変形例によれば、平置き型の3Dディスプレイに複数のカメラ10,11,12,・・・,1n,1(n+1)を輻輳配置した場合でも、立体画像生成に必要な複数の撮像画像を高画質で容易に撮像することができる。
As described above, according to the third modification, even when a plurality of
(第4の変形例)
第4の変形例として、縦置き型の3Dディスプレイ用で複数のカメラを平行配置した立体画像撮像装置において、レンズの画角を最適化する方法について説明する。「レンズの画角の最適化」とは、共通撮像領域をできるだけ大きく撮像するようにレンズの画角を設定することを意味する。
(Fourth modification)
As a fourth modification, a method for optimizing the angle of view of a lens in a stereoscopic image pickup apparatus for a vertical 3D display in which a plurality of cameras are arranged in parallel will be described. “Optimizing the angle of view of the lens” means that the angle of view of the lens is set so that the common imaging region is imaged as large as possible.
第4の変形例に係る立体画像撮像装置は、図11に示すように、レンズ20,21,22,23,24,25,26,27,28及び対応する撮像素子30,31,32,33,34,35,36,37,38をそれぞれ9台のカメラ10,11,12,13,14,15,16,17,18を平行配置したマルチカメラアレイ1dを備える。なお、図11では9台のカメラ10,11,12,13,14,15,16,17,18を示すが、カメラの数は特に限定されるものではない。第4の変形例において、カメラ10,11,13の撮像領域の水平方向の幅をそれぞれW0,W1,W3とし、カメラ10,11,12,13,14,15,16,17,18の撮影間隔をdとする。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
As shown in FIG. 11, the stereoscopic image capturing apparatus according to the fourth modified example includes
図12に示すように、レンズ20,21,22,23,24,25,26,27,28の水平画角θ0,θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8は、被写体41に最も近い位置にある左から第5番目のカメラ10において最も小さく、被写体41から最も遠い位置にある左から第0番目及び第8番目のカメラ17,18において最も大きく、その間は一定間隔で単調増加させている。ここで、レンズ20,21,22,23,24,25,26,27,28の水平画角θ0,θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8は、被写体41から遠い位置にあるほど、カメラ1台ごとに撮像領域の水平方向の幅が撮像間隔の2倍ずつ増加するように設定されている。即ち、図11に示すように、被写体41に最も近い位置にあるカメラ10の撮像領域の水平方向の幅W0は、式(1)のように表すことができる。
As shown in FIG. 12, the horizontal angles of view θ0, θ1, θ2, θ3, θ4, θ5, θ6, θ7, and θ8 of the
W0=2×L×tan(θ/2) …(1)
また、被写体41に最も近い位置にあるカメラ10に隣接したカメラ11においては、撮像領域の水平方向の幅W1がカメラ10の撮像領域の幅W0と撮像間隔dの2倍を加算した値になるように、レンズ21の水平画角θ1が設定される。撮像領域の水平方向の幅W1は式(2)のように表すことができる。
W0 = 2 × L × tan (θ / 2) (1)
In the
W1=(W0/2+d)×2=W0+2d …(2)
レンズ21の垂直画角は、水平画角θ1及び3Dディスプレイのアスペクト比に応じて設定される。また、被写体41に最も近い位置にあるカメラ10に隣接したカメラ12においても、カメラ11と同様にレンズ22の水平画角θ2及び垂直画角が設定される。
W1 = (W0 / 2 + d) × 2 = W0 + 2d (2)
The vertical field angle of the
また、カメラ11に隣接するカメラ13では、その撮像領域の水平方向の幅W3がカメラ10の撮像領域の水平方向の幅W0と撮像間隔dの4倍を加算した値となるように、レンズ23の水平画角θ3が設定される。撮像領域の水平方向の幅W3は式(3)のように表すことができる。
In the
W3=W1+2d=W0+4d …(3)
レンズ23の垂直画角は、水平画角θ3及び3Dディスプレイのアスペクト比に応じて設定される。また、カメラ12に隣接するカメラ14においても、カメラ13と同様にレンズ24の水平画角θ4及び垂直画角が設定される。以降のカメラ15,16,17,18でも同様に、カメラ1台ごとに撮像領域の水平方向の幅が撮像間隔の2倍ずつ増加するようにレンズ25,26,27,28の水平画角θ5,θ6,θ7,θ8が設定されている。
W3 = W1 + 2d = W0 + 4d (3)
The vertical field angle of the
図13(a)〜図13(i)に、各カメラ10,11,12,13,14,15,16,17,18により撮像された共通撮像領域201,202,203,204,205,206,207,208,209を含む撮像画像191,192,193,194,195,196,197,198,199を示す。レンズ20,21,22,23,24,25,26,27,28の水平画角θ0,θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8を最適化することにより、共通撮像領域201,202,203,204,205,206,207,208,209をできるだけ大きく撮像することができる。
13A to 13I,
また、レンズ20,21,22,23,24,25,26,27,28の水平画角θ0,θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8は、カメラ1台ごとに撮像領域の水平方向の幅が撮像間隔の必ずしも2倍増加するように変化させる必要はなく、必要に応じて2倍よりも大きくなるように設定しても良い。また、第4の変形例では、縦置き型の3Dディスプレイ用で平行配置の場合を説明したが、平置き型の場合又は輻輳配置の場合でも同様に最適化を行うことができる。
Further, the horizontal angles of view θ0, θ1, θ2, θ3, θ4, θ5, θ6, θ7, and θ8 of the
(第5の変形例)
第5の変形例として、縦置き型の3Dディスプレイ用に複数のカメラを平行配置した立体画像撮像装置において、視点位置を3Dディスプレイ中央に固定した場合に両眼に入る視差数分だけレンズの画角を最適化する場合について説明する。
(Fifth modification)
As a fifth modification, in a stereoscopic image capturing apparatus in which a plurality of cameras are arranged in parallel for a vertically placed 3D display, when the viewpoint position is fixed at the center of the 3D display, the number of lens images is equal to the number of parallaxes that enter both eyes. A case where the corner is optimized will be described.
第5の変形例に係る立体画像撮像装置は、図14に示すように、レンズ20,21,22,23,24,25,26,27,28及び対応する撮像素子30,31,32,33,34,35,36,37,38をそれぞれ9台のカメラ10,11,12,13,14,15,16,17,18を平行配置したマルチカメラアレイ1eを備える。なお、図14では9台のカメラ10,11,12,13,14,15,16,17,18を示すが、カメラの数は特に限定されるものではない。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
As shown in FIG. 14, the stereoscopic image capturing apparatus according to the fifth modified example has
ここで、視点を3Dディスプレイ中央に固定した場合の両眼に入る視差数を5視差とすると、図15に示すように、5視差に相当する左から第2、3、4、5、6番目のカメラ13,11,10,12,14については、第4の変形例と同様に、カメラ1台ごとに撮像領域の水平方向の幅が撮像間隔の2倍ずつ増加するように水平画角θ3,θ1,θ0,θ2,θ4が設定されている。両眼に入らない視差に相当する両端の第0、1、7、8番目のカメラ15,16,17,18については、水平画角θ5,θ6,θ7,θ8が最大限に等しく設定されている。
Here, assuming that the number of parallax entering both eyes when the viewpoint is fixed at the center of the 3D display is 5 parallaxes, the second, third, fourth, fifth, and sixth from the left corresponding to five parallaxes as shown in FIG. As for the
図16(a)〜図16(i)に、各カメラ10,11,12,13,14,15,16,17,18により撮像された共通撮像領域221,222,223,224,225,226,227,228,229を含む撮像画像211,212,213,214,215,216,217,218,219を示す。
16 (a) to 16 (i),
このように、第5の変形例によれば、視点位置を3Dディスプレイ中央に固定した場合に両眼に入る視差数分だけレンズ20,21,22,23,24の水平画角θ0,θ1,θ2,θ3,θ4を最適化することも可能である。
As described above, according to the fifth modification, when the viewpoint position is fixed at the center of the 3D display, the horizontal angles of view θ0, θ1, and the horizontal angles of view of the
(第6の変形例)
本発明の実施の形態では、撮像素子と3Dディスプレイのアスペクト比が同じである場合を説明したが、第6の変形例では、撮像素子と3Dディスプレイのアスペクト比が異なる場合の撮像条件について説明する。
(Sixth Modification)
In the embodiment of the present invention, the case where the imaging device and the 3D display have the same aspect ratio has been described. In the sixth modification, the imaging condition when the imaging device and the 3D display have different aspect ratios will be described. .
まず、撮像素子のアスペクト比が4:3で3Dディスプレイがワイドのアスペクト比(16:9)である場合を説明する。第6の変形例に係る立体画像撮像装置は、図17に示すように、9台のカメラ10,11,12,13,14,15,16,17,18が平行配置されたマルチカメラアレイ1fを備える。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
First, the case where the aspect ratio of the image sensor is 4: 3 and the 3D display has a wide aspect ratio (16: 9) will be described. As shown in FIG. 17, the stereoscopic image capturing apparatus according to the sixth modification includes a multi-camera array 1f in which nine
図18(a)〜図18(i)に、各カメラ10,11,12,13,14,15,16,17,18により撮像した共通撮像領域241,242,243,244,245,246,247,248,249を含む撮像画像231,232,233,234,235,236,237,238,239を示す。共通撮像領域241,242,243,244,245,246,247,248,249はそのサイズがワイドのアスペクト比(16:9)に合わせて撮像される。
18 (a) to 18 (i),
図18(a)に示すように、被写体41に最も近い位置にあるカメラ10では、共通撮像領域241が撮像画像231の水平方向を最大限使用するように、レンズ20の水平画角θ0が設定されている。レンズ20の垂直画角は、水平画角及び3Dディスプレイのワイドのアスペクト比(16:9)に応じて設定される。
As shown in FIG. 18A, in the
また、図18(b)〜図18(i)に示すように、他のカメラ11,12,13,14,15,16,17,18では、共通撮像領域242,243,244,245,246,247,248,249ができるだけ大きくなるようにレンズ21,22,23,24,25,26,27,28の水平画角θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8が設定される。レンズ21,22,23,24,25,26,27,28の垂直画角は、水平画角θ2,θ3,θ4,θ5,θ6,θ7,θ8及び3Dディスプレイのワイドのアスペクト比(16:9)に応じて設定される。
Further, as shown in FIGS. 18B to 18I, in the
次に、撮像素子がワイドのアスペクト比(16:9)で3Dディスプレイのアスペクト比が4:3である場合を説明する。第6の変形例に係る立体画像撮像装置は、図19に示すように、9台のカメラ10,11,12,13,14,15,16,17,18が平行配置されたマルチカメラアレイ1gを備える。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
Next, a case where the imaging element has a wide aspect ratio (16: 9) and the 3D display has an aspect ratio of 4: 3 will be described. As shown in FIG. 19, the stereoscopic image capturing apparatus according to the sixth modification is a multi-camera array 1g in which nine
図20(a)〜図20(i)に、各カメラ10,11,12,13,14,15,16,17,18により撮像した共通撮像領域261,262,263,264,265,266,267,268,269を含む撮像画像251,252,253,254,255,256,257,258,259を示す。共通撮像領域261,262,263,264,265,266,267,268,269のサイズは、3Dディスプレイのアスペクト比(4:3)に合わせて撮像される。
20 (a) to 20 (i),
図20(a)に示すように、被写体41に最も近い位置にあるカメラ10では、共通撮像領域261が撮像画像251の垂直方向を最大限使用するようにレンズ20の垂直画角が設定される。レンズ20の水平画角θ0は、垂直画角及び3Dディスプレイのアスペクト比(4:3)に応じて設定される。
As shown in FIG. 20A, in the
また、図20(a)〜図20(i)に示すように、他のカメラ11,12,13,14,15,16,17,18では、共通撮像領域262,263,264,265,266,267,268,269ができるだけ大きくなるようにレンズ21,22,23,24,25,26,27,28の水平画角θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8が設定される。レンズ21,22,23,24,25,26,27,28の垂直画角は、水平画角θ2,θ3,θ4,θ5,θ6,θ7,θ8及び3Dディスプレイのアスペクト比(4:3)に応じて設定される。
Further, as shown in FIGS. 20A to 20I, in the
このように、第6の変形例によれば、撮像素子30,31,32,33,34,35,36,37,38と3Dディスプレイのアスペクト比が異なる場合でも、立体画像生成に必要な複数の撮像画像231,232,233,234,235,236,237,238,239及び複数の撮像画像251,252,253,254,255,256,257,258,259を高画質で容易に撮像することができる。
As described above, according to the sixth modification, even when the
(第7の変形例)
第7の変形例にとして、偶数台のカメラを備える場合を説明する。第7の変形例に係る立体画像撮像装置は、図21に示すように、縦置き型の3Dディスプレイ用で複数のカメラ10,11,12,13,・・・,1n,1(n+1)を平行配置したマルチカメラアレイ1hを備える。マルチカメラアレイ1hの中央にあ2台のカメラ10,11が、被写体41から最も近い位置にある。他の構成は、図1に示した立体画像撮像装置と実質的に同様の構成であるので、重複した説明を省略する。
(Seventh Modification)
As a seventh modification, a case where an even number of cameras are provided will be described. As shown in FIG. 21, the stereoscopic image capturing apparatus according to the seventh modification is for a vertical 3D display, and has a plurality of
図22(a)〜図22(f)に、各カメラ10,11,12,13,1n,1(n+1)により撮像された共通撮像領域281,282,283,284,285,286を含む撮像画像271,272,273,274,275,276を示す。図22(a)及び図22(b)に示すように、被写体41に最も近い位置にある2台のカメラ10,11によりそれぞれ撮像された撮像画像271,272同士で一致する領域を共通撮像領域281,282としている。図22(c)〜図22(f)に示すように、他のカメラ12,13,1n,1(n+1)により共通撮像領域283,284,285,286ができるだけ大きくなるように撮像される。
22A to 22F, the imaging including
図23には、縦置き型の3Dディスプレイ用に複数のカメラ10,11,12,・・・,1n,1(n+1)を輻輳配置したマルチカメラアレイ1iを示す。図24(a)〜図24(f)には、複数のカメラ10,11,12,13,1n,1(n+1)により撮像されたを含む共通撮像領域301,302,303,304,305,306を含む撮像画像291,292,293,294,295,296を示す。
FIG. 23 shows a
図25には、平置き型の3Dディスプレイ用に複数のカメラ10,11,12,・・・,1n,1(n+1)を平行配置したマルチカメラアレイ1jを示す。図26(a)〜図26(f)には、複数のカメラ10,11,12,13,1n,1(n+1)により撮像された部分共通撮像領域321,322,323,324,325,326を含む撮像画像311,312,313,314,315,316を示す。共通撮像領域321,322,323,324,325,326は、俯角に対応する幅W13を除いた領域にそれぞれ設定される。
FIG. 25 shows a multi-camera array 1j in which a plurality of
図27には、平置き型の3Dディスプレイ用に複数のカメラ10,11,12,・・・,1n,1(n+1)を輻輳配置したマルチカメラアレイ1kを示す。図28(a)〜図28(f)には、複数のカメラ10,11,12,13,1n,1(n+1)により撮像された共通撮像領域341,342,343,344,345,346を含む撮像画像331,332,333,334,335,336をそれぞれ示す。共通撮像領域341,342,343,344,345,346は、俯角に対応する幅W14を除いた領域にそれぞれ設定される。
FIG. 27 shows a multi-camera array 1k in which a plurality of
次に、図29を用いて、カメラが偶数台(9台)の場合の画角を最適化する一例を説明する。まず、図29に実線で示すように、画角の変化の割合を単調増加させる場合、被写体に最も近い位置にある左から第4、5番目のカメラの水平画角を同一にし、被写体から遠い位置のカメラほど水平画角を単調増加させる。また、図29に一点鎖線で示すように、視差数分だけ最適化する場合、視点を3Dディスプレイ中央に固定した場合の両眼に入る視差が6視差とすると、被写体41に最も近い位置にある左から第4、5番目のカメラの水平画角を同一にし、左から2、7番目カメラのカメラまで単調増加させ、左から0、1、8、9番目の水平画角を最大値で一定にとる。 Next, an example of optimizing the angle of view when there are an even number of cameras (9 cameras) will be described with reference to FIG. First, as shown by a solid line in FIG. 29, when the rate of change of the angle of view is monotonously increased, the horizontal angles of view of the fourth and fifth cameras from the left closest to the subject are the same and are far from the subject. The horizontal angle of view increases monotonically as the camera is positioned. Also, as shown by the dashed line in FIG. 29, when optimizing only the number of parallaxes, if the parallax entering both eyes when the viewpoint is fixed at the center of the 3D display is 6 parallaxes, it is closest to the subject 41 The horizontal angle of view of the 4th and 5th cameras from the left is made the same, and it is monotonically increased to the cameras of the 2nd and 7th cameras from the left. Take it.
このように、第7の変形例によれば、偶数台のカメラを用いた場合でも、奇数台の場合と同様に、立体画像生成に必要な複数の撮像画像を高画質で容易に撮像することができる。 As described above, according to the seventh modification, even when an even number of cameras are used, as in the case of an odd number, a plurality of captured images necessary for generating a stereoscopic image can be easily captured with high image quality. Can do.
(その他の実施の形態)
上記のように、本発明は実施の形態により記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As described above, the present invention has been described according to the embodiment. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
例えば、図30に示すように、レンズの画角が段階的に一定であっても良い。図30においては、左から第2番目のカメラから、被写体に最も近い第4番目のカメラを含む第6番目のカメラまでレンズの画角が一定である。そして、左から第0番目、第1番目、第7番目、第8番目のカメラのレンズの画角が一定であり、第2〜6番目のカメラのレンズの画角よりも大きい。 For example, as shown in FIG. 30, the angle of view of the lens may be constant in steps. In FIG. 30, the angle of view of the lens is constant from the second camera from the left to the sixth camera including the fourth camera closest to the subject. The field angles of the lenses of the 0th, 1st, 7th, and 8th cameras from the left are constant and larger than the field angles of the lenses of the 2nd to 6th cameras.
また、駆動手段4が、複数のレンズ20,21,22,・・・,2n,2(n+1)に対して対応する複数の撮像素子30,31,32,・・・,3n,3(n+1)の相対的な位置を移動させる場合を説明したが、複数の撮像素子30,31,32,・・・,3n,3(n+1)に対して対応する複数のレンズ20,21,22,・・・,2n,2(n+1)の相対的な位置を移動することにより距離D10,D11,D12,・・・,D1n,D1(n+1)を調整することもできる。更に、複数の撮像素子30,31,32,・・・,3n,3(n+1)及び対応するレンズ20,21,22,・・・,2n,2(n+1)の双方を移動することにより距離D10,D11,D12,・・・,D1n,D1(n+1)を調整することもできる。
In addition, the driving
また、複数のカメラ10,11,12,・・・,1n,1(n+1)は必ずしも等間隔で配置されていなくても良い。
In addition, the plurality of
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によりのみ定められるものである。 As described above, the present invention naturally includes various embodiments not described herein. Therefore, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.
1,1a,1c,1d,1e,1f,1g,1h,1i,1j,1k…マルチカメラアレイ
2…制御装置
3…測距手段
4…駆動手段
5…記憶装置
6…表示装置
10,11,12,13,14,15,16,17,18,1n,1(n+1)…カメラ
11,12,1n,1…カメラ
12…カメラ
12,13,1n,1…カメラ
13…カメラ
20,21,22,23,24,25,26,27,28,2n,2(n+1)…レンズ
30,31,32,33,34,35,36,37,38,3n,3(n+1)…撮像素子
41…被写体
42…撮像面
101…画角調整量算出部
102…画角設定部
103…切り出し部
104…立体画像生成部
1, 1 a, 1 c, 1 d, 1 e, 1 f, 1 g, 1 h, 1 i, 1 j, 1 k ...
Claims (9)
隣接した前記カメラ同士のうち被写体から近い方の前記レンズの所定方向画角が前記被写体から遠い方の前記レンズの所定方向画角と等しいか或いは小さく、且つ前記被写体から最も近い位置にある前記レンズの所定方向画角が前記被写体から最も遠い位置にある前記レンズの所定方向画角よりも小さくなるように、前記複数のレンズのそれぞれに対して、対応する前記複数の撮像素子の位置を相対的に移動させる駆動手段
とを備えることを特徴とする立体画像撮像装置。 A plurality of cameras each having a lens and an image sensor, and each capturing a captured image for generating a stereoscopic image arranged in a predetermined direction;
The lens in a predetermined direction angle of view of the lens closer to the subject among the adjacent cameras is equal to or smaller than a predetermined direction angle of view of the lens farther from the subject and closest to the subject Relative positions of the plurality of imaging elements corresponding to the plurality of lenses so that the predetermined direction angle of view is smaller than the predetermined direction angle of view of the lens farthest from the subject. A three-dimensional image capturing apparatus comprising:
前記被写体から遠い位置にある前記カメラほど、前記カメラにより撮影される撮影領域の所定方向の幅が、前記カメラの撮影間隔の2倍以上の値ずつ増加することを特徴とする請求項1又は2に記載の立体画像撮像装置。 The plurality of cameras are arranged at equal intervals,
3. The camera in a position farther from the subject increases a width in a predetermined direction of a photographing area photographed by the camera by a value not less than twice a photographing interval of the camera. The three-dimensional image pickup device described in 1.
前記計測された距離に基づいて、前記複数のレンズの画角調整量をそれぞれ算出する画角調整量算出部と、
前記画角調整量に基づいて、前記駆動手段に前記複数のレンズの所定方向画角を設定させる画角設定部
とを更に備えることを特徴とする請求項1〜4のいずれか1項に記載の立体画像撮像装置。 Ranging means for measuring the distance from the plurality of lenses to the subject;
An angle-of-view adjustment amount calculation unit that calculates the amount of view angle adjustment of each of the plurality of lenses based on the measured distance;
5. The image forming apparatus according to claim 1, further comprising an angle-of-view setting unit configured to cause the driving unit to set a predetermined direction angle of view of the plurality of lenses based on the angle-of-view adjustment amount. Stereoscopic imaging device.
前記複数の共通撮像領域を合成して立体画像を生成する立体画像生成部
とを更に備えることを特徴とする請求項1〜5のいずれか1項に記載の立体画像撮像装置。 A cutout unit that cuts out a plurality of common imaging regions from a plurality of captured images respectively captured by the plurality of cameras;
The stereoscopic image capturing apparatus according to claim 1, further comprising: a stereoscopic image generating unit that generates a stereoscopic image by combining the plurality of common imaging regions.
前記計測された距離に基づいて、前記それぞれのレンズの画角調整量をそれぞれ算出するステップと、
前記画角調整量に基づいて、隣接したカメラ同士のうち被写体から近い方の前記レンズの所定方向画角が前記被写体から遠い方の前記レンズの所定方向画角と等しいか或いは小さく、且つ前記被写体から最も近い位置にある前記レンズの所定方向画角が前記被写体から最も遠い位置にあるレンズの所定方向画角よりも小さくなるように、前記複数のカメラがそれぞれ有する撮像素子の位置を対応する前記それぞれのレンズの位置に対して相対的に移動するステップと、
前記複数のカメラが前記被写体をそれぞれ撮像し、立体画像を生成するための撮像画像をそれぞれ取得するステップ
とを含むことを特徴とする立体画像撮像方法。 Measuring a distance from each lens of a plurality of cameras arranged in a predetermined direction to a subject;
Calculating an angle of view adjustment amount of each of the lenses based on the measured distance;
Based on the field angle adjustment amount, the predetermined direction field angle of the lens closer to the subject among adjacent cameras is equal to or smaller than the predetermined direction field angle of the lens farther from the subject, and the subject The plurality of cameras corresponding to the positions of the imaging elements corresponding to each other so that the predetermined direction angle of view of the lens located closest to the lens is smaller than the predetermined direction angle of view of the lens located farthest from the subject. Moving relative to the position of each lens;
A method for capturing a stereoscopic image, wherein the plurality of cameras respectively capture the subject and acquire captured images for generating a stereoscopic image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009066656A JP2010220067A (en) | 2009-03-18 | 2009-03-18 | Apparatus and method for capturing three-dimensional image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009066656A JP2010220067A (en) | 2009-03-18 | 2009-03-18 | Apparatus and method for capturing three-dimensional image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010220067A true JP2010220067A (en) | 2010-09-30 |
Family
ID=42978388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009066656A Pending JP2010220067A (en) | 2009-03-18 | 2009-03-18 | Apparatus and method for capturing three-dimensional image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010220067A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011071605A (en) * | 2009-09-24 | 2011-04-07 | Fujifilm Corp | Three-dimensional image pickup apparatus and method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0946729A (en) * | 1995-08-01 | 1997-02-14 | Olympus Optical Co Ltd | Stereoscopic image pickup device |
JP2001042200A (en) * | 1999-07-30 | 2001-02-16 | Casio Comput Co Ltd | Camera apparatus and zoom operation control method |
JP2005142957A (en) * | 2003-11-07 | 2005-06-02 | Sony Corp | Imaging apparatus and method, and imaging system |
JP2005210217A (en) * | 2004-01-20 | 2005-08-04 | Olympus Corp | Stereoscopic camera |
JP2006093860A (en) * | 2004-09-21 | 2006-04-06 | Olympus Corp | Camera mounted with twin lens image pick-up system |
JP2007086269A (en) * | 2005-09-21 | 2007-04-05 | Hitachi Kokusai Electric Inc | Camera system and focal length adjusting method of zoom lens optical system of camera system |
JP2007286521A (en) * | 2006-04-19 | 2007-11-01 | Eyedentify:Kk | Simple imaging device for forming 3d image which can be three-dimensionally viewed with naked eye from images in a plurality of imaging bodies |
-
2009
- 2009-03-18 JP JP2009066656A patent/JP2010220067A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0946729A (en) * | 1995-08-01 | 1997-02-14 | Olympus Optical Co Ltd | Stereoscopic image pickup device |
JP2001042200A (en) * | 1999-07-30 | 2001-02-16 | Casio Comput Co Ltd | Camera apparatus and zoom operation control method |
JP2005142957A (en) * | 2003-11-07 | 2005-06-02 | Sony Corp | Imaging apparatus and method, and imaging system |
JP2005210217A (en) * | 2004-01-20 | 2005-08-04 | Olympus Corp | Stereoscopic camera |
JP2006093860A (en) * | 2004-09-21 | 2006-04-06 | Olympus Corp | Camera mounted with twin lens image pick-up system |
JP2007086269A (en) * | 2005-09-21 | 2007-04-05 | Hitachi Kokusai Electric Inc | Camera system and focal length adjusting method of zoom lens optical system of camera system |
JP2007286521A (en) * | 2006-04-19 | 2007-11-01 | Eyedentify:Kk | Simple imaging device for forming 3d image which can be three-dimensionally viewed with naked eye from images in a plurality of imaging bodies |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011071605A (en) * | 2009-09-24 | 2011-04-07 | Fujifilm Corp | Three-dimensional image pickup apparatus and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9581787B2 (en) | Method of using a light-field camera to generate a three-dimensional image, and light field camera implementing the method | |
JP2009206922A (en) | Compound-eye imaging apparatus | |
EP3514598B1 (en) | Image pickup apparatus including lens elements having different diameters | |
US9100639B2 (en) | Light field imaging device and image processing device | |
JP4714116B2 (en) | 3D image display apparatus and 3D image display method | |
US9438889B2 (en) | System and method for improving methods of manufacturing stereoscopic image sensors | |
US8605179B2 (en) | Image pickup apparatus | |
US20080055547A1 (en) | Stereoscopic display device and method | |
US20090079762A1 (en) | Method for producing multi-viewpoint image for three-dimensional image display and program therefor | |
US20130188026A1 (en) | Depth estimating image capture device and image sensor | |
US20170150019A1 (en) | Multi-aperture camera system using disparity | |
JP6189061B2 (en) | Solid-state imaging device | |
JP5633181B2 (en) | Depth map output device | |
US9648305B2 (en) | Stereoscopic imaging apparatus and stereoscopic imaging method | |
US9661303B2 (en) | Multi-camera stereoscopic imaging apparatus for reducing the effects of aberration | |
JP2006267636A (en) | Stereoscopic picture display device and stereoscopic picture display method | |
TW201320717A (en) | Method of displaying 3D image | |
US9462254B2 (en) | Light field image capture device and image sensor | |
JP2007295113A (en) | Imaging apparatus | |
JP2007336002A (en) | Multi-viewpoint video display apparatus | |
JP2015073072A (en) | Solid-state imaging device and imaging apparatus employing the same | |
JP2012008370A (en) | Imaging device and interchangeable lens | |
WO2013035427A1 (en) | Stereoscopic image capture device and method | |
JP2010220067A (en) | Apparatus and method for capturing three-dimensional image | |
WO2012169173A1 (en) | Parallax image generation device, parallax image generation method, program and integrated circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130226 |