JP2013201466A - Stereoscopic image pickup device - Google Patents
Stereoscopic image pickup device Download PDFInfo
- Publication number
- JP2013201466A JP2013201466A JP2010150577A JP2010150577A JP2013201466A JP 2013201466 A JP2013201466 A JP 2013201466A JP 2010150577 A JP2010150577 A JP 2010150577A JP 2010150577 A JP2010150577 A JP 2010150577A JP 2013201466 A JP2013201466 A JP 2013201466A
- Authority
- JP
- Japan
- Prior art keywords
- capturing apparatus
- stereoscopic
- image capturing
- pixels
- stereoscopic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/095—Digital circuits for control of aperture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Abstract
Description
本発明は、立体画像を撮像可能な立体画像撮像装置に関する。 The present invention relates to a stereoscopic image capturing apparatus capable of capturing a stereoscopic image.
被写体の立体画像(三次元画像:以下、3D画像ともいう。)を撮像できる立体画像撮像装置が実際に普及し始め、テレビジョン装置やパーソナルコンピュータのモニタ装置も、立体画像を表示できるものが普及し始めている。 Stereo image pickup devices that can pick up a stereoscopic image of a subject (three-dimensional image: hereinafter also referred to as a 3D image) have begun to spread, and television devices and personal computer monitor devices that can display a stereoscopic image have become widespread. Have begun to do.
従来の立体画像撮像装置は、例えば下記の特許文献1,2に記載されている様に、2つの撮像部を装備し、各撮像部の撮影レンズ系をカメラ筐体前部の左右に並べて設けている。そして、右側の撮影レンズ系を通して右眼用の被写体画像を撮影し、左側の撮影レンズ系を通して左眼用の被写体画像を撮影している。
A conventional stereoscopic image pickup apparatus is equipped with two image pickup units as described in, for example,
2つの撮像部を持つ複眼の立体画像撮像装置は、個々の撮像部が高価な撮影レンズ系や撮像素子を備えるため、単眼の二次元画像(平面画像:以下、2D画像ともいう。)を撮影するカメラに比べて撮像部のコストが倍になってしまう。 A compound-eye stereoscopic image capturing apparatus having two image capturing units captures a monocular two-dimensional image (planar image: hereinafter also referred to as a 2D image) because each image capturing unit includes an expensive photographing lens system and image sensor. The cost of the image pickup unit is doubled compared to a camera that performs this.
特許文献3では、右側の撮影レンズ系と左側の撮影レンズ系の2系統を持つが、撮像素子を共通化して1個で済む立体画像撮像装置を提案している。 Patent Document 3 proposes a three-dimensional image pickup apparatus that has two systems of a right photographic lens system and a left photographic lens system, but requires only one image pickup element.
この撮像素子の各画素(光電変換素子)は、その上方に設けられるマイクロレンズの一部が遮光されており、その遮光範囲が左右にずれていることで、右側の撮影レンズ系からの入射光のみを受光する右画素群と、左側の撮影レンズ系からの入射光のみを受光する左画素群とが構成されている。 In each pixel (photoelectric conversion element) of this image sensor, a part of the microlens provided above is shielded from light, and the light shielding range is shifted left and right, so that incident light from the right photographing lens system is incident. And a left pixel group that receives only incident light from the left photographic lens system.
この撮像素子では、右画素群から得られる画像データと左画素群から得られる画像データとが視差のある画像データとなるため、立体画像の撮像が可能となる。しかし、この立体画像撮像装置でも、撮影レンズ系を2つ有するために、撮像部のコストが高くなってしまう。 In this imaging device, the image data obtained from the right pixel group and the image data obtained from the left pixel group are image data having parallax, so that a stereoscopic image can be captured. However, since this stereoscopic image capturing apparatus also has two photographing lens systems, the cost of the image capturing unit is increased.
特許文献4では、撮影レンズ系も1系統とした立体画像撮像装置を提案している。
この立体画像撮像装置は、撮影レンズ系と撮像素子との間に設けられた光シャッタで瞳の開口位置を移動させながら複数回の撮像を行って、視差のある複数の画像データを得ている。また、特許文献4には、撮影レンズ系と撮像素子との間にマイクロレンズアレイを設けることで、1回の撮像により視差のある複数の画像データを得る方法も開示されている。
This stereoscopic image capturing device captures a plurality of times while moving the opening position of a pupil with an optical shutter provided between a photographing lens system and an image sensor to obtain a plurality of image data with parallax. .
この立体画像撮像装置によれば、撮像部のコストを抑えることができる。しかし、複数の撮像データを1回の撮影で得るには、マイクロレンズアレイが必要であり、撮影レンズ系とマイクロレンズアレイを含めた光学系の設計が難しくなる。 According to this stereoscopic image capturing apparatus, the cost of the image capturing unit can be suppressed. However, a microlens array is required to obtain a plurality of imaging data by one imaging, and it becomes difficult to design an optical system including the imaging lens system and the microlens array.
本発明は、上記事情に鑑みてなされたものであり、視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a stereoscopic image imaging device that can simultaneously and easily obtain a plurality of imaging data with parallax and that can reduce manufacturing costs. With the goal.
本発明の立体画像撮像装置は、単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、前記撮影光学系は、撮影レンズ系と絞りを含み、前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する2種類又は4種類の画素を含み、前記2種類又は4種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に2分割するように前記開口の一部を遮蔽する遮蔽部と、前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備えるものである。 The stereoscopic image capturing apparatus of the present invention is a stereoscopic image capturing apparatus having a single imaging optical system and a single imaging element that receives light passing through the imaging optical system. A lens system and a diaphragm, and the imaging element includes two or four types of pixels that receive light that has passed through different pupil regions of the photographing optical system, and the two or four types of pixels are in plan view. A shielding part that is arranged two-dimensionally in a horizontal direction and a vertical direction perpendicular to the horizontal direction and shields a part of the aperture of the diaphragm and restricts light incident on the image sensor, as viewed in the optical axis direction The aperture of the diaphragm is shielded by the shielding portion by controlling the shielding portion and shielding a portion of the opening so as to equally divide the aperture of the diaphragm into at least one of the horizontal direction and the vertical direction. The size of the shielding area of the opening It is intended and a shielding area change control unit that changes depending on the.
本発明によれば、視差のある複数の撮像データを同時にかつ容易に得ることができ、かつ、製造コストを抑えることが可能な立体画像撮像装置を提供することができる。 According to the present invention, it is possible to provide a stereoscopic image imaging apparatus that can simultaneously and easily obtain a plurality of imaging data with parallax and that can suppress the manufacturing cost.
以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(第一実施形態)
図1は、本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図である。この立体画像撮像装置10は、カメラ筐体11の前部に、単一の撮影レンズ系12を収納するレンズ鏡筒13が沈胴可能に取り付けられている。カメラ筐体11の上面右端部にはシャッタレリーズボタン14が設けられており、カメラ筐体11の背部には、図1では図示しない表示部(図2の表示部25)が設けられている。
(First embodiment)
FIG. 1 is an external perspective view of a monocular stereoscopic image capturing apparatus according to an embodiment of the present invention. In the stereoscopic
図2は、図1に示す立体画像撮像装置10の機能ブロック図である。撮影レンズ系12の背部には、絞り(アイリス)16が配置され、撮影レンズ系12と絞り16により撮影光学系を構成している。
FIG. 2 is a functional block diagram of the stereoscopic
絞り16の背部には、詳細は後述する液晶シャッタ15を介して、これも詳細は後述する撮像素子100が配置されている。撮影レンズ系12、絞り16、及び液晶シャッタ15をこの順に通って撮像素子100の受光面に入射した被写体光像に対応する撮像画像信号が、アナログデジタル(AD)変換部17でデジタルデータに変換され、バス18に出力される。
On the back of the
バス18には、この立体画像撮像装置10の全体を統括制御する中央制御部(CPU)21と、シャッタレリーズボタン14を含む操作ボタン等で構成される操作部22と、DSP等で構成されCPU21の指示の基に撮像画像信号に対して周知の画像処理を施す画像処理部23と、撮像画像信号を画像処理して得られた撮像画像データを表示用のデータに変換するビデオエンコーダ24と、ビデオエンコーダ24で変換された撮像画像データを表示部25に表示するドライバ26と、メモリ27と、メディア制御部28とが接続され、メディア制御部28に着脱自在に記録媒体(メモリカード)29が装着される。
The
表示部25は、例えばスキャンバックライト方式の液晶表示部であり、右眼用画像データと左目用画像データとを表示して被写体の立体画像を表示することができる表示部となっている。
The
CPU21には、デバイス制御部31が接続される。デバイス制御部31は、CPU21からの指示に従い、撮像素子100の駆動制御を行い、絞り16の開口量調整制御を行い、液晶シャッタ15の駆動制御を行い、撮影レンズ系12のフォーカス位置制御やズーム位置制御を行う。
A device control unit 31 is connected to the
図3は、図2に示す撮像素子100の表面模式図である。本実施形態の撮像素子100は、半導体基板の表面部に、複数のフォトダイオード(光電変換素子:画素)33が、平面視において水平方向Xとこれに直交する垂直方向Yに二次元アレイ状に配列形成されている。
FIG. 3 is a schematic surface view of the
図示する例では、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチずつずらして形成された所謂ハニカム画素配列となっており、各画素の受光面面積を正方画素配列の場合より広くすることができる。 In the example shown in the figure, a so-called honeycomb pixel array is formed in which even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows, and the light-receiving surface area of each pixel is a square pixel array. Can be wider than the case.
立体画像撮像装置10では、図1に示すようにシャッタレリーズボタン14が空側に向くように構えた状態で、水平方向Xと地面とが平行になる。
In the stereoscopic
画素33で構成される各画素列に沿って垂直電荷転送路(VCCD)34が形成され、各垂直電荷転送路34の転送方向端部に沿ってラインメモリ(LM)35が形成されている。
A vertical charge transfer path (VCCD) 34 is formed along each pixel column constituted by the
ラインメモリ35に並列に水平電荷転送路(HCCD)36が形成され、水平電荷転送路36の転送方向端部に、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像信号として出力するアンプ37が設けられている。
A horizontal charge transfer path (HCCD) 36 is formed in parallel with the
垂直電荷転送路34は、半導体基板内に形成された埋め込みチャネルと、半導体基板表面に形成された絶縁膜を介し前記埋め込みチャネル上に積層された多数の転送電極膜とで構成される。
The vertical
ラインメモリ35は、垂直電荷転送路34毎の信号電荷一時蓄積用のバッファ35aを備え、例えば特開2006―157624号公報に記載されている様に、垂直電荷転送路34から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路36に転送するときのタイミングを制御することで、水平方向Xの画素加算(信号電荷の混合)を行う機能を有する。
The
図3に示す「R」「r」「G」「g」「B」「b」はカラーフィルタの色(R,r=赤、G,g=緑、B,b=青)を示している。R,rの色の区別はなく、G,gとB,bも同様である。 “R”, “r”, “G”, “g”, “B”, and “b” shown in FIG. 3 indicate the color of the color filter (R, r = red, G, g = green, B, b = blue). . There is no distinction between R and r colors, and G, g and B, b are the same.
本実施形態の撮像素子100では、奇数行の画素行にある全ての画素(以下、A群ともいう)の上方にはRGBのカラーフィルタがベイヤ配列され、偶数行の画素行にある全ての画素(以下、B群という)の上方にはrgbのカラーフィルタがベイヤ配列されている。
In the
図4は、図3の各画素に積層されたカラーフィルタRGBrgbの配列だけを記載した図である。同一面に平均的に混在して設けられるA群の画素とB群の画素は、各画素が1対1に対応して設けられるため、A群の画素数,B群の画素数は同一となる。 FIG. 4 is a diagram illustrating only the arrangement of the color filters RGBrgb stacked on each pixel of FIG. The group A pixels and the group B pixels, which are provided on the same plane on average, are provided in a one-to-one correspondence with each other, so the number of pixels in the group A and the number of pixels in the group B are the same. Become.
図3の垂直転送電極V1〜V8のうち読出電極兼用転送電極V2に読出パルスを印加して…B□G□B□G□…の信号電荷を垂直電荷転送路34に読み出し、これを2段分転送してから読出電極兼用転送電極V4に読出パルスを印加すると、上記の□位置にg,b,g,…の信号電荷が読み出され、1行分として、…bBgGbBgG…の信号電荷が並ぶことになる。これをラインメモリ35まで転送し、上述したように水平電荷転送路への転送タイミングを制御することで、b+B,g+G,b+B,g+Gの同色の2画素加算を行うことが可能となる。
A readout pulse is applied to the readout electrode / transfer electrode V2 among the vertical transfer electrodes V1 to V8 in FIG. 3 to read out the signal charges of B □ G □ B □ G □ to the vertical
図3に示す各画素33の上(カラーフィルタの上)には、夫々、マイクロレンズが積層され、また、各画素33の受光面の上部(カラーフフィルタの下)には遮光膜開口が設けられるが、これらは、図3では図示を省略している。 Microlenses are stacked on each pixel 33 (on the color filter) shown in FIG. 3, and a light-shielding film opening is provided above the light receiving surface of each pixel 33 (under the color filter). However, these are not shown in FIG.
図5は、各画素の上方にあるマイクロレンズ(円形)38と遮光膜開口との位置関係を示す図である。A群の画素においては、マイクロレンズ38に対して、遮光膜開口33aを、マイクロレンズ中心に対して左側(被写体側から撮像素子100を視た場合)に偏心して設けている。また、B群の画素においては、マイクロレンズ38に対して、遮光膜開口33bを、マイクロレンズ中心に対して右側に偏心して設けている。
FIG. 5 is a diagram showing the positional relationship between the microlens (circular shape) 38 above each pixel and the light shielding film opening. In the group A pixels, the light
A群とB群とは、図3から分かる通り、画素ピッチの1/2だけ垂直方向Y及び水平方向Xに互いにずれているため、同色画素(Rとr、Gとg、Bとb)が斜めに隣接する配置となっている。 As can be seen from FIG. 3, the A group and the B group are shifted from each other in the vertical direction Y and the horizontal direction X by ½ of the pixel pitch, so that the same color pixels (R and r, G and g, B and b) Are arranged obliquely adjacent to each other.
斜めに最隣接する同色2画素をペア画素とした場合、図6に示す様に、ペア画素の一方の遮光膜開口33aは左側に偏心し、他方の遮光膜開口33bは右側に偏心していることになる。
When two pixels of the same color that are diagonally adjacent to each other are paired pixels, as shown in FIG. 6, one light shielding film opening 33a of the paired pixels is eccentric to the left side, and the other light
このように、ペア画素を構成する一方の画素と他方の画素とは、マイクロレンズ38の中心に対して遮光膜開口が互いに逆方向にずれているため、撮影光学系を通して入射してくる同一被写体からの光の入射角が互いに逆方向となる様に制限されることになる。
As described above, since one pixel and the other pixel constituting the pair pixel are shifted in opposite directions from each other with respect to the center of the
この結果、撮像素子100を用いて被写体を撮影した場合、遮光膜開口33aを通して受光されたA群の撮像画像信号は右眼で被写体を視たものとなり、遮光膜開口33bを通して受光されたB群の撮像画像信号は左眼で被写体を視たものとなり、図6下段に示す様に、視差が生じることになる。
As a result, when the subject is photographed using the
被写体のうちA群の画素とB群の画素で合焦する部分は、同じ位置で合焦状態となりA群の画素,B群の画素の夫々に結像する。被写体のうち合焦状態とならない部分はA群の画素(右眼画像)とB群の画素(左眼画像)で左右にずれた位置にボケ像が作られる。 A portion of the subject that is in focus between the A group pixel and the B group pixel is brought into focus at the same position and forms an image on each of the A group pixel and the B group pixel. In a portion of the subject that is not in focus, a blurred image is created at a position shifted to the left and right by the group A pixel (right eye image) and the group B pixel (left eye image).
このボケ像が、合焦距離に対する被写体距離の差に応じて左右のずれ量(視差)として変わってくるため、A群の撮像画像信号とB群の撮像画像信号を左右の撮像画像信号とすることで、単一の撮影光学系と単一の撮像素子で、立体画像の撮像が可能となる。 Since this blurred image changes as a left-right shift amount (parallax) according to the difference in subject distance with respect to the in-focus distance, the captured image signal of group A and the captured image signal of group B are used as the left and right captured image signals. Thus, a three-dimensional image can be captured with a single photographing optical system and a single image sensor.
立体画像を再生する場合、図2の画像処理部23は、A群の撮像画像信号から1枚の右眼用撮像画像データを生成しメモリカード29に保存すると共に表示部25に右眼用撮像画像データを表示させ、B群の撮像画像信号から1枚の左眼用撮像画像データを生成しメモリカード29に保存すると共に表示部25に左眼用撮像画像データを表示させ、被写体の立体画像を表示部25に表示させる。
When reproducing a stereoscopic image, the
次に、ペア画素を構成する一方の画素と他方の画素の入射角感度特性(画素に入射してくる光の入射角毎の感度の特性)について詳しく説明する。 Next, the incident angle sensitivity characteristic (sensitivity characteristic for each incident angle of light incident on the pixel) of one pixel and the other pixel constituting the paired pixel will be described in detail.
図7は、撮像素子100のペア画素を構成する2つの画素の入射角感度特性を示す図である。図7において、符号TLで示したものが遮光膜開口33aを上方に持つA群の画素の入射角感度特性であり、符号TRで示したものが遮光膜開口33bを上方に持つB群の画素の入射角感度特性である。符号T1で示したものは、例えば図5に示すA群の画素において、マイクロレンズ38の中心と遮光膜開口33aの中心とを一致させた仮想的な画素の入射角感度特性である。
FIG. 7 is a diagram illustrating incident angle sensitivity characteristics of two pixels constituting the paired pixel of the
図7において横軸は入射角を示し、縦軸は感度を示している。入射角は、画素上方のマイクロレンズ38の中心に垂直に光が入射するときを0°とし、当該中心に入射する光線が水平方向(ペア画素の瞳分割方向)に斜めに傾くほど、その角度が大きくなるものとしている。具体的には、マイクロレンズ38の中心に入射する光線が水平方向右側に傾いていくと図7の横軸の右側の数値が増え、当該光線が水平方向左側に傾いていくと図7の横軸の左側の数値が増える。
In FIG. 7, the horizontal axis represents the incident angle, and the vertical axis represents the sensitivity. The incident angle is 0 ° when light is incident perpendicularly to the center of the
図7に示したように、撮像素子100のペア画素を構成する2つの画素の入射角感度特性は、略同一形状であり、かつ、それぞれの感度のピーク位置が縦軸から均等な距離だけ離れた位置にある。つまり、ペア画素を構成する2つの画素の入射角感度特性は、縦軸(入射角0°のときの感度の軸)に対して線対称の関係にある。そして、ペア画素を構成する2つの画素の入射角感度特性は、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なり(図7中の符号T2で示した範囲)を持っている。
As shown in FIG. 7, the incident angle sensitivity characteristics of the two pixels constituting the paired pixel of the
図7に示す波形TRと横軸で囲まれた範囲が、撮影光学系の第一の瞳領域を通過する光の量に相当し、波形TLと横軸で囲まれた範囲が、撮影光学系の第二の瞳領域を通過する光の量に相当し、波形T1と横軸で囲まれた範囲が、撮影光学系の第一の瞳領域と第二の瞳領域を含む第三の瞳領域を通過する光の量に相当する。つまり、ペア画素を構成する2つの画素は、撮影光学系のそれぞれ異なる瞳領域を通過した光を受光するように瞳分割されている。そして、ペア画素を構成する2つの画素の各々が受光する光の通過する瞳領域は、光軸付近において互いに重なりを有するように瞳分割がなされている。 The range surrounded by the waveform TR and the horizontal axis shown in FIG. 7 corresponds to the amount of light passing through the first pupil region of the imaging optical system, and the range surrounded by the waveform TL and the horizontal axis is the imaging optical system. The third pupil region corresponding to the amount of light passing through the second pupil region, and the range surrounded by the waveform T1 and the horizontal axis includes the first pupil region and the second pupil region of the imaging optical system This corresponds to the amount of light passing through. That is, the two pixels constituting the pair pixel are divided into pupils so as to receive light that has passed through different pupil regions of the photographing optical system. The pupil regions through which the light received by each of the two pixels constituting the pair pixel passes are pupil-divided so as to overlap each other in the vicinity of the optical axis.
A群の撮像画像信号とB群の撮像画像信号とで良好な視差を得られるようにするには、図7に示した重なり範囲T2をゼロにして、ペア画素の一方の画素と他方の画素で入射角感度特性を完全に分離することが好ましい。 In order to obtain a good parallax between the captured image signal of the A group and the captured image signal of the B group, the overlapping range T2 shown in FIG. It is preferable to completely separate the incident angle sensitivity characteristics.
しかし、重なり範囲T2がゼロになるようにするには、遮光膜開口33aと遮光膜開口33bの間の水平方向Xの距離を大きくする必要があり、これを実現するには遮光膜開口33a,33bを小さくする必要がある。この結果、重なり範囲T2をゼロにした場合のペア画素の入射角感度特性TR,TLは図8に示したようになり、図7の場合よりもペア画素の感度が低下してしまう。
However, in order to make the overlapping range T2 zero, it is necessary to increase the distance in the horizontal direction X between the light
つまり、本実施形態の撮像素子100は、感度を上げようとすると、良好な視差が得られにくくなり、逆に、良好な視差を得ようとすると、感度が低下するという課題を抱えている。
That is, the
そこで、本実施形態の立体画像撮像装置10は、撮像素子100が、視差よりも感度を優先した図7に示した入射角感度特性を有し、撮像素子100と絞り16との間に設けた液晶シャッタ15が、図7に示した入射角感度特性であっても良好な視差を得られるように、撮像素子100に入射する光を制限している。
Therefore, in the stereoscopic
図9は、図2に示した立体画像撮像装置10における撮影レンズ系12、絞り16、液晶シャッタ15、及び撮像素子100を斜めから見た斜視図である。
FIG. 9 is a perspective view of the
撮影レンズ系12の背部に配置された絞り16は、開口16aの大きさを変えることにより、その後方の撮像素子100に入射させる光の量を調整する。
The
液晶シャッタ15は、液晶分子への電圧の印加あるいは除去により液晶分子の配列変化を起こさせることにより、光の透過や遮断を行う。液晶シャッタ15の液晶層は、光軸方向から見たときに、絞り16の最大開口時の開口16aを覆う大きさとなっていればよい。
The
液晶シャッタ15は、絞り16を通過した光を透過する透過領域と、絞り16を通過した光を透過させない非透過領域とを液晶層の任意の位置に形成することができる。
The
液晶シャッタ15と絞りは近接して(理想的には接触して)配置されているため、図9に示すように、液晶シャッタ15に形成される非透過領域15aによって、開口16aの一部(非透過領域15aとほぼ同じ面積の領域)が完全に遮蔽された状態になる。
Since the
本実施形態の立体画像撮像装置10では、1回の撮像で立体画像を再生可能な形式の撮像画像データ(視差のある複数の撮像画像データ)を記録する3Dモード(立体撮影モード)時には、デバイス制御部31が、光軸方向に見たときの開口16aを水平方向Xに均等に2分割するように、開口16aの一部を遮蔽するための非透過領域15aを液晶シャッタ15に形成する。
In the stereoscopic
非透過領域15aを形成することにより、ペア画素の入射角感度特性TR,TLは図10に示したようになる。
By forming the
図10において、符号T3で示した範囲は、非透過領域15aによって感度が得られなくなった入射角範囲である。この入射角範囲の横軸方向の幅を、図7に示す重なり範囲T2の横軸方向の幅と同じにすれば、重なり範囲T2を除去して、ペア画素の入射角感度特性を完全に分離することができる。このため、このような範囲T3が得られるように、非透過領域15aの水平方向Xの幅が設定される。
In FIG. 10, the range indicated by reference numeral T3 is an incident angle range in which sensitivity is not obtained by the
このように、非透過領域15aを形成することで、各画素の感度を図8に示した例よりも高くしながら、A群とB群とで入射角感度特性を完全に分離することができる。しかも、その分離度合は、図8に示した場合よりも大きい。したがって、良好な視差と高感度を両立させた立体撮像が可能になる。
In this way, by forming the
なお、図7に示した重なり範囲T2は、絞り値(F値)が任意の値であったときのものであり、F値が変化すれば、重なり範囲T2の幅も変化する。そこで、デバイス制御部31は、絞り16のF値に応じて、液晶シャッタ15に形成する非透過領域15aの水平方向Xの幅を変更することが好ましい。
Note that the overlapping range T2 shown in FIG. 7 is a value when the aperture value (F value) is an arbitrary value. If the F value changes, the width of the overlapping range T2 also changes. Therefore, it is preferable that the device control unit 31 changes the width in the horizontal direction X of the
例えば、図11に示すように、F値が小さいときは非透過領域15aの水平方向Xの幅を広くし、F値が大きいときは非透過領域15aの水平方向Xの幅を狭くする。つまり、デバイス制御部31は、F値が大きいほど、非透過領域15aの水平方向Xの幅を狭くする。
For example, as shown in FIG. 11, when the F value is small, the width in the horizontal direction X of the
このようにすることで、F値によらずに、常に良好な視差を得ることができる。 By doing so, it is possible to always obtain a good parallax regardless of the F value.
図12は、撮像素子100により2D画像を撮像する場合の説明図である。1回の撮像で1つの撮像画像データを記録する2Dモード(平面撮影モード)時、デバイス制御部31は液晶シャッタ15に非透過領域15aを形成せずに撮像を行い、A群とB群のペアとなる同色2画素の撮像信号を画素加算して撮像素子100から出力させる。
FIG. 12 is an explanatory diagram when a 2D image is captured by the
図12に長円で示すペア画素の信号電荷を、上述した図3のラインメモリ35を用いて画素加算(信号電荷同士を加算)してから撮像信号に変換して出力することで、ペア画素の撮像信号同士を加算したのに相当する撮像信号を、ペアの総数と同じ数だけ得ることができ、これら撮像信号の集合である撮像画像信号を処理して2Dの撮像画像データを得ることが可能となる。
The signal charges of the paired pixels indicated by the ellipses in FIG. 12 are pixel-added (added together signal charges) using the above-described
若しくは、A群の全画素の撮像画像信号を読み出し、B群の全画素の撮像画像信号を読み出し、画像処理部23で、ペア画素から得られた撮像信号の画素加算(撮像信号同士を加算)を行い、画素加算後の撮像画像信号を処理して2Dの撮像画像データを得ることもできる。
Alternatively, the captured image signals of all the pixels in the A group are read out, the captured image signals of all the pixels in the B group are read out, and the
A群の撮像画像信号とB群の撮像画像信号は、左右のボケ画像の位置がA群とB群でずれるため、これを2D画像として表示すると偽解像が生じる。しかし、実施形態の様に画素加算(撮像素子100内で信号電荷の状態で加算する場合と画像処理部23内で撮像信号の状態で加算する場合を含む)を行うと、ボケ部分が加算によって合成され、A群、B群画素の区別のない1枚の2D画像となり、高品質な2D画像を取得することが可能となる。
In the captured image signal of the A group and the captured image signal of the B group, the positions of the left and right blurred images are shifted between the A group and the B group. Therefore, when this is displayed as a 2D image, false resolution occurs. However, when pixel addition is performed as in the embodiment (including the case of addition in the state of signal charge in the
また、2Dモード時には、液晶シャッタ15の全面が透過領域となるため、ペア画素の画素加算後の入射角感度特性は図13の符号T4に示したようになり、デフォーカス像が分離せず、高品質な2D画像を取得することが可能となる。
In the 2D mode, since the entire surface of the
また、実施形態の撮像素子100では、図3,図4のカラーフィルタ配列をとっているため、A群の撮像画像信号とB群の撮像画像信号を画素加算した後の2Dの撮像画像信号の色配列はベイヤ配列となり、既存のベイヤ配列用の画像処理技術を利用可能となり、画像処理が容易となる。
In addition, since the
図14は、図1に示した立体画像撮像装置10の撮像動作を説明するためのフローチャートである。なお、動作開始前では、液晶シャッタ15は全面が透過状態になっているものとして説明する。
FIG. 14 is a flowchart for explaining the imaging operation of the stereoscopic
動作を開始すると、CPU21が、撮影モードが3Dモードか2Dモードかを判定する(ステップS1)。
When the operation is started, the
撮影モードが3Dモードであった場合はステップS2に進む。撮影モードが2Dモードであった場合はステップS7に進む。 If the shooting mode is the 3D mode, the process proceeds to step S2. If the shooting mode is the 2D mode, the process proceeds to step S7.
ステップS2では、CPU21が、撮像素子100により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてAE・AF処理を行い、F値、シャッタ速度、撮影レンズ系12のフォーカス位置を決定する。なお、仮撮像で撮像素子100から読み出す撮像画像信号は、A群とB群の2種類の画素群のうちのいずれか一方とすることで、AE・AF処理に要する時間を短縮することができる。
In step S2, the
ステップS2の後、CPU21は、デバイス制御部31を介して、液晶シャッタ15に非透過領域15aを形成する(ステップS3)。この非透過領域15aの水平方向Xの幅は、ステップS2で決定したF値に応じた幅に設定する。
After step S2, the
ステップS3の後、ユーザから撮像指示があると、CPU21は、ステップS2で決定したF値、シャッタ速度、フォーカス位置にしたがって撮像素子100により本撮像を行う(ステップS4)。
When there is an imaging instruction from the user after step S3, the
本撮像を終了すると、CPU21は、A群から撮像画像信号を読み出し、B群から撮像画像信号を読み出す(ステップS5)。
When the main imaging is finished, the
読み出された撮像画像信号は、画像処理部23で処理されて、A群の撮像画像信号から右眼用撮像画像データが生成され、B群の撮像画像信号から左眼用撮像画像データが生成されて、これらがメモリカード29に記録されると共に、こられが表示部25に立体表示される(ステップS6)。
The read captured image signal is processed by the
ステップS7では、CPU21が、撮像素子100により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてAE・AF処理を行い、F値、シャッタ速度、撮影レンズ系12のフォーカス位置を決定する。
In step S <b> 7, the
ステップS7の後、CPU21は、液晶シャッタ15の全面を透過状態にしたまま、決定したF値、シャッタ速度、フォーカス位置にしたがって撮像素子100により本撮像を行う(ステップS8)。
After step S7, the
本撮像を終了すると、CPU21は、A群とB群のペア画素となる同色2画素の撮像信号を画素加算して撮像素子100から出力させる(ステップS9)。
When the actual imaging is completed, the
撮像素子100から出力された画素加算後の撮像画像信号は、画像処理部23で処理されて、2Dの撮像画像データが生成され、この2Dの撮像画像データがメモリカード29に記録されると共に、表示部25に2D表示される(ステップS10)。
The captured image signal after pixel addition output from the
以上のような動作により、高画質の2Dの撮像画像データと、高画質の3Dの撮像画像データを得ることができる。この立体画像撮像装置10によれば、単一の光学系と単一の撮像素子で立体撮像を行うことができるため、製造コストを抑えられると共に、1回の撮影で視差のある2つの撮像画像データを同時に得ることができる。また、この立体画像撮像装置10によれば、特許文献4に記載のようなマイクロレンズアレイを用いる必要がなく、光学系の設計が容易となる。
Through the above operation, high-quality 2D captured image data and high-quality 3D captured image data can be obtained. According to this stereoscopic
なお、3Dモード時に液晶シャッタ15に形成する非透過領域15aの水平方向Xの幅は、F値以外の情報に応じて決定してもよい。例えば、撮影距離(被写体距離)に応じて非透過領域15aの幅を決定してもよい。または、撮影レンズ系12が焦点距離を可変なものである場合には、その焦点距離に応じて、非透過領域15aの幅を決定してもよい。
Note that the width in the horizontal direction X of the
無限遠の遠景の風景画像を撮影する場合は、ペア画素で感度特性が分離しにくくなり、近景の画像を撮影する場合は、ペア画素で感度特性が分離しやすくなる。このため、撮影距離が近いときは感度を優先して、非透過領域15aの幅を狭くすることが有効となる。一方、撮影距離が遠い場合は、視差を優先して、非透過領域15aの幅を広くすることが有効となる。以上のことから、デバイス制御部31は、撮影距離が遠いほど非透過領域15aの幅を広くすることが好ましい。
When shooting a landscape image of an infinitely distant view, it is difficult to separate the sensitivity characteristics with the pair of pixels, and when shooting a close-up image, the sensitivity characteristics are easily separated with the pair of pixels. For this reason, when the shooting distance is short, it is effective to prioritize sensitivity and narrow the width of the
また、焦点距離が短い場合は、ペア画素で感度特性が分離しにくくなり、焦点距離が長い場合は、ペア画素で感度特性が分離しやすくなる。このため、焦点距離が長いときは、感度を優先して非透過領域15aの幅を狭くすることが有効となる。一方、焦点距離が短いときは、視差を優先して非透過領域15aの幅を広くすることが有効となる。以上のことから、デバイス制御部31は、焦点距離が短いほど非透過領域15aの幅を広くすることが好ましい。
In addition, when the focal length is short, it is difficult to separate the sensitivity characteristics at the paired pixels, and when the focal length is long, the sensitivity characteristics are easily separated at the paired pixels. For this reason, when the focal length is long, it is effective to narrow the width of the
また、撮影シーンに応じて非透過領域15aの水平方向Xの幅を決定してもよい。
Further, the width in the horizontal direction X of the
夜景等の暗いシーン(被写体の明るさが閾値以下のシーン)では、高感度が求められるため、感度優先(非透過領域15aの幅を狭くする)とし、それ以外のシーンでは視差優先(非透過領域15aの幅を広くする)とすることで、撮影シーンに応じて最適な画質を得ることが可能となる。
In dark scenes such as night scenes (scenes whose subject brightness is below the threshold), high sensitivity is required, so sensitivity is prioritized (the width of the
なお、暗いシーンのときには、非透過領域15aの幅をゼロにして高感度化を目指してもよい。
In the case of a dark scene, the width of the
非透過領域15aの水平方向Xの幅は、F値、撮影距離、焦点距離、及び撮影シーンのいずれか単独に応じて決めてもよいし、撮影距離又は焦点距離とF値及び撮影シーンのいずれかとを考慮して決めてもよい。
The width in the horizontal direction X of the
例えば、撮影距離又は焦点距離に応じて重なり範囲T2が無くなるように非透過領域15aの幅を設定した後、F値に応じて非透過領域15aの幅を調整してもよい。または、撮影距離又は焦点距離に応じて重なり範囲T2が無くなるように非透過領域15aの幅を設定した後、撮影シーンに応じて非透過領域15aの幅を調整してもよい。または、撮影距離又は焦点距離とF値との組み合わせ毎に非透過領域15aの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。同様に、撮影距離又は焦点距離と撮影シーンとの組み合わせ毎に非透過領域15aの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。
For example, the width of the
また、上述した実施形態では、電荷結合素子(CCD)を信号読出回路とした撮像素子100を説明したが、信号読出回路がCMOS型等のトランジスタ回路を用いた撮像素子も適用可能である。
In the above-described embodiments, the
また、図3,図4で説明した実施形態では、奇数行の画素が偶数行の画素に対して1/2画素ピッチずつずらした画素配列(所謂、ハニカム画素配列)となっているが、画素配列が正方配列であっても良い。 In the embodiment described with reference to FIGS. 3 and 4, the pixels in the odd-numbered rows have a pixel array (so-called honeycomb pixel array) in which the pixels in the odd-numbered rows are shifted by ½ pixel pitch. The array may be a square array.
図15は、図3に示した撮像素子の画素配列の変形例を示す図である。図15において、カラーフィルタに対応する文字(R、G、B)を付したブロックがA群の画素であり、カラーフィルタに対応する文字(r、g、b)を付したブロックがB群の画素である。図15に示した例では、A群を画素ピッチの1/2水平方向にずらした位置にB群が存在し、水平方向に隣接する同色2画素をペア画素としている。 FIG. 15 is a diagram illustrating a modification of the pixel array of the image sensor illustrated in FIG. 3. In FIG. 15, blocks with letters (R, G, B) corresponding to the color filter are pixels in the A group, and blocks with letters (r, g, b) corresponding to the color filter are in the B group. Pixel. In the example shown in FIG. 15, the group B exists at a position where the group A is shifted in the horizontal direction by a half of the pixel pitch, and two pixels of the same color adjacent in the horizontal direction are paired pixels.
図16は、図3に示した撮像素子の画素配列の別の変形例を示す図である。図16において、カラーフィルタに対応する文字(R、G、B)を付したブロックがA群の画素であり、カラーフィルタに対応する文字(r、g、b)を付したブロックがB群の画素である。図16に示した例では、A群を画素ピッチの1/2垂直方向にずらした位置にB群が存在し、垂直方向に隣接する同色2画素をペア画素としている。 FIG. 16 is a diagram illustrating another modification of the pixel array of the image sensor illustrated in FIG. 3. In FIG. 16, blocks with letters (R, G, B) corresponding to the color filter are pixels of the A group, and blocks with letters (r, g, b) corresponding to the color filter are of the B group. Pixel. In the example shown in FIG. 16, the B group exists at a position where the A group is shifted in the vertical direction by 1/2 of the pixel pitch, and two pixels of the same color adjacent in the vertical direction are paired pixels.
図15,16に示した画素配列であっても、高画質の2D及び3Dの撮像画像データを得ることができる。 Even with the pixel arrangement shown in FIGS. 15 and 16, high-quality 2D and 3D captured image data can be obtained.
また、上述した実施形態では、図5に示したように、ペア画素の遮光膜開口を互いに左右の反対方向に偏心させることで、ペア画素を瞳分割して視差のある2つの撮像画像信号を得られるようにしている。しかし、瞳分割は、遮光膜開口を偏心させなくても実現できる。 In the above-described embodiment, as shown in FIG. 5, the paired pixels are pupil-divided by decentering the light-shielding film openings of the paired pixels in opposite directions, and two captured image signals having parallax are obtained. I try to get it. However, the pupil division can be realized without decentering the light shielding film opening.
例えば、図17(a)に平面図を示し、図17(b)に断面図を示すように、ペア画素51a,51bの遮光膜52の開口52aを各画素51a,51bの受光面全面で開口させる。更に、ペア画素51a,51bに対して、長円(楕円)形の1つのマイクロレンズ53を搭載し、同一被写体からの入射角の異なる入射光(撮影光学系の異なる瞳領域を通過した光)がペア画素51a,51bの夫々に入射されるようにすればよい。
For example, as shown in the plan view of FIG. 17A and the cross-sectional view of FIG. 17B, the
(第二実施形態)
図18は、図2に代わる別実施形態の立体画像撮像装置20の機能ブロック図である。図2に示す立体画像撮像装置10と基本構成は同じであり、撮像素子100を撮像素子200に変更し、姿勢センサ30を追加した点が異なるだけのため、同一部材には同一符号を付してその説明は省略する。
(Second embodiment)
FIG. 18 is a functional block diagram of a stereoscopic
姿勢センサ30は、立体画像撮像装置20の姿勢を検知するものであり、例えばジャイロセンサで構成される。
The
図19は、図18に示す撮像素子200の一例を示す表面模式図である。なお、この例ではCCD型のイメージセンサを例示するが、CMOS型イメージセンサでも良い。
FIG. 19 is a schematic surface view showing an example of the
図19に示す撮像素子200は、半導体基板の受光面に水平方向Xとこれに直交する垂直方向Yに二次元アレイ状、図示の例では正方格子状に複数の画素41が配列形成され、各画素列に沿って垂直電荷転送路(VCCD)42が形成される。
An
各垂直電荷転送路42の転送方向端部に沿ってラインメモリ43が形成され、ラインメモリ43に並列に水平電荷転送路(HCCD)44が形成され、水平電荷転送路44の出力端部に、転送されてきた信号電荷量に応じた電圧値信号を撮像信号として出力するアンプ45が設けられている。
A
立体画像撮像装置20は、横撮り状態(図1に示した状態)で撮像素子200の水平方向Xが地面と平行になり、縦撮り状態(図1に示す状態から立体画像撮像装置を90度回転させた状態)で、撮像素子200の垂直方向Yが地面と平行になる。
In the three-dimensional
ラインメモリ43は、垂直電荷転送路42毎の信号電荷一時蓄積用のバッファ43aを備え、例えば特開2006―157624号公報に記載されている様に、垂直電荷転送路42から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路44に転送するときのタイミングを制御することで、水平方向の画素加算(信号電荷の混合)を行う機能を有する。
The
図中の各画素41上に記載した「R」「G」「B」はカラーフィルタの色(R=赤、G=緑、B=青)を表している。本実施形態の撮像素子200では、縦横に隣接する4画素を1組として、組内の4画素に同一色のカラーフィルタを積層している。そして、各組毎の色配列が全体としてベイヤ配列となるようにカラーフィルタを配列している。
“R”, “G”, and “B” described on each
そして、図19に示す4画素1組の夫々の上部に、破線円で示すマイクロレンズ47を設けている。この結果、1組の4画素は、それぞれ、撮影光学系の異なる瞳領域を通過する光を受光する。各組内の4画素のうち、隣接する2つの画素(水平方向に隣接する2画素、垂直方向に隣接する2画素)は、それぞれの入射角感度特性が図7に示したように、瞳分割方向において線対称でかつ重なり範囲T2を有している。
And the
図20は、図19に示す画素41のうち4×4=16画素を示す図であり、4つの組と夫々の瞳分割用のマイクロレンズ47を示している。各組の4画素の中央に記載したR,G,Bがカラーフィルタの色を表し、各組の4画素のうち左斜め上を画素A,右斜め上を画素B,左斜め下を画素C,右斜め下を画素Dとする。画素Aの総数、画素Bの総数、画素Cの総数、画素Dの総数は、それぞれ同じである。
FIG. 20 is a diagram showing 4 × 4 = 16 pixels among the
図21は、被写体としての木49を示している。図21の紙面の手前側に撮影者の目が存在し、各組の4画素を通して被写体の木49を見た場合、図22に示す様に、全ての組の画素Aは木49を左斜め上(視点A)から見た撮像画像信号を取得し、全ての組の画素Bは木49を右斜め上(視点B)から見た撮像画像信号を取得し、全ての組の画素Cは木49を左斜め下(視点C)から見た撮像画像信号を取得し、全ての組の画素Dは木49を右斜め下(視点D)から見た撮像画像信号を取得することになる。
FIG. 21 shows a
第二実施形態の立体画像撮像装置20は、縦撮りと横撮りのどちらでも、立体画像を良好に撮像することができる。
The stereoscopic
例えば、横撮りの場合は、撮像素子200の各組において、画素Aの撮像信号と画素Cの撮像信号を画素加算し、画素Bの撮像信号と画素Dの撮像信号を画素加算して、全ての組から撮像画像信号(A+C)と撮像画像信号(B+D)を読み出す。
For example, in the case of horizontal shooting, in each set of the
この画素加算は、撮像素子200内で行ってもよいし、画像処理部23内で行ってもよい。画像処理部23は、読み出した撮像画像信号(A+C)を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号(B+D)を処理して右眼用撮像画像データを生成する。
This pixel addition may be performed in the
一方、立体画像撮像装置20を右に90度回転させて行う縦撮りの場合は、撮像素子200の各組において、画素Cの撮像信号と画素Dの撮像信号を画素加算し、画素Aの撮像信号と画素Bの撮像信号を画素加算して、全ての組から撮像画像信号(C+D)と撮像画像信号(A+B)を読み出す。
On the other hand, in the case of vertical shooting performed by rotating the stereoscopic
画像処理部23は、読み出した撮像画像信号(C+D)を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号(A+B)を処理して右眼用撮像画像データを生成する。
The
また、立体画像撮像装置20を左に90度回転させて行う縦撮りの場合は、撮像素子200の各組において、画素Aの撮像信号と画素Bの撮像信号を画素加算し、画素Cの撮像信号と画素Dの撮像信号を画素加算して、全ての組から撮像画像信号(A+B)と撮像画像信号(C+D)を読み出す。
In addition, in the case of vertical shooting performed by rotating the stereoscopic
画像処理部23は、読み出した撮像画像信号(A+B)を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号(C+D)を処理して右眼用撮像画像データを生成する。
The
このように、横撮りのときは、2つの撮像画像データの視差のつく方向が水平方向Xになり、縦撮りのときは、2つの撮像画像データの視差のつく方向が垂直方向Yになる。このため、第一実施形態では固定となっていた、液晶シャッタ15に形成する非透過領域15aの伸びる方向を、第二実施形態の立体画像撮像装置20においては、縦撮りと横撮りとで切り替える必要がある。
In this way, the parallax direction of the two captured image data is the horizontal direction X in the horizontal shooting, and the parallax direction of the two captured image data is the vertical direction Y in the vertical shooting. For this reason, the direction in which the
横撮りの場合は、図22に示した画素Aと画素Bで感度特性を分離し、画素Cと画素Dで感度特性を分離する必要がある。 In the case of landscape shooting, it is necessary to separate the sensitivity characteristics between the pixel A and the pixel B shown in FIG.
そこで、立体画像撮像装置20のデバイス制御部31は、横撮りの場合は、図23のFIG23Aに示したように、開口16aを水平方向Xに均等に2分割するように、垂直方向Yに伸びる非透過領域15aを液晶シャッタ15に形成する。
Therefore, in the case of landscape shooting, the device control unit 31 of the stereoscopic
一方、縦撮りの場合は、図22に示した画素Aと画素Cで感度特性を分離し、画素Bと画素Dで感度特性を分離する必要がある。 On the other hand, in the case of vertical shooting, it is necessary to separate the sensitivity characteristics between the pixel A and the pixel C shown in FIG.
そこで、立体画像撮像装置20のデバイス制御部31は、縦撮りの場合は、図23のFIG23Bに示したように、開口16aを垂直方向Yに均等に2分割するように、水平方向Xに伸びる非透過領域15aを液晶シャッタ15に形成する。
Therefore, in the case of vertical shooting, the device control unit 31 of the stereoscopic
縦撮りか横撮りかの判断は、姿勢センサ30からの状態に基づいてCPU21が行う。
The
図24は、図18に示した立体画像撮像装置20の撮像動作を説明するためのフローチャートである。
FIG. 24 is a flowchart for explaining the imaging operation of the stereoscopic
動作を開始すると、CPU21が、撮影モードが3Dモードか2Dモードかを判定する(ステップS21)。
When the operation is started, the
撮影モードが3Dモードであった場合はステップS22に進み、撮影モードが2Dモードであった場合はステップS29に進む。 If the shooting mode is the 3D mode, the process proceeds to step S22. If the shooting mode is the 2D mode, the process proceeds to step S29.
ステップS22では、CPU21が、撮像素子200により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてAE・AF処理を行い、F値、シャッタ速度、撮影レンズ系12のフォーカス位置を決定する。
In step S22, the
なお、仮撮像で撮像素子200から読み出す撮像画像信号は、画素Aからなる画素群、画素Bからなる画素群、画素Cからなる画素群、及び画素Dからなる画素群の4種類の画素群のうちのいずれか1つとすることで、AE・AF処理に要する時間を短縮することができる。
The captured image signal read from the
ステップS22の後、CPU21は、姿勢センサ30からの情報に基づいて、立体画像撮像装置20の姿勢を判定する(ステップS23)。
After step S22, the
立体画像撮像装置20の姿勢が縦撮りを行う姿勢であった場合はステップS24に進み、立体画像撮像装置20の姿勢が横撮りを行う姿勢であった場合はステップS25に進む。
If the stereoscopic
ステップS24では、CPU21が、デバイス制御部31を介して、液晶シャッタ15に、図23のFIG23Bに示したような水平方向Xに伸びる非透過領域15aを形成する。
In step S <b> 24, the
この非透過領域15aの垂直方向Yの幅は、第一実施形態で説明したように、F値、撮影距離、焦点距離、撮影シーンに応じて決めることができる。
As described in the first embodiment, the width of the
ステップS25では、CPU21が、デバイス制御部31を介して、液晶シャッタ15に、図23のFIG23Aに示したような垂直方向Yに伸びる非透過領域15aを形成する。
In step S25, the
この非透過領域15aの水平方向Xの幅は、第一実施形態で説明したように、F値、撮影距離、焦点距離、撮影シーンに応じて決めることができる。
As described in the first embodiment, the width of the
ステップS24,S25の後、ユーザから撮像指示があると、CPU21は、ステップS22で決定したF値、シャッタ速度、フォーカス位置にしたがって撮像素子200により本撮像を行う(ステップS26)。
If there is an imaging instruction from the user after steps S24 and S25, the
本撮像を終了すると、CPU21は、撮像素子200から撮像画像信号を読み出す(ステップS27)。
When the main imaging is finished, the
読み出された撮像画像信号は、画像処理部23で処理されて、右眼用撮像画像データと左眼用撮像画像データが生成されて、これらがメモリカード29に記録されると共に、こられが表示部25に立体表示される(ステップS28)。
The read captured image signal is processed by the
撮影モードが2Dモードであった場合に進むステップS29では、CPU21が、撮像素子200により仮撮像を行い、仮撮像によって得られた撮像画像信号に基づいてAE・AF処理を行い、F値、シャッタ速度、撮影レンズ系12のフォーカス位置を決定する。
In step S29 that proceeds when the shooting mode is the 2D mode, the
ステップS29の後、CPU21は、液晶シャッタ15の全面を透過状態にしたまま、決定したF値、シャッタ速度、フォーカス位置にしたがって撮像素子200により本撮像を行う(ステップS30)。
After step S29, the
本撮像を終了すると、CPU21は、組内の全ての画素の撮像信号を撮像素子200内部で画素加算し、全ての組から撮像画像信号(A+B+C+D)を出力させる(ステップS31)。
When the main imaging is completed, the
撮像素子200から出力された撮像画像信号(A+B+C+D)は、画像処理部23で処理されて、2Dの撮像画像データが生成され、この2Dの撮像画像データがメモリカード29に記録されると共に、表示部25に2D表示される(ステップS32)。
The captured image signal (A + B + C + D) output from the
以上のような動作により、高画質の2Dの撮像画像データと、高画質の3Dの撮像画像データを得ることができる。また、3Dモード時には、縦撮り、横撮りのどちらであっても、高画質の3Dの撮像画像データを得ることができる。 Through the above operation, high-quality 2D captured image data and high-quality 3D captured image data can be obtained. In the 3D mode, high-quality 3D captured image data can be obtained in either vertical shooting or horizontal shooting.
図25は、図18に示した立体画像撮像装置20における撮像素子200の変形例である撮像素子300の表面模式図である。この例ではCCD型イメージセンサであるが、CMOS型イメージセンサでも良い。
FIG. 25 is a schematic view of the surface of an
図25に示した撮像素子300では、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチずつずらして配列されており、各画素列に沿って形成される垂直電荷転送路(VCCD)42が、各画素41を避けるように蛇行して設けられている点が図19と異なるだけであるため、図19と同一部材には同一符号を付してその説明は省略する。
In the
撮像素子300でも4画素1組として同一色のカラーフィルタが積層されている。
In the
1組を構成する最隣接4画素の画素配列は、図26に示す様に4画素で構成される正方形を菱形状に配置して配列した構成となっており、1組毎に1つのマイクロレンズ47と同色カラーフィルタが積層される。 As shown in FIG. 26, the pixel arrangement of the four adjacent pixels constituting one set is a configuration in which squares constituted by four pixels are arranged in a diamond shape, and one microlens is set for each set. 47 and the same color filter are laminated.
菱形状配列の左角に設けられる画素Aと、上角に設けられる画素Bと、下角に設けられる画素Cと、右角に設けられる画素Dとが1つのマイクロレンズ下に設けられることで、瞳分割が行われる。 The pixel A provided at the left corner of the rhombus-shaped array, the pixel B provided at the upper corner, the pixel C provided at the lower corner, and the pixel D provided at the right corner are provided below one microlens. Splitting is performed.
画素Aと画素D、画素Cと画素Bは、それぞれ、横軸を瞳分割方向として、図7に示したような入射角感度特性を有している。 The pixel A and the pixel D and the pixel C and the pixel B have incident angle sensitivity characteristics as shown in FIG. 7 with the horizontal axis as the pupil division direction.
図27は、木49の画像を、図26の画素A〜Dを通して見たときの視点位置A〜Dを示す図である。視点A(画素A)は被写体49を若干左側から見ることになり、視点B(画素B)は被写体49を若干上側から見ることになり、視点C(画素C)は被写体49を若干下側から見ることになり、視点D(画素D)は被写体49を若干右側から見ることになる。
FIG. 27 is a diagram illustrating viewpoint positions A to D when an image of the
このような撮像素子300を搭載する立体画像撮像装置20は、次のようにして右眼用撮像画像データと左眼用撮像画像データを生成する。
The stereoscopic
例えば、横撮りの場合は、全ての画素Aから撮像画像信号(A)を読出し、全ての画素Dから撮像画像信号(D)を読み出す。 For example, in the case of horizontal shooting, the captured image signal (A) is read from all the pixels A, and the captured image signal (D) is read from all the pixels D.
画像処理部23は、読み出した撮像画像信号(A)を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号(D)を処理して右眼用撮像画像データを生成する。
The
一方、立体画像撮像装置20を左に90度回転させて行う縦撮りの場合は、全ての画素Bから撮像画像信号(B)を読出し、全ての画素Cから撮像画像信号(C)を読み出す。
On the other hand, in the case of vertical shooting performed by rotating the stereoscopic
画像処理部23は、読み出した撮像画像信号(B)を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号(C)を処理して右眼用撮像画像データを生成する。
The
また、立体画像撮像装置20を右に90度回転させて行う縦撮りの場合は、全ての画素Cから撮像画像信号(C)を読出し、全ての画素Bから撮像画像信号(B)を読み出す。
Further, in the case of vertical shooting performed by rotating the stereoscopic
画像処理部23は、読み出した撮像画像信号(C)を処理して左眼用撮像画像データを生成し、読み出した撮像画像信号(B)を処理して右眼用撮像画像データを生成する。
The
撮像素子300の場合でも、デバイス制御部31は、横撮りの場合は図23のFIG23Aに示したように非透過領域15aを形成し、縦撮りの場合は図23のFIG23Bに示したように非透過領域15aを形成する。
Even in the case of the
図19の撮像素子200と図25の撮像素子300が画素数同一でチップサイズも同一とすると、図26の撮像素子300の水平方向(画素A―画素D間)の視差が、図20の撮像素子200の水平方向(画素A―画素B間、画素C―画素D間)の視差より広くとれ、立体画像のデータとして有利となる。
When the
図19に示した撮像素子200を用いた場合は、次のようにして3つの3D画像データを1回の撮像で得ることも可能である。
When the
例えば、図20に示した画素Aの撮像画像信号と画素Cの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ(A+C)と、画素Bの撮像画像信号と画素Dの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ(B+D)とから1つの3D撮像画像データ(A+C:B+D)を生成し、画素Aの撮像画像信号と画素Bの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ(A+B)と、画素Cの撮像画像信号と画素Dの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ(C+D)とから1つの3D撮像画像データ(A+B:C+D)を生成し、画素Cの撮像画像信号と画素Dの撮像画像信号を加算した撮像画像信号に基づく右眼用撮像画像データ(C+D)と、画素Aの撮像画像信号と画素Bの撮像画像信号を加算した撮像画像信号に基づく左眼用撮像画像データ(A+B)とから1つの3D撮像画像データ(C+D:A+B)を生成することができる。 For example, the right-eye captured image data (A + C) based on the captured image signal obtained by adding the captured image signal of the pixel A and the captured image signal of the pixel C illustrated in FIG. 20, the captured image signal of the pixel B, and the captured image of the pixel D One 3D captured image data (A + C: B + D) is generated from the captured image data (B + D) for the left eye based on the captured image signal obtained by adding the image signals, and the captured image signal of the pixel A and the captured image signal of the pixel B are generated. From the captured image data for the right eye (A + B) based on the added captured image signal and the captured image data for the left eye (C + D) based on the captured image signal obtained by adding the captured image signal of the pixel C and the captured image signal of the pixel D One 3D captured image data (A + B: C + D) is generated, and right-eye captured image data (C + D) based on a captured image signal obtained by adding the captured image signal of the pixel C and the captured image signal of the pixel D, and the pixel A Image signal and the left-eye image data based on the captured image signal obtained by adding an image signal of the pixel B (A + B) and from one 3D image data (C + D: A + B) can be generated.
本撮像時には、3D撮像画像データ(A+C:B+D)と3D撮像画像データ(A+B:C+D)と3D撮像画像データ(C+D:A+B)を生成して記録しておい、再生時には、ユーザの視点に応じて、これらのいずれかを再生することで、ユーザの視点の変化に対応した3D画像の再生が可能になる。 3D captured image data (A + C: B + D), 3D captured image data (A + B: C + D), and 3D captured image data (C + D: A + B) are generated and recorded at the time of actual imaging. By reproducing any of these, it is possible to reproduce a 3D image corresponding to a change in the user's viewpoint.
例えば、ユーザの視点(右眼と左眼を結ぶ線の方向)が水平方向であった場合は、水平方向に視差を持つ3D撮像画像データ(A+C:B+D)を再生することで、ユーザは、問題なく立体視を行うことができる。 For example, when the user's viewpoint (the direction of the line connecting the right eye and the left eye) is in the horizontal direction, by reproducing 3D captured image data (A + C: B + D) having a parallax in the horizontal direction, the user can Stereoscopic viewing can be performed without problems.
また、ユーザの視点が垂直方向であった場合は、垂直方向に視差を持つ3D撮像画像データ(A+B:C+D)又は3D撮像画像データ(C+D:A+B)を再生することで、ユーザは、問題なく立体視を行うことができる。 When the user's viewpoint is the vertical direction, the user can play the 3D captured image data (A + B: C + D) or 3D captured image data (C + D: A + B) having a parallax in the vertical direction without any problem. Stereoscopic viewing can be performed.
このような機能を立体画像撮像装置20に持たせる場合、デバイス制御部31は、3Dモード時において、図28に示すように、開口16aを水平方向X及び垂直方向Yに均等に4分割するように、液晶シャッタ15の液晶層に非透過領域15bを形成する。
When the stereoscopic
このようにすることで、3D撮像画像データ(A+C:B+D)、3D撮像画像データ(A+B:C+D)、3D撮像画像データ(C+D:A+B)のいずれも、良好な視差を得ることができる。 By doing in this way, the 3D captured image data (A + C: B + D), the 3D captured image data (A + B: C + D), and the 3D captured image data (C + D: A + B) can all obtain good parallax.
なお、図25に示した撮像素子300を用いた場合でも、デバイス制御部31が同様の制御を行うことで、良好な視差を持つ3つの3D撮像画像データを1回の撮像で得ることができる。
Note that even when the
なお、3つの3D撮像画像データは、本撮像終了後、メモリカード29に記録する前に生成してしまってもよいし、本撮像時には4つの視点の撮像画像データをメモリカード29に記録し、再生時に、ユーザの視点に応じた3D撮像画像データを生成して、表示させるようにしてもよい。
The three 3D captured image data may be generated after the main imaging is completed and before being recorded on the
これまでの説明では、液晶シャッタ15によって絞り16の開口16aの一部を遮蔽するものとしたが、これに限らない。
In the above description, a part of the
例えば、黒塗料を塗った部材を絞り16と撮像素子100(200、300)との間に出し入れ可能とし、3Dモード時には、デバイス制御部31が、この部材を絞り16と撮像素子100(200、300)の間に挿入する制御を行ってもよい。この場合、この部材の幅を変えられるようにしたり、部材を回転させることができるようにしたりしておくことが好ましい。
For example, a member coated with black paint can be taken in and out between the
以上説明してきたように、本明細書には次の事項が開示されている。 As described above, the following items are disclosed in this specification.
開示された立体画像撮像装置は、単一の撮影光学系と前記撮影光学系を通った光を受光する単一の撮像素子とを有する立体画像撮像装置であって、前記撮影光学系は、撮影レンズ系と絞りを含み、前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する2種類又は4種類の画素を含み、前記2種類又は4種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に2分割するように前記開口の一部を遮蔽する遮蔽部と、前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備えるものである。本明細書では、撮影時の、絞りのF値、撮影光学系の焦点距離、撮影距離(被写体距離)、撮影シーン、撮影モード(2Dモード、3Dモード)のことを総称して撮影条件と定義する。 The disclosed stereoscopic imaging device is a stereoscopic imaging device having a single imaging optical system and a single imaging element that receives light passing through the imaging optical system, and the imaging optical system A lens system and a diaphragm, and the imaging element includes two or four types of pixels that receive light that has passed through different pupil regions of the photographing optical system, and the two or four types of pixels are in plan view. A shielding part that is arranged two-dimensionally in a horizontal direction and a vertical direction perpendicular to the horizontal direction and shields a part of the aperture of the diaphragm and restricts light incident on the image sensor, as viewed in the optical axis direction The aperture of the diaphragm is shielded by the shielding portion by controlling the shielding portion and shielding a portion of the opening so as to equally divide the aperture of the diaphragm into at least one of the horizontal direction and the vertical direction. Take a picture of the size of the shielding area of the opening It is intended and a shielding area change control unit that changes depending on the matter. In this specification, the F value of the aperture, the focal length of the photographing optical system, the photographing distance (subject distance), the photographing scene, and the photographing modes (2D mode and 3D mode) at the time of photographing are collectively defined as photographing conditions. To do.
開示された立体画像撮像装置は、前記2種類又は4種類の画素のうち、隣接して配置された互いに異なる種類の2つの画素の各々が受光する光の通過する前記瞳領域が、互いに重なっているものである。 In the disclosed stereoscopic image capturing apparatus, the pupil regions through which light received by two different types of adjacently arranged pixels out of the two or four types of pixels overlap each other. It is what.
開示された立体画像撮像装置は、前記2種類又は4種類の画素のうち、隣接して配置された互いに異なる種類の2つの画素は、横軸を光の入射角とし縦軸を感度とした入射角感度特性が、前記縦軸を境にして線対称であり、かつ、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なりを有しているものである。 In the disclosed stereoscopic image capturing apparatus, two different types of adjacently arranged pixels among the two or four types of pixels are incident with the horizontal axis as the light incident angle and the vertical axis as the sensitivity. The angular sensitivity characteristic is line symmetric with respect to the vertical axis, and the incident angle range having the sensitivity of one pixel overlaps the incident angle range having the sensitivity of the other pixel. is there.
開示された立体画像撮像装置は、1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記撮影レンズ系の焦点距離が短いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くするものである。 The disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode that records a plurality of image data with parallax in one imaging, and the shielding region change control unit is configured to The shorter the focal length, the wider the width of at least one of the horizontal direction and the vertical direction of the shielding area.
開示された立体画像撮像装置は、1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影距離が遠いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くするものである。 The disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode in which a plurality of image data with parallax is recorded by one imaging, and the shielding area change control unit is configured so that the shooting distance is longer in the stereoscopic shooting mode. A width of at least one of the horizontal direction and the vertical direction of the shielding area is widened.
開示された立体画像撮像装置は、1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記絞りのF値に応じて前記遮蔽領域の幅を変更するものである。 The disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode for recording a plurality of image data having parallax in one imaging, and the shielding area change control unit is configured to have an F value of the aperture in the stereoscopic shooting mode. The width of the shielding area is changed according to the above.
開示された立体画像撮像装置は、前記遮蔽領域変更制御部が、前記絞りのF値が大きいほど前記遮蔽領域の幅を狭くするものである。 In the disclosed stereoscopic image capturing apparatus, the shielding area change control unit narrows the width of the shielding area as the F value of the diaphragm increases.
開示された立体画像撮像装置は、1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影シーンに応じて前記遮蔽領域の幅を変更するものである。 The disclosed stereoscopic image capturing apparatus has a stereoscopic shooting mode that records a plurality of image data with parallax in one imaging, and the shielding area change control unit is in accordance with the shooting scene in the stereoscopic shooting mode. The width of the shielding area is changed.
開示された立体画像撮像装置は、前記遮蔽領域変更制御部が、被写体の明るさが閾値以下のときは、前記幅がゼロとなるように前記遮蔽部を制御するものである。 In the disclosed stereoscopic image capturing apparatus, the shielding region change control unit controls the shielding unit so that the width becomes zero when the brightness of the subject is equal to or less than a threshold value.
開示された立体画像撮像装置は、1回の撮像で1つの画像データを記録する平面撮影モードを有し、前記遮蔽領域変更制御部は、前記平面撮影モード時には前記幅がゼロとなるように前記遮蔽部を制御するものである。 The disclosed stereoscopic image capturing apparatus has a planar shooting mode in which one image data is recorded by one imaging, and the shielding area change control unit is configured to reduce the width to zero in the planar shooting mode. The shielding part is controlled.
開示された立体画像撮像装置は、前記平面撮影モード時に、隣接して配置された互いに異なる種類の2つ又は4つの画素の撮像信号を加算した信号を用いて画像データを生成する画像データ生成部を備えるものである。 The disclosed stereoscopic image capturing apparatus includes an image data generating unit that generates image data using a signal obtained by adding imaging signals of two or four different types of pixels arranged adjacent to each other in the plane photographing mode. Is provided.
開示された立体画像撮像装置は、前記撮像素子が、前記4種類の画素を含み、かつ、異なる種類の互いに隣接して配置された4つの画素からなる組を二次元状に配置した構成であり、前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記水平方向と地面とが平行になる横撮りのときは、前記開口を前記水平方向に均等に2分割するように前記遮蔽部を制御し、前記垂直方向と地面とが平行になる縦撮りのときは、前記開口を前記垂直方向に均等に2分割するように前記遮蔽部を制御するものである。 The disclosed stereoscopic image capturing apparatus has a configuration in which the imaging element includes the four types of pixels, and a set of four types of pixels arranged adjacent to each other is two-dimensionally arranged. The shielding region change control unit controls the shielding unit so that the opening is equally divided into two in the horizontal direction when the horizontal shooting is performed in parallel with the horizontal direction in the stereoscopic shooting mode. In the vertical shooting where the vertical direction and the ground are parallel, the shielding unit is controlled so that the opening is equally divided into two in the vertical direction.
開示された立体画像撮像装置は、前記撮像素子が、前記4種類の画素を含み、かつ、異なる種類の互いに隣接して配置された4つの画素からなる組を二次元状に配置した構成であり、前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記開口を前記水平方向に均等に2分割し、かつ、前記垂直方向に均等に2分割するように前記遮蔽部を制御するものである。 The disclosed stereoscopic image capturing apparatus has a configuration in which the imaging element includes the four types of pixels, and a set of four types of pixels arranged adjacent to each other is two-dimensionally arranged. The shielding area change control unit controls the shielding part so that the opening is equally divided into two in the horizontal direction and equally divided into two in the vertical direction in the stereoscopic shooting mode. .
開示された立体画像撮像装置は、前記遮蔽部が、印加電圧制御により光を透過する領域と光を透過しない領域を任意に形成可能な素子であり、前記遮蔽領域変更制御部が、前記素子に供給する電圧を制御して前記光を透過しない領域の大きさを変更することで前記遮蔽領域の大きさを変更するものである。 In the disclosed stereoscopic image capturing device, the shielding unit is an element capable of arbitrarily forming a region that transmits light and a region that does not transmit light by applying voltage control, and the shielding region change control unit is provided in the element. The size of the shielding region is changed by changing the size of the region that does not transmit the light by controlling the supplied voltage.
開示された立体画像撮像装置は、前記2種類又は4種類の画素群の各々に属する画素の総数が同一であるものである。 In the disclosed stereoscopic image capturing apparatus, the total number of pixels belonging to each of the two or four types of pixel groups is the same.
100 撮像素子
10 立体画像撮像装置
12 撮影レンズ系
16 絞り
16a 絞り開口
15 液晶シャッタ
15a 非透過領域
DESCRIPTION OF
Claims (15)
前記撮影光学系は、撮影レンズ系と絞りを含み、
前記撮像素子は、前記撮影光学系の異なる瞳領域を通過した光を受光する2種類又は4種類の画素を含み、
前記2種類又は4種類の画素は、平面視において水平方向とこれに直交する垂直方向に二次元状に配列され、
前記絞りの開口の一部を遮蔽して前記撮像素子に入射する光を制限する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記水平方向及び前記垂直方向の少なくとも一方に均等に2分割するように前記開口の一部を遮蔽する遮蔽部と、
前記遮蔽部を制御して、前記遮蔽部によって遮蔽される前記開口の遮蔽領域の大きさを撮影条件に応じて変更する遮蔽領域変更制御部とを備える立体画像撮像装置。 A stereoscopic imaging device having a single imaging optical system and a single imaging element that receives light passing through the imaging optical system,
The photographing optical system includes a photographing lens system and a diaphragm,
The imaging element includes two or four types of pixels that receive light that has passed through different pupil regions of the photographing optical system,
The two or four types of pixels are two-dimensionally arranged in a horizontal direction and a vertical direction perpendicular thereto in plan view,
A shielding unit that shields a part of the aperture of the diaphragm and restricts light incident on the image sensor, and the aperture of the diaphragm viewed in the optical axis direction is at least one of the horizontal direction and the vertical direction. A shielding part that shields a part of the opening so as to be equally divided into two;
A stereoscopic image capturing apparatus comprising: a shielding region change control unit that controls the shielding unit to change a size of a shielding region of the opening that is shielded by the shielding unit according to a photographing condition.
前記2種類又は4種類の画素のうち、隣接して配置された互いに異なる種類の2つの画素の各々が受光する光の通過する前記瞳領域が、互いに重なっている立体画像撮像装置。 The stereoscopic image capturing apparatus according to claim 1,
A stereoscopic image capturing apparatus in which the pupil regions through which light received by two different types of adjacently arranged pixels out of the two or four types of pixels overlap each other.
前記2種類又は4種類の画素のうち、隣接して配置された互いに異なる種類の2つの画素は、横軸を光の入射角とし縦軸を感度とした入射角感度特性が、前記縦軸を境にして線対称であり、かつ、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なりを有している立体画像撮像装置。 The stereoscopic image capturing apparatus according to claim 2,
Of the two or four types of pixels, two pixels of different types arranged adjacent to each other have an incident angle sensitivity characteristic in which the horizontal axis represents the light incident angle and the vertical axis represents the sensitivity. A three-dimensional image pickup apparatus that is line symmetric with respect to a boundary and has an overlapping incident angle range having the sensitivity of one pixel and an incident angle range having the sensitivity of the other pixel.
1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記撮影レンズ系の焦点距離が短いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くする立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 1 to 3,
It has a stereoscopic shooting mode for recording a plurality of image data with parallax in one imaging,
The stereoscopic image capturing apparatus in which the shielding area change control unit widens at least one of the horizontal direction and the vertical direction of the shielding area as the focal length of the photographing lens system is shorter in the stereoscopic photographing mode.
1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影距離が遠いほど前記遮蔽領域の前記水平方向及び前記垂直方向の少なくとも一方の幅を広くする立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 1 to 3,
It has a stereoscopic shooting mode for recording a plurality of image data with parallax in one imaging,
In the stereoscopic imaging mode, the shielding area change control unit increases the width of at least one of the horizontal direction and the vertical direction of the shielding area as the photographing distance increases.
1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
前記遮蔽領域変更制御部が、前記立体撮影モード時には、前記絞りのF値に応じて前記遮蔽領域の幅を変更する立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 1 to 5,
It has a stereoscopic shooting mode for recording a plurality of image data with parallax in one imaging,
The stereoscopic image capturing apparatus in which the shielding area change control unit changes the width of the shielding area according to the F value of the diaphragm in the stereoscopic photographing mode.
前記遮蔽領域変更制御部が、前記絞りのF値が大きいほど前記遮蔽領域の幅を狭くする立体画像撮像装置。 The stereoscopic image capturing apparatus according to claim 6,
The stereoscopic image capturing apparatus, wherein the shielding area change control unit narrows the shielding area as the F value of the diaphragm increases.
1回の撮像で視差のある複数の画像データを記録する立体撮影モードを有し、
前記遮蔽領域変更制御部が、前記立体撮影モード時には、撮影シーンに応じて前記遮蔽領域の幅を変更する立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 1 to 5,
It has a stereoscopic shooting mode for recording a plurality of image data with parallax in one imaging,
The stereoscopic image capturing apparatus, wherein the shielding area change control unit changes a width of the shielding area according to a photographing scene in the stereoscopic photographing mode.
前記遮蔽領域変更制御部が、被写体の明るさが閾値以下のときは、前記幅がゼロとなるように前記遮蔽部を制御する立体画像撮像装置。 The stereoscopic image capturing apparatus according to claim 8,
A stereoscopic image capturing apparatus that controls the shielding unit so that the width becomes zero when the brightness of the subject is equal to or less than a threshold value.
1回の撮像で1つの画像データを記録する平面撮影モードを有し、
前記遮蔽領域変更制御部は、前記平面撮影モード時には前記幅がゼロとなるように前記遮蔽部を制御する立体画像撮像装置。 It is a three-dimensional image pick-up device according to any one of claims 4 to 9,
It has a plane shooting mode in which one image data is recorded by one imaging,
The said shielding area change control part is a stereo image imaging device which controls the said shielding part so that the said width | variety may become zero at the time of the said plane imaging mode.
前記平面撮影モード時に、隣接して配置された互いに異なる種類の2つ又は4つの画素の撮像信号を加算した信号を用いて画像データを生成する画像データ生成部を備える立体画像撮像装置。 The stereoscopic image capturing apparatus according to claim 10,
A stereoscopic image capturing apparatus including an image data generation unit that generates image data using a signal obtained by adding image signals of two or four different types of pixels arranged adjacent to each other in the plane photographing mode.
前記撮像素子が、前記4種類の画素を含み、かつ、異なる種類の互いに隣接して配置された4つの画素からなる組を二次元状に配置した構成であり、
前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記水平方向と地面とが平行になる横撮りのときは、前記開口を前記水平方向に均等に2分割するように前記遮蔽部を制御し、前記垂直方向と地面とが平行になる縦撮りのときは、前記開口を前記垂直方向に均等に2分割するように前記遮蔽部を制御する立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 4 to 11,
The image pickup device includes the four types of pixels, and is a configuration in which a set of four types of pixels arranged adjacent to each other is two-dimensionally arranged.
In the stereoscopic shooting mode, the shielding area change control unit controls the shielding part so that the opening is equally divided into two in the horizontal direction when the horizontal direction is parallel to the ground. A stereoscopic image capturing apparatus that controls the shielding unit so that the opening is equally divided into two in the vertical direction during vertical shooting in which the vertical direction and the ground are parallel.
前記撮像素子が、前記4種類の画素を含み、かつ、異なる種類の互いに隣接して配置された4つの画素からなる組を二次元状に配置した構成であり、
前記遮蔽領域変更制御部は、前記立体撮影モードにおいて、前記開口を前記水平方向に均等に2分割し、かつ、前記垂直方向に均等に2分割するように前記遮蔽部を制御する立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 4 to 11,
The image pickup device includes the four types of pixels, and is a configuration in which a set of four types of pixels arranged adjacent to each other is two-dimensionally arranged.
The shielding area change control unit controls the shielding unit so that the opening is equally divided into two in the horizontal direction and equally divided into two in the vertical direction in the stereoscopic shooting mode. .
前記遮蔽部が、印加電圧制御により光を透過する領域と光を透過しない領域を任意に形成可能な素子であり、
前記遮蔽領域変更制御部が、前記素子に供給する電圧を制御して前記光を透過しない領域の大きさを変更することで前記遮蔽領域の大きさを変更する立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 1 to 13,
The shield is an element that can arbitrarily form a region that transmits light and a region that does not transmit light by controlling applied voltage,
The stereoscopic image capturing apparatus in which the shielding region change control unit changes the size of the shielding region by controlling the voltage supplied to the element to change the size of the region that does not transmit the light.
前記2種類又は4種類の画素群の各々に属する画素の総数が同一である立体画像撮像装置。 The stereoscopic image capturing apparatus according to any one of claims 1 to 14,
A stereoscopic image capturing apparatus in which the total number of pixels belonging to each of the two or four types of pixel groups is the same.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010150577A JP2013201466A (en) | 2010-06-30 | 2010-06-30 | Stereoscopic image pickup device |
PCT/JP2011/064906 WO2012002430A1 (en) | 2010-06-30 | 2011-06-29 | Stereoscopic image capture device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010150577A JP2013201466A (en) | 2010-06-30 | 2010-06-30 | Stereoscopic image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013201466A true JP2013201466A (en) | 2013-10-03 |
Family
ID=45402135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010150577A Pending JP2013201466A (en) | 2010-06-30 | 2010-06-30 | Stereoscopic image pickup device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013201466A (en) |
WO (1) | WO2012002430A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018012492A1 (en) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | Imaging device, imaging element, and image processing device |
JP2019525208A (en) * | 2016-08-24 | 2019-09-05 | アウスター インコーポレイテッド | Optical system for collecting distance information in the field |
US11601581B2 (en) | 2018-12-18 | 2023-03-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5924943B2 (en) * | 2012-01-06 | 2016-05-25 | キヤノン株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
JP5962092B2 (en) * | 2012-03-16 | 2016-08-03 | ソニー株式会社 | Image processing apparatus and image processing method |
CN109246400B (en) * | 2012-03-30 | 2021-02-19 | 株式会社尼康 | Imaging element and imaging device |
KR101993240B1 (en) * | 2012-03-30 | 2019-06-26 | 삼성전자주식회사 | Light path adjusting device and photographing apparatus with the same |
CN105359519B (en) * | 2013-07-05 | 2017-07-04 | 株式会社尼康 | Camera head |
CN113141475B (en) * | 2020-01-17 | 2024-02-02 | 思特威(上海)电子科技股份有限公司 | Imaging system and pixel merging method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960702716A (en) * | 1994-03-28 | 1996-04-27 | 제임스 앨린 이반스 | TWO-DIMENSIONAL AND THREE-DIMENSIONAL IMAGING DEVICE |
JPH0869063A (en) * | 1994-08-29 | 1996-03-12 | Olympus Optical Co Ltd | Device and method for stereoscopic picture recording |
JPH10224821A (en) * | 1997-02-07 | 1998-08-21 | Canon Inc | Compound-eye camera and video display system using the same |
JP2000134641A (en) * | 1998-10-22 | 2000-05-12 | Sanyu Seni:Kk | Digital still camera for stereoscopic photographing |
JP2001061165A (en) * | 1999-08-20 | 2001-03-06 | Sony Corp | Lens device and camera |
JP2001222083A (en) * | 2000-02-07 | 2001-08-17 | Canon Inc | Image pickup device, method of controlling image pickup device, and medium that supplies program in whch controlling method is described to computer |
JP4198325B2 (en) * | 2001-03-06 | 2008-12-17 | 株式会社フォトロン | Multi-screen spectroscopic equipment |
JP5531483B2 (en) * | 2008-08-29 | 2014-06-25 | ソニー株式会社 | Imaging apparatus and video recording / reproducing system |
JP5621303B2 (en) * | 2009-04-17 | 2014-11-12 | ソニー株式会社 | Imaging device |
-
2010
- 2010-06-30 JP JP2010150577A patent/JP2013201466A/en active Pending
-
2011
- 2011-06-29 WO PCT/JP2011/064906 patent/WO2012002430A1/en active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018012492A1 (en) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | Imaging device, imaging element, and image processing device |
JPWO2018012492A1 (en) * | 2016-07-13 | 2019-04-25 | ソニー株式会社 | Imaging device, imaging device, and image processing apparatus |
JP2019525208A (en) * | 2016-08-24 | 2019-09-05 | アウスター インコーポレイテッド | Optical system for collecting distance information in the field |
JP2021047208A (en) * | 2016-08-24 | 2021-03-25 | アウスター インコーポレイテッド | Optical system for collecting distance information within field |
JP7095063B2 (en) | 2016-08-24 | 2022-07-04 | アウスター インコーポレイテッド | Optical system for collecting distance information in the field |
US11422236B2 (en) | 2016-08-24 | 2022-08-23 | Ouster, Inc. | Optical system for collecting distance information within a field |
US11601581B2 (en) | 2018-12-18 | 2023-03-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2012002430A1 (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11736676B2 (en) | Imaging apparatus and image sensor array | |
WO2012002430A1 (en) | Stereoscopic image capture device | |
JP5628913B2 (en) | Imaging apparatus and imaging method | |
CN101995758B (en) | Imaging device and video recording/reproducing system | |
WO2011118077A1 (en) | Three-dimensional imaging device, and disparity image restoration method | |
JP2012015819A (en) | Stereoscopic image imaging apparatus | |
WO2012133106A1 (en) | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program | |
CN103597811B (en) | Take the image-capturing element of Three-dimensional movable image and planar moving image and be equipped with its image capturing device | |
CN104508531A (en) | Imaging element and imaging device | |
US11747714B2 (en) | Image sensor and image-capturing device that selects pixel signal for focal position | |
RU2567438C1 (en) | Image forming device and method of controlling same | |
KR20120094864A (en) | Image capture apparatus and image signal processing apparatus | |
JP2012133185A (en) | Imaging apparatus | |
WO2012169301A1 (en) | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device | |
JP3676916B2 (en) | Stereoscopic imaging device and stereoscopic display device | |
JP5634614B2 (en) | Imaging device and imaging apparatus | |
JP2012015818A (en) | Three-dimensional image display device and display method | |
JP2010204385A (en) | Stereoscopic imaging apparatus and method | |
JP5907668B2 (en) | Imaging device and imaging device | |
WO2012117619A1 (en) | 3d imaging device | |
WO2012132088A1 (en) | Imaging apparatus and interchangeable lens | |
WO2013042606A1 (en) | Digital camera and solid-state image capturing device | |
WO2013047080A1 (en) | Three-dimensional imaging device | |
JP5853510B2 (en) | Imaging device | |
JP2012042857A (en) | Imaging apparatus |