JP2013057744A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2013057744A JP2013057744A JP2011195134A JP2011195134A JP2013057744A JP 2013057744 A JP2013057744 A JP 2013057744A JP 2011195134 A JP2011195134 A JP 2011195134A JP 2011195134 A JP2011195134 A JP 2011195134A JP 2013057744 A JP2013057744 A JP 2013057744A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- pixel
- light beam
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 230000004907 flux Effects 0.000 claims abstract description 38
- 210000001747 pupil Anatomy 0.000 claims abstract description 25
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 10
- 230000000903 blocking effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
立体視用の画像データを取得するステレオカメラが知られている(特許文献1参照)。 A stereo camera that acquires image data for stereoscopic viewing is known (see Patent Document 1).
従来技術では、2系統の撮影光学系を必要としていた。 In the prior art, two systems of photographing optical systems are required.
本発明による撮像装置は、撮影光学系の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、第1光束を受光する複数の第1画素および第2光束を受光する複数の第2画素をそれぞれ有する撮像素子と、撮像素子から出力された画像データのうち、複数の第1画素から出力されたデータによって形成される第1画像データ、および複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに画像データをそれぞれ記憶媒体に記憶させる制御手段と、を備えることを特徴とする。 An imaging apparatus according to the present invention includes a plurality of first pixels and a second light beam that receive a first light beam among subject light beams that are divided into a first light beam and a second light beam corresponding to different pupil positions of a photographing optical system. Image sensors each having a plurality of second pixels to receive light, and first image data formed by data output from a plurality of first pixels among image data output from the image sensor, and a plurality of second pixels And control means for storing each of the image data in a storage medium, and information for distinguishing each of the second image data formed by the data output from the image data.
本発明によれば、好適な立体視用の画像を取得できる。 According to the present invention, a suitable stereoscopic image can be acquired.
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による電子カメラ1の構成例を説明するブロック図である。図1において、電子カメラ1は、撮影光学系11と、撮像素子12と、画像処理部13と、RAM14と、LCDモニタ15と、CPU16と、不揮発性メモリ17と、カードインターフェース(I/F)18と、通信インターフェース(I/F)19と、操作部材20とを備える。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of an
CPU16、不揮発性メモリ17、カードインターフェース18、通信インターフェース19、画像処理部13、RAM14およびLCDモニタ15は、それぞれがバス25を介して接続されている。
The
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
The photographing
撮像素子12は、画素を構成する受光素子のフォトダイオードが受光面に二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による像を光電変換し、デジタル画像データを生成する。デジタル画像データは、画像処理部13に入力される。画像処理部13は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。
The
LCDモニタ15は液晶パネルなどによって構成される。LCDモニタ15は、CPU16からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。RAM14は、画像処理部13による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、CPU16によるプログラム実行時に用いられる。RAM14は、電源オフ時には記憶内容を消失する揮発性メモリである。不揮発性メモリ17は、フラッシュメモリなどによって構成される。不揮発性メモリ17は、電源オフ時に記憶内容を消失することなく保持するので、CPU16が実行するプログラムなどを記憶する。
The
CPU16は、不揮発性メモリ17が記憶するプログラムを実行することにより、電子カメラ1が行う動作を制御する。カードインターフェース18はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記憶媒体30が接続される。カードインターフェース18は、接続された記憶媒体30に対するデータの書き込みや、記憶媒体30からのデータの読み込みを行う。記憶媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
The
通信インターフェース19は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体30が記憶している画像データなどを外部機器へ送信したりする。操作部材20は、レリーズボタンやメニュースイッチなどを含む。操作部材20は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号をCPU16へ送出する。
For example, the
上述した撮像素子12の詳細な構成を説明する。本実施形態では、立体像用画素および平面像用画素が、それぞれ撮像面の略全域にわたって設けられる。図2は、立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
A detailed configuration of the
図2において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213とが設けられる。オンチップレンズ210はフォトダイオード213に対して撮影光学系11側(図2において上側)に配置され、フォトダイオード213は撮像素子12内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
In FIG. 2, a stereoscopic image pixel is provided with an on-
光軸Axは、撮影光学系11の光軸である。射出瞳11Aは、オンチップレンズ210および、フォトダイオード213の光軸Axより右側部分に対応する。射出瞳11Bは、オンチップレンズ210および、フォトダイオード213の光軸Axより左側部分に対応する。一対の瞳領域11A、11Bを通過した一対の被写体光束A、Bは、それぞれオンチップレンズ210を介してフォトダイオード213側へ進行する。このうち、光束Aはフォトダイオード213の右側部分へ到達して受光されるが、光束Bは遮光部材212によって遮られるので、フォトダイオード213で受光されない。図2では、光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
The optical axis Ax is the optical axis of the photographing
遮光部材212を光軸Axの右側へ配置して光束Aを遮るように構成すると、光束Bはフォトダイオード213の光軸Axより左側部分へ到達して受光されるようになる。一方、光束Aは遮光部材212によって遮られるので、フォトダイオード213で受光されなくなる。このような光束Bを受光する画素(不図示)と上述した光束Aを受光する画素(図2)とを撮像面において混在させることで、それぞれ瞳分割された光束による像が撮像されることになる。この結果、光束Aに基づくA成分の画像データと、光束Bに基づくB成分の画像データとが得られる。
When the
図3は、平面像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。図3において、平面像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード211とが設けられる。オンチップレンズ210はフォトダイオード211に対して撮影光学系11側(図3において上側)に配置され、フォトダイオード211は撮像素子12内の半導体回路基板(不図示)上に形成される。平面像用画素は立体像用画素とは異なり、遮光部材212が設けられないので、瞳分割されない被写体光束による像が撮像される。なお、光軸Axは撮影光学系11の光軸である。図3では、光軸Ax上にある平面像用画素の場合を例示しているが、光軸Ax上にない平面像用画素においても同様の構成である。
FIG. 3 is a diagram illustrating an enlarged cross-sectional view of a planar image pixel and a pixel plan view per unit pixel. In FIG. 3, an on-
図4は、撮像素子12における立体像用画素と平面像用画素の配置を例示する図である。図4において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
FIG. 4 is a diagram illustrating the arrangement of stereoscopic image pixels and planar image pixels in the
立体像用画素によって取得されたA成分による被写体像、およびB成分による被写体像からなる一対の被写体像は、撮影光学系11が予定焦点面よりも前に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において被写体の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、被写体までの距離(すなわち奥行き情報)に対応する。
A pair of subject images made up of a subject image based on the A component and a subject image based on the B component acquired by the stereoscopic image pixels is a so-called front pin state in which the photographing
本実施形態の電子カメラ1は、上述したA成分による撮影画像、およびB成分による撮影画像を用いて立体視画像を得る。図5は、CPU16が実行する撮影処理の流れを説明するフローチャートである。CPU16は、操作部材20を構成する不図示のモード切替えダイヤルの回転操作によって「ステレオ撮影モード」に設定されている場合に、図5に例示した処理を実行するプログラムを起動する。
The
図5のステップS11において、CPU16は、撮影指示が行われたか否かを判定する。CPU16は、操作部材20を構成するレリーズボタンが押下操作されると、ステップS11を肯定判定してステップS12へ進む。CPU16は、レリーズボタンが押下操作されない場合には、ステップS11を否定判定してステップS18へ進む。
In step S <b> 11 of FIG. 5, the
ステップS18において、CPU16は、タイムアップか否かを判定する。CPU16は、所定時間(たとえば、5秒)を計時した場合にステップS18を肯定判定して図5による処理を終了する。CPU16は、計時時間が所定時間に満たない場合には、ステップS18を否定判定してステップS11へ戻る。
In step S18, the
ステップS12において、CPU16は、AE処理を行う。CPU16は、たとえば、撮像素子12に所定時間の蓄積動作を行わせ、撮像素子12の所定の測光領域(たとえば撮影画面の中央に相当する領域)に含まれる平面像用画素からの信号値に基づいて露出演算を行う。この露出演算結果に基づいて撮影時に用いるAVおよびTVを決定する。CPU16は、以上のAE処理を行うとステップS13へ進む。
In step S12, the
ステップS13において、CPU16は撮影処理を行ってステップS14へ進む。具体的には、上記AVに基づいて不図示の絞り制御部を制御し、上記TVに基づいて撮像素子12の蓄積時間を制御する。ステップS14において、CPU16は画像処理部13へ指示を送り、取得された画像データに対して上記各画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を行わせる。
In step S13, the
画像処理部13は、光束Aを受光する立体像用画素(図2)によるA成分の撮影画像、光束Bを受光する立体像用画素によるB成分の撮影画像、および平面像用画素による撮影画像について、それぞれ画像処理を行う。図4に例示した通り、「A」、「B」および「C」で表した画素配列はあらかじめ決まっているので、各画素位置に対応するデータが「A」、「B」および「C」のいずれに対応するかを示す情報が、あらかじめプログラムデータに含まれている。CPU16は、画像処理部13に画像処理を行わせるとステップS15へ進む。
The
ステップS15において、CPU16は、LCDモニタ15に撮影画像を表示させる。CPU16は、たとえば、A成分の撮影画像とB成分の撮影画像とを所定の表示レートで交互に表示させる。ユーザーは、LCDモニタ15に表示された立体視画像を確認できる。CPU16は、LCDモニタ15に表示を行わせるとステップS16へ進む。
In step S <b> 15, the
ステップS16において、CPU16は画像ファイルを生成する。CPU16は、たとえば、代表画像ファイルと本体画像ファイルとをそれぞれ記録させる。代表画像ファイルと本体画像ファイルは同一のファイル名称を有し、拡張子が異なる構成とする。代表画像ファイルには、たとえば平面像用画素による撮影画像データを含め、拡張子を「JPG」とする。本体画像ファイルには、A成分の撮影画像データおよびB成分の撮影画像データをそれぞれ含め、拡張子を「MPO」とする。CPU16は、画像ファイルを生成するとステップS17へ進む。
In step S16, the
ステップS17において、CPU16はカードインターフェース18へ指示を送り、画像ファイルを記憶媒体30に記録させて図5による処理を終了する。
In step S17, the
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、撮影光学系11の異なる瞳11A、11Bの位置に対応する光束Aと光束Bとに分割された被写体光束のうち、光束Aを受光する複数の立体像用画素および光束Bを受光する立体像用画素をそれぞれ有する撮像素子12と、撮像素子12から出力された撮影画像データのうち、光束Aを受光する複数の立体像用画素から出力されたデータによって形成されるA成分の撮影画像データ、および光束Bを受光する複数の立体像用画素から出力されたデータによって形成されるB成分の撮影画像データをそれぞれ区別するための情報、ならびに上記撮影画像データをそれぞれ記憶媒体30に記憶させるCPU16と、を備えるようにしたので、1系統の撮影光学系11を用いるだけで、適切に視差(視野角情報)を含む立体視用の画像を取得できる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The
(2)上記(1)の電子カメラ1において、撮像素子12はさらに、分割されていない被写体光束を受光する複数の平面像用画素を有し、CPU16はさらに、撮像素子12から出力された画像データのうち、複数の平面像用画素から出力されたデータによって形成される撮影画像データを区別するための情報を記憶させるようにしたので、立体視用画像と別に通常の撮影画像を取得できる。
(2) In the
瞳分割しない(すなわち光束を制限しない)で受光した平面像用画素からのデータは、瞳分割した(すなわち光束を制限した)立体像用画素からのデータより信号レベルが高いので、暗い撮影環境においては立体視画像に比べて高品位の画像が得られる。なお、平面像用画素からのデータを補助的に用いて立体視用の画像データ(A成分の撮影画像データ、B成分の撮影画像データ)を補正することにより、立体視用画像の輝度を高めるようにしてもよい。 Since the data from the planar image pixels received without pupil division (that is, without restricting the luminous flux) has a higher signal level than the data from the stereoscopic image pixels that have been pupil-divided (that is, with the luminous flux restricted), in a dark shooting environment Provides a higher quality image than a stereoscopic image. Note that the brightness of the stereoscopic image is increased by correcting stereoscopic image data (A-component captured image data and B-component captured image data) by supplementarily using data from the planar image pixels. You may do it.
(3)上記(2)の電子カメラ1において、撮像素子12は、形成されているオンチップレンズ210の1つに対し、光束Aを受光する立体像用画素または光束Bを受光する立体像用画素が1つ形成されるように構成したので、高い解像度で撮影画像を取得できる。
(3) In the
(4)上記(2)の電子カメラ1において、撮像素子12は、形成されているオンチップレンズ210の1つに対し、平面像用画素が1つ形成されるように構成したので、立体視用画像に比べて明るく高品位の撮影画像を取得できる。
(4) In the
(変形例1)
以上の説明では、画像ファイル内に平面像用画素による撮影画像データ、A成分の撮影画像データおよびB成分の撮影画像データをそれぞれ分けて記録するように説明したが、これらの画像データを分けないで記録するようにしてもよい。変形例1のCPU16は、各画素位置に対応するデータが「A」、「B」および「C」のいずれに対応するかを示す情報を、画像データと関連づけて記録する。データが「A」、「B」および「C」のいずれに対応するデータであるかを示す情報を合わせて記録しておくことにより、後から平面像用画素による撮影画像データ、A成分の撮影画像データおよびB成分の撮影画像データにそれぞれ区別することが可能になる。なお、上記説明では、撮影画像についてそれぞれ画像処理を行ってから記録する例を説明したが、画像処理を行わずに記録(いわゆるRAWデータのままで記録)しても構わない。
(Modification 1)
In the above description, it has been described that the captured image data of the planar image pixels, the captured image data of the A component, and the captured image data of the B component are separately recorded in the image file, but these image data are not separated. You may make it record by. The
(変形例2)
第一の実施形態では、図4に例示したように、行方向に光束Aを受光する立体像用画素(図2)と平面像用画素(図3)とを交互に配置するとともに、隣接する行には、光束Bを受光する立体像用画素(不図示)と平面像用画素(図3)とを交互に配置するようにした。そして、列方向にも、光束Aを受光する立体像用画素(または光束Bを受光する立体像用画素)と、平面像用画素(図3)とを交互に配置した。この代わりに、変形例2では、行方向と列方向のそれぞれにおいて、平面像用画素(図3)を挟んで光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを交互に配置する。図6は、変形例2による撮像素子12Bにおける立体像用画素と平面像用画素の配置を例示する図である。図6において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
(Modification 2)
In the first embodiment, as illustrated in FIG. 4, the stereoscopic image pixels (FIG. 2) and the planar image pixels (FIG. 3) that receive the light beam A in the row direction are alternately arranged and adjacent to each other. In the row, stereoscopic image pixels (not shown) that receive the light beam B and planar image pixels (FIG. 3) are alternately arranged. Also in the column direction, stereoscopic image pixels that receive the light beam A (or stereoscopic image pixels that receive the light beam B) and planar image pixels (FIG. 3) are alternately arranged. Instead, in Modification 2, a stereoscopic image pixel (FIG. 2) that receives the light beam A and a stereoscopic image that receives the light beam B across the plane image pixel (FIG. 3) in each of the row direction and the column direction. The pixels for use (not shown) are alternately arranged. FIG. 6 is a diagram illustrating the arrangement of stereoscopic image pixels and planar image pixels in the
(変形例3)
図7は、変形例3による撮像素子12Cにおける立体像用画素と平面像用画素の配置を例示する図である。図7において、行方向に光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを隣接して並べ、平面像用画素(図3)を2つ挟んで、さらに光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを並べる。一方列方向は、光束Aを受光する立体像用画素(または光束Bを受光する立体像用画素)と、平面像用画素(図3)とを交互に配置する。
(Modification 3)
FIG. 7 is a diagram illustrating the arrangement of stereoscopic image pixels and planar image pixels in the
(変形例4)
第一の実施形態では、立体像用画素および平面像用画素(図3)がそれぞれ撮像面の略全域にわたって設けられる例を説明した。この代わりに、平面像用画素(図3)を設けずに立体像用画素を撮像面の略全域にわたって設ける構成としてもよい。変形例4では、光束Aを受光する立体像用画素(図2)と、光束Bを受光する立体像用画素(不図示)とを行方向に交互に配置する。列方向には、光束Aを受光する立体像用画素(図2)および光束Bを受光する立体像用画素(不図示)がそれぞれ連続して並ぶように配置する。なお、光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とが列方向に交互に並ぶように配置するようにしても構わない。
(Modification 4)
In the first embodiment, the example in which the stereoscopic image pixel and the planar image pixel (FIG. 3) are provided over substantially the entire area of the imaging surface has been described. Instead of this, the configuration may be such that the stereoscopic image pixels are provided over substantially the entire area of the imaging surface without providing the planar image pixels (FIG. 3). In
(第二の実施形態)
図8は、本発明の第二の実施形態による撮像素子12Dにおける立体像用画素と平面像用画素の配置を例示する図である。図8において、「BA」で示した画素位置には、光束A、および光束Bをそれぞれ受光する立体像用画素(図9)が配置される。また、「C」で示した画素位置には、平面像用画素(図3)が配置される。
(Second embodiment)
FIG. 8 is a diagram illustrating the arrangement of stereoscopic image pixels and planar image pixels in the
図9は、立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。図9において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213Aおよび213Bとが設けられる。オンチップレンズ210はフォトダイオード213A、213Bに対して撮影光学系11側(図9において上側)に配置され、フォトダイオード213A、213Bはそれぞれ撮像素子12D内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
FIG. 9 is a diagram illustrating an enlarged cross-sectional view of a stereoscopic image pixel and a pixel plan view per unit pixel. In FIG. 9, a stereoscopic image pixel is provided with an on-
光軸Axは、撮影光学系11の光軸である。射出瞳11Aは、オンチップレンズ210および、フォトダイオード213Aに対応する。射出瞳11Bは、オンチップレンズ210および、フォトダイオード213Bに対応する。一対の瞳領域11A、11Bを通過した一対の被写体光束A、Bは、それぞれオンチップレンズ210を介してフォトダイオード213A、213B側へ進行する。このうち、光束Aはフォトダイオード213Aへ到達して受光される。一方、光束Bはフォトダイオード213Bへ到達して受光される。フォトダイオード213Aと213Bとの間には、たとえば、配線アルミ−コンタクト−配線アルミによって形成した分離帯214を設け、他方の光束が受光されないようにする。分解能の劣化を防ぐためである。なお、図9では光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
The optical axis Ax is the optical axis of the photographing
以上説明した第二の実施形態によれば、電子カメラ1において、撮像素子12Dは、形成されているオンチップレンズ210の1つに対し、光束Aを受光する立体像用画素および光束Bを受光する立体像用画素の双方が形成されるように構成したので、1つのオンチップレンズ210の下で、光束Aに基づくA成分の画像データと、光束Bに基づくB成分の画像データとの双方が得られる。この結果、上述した第一の実施形態に比べてさらに高い解像度で立体視用の画像を取得できる。
According to the second embodiment described above, in the
第二の実施形態の電子カメラ1において、撮像素子12Dは、光束Aを受光する立体像用画素を構成するフォトダイオード213Aと光束Bを受光する立体像用画素を構成するフォトダイオード213Bとの間に分離帯214を有するようにしたので、解像度の劣化を抑えることができる。
In the
(第三の実施形態)
第三の実施形態では、上述した立体像用画素(図2)とは瞳分割の方向が異なる立体像用画素を用いる。図10は、第三の実施形態において追加する立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
(Third embodiment)
In the third embodiment, a stereoscopic image pixel having a different pupil division direction from the above-described stereoscopic image pixel (FIG. 2) is used. FIG. 10 is a diagram illustrating an enlarged cross-sectional view of a stereoscopic image pixel added in the third embodiment and a pixel plan view per unit pixel.
図10において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213とが設けられる。オンチップレンズ210はフォトダイオード213に対して撮影光学系11側(図10において上側)に配置され、フォトダイオード213は撮像素子12E内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
In FIG. 10, a stereoscopic image pixel is provided with an on-
光軸Axは、撮影光学系11の光軸である。射出瞳11Dは、オンチップレンズ210および、フォトダイオード213の光軸Axより右側部分に対応する。射出瞳11Eは、オンチップレンズ210および、フォトダイオード213の光軸Axより左側部分に対応する。射出瞳11Dおよび射出瞳11Eによる瞳分割方向は、図2の射出瞳11Aおよび射出瞳11Bによる瞳分割方向と直交する。一対の瞳領域11D、11Eを通過した一対の被写体光束D、Eは、それぞれオンチップレンズ210を介してフォトダイオード213側へ進行する。このうち、光束Dはフォトダイオード213の右側部分へ到達して受光されるが、光束Eは遮光部材212によって遮られるので、フォトダイオード213で受光されない。図10では、光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
The optical axis Ax is the optical axis of the photographing
遮光部材212を光軸Axの右側へ配置して光束Dを遮るように構成すると、光束Eはフォトダイオード213の光軸Axより左側部分へ到達して受光されるようになる。一方、光束Dは遮光部材212によって遮られるので、フォトダイオード213で受光されなくなる。このような光束Eを受光する画素(不図示)と上述した光束Dを受光する画素(図10)とを撮像面において混在させることで、それぞれ瞳分割された光束による像が撮像されることになる。この結果、光束Dに基づくD成分の画像データと、光束Eに基づくE成分の画像データとが得られる。
If the
図11は、撮像素子12Eにおける立体像用画素の配置を例示する図である。図11において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「D」で示した画素位置には、光束Dを受光する立体像用画素(図10)が配置される。「E」で示した画素位置には、光束Eを受光する立体像用画素(不図示)が配置される。
FIG. 11 is a diagram illustrating the arrangement of stereoscopic image pixels in the
第三の実施形態の電子カメラ1は、上述したA成分による撮影画像、およびB成分による撮影画像を用いて立体視画像を得るとともに、上述したD成分による撮影画像、およびE成分による撮影画像を用いて立体視画像を得る。CPU16は、たとえば、代表画像ファイルと本体画像ファイルとをそれぞれ記録する。代表画像ファイルと本体画像ファイルは同一のファイル名称を有し、拡張子が異なる構成とする。代表画像ファイルには、たとえばA成分の撮影画像データを含め、拡張子を「JPG」とする。本体画像ファイルには、A成分の撮影画像データおよびB成分の撮影画像データ、D成分の撮影画像データおよびE成分の撮影画像データをそれぞれ含め、拡張子を「MPO」とする。
The
以上説明した第三の実施形態によれば、電子カメラ1の撮像素子12Eはさらに、たとえば水平方向と直交する鉛直方向において撮影光学系11の異なる瞳11D、11Eの位置に対応する光束Dと光束Eとに分割された被写体光束のうち、光束Dを受光する複数の立体像用画素および光束Eを受光する立体像用画素をそれぞれ有する。CPU16はさらに、撮像素子12Eから出力された画像データのうち、光束Dを受光する複数の立体像用画素から出力されたデータによって形成されるD成分の撮影画像データ、および光束Eを受光する複数の立体像用画素から出力されたデータによって形成されるE成分の撮影画像をそれぞれ区別するための情報を記憶媒体30に記憶させるようにした。これにより、A成分による撮影画像およびB成分による撮影画像によって水平方向に視差を有する立体視画像が得られることに加えて、D成分による撮影画像およびE成分による撮影画像によって鉛直方向においても視差を有する立体視画像が得られる。このため、電子カメラ1を横位置に構えて撮影しても、縦位置に構えて撮影しても、適切に立体視画像を得ることができる。
According to the third embodiment described above, the
(変形例5)
上述した撮像素子12Eの画素を斜めに配置してもよい。図12は、変形例5の撮像素子12Fにおける立体像用画素の配置を例示する図である。図12によれば、「A」と「B」が水平方向に交互に隣接する一方で、鉛直方向にも交互に隣接する。さらに、「D」と「E」が水平方向に交互に隣接する一方で、鉛直方向にも交互に隣接する。視差を得るための対を構成する「A」と「B」、および「D」と「E」がそれぞれ一直線上に並ぶことで、図11の場合に比べて視差の精度を高められる。
(Modification 5)
You may arrange | position the pixel of the image pick-up
(第四の実施形態)
撮像素子12を2つの撮像素子12Gおよび12Hによって構成してもよい。図13は、第四の実施形態による撮影光学系11と撮像素子12Gおよび12Hを説明するブロック図である。本実施形態では、撮影光学系11からの光束をスプリッタ26によって2つに分割する。このうち、一方の光束を撮像素子12Gへ導き、他方の光束を撮像素子12Hへ導く。
(Fourth embodiment)
The
図14は、撮像素子12Gにおける立体像用画素と平面像用画素の配置を例示する図である。図14において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。図4の場合と比べて「A」の出現頻度が2倍に高まるので、取得する画像の解像度を高めることができる。
FIG. 14 is a diagram illustrating the arrangement of stereoscopic image pixels and planar image pixels in the
図15は、撮像素子12Hにおける立体像用画素と平面像用画素の配置を例示する図である。図15において、「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。図4の場合と比べて「B」の出現頻度が2倍に高まるので、取得する画像の解像度を高めることができる。
FIG. 15 is a diagram illustrating the arrangement of stereoscopic image pixels and planar image pixels in the
第四の実施形態によれば、被写体光束を2分割するスプリッタ26をさらに備え、撮像素子は、光束Aを受光する複数の立体像用画素を有する撮像素子12Gと、光束Bを受光する複数の立体像用画素を有する撮像素子12Hとで構成され、撮像素子12Gは、スプリッタ26で分割された一方の光束を受光し、撮像素子12Hは、スプリッタ26で分割された他方の光束を受光するようにした。これにより、第一の実施形態と比べて取得する画像の解像度を高めることができる。なお、撮像素子12Gと12Hとは、実質的に互いの受光面の天地を逆さにした構成にできるので、両撮像素子は同じものを使用できる。すなわち、撮像素子12Gは、光軸回りに180度回転させることによって撮像素子12Hとして使用できる。
According to the fourth embodiment, the image pickup device further includes a
(第五の実施形態)
撮像素子12を2つの撮像素子12および12Iによって構成してもよい。図16は、第五の実施形態による撮影光学系11と撮像素子12および12Iを説明するブロック図である。第四の実施形態と同様に、撮影光学系11からの光束をスプリッタ26によって2つに分割する。このうち、一方の光束を撮像素子12へ導き、他方の光束を撮像素子12Iへ導く。撮像素子12の画素配置は、図4に例示した通りである。
(Fifth embodiment)
The
図17は、撮像素子12Iにおける立体像用画素と平面像用画素の配置を例示する図である。図17において、「D」で示した画素位置には、光束Dを受光する立体像用画素(図10)が配置される。「E」で示した画素位置には、光束Eを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。 FIG. 17 is a diagram illustrating an arrangement of a stereoscopic image pixel and a planar image pixel in the image sensor 12I. In FIG. 17, a stereoscopic image pixel (FIG. 10) that receives the light beam D is disposed at the pixel position indicated by “D”. At a pixel position indicated by “E”, a stereoscopic image pixel (not shown) that receives the light flux E is disposed. Planar image pixels (FIG. 3) are arranged at pixel positions indicated by “C”.
第五の実施形態によれば、被写体光束を2分割するスプリッタ26をさらに備え、撮像素子は、光束Aを受光する複数の立体像用画素および光束Bを受光する複数の立体像用画素をそれぞれ有する撮像素子12と、光束Dを受光する複数の立体像用画素および光束Eを受光する複数の立体像用画素をそれぞれ有する撮像素子12Iとで構成する。撮像素子12は、スプリッタ26で分割された一方の光束を受光し、撮像素子12Iは、スプリッタ26で分割された他方の光束を受光する。CPU16はさらに、撮像素子12および撮像素子12Iから出力された画像データのうち、光束Dを受光する複数の立体像用画素から出力されたデータによって形成されるD成分の撮影画像データ、および光束Eを受光する複数の立体像用画素から出力されたデータによって形成されるE成分の撮影画像データをそれぞれ区別するための情報を記憶媒体30に記憶させる。このような構成によって、撮像素子12と12Iとは、実質的に互いの受光面の天地方向が直交する関係を有するので、両撮像素子は同じものを使用できる。すなわち、撮像素子12は、光軸回りに90度回転させることによって撮像素子12Iとして使用できる。
According to the fifth embodiment, the image sensor further includes a
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。電子カメラ1は、コンパクトタイプのものに限らず、撮影光学系11をカメラボディに対して交換可能なレンズ交換タイプのカメラであってもよい。
The above description is merely an example, and is not limited to the configuration of the above embodiment. The
1…電子カメラ
11…撮影光学系
11A,11B,11D,11E…射出瞳
12,12B,12C,12D,12E,12F,12G,12H,12I…撮像素子
13…画像処理部
14…RAM
15…LCDモニタ
16…CPU
17…不揮発性メモリ
18…カードインターフェース
20…操作部材
26…スプリッタ
30…記憶媒体
210…オンチップレンズ
211、213、213A、213B…フォトダイオード
212…遮光部材
214…分離帯
DESCRIPTION OF
15 ... LCD monitor 16 ... CPU
17 ...
Claims (10)
前記撮像素子から出力された画像データのうち、前記複数の第1画素から出力されたデータによって形成される第1画像データ、および前記複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに前記画像データをそれぞれ記憶媒体に記憶させる制御手段と、
を備えることを特徴とする撮像装置。 Among the subject luminous fluxes divided into the first luminous flux and the second luminous flux corresponding to different pupil positions of the photographing optical system, a plurality of first pixels that receive the first luminous flux and a plurality of first pixels that receive the second luminous flux. Image sensors each having two pixels;
Of the image data output from the image sensor, the first image data formed by data output from the plurality of first pixels and the second formed by data output from the plurality of second pixels. Information for distinguishing image data, and control means for storing the image data in a storage medium,
An imaging apparatus comprising:
前記撮像素子はさらに、前記分割されていない被写体光束を受光する複数の第3画素を有し、
前記制御手段はさらに、前記撮像素子から出力された画像データのうち、前記複数の第3画素から出力されたデータによって形成される第3画像データを区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging device further includes a plurality of third pixels that receive the subject luminous flux that is not divided,
The control means further stores, in the storage medium, information for distinguishing third image data formed by data output from the plurality of third pixels among the image data output from the image sensor. An imaging apparatus characterized by that.
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第1画素または前記第2画素が1つ形成されていることを特徴とする撮像装置。 The imaging device according to claim 2,
The imaging device is characterized in that one of the first pixel or the second pixel is formed for one of the formed on-chip lenses.
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第1画素および前記第2画素の双方が形成されていることを特徴とする撮像装置。 The imaging device according to claim 2,
The imaging device is characterized in that both the first pixel and the second pixel are formed for one of the formed on-chip lenses.
前記撮像素子は、前記第1画素を構成する受光素子と前記第2画素を構成する受光素子との間に遮光部を有することを特徴とする撮像装置。 The imaging apparatus according to claim 4,
The image pickup device includes a light shielding portion between a light receiving element forming the first pixel and a light receiving element forming the second pixel.
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第3画素が1つ形成されていることを特徴とする撮像装置。 The imaging device according to claim 2,
The imaging device is characterized in that one third pixel is formed for one of the formed on-chip lenses.
前記第1光束および前記第2光束は、第1方向において異なる瞳位置に対応することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 6,
The imaging apparatus, wherein the first light flux and the second light flux correspond to different pupil positions in the first direction.
前記撮像素子はさらに、前記第1方向と直交する第2方向において前記撮影光学系の異なる瞳位置に対応する第3光束と第4光束とに分割された被写体光束のうち、前記第3光束を受光する複数の第4画素および前記第4光束を受光する複数の第5画素をそれぞれ有し、
前記制御手段はさらに、前記撮像素子から出力された画像データのうち、前記複数の第4画素から出力されたデータによって形成される第4画像データ、および前記複数の第5画素から出力されたデータによって形成される第5画像データをそれぞれ区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。 The imaging apparatus according to claim 7,
The imaging device further includes the third luminous flux among the subject luminous fluxes divided into the third luminous flux and the fourth luminous flux corresponding to different pupil positions of the photographing optical system in a second direction orthogonal to the first direction. A plurality of fourth pixels for receiving light and a plurality of fifth pixels for receiving the fourth light flux;
The control means further includes, among image data output from the image sensor, fourth image data formed by data output from the plurality of fourth pixels, and data output from the plurality of fifth pixels. Information for distinguishing each of the fifth image data formed by the above is stored in the storage medium.
被写体光束を2分割する分割手段をさらに備え、
前記撮像素子は、前記複数の第1画素および前記複数の第2画素をそれぞれ有する第1撮像素子と、前記複数の第4画素および前記複数の第5画素をそれぞれ有する第2撮像素子とで構成され、
前記第1撮像素子は、前記分割手段で分割された一方の光束を受光し、
前記第2撮像素子は、前記分割手段で分割された他方の光束を受光し、
前記制御手段はさらに、前記第1撮像素子および前記第2撮像素子から出力された画像データのうち、前記複数の第4画素から出力されたデータによって形成される第4画像データ、および前記複数の第5画素から出力されたデータによって形成される第5画像データをそれぞれ区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。 The imaging apparatus according to claim 7,
A splitting unit for splitting the subject luminous flux into two;
The image sensor includes a first image sensor having the plurality of first pixels and the plurality of second pixels, respectively, and a second image sensor having the plurality of fourth pixels and the plurality of fifth pixels, respectively. And
The first image sensor receives one light beam divided by the dividing unit,
The second image sensor receives the other light beam divided by the dividing means,
The control means further includes, among the image data output from the first image sensor and the second image sensor, fourth image data formed by data output from the plurality of fourth pixels, and the plurality of image data An image pickup apparatus, wherein information for distinguishing each of fifth image data formed by data output from a fifth pixel is stored in the storage medium.
被写体光束を2分割する分割手段をさらに備え、
前記撮像素子は、複数の前記第1画素を有する第1撮像素子と、複数の前記第2画素を有する第2撮像素子とで構成され、
前記第1撮像素子は、前記分割手段で分割された一方の光束を受光し、
前記第2撮像素子は、前記分割手段で分割された他方の光束を受光することを特徴とする撮像装置。 The imaging device according to claim 1,
A splitting unit for splitting the subject luminous flux into two;
The image sensor is composed of a first image sensor having a plurality of the first pixels and a second image sensor having a plurality of the second pixels,
The first image sensor receives one light beam divided by the dividing unit,
The image pickup apparatus, wherein the second image pickup device receives the other light beam divided by the dividing unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011195134A JP5853510B2 (en) | 2011-09-07 | 2011-09-07 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011195134A JP5853510B2 (en) | 2011-09-07 | 2011-09-07 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013057744A true JP2013057744A (en) | 2013-03-28 |
JP5853510B2 JP5853510B2 (en) | 2016-02-09 |
Family
ID=48133687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011195134A Active JP5853510B2 (en) | 2011-09-07 | 2011-09-07 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5853510B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015100868A (en) * | 2013-11-22 | 2015-06-04 | セイコーエプソン株式会社 | Robot system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001250931A (en) * | 2000-03-07 | 2001-09-14 | Canon Inc | Solid-state image sensor and image sensing system using the same |
JP2003007994A (en) * | 2001-06-27 | 2003-01-10 | Konica Corp | Solid-state image pickup element, stereoscopic camera apparatus, and range finder |
JP2006013760A (en) * | 2004-06-24 | 2006-01-12 | Matsushita Electric Ind Co Ltd | Electronic equipment for generating management file, electronic equipment for generating three dimensional image data, management file generating method, three dimensional image data generating method, and file structure of management file |
JP2006165601A (en) * | 2004-12-02 | 2006-06-22 | Sony Corp | Imaging apparatus and imaging element |
JP2010220192A (en) * | 2009-02-23 | 2010-09-30 | Nikon Corp | Imaging element and imaging apparatus |
JP2010231192A (en) * | 2009-03-06 | 2010-10-14 | Nikon Corp | Stereoscopic imaging apparatus |
JP2013041103A (en) * | 2011-08-15 | 2013-02-28 | Canon Inc | Image pickup apparatus, control method thereof, and program |
-
2011
- 2011-09-07 JP JP2011195134A patent/JP5853510B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001250931A (en) * | 2000-03-07 | 2001-09-14 | Canon Inc | Solid-state image sensor and image sensing system using the same |
JP2003007994A (en) * | 2001-06-27 | 2003-01-10 | Konica Corp | Solid-state image pickup element, stereoscopic camera apparatus, and range finder |
JP2006013760A (en) * | 2004-06-24 | 2006-01-12 | Matsushita Electric Ind Co Ltd | Electronic equipment for generating management file, electronic equipment for generating three dimensional image data, management file generating method, three dimensional image data generating method, and file structure of management file |
JP2006165601A (en) * | 2004-12-02 | 2006-06-22 | Sony Corp | Imaging apparatus and imaging element |
JP2010220192A (en) * | 2009-02-23 | 2010-09-30 | Nikon Corp | Imaging element and imaging apparatus |
JP2010231192A (en) * | 2009-03-06 | 2010-10-14 | Nikon Corp | Stereoscopic imaging apparatus |
JP2013041103A (en) * | 2011-08-15 | 2013-02-28 | Canon Inc | Image pickup apparatus, control method thereof, and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015100868A (en) * | 2013-11-22 | 2015-06-04 | セイコーエプソン株式会社 | Robot system |
Also Published As
Publication number | Publication date |
---|---|
JP5853510B2 (en) | 2016-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8786676B2 (en) | Imaging device for generating stereoscopic image | |
US8593509B2 (en) | Three-dimensional imaging device and viewpoint image restoration method | |
US9344617B2 (en) | Image capture apparatus and method of controlling that performs focus detection | |
JP2010041381A (en) | Electronic camera, stereo image generation method, and stereo image generation system | |
JP2011197277A (en) | Three-dimensional imaging apparatus | |
WO2012108099A1 (en) | Imaging device and imaging method | |
US11297271B2 (en) | Image sensor and image capture apparatus | |
US9462254B2 (en) | Light field image capture device and image sensor | |
US11747714B2 (en) | Image sensor and image-capturing device that selects pixel signal for focal position | |
US20150109522A1 (en) | Imaging apparatus and its control method and program | |
JP2013097154A (en) | Distance measurement device, imaging apparatus, and distance measurement method | |
JP2012133185A (en) | Imaging apparatus | |
WO2013035427A1 (en) | Stereoscopic image capture device and method | |
JP2013205781A (en) | Imaging apparatus | |
JP5853510B2 (en) | Imaging device | |
JPWO2012032825A1 (en) | Stereo imaging device and stereo imaging method | |
US9967452B2 (en) | Imaging apparatus and imaging method for controlling auto-focus | |
JP4588439B2 (en) | Stereoscopic image photographing apparatus and method | |
JP5825932B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
JP2012124650A (en) | Imaging apparatus, and imaging method | |
US10382740B2 (en) | Image processing apparatus, method for controlling the same, and image capture apparatus | |
WO2012132088A1 (en) | Imaging apparatus and interchangeable lens | |
US20220385875A1 (en) | Device, capturing device, control method, and storage medium | |
US20150365599A1 (en) | Information processing apparatus, image capturing apparatus, and control method | |
JP2011041092A (en) | Imaging apparatus and lens barrel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5853510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |