JP2013247590A - Imaging apparatus and method of controlling the same - Google Patents
Imaging apparatus and method of controlling the same Download PDFInfo
- Publication number
- JP2013247590A JP2013247590A JP2012121390A JP2012121390A JP2013247590A JP 2013247590 A JP2013247590 A JP 2013247590A JP 2012121390 A JP2012121390 A JP 2012121390A JP 2012121390 A JP2012121390 A JP 2012121390A JP 2013247590 A JP2013247590 A JP 2013247590A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- divided
- image
- region
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、静止画像や動画像を撮像、記録、再生する撮像装置及び撮像装置制御システムに係わり、特に撮像装置の構成要素である撮像素子前面にマイクロレンズアレイを有する撮像装置に関するものである。 The present invention relates to an image pickup apparatus and an image pickup apparatus control system for picking up, recording, and reproducing still images and moving images, and more particularly to an image pickup apparatus having a microlens array on the front surface of an image pickup element that is a component of the image pickup apparatus.
従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は多く存在する。 2. Description of the Related Art Conventionally, there are many imaging devices such as electronic cameras that record and reproduce still images and moving images captured by a solid-state imaging device such as a CCD or CMOS using a memory card having a solid-state memory device as a recording medium.
これらの撮像装置に関する技術の一例として、固体撮像素子の前面に複数画素に対し1つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が提案されている。(例えば、非特許文献1参照)。 As an example of the technology related to these image pickup devices, by arranging a microlens array arranged at a ratio of one for a plurality of pixels on the front surface of a solid-state image pickup device, information on the incident direction of light incident on the image pickup device can be obtained. An imaging apparatus having a simple structure has been proposed. (For example, refer nonpatent literature 1).
このような撮像装置では、各画素からの出力信号を元に通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築すること(リフォーカス)なども可能である。 In such an imaging apparatus, in addition to generating a normal captured image based on an output signal from each pixel, the captured image is focused on an arbitrary focal length by performing predetermined image processing. It is also possible to reconstruct the reconstructed image (refocus).
しかしながら、前述のようなマイクロレンズアレイを有する撮像装置における撮影においては、以下のような問題があった。 However, shooting in the imaging apparatus having the microlens array as described above has the following problems.
撮像装置が生成する画像における画素単位は、1マイクロレンズあたり1画素となる。通常の撮像素子においては1マイクロレンズあたり1画素の構成のため、生成する画像のデータ数と略同数の画素信号を読み出せばよい。これに対し、上述した非特許文献1の撮像装置においては、1マイクロレンズあたり数十画素を有する構成であるため、通常の撮像装置の数十倍もの画素信号を扱わなければならない。このため、画像データのファイルサイズが大きくなり、通常のカメラなどの撮像装置と比べ撮像装置内に非常に大きなメモリ領域が必要となるとともに、保存する記録媒体も通常より大きな容量のものを使用する必要があった。また、1つの画像データを読み出すのに膨大な時間がかかり、例えば、連写撮影時の駒速を上げることなどが難しくなっていた。
The pixel unit in the image generated by the imaging device is one pixel per microlens. Since a normal image sensor has a configuration of one pixel per microlens, it is only necessary to read out pixel signals of approximately the same number as the number of image data to be generated. On the other hand, since the imaging device of Non-Patent
本発明は上記問題点を鑑みてなされたものであり、複数の光電変換部毎に1つのマイクロレンズが配置されたマイクロレンズアレイを有する撮像装置において、記録画像のファイルサイズを抑制し、かつ読出し速度を向上させることを目的とする。 The present invention has been made in view of the above-described problems. In an imaging apparatus having a microlens array in which one microlens is arranged for each of a plurality of photoelectric conversion units, the file size of a recorded image is suppressed and read out. The purpose is to improve speed.
上記目的を達成するために、本発明の撮像装置は、撮影レンズを介して入射する光を光電変換して電気信号を出力する、2次元に配置された複数の光電変換部を、予め決められた数ずつ分割した複数の単位領域と、前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて1つ配置される、複数のマイクロレンズとを有する撮像手段と、前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、任意の距離に合焦した画像を生成するリフォーカス処理に用いる可能性がある分割領域か否かを判定する判定手段と、前記複数の分割領域のうち、前記判定手段によりリフォーカス処理に用いる可能性があると判定された分割領域に含まれる前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算手段と、前記複数の分割領域のうち、前記加算手段により加算された分割領域の電気信号を記録するとともに、前記判定手段によりリフォーカス処理に用いる可能性があると判定されなかった分割領域の電気信号を加算せずにそれぞれ記録する記録手段とを有する。 In order to achieve the above object, an imaging apparatus according to the present invention has predetermined two-dimensionally arranged photoelectric conversion units that photoelectrically convert light incident through a photographing lens and output an electrical signal. An imaging means having a plurality of unit areas divided by a number, and a plurality of microlenses located between the photographing lens and the plurality of photoelectric conversion units, one arranged for each of the unit areas, Determining means for determining whether or not each of the divided areas obtained by dividing the image based on the electrical signal obtained from the imaging means is a divided area that may be used for the refocus processing for generating an image focused on an arbitrary distance; The electric power output from the photoelectric conversion unit that constitutes the unit area included in the divided area that is determined to be used for the refocusing process by the determination unit among the plurality of divided areas. An addition means for adding a signal for each unit area, and an electric signal of the divided area added by the adding means among the plurality of divided areas may be recorded and used for refocus processing by the determination means And recording means for recording each of the divided areas that have not been determined to be present without being added.
本発明によれば、複数の光電変換部毎に1つのマイクロレンズが配置されたマイクロレンズアレイを有する撮像装置において、記録画像のファイルサイズを抑制し、かつ読出し速度を向上させることができる。 According to the present invention, in an imaging device having a microlens array in which one microlens is arranged for each of a plurality of photoelectric conversion units, the file size of a recorded image can be suppressed and the reading speed can be improved.
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings. However, the dimensions, shapes, relative arrangements, and the like of the components exemplified in the present embodiment should be changed as appropriate according to the configuration of the apparatus to which the present invention is applied and various conditions. It is not limited to.
図1は、本第1の実施形態における撮像装置の概略構成を示すブロック図である。図1において、101は撮影レンズや絞りなどの光学系、102はメカニカルシャッタである。撮像素子103は、入射光を電気信号に変換する2次元に配置された光電変換部104と電気信号を増幅させる増幅回路105とを含み、入射光を電気信号に変換する。アナログ信号処理回路106は、撮像素子103から出力される画像信号に対してアナログ信号処理を行う。アナログ信号処理回路106は、相関二重サンプリングを行うCDS回路107、アナログ信号を増幅させる信号増幅器108、水平OBクランプを行うクランプ回路109、アナログ信号をデジタル信号に変換するA/D変換器110を含む。
FIG. 1 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the first embodiment. In FIG. 1,
タイミング信号発生回路111は、撮像素子103及びアナログ信号処理回路106を動作させる信号を発生する。駆動回路112は、光学系101及びメカニカルシャッタ102を駆動する。デジタル信号処理回路113は、画像データに対して必要な補正処理を行う画像補正回路114、画像補正回路114により補正処理されたデジタル信号を増幅させる信号増幅回路115、画像データに対し、必要な画像処理を行う画像処理回路116を含む。これらの構成により、デジタル信号処理回路113は撮影した画像データに必要なデジタル信号処理を行う。
The timing
117は処理された画像データを記憶する画像メモリ、118は撮像装置から取り外し可能な記録媒体、119は信号処理された画像データを記録媒体118に記録する記録回路である。120は信号処理された画像データを表示する画像表示装置、121は画像表示装置120に画像を表示する表示回路である。
117 is an image memory for storing processed image data, 118 is a recording medium removable from the imaging apparatus, and 119 is a recording circuit for recording signal processed image data on the
システム制御部122は撮像装置全体を制御する。不揮発性メモリ(ROM)123はシステム制御部122で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶する。揮発性メモリ(RAM)124は不揮発性メモリ123に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部122が撮像装置を制御する際に使用される。また、撮影モード設定部125により、ISO感度設定などの撮影条件設定や、静止画撮影とライブビュー駆動の切り替えなどを行う。
The
ここで、上記構成を有する撮像装置における撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部122の動作開始時において、不揮発性メモリ123から必要なプログラム、制御データ及び補正データを揮発性メモリ124に転送して記憶しておく。これらのプログラムやデータは、システム制御部122が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ123から揮発性メモリ124に転送したり、システム制御部122が直接不揮発性メモリ123内のデータを読み出して使用したりするものとする。
Here, a photographing operation in the imaging apparatus having the above configuration will be described. Prior to the shooting operation, necessary programs, control data, and correction data are transferred from the
まず、光学系101は、システム制御部122からの制御信号により、レンズ等の光学系101を駆動して、適切な明るさになるように制御された被写体像を撮像素子103上に結像させる。次に、メカニカルシャッタ102は、静止画像撮影時においては、システム制御部122からの制御信号により、必要な露光時間となるように撮像素子103の動作に合わせて撮像素子103を遮光するように駆動される。この時、撮像素子103が電子シャッタ機能を有する場合は、メカニカルシャッタ102と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ102は、動画像撮影時及びライブビュー駆動時においては、システム制御部122からの制御信号により、撮影中は常に撮像素子103が露光されるように、開放状態で維持される。
First, the
撮像素子103は、システム制御部122により制御されるタイミング信号発生回路111が発生する動作パルスを基にした駆動パルスで駆動される。光電変換部104において被写体像を光電変換により電気信号に変換し、増幅回路105において入射光量に応じて設定された増幅率のゲインを電気信号にかけ、アナログ画像信号として出力する。
The
撮像素子103から出力されたアナログ画像信号は、システム制御部122により制御されるタイミング信号発生回路111が発生する動作パルスにより、アナログ信号処理回路106のCDS回路107でクロック同期性ノイズを除去する。更に、信号増幅器108で入射光量に応じて設定された増幅率のゲインをかけ、クランプ回路109で水平OB領域の信号出力を基準電圧としてクランプし、A/D変換器110でデジタル画像信号に変換される。
From the analog image signal output from the
次に、アナログ信号処理回路106から出力されたデジタル画像信号に対して、システム制御部122により制御されるデジタル信号処理回路113において、処理を行う。まず、デジタル信号に変換された画像信号に対し、画像補正回路114でキズ補正、ダークシェーディング補正などの各種画像補正処理を施す。
Next, the digital image signal output from the analog
その後、信号増幅回路115で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路116で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。また、この画像処理回路116では、例えば、上述した非特許文献1に開示されている方法を用いて、リフォーカス処理(撮像素子103から出力された電気信号を元にして、任意の距離に合焦した複数の画像を生成する処理)を行うことができる。更に、そのリフォーカス処理より前に行われる、本発明の特徴である、画素信号の加算処理や加算平均処理も、この画像処理回路116で行う。この時、画像メモリ117は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。
Thereafter, the
デジタル信号処理回路113で信号処理された画像データや画像メモリ117に記憶されている画像データは、記録回路119において記録媒体118に適したデータ(例えば、階層構造を持つファイルシステムデータ)に変換され、記録媒体118に記録される。あるいは、デジタル信号処理回路113で解像度変換処理された画像データは、表示回路121において画像表示装置120に適した信号(例えばNTSC方式のアナログ信号等)に変換されて、画像表示装置120に表示されたりする。
The image data signal-processed by the digital
ここで、デジタル信号処理回路113においては、システム制御部122からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ117や記録回路119に出力してもよい。また、デジタル信号処理回路113は、システム制御部122から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部122に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路119は、システム制御部122から要求があった場合に、記録媒体118の種類や空き容量等の情報をシステム制御部122に出力する。
Here, the digital
次に、記録媒体118に画像データが記録されている場合の再生動作について説明する。システム制御部122からの制御信号により、記録回路119は記録媒体118から画像データを読み出す。そして、同じくシステム制御部122からの制御信号によりデジタル信号処理回路113は、読み出した画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ117に記憶する。更に、画像メモリ117に記憶された画像データは、デジタル信号処理回路113で解像度変換処理を実施された後、表示回路121において画像表示装置120に適した信号に変換されて画像表示装置120に表示される。
Next, the reproduction operation when image data is recorded on the
図2は、本発明にかかる撮像装置の実施形態における、光学系周辺の構成を説明するブロック図である。 FIG. 2 is a block diagram illustrating the configuration around the optical system in the embodiment of the imaging apparatus according to the present invention.
図2において、撮影レンズ201は光学系101を構成する。マイクロレンズアレイ202及びセンサアレイ203は、撮像素子103の構成要素である。また、204は被写体である。図2に記載されているその他の構成要素は、図1で説明したものと同じものであるため、ここでの説明は割愛する。
In FIG. 2, the taking
駆動回路112によりメカニカルシャッタ102が開いている状態において、被写体204の像は、撮影レンズ201によって撮像素子103上に結像される。撮像素子103に入射した光信号は、マイクロレンズアレイ202の各マイクロレンズによって更に集光され、センサアレイ203の各画素に入射する。なお、マイクロレンズアレイ202及びセンサアレイ203の構成については、後に図3を用いて説明する。センサアレイ203に入射した光信号は、各画素において光電変換され、電気信号として出力される。その後の処理については図1を用いて説明した通りである。
In a state where the
図3は本実施形態における撮像素子103を構成するセンサアレイ203の画素とマイクロレンズアレイ202との相対的な配置を示す、撮像素子103を被写体側から見た図である。図3において、301は、再構築後の画像の1画素に相当する単位画素である記録画素領域(単位領域)、302は、記録画素領域301を6行6列に分割した光電変換部毎の分割画素である。303は、記録画素領域301毎に1つずつ配置されるマイクロレンズである。
FIG. 3 is a diagram illustrating the relative arrangement of the pixels of the
本実施形態における、特に図2、図3、図5を用いた説明においては、図3に示すように、6x6の分割画素302からなる記録画素領域301を5行5列並べたセンサアレイ203を用いて説明する。しかしながら、実際の撮像装置においては、この数百万から数千万の記録画素領域301が並べられている。
In the description of the present embodiment, particularly with reference to FIGS. 2, 3, and 5, as shown in FIG. 3, as shown in FIG. 3, a
図4は、本実施形態に係る撮影レンズの瞳領域と分割画素との対応関係を説明する図であり、図4(a)は記録画素領域301を拡大した図である。後の説明のために、本実施形態では、36個の分割画素302に対し、図4(a)のように、それぞれp11〜p66とラベルする。図4(b)は、撮影レンズ201の開口を撮影被写体方向から見た図である。図4(b)に示すように撮影レンズ201の瞳領域を1つのマイクロレンズ303下にある画素と同数の領域に分割した場合、1つの分割画素302には撮影レンズ201の1つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズ201とマイクロレンズ303のFナンバーがほぼ一致しているものとする。
FIG. 4 is a diagram for explaining the correspondence between the pupil region and the divided pixels of the photographing lens according to the present embodiment, and FIG. 4A is an enlarged view of the
図4(b)に示す撮影レンズ201の瞳分割領域をa11〜a66としたとき、撮影レンズ201の瞳分割領域a11〜a66と図4(a)で示した分割画素p11〜p66との対応関係は、光軸方向から見て点対称となる。従って、撮影レンズ201の瞳分割領域a11から出射した光は、マイクロレンズ303の後方にある分割画素302のうち、分割画素p11に結像する。これと同様に、瞳分割領域a11から出射し、別のマイクロレンズ303を通過する光も、そのマイクロレンズ後方にある分割画素302の中の分割画素p11に結像する。
When the pupil division regions of the photographing
図5は、本実施形態の撮像装置に様々な距離の被写体から入射する光線の軌跡を示す図である。図5において、撮影レンズ201の瞳領域a1〜a6それぞれから出射され、マイクロレンズアレイ202を通過した光は、後方の対応する分割画素p1〜p6にそれぞれ結像する。
FIG. 5 is a diagram illustrating the trajectory of light rays incident on the imaging apparatus according to the present embodiment from subjects at various distances. In FIG. 5, the light emitted from each of the pupil regions a1 to a6 of the photographing
被写体601aは、撮影レンズ201によってその像がマイクロレンズアレイ202を含む面Aに結像される位置に配置された被写体である。被写体601aからの光線のうち、撮影レンズ201の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ203に入射する光線を、実線で記す。
The subject 601 a is a subject placed at a position where the image is formed on the surface A including the
被写体601bは、撮影レンズ201から見て、被写体601aよりも遠方にある被写体である。撮影レンズ201によって結像された被写体601bの像は、マイクロレンズアレイ202を含む面Aよりも撮影レンズ201に近い面Bに結像される。被写体601bからの光線のうち、撮影レンズ201の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ203に入射する光線を、破線で記す。
The subject 601b is a subject located farther from the subject 601a when viewed from the photographing
被写体601cは、撮影レンズ201から見て、被写体601aよりも近方にある被写体である。撮影レンズ201によって結像された被写体601cの像は、マイクロレンズアレイ202を含む面Aよりも撮影レンズ201から遠い面Cに結像される。被写体601cからの光線のうち、撮影レンズ201の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ203に入射する光線を、一点鎖線で記す。
The subject 601c is a subject closer to the subject 601a when viewed from the photographing
図5で示す各光線の軌跡が示す通り、撮影レンズ201から被写体601までの距離に応じて、センサアレイ203中において入射する分割画素が異なる。このことを用いて、本構成の撮像装置は、撮影後の画像信号を再構築することにより、様々な距離の被写体に焦点を合わせた画像を生成することを可能としている。
As shown by the trajectory of each light ray shown in FIG. 5, the divided pixels incident in the
ところで、図4(a)に示すp11〜p66の画素は、図4(b)を用いて説明した通り、撮影レンズ201に対して互いに異なる瞳領域を通過した光を受光しているため、これらの情報を用いれば、被写体までの距離を検出する動作を行うこともできる。
Incidentally, the pixels p11 to p66 shown in FIG. 4A receive light that has passed through different pupil regions with respect to the
図6は、本実施形態における被写体距離検出動作を説明する図である。図6(a)に示すように、各マイクロレンズ303に対応する画素p11〜p66の出力を加算し、次式に示すように水平方向に瞳分割された2つの合成信号A、B(第1の合成信号、第2の合成信号)を生成する。
FIG. 6 is a diagram for explaining the subject distance detection operation in the present embodiment. As shown in FIG. 6A, the outputs of the pixels p11 to p66 corresponding to each
式(1)で示される合成信号Aは、図4(b)に示す撮影レンズ201の右半分の瞳分割領域a11〜a61、a12〜a62、a13〜a63(第1の瞳領域)を通過した光束を受光して得られる信号の合計である。図6(b)に示すように、水平方向に連続して配置されたn個のマイクロレンズ303に対応する記録画素領域301から得られたA1〜Anを並べて、一次元像信号Ai(i=1、2、3…n)を生成する。
同様に、撮影レンズ201の左半分の瞳分割領域a14〜a64、a15〜a65、a16〜a66(第2の瞳領域)に対して、式(2)で計算される合成信号B1〜Bnを並べて一次元像信号Bi(i=1、2、3…n)を生成する。すると、AiとBiは、それぞれ撮影レンズ201の射出瞳の右半分と左半分を見ている信号となる。従って、AiとBiの相対位置を検出し、その相対的なずれ量に対して所定の変換係数を乗じることで、位相差検出方式に基づく被写体までの距離を検出することができる。
The composite signal A represented by the expression (1) has passed through the right half pupil division regions a11 to a61, a12 to a62, and a13 to a63 (first pupil region) of the photographing
Similarly, the composite signals B1 to Bn calculated by Expression (2) are arranged for the pupil division areas a14 to a64, a15 to a65, and a16 to a66 (second pupil areas) in the left half of the photographing
また、画面内の任意の位置でAiとBiを生成すれば、その位置での焦点位置を算出することができるため、算出結果に合わせて光学系101に含まれるフォーカスレンズを駆動することで自動焦点調節を行うことも可能である。
In addition, if Ai and Bi are generated at an arbitrary position in the screen, the focal position at that position can be calculated. Therefore, the focus lens included in the
なお、図6に示す例では、撮影レンズ201の射出瞳を左右に分けた場合について説明したが、上下に分けてもよく、その場合、垂直方向に輝度差を有する被写体間での距離を検出することが可能になる。
In the example shown in FIG. 6, the case where the exit pupil of the photographing
次に、図7を用いて、本発明にかかる撮像装置の実施形態における、撮影画像に応じた画像ファイル生成方法について説明する。 Next, an image file generation method corresponding to a captured image in the embodiment of the imaging apparatus according to the present invention will be described with reference to FIG.
図7(a)は本実施形態の撮像装置の撮像素子103の受光領域を8x8の64の領域に分割した図である。分割した各領域を分割領域801と呼ぶこととし、画面左上に相当する分割領域をd00とし、それぞれ図7(a)に示すように、d00〜d77とする。
FIG. 7A is a diagram in which the light receiving area of the
図7(b)は本実施形態の撮像装置によって撮影された画像の一例である。図7(b)の撮影画像においては、主な被写体が3種類の距離に存在しており、その距離は、仮に、撮像装置に近いものから、2m、5m、10mの距離に存在しているものとする。 FIG. 7B is an example of an image photographed by the imaging apparatus of the present embodiment. In the photographed image of FIG. 7B, the main subject exists at three types of distances, and the distances are present at distances of 2 m, 5 m, and 10 m from those close to the imaging device. Shall.
図7(c)は図7(b)の撮影画像を、図7(a)で定めた分割領域毎に、その領域に存在する主な被写体までの距離を、図6を用いて説明した被写体距離検出動作を用いて算出した結果を示したものである。 FIG. 7C shows the photographed image shown in FIG. 7B for each of the divided areas defined in FIG. 7A, and the distance to the main subject existing in that area with reference to FIG. The result calculated using the distance detection operation is shown.
本実施形態の撮像装置の特徴は、次の通りである。まず、所定距離よりも近い距離に主な被写体が存在すると判定された分割領域及びその周辺の分割領域は、のちのリフォーカス画像生成時において、その領域の被写体にピントを合わせたリフォーカス処理を行う可能性がある領域であると考えられる。そのため、その分割領域の分割画素302の信号を全画素分保存する。一方、それ以外の分割領域である、所定距離より遠い距離に主な被写体が存在すると判定された分割領域は、後にリフォーカスを行わない領域であると考えられる。そのため、その分割領域の分割画素302の信号を、記録画素領域301単位(単位領域毎)で加算、または加算平均して保存することで、生成される画像ファイルのサイズを抑制することを可能としている。
The features of the imaging apparatus of the present embodiment are as follows. First, the divided area where the main subject is determined to be present at a distance closer than the predetermined distance and the surrounding divided areas are subjected to a refocus process that focuses on the subject in the area when the refocus image is generated later. It is considered that this is an area that can be performed. For this reason, the signals of the divided
図7(b)の撮影においては、5m以下の距離にある被写体を、のちのリフォーカス画像生成時において、その被写体にピントを合わせるリフォーカス処理を行う可能性があるとする。従って、図7(c)に示すように、5m以下(予め決められた距離以下)の距離にある主被写体を含む分割領域及びその分割領域に隣接する分割領域である領域802に含まれる分割画素の信号は、そのまま全画素分保存する。領域802に含まれない分割画素の信号は、デジタル信号処理回路113の内部において、記録画素領域301単位で加算、もしくは加算平均処理を行い、保存するデータ量を圧縮する。加えて、後のリフォーカス画像生成時に正しく画像生成ができるように、どの領域が加算されて、どの領域が加算されていないかを記録画像のメタデータに記録しておく。
In the shooting of FIG. 7B, it is assumed that a subject at a distance of 5 m or less may be subjected to a refocus process for focusing on the subject when the refocus image is generated later. Accordingly, as shown in FIG. 7C, the divided pixels included in the divided region including the main subject at a distance of 5 m or less (below a predetermined distance) and the
なお、分割画素302の出力信号の加算、非加算を切り替える判定に用いる距離は、図7を用いた説明では5mとした。しかしながら、撮像素子や、使用するレンズなどの光学系など撮像装置の構成や、レンズの絞り値などの撮影条件によって、最適な距離は当然、変化すると考えられる。一例としては、フラッシュなどの補助光源(被写体照射手段)を用いた撮影の場合、その補助光源からの照射光が到達する距離よりも遠いところにある被写体にピントを合わせる可能性は少ない。この場合、分割画素の加算・非加算切り替え距離をストロボ光の到達距離とすることなどが考えられる。通常、加算領域と非加算領域の信号レベルを合わせるために、加算した信号を画素数で割って出力する加算平均処理を行うことが適切である。これに対し、ストロボ光を用いた夜景撮影においては、ストロボ光が到達しない背景領域の信号を、加算平均処理ではなく、そのまま加算することで、背景領域の感度を向上させる、いわゆるスローシンクロ撮影と同等の副効果が得られるという利点もある。
Note that the distance used for switching between addition and non-addition of the output signals of the divided
また、上述した図7(c)に示す例では、5m以下の距離にある主被写体を含む分割領域及びその分割領域に隣接する分割領域に含まれる分割画素の信号を全画素分保存するものとして説明した。しかしながら、本発明はこれに限るものではなく、所定の距離よりも近い距離にある被写体を含む分割領域に含まれる分割画素の信号のみを全画素分保存するようにしても良い。 In the example shown in FIG. 7C described above, the signals of the divided pixels included in the divided area including the main subject at a distance of 5 m or less and the divided areas adjacent to the divided area are stored for all pixels. explained. However, the present invention is not limited to this, and only the signals of the divided pixels included in the divided area including the subject that is closer than the predetermined distance may be stored for all pixels.
また、図7を用いて説明した、本実施形態にかかる撮像装置においては、被写体が遠方にあると判定された分割領域801中の記録画素は、デジタル信号処理回路113の内部において加算されるものとして説明した。しかしながら、本発明はこれに限定されるものではなく、撮像素子103の内部において加算を行うような構成としても構わない。この場合、撮像素子103から出力する画像信号量を低減することができるため、一連の撮影動作を更に高速化することが可能となる。但し、この場合、図6を用いて説明した被写体までの距離の算出する動作は、画素信号を加算する前に行わなければいけない。そのため、被写体距離を算出する手段や加算を行うかを判定する判定回路などを、撮像素子103の外部のデジタル信号処理回路113ではなく、撮像素子内部に持つ必要がある。
In the imaging apparatus according to the present embodiment described with reference to FIG. 7, the recording pixels in the divided
以上、図1〜図7を用いて本発明の実施形態にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。 As mentioned above, although embodiment of the imaging device concerning embodiment of this invention was described using FIGS. 1-7, this invention is not limited to this and can take various forms. .
例えば、本実施形態の画素構成においては、画素の構造をわかりやすく説明するため、同一マイクロレンズ下の分割画素を6x6分割した構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。 For example, in the pixel configuration of the present embodiment, in order to explain the structure of the pixel in an easy-to-understand manner, the divided pixels under the same microlens are divided by 6 × 6. However, the present invention is not limited to this, and various numbers and A configuration having divided pixels having a shape may be used.
また、図1を用いて説明した、本実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路113で行うものとして説明したが、必ずしもこの画像処理の実施が撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばPC(パーソナルコンピュータ)などに設けておき、撮像装置で得られた撮像データをPCへ転送し、PCにおいて画像処理を施すようにすることも可能である。
In the present embodiment described with reference to FIG. 1, the image processing such as image reconstruction is described as being performed by the digital
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
(Other embodiments)
The object of the present invention can also be achieved as follows. That is, a storage medium in which a program code of software in which a procedure for realizing the functions of the above-described embodiments is described is recorded is supplied to the system or apparatus. The computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program code stored in the storage medium.
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。 Examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, by making the program code read by the computer executable, the functions of the above-described embodiments are realized. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。 Furthermore, the following cases are also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.
Claims (12)
前記撮影レンズと前記複数の光電変換部との間にあり、前記単位領域それぞれについて1つ配置される、複数のマイクロレンズと
を有する撮像手段と、
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、任意の距離に合焦した画像を生成するリフォーカス処理に用いる可能性がある分割領域か否かを判定する判定手段と、
前記複数の分割領域のうち、前記判定手段によりリフォーカス処理に用いる可能性があると判定された分割領域に含まれる前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算手段と、
前記複数の分割領域のうち、前記加算手段により加算された分割領域の電気信号を記録するとともに、前記判定手段によりリフォーカス処理に用いる可能性があると判定されなかった分割領域の電気信号を加算せずにそれぞれ記録する記録手段と
を有することを特徴とする撮像装置。 A plurality of unit regions obtained by dividing a plurality of two-dimensionally arranged photoelectric conversion units that photoelectrically convert light incident through the photographing lens and output an electrical signal;
An imaging unit having a plurality of microlenses between the photographing lens and the plurality of photoelectric conversion units, and arranged one for each of the unit regions;
Determining means for determining whether or not each of the divided areas obtained by dividing the image based on the electrical signal obtained from the imaging means is a divided area that may be used for refocus processing for generating an image focused on an arbitrary distance. When,
Among the plurality of divided regions, an electric signal output from a photoelectric conversion unit that constitutes the unit region included in the divided region that is determined to be used for the refocusing process by the determining unit is used as the unit region. Adding means for adding each time;
Among the plurality of divided areas, the electric signals of the divided areas added by the adding unit are recorded, and the electric signals of the divided areas that are not determined to be usable for the refocus processing by the determining unit are added. An image pickup apparatus comprising: a recording unit that records each of the images without recording.
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、各分割領域に含まれる被写体までの距離を算出する算出手段を有し、
前記複数の分割領域のうち、前記算出手段により算出された被写体までの距離が予め決められた距離以下の距離にある分割領域を、前記リフォーカス処理に用いる可能性がある分割領域と判定し、それ以外の分割領域を、前記リフォーカス処理に用いる可能性が無い分割領域と判定することを特徴とする請求項1に記載の撮像装置。 The determination means includes
For each divided area obtained by dividing the image based on the electrical signal obtained from the imaging means into a plurality of areas, calculating means for calculating the distance to the subject included in each divided area;
Of the plurality of divided areas, a divided area having a distance to the subject calculated by the calculating unit is equal to or less than a predetermined distance is determined as a divided area that may be used for the refocus processing, The imaging apparatus according to claim 1, wherein the other divided areas are determined as divided areas that are not likely to be used for the refocus processing.
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、各分割領域に含まれる被写体までの距離を算出する算出手段を有し、
前記複数の分割領域のうち、前記算出手段により算出された被写体までの距離が予め決められた距離以下の距離にある分割領域及び当該分割領域に隣接する分割領域を、前記リフォーカス処理に用いる可能性がある分割領域と判定し、それ以外の分割領域を、前記リフォーカス処理に用いる可能性が無い分割領域と判定することを特徴とする請求項1に記載の撮像装置。 The determination means includes
For each divided area obtained by dividing the image based on the electrical signal obtained from the imaging means into a plurality of areas, calculating means for calculating the distance to the subject included in each divided area;
Among the plurality of divided areas, a divided area whose distance to the subject calculated by the calculating unit is equal to or less than a predetermined distance and a divided area adjacent to the divided area can be used for the refocus processing. The imaging apparatus according to claim 1, wherein the imaging device is determined to be a divided region having a characteristic, and other divided regions are determined to be divided regions that are not likely to be used for the refocus processing.
前記被写体照射手段を用いて撮影を行う場合、前記予め決められた距離を前記被写体照射手段からの照射光が到達する距離とすることを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。 A subject irradiation means for irradiating the subject;
5. The method according to claim 2, wherein when photographing is performed using the subject irradiation unit, the predetermined distance is a distance that the irradiation light from the subject irradiation unit reaches. Imaging device.
判定手段が、前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、任意の距離に合焦した画像を生成するリフォーカス処理に用いる可能性がある分割領域か否かを判定する判定工程と、
加算手段が、前記複数の分割領域のうち、前記判定工程でリフォーカス処理に用いる可能性があると判定された分割領域に含まれる前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算工程と、
記録手段が、前記複数の分割領域のうち、前記加算工程で加算された分割領域の電気信号を記録するとともに、前記判定工程でリフォーカス処理に用いる可能性があると判定されなかった分割領域の電気信号を加算せずにそれぞれ記録する記録工程と
を有することを特徴とする撮像装置の制御方法。 A plurality of unit regions obtained by dividing a plurality of two-dimensionally arranged photoelectric conversion units that photoelectrically convert light incident through the photographing lens and outputting an electrical signal; and the photographing lens; An image pickup apparatus control method including an image pickup unit having a plurality of microlenses between each of the plurality of photoelectric conversion units and arranged for each of the unit regions,
Whether the determination unit is a divided region that may be used for refocus processing for generating an image focused at an arbitrary distance for each divided region obtained by dividing the image based on the electrical signal obtained from the imaging unit into a plurality of regions. A determination step for determining;
An adding means outputs an electrical signal output from a photoelectric conversion unit constituting the unit region included in the divided region determined to be likely to be used for the refocusing process in the determination step among the plurality of divided regions. Adding step for each unit region;
The recording unit records the electric signal of the divided area added in the adding step among the plurality of divided areas, and the divided area that has not been determined to be used for the refocus processing in the determining step. And a recording step of recording each of the electrical signals without adding them.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012121390A JP6053329B2 (en) | 2012-05-28 | 2012-05-28 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012121390A JP6053329B2 (en) | 2012-05-28 | 2012-05-28 | Imaging apparatus and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013247590A true JP2013247590A (en) | 2013-12-09 |
JP2013247590A5 JP2013247590A5 (en) | 2015-07-02 |
JP6053329B2 JP6053329B2 (en) | 2016-12-27 |
Family
ID=49847036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012121390A Active JP6053329B2 (en) | 2012-05-28 | 2012-05-28 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6053329B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064213A (en) * | 2012-09-21 | 2014-04-10 | Canon Inc | Image processing device, image processing method and program, and image pickup device equipped with image processing device |
JP2015115818A (en) * | 2013-12-12 | 2015-06-22 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP2015154217A (en) * | 2014-02-13 | 2015-08-24 | キヤノン株式会社 | Image processing apparatus, image generating apparatus, control method, and program |
JP2015200826A (en) * | 2014-04-09 | 2015-11-12 | キヤノン株式会社 | Focus adjustment device, image-capturing device, and focus adjustment method |
US9686530B2 (en) | 2014-10-27 | 2017-06-20 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010199681A (en) * | 2009-02-23 | 2010-09-09 | Nikon Corp | Image processing apparatus and program |
JP2011113174A (en) * | 2009-11-25 | 2011-06-09 | Nikon Corp | Image synthesizer, image reproduction device and imaging device |
JP2012004716A (en) * | 2010-06-15 | 2012-01-05 | Sanyo Electric Co Ltd | Imaging apparatus and electronic apparatus |
-
2012
- 2012-05-28 JP JP2012121390A patent/JP6053329B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010199681A (en) * | 2009-02-23 | 2010-09-09 | Nikon Corp | Image processing apparatus and program |
JP2011113174A (en) * | 2009-11-25 | 2011-06-09 | Nikon Corp | Image synthesizer, image reproduction device and imaging device |
JP2012004716A (en) * | 2010-06-15 | 2012-01-05 | Sanyo Electric Co Ltd | Imaging apparatus and electronic apparatus |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064213A (en) * | 2012-09-21 | 2014-04-10 | Canon Inc | Image processing device, image processing method and program, and image pickup device equipped with image processing device |
JP2015115818A (en) * | 2013-12-12 | 2015-06-22 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP2015154217A (en) * | 2014-02-13 | 2015-08-24 | キヤノン株式会社 | Image processing apparatus, image generating apparatus, control method, and program |
JP2015200826A (en) * | 2014-04-09 | 2015-11-12 | キヤノン株式会社 | Focus adjustment device, image-capturing device, and focus adjustment method |
US9686530B2 (en) | 2014-10-27 | 2017-06-20 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP6053329B2 (en) | 2016-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6222908B2 (en) | Image processing apparatus, method and program, and imaging apparatus having image processing apparatus | |
JP5963448B2 (en) | Imaging device | |
JP6124720B2 (en) | Imaging apparatus, image processing method, and image processing program | |
JP2012213137A (en) | Imaging apparatus and defective pixel detecting method | |
JP5947548B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM | |
JP5013811B2 (en) | Imaging apparatus and correction method | |
JP6053329B2 (en) | Imaging apparatus and control method thereof | |
US10225494B2 (en) | Image capturing apparatus and control method thereof | |
JP2015056808A (en) | Image processing device and control method thereof | |
JP2014045352A (en) | Image processing apparatus, method, and program, and image pickup apparatus having image processing apparatus | |
JP5871625B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, AND IMAGING SYSTEM | |
JP5701942B2 (en) | Imaging apparatus, camera system, and image processing method | |
KR102117858B1 (en) | Solid-state image pickup element and image pickup apparatus | |
JP5917158B2 (en) | Imaging apparatus, control method thereof, and imaging system | |
JP5665282B2 (en) | Imaging apparatus and control method thereof | |
JP5022802B2 (en) | Imaging apparatus and control method thereof | |
JP6566800B2 (en) | Imaging apparatus and imaging method | |
JP2018137829A (en) | Image processing system and image processing method | |
JP2011077770A (en) | Controller of solid-state imaging device and operation control method thereof | |
JP6046912B2 (en) | Imaging apparatus and control method thereof | |
JP7329136B2 (en) | Imaging device | |
JP2018007076A (en) | Imaging device and image processing apparatus | |
JP2013115547A (en) | Imaging apparatus and control method of the same | |
JP5649702B2 (en) | Imaging device | |
JP2015005880A (en) | Imaging element and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6053329 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |