JP2011135170A

JP2011135170A - 撮像装置及び撮像方法

Info

Publication number: JP2011135170A
Application number: JP2009290773A
Authority: JP
Inventors: Yasuhiro Morimoto; 康裕森本
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2011-07-07
Anticipated expiration: 2029-12-22
Also published as: KR101691551B1; JP5490514B2; KR20110073159A

Abstract

【課題】マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成するために撮像素子からデータを読み出すことが可能な撮像装置を提供すること。
【解決手段】単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、を備え、光電変換部は、光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードと、を備える、撮像装置が提供される。
【選択図】図３

Description

本発明は、撮像装置及び撮像方法に関する。

従来の一般的なデジタルスチルカメラは、フォーカスレンズで集光した光をＣＣＤイメージセンサやＣＭＯＳイメージセンサその他の撮像素子に照射することでカラー画像信号を生成している。しかし最近では、レンズと撮像素子の間に単一平面上に配列されたマイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置が提案されている（例えば非特許文献１参照）。かかる撮像装置はプレノプティック（Ｐｌｅｎｏｐｔｉｃ）型の撮像装置と称されている。

非特許文献１には、かかる光学系により得られた画像を再構成することで、被写界深度を自在に決定する事例が紹介されており、視差を利用した測距や、３Ｄ画像への応用、解像度の向上等の展開が考えられている。また、かかる光学系を用いた技術としては、例えば特許文献１〜３が挙げられる。

特開２００３−１６３９３８号公報特開２００４−１４６６１９号公報特開２００７−３１７９５１号公報

(Ren Ng)、他5名 "LightField Photograph with a Hand-held Plenoptic Camera"、StanfordTech Report CTSR 2005-02、p.1-11

このようなマイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置では、通常、撮像素子の出力を全てメモリに一時的に格納し、必要な画像データを選択的に処理することにより画像を再構成している。しかし、実際にレンズアレイを備える光学系を備える撮像装置の使用環境を考えると、光学系で結像された画像をリアルタイムで確認するためのライブビュー画像を生成する必要がある。従って、撮像素子の出力を全てメモリに一時的に格納すると、ライブビュー画像の作成処理に時間がかかってしまい、ライブビュー画像がコマ落ちしたものになってしまうという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成するために撮像素子からデータを読み出すことが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、を備え、前記光電変換部は、前記光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードと、を備える、撮像装置が提供される。

かかる構成によれば、レンズアレイは単一平面上に設けられる複数のレンズが規則的に配列されており、光電変換部はレンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備えている。そして、光電変換部は複数のモードによって画素からデータを読み出すことが可能であり、その内の一つ以上の第２モードにおいては、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出すことができる。その結果、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成することができる。

前記第２モードにおける選択後の画素配列はベイヤー配列であってもよい。その結果、第２モードで選択された画素からカラー画像を生成することができる。

前記光電変換領域を構成する画素の一辺あたりの数が奇数である場合に、前記光電変換部から前記第２モードで読み出すときには、一辺の数が前記一辺あたりの数より少ない奇数の数の画素からなる領域からデータを読み出してもよい。その結果、カラー画像の生成が可能となるように画素を各光電変換領域から選択することができる。

前記光電変換領域を構成する画素の一辺あたりの数が偶数である場合に、前記光電変換部から前記第２モードで読み出すときには、一辺の数が前記一辺あたりの数より少ない偶数の数の画素からなる領域からデータを読み出してもよい。その結果、カラー画像の生成が可能となるように画素を各光電変換領域から選択することができる。

前記第２モードによって前記光電変換部から読み出したデータを用いて生成された画像を所定の周期で切り替えて連続して表示する表示部をさらに備えてもよい。その結果、第２モードによって光電変換部から読み出したデータを用いて生成された画像を表示することができる。

前記光電変換部の各画素からはデータをそのまま読み出して、前記表示部に表示する画像の生成に用いてもよい。また、前記光電変換部の各画素における赤、緑、青の代表値を用いて前記表示部に表示する画像を生成するようにしてもよい。代表値を用いることで、読み出したデータを用いたカラー画像の生成の際の演算量を削減することができる。

前記光電変換部の内部で予め各前記代表値を演算してもよい。また、前記光電変換部からデータを読み出してから各前記代表値を演算する演算部をさらに備えていてもよい。その結果、読み出したデータを用いたカラー画像の生成の際の演算量を削減することができる。

前記第２モードによって前記光電変換部からデータを読み出す際には、前記レンズアレイの全てのレンズに対応する前記光電変換領域を対象としてもよい。また、前記第２モードによって前記光電変換部からデータを読み出す際には、前記レンズアレイの一部のレンズに対応する前記光電変換領域を対象としてもよい。その結果、読み出したデータを用いたカラー画像の生成の際の演算量を削減することができる。

上記撮像装置は、前記光電変換部の周辺部に行くに従って、前記光電変換部に対して垂直に光を照射する方向へ前記レンズアレイの光軸をシフトさせてもよい。光電変換部に対して垂直に光が照射される方向へレンズアレイの光軸をシフトすることで光量を確保し、周辺部の画質を向上させることができる。

また、上記課題を解決するために、本発明の別の観点によれば、単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、を備える撮像装置に対して、前記光電変換部は、前記光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードと、を有するデータ読み出しステップを備える、撮像方法が提供される。

以上説明したように本発明によれば、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成するために撮像素子からデータを読み出すことが可能な、新規かつ改良された撮像装置及び撮像方法を提供することができる。

マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について示す流れ図である。間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。ＣＭＯＳセンサからの画素の読出し順序について示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、本発明の好適な実施の形態について詳細に説明する前に、マイクロレンズ群からなるレンズアレイを備える光学系の構成について説明し、その後に、かかるレンズアレイを備える撮像装置の構成について説明することにする。

図１及び図２は、マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。図１は、被写体からの光を集光するレンズと撮像素子との間にレンズアレイを備えたものを側面方向から見た場合について示す説明図であり、図２は、レンズアレイの配置状態を概念的に示す説明図である。

図１に示したように、マイクロレンズ群からなるレンズアレイを備える光学系においては、主レンズ１１を通過した被写体からの光がレンズアレイ１２の各マイクロレンズ１２ａに合焦するように投影される。そして、撮像センサ１３には、マイクロレンズ１２ａを透過した光が照射される。

撮像センサ１３には、隣接するマイクロレンズ１２ａからの光が重ならないように、主レンズ１１の絞り１４を設定することが上記非特許文献１に記載されている。そして、上記非特許文献１には、図１に示したような光学系で得られた画像を再構成することで、被写界深度を自在に決定する事例が紹介されている。従って、このようなマイクロレンズ群からなるレンズアレイを備える光学系は、視差を利用した測距や三次元画像への応用、解像度の向上処理への展開が考えられている。

しかし、上述したように、図１および図２に示したようなマイクロレンズ１２ａからなるレンズアレイ１２を備える光学系を有する撮像装置の使用環境を考えると、光学系で結像された画像をリアルタイムで確認するためのライブビュー画像を生成する必要がある。従って、撮像素子の出力を全てメモリに一時的に格納すると、ライブビュー画像の作成処理に時間がかかってしまい、ライブビュー画像がコマ落ちしたものになってしまうという問題がある。そこで本実施形態では、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成することができる撮像装置について説明する。

以上、図１及び図２を用いて、マイクロレンズ群からなるレンズアレイを備える光学系の構成について説明した。次に、かかる光学系を有する撮像装置の構成について説明する。

図３は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図３を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。

図３に示したように、本発明の一実施形態にかかる撮像装置１００は、主レンズ１０２と、マイクロレンズアレイ１０４と、撮像センサ１０６と、ＣＰＵ１０８と、メモリ１１０と、アナログフロントエンド（ＡＦＥ）部及びＡ／Ｄ変換部１１２と、画像入力部１１４と、カラー画素生成部１１６と、画像再構成部１１８と、デジタルバックエンド（ＤＢＥ）部１２０と、画像圧縮部１２２と、メモリカードドライバ１２４と、表示画像生成部１２６と、表示ドライバ１２８と、タイミングジェネレータ（ＴＧ）１３０と、モータドライバ１３２と、フォーカスレンズモータ１３４と、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）１３６と、を含んで構成される。

主レンズ１０２は、被写体へ焦点を合わせるためのレンズであるフォーカスレンズや、焦点距離を変化させるズームレンズ等を含んで構成される。フォーカスレンズモータ１３４の駆動により主レンズ１０２に含まれるフォーカスレンズの位置を移動させることで、撮像装置１００は被写体に焦点を合わせることができる。

マイクロレンズアレイ１０４は、複数のマイクロレンズ群から構成されるレンズアレイである。マイクロレンズアレイ１０４は、マイクロレンズ１０４ａが単一平面上に規則的に配列することで構成される。主レンズ１０２を通過した光はマイクロレンズアレイ１０４の各マイクロレンズを通過して撮像センサ１０６へ照射されることになる。

撮像センサ１０６は、マイクロレンズアレイ１０４を構成する各マイクロレンズ１０４ａを通過した光から画像信号を生成するものである。

ＣＰＵ１０８は、撮像装置１００の各部の動作を制御するものである。ＣＰＵ１０８は、撮像装置１００の内部に格納されたコンピュータプログラムを順次実行することで、撮像装置１００の各部の動作を制御することができる。またメモリ１１０は、撮像装置１００の動作の際に必要となる情報やデータが格納されるものである。

アナログフロントエンド部及びＡ／Ｄ変換部１１２は、撮像センサ１０６で光電変換されたアナログの信号を受け取り、デジタル信号に変換して出力するものである。アナログフロントエンド部及びＡ／Ｄ変換部１１２でデジタル信号に変換された信号は画像入力部１１４に送られる。

画像入力部１１４は、アナログフロントエンド部及びＡ／Ｄ変換部１１２で生成されたデジタル信号を受け取って、メモリ１１０に格納するものである。アナログフロントエンド部及びＡ／Ｄ変換部１１２で生成されたデジタル信号がメモリ１１０に格納されることで、撮像装置１００はデジタル信号に対する各種信号処理を実行することができる。

カラー画素生成部１１６は、撮像センサ１０６が受光した光から生成された画像信号に対して色データを生成する信号処理を実行するものである。

画像再構成部１１８は、マイクロレンズアレイ１０４を通して撮像された画像を再構成するものである。画像再構成部１１８は、例えばマイクロレンズアレイ１０４を通して撮像された画像の再構成により被写界深度を変更して、合焦させる被写体を変化させることができる。また画像再構成部１１８は、ノイズの除去や色の補正等による解像度向上処理を実行してもよい。

デジタルバックエンド部１２０は、マイクロレンズアレイ１０４を通して撮像され、カラー画素生成部１１６でカラー化された画像に対する画像処理を実行するものであり、例えば彩度を強調する処理を実行したり、画像サイズを変換する処理を実行したりするものである。

画像圧縮部１２２は、画像データを適切な形式に圧縮するものである。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。メモリカードドライバ１２４は、画像圧縮部１２２で圧縮された後の画像データの、メモリカード（図示せず）への記録、及びメモリカードに記録された画像データのメモリカードからの読み出しを実行するものである。

表示画像生成部１２６は、撮影画像や、撮像装置１００の各種設定画面を表示するＬＣＤ１３６に表示する画像（表示画像）を生成するものである。例えば、撮影画像を表示部に表示させる場合には、表示画像生成部１２６は、表示部の解像度や画面サイズに合わせて画像データを変換して、表示画像を生成する。表示ドライバ１２８は、表示画像生成部１２６が生成した表示画像をＬＣＤ１３６に表示させる処理を実行するものである。

タイミングジェネレータ１３０は、撮像センサ１０６にタイミング信号を入力する。タイミングジェネレータ１３０からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１３０からのタイミング信号により撮像センサ１０６の駆動が制御され、シャッタに同期して被写体からの光を露光し、その後読みだし駆動を行うことで、画像データの基となる電気信号が生成される。

モータドライバ１３２は、ＣＰＵ１０８の制御に基づいて、フォーカスレンズモータ１３４を駆動させるものである。フォーカスレンズモータ１３４は、モータによって主レンズ１０２の位置を制御するものである。モータドライバ１３２及びフォーカスレンズモータ１３４を介して主レンズ１０２の位置を制御することで、被写体のピントを調節することができる。

ＬＣＤ１３６は、例えばＬＣＤパネルからなり、いわゆるライブビュー画像の表示や、撮影画像の表示、メモリカード（図示せず）に記録された画像等が表示される。

なお、図３には図示していないが、撮像装置１００には、絞り、当該絞りを調節するためのモータ、及び当該モータを駆動させるためのモータドライバを備えていても良い。さらに、図３には図示していないが、撮像装置１００には、撮影動作を開始するためのシャッタボタン、絞りやシャッタ速度、感度等の撮影情報を設定するための操作ボタン等を備えていてもよい。

以上、本発明の一実施形態にかかる撮像装置１００の構成について説明した。このような構成を有する撮像装置１００では、ライブビュー画像をＬＣＤ１３６に表示させることによるファインダー機能の搭載が必須である。その際、装置のサイズやコスト面を考慮すると、マイクロレンズアレイ１０４を通して撮像センサ１０６で光電変換された画素データを用いたファインダー機能を搭載することが望ましい。

撮像センサ１０６を用いてライブビュー画像を生成するには、処理時間の短縮や処理負荷の軽減を図るため、撮像センサ１０６に、ライブビュー画像を生成するための読み出しモードを持たせることが望ましい。具体的には、全ての画素からデータを読み出すのではなく、画素を間引いて画素データを読み出す読み出しモードを撮像センサ１０６に備えていることが望ましい。また、撮像センサ１０６を用いてライブビュー画像を生成するには、ライブビュー画像を生成するための読み出しモードで画素データを読み出した場合であっても、カラー画像を生成できるフィルタ配置が撮像センサ１０６になされていることが望ましい。

そこで本実施形態においては、ライブビュー画像の効率的な生成のために画素を間引いて画素データを読み出す読み出しモードを備えつつ、間引いて読み出された画素データを用いてカラー画像を生成することができる撮像センサ１０６を備える撮像装置１００について説明する。なお、以下においては、画素を間引いて画素データを読み出す読み出しモードのことを説明の便宜上「間引きモード」とも称する。これに対して、以下においては、全ての画素から画素データを読み出す読み出しモードのことを説明の便宜上「全画素モード」とも称する。

以下の説明では、まず本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について示し、当該切り替え処理によって選択される間引きモードによる画素データの読み出し処理について説明する。

図４は、本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について示す流れ図である。以下、図４を用いて本発明の一実施形態にかかる撮像装置１００における、撮像センサ１０６の読み出しモードの切り替え処理について説明する。

まず、撮像センサ１０６からどのモードで画素データを読み出すかがＣＰＵ１０８で判断される（ステップＳ１０１）。ここでは、撮像センサ１０６から全画素モードと間引きモードのどちらで画素データを読み出すべきかがＣＰＵ１０８で判断される。

全画素モードと間引きモードのどちらで画素データを読み出すべきかについては、撮像装置１００の動作状態によって判断してもよい。例えば、撮像装置１００がライブビュー画像をＬＣＤ１３６に表示している状態では、ＣＰＵ１０８は、撮像センサ１０６からは間引きモードで画素データを読み出すべきと判断することができる。また、撮像装置１００のシャッタボタンがユーザによって押下され、撮像装置１００が撮影動作を実行する状態では、ＣＰＵ１０８は、撮像センサ１０６からは全画素モードで画素データを読み出すべきと判断することができる。

上記ステップＳ１０１における判断の結果、撮像センサ１０６から全画素モードで画素データを読み出すべきであるとＣＰＵ１０８が判断すると、ＣＰＵ１０８は、タイミングジェネレータ１３０に対して撮像センサ１０６の全ての画素から画素データを読み出すためのタイミング信号の生成を要求する。そして、タイミングジェネレータ１３０が生成したタイミング信号に基づいて、撮像センサ１０６の全ての画素から画素データが読み出される（ステップＳ１０２）。

一方、上記ステップＳ１０１における判断の結果、撮像センサ１０６から間引きモードで画素データを読み出すべきであるとＣＰＵ１０８が判断すると、ＣＰＵ１０８は、タイミングジェネレータ１３０に対して撮像センサ１０６の一部の画素から画素データを読み出すためのタイミング信号の生成を要求する。そして、タイミングジェネレータ１３０が生成したタイミング信号に基づいて、撮像センサ１０６の一部の画素から画素データが読み出される（ステップＳ１０３）。

上記ステップＳ１０２またはステップＳ１０３で、撮像センサ１０６の全部または一部から画素データを読み出すると、撮像センサ１０６から読み出した画素データをメモリ１１０に記憶する（ステップＳ１０４）。このように撮像センサから読み出した画素データをメモリ１１０に記憶することで、記憶した画素データを用いて、画像データやライブビュー画像を生成することができる。

以上、本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について説明した。次に、本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理によって選択される間引きモードによる、撮像センサ１０６における画素データの読み出し処理について説明する。

まず、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が奇数である場合について説明する。図５は、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が５個である場合における、間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。以下、図５を用いて、撮像センサ１０６における間引きモードによる画素データの読み出し処理の概要について説明する。

図５に示したそれぞれの円は、マイクロレンズ１０４ａによって投影される領域を示している。図５に示したそれぞれの円で囲まれている領域が、マイクロレンズ１０４ａからの光が投影される領域に相当する。また、図５に示したように、撮像センサ１０６はＲ，Ｇ，Ｂの各画素からなるＢａｙｅｒ配列を有している。

本実施形態においては、間引きモードによって撮像センサ１０６から画素データを読み出す際には、一つのマイクロレンズ１０４ａに割り当てられている２５個の画素の中から一つの画素を選択し、当該選択した画素の画素データを読み出す。また、画素データを読み出す画素の位置が、各マイクロレンズに対応する画素領域で全て相対的に一致するように、撮像センサ１０６から画素データを読み出す。このように画素データを読み出す画素を選択し、画素データを当該画素から読み出すことで、画素データが読み出された画素も、撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。そして、間引いて選択された画素がＢａｙｅｒ配列を有することで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。

図５に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域の中央の画素が、画素データを読み出す画素として選択されている。この２５画素からなる領域の中央の画素を並べると、これらの画素も撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。従って、図５のように１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素からなる２５画素の中から１つの画素を選択し、また当該画素は、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように選択されることで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。

なお、図５に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域の中央の画素を、画素データを読み出す画素として選択しているが、本発明はかかる例に限定されないことは言うまでも無い。当該領域の間であり、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するものであれば、間引きモードにおいて図５に示した位置と異なる位置の画素を選択することができる。また、本実施形態では、撮像センサ１０６の画素配列はＢａｙｅｒ配列であるが、本発明はかかる例に限定されるものではない。従って、選択後の画素配列についても、Ｂａｙｅｒ配列に限定されるものではない。

例えば、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域の中央の画素の集まりを第（０，０）フィールドと定義し、当該中央画素から右にｍ画素、下にｎ画素シフトした画素の集まりを第（ｍ，ｎ）フィールドと定義すると、図５に示した例では、ｍは−２から２の間の任意の整数値をとることができ、ｎも−２から２の間の任意の整数の値をとることができる。なお、間引きモードにおけるフルカラー画像の生成のためには、ｍ及びｎの値はマイクロレンズ１０４ａによって投影される領域に含まれるように決定することが望ましい。

また、図５に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域から選択する画素の数は１つであったが、本発明はかかる例に限定されない。例えば、撮像センサ１０６において間引きモードで画素データを読み出す際には、当該２５画素からなる領域から、縦３画素、横３画素の、計９画素を選択して、選択した画素から画素データを読み出すようにしてもよい。

以上、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が奇数である場合について説明した。続いて、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が偶数である場合について説明する。図６は、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が６個である場合における、間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。以下、図６を用いて、撮像センサ１０６における間引きモードによる画素データの読み出し処理の概要について説明する。

図６に示したそれぞれの円は、マイクロレンズ１０４ａによって投影される領域を示している。図６に示したそれぞれの円で囲まれている領域が、マイクロレンズ１０４ａからの光が投影される領域に相当する。また、図６に示したように、撮像センサ１０６はＲ，Ｇ，Ｂの各画素からなるＢａｙｅｒ配列を有している。

本実施形態においては、間引きモードによって撮像センサ１０６から画素データを読み出す際には、一つのマイクロレンズ１０４ａに割り当てられている３６個の画素の中から、縦２画素、横２画素からなる計４つの画素を選択し、当該選択した４つの画素の画素データを読み出す。また、画素データを読み出す画素の位置が、各マイクロレンズに対応する画素領域で全て相対的に一致するように、撮像センサ１０６から画素データを読み出す。このように画素データを読み出す画素を選択し、画素データを当該画素から読み出すことで、画素データが読み出された画素も、撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。そして、間引いて選択された画素がＢａｙｅｒ配列を有することで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。

図６に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素が、画素データを読み出す画素として選択されている。この３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素を並べると、これらの画素も撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。従って、図６のように１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素からなる３６画素の中から４つの画素を選択し、また当該画素は、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように選択されることで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。

なお、図６に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素を、画素データを読み出す画素として選択しているが、本発明はかかる例に限定されないことは言うまでも無い。当該領域の間であり、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するものであれば、間引きモードにおいて図６に示した位置と異なる位置の画素を選択することができる。

例えば、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素の集まりを第（０，０）フィールドと定義し、当該中央部分から右にｍ画素、下にｎ画素シフトした画素の集まりを第（ｍ，ｎ）フィールドと定義すると、図６に示した例では、ｍは−２から２の間の任意の整数値をとることができ、ｎも−２から２の間の任意の整数の値をとることができる。なお、間引きモードにおけるフルカラー画像の生成のためには、ｍ及びｎの値はマイクロレンズ１０４ａによって投影される領域に含まれるように決定することが望ましい。

また、図６に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域から選択する画素の数は４つであったが、本発明はかかる例に限定されない。例えば、撮像センサ１０６において間引きモードで画素データを読み出す際には、当該３６画素からなる領域から、縦４画素、横４画素の、計１６画素を選択して、選択した画素から画素データを読み出すようにしてもよい。

以上、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が偶数である場合について説明した。続いて、撮像センサ１０６として４チャンネル読出しのＣＭＯＳセンサを例に挙げて、ＣＭＯＳセンサからの画素の読出し順序について説明する。

図７は、撮像センサ１０６として４チャンネルの出力を持つＣＭＯＳセンサを用い、マイクロレンズの配置が図６に示したものと同じ場合における、ＣＭＯＳセンサからの画素の読出し順序について示す説明図である。４つの出力チャンネルからは隣合う４画素（Ｇｒ、Ｇｂ、Ｒ、Ｂ）が同時に出力される。図７に示した構成では、最初のクロックでＢ１１、Ｒ２２、Ｇｂ１２、Ｇｒ２１の４画素が出力され、次のクロックでＢ１５、Ｒ２６、Ｇｂ１６、Ｇｒ２５の４画素が同時に出力され、順次最初の１ラインが出力され、その後２ライン、３ラインと出力される。

ここでは４チャンネル出力のＣＭＯＳセンサで説明を行ったが、１チャンネル出力や２チャンネル出力のＣＭＯＳセンサでも対応可能である。例えば２チャンネル出力のＣＭＯＳセンサを用いた場合は、最初のクロックでＢ１１、Ｇｒ２１が出力され、次のクロックでＧｂ１２、Ｒ２２が出力され、順次出力が続いていくことになる。

以上説明したように本発明の一実施形態によれば、マイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置１００において、撮像センサ１０６は、全ての画素から画素データを読み出す全画素モードと、一部の画素から画素データを読み出す間引きモードとを有する。そして、間引きモードで撮像センサ１０６から画素データを読み出す際には、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように、画素データを読み出す画素を選択する。このように画素データを読み出す画素を選択することで、間引きモードの場合であっても、カラーフィルタの配列が、撮像センサ１０６における元の配列状態を維持した状態を保つことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように、画素データを読み出す画素を選択していたが、本発明はかかる例に限定されない。例えば、各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を求めてもよく、このように求めたＲ、Ｇ、Ｂのそれぞれの画素の代表値を用いて、ライブビュー画像を生成してもよい。この代表値は、例えば各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂの各画素値の加算平均値であってもよい。そして、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を撮像センサ１０６で予め演算して求めた後に撮像センサ１０６から読み出すようにしてもよく、撮像センサ１０６から画素データを読み出してから、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を演算するようにしてもよい。

例えば、上記実施形態では、全てのマイクロレンズを対象としてとしたが、本発明はかかる例に限定されない。例えば、対象となるマイクロレンズを間引いて選択して、選択されたマイクロレンズの照射範囲から画素を選択し、当該画素から画素データを読み出すようにしてもよい。マイクロレンズを間引いて選択する場合であっても、各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を求めてもよく、このように求めたＲ、Ｇ、Ｂのそれぞれの画素の代表値を用いて、ライブビュー画像を生成してもよい。この代表値は、例えば各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂの各画素値の加算平均値であってもよい。そして、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を撮像センサ１０６で予め演算して求めた後に撮像センサ１０６から読み出すようにしてもよく、撮像センサ１０６から画素データを読み出してから、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を演算するようにしてもよい。

また、上述の実施形態の説明では、マイクロレンズの概略中心の画素を選択するとしてきたが、実際の撮像センサでは周辺部に行くほど光が斜めに入射する。そのため、入射に対する補正をするために、撮像センサの周辺部に行くに従って、撮像センサに対して光を垂直に照射する方向へマイクロレンズをシフトするようにしてもよい。このようにマイクロレンズをシフトして光量を確保することで、撮像センサの周辺部の画質も向上させることが可能となる。

１００撮像装置
１０２主レンズ
１０４マイクロレンズアレイ
１０４ａマイクロレンズ
１０６撮像センサ
１０８ＣＰＵ
１１０メモリ
１１２アナログフロントエンド部及びＡ／Ｄ変換部
１１４画像入力部
１１６カラー画素生成部
１１８画像再構成部
１２０デジタルバックエンド部
１２２画像圧縮部
１２４メモリカードドライバ
１２６表示画像生成部
１２８表示ドライバ
１３０タイミングジェネレータ
１３２モータドライバ
１３４フォーカスレンズモータ
１３６ＬＣＤ

Claims

単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、
前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、
を備え、
前記光電変換部は、前記光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各前記レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードとを備える、撮像装置。
前記第２モードにおける選択後の画素配列はベイヤー配列である、請求項１に記載の撮像装置。
前記光電変換領域を構成する画素の一辺あたりの数が奇数である場合に、前記光電変換部から前記第２モードで読み出すときには、一辺の数が前記一辺あたりの数より少ない奇数の数の画素からなる領域からデータを読み出す、請求項１に記載の撮像装置。
前記光電変換領域を構成する画素の一辺あたりの数が偶数である場合に、前記光電変換部から前記第２モードで読み出すときには、一辺の数が前記一辺あたりの数より少ない偶数の数の画素からなる領域からデータを読み出す、請求項１に記載の撮像装置。
前記第２モードによって前記光電変換部から読み出したデータを用いて生成された画像を所定の周期で切り替えて連続して表示する表示部をさらに備える、請求項１に記載の撮像装置。
前記光電変換部の各画素からはデータをそのまま読み出して、前記表示部に表示する画像の生成に用いる、請求項５に記載の撮像装置。
前記光電変換部の各画素における赤、緑、青の代表値を用いて前記表示部に表示する画像を生成する、請求項５に記載の撮像装置。
前記光電変換部の内部で予め各前記代表値を演算する、請求項７に記載の撮像装置。
前記光電変換部からデータを読み出してから各前記代表値を演算する演算部をさらに備える、請求項７に記載の撮像装置。
前記第２モードによって前記光電変換部からデータを読み出す際には、前記レンズアレイの全てのレンズに対応する前記光電変換領域を対象とする、請求項１に記載の撮像装置。
前記第２モードによって前記光電変換部からデータを読み出す際には、前記レンズアレイの一部のレンズに対応する前記光電変換領域を対象とする、請求項１に記載の撮像装置。
前記光電変換部の周辺部に行くに従って、前記光電変換部に対して垂直に光を照射する方向へ前記レンズアレイの光軸をシフトさせる、請求項１に記載の撮像装置。
単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、
前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、
を備える撮像装置に対して、
前記光電変換部は、前記光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各前記レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードとを有するデータ読み出しステップを備える、撮像方法。