JP2015108710A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】色情報に応じてマイクロレンズの形状を変化させて位相差検出用信号の質を低下させずに、しかも良好な画像信号を得ることができるようにする。
【解決手段】撮像素子１０１は被写体光を光電変換する光電変換部と、光電変換部に対応してカラーフィルターを介して配置され光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備えている。システム制御部１０５および測距演算部１０３画素の出力の位相差を検出して焦点調節を行い、画像処理部１０２は画素の出力を画像信号として出力する。ＷＢ評価値算出部１０４は画像信号に応じて画像信号が示す画像における所定の色を示す画像色データであるＷＢ評価値を得て、形状可変マイクロレンズ制御部１０６は、システム制御部の制御下でＷＢ評価値に応じて可変マイクロレンズを偏心させる。
【選択図】図１

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、マイクロレンズとして形状可変マイクロレンズを用いて、複数の画素における出力の位相差を検出して焦点調節を行う撮像装置に関する。

一般に、複数の画素を有する撮像素子を備える撮像装置において、１つのマイクロレンズによって２つの画素が撮影レンズの異なる領域から光束を受光して、当該２つの画素の出力の位相差に応じて焦点調節を行う撮像装置が知られている。つまり、一方の画素（第１の画素）は第１の方向から光束を受け、他方の画素（第２の画素）は第１の方向と異なる第２の方向から光束を受けることになる。ここでは、第１および第２の画素を交互に配置して位相差を検出するとともに画像信号を得るようにしている。

ところで、撮像素子上の複数の画素のうち位相差を検出するための用いられる画素はその感度を良好にするため、カラーフィルターが省略されることがある。一方、カラーフィルターを省略すると、当該画素については色情報を取得することができず、撮影の際画像信号の品質が低下してしまう。

このような画像信号の品質低下を回避するため、カラーフィルターを所定の最小色配列の配色繰り返しに従って画素単位に配置して、少なくとも一部の光電変換域をマイクロレンズの通過光束の中心軸に対して所定の瞳分割方向に偏って配置したものがある。そして、ここでは、光電変化域の偏りを近接する最小色配列の同色画素間において対称関係としている（特許文献１参照）。

さらに、光電変換素子に対する入射光の変化（シェーディング）に対処するため、マイクロレンズに流体レンズなどの形状可変レンズを用いた撮像装置がある（特許文献２参照）。この撮像装置では、光軸から離れるにつれて集光効率が高くなるように、形状可変レンズの形状を変化させている。

また、高解像度の画像信号を得るため、各画素の中心に対してマイクロレンズを偏心させて、光束の一部を用いて位相差検出用信号を得るようにしたものがある（特許文献３参照）。

特開２００７−１５８５９７号公報 特開２００４−３１１６６６号公報 特開２００９−８６１４４号公報

ところが、特許文献１および３に記載の撮像装置では、マイクロレンズを偏心させて、光束の一部のみを位相差検出用の画素に与えているので、不可避的に画素の感度が低下してしまい、画素出力、つまり、位相差検出用信号のＳ／Ｎ比が低下してしまうことになる。

一方、特許文献２に記載の撮像装置においては、単に形状可変レンズを用いて、光軸から離れるにつれて集光効率が高くなるように、形状可変レンズの形状を変化させることが記載されている。しかし、位相差検出によってフォーカス調節を行うことは考慮されていない。

そこで、本発明の目的は、形状可変なマイクロレンズを用いて、位相差検出用信号の質を低下させずに、しかも良好な画像信号を得ることができる撮像装置を提供することにある。

上記の目的を達成するため、本発明による撮像装置は、被写体光を光電変換する光電変換部と、前記光電変換部に対応してカラーフィルターを介して配置され前記光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備える撮像素子を有し、前記画素の出力の位相差を検出して焦点調節を行うとともに前記画素の出力を画像信号として得る撮像装置であって、前記画像信号に応じて前記画像信号が示す画像における所定の色を示す画像色データを得る色データ取得手段と、前記画像色データに応じて前記可変マイクロレンズを偏心させる偏心手段と、を有することを特徴とする。

本発明による制御方法は、被写体光を光電変換する光電変換部と、前記光電変換部に対応してカラーフィルターを介して配置され前記光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備える撮像素子を有し、前記画素の出力の位相差を検出して焦点調節を行うとともに前記画素の出力を画像信号として得る撮像装置の制御方法であって、前記画像信号に応じて前記画像信号が示す画像における所定の色を示す画像色データを得る色データ取得ステップと、前記画像色データに応じて前記可変マイクロレンズを偏心させる偏心ステップと、を有することを特徴とする。

本発明による制御プログラムは、被写体光を光電変換する光電変換部と、前記光電変換部に対応してカラーフィルターを介して配置され前記光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備える撮像素子を有し、前記画素の出力の位相差を検出して焦点調節を行うとともに前記画素の出力を画像信号として得る撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記画像信号に応じて前記画像信号が示す画像における所定の色を示す画像色データを得る色データ取得ステップと、前記画像色データに応じて前記可変マイクロレンズを偏心させる偏心ステップと、を実行させることを特徴とする。

本発明によれば、精度よく位相差検出が行えるばかりでなく、画像の劣化を防止することができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像素子において可変マイクロレンズの形状制御を説明するための図であり、（ａ）は可変マイクロレンズが偏心しない状態を示す図、（ｂ）は可変マイクロレンズが偏心した状態を示す図、（ｃ）はベイヤー配列された画素における可変マイクロレンズの形状制御を示す図である。 図１に示す撮像素子においてベイヤー配列された画素の一例を示す図である。 図１に示す測距演算部の構成についてその一例を示すブロック図である。 図４に示す像分離部で分離された像信号を説明するための図であり、（ａ）はＡ像に対応する画素領域を示す図、（ｂ）はＢ像に対応する画素領域を示す図である。 図４に示す第１および第２の輝度生成部で得られる第１および第２の輝度信号を示す図である。 図１に示す形状可変マイクロレンズの動作を説明するための図である。 図１に示す画像処理部についてその構成の一例を示すブロック図である。 本発明の第２の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図９に示すカメラで行われる可変マイクロレンズの制御を説明するためのフローチャートである。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下、単にカメラと呼ぶ）であり、撮影レンズユニット（以下、単に撮影レンズと呼ぶ）１００を有している。撮影レンズ１００はフォーカスレンズを含む複数のレンズ（レンズ群）および絞りを備えており、後述するように、フォーカスレンズを撮影レンズの光軸に沿って移動させて焦点調節が行われる。

撮影レンズ１００を通過した光学像（被写体像又は被写体光）は、撮像素子（例えば、ＣＭＯＳイメージセンサー）１０１に結像する。図１には示されていないが、撮像素子１０１は、画素を複数備えており、これら複数の画素は２次元マトリックス状に配列されている。そして、これら画素のうち一部の画素が位相差検出用の画素としても用いられる。

ここでは、撮像素子１０１は形状可変マイクロレンズ（以下可変ＭＬと呼ぶ）およびカラーフィルター（原色フィルターともいう）を備えている。そして、撮像素子１０１は原色フィルターが格子状に並べられてベイヤー配列を形成して、後述するように、画素に可変ＭＬおよび原色フィルターが対応づけられている。そして、撮像素子１０１は光学像に応じた電気信号（アナログ信号）を出力する。

このアナログ信号は撮像素子１０１に備えられたＡ／Ｄ変換器（図示せず）によってＡ／Ｄ変換されてデジタル信号として信号処理部１０２、測距演算部１０３、およびＷＢ（ホワイトバランス）評価値算出部１０４に与えられる。画像処理部１０２は、ベイヤー配列のデジタル信号および後述する色情報に基づいて輝度信号および色差信号を生成する。

測距演算部１０３には、形状可変マイクロレンズ制御部１０６から位相差検出用画素に係る色情報が与えられており、測距演算部１０３はデジタル信号が示す画像と色情報とに基づいて、後述するようにして、カメラから被写体までの距離（被写体距離）を求める。そして、ＷＢ評価値算出部１０４はデジタル信号についてそのホワイトバランスのためのＷＢ評価値（ホワイトバランス評価値）を算出する。

このＷＢ評価値は、画像における所定の色を示す画像色データの１つであり、システム制御部１０５にはＷＢ評価値および被写体距離を示す距離情報が与えられる。そして、システム制御部１０５は、これらＷＢ評価値および距離情報に応じてカメラを制御する。

さらに、システム制御部１０５はＷＢ評価値を形状可変マイクロレンズ制御部（以下単にＭＬ制御部と呼ぶ）１０６に与える。ＭＬ制御部１０６は、ＷＢ評価値に応じて可変ＭＬを制御するためのＭＬ制御情報および位相差検出用画素に係る色情報を生成する。

なお、撮影レンズ１００に備えられたフォースレンズおよび絞りはシステム制御部１０５によって駆動制御され、所定の明るさとされた光学が撮像素子１０１に結像する。そして、撮像素子１０１はシステム制御部１０５から供給される駆動パルスによって駆動される。さらに、可変ＭＬはＭＬ制御部１０６の制御下で（つまり、形状制御情報に応じて）、その形状が変化する。

ここでは、可変ＭＬはＭＬ制御部１０６から与えられる形状制御情報に応じて開口絞りの位置（図示せず）における所定の領域からの光束のみが受光されるように偏心する。

図２は、図１に示す撮像素子において可変マイクロレンズの形状制御を説明するための図である。そして、図２（ａ）は可変マイクロレンズが偏心しない状態を示す図であり、図２（ｂ）は可変マイクロレンズが偏心した状態を示す図である。また、図２（ｃ）はベイヤー配列された画素における可変マイクロレンズの形状制御を示す図である。

図２（ａ）においては、撮像素子１０１が備える１画素が示されており、当該画素は、可変ＭＬ２００を有し、当該可変ＭＬ２００の下側にはカラーフィルター２０１を介して光電変換部２０２が位置している。図１に示す撮影レンズ１００を介して入射した光束は可変ＭＬ２００およびカラーフィルター２０１を介して光電変換部２０２に結像する。そして、光電変換部２０２は光電変換によって光束に応じた画素信号を生成する。

図２（ａ）に示す例では、可変ＭＬ２００がその形状を変化しない状態、つまり、偏心しない状態が示されており、この状態では、画素は、例えば、静止画を撮影する状態である。言い換えると、この状態では、画素は位相差検出用画素として用いられないことになる。そして、絞り（図示せず）を通過した光束は全て光電変換部２０２に集光する。

一方、図２（ｂ）に示す例では、可変ＭＬ２００は図中右側に偏心した状態であり、撮影レンズ１００の特定の領域を通過した光束のみが（つまり、光束の一部が）光電変換部２０２に集光する。ここでは、図中斜線で示す領域の光束は光電変換部２０２の受光面外に到達し、斜線が付されていない領域の光束のみが受光面に入射することになる。

図２（ｃ）においては、ベイヤー配列された複数の画素を有する撮像素子１０１の一断面が示されている。ここでは、互いに隣接するＲ（赤）・Ｇｒ（緑）・Ｇｂ（緑）・Ｂ（青）のカラーフィルターを有する水平方向２画素および垂直方向２画素の４画素を１つのグループとしている。

図３は、図１に示す撮像素子１０１においてベイヤー配列された画素の一例を示す図である。

ベイヤー配列では、１つのグループにおいて１つの対角線上の位置に緑色カラーフィルターを有する２つ画素が配置され、別の対角線上にそれぞれ赤色カラーフィルターおよび青色カラーフィルターを有する画素が配置される。

ここでは、緑色カラーフィルターを有する一方の画素をＧｒ画素とし、緑色カラーフィルターを有する他方の画素をＧｂ画素とする。また、赤色カラーフィルターを有する画素をＲ画素とし、青色カラーフィルターを有する画素をＢ画素とする。

なお、赤色カラーフィルターは、第１の波長の光を通過させる第１のフィルターであり、緑色カラーフィルターは、第１の波長ようも短い第２の波長の光を通過させる第２のフィルターである。そして、青色カラーフィルターは、第２の波長よりも短い第３の波長の光を通過させる第３のフィルターである。

図３に示す例では、１つのグループにおいては同一の領域（第１の領域）からの光束が入射するようにする。そして、隣接グループ間においては異なる領域（第２の領域）から光束を入射させるようにこれらグループを千鳥状に配置する。

図示の例では、白抜きのグループおよび斜線で示したグループはそれぞれ同一の領域から光束が入射する。以下の説明では、白抜きのグループに対応する画素領域を第１のグループ領域と呼び、斜線で示すグールプに対応する画素領域を第２のグループ領域と呼ぶ。

なお、図２（ｃ）においては、断面の関係上Ｒ画素およびＧｒ画素のみが示されており、左側のＲ画素およびＧｒ画素（例えば、第１のグループ領域の画素）においては、可変ＭＬ２００は右側に偏心されて、図中右方向からの光束を受光する。

一方、右側のＲ画素およびＧｒ画素（例えば、第２のグループ領域の画素）においては、可変ＭＬ２００は左方向に偏心されて、図中左方向からの光束を受光する。

図４は、図１に示す測距演算部１０３の構成についてその一例を示すブロック図である。

測距演算部１０３は、像分離部１０３０、第１および第２の同時化部１０３１および１０３２、第１および第２の輝度生成部１０３３および１０３４、および相関演算部１０３５を有している。

像分離部１０３０は撮像素子１０１から画像信号ＲＡＷを受けて、当該画像信号ＲＡＷについて第１のグループ領域に対応する像信号（以下Ａ像と呼ぶ）と第２のグループ領域に対応する像信号（以下Ｂ像と呼ぶ）。そして、像分離部１０３０はＡ像（第１の像）およびＢ像（第２の像）をそれぞれ第１および第２の同時化部１０３１および同時化部１０３２に送る。

図５は，図４に示す像分離部１０３０で分離された像信号を説明するための図である。そして、図５（ａ）はＡ像に対応する画素領域を示す図であり、図５（ｂ）はＢ像に対応する画素領域を示す図である。

図５（ａ）に示すＡ像に対応する画素領域においては、Ｂ像に対応する画素領域が抜けている。同様に、図５（ｂ）に示すＢ像に対応する画素領域においては、Ａ像に対応する画素領域が抜けている。このため、第１および第２の同時化部１０３１および１０３２はそれぞれＡ像およびＢ像について全ての画素位置において画素値（つまり、ＲＧＢのいずれかの画素値）を有するように補間演算を行って、補間後のＡ像およびＢ像を得る。

補間後のＡ像およびＢ像はそれぞれ第１および第２の輝度生成部１０３３および１０３４に与えられる。第１および第２の輝度生成部１０３３および１０３４はそれぞれ次の式（１）を用いて、補間後のＡ像およびＢ像（つまり、ＲＧＢ信号）に応じて第１および第２の輝度信号を得る。

ここで、Ｒ、Ｇ、およびＢは補間後のＡ像およびＢ像（ＲＧＢ信号）におけるＲ、Ｂ、およびＢの画素値を表し、ａ、ｂ、およびｃの各々は重み係数である。

なお、後述するように、ＭＬ制御部１０６から出力される位相差検出画素に係る色情報は、測距演算を行う際に用いる色信号（つまり、色）を指定する情報である。よって、ここでは、測距演算に用いない色信号については重み係数をゼロとして相関演算で用いないようにする。

第１および第２の輝度信号は相関演算部１０３５に与えられる。そして、相関演算部１０３５は第１および第２の輝度信号との相関に応じて被写体までの距離を示す距離情報を得る。

図６は、図４に示す第１および第２の輝度生成部１０３３および１０３４で得られる第１および第２の輝度信号を示す図である。

図６において、横軸は画素位置を示し、縦軸は輝度信号の強度（信号強度）を示す。ここでは、第１の輝度生成部１０３３は第１の輝度信号６００を出力し、第２の輝度生成部１０３４は第２の輝度信号６０１を出力するものとする。

位相差検出方式によって、カメラから被写体までの距離を示す距離情報を求める際には、第１の輝度信号６００と第２の輝度信号６０１との相対関係、即ち、像間の距離（つまり、ピーク値間の距離）６０２およびフォーカス位置における結像面から射出瞳までの距離（射出瞳距離という）に応じて距離情報が求められる。つまり、相関演算部１０３５は、像間の距離６０２を求めて、像間距離と射出瞳距離とに応じてカメラから被写体までの距離を示す距離情報を得る。

前述のように、ＷＢ評価値算出部１０４は、撮像素子１０１で得られた画像信号（デジタル信号）に基づいてＷＢ評価値を算出して、当該ＷＢ評価値をシステム制御部１０５に出力する。

一方、ＭＬ制御部１０６は、前述のように、ＷＢ評価値に応じて可変ＭＬを制御するためのＭＬ制御情報を生成するとともに、位相差検出用画素に係る色情報を生成して、当該色情報を画像処理部１０２および測距演算部１０３に出力する。

図７は、図１に示すＭＬ制御部１０６の動作を説明するための図である。

前述のように、可変ＭＬを偏心させて、所定の領域のみから光束を入射すると、位相差検出用信号を取得できるものの、入射光束が制限される結果、画素、つまり、光電変換部の感度が低下してＳ／Ｎ比が悪化してしまう。

一方、信号レベルが低く測距精度に対する影響が小さければ、当該信号レベルの小さい位相差検出用信号は測距に用いなくてもよい。そして、測距に用いないのであれば可変ＭＬを偏心させて入射する光束を制限する必要はなく、その結果、Ｓ／Ｎ比が悪化することはない。

そこで、ＭＬ制御部１０６は、図７に示すように、ＷＢ評価値を参照して、色温度が所定の第１の色温度閾値よりも低いと（色温度低）、Ｂ成分が少なくＢ成分については測距精度に対する影響が小さいと判定する。そして、ＭＬ制御部１０６はＲＧｒＧｂ画素に対応する可変ＭＬを偏心させるとともに、Ｂ画素に対応する可変ＭＬを偏心させないことを示すＭＬ制御情報を生成する。つまり、ＭＬレンズ制御部１０６は色温度が所定の第１の色温度閾値よりも低いと、ＲＧｒＧｂ画素に対応する可変ＭＬを偏心させるとともに、Ｂ画素に対応する可変ＭＬを偏心させないことになる（通常状態）。

また、色温度が第１の色温度閾値以上で第２の色温度閾値未満であると（つまり、色温度が通常であると）、ＭＬ制御部１０６はＲＧｒＧｂ画素に対応する可変ＭＬを偏心させ、さらに、Ｂ画素に対応する可変ＭＬも偏心させる。

一方、色温度が第２の色温度閾値以上であると（色温度高）、ＭＬ制御部１０６はＲ成分が少なくＲ成分については測距精度に対する影響が小さいと判定する。そして、ＭＬ制御部１０６はＧｒＧｂＢ画素に対応する可変ＭＬを偏心させるとともに、Ｒ画素に対応する可変ＭＬを偏心させないことを示すＭＬ制御情報を生成する。つまり、ＭＬレンズ制御部１０６は、色温度が第２の温度閾値以上であると、ＧｒＧｂＢ画素に対応する可変ＭＬを偏心させるとともに、Ｒ画素に対応する可変ＭＬを偏心させないことになる。

上記の位相差検出画素に係る色情報は、色温度に応じて測距精度に対する影響が小さいと判断された色に係る情報である。測距演算部１０３は、前述のように第１および第２の輝度信号を生成する際、色情報が示す色に対応する重み係数をゼロとして当該色を相関演算で用いないようにする。

図８は、図１に示す画像処理部１０２についてその構成の一例を示すブロック図である。

画像処理部１０２は、視差補正部１０２０、同時化部１０２１、およびＹＣＭＴＸ部１０２２を備えている。撮像素子１０１から画像処理部１０２に与えられる画像信号には位相差検出用信号が含まれているので、つまり、視差を含む画像であるので、視差補正部１０２０は画像信号について視差補正を行って視差補正後の画像信号を出力する。

画像信号において視差を有する画素について、当該視差とは逆方向の視差に係る情報が不足しているので、視差補正部１０２０は視差を有する画素について当該画素の周囲に位置して逆方向の視差情報を有する画素に応じて画素値を補正する。

例えば、図３に示すＲ１８画素について視差補正を行う場合には、次の式（２）に応じて視差補正が行われる。

Ｒ１８’＝Ｒ１８＋（Ｒ２＋Ｒ１６＋Ｒ２０＋Ｒ３４）／４ （２）
ここで、Ｒ１８、Ｒ２、Ｒ１６、Ｒ２０、およびＲ３４はそれぞれＲ１８、Ｒ２、Ｒ１６、Ｒ２０、およびＲ３４画素の画素値を示し、Ｒ１８’は視差補正され後のＲ１８画素の画素値を示す。

図示のように、視差補正部１０２０には位相差検出画素に係る色情報が与えられており、視差補正部１０２０は当該色情報に応じて、つまり、当該色情報が示す色の画素については視差を含まないので視差補正を行わない。

同時化部１０２１は、視差補正後の画像信号を、ＲＧＢ画素信号に分離した後、全ての画素位置においてＲＧＢ値を有するように画素補間を行って、ＲＧＢ画像信号を生成する。そして、同時化部１０２１はＲＧＢ画像信号をＹＣＭＴＸ部１０２２に送る。

ＹＣＭＴＸ部１０２２は、次の式（３）〜式（４）に応じてＲＧＢ画像信号を輝度信号Ｙ’と色差信号ＣＲおよびＣＢに変換する。

なお、Ｒ、Ｇ、およびＢは、同時化部１０２１で画素補間されて得られたＲＧＢ画像信号の画素値を示し、ｄ、ｅ、およびｆは輝度信号Ｙ’を生成する際に用いられる重み係数である。

このように、本発明の第１の実施形態では、色温度に応じて測距精度に対する影響を判定して、測距精度に対する影響が小さい場合には、当該色画素に対応する可変ＭＬを偏心させないようにした。これにより、精度よく位相差検出が行えるばかりでなく、画像の劣化を防止することができる。

［第２の実施形態］
図９は、本発明の第２の実施形態による撮像装置の一例についてその構成を示すブロック図である。なお、図示の撮像装置において、図１に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。

図示の撮像装置（カメラ）は、図１に示すＷＢ評価値算出部１０４の代わりに、被写体検出部１０７を備えている。被写体検出部１０７は画像処理部１０２の出力である画像信号（つまり、ここでは輝度信号および色差信号）を受けて、画像信号における被写体のサイズ、その位置、および色の割合を検出する。そして、ＭＬ制御部１０６は被写体検出部１０７で得られた被写体のサイズ、その位置および色の割合（ここでは、ＲおよびＢの割合）に応じて可変ＭＬを制御する。

例えば、被写体検出部１０７は、画像処理部１０２の出力である輝度信号および色差信号に応じて着目している被写体（被写体領域）のサイズ、その位置、および着目領域（つまり、被写体領域）における色の割合（色割合情報）ＲｒおよびＢｒを、次の式（６）および式（７）を用いて算出する。

Ｒｒ＝（ｄ×ＣＲ＋Ｙ’）／Ｙ’＝（ｄ×Ｒ）／Ｙ’ （６）
Ｂｒ＝（ｆ×ＣＢ＋Ｙ’）／Ｙ’＝（ｆ×Ｂ）／Ｙ’ （７）
なお、ｄおよびｆは前述の輝度信号Ｙ’を生成する際の用いたＲおよびＢ画素に係る重み係数である。また、ＲｒはＲの割合を示し、ＢｒはＢの割合を示す。

図１０は、図９に示すカメラで行われる可変ＭＬの制御を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部１０５の制御下でＭＬ制御部１０６によって行われる。

ＭＬ制御を開始すると、まず、ＭＬ制御部１０６はシステム制御部１０５から被写体のサイズ、その位置、および色の割合を示す被写体情報を取得する（ステップＳ１０１）。続いて、ＭＬ制御部１０６は色の割合Ｒｒと予め設定されたＲ割合閾値ＲＴｈとを比較して、Ｒｒ＞Ｒｔｈであるか否かを判定する（ステップＳ１０２）。

Ｒｒ＞Ｒｔｈであると（ステップＳ１０２において、ＹＥＳ）、ＭＬ制御部１０６はＲ画素について測距精度に対する影響が大きいとしてＲ画素に対応する可変ＭＬを偏心させる（ステップＳ１０３）。

この際、ＭＬ制御部１０６は被写体サイズおよびその位置で規定される着目領域に係るＲ画素に対応する可変ＭＬのみを偏心させれば十分であるので、当該着目領域に係るＲ画素に対応する可変ＭＬのみを偏心させることになる。

これによって、Ｒ画素に対応する可変ＭＬを偏心させる際、当該可変ＭＬは着目領域に限定されるので、Ｓ／Ｎ比の悪化を確実に防止することができる。

一方、Ｒｒ≦Ｒｔｈであると（ステップＳ１０２において、ＮＯ）、ＭＬ制御部１０６は測距精度に対する影響が小さいとしてＲ画素に対応する可変ＭＬを偏心させない（ステップＳ１０４）。

ステップＳ１０３又はＳ１０４の処理に続いて、ＭＬ制御部１０６は、色の割合Ｂｒと予め設定されたＢ割合閾値ＢＴｈとを比較して、Ｂｒ＞Ｂｔｈであるか否かを判定する（ステップＳ１０５）。Ｂｒ＞Ｂｔｈであると（ステップＳ１０５において、ＹＥＳ）、ＭＬ制御部１０６はＢ画素について測距精度に対する影響が大きいとしてＢ画素に対応する可変ＭＬを偏心させる（ステップＳ１０６）。そして、ＭＬ制御部１０６はＭＬ制御を終了する。

この際、ＭＬ制御部１０６は着目領域に係るＢ画素に対応する可変ＭＬのみを偏心させれば十分であるので、当該着目領域に係るＢ画素に対応する可変ＭＬのみを偏心させることになる。これによって、Ｂ画素に対応する可変ＭＬを偏心させる際、当該可変ＭＬは着目領域に限定されるので、Ｓ／Ｎ比の悪化を確実に防止することができる。

一方、Ｂｒ≦Ｂｔｈであると（ステップＳ１０５において、ＮＯ）、ＭＬ制御部１０６は測距精度に対する影響が小さいとしてＢ画素に対応する可変ＭＬを偏心させない（ステップＳ１０７）。そして、ＭＬ制御部１０６はＭＬ制御を終了する。

このように、本発明の第２の実施形態では色の割合に基づいて測距精度に対する影響を判断して、被写体のサイズおよびその位置に応じて偏心させる可変ＭＬを限定する。これによって、精度よく位相差検出が行えるばかりでなく、画像の劣化を防止することができる。

上述の説明から明らかなように、図１に示す例においては、ＷＢ評価値算出部１０４およびシステム制御部１０５が色データ取得手段として機能し、システム制御部１０５および形状可変マイクロレンズ制御部１０６が偏心手段として機能する。さらに、システム制御部１０５および測距演算部１０３が測距手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも色データ取得ステップおよび偏心ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、システム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ 撮影レンズ
１０１ 撮像素子
１０２ 画像処理部
１０３ 測距演算部
１０４ ＷＢ評価値算出部
１０５ システム制御部
１０６ 形状可変マイクロレンズ制御部
１０７ 被写体検出部
２００ 可変マイクロレンズ
２０１ カラーフィルター

Claims (10)

1. 被写体光を光電変換する光電変換部と、前記光電変換部に対応してカラーフィルターを介して配置され前記光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備える撮像素子を有し、前記画素の出力の位相差を検出して焦点調節を行うとともに前記画素の出力を画像信号として得る撮像装置であって、
   前記画像信号に応じて前記画像信号が示す画像における所定の色を示す画像色データを得る色データ取得手段と、
   前記画像色データに応じて前記可変マイクロレンズを偏心させる偏心手段と、
   を有することを特徴とする撮像装置。
2. 前記画像色データは前記画像信号が示す画像におけるホワイトバランスのためのホワイトバランス評価値であり、
   前記カラーフィルターとして、第１の波長の光を通過させる第１のフィルター、第１の波長よりも波長が短い第２の波長の光を通過させる第２のフィルター、第２の波長よりも波長が短い第３の波長の光を通過させる第３のフィルターがあり、
   前記偏心手段は、前記ホワイトバランス評価値で規定される色温度が予め定められた第１の色温度閾値よりも小さいと、前記第１のフィルターおよび前記第２のフィルターに対応する可変マイクロレンズを偏心させ、前記色温度が前記第１の色温度閾値よりも大きい第２の色温度閾値以上であると、前記第２のフィルターおよび前記第３のフィルターに対応する可変マイクロレンズを偏心させることを特徴とする請求項１に記載の撮像装置。
3. 前記偏心手段は、前記色温度が前記第１の色温度閾値以上でかつ前記第２の色温度閾値未満であると、前記第１のフィルター、前記第２のフィルター、および前記第３のフィルターに対応する可変マイクロレンズを偏心させることを特徴とする請求項２に記載の撮像装置。
4. 前記第１の波長の光は赤色の光であり、前記第２の波長の光は緑色の光であり、前記第３の波長の光は青色の光であることを特徴とする請求項２又は３に記載の撮像装置。
5. 前記色データ取得手段は、前記画像における被写体領域のサイズおよびその位置を検出するとともに、前記被写体領域に各色の割合を示す色割合情報を前記画像色データとして生成し、
   前記偏心手段は、前記色割合情報においてその割合が最も高い色の光を通過させるカラーフィルターに対応する可変マイクロレンズを偏心させることを特徴とする請求項１に記載の撮像装置。
6. 前記色割合情報は、赤色、緑色、および青色の割合を示すことを特徴とする請求項５に記載の撮像装置。
7. 前記複数の画素は第１の領域から光が入射する第１のグループと前記第１の領域とは異なる第２の領域から光が入射する第２のグループとに分けられており、
   前記第１のグループに属する画素から得られた第１の像および前記第２のグループに属する画素から得られた第２の像に応じてそれぞれ第１の輝度信号および第２の輝度信号を生成して、前記第１の輝度信号および前記第２の輝度信号の位相差に基づいて前記撮像装置と被写体との距離を示す距離情報を生成する測距手段を有することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記可変マイクロレンズが偏心された画素が位相差検出用画素とされ、
   前記測距手段は、前記位相差検出用画素に対応するカラーフィルターの色を示す色情報に応じた色信号を用いて前記第１の輝度信号および前記第２の輝度信号を生成することを特徴とする請求項７に記載の撮像装置。
9. 被写体光を光電変換する光電変換部と、前記光電変換部に対応してカラーフィルターを介して配置され前記光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備える撮像素子を有し、前記画素の出力の位相差を検出して焦点調節を行うとともに前記画素の出力を画像信号として得る撮像装置の制御方法であって、
   前記画像信号に応じて前記画像信号が示す画像における所定の色を示す画像色データを得る色データ取得ステップと、
   前記画像色データに応じて前記可変マイクロレンズを偏心させる偏心ステップと、
   を有することを特徴とする制御方法。
10. 被写体光を光電変換する光電変換部と、前記光電変換部に対応してカラーフィルターを介して配置され前記光電変換部に被写体光を入射する際の光軸が可変の可変マイクロレンズとを有する画素を複数備える撮像素子を有し、前記画素の出力の位相差を検出して焦点調節を行うとともに前記画素の出力を画像信号として得る撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記画像信号に応じて前記画像信号が示す画像における所定の色を示す画像色データを得る色データ取得ステップと、
    前記画像色データに応じて前記可変マイクロレンズを偏心させる偏心ステップと、
    を実行させることを特徴とする制御プログラム。