JP2011059337A - 撮像装置 - Google Patents

Abstract

【課題】固体撮像素子内に設けられた位相差検出用の画素からの画像信号に基づいて位相差ＡＦを実現するとともに、位相差検出用の画素を本撮影時の画像用に有効活用し、広ダイナミックレンジの画像の撮影や高解像度の画像の撮影を実現可能にする。
【解決手段】ＣＣＤのＡ面、Ｂ面を構成する画素からＡ面、Ｂ面の画像をそれぞれ独立して読み出すことができるＣＣＤであって、特に位相差検出用の画素がＢ面を構成する画素に含まれているＣＣＤを使用する。位相差ＡＦ時にはＢ面の画像を読み出し（ステップＳ１２）、位相差検出用の画素に対応する画像信号に基づいて位相差ＡＦを行う（ステップＳ１４）。また、位相差ＡＦ後の本撮影時にＡ面及びＢ面の画像をそれぞれ読み出し、読み出したＡ面の画像及びＢ面の画像に基づいて広ダイナミックレンジの画像や高解像度の画像を生成する画像処理を行う（ステップＳ２０〜Ｓ２４）。
【選択図】 図７

Description

本発明は撮像装置に係り、特に位相差検出方式の自動焦点調節（位相差ＡＦ）を行う撮像装置に関する。

図１５は撮影レンズ１と撮像面ｍとの関係を示す。合焦時には、図１５（Ａ）に示すように撮影レンズｌの各部を通過した光ａ0，ｂ0，ｃ0が撮像面ｍに収束し、撮像面ｍでピントの合った像Ｚ0が得られる。図１５（Ａ）に示す合焦状態よりもフォーカス位置が前ピン状態になると、図１５（Ｂ）に示すように、撮影レンズｌの各部を通過した光ａ1，ｂ1，ｃ1が撮像面ｍよりも後に収束し、撮像面ｍで各光がそれぞれ別の像Ｚａ1，Ｚｂ1，Ｚｃ1となる。また、後ピン状態になると、図１５（Ｃ）に示すように撮影レンズｌの各部を通過した光ａ2，ｂ2，ｃ2が撮像面ｍよりも前で収束し、撮像面ｍで各光がそれぞれ別の像Ｚａ2，Ｚｂ2，Ｚｃ2となる。

上記前ピン状態、後ピン状態におけるデフォーカス量（焦点のずれ量）を検知することで、図１５（Ａ）に示す合焦状態にさせるオートフォーカス制御ができる。

従来、上記デフォーカス量を検出するために、図１６に示すように撮影レンズ１と固体撮像素子２との間にビームスプリッタ３を配置し、このビームスプリッタ３で分岐された光を位相差検出用のセンサ４に入射させるようにしている。

しかしながら、専用のセンサ４を設ける場合には、サイズ、コストともにデメリットになり、また、ビームスプリッタ３により固体撮像素子２に入射光量が少なくなるという問題があった。

そこで、上記ビームスプリッタ３やＡＦセンサ４を設ける代わりに、図１７に示すように固体撮像素子５の一部に専用の位相差検出用の画素（センサ部）６を設けることで、位相差ＡＦを行う技術が知られている（特許文献１）。

即ち、特許文献１に記載の固体撮像装置は、固体撮像素子５の予め設定された所定範囲内の各素子の位置と、その上方に設けたレンズ（マイクロレンズ）とを相対的にずらし、一方の方向にずらした素子の出力信号と、他方の方向にずらした素子の出力信号との比較結果に基づいて合焦状態を検出するようにしている。

特許第２９５９１４２号公報

しかしながら、特許文献１に記載の固体撮像装置は、固体撮像素子５の予め設定された箇所でしか位相差ＡＦの情報を検出することができないため、ピントを合わせるために画角をずらし、ピントを合わせてから画角を戻すといったカメラ操作を行う必要があり、手間がかかったり、位相差検出用の画素を画像として使用しないため、位相差検出用の画素が画像の傷になるという問題があった。また、傷補正をしても画像の劣化は避けられず、位相差検出用の画素を固体撮像素子５上の多くの位置に配置することができないという問題があった。

本発明はこのような事情に鑑みてなされたもので、固体撮像素子内に設けられた位相差検出用の画素からの画像信号に基づいて位相差ＡＦを実現するとともに、位相差検出用の画素を本撮影時の画像用に有効活用し、広ダイナミックレンジの画像の撮影や高解像度の画像の撮影を実現することができる撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像装置は、撮影レンズと、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影レンズの射出瞳を通過する光束の受光方向の制限を受けない通常の第１群の画素と、前記撮影レンズの射出瞳を通過する光束の受光方向の制限を受ける位相差検出用の画素を含む第２群の画素とを有し、前記第１群の画素及び第２群の画素から第１の画像信号及び第２の画像信号をそれぞれ独立に読み出し可能な固体撮像素子と、前記固体撮像素子から前記第２の画像信号を読み出し、該第２の画像信号のうちの前記位相差検出用の画素に対応する画像信号に基づいて前記撮影レンズのデフォーカス量を算出するデフォーカス量算出手段と、前記デフォーカス量算出手段により算出されたデフォーカス量が０になるように前記撮影レンズをフォーカス駆動させるフォーカス制御手段と、前記フォーカス制御手段によるフォーカス制御後に前記固体撮像素子から前記第１の画像信号及び第２の画像信号をそれぞれ読み出し、読み出した第１の画像信号及び第２の画像信号に基づいて記録用の画像を生成する画像処理手段と、前記画像処理手段により生成された画像を記録媒体に記録する記録手段と、を備えたことを特徴としている。

請求項１に係る発明によれば、前記固体撮像素子の第１群の画素及び第２群の画素から第１の画像信号及び第２の画像信号をそれぞれ独立して読み出すことができ、特に位相差ＡＦ時には位相差検出用の画素を含む第２群の画素から第２の画像信号を読み出し、該第２の画像信号のうちの位相差検出用の画素に対応する画像信号に基づいてフォーカス制御するようにしたため、高速にＡＦを行うことができ、また、位相差ＡＦ後の本撮影時に前記固体撮像素子から前記第１の画像信号及び第２の画像信号をそれぞれ読み出し、読み出した第１の画像信号及び第２の画像信号に基づいて記録用の画像を生成するようにしたため、位相差検出用の画素を本撮影時の画像用に利用することができ、これにより広ダイナミックレンジの画像の撮影や高解像度の画像の撮影等を実現することができる。

請求項２に示すように請求項１に記載の撮像装置において、前記固体撮像素子は、前記第１群の画素及び第２群の画素の各画素毎にマイクロレンズが設けられ、前記第２群の画素のうちの位相差検出用の画素は、該画素と相対的に第１の方向にずれた第１のマイクロレンズが設けられた第１の画素と、前記第１の方向とは逆方向の第２の方向にずれた第２のマイクロレンズが設けられた第２の画素とからなることを特徴としている。

請求項３に示すように請求項１に記載の撮像装置において、前記固体撮像素子の位相検出用の画素は、隣接する２つの画素に対して１つのマイクロレンズが設けられ、該マイクロレンズにより前記撮影レンズの射出瞳を通過する光束が分割されて入射されることを特徴としている。

請求項４に示すように請求項１から３のいずれかに記載の撮像装置において、前記固体撮像素子の第２群の画素は、全ての画素が位相差検出用の画素であることを特徴としている。

尚、位相差ＡＦ時には、前記第２群の画素の全ての画素のうち、予め設定された所定範囲（画面中央等のＡＦエリア）内の画素、ユーザが指定した範囲内の画素、顔検出等により自動的に設定された範囲内の画素、又は画面中の複数の範囲内の画素から得られる画像信号に基づいてデフォーカス量を算出する。

請求項５に示すように請求項１から３のいずれかに記載の撮像装置において、前記固体撮像素子の第２群の画素は、前記位相差検出用の画素と非位相差検出用の画素とが混在して設けられていることを特徴としている。

例えば、位相差検出用の画素を１画面内に適宜分散させて設けるようにしてもよいし、１画面内の所定範囲のみに設けるようにしてもよい。

請求項６に示すように請求項４に記載の撮像装置において、前記画像処理手段は、前記固体撮像素子の第１群の画素から読み出された高感度の第１の画像信号と、前記第２群の画素から読み出された低感度の第２の画像信号とに基づいて広ダイナミックレンジの画像を生成することを特徴としている。

前記固体撮像素子内の第２群の画素は、撮影レンズの射出瞳を通過する光束の受光方向の制限を受けるため、受光方向の制限を受けない通常の第１群の画素に比べて入射光量が少なく、低感度の画素となる。そこで、前記画像処理手段は、通常（高感度）の第１群の画素から読み出された高感度の第１の画像信号と、第２群の画素から読み出された低感度の第２の画像信号とに基づいて広ダイナミックレンジの画像を生成するようにしている。

請求項７に示すように請求項４に記載の撮像装置において、前記固体撮像素子の第１群の画素から読み出された高感度の第１の画像信号と、前記第２群の画素から読み出された低感度の第２の画像信号とに基づいて高感度の画像と低感度の画像とを生成する前記画像処理手段と、前記生成された高感度の画像と低感度の画像とを前記記録手段による記録前に表示する画像表示手段と、前記画像表示手段に表示された高感度の画像と低感度の画像のうちのいずれか一方をユーザに選択させるための操作手段と、を備え、前記記録手段は、前記操作手段により選択された画像のみを記録することを特徴としている。

請求項７に係る発明によれば、高感度の画像と低感度の画像の２枚の画像を生成することができ、ユーザの選択操作により２枚の画像のうちの何れか一方の画像を記録することができる。例えば、高感度の画像は、画像中の高輝度部分が白飛びするおそれがあり、低感度の画像は、画像中の低輝度部分が黒潰れするおそれがある。そこで、ユーザに高感度の画像と低感度の画像の２枚の画像を提示し、何れか一方の画像を選択させるようにする。

請求項８に示すように請求項４に記載の撮像装置において、前記固体撮像素子の第１群の画素及び第２群の画素における露出を個別に制御し、前記第１群の画素の露出値と第２群の画素の露出値とを一致させる露出制御手段を備え、前記画像処理手段は、前記固体撮像素子の第１群の画素から読み出された第１の画像信号と、前記第２群の画素から読み出された第２の画像信号とに基づいて高解像度の画像を生成することを特徴としている。

請求項９に示すように請求項８に記載の撮像装置において、前記露出制御手段は、前記固体撮像素子の第１群の画素及び第２群の画素における電荷蓄積時間を個別に制御することにより前記第１群の画素の露出値と第２群の画素の露出値とを一致させることを特徴している。

尚、請求項９に係る発明は、前記固体撮像素子の第１群の画素及び第２群の画素における電荷蓄積時間を個別に制御するようにしているが、これに代えて、感度（ゲイン）を個別に制御して前記第１群の画素の露出値と第２群の画素の露出値とを一致させるようにしてもよい。

請求項１０に示すように請求項５に記載の撮像装置において、前記画像処理手段は、前記固体撮像素子の第２群の画素から読み出された第２の画像信号のうち、前記位相差検出用の画素に対応する画像信号を、該画素に隣接する非位相差検出用の画素の画像信号により補正する補正手段を含み、前記固体撮像素子の第１群の画素から読み出された第１の画像信号と、前記補正手段による補正後の第２の画像信号とに基づいて高解像度の画像を生成することを特徴としている。前記補正手段は、位相差検出用の画素に隣接する非位相差検出用の画素の画像信号を補間して位相差検出用の画素に対応する画像信号を算出する。

本発明によれば、固体撮像素子の第１群の画素及び第２群の画素から第１の画像信号及び第２の画像信号をそれぞれ独立して読み出すことができ、特に位相差ＡＦ時には位相差検出用の画素を含む第２群の画素から第２の画像信号を読み出し、該第２の画像信号のうちの位相差検出用の画素に対応する画像信号に基づいてフォーカス制御するようにしたため、高速にＡＦを行うことができ、また、位相差ＡＦ後の本撮影時には固体撮像素子から第１の画像信号及び第２の画像信号をそれぞれ読み出し、読み出した第１の画像信号及び第２の画像信号に基づいて記録用の画像を生成するようにしたため、位相差検出用の画素を本撮影時の画像用に利用することができ、これにより広ダイナミックレンジの画像の撮影や高解像度の画像の撮影等を実現することができる。

図１は本発明に係る撮像装置（デジタルカメラ）の実施の形態を示すブロック図である。 図２は本発明に係るＣＣＤの第１の構成例を示す図である。 図３は図２に示したＣＣＤの要部拡大図である。 図４は図３に示したＣＣＤの断面を模式的に示した図である 図５は焦点状態と位相差検出用の画素Ａ、画素Ｂの出力（位相差）との関係を示す図である。 図６は他のＣＣＤの構成例を示す図である。 図７は本発明に係る撮像装置（デジタルカメラ）の撮影時の処理手順を示すフローチャートである。 図８はダイナミックレンジ拡大の画像処理を示すイメージ図である。 図９は本発明に係るＣＣＤの第２の構成例を示す図である。 図１０は本発明に係る露出制御の一例を示す図である。 図１１は高解像度の画像処理の流れを示す図である。 図１２は本発明に係るＣＣＤの第３の構成例と該ＣＣＤから得られる画像の高解像度の画像処理の流れを示す図である。 図１３は本発明に係るＡ面の画像又はＢ面の画像の選択時の流れを示す図である。 図１４は上記Ａ面の画像とＢ面の画像とが表示された液晶モニタの画面の一例を示す図である。 図１５は合焦時、前ピン時及び後ピン時の各状態を示す図である。 図１６は従来の位相差検出用のセンサの配置例を示す図である。 図１７は従来のＣＣＤ中の位相差検出用の画素の配置例を示す図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。

［撮像装置の全体構成］
図１は本発明に係る撮像装置（デジタルカメラ）１０の実施の形態を示すブロック図である。

このデジタルカメラ１０は、撮像した画像をメモリカード５４に記録するもので、カメラ全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

デジタルカメラ１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてデジタルカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。

再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介してＣＣＤイメージセンサである固体撮像素子（以下、「ＣＣＤ」という）１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜ＣＣＤの第１の構成例＞
図２は本発明に係るＣＣＤ１６の第１の構成例を示す図である。

ＣＣＤ１６は、それぞれマトリクス状に配列された偶数ラインの画素群と、奇数ラインの画素群とを有しており、これらの２つの画素群にてそれぞれ光電変換された２面分の画像信号は、後述するように独立して読み出すことができるようになっている。

図２に示すようにＣＣＤ１６の偶数ライン（０、２、４、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＢＧＢ…の画素配列のラインと、ＲＧＲＧＲＧ…の画素配列のラインとが交互に設けられ、一方、奇数ライン（１、３、５、…）の画素は、偶数ラインと同様に、ＧＢＧＢ…の画素配列のラインと、ＲＧＲＧＲＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

また、奇数ラインの画素は、位相差検出用の画素として構成されている。即ち、図３に示すように、偶数ラインの通常の画素は、光電変換素子（フォトダイオード）ＰＤの中心と、その上方に設けられたマイクロレンズＬ１の中心とが一致している。一方、奇数ラインの位相差検出用の画素は、フォトダイオードＰＤの中心と、その上方に設けられたマイクロレンズＬ２の中心とがずれており、かつマイクロレンズＬ２は、マイクロレンズＬ１よりも小さいものとなっている。

また、図２及び図３上で符号Ａ、Ｂで区別されているように、位相差検出用の画素は、フォトダイオードＰＤに対してマイクロレンズＬ２が右にずれているものと、左にずれているものとの２種類の画素を有している。

図４は上記ＣＣＤ１６の断面を模式的に示したものである。図４に示すように通常の画素は、撮影レンズ１２の射出瞳を通過する光束の受光方向の制限を受けないようにマイクロレンズＬ１によりフォトダイオードＰＤ上に集光されているが、位相差検出用の画素は、撮影レンズ１２の射出瞳を通過する光束の受光方向の制限を受けるようにマイクロレンズＬ２とフォトダイオードＰＤとが配置されており、画素Ａと画素Ｂとでは、光束の受光方向の制限を方向が異なる。

従って、図５に示すように後ピン、合焦、前ピンの状態に応じて画素Ａと画素Ｂの出力は、位相がずれ又は位相が一致する。上記位相差検出用の画素Ａ，Ｂの出力信号の位相差は撮影レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮影レンズ１２のＡＦ制御を行うことができる。

尚、位相差検出用の画素Ａ，Ｂは、図３及び図４に示したようにマイクロレンズＬ２をずらして構成する場合に限らず、マイクロレンズに対してフォトダイオードＰＤの位置をずらすようにしてもよく、また、図６に示すように２つのフォトダイオードＰＤ上に１つのマイクロレンズＬ３を設け、この２つのフォトダイオードＰＤをそれぞれ画素Ａ，Ｂとしてもよい。

図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

尚、ＣＣＤ１６からは偶数ラインの１画面分（Ａ面）の画像信号が読み出され、続いて奇数ラインの１画面分（Ｂ面）の画像信号が読み出され、Ａ面、Ｂ面の画像信号は、後述するように適宜画像処理される。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・ コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行うとともに、Ａ面、Ｂ面の画像信号の合成処理処置等が行われる。

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＡＦ動画及びＡＥ動作が開始する。 即ち、Ａ／Ｄ変換器２０から出力される画像データのうちのＢ面の画像データ（位相差検出用の画素の出力信号）が位相差検出部４２に取り込まれる。位相差検出部４２は、Ｂ面の画像データのうちの所定のフォーカス領域内の画素Ａの画像データと画素Ｂの画像データとの位相差を検出し、この位相差を示す情報をＣＰＵ４０に出力する。ＣＰＵ４０は、位相差検出部４２から入力する位相差情報に基づいてデフォーカス量を求め、このデフォーカス量が０になるようにレンズ駆動部３６を介して撮影レンズ１２に含まれるフォーカスレンズの位置を制御する。

尚、位相差検出が行われる所定のフォーカス領域は、予め設定された画面中央のフォーカス領域、顔検出部４６により検出された顔領域、あるいはユーザにより適宜指示された領域等である。顔検出部４６での顔検出は、撮影画像内で所定の対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレートとを照合して両者の相関を調べ、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として検出する。その他、顔検出方法には、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。

また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、又は顔検出部４６により検出された顔領域のＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力されるＡ面及びＢ面の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

Ａ面及びＢ面の画像データは、メモリ４８から読み出され、デジタル信号処理部２４において画像合成処理、合成された画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、デジタル信号処理部２４から読み出され、再びメモリ４８に記憶される。続いて、ＹＣデータは圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行される。 圧縮されたＹＣデータは、再びメモリ４８に出力されて記憶されたのち、メディア・コントローラ５２によって読み出され、メモリカード５４に記録される。

［撮影動作］
次に、上記構成のデジタルカメラ１０による撮影時の動作について説明する。

図７は本発明に係る撮像装置（デジタルカメラ１０）の撮影時の処理手順を示すフローチャートである。

図７において、操作部３８のシャッタボタンが半押し（Ｓ１がＯＮ）されたか否かを判別する（ステップＳ１０）。シャッタボタンのＳ１がＯＮされると、ＣＰＵ４０は、位相差検出用の画素の信号が含まれているＢ面の画像データの読み出しを行わせ（ステップＳ１２）、読み出した画像データにより位相差ＡＦ処理及びＡＥ処理を行う（ステップＳ１４）。即ち、前述したように位相差検出部４２によりＢ面の画像データのうちの所定のフォーカス領域内の画素Ａの画像データと画素Ｂの画像データとの位相差の検出を行わせ、この位相差情報に基づいてデフォーカス量を求め、デフォーカス量が０になるようにレンズ駆動部３６を介して撮影レンズ１２を制御する。また、ＡＥ検出部４４によりＧ信号の積算を行わせ、その積算値に基づいてシャッタスピード、絞り値等の撮影条件を決定する。

続いて、シャッタボタンが全押し（Ｓ２がＯＮ）されたか否かを判別し（ステップＳ１６）、Ｓ２がＯＮされていない場合には、再びＳ１がＯＮされているか否かを判別し（ステップＳ１８）、Ｓ１がＯＮされている場合には、ステップＳ１６に遷移し、Ｓ１がＯＮされていない場合には、ステップＳ１０に遷移する。

ステップＳ１６において、シャッタボタンのＳ２がＯＮされたと判別されると、ＣＰＵ４０は、ステップＳ１４でのＡＥ処理にて設定したシャッタ速度、絞り値等の撮影条件で本撮影を行わせる（ステップＳ２０）。この本撮影により取得されたＣＣＤ１６のＡ面、Ｂ面の画像データを取得し（ステップＳ２２）、これらのＡ面、Ｂ面の画像データの画像処理を行う（ステップＳ２４）。

図３及び図４からも明らかなように、Ａ面の通常の画素とＢ面の位相差検出用の画素とは、フォトダイオードＰＤに入射する光量が異なり、その結果、Ａ面の画素は高感度画素となり、Ｂ面の画素は低感度画素となる。因みに、Ｂ面の画素の入射光量は、Ａ面の画素の入射光量の３０％程度となっている。

図７のステップＳ２４では、図８に示すように本撮影により取得されたＡ面の高感度画素の画像データと、Ｂ面の低感度画素の画像データとに基づいて広ダイナミックレンジの画像を生成する画像処理を行う。

高感度画素の画像データと低感度画素の画像データとに基づいて広ダイナミックレンジの画像を生成する画像処理は、特開２００４−２２１９２８号公報、特開２００６−１３５６８４号公報に記載されているように公知のものである。例えば、特開２００６−１３５６８４号公報に記載された画像処理によれば、高感度の画像データと低感度の画像データとをそれぞれ階調変換して加算し、加算された画像データに対して更にガンマ補正等を行うようにしている。尚、加算前の各階調変換は、加算結果が輝度０から最大輝度にわたって滑らかに変化するように階調変換するようにしている。

また、前述したようにＢ面の画素の入射光量は、Ａ面の画素の入射光量の３０％程度であり、Ｂ面の画素の感度は、Ａ面の画素の３分の１程度であるため、Ａ面の画素から得られる画像のダイナミックレンジを１００％とすると、上記合成後の広ダイナミックレンジの画像のダイナミックレンジは３００％になる。

上記のようにしてダイナミックレンジが拡大された画像データは、圧縮処理等が施され、メモリカード５４に記録される（ステップＳ２６）。

＜ＣＣＤの第２の構成例＞
図９は本発明に係るＣＣＤの第２の構成例を示す図である。

図９に示すＣＣＤは、図２に示したＣＣＤと比較してＢ面に配置される位相差検出用の画素Ａ、Ｂの配置が異なり、その他の点は共通している。

即ち、図２に示したＣＣＤでは、位相差検出用の画素Ａ、Ｂは、奇数ラインの２ライン毎に画素Ａと、画素Ｂとが交互に配置されているが、図９に示すＣＣＤでは、各奇数ラインにおいて、画素Ａと画素Ｂとが２画素ずつ交互に配置されている。従って、１つの奇数ラインの画素の出力信号からでも位相差を検出することができる。

＜撮影動作及び画像処理の第２の実施形態＞
第２の実施形態では、図７のステップＳ２０での本撮影時の露出制御が異なるとともに、ステップＳ２４での画像処理が異なる。

ステップＳ２０での本撮影時に、図１０に示すように通常の画素（高感度画素）と、位相差検出用の画素（低感度画素）における露光時間（シャッタスピード）を異ならせ、同じ感度の画像が得られるようにしている。

即ち、メカシャッタを開放するとともに、低感度画素は、時刻ｔ１で電荷の掃き出しを停止して電荷蓄積を開始（露光を開始）させ、高感度画素は、時刻ｔ２で電荷の掃き出しを停止して電荷蓄積を開始（露光を開始）させ、時刻ｔ３でメカシャッタを閉じるようにしている。

尚、高感度画素の電荷蓄積時間と低感度画素の電荷蓄積時間との比は、高感度画素と低感度画素の感度比の逆数になるように設定される。

図１１において、上記のようにして本撮影により取得されたＡ面の画像とＢ面の画像は、同じ感度の画像となっている。ステップＳ２４での画像処理は、これらの２枚の画像から各画像の画素を交互に配置した、高解像度の１枚の画像を生成するようにしている。

尚、Ｂ面の画像は、シャッタスピードが遅くなるため、手ブレの影響を受ける可能性がある。手ブレの影響を受けるシャッタスピードになる場合には、シャッタスピードを変えずに、Ｂ面の画像のゲイン（感度）を変えることでＡ面の画像とＢ面の画像の輝度レベルを一致させることができる。

＜ＣＣＤの第３の構成例＞
図１２（Ａ）は本発明に係るＣＣＤの第３の構成例を示す図である。

図１２（Ａ）に示すＣＣＤは、図２に示したＣＣＤと比較してＢ面に配置される位相差検出用の画素Ａ、Ｂの配置が異なり、その他の点は共通している。

即ち、図１２（Ａ）に示すＣＣＤでは、各奇数ラインにおける３つ置きＧの画素ごとに、画素Ａと画素Ｂとが交互に配置されている。位相差検出用の画素Ａと画素Ｂとは、間引かれた配置されているが、所望のフォーカス領域において、複数の画素Ａと画素Ｂとが含まれていれば、位相差を検出するこができる。

＜画像処理の第３の実施形態＞
図１２（Ａ）に示すＣＣＤの場合には、Ｂ面の画素には、低感度の位相差検出用の画素と、高感度の通常の画素（非位相検出用の画素）とが混在する。そこで、位相差検出用の画素を、その周囲の非位相差検出用の画素により補正し、位相差検出用の画素の感度を上げるようにする。

補正方法としては、位相差検出用の画素に近接する同じ色の非位相差検出用の複数の画素の画素値を補間し、その補間した値を位相差検出用の画素の画素値とする方法が考えられる。また、位相差検出用の画素の画像データのみゲイン（感度）を上げる画像処理を行うようにしてもよい。

このようにして本撮影により取得されたＡ面の画像と、位相差検出用の画素が補正されたＢ面の画像とは同じ感度の画像となる。これらの２枚の画像から各画像の画素を交互に配置することで高解像度の１枚の画像を生成する。

＜画像処理の第４の実施形態＞
第４の実施形態では、図７のステップＳ２４での画像処理が異なる。

図１３に示すように高感度のＡ面の画像と、低感度のＢ面の画像とが取得される。ＣＰＵ４０は、図１４（Ａ）〜（Ｃ）に示すようにＡ面の画像とＢ面の画像とを液晶モニタ３０に表示させる。ユーザは、液晶モニタ３０に表示されたＡ面の画像とＢ面の画像とのうちのいずれか一方の画像を選択し、その選択した画像の記録指示を行う。

通常、Ａ面の画像は、適正露出の画像となっているが、Ｂ面の画像に比べて高感度の画像であるため、高輝度部分が白飛びする可能性がある。一方、Ｂ面の画像は、低感度の画像であるため、低輝度部分が黒潰れする可能性がある。ユーザは十字キーの左右キーを操作することで、Ａ面の画像とＢ面の画像のいずれか一方を選択でき、また、ＭＥＮＵ／ＯＫキーを操作することで選択された画像をメモリカード５４に記録させることができる。

図１４（Ａ）は白飛びしていない適正露出のＡ面の画像が選択されている状態を示し、図１４（Ｂ）はＡ面の画像が白飛びしているため、Ｂ面の画像が選択されている状態を示している。

また、図１０に示した実施形態のようにＢ面のシャッタスピードを遅くした場合には、Ｂ面の画像には手ブレが発生しているか可能性がある。そこで、図１４（Ｃ）に示すようにＡ面、Ｂ面の画像を表示し、手ブレの有無を考慮して選択するようにしてもよい。

また、マニュアル撮影モードで露出補正等を行って撮影した場合にもそれぞれ露出補正後の２枚の画像が得られるため、より最適な露出制御された画像を選択することができる。

尚、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置（デジタルカメラ）、１２…撮影レンズ、１６…固体撮像素子（ＣＣＤ）、２４…デジタル信号処理部、３０…液晶モニタ、３２…ＣＣＤ制御部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…位相差検出部、４４…ＡＥ検出部、４６…顔検出部、４８…メモリ、５４…メモリカード

Claims (10)

1. 撮影レンズと、
   それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影レンズの射出瞳を通過する光束の受光方向の制限を受けない通常の第１群の画素と、前記撮影レンズの射出瞳を通過する光束の受光方向の制限を受ける位相差検出用の画素を含む第２群の画素とを有し、前記第１群の画素及び第２群の画素から第１の画像信号及び第２の画像信号をそれぞれ独立に読み出し可能な固体撮像素子と、
   前記固体撮像素子から前記第２の画像信号を読み出し、該第２の画像信号のうちの前記位相差検出用の画素に対応する画像信号に基づいて前記撮影レンズのデフォーカス量を算出するデフォーカス量算出手段と、
   前記デフォーカス量算出手段により算出されたデフォーカス量が０になるように前記撮影レンズをフォーカス駆動させるフォーカス制御手段と、
   前記フォーカス制御手段によるフォーカス制御後に前記固体撮像素子から前記第１の画像信号及び第２の画像信号をそれぞれ読み出し、読み出した第１の画像信号及び第２の画像信号に基づいて記録用の画像を生成する画像処理手段と、
   前記画像処理手段により生成された画像を記録媒体に記録する記録手段と、
   を備えたことを特徴とする撮像装置。
2. 前記固体撮像素子は、前記第１群の画素及び第２群の画素の各画素毎にマイクロレンズが設けられ、
   前記第２群の画素のうちの位相差検出用の画素は、該画素と相対的に第１の方向にずれた第１のマイクロレンズが設けられた第１の画素と、前記第１の方向とは逆方向の第２の方向にずれた第２のマイクロレンズが設けられた第２の画素とからなることを特徴とする請求項１に記載の撮像装置。
3. 前記固体撮像素子の位相検出用の画素は、隣接する２つの画素に対して１つのマイクロレンズが設けられ、該マイクロレンズにより前記撮影レンズの射出瞳を通過する光束が分割されて入射されることを特徴とする請求項１に記載の撮像装置。
4. 前記固体撮像素子の第２群の画素は、全ての画素が位相差検出用の画素であることを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 前記固体撮像素子の第２群の画素は、前記位相差検出用の画素と非位相差検出用の画素とが混在して設けられていることを特徴とする請求項１から３のいずれかに記載の撮像装置。
6. 前記画像処理手段は、前記固体撮像素子の第１群の画素から読み出された高感度の第１の画像信号と、前記第２群の画素から読み出された低感度の第２の画像信号とに基づいて広ダイナミックレンジの画像を生成することを特徴とする請求項４に記載の撮像装置。
7. 前記固体撮像素子の第１群の画素から読み出された高感度の第１の画像信号と、前記第２群の画素から読み出された低感度の第２の画像信号とに基づいて高感度の画像と低感度の画像とを生成する前記画像処理手段と、
   前記生成された高感度の画像と低感度の画像とを前記記録手段による記録前に表示する画像表示手段と、
   前記画像表示手段に表示された高感度の画像と低感度の画像のうちのいずれか一方をユーザに選択させるための操作手段と、を備え、
   前記記録手段は、前記操作手段により選択された画像のみを記録することを特徴とする請求項４に記載の撮像装置。
8. 前記固体撮像素子の第１群の画素及び第２群の画素における露出を個別に制御し、前記第１群の画素の露出値と第２群の画素の露出値とを一致させる露出制御手段を備え、
   前記画像処理手段は、前記固体撮像素子の第１群の画素から読み出された第１の画像信号と、前記第２群の画素から読み出された第２の画像信号とに基づいて高解像度の画像を生成することを特徴とする請求項４に記載の撮像装置。
9. 前記露出制御手段は、前記固体撮像素子の第１群の画素及び第２群の画素における電荷蓄積時間を個別に制御することにより前記第１群の画素の露出値と第２群の画素の露出値とを一致させることを特徴とする請求項８に記載の撮像装置。
10. 前記画像処理手段は、前記固体撮像素子の第２群の画素から読み出された第２の画像信号のうち、前記位相差検出用の画素に対応する画像信号を、該画素に隣接する非位相差検出用の画素の画像信号により補正する補正手段を含み、前記固体撮像素子の第１群の画素から読み出された第１の画像信号と、前記補正手段による補正後の第２の画像信号とに基づいて高解像度の画像を生成することを特徴とする請求項５に記載の撮像装置。

Images