JP2014109767A - 画像処理装置およびその制御方法、並びに撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮像画素の出力と、特定の機能を付与した機能画素の出力を加算して順次出力する画素加算読み出しを行う際に機能画素位置でのデータを精度良く生成すること。
【解決手段】撮像素子は、撮像画素と、離散的に配置された焦点検出画素（機能画素）とを水平方向及び垂直方向に配置した構成を有する。動画表示などを行う場合、画素群の一部から信号電荷を読み出して画素出力を加算する処理が行われる（Ｓ１００２）。焦点検出画素を含むように加算対象の画素が選択され、焦点検出画素とその周囲に位置する複数の撮像画素の各出力を用いて焦点検出画素位置での出力データが生成される（Ｓ１１０１）。生成されたデータから複数の像信号の相関演算（Ｓ１００４）および焦点ずれ量の算出処理（Ｓ１００６）が行われ、フォーカスレンズ駆動（Ｓ１００８）により焦点調節制御が実行される。
【選択図】 図１１

Description

本発明は、画素群の一部に特定の機能を付与した機能画素を有する撮像素子から取得される画像データを処理する画像処理技術に関する。

撮像素子を構成する画素群の一部に特定の機能、例えば、被写体像の位相差検出機能を付与した機能素子を有する撮像素子が知られている。専用のＡＦ（オートフォーカス）センサが不要となり、高速の位相差ＡＦを実現できる。特許文献１では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。焦点検出画素を撮像画素群中に所定の間隔で配置して位相差式焦点検出が行われる。焦点検出画素の配置箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間した画像情報が用いられる。

一方で、撮像画素の出力を加算し、または間引いた撮像画素の出力により画像を表示するライブビューモードや、同時に動画データを記録媒体に記録する動画記録モードをもつ撮像装置が知られている。ライブビューモードや動画記録モードにおいては、滑らかな画面表示が重要であること、また、静止画に比べて高解像度を要求されないことから、画素データの間引き読み出しや、画素加算読み出しが行われる。間引き読み出しは撮像素子の画素群の一部から信号電荷を読み出す処理であり、画素加算読み出しは複数の画素の出力を加算して順次出力する処理である。これらの処理により、画像データのフレームレートを向上させることができる。

特許文献２には、動画時の画質向上および低輝度の感度向上を目的として、間引き読み出しモードおよび画素加算読み出しモードを切り替えて出力可能な撮像装置が開示されている。被写体の空間周波数が高くモアレが予想される場合、画素加算読み出しモードに切り替えてモアレを低減し、また、高輝度でスミアの発生が予想される場合には、間引き読み出しモードに切り替わる。
また、特許文献３に開示の装置では、間引き読み出しの際、読み出される画素の位置に焦点検出画素を配置している。特許文献４に開示の装置では、画素加算読み出しの際、１回の加算動作において、撮像画素のみ、または同一パターンの焦点検出画素のみが加算されるように焦点検出画素を配置している。

特開２０００−２９２６８６号公報 特開２００３−１８９１８３号公報 特開２００９−０６０５９７号公報 特開２００９−０８６４２４号公報

特許文献１に記載の焦点検出画素の配置では、間引き読み出しの際、焦点検出画素の出力が読み出されず、位相差方式の焦点検出が不可能になる。特許文献３に開示の装置では、間引かない行（または列）に焦点検出画素を配置することで、間引き読み出しの際にも焦点検出画素の出力を読み出すことができる。この場合、特許文献２のように、動画撮影時の読み出しに関して、間引き読み出しモードと画素加算読み出しモードをシーンに応じて切り替える場合に問題が生じる。つまり、間引き読み出し時には正しく焦点検出画素の出力を取得できるが、画素加算読み出し時には通常の撮像画素と焦点検出画素の各出力が加算されてしまうため、焦点検出画素位置での出力を正しく読み出せなくなる。この問題を解決する特許文献４に記載の装置では、１回の加算動作に用いる画素を全て同一パターンの焦点検出画素とする必要がある。このため、場合によっては焦点検出画素の配置密度が極端に密となり、部分的な画質の劣化が目立ってしまう可能性がある。

本発明は、撮像画素の出力と、特定の機能を付与した機能画素の出力を加算して順次出力する画素加算読み出しを行う際に機能画素位置でのデータを精度良く生成することを目的とする。

上記課題を解決するために、本発明に係る装置は、撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とを有する撮像素子から取得した画像データを処理する画像処理装置であって、前記撮像画素および機能画素から複数の画素を選択して各画素の出力を加算して読み出す場合、前記撮像画素の出力と前記機能画素の出力を加算した加算データと、前記加算データを算出した位置の周囲に位置する複数の前記撮像画素から選択される画素の出力を用いて補間処理で算出したデータとにより、前記機能画素の位置での出力データを生成するデータ生成手段を備える。

本発明によれば、画素加算読み出しを行う際に機能画素位置でのデータを精度良く生成することができる。

図２ないし図１５と併せて本発明の実施形態を説明するために、装置の構成例を示す図である。 撮像素子の構成例を示すブロック図である。 撮像素子の撮像用画素を説明する平面図（Ａ）と断面図（Ｂ）である。 水平方向の焦点検出を行う焦点検出用画素の平面図（Ａ）と断面図（Ｂ）である。 垂直方向の焦点検出を行う焦点検出用画素の平面図（Ａ）と断面図（Ｂ）である。 撮像素子の全画素読み出しを説明する図である。 撮像素子の間引き読み出しを説明する図である。 撮像素子の間引き加算読み出しを説明する図である。 撮像素子の間引き加算読み出しの出力画素配置（Ａ）と、画素加算後の画素配置（Ｂ）を示す図である。 カメラ動作を説明するフローチャートである。 垂直方向の３画素加算および水平方向の３分の１間引き読み出し時の焦点検出動作を説明するフローチャートである。 焦点検出画素のデータ生成処理例を説明するフローチャートである。 焦点検出画素データの補間処理例を説明するフローチャートである。 間引き読み出し時の焦点検出動作を説明するフローチャートである。 撮影動作を説明するフローチャートである。

以下に、本発明の実施形態について添付図面を参照して説明する。
図１は本実施形態に係る撮像装置の構成図であり、撮像素子を有するカメラ本体部と撮影レンズ部が一体となった電子カメラを例示する。なお、被写体側を前方と定義して各部の位置関係を説明する。
第１レンズ群１０１は撮像光学系（結像光学系）の前端部に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能を有する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は光軸方向に進退する、焦点調節用の光学部材（フォーカスレンズ）である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像部はＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１０７とその周辺回路で構成され、撮像信号を出力する。例えば撮像素子１０７には、横方向にｍ画素、縦方向にｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に駆動して焦点調節を行う。
電子フラッシュ１１５は撮影時の照明用光源であり、キセノン管を用いた閃光照明装置、または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体または低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ（中央演算処理装置）１２１は、カメラ本体部の種々の制御を司るカメラ制御部を構成する。ＣＰＵ１２１は、演算部、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムを実行し、各種回路の駆動、ＡＦ、撮影、画像処理、記録等の一連の動作を制御する。後述する焦点検出用画素のデータ生成処理および該データに基づく焦点調節制御は、ＣＰＵ１２１によって実行されるプログラムに従って行われる。
電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。ＡＦ補助光回路１２３は、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、撮像素子１０７による画像データのγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。各駆動部はＣＰＵ１２１からの制御指令に従って各部が担当する可動部材を駆動する。

ＬＣＤ（液晶表示パネル）等を用いた表示部１３１は、カメラの撮影モードに関する情報、撮影前のライブビュー動画と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を画面に表示する。操作部１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。フラッシュメモリ１３３は着脱可能な記録媒体であり、撮影済み画像データが記録される。

図２は、撮像素子１０７の構成例を示すブロック図である。本実施形態に関係する最低限の構成を示し、画素リセット信号等は省略する。光電変換部２０１は、フォトダイオードや、不図示の画素アンプ、リセット用スイッチ素子等で構成される。以下、光電変換部をPDmnと略記し、ｍ（=0,1,…,m-1）はＸ方向のアドレスを示す変数とし、ｎ（=0,1,…,n-1）はＹ方向のアドレスを示す変数とする。つまり、撮像素子はｍ×ｎ個の光電変換部２０１を２次元アレイ状に配置した構成を有する。なお、後述するTxmn、ptx_nにおけるm、nについても同様の表記とする。矩形枠内に示すＲ、Ｇ、Ｂの記号は、光電変換部PDmnに塗布された、赤、緑、青のカラーフィルタをそれぞれ表している。PDmnはいずれも同様の構成を有するので、図示の煩雑化を避けるために、左上隅に位置する光電変換部PD00およびその周辺の関連部分にのみ符号を付して説明する。

スイッチ素子２０２は、光電変換部PDmnの出力を選択する転送トランジスタTxmnである。各画素の信号は転送トランジスタTxmnを介して垂直方向にて同色の３画素毎に共通の浮遊拡散層（不図示）に転送される。転送トランジスタTxmnは、セレクトトランジスタ２０３（Tsel参照）を介して垂直出力線２０４（Ｖｌｉｎｅ参照）に接続される。各転送トランジスタTxmn、セレクトトランジスタTselは、垂直走査回路２２０が出力する信号ptx_n、psel_nにより行単位で制御される。図２にて同一列の異色画素は、夫々異なる読み出し回路に接続されることで、２行分の信号が同時に異なる垂直出力線Ｖｌｉｎｅに読み出される構成となっている。例えば、信号ptx_2により転送トランジスタTxm2（n=2、2行目の画素）のみがオンすると、２行目にある光電変換部PDm2の各画素信号のみが各浮遊拡散層に転送される。一方、転送トランジスタTxm0、Txm2、Txm4が同時にオンすると、垂直方向にて同色の３画素（PDm0、PDm2、PDm4）からの信号が各浮遊拡散層に転送され、垂直方向の３画素の出力が加算される。

ラインメモリであるＭＥＭ２１０，２１１は、垂直出力線Ｖｌｉｎｅからの出力を一時的に記憶するデバイスであり、コンデンサ等を使用する。ラインメモリは垂直走査回路２２０により選択された、一行分の光電変換部PDmnの出力を記憶する。アナログスイッチ２０５は、水平方向にて同色の隣接列のコンデンサを接続し、phaddパルスにより駆動される。このアナログスイッチ２０５を一旦オンにした後でオフにすると、隣接列のコンデンサに保持された電位との加算平均電位がコンデンサに保持される。スイッチ素子２０６、２０７は水平出力線に接続されており、信号ＨＲＳＴにより制御されて水平出力線を所定の電位ＶＲＳＴにリセットする。

スイッチ素子２０８は、ラインメモリＭＥＭ２１０，２１１に記憶された光電変換部PDmnの出力を水平出力線に順次出力する。水平走査回路２１２，２１３は制御信号（Ｈ00からＨ0m-1，Ｈ10からＨ1m-1参照）を各スイッチ素子２０８に印加して順次走査する。これにより、一行分の光電変換部PDmnの出力が読み出され、アンプ２０９から信号が出力される。
水平走査回路２１２，２１３にて、ＰＨＳＴはデータ入力端子を示し、ＰＨ１、ＰＨ２は、シフトクロック入力端子をそれぞれ示している。ＰＨ１をＨレベルにしてデータがセットされ、ＰＨ２への信号によりデータがラッチされる。シフトクロックをＰＨ１、ＰＨ２にそれぞれ入力することにより、ＰＨＳＴへの入力信号を順次にシフトさせて、制御信号により対応するスイッチ素子２０８を順次にオン状態にすることができる。ＳＫＩＰは、水平方向に間引き読み出しまたは画素加算（平均）読み出しを行う時に設定される制御端子である。この端子をＨレベルに設定することにより、水平走査回路２１２，２１３を所定間隔でスキップさせることが可能になる。垂直走査回路２２０は水平走査回路と同様に、データ入力端子ＰＶＳＴ、シフトクロック端子ＰＶ１、ＰＶ２、間引き読み出し設定時の制御端子ＳＫＩＰにより制御される。動作については方向の違いを除いて水平走査回路の場合と同様であるので詳細な説明は省略する。

各色の信号は別々に読み出されることになるが、後段の処理回路（不図示）により信号の入れ替えが行われるので、撮像素子の配列と同じ信号配列となる。本実施形態ではライブビュー動画再生時に、間引き読み出しまたは画素加算読み出しを行うとともに、いずれにおいても表示および焦点検出を効果的に行える画素配置及び制御方法について説明する。間引き読み出しとは、例えば垂直方向及び水平方向ともに画素をスキップしてＮ分の１（Ｎ＝３等）に間引く読み出しである。画素加算読み出しとは、例えば垂直方向にてＭ画素（Ｍ＝３等）の出力を加算して読み出し、水平方向にて画素をＮ分の１に間引いて信号を出力する読み出しである。

次に、図３ないし図５を参照して、撮像用画素（以下、「撮像画素」という）と、機能画素である焦点検出用画素（以下、「検出画素」という）の構造を説明する。本実施形態では、２行２列の４画素のうち、対角方向の２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素をそれぞれ１個ずつ配置した、ベイヤー配列が採用されている。ベイヤー配列の画素群中には、後述する構造の検出画素が所定の規則に従って分散配置される。

図３は撮像画素の配置と構造を例示する。図３（Ａ）は２行２列の撮像画素を示す平面図である。対角方向に２つのＧ画素を配置し、他の２画素にＲ画素とＢ画素を配置した２行２列の構造が平面的に繰り返される。図３（Ｂ）は、図３（Ａ）の撮像画素部をＡ−Ａ線に沿って切断した場合の断面図を模式的に示す。オンチップマイクロレンズＭＬは各画素の最前面に配置されており、その背後には赤色カラーフィルタＣＦ_Ｒおよび緑色カラーフィルタＣＦ_Ｇが配置されている。光検出部は、ＣＭＯＳセンサの光電変換部である複数のＰＤ（フォトダイオード）を有する。配線層ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）には、ＣＭＯＳセンサ内の各種信号を伝達する信号線が形成される。また、撮像光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）およびその射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）を模式的に示す。
撮像画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮像光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。なお、図３（Ｂ）にはＧ画素への入射光線のみを示すが、Ｒ画素及びＢ画素についても同様である。従って、Ｒ、Ｇ、Ｂの各撮像画素に対応した射出瞳ＥＰは大径となり、被写体からの光（光量子）を効率良く取り込むことで画像信号のＳ／Ｎ（信号対ノイズ）比が向上する。

図４は、撮像光学系の水平方向（横方向）に瞳分割を行うための検出画素の配置と構造を例示する。水平方向または横方向の定義については、撮像光学系の光軸が水平となる状態で撮影者がカメラを構えたとき、光軸および鉛直軸に直交する直線に沿う方向とする。この方向に直交する鉛直方向を垂直方向または縦方向と定義する。
図４（Ａ）は、検出画素を含む２行２列の画素を示す平面図である。記録または鑑賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する処理が行われる。人間の眼の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素やＢ画素は色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感である。このため、色情報を取得する画素については多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態では、２行２列の画素のうち、Ｇ画素を撮像画素として残し、Ｒ画素とＢ画素を検出画素に置き換える。図４（Ａ）にて検出画素をＳＨＡ及びＳＨＢで示す。

図４（Ｂ）は、図４（Ａ）に示す画素部をＡ−Ａ線に沿って切断した場合の断面図を示す。マイクロレンズＭＬと光電変換部ＰＤとの位置関係は、図３（Ｂ）に示した撮像画素の場合と同じである。本実施形態では、検出画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦ_Ｗ（Ｗｈｉｔｅ）が配置される。撮像素子で瞳分割を行うために、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して偏倚している。具体的には、検出画素ＳＨＡの開口部ＯＰＨＡは図４の右側に偏倚しており、撮像光学系ＴＬの第１の射出瞳ＥＰＨＡを通過した光束を受光する。また、検出画素ＳＨＢの開口部ＯＰＨＢは図４の左側に偏倚しており、撮像光学系ＴＬの第２の射出瞳ＥＰＨＢを通過した光束を受光する。このように、撮像光学系ＴＬの射出瞳の異なる領域ＥＰＨＡ、ＥＰＨＢをそれぞれ通過した光束が、対応する開口部ＯＰＨＡ、ＯＰＨＢを介して各検出画素ＳＨＡ、ＳＨＢにより光電変換される。水平方向に沿って規則的に配列した検出画素ＳＨＡから成る画素群により取得した被写体像をＡ像とする。また、水平方向に規則的に配列した検出画素ＳＨＢから成る画素群により取得した被写体像をＢ像とする。焦点検出部では、Ａ像とＢ像の相対位置を比較してずれ量を検出し、光軸方向における被写体像のピントずれ量（デフォーカス量）に換算する処理が行われる。
なお、上記検出画素ＳＨＡ及びＳＨＢは、撮影画面の横方向に輝度分布を有する被写体に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線は焦点検出不能である。縦方向のピントずれ量を検出する場合について、図５を参照して以下に説明する。

図５は、撮影レンズの垂直方向（縦方向）に瞳分割を行うための検出画素の配置と構造を例示する。
図５（Ａ）は、検出画素と撮像画素を含む２行２列の配置例を示す平面図である。Ｇ画素を撮像画素として残し、Ｒ画素及びＢ画素を検出画素ＳＶＣ及びＳＶＤとしている。図５（Ｂ）は、図５（Ａ）に示す画素部をＡ−Ａ線に沿って切断した場合の断面図を示す。検出画素ＳＶＣの開口部ＯＰＶＣは図５の下側に偏倚しており、撮像光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。また検出画素ＳＶＤの開口部ＯＰＶＤは図５の上側に偏倚しており、撮像光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。検出画素ＳＶＣを垂直方向に沿って規則的に配列した画素群により取得した被写体像をＣ像とし、検出画素ＳＶＤを垂直方向に沿って規則的に配列した画素群により取得した被写体像をＤ像とする。Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

図６は、図２に示す撮像素子１０７から全画素の出力を読み出す場合の説明図である。図６はm×n個（m=32,n=20）の光電変換部２０１を例示し、ｘ方向（水平方向）３２画素、ｙ方向（垂直方向）に２０画素の配置を示す。各画素上にはＲ、Ｇ、Ｂのカラーフィルタがベイヤー配列で配置されている。なお、実際の撮像素子では遮光画素（optical black pixel）などを含み、図６よりも多数の画素が配置されているが、説明を簡略化するために３２×２０個の画素配置で説明する。ｘ方向およびｙ方向の画素位置を（x，y）で表す場合、（8，8）、（20，8）、（11，11）、（23，11）の各位置はそれぞれＲ画素及びＢ画素の位置に相当するが、前述した検出画素ＳＨＡ、ＳＨＢで置換されている。検出画素を撮像画素群の中に離散的に配置することで、位相差式焦点検出を行うことができる。全画素の出力を読み出す場合、水平および垂直走査によって全ての画素の出力データが読み出される。

図７は撮像素子１０７における間引き読み出しの一例を説明する図である。図７の例では、画素群の一部から信号電荷を読み出す際、垂直方向及び水平方向ともに３分の１の画素数での読み出しが行われる。一例として垂直方向８、１１、２０、２３列目と、水平方向８、１１行目の間引き読み出しパターンを示している。３２×２０個の画素配置を示す図の下方に８行目と１１行目で間引き読み出しされる画素を例示し、図の右側に８列目及び２０列目と、１１列目及び２３列目で間引き読み出しされる画素を例示する。同図において、間引き読み出しによって出力される画素の位置に検出画素を配置することで、間引き読み出しの際にも効果的に焦点検出を行える。

図８は撮像素子１０７における間引き及び加算読み出しの一例を説明する図である。図８の例では、垂直方向における３画素の加算読み出しと、水平方向における３分の１の間引き読み出しが行われる。図８に示す画素配置の右側には、垂直方向にて８、１１、２０、２３列目の加算読み出しパターンを示し、同図の下方には、水平方向にて８行目と１１行目の間引き読み出しパターンを示す。垂直方向で検出画素ＳＨＡ、ＳＨＢの出力を含む加算演算の結果をそれぞれでＲＳＨＡ、ＢＳＨＢで示している。

図９（Ａ）は垂直方向の３画素に係る加算読み出しと、水平方向における３分の１の間引き読み出しによる出力画素の配置を示している。図８において、検出画素及び周辺の同色の撮像画素を合わせて３画素の加算結果を出力する画素については、図９（Ａ）でもＲＳＨＡ、ＢＳＨＢで示している。本実施形態では、画素加算読み出しの場合、検出画素及びこれに隣接する撮像画素の各出力を加算して生成された出力データを用いて、検出画素位置での出力が推定される。より正確に検出画素位置のデータを推定するためには、加算出力結果において、検出画素に隣接する同色画素が撮像画素のみとなるように、撮像画素群に対して検出画素を分散配置することが重要となる。また、垂直方向及び水平方向ともに３分の１の間引き読み出し時には、検出画素の出力が読み出されるように配慮し、図８では１２×１２個の画素群の中に２画素の割合で検出画素が配置されている。

図１０ないし図１３は、本実施形態に関わる撮像装置の焦点調節制御及び撮影処理を説明するためのフローチャートである。先に説明した各図も参照しながら、以降の制御を説明する。
図１０はライブビュー撮影に関するメインフローチャートであり、ＣＰＵ１２１がメモリからプログラムを読み出して実行することで装置内の各部を制御する。
Ｓ９０１にて撮影者がカメラのメインスイッチ（電源スイッチ）をオン操作すると処理が開始する。Ｓ９０２でＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する。Ｓ９０３では撮像素子１０７が撮像動作を開始し、Ｓ９０４にてライブビュー間引き読み出しモードがセットされる。該モードは撮像データに係るＮ分の１の間引き読み出しと、隣接する同色画素Ｍ個の加算演算を行う画素加算読み出しの各処理を含む。間引き読み出しの場合、サンプリング特性が低下して被写体の空間周波数によってはモアレが発生し易くなる。Ｓ９０５にてＣＰＵ１２１は、画面の水平方向の空間周波数分布に係る検出結果に基づいてモアレが発生するか否かを判定する。判定方法には既知の方法、例えば高速フーリエ変換などの方法がある。比較的高い周波数成分の分布が許容範囲以上で検出された場合、モアレの発生と判定される。Ｓ９０５でモアレの発生が判定された場合、Ｓ９０６に処理を進める。また、モアレの発生と判定されない場合、垂直方向および水平方向での間引き読み出しが行われ、Ｓ１４０１に処理を進める。

Ｓ９０６では、間引き加算読み出しモードがセットされる。このモードは、図８、図９で説明したように、水平方向における間引き読み出しと、垂直方向における画素加算読み出しを組み合わせたモードである。次のＳ１００１は、表示部１３１へのライブビュー動画の表示、及び間引き加算読み出し中の焦点検出動作に関するサブルーチンである。その詳細については図１１を参照して後述する。
Ｓ１４０１は、間引き読み出し中の焦点検出動作に関するサブルーチンであり、その詳細については図１４を参照して後述する。Ｓ１００１、Ｓ１４０１からＳ９０７に処理を進め、ＣＰＵ１２１は、撮影開始スイッチがオン操作されたか否かを判別する。該スイッチがオン操作されていない場合、Ｓ９０５に戻ってライブビュー状態を維持する。また、Ｓ９０７で撮影開始スイッチがオン操作された場合、Ｓ１５０１に移行し、ライブビュー撮影サブルーチンが実行される。その詳細については図１５を参照して後述する。次のＳ９０８でＣＰＵ１２１は電源スイッチ操作の有無を判定し、電源のＯＦＦ操作が判定された場合、一連の処理を終了する。また、Ｓ９０８で電源のＯＦＦ操作が検出されない場合、Ｓ９０４へ戻る。

図１１は間引き加算読み出し時の焦点検出を説明するフローチャートである。図１０のＳ９０６から本サブルーチンＳ１００１へ移行すると、Ｓ１００２で撮像素子１０７の読み出しモードとして、水平方向での３分の１間引き読み出し、および垂直方向での３画素加算読み出しのモードが設定される。（図８、図９参照）。Ｓ１００３では、検出画素の出力を含む加算データが生成される位置でのデータが算出される。このデータは、検出画素自身の出力信号にゲイン補正演算などを施して算出されるか、または後述する方法で検出画素の周囲にある撮像画素の加算データを用いた補間処理によって算出される。ＣＰＵ１２１は、撮像画素の加算データと、検出画素位置にて生成されるデータを含む画像データを表示部１３１に出力して画面上にライブビュー動画を表示する処理を制御する。

次にＳ１１０１に進み、焦点検出に係る検出画素データ生成のためのサブルーチンが実行される。その詳細については図１２を参照して後述する。次にＳ１００４に進み、Ｓ１１０１で得られた２像の相関演算が行われて、２像の相対的な位置ずれ量が計算される。Ｓ１００５では、相関演算結果の信頼性が判定される。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。Ｓ１００６では、信頼性の高い検出結果に基づいて、２像の位相差から焦点ずれ量（デフォーカス量）の演算が行われた後、Ｓ１００７に処理を進める。Ｓ１００７は、Ｓ１００６で計算した焦点ずれ量が許容値以下であるか否かについて判定される。判定の結果、焦点ずれ量が許容値を超える場合は、非合焦と判断されてＳ１００８に進み、第３レンズ群１０５が駆動される。その後、Ｓ１００２に戻って処理を続行する。Ｓ１００７にて焦点ずれ量が許容値以下であると判定された場合、ＣＰＵ１２１は合焦状態に達したと判断し、Ｓ１００９のリターン処理によって図１０のＳ９０７に処理を進める。

図１２は検出画素データ生成処理を説明するフローチャートである。図１１のＳ１００３から本サブルーチンＳ１１０１に移行する。次のＳ１２０１は、検出画素の出力を含む加算データと、検出画素の周囲に位置する撮像画素の加算データにより補間演算を行って検出画素位置でのデータを算出するサブルーチンである。本実施形態では、補間データと、検出画素を含む加算データにより検出画素位置でのデータを生成する。この場合、補間精度の如何が、後述するデフォーカス量演算の精度に影響を及ぼすので、より正確な補間データを生成することが重要となる。本サブルーチンの詳細について図１３を参照して説明する。

図１３は、図１２の画素補間サブルーチンＳ１２０１の処理を説明するフローチャートである。本処理では、検出画素出力を含む加算データをもつ画素位置の周辺で被写体方向を検出し、検出した方向に配置される同色の画素データから補間データを生成する。図９（Ｂ）を参照して補間データの生成処理を説明する。図９（Ｂ）にて、検出画素を含む加算データの画素をＲｓｉ、Ｂｓｉ（ｉ=１,２）で示す。以下では、画素Ｒｓ１のデータ生成を例示して補間処理を説明する。
図１３のＳ１２０２では、参照画素の組み合わせ数（Ｃnmaxと記す）として４が設定される。図９（Ｂ）に示すＲｓ１の周辺に位置する撮像画素の撮像データのうちで、補間処理で参照する撮像画素の組み合わせを、（Ｒ１、Ｒ８）、（Ｒ４、Ｒ５）、（Ｒ３、Ｒ６）、（Ｒ２、Ｒ７）の４つとする。この例では、２対×４の８画素を使用して被写体の方向検出、及び補間データの算出処理が行われる。なお、前記４種類の参照画素の組み合わせに限らず、補間処理で参照する撮像画素としては、検出画素の周辺画素であれば他の画素を使用してもよい。Ｓ１２０３では補間処理の際に参照する撮像画素の組み合わせにおいて、画素データとしての使用に支障のある画素（キズ画素）が除外される。Ｓ１２０４では、被写体の方向検出として、参照画素の撮像データの差の絶対値が算出されて互いに比較される。撮像画素ＸのデータをI（Ｘ）と記し、絶対値を表す記号abs（）を用いると、下式のように撮像画素同士の差分絶対値が算出される。

［数式１］
abs（I（Ｒ１）−I（Ｒ８））， abs（I（Ｒ４）−I（Ｒ５））
abs（I（Ｒ３）−I（Ｒ６））， abs（I（Ｒ２）−I（Ｒ７））
参照画素の撮像データのうち、差分絶対値が最小となる画素対を使用して補間データが生成される。前記撮像画素の組み合わせから補間処理で得られる画素データIｃ1（AFG）からＩｃ4（AFG）は、下式に示す相加平均演算で算出される。

［数式２］
Iｃ1（AFG）＝（I（Ｒ１）＋I（Ｒ８））／2 （１）
Iｃ2（AFG）＝（I（Ｒ４）＋I（Ｒ５））／2 （２）
Iｃ3（AFG）＝（I（Ｒ３）＋I（Ｒ６））／2 （３）
Iｃ4（AFG）＝（I（Ｒ２）＋I（Ｒ７））／2 （４）
例えば、数式１内でabs（I（Ｒ１）−I（Ｒ８））が最小の場合、（１）式から補間データが生成される。そしてＳ１２０５のリターン処理により、図１２のＳ１１０２に進む。
Ｓ１１０２で、検出画素番号を変数ｎと記すとき、ｎ番目の検出画素の出力を含む加算データを変数Ｉｍにセットする処理が行われる。次のＳ１１０３では、Ｓ１２０１で生成した補間データを変数Ｉｃにセットする処理が行われる。

次に、Ｓ１１０４に進み、間引き加算データ及び補間データを使用し、検出画素位置でのデータが推定される。前述したように、間引き加算読み出しにより取得したデータは、検出画素を含む位置において、１個の検出画素と、垂直方向に１画素おきに並んだ同色の撮像画素（２個）の各データを加算した出力である。一方、補間データは３画素ともに同色の撮像画素の信号であることを想定して推定されるデータである。そこで、間引き加算読み出しで取得したデータＩｍと、画素補間データＩｃを用いて、検出画素位置でのデータＩｓが次式で算出される。

［数式３］
Ｉｓ＝Ｉｍ−（２／３）×Ｉｃ （５）
Ｓ１１０５は、全ての検出画素位置について、間引き加算読み出しで取得したデータと画素補間データから（５）式により画素データを算出する処理が完了したか否かについての判定処理である。前記検出画素のデータ生成処理が未終了の場合、Ｓ１１０６に進み、検出画素番号ｎに１を加算してからＳ１２０１に戻り、処理を続行する。全ての検出画素のデータ生成処理が終ると、Ｓ１１０７のリターン処理により、図１１のＳ１００４へ移行する。

図１４は、図１０に示す間引き読み出し時の焦点検出サブルーチンＳ１４０１の処理を説明するフローチャートである。Ｓ１２０１は図１３で説明した処理と同様、検出画素位置でのデータを周囲の撮像画素のデータから生成する処理である。次のＳ１４０３では、検出画素位置にて補間演算により求めたデータと、撮像画素のデータから画像データが生成され、ＣＰＵ１２１は表示部１３１の画面に画像を表示する処理を制御する。Ｓ１４０４での相関演算は図１１のＳ１００４と同様であり、Ｓ１００５からＳ１００８については図１１で説明した通りである。

図１５は、図１０に示す撮影サブルーチンＳ１５０１の処理を説明するフローチャートである。図１０のＳ９０７で撮影開始スイッチが操作されると本サブルーチンの処理が開始し、Ｓ１５０２でＣＰＵ１２１は絞りおよびシャッタを駆動制御し、光量調節絞りの駆動や、露光時間を規定するメカニカルシャッタの開口制御が行われる。Ｓ１５０３では、高画質静止画撮影のための画像読み出し、すなわち全画素データの読み出しが行われる。Ｓ１５０４では読み出した画素信号に基づいて、各検出画素位置でのデータが生成される。全ての検出画素位置において画素データを生成されるとＳ１５０５に進む。Ｓ１５０５で画像処理回路１２５は、画像のγ補正、エッジ強調等の画像処理を行う。画像処理後のデータはＳ１５０６にてフラッシュメモリ１３３に記憶される。Ｓ１５０７で表示部１３１は撮影済みの画像を画面に表示し、Ｓ１５０８のリターン処理で図１０のＳ９０８に移行する。

本実施形態によれば、撮像画素と機能画素を有する撮像素子を用いる構成において、複数の画素出力値を加算して順次出力する画素加算読み出しの際、焦点検出を高精度に行い、画像表示と焦点検出動作を同時に行うことができる。
以上説明した実施形態は代表的な例にすぎず、本発明の実施に際して種々の変形や変更が可能である。前記実施形態では特定の機能を付与した機能画素として、焦点検出機能（瞳分割方式の位相差検出機能）をもつ焦点検出用画素を例にして説明した。本発明はこれに限らず各種機能（立体撮影機能やマルチフォーカス機能等）を付与した撮像素子から取得される画像データの生成処理に適用可能である。

１００ デジタルカメラ（撮像装置）
１０５ 第３レンズ群（フォーカスレンズ）
１０７ 撮像素子
１１４ フォーカスアクチュエータ
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示部
２０１ 光電変換部

Claims (11)

1. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とを有する撮像素子から取得した画像データを処理する画像処理装置であって、
   前記撮像画素および機能画素から複数の画素を選択して各画素の出力を加算して読み出す場合、前記撮像画素の出力と前記機能画素の出力を加算した加算データと、前記加算データを算出した位置の周囲に位置する複数の前記撮像画素から選択される画素の出力を用いて補間処理で算出したデータとにより、前記機能画素の位置での出力データを生成するデータ生成手段を備えることを特徴とする画像処理装置。
2. 前記データ生成手段は、前記機能画素の出力を含む前記加算データを算出した位置の周囲に位置する前記複数の撮像画素の組み合わせを算出し、各組み合わせについて撮像画素同士の出力の差分を比較して当該差分が最小となる前記撮像画素の組み合わせを選択し、選択した複数の前記撮像画素の出力を用いて前記補間処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記データ生成手段は、前記加算データを算出した位置の周囲に位置する前記複数の撮像画素から選択される画素の出力を相加平均したデータと、前記加算データを用いて前記機能画素の位置での出力データを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とを有する撮像素子を備え、該撮像素子により取得した画像データを処理する撮像装置であって、
   前記撮像画素および機能画素から複数の画素を選択して各画素の出力を加算して読み出す場合、前記撮像画素の出力と前記機能画素の出力を加算した加算データと、前記加算データを算出した位置の周囲に位置する複数の前記撮像画素から選択される画素の出力を用いて補間処理で算出したデータとにより、前記機能画素の位置での出力データを生成するデータ生成手段を備えることを特徴とする撮像装置。
5. 前記データ生成手段は、前記機能画素の出力を含む前記加算データを算出した位置の周囲に位置する前記複数の撮像画素の組み合わせを算出し、各組み合わせについて撮像画素同士の出力の差分を比較して当該差分が最小となる前記撮像画素の組み合わせを選択し、選択した複数の前記撮像画素の出力を用いて前記補間処理を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記データ生成手段は、前記加算データを算出した位置の周囲に位置する前記複数の撮像画素から選択される画素の出力を相加平均したデータと、前記加算データを用いて前記機能画素の位置での出力データを生成することを特徴とする請求項４または５に記載の撮像装置。
7. 前記撮像画素および機能画素を含む画素群の一部から信号電荷を読み出す間引き読み出を行い、読み出した各画素の出力を加算する場合、前記撮像画素および機能画素を選択する制御を行う制御手段を備えることを特徴とする請求項４ないし６のいずれか１項に記載の撮像装置。
8. 前記機能画素は焦点検出機能を付与した検出画素であり、マイクロレンズを介して、前記撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換することを特徴とする請求項４ないし７のいずれか１項に記載の撮像装置。
9. 前記データ生成手段により生成される前記機能画素の出力データを取得して複数の像信号の相関演算を行って焦点ずれ量を算出し、前記撮像光学系を構成する焦点調節用の光学部材の駆動制御を行う焦点調節制御手段を備えることを特徴とする請求項４ないし８のいずれか１項に記載の撮像装置。
10. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とを有する撮像素子から取得した画像データを処理する画像処理装置にて実行される制御方法であって、
    前記撮像画素および機能画素から複数の画素を選択して各画素の出力を加算して読み出す場合、前記撮像画素の出力と前記機能画素の出力を加算する加算ステップと、
    前記加算ステップにて加算データを算出した位置の周囲に位置する複数の前記撮像画素から選択される画素の出力を用いて補間処理を行う補間ステップと、
    前記加算データと前記補間ステップで算出したデータを用いて前記機能画素の位置での出力データを生成するデータ生成ステップを有することを特徴とする画像処理装置の制御方法。
11. 撮像光学系を介した光を光電変換して撮像信号を出力する撮像画素と、特定の機能を付与した機能画素とを有する撮像素子を備え、該撮像素子により取得した画像データを処理する撮像装置にて実行される制御方法であって、
    前記撮像画素および機能画素から複数の画素を選択して各画素の出力を加算して読み出す場合、前記撮像画素の出力と前記機能画素の出力を加算する加算ステップと、
    前記加算ステップにて加算データを算出した位置の周囲に位置する複数の前記撮像画素から選択される画素の出力を用いて補間処理を行う補間ステップと、
    前記加算データと前記補間ステップで算出したデータを用いて前記機能画素の位置での出力データを生成するデータ生成ステップを有することを特徴とする撮像装置の制御方法。

Images