JP2016208437A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】撮像素子が有する焦点検出用画素の信号の補間を伴う処理の応答性に優れた撮像装置を提供する。【解決手段】撮像用画素と焦点検出用画素とが配置された撮像素子を有する撮像装置を設ける。撮像装置が備えるＣＰＵ１２１が、撮像用画素および焦点検出用画素から信号を読み出し、焦点検出用画素の信号の補間を伴う処理毎に、処理内容に応じた範囲の焦点検出用画素を選択し、選択した焦点検出用画素の信号を撮像用画素の信号で補間した上で、処理を実行する。【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関する。

撮影レンズを通過した光束に基づき、自動焦点検出方式を用いて焦点調節動作を行う撮像装置が提案されている。自動焦点検出方式には、コントラスト検出方式と位相差検出方式とがある。コントラスト検出方式は、撮像素子の出力信号、特に高周波成分の情報（コントラスト情報）の評価値が最も大きくなる撮影レンズの位置を合焦位置とする方式である。コントラスト検出方式は、動画撮影用ビデオムービー機器（カムコーダー）や電子スチルカメラで多く用いられる。この方式では、撮像素子が焦点検出用センサとして用いられる。コントラスト検出方式は、山登り方式とも言われるように、撮影レンズを微少量動かしながら評価値を求め、その評価値が最大となる位置をスキャンする必要があるので、高速な焦点調節動作には不向きとされている。

位相差検出方式は、撮影レンズの異なる射出瞳を通過した光束を一対の焦点検出用センサでそれぞれ受光して出力される信号のずれ量により、ピント方向のずれ量を直接求める方式である。したがって、焦点検出用センサにより一度蓄積動作を行えば、ピントずれ量と方向が得られ、高速な焦点調節動作が可能である。位相差検出方式は、銀塩フィルムによる一眼レフカメラに多く用いられる。

従来、電子ビューファインダーモードや動画撮影モード中にはコントラスト方式による自動焦点検出が一般的であった。より高速な焦点検出を実現するため、撮像素子を構成する画素群の一部に被写体像の位相差検出機能を付与した焦点検出用画素を配置して位相差検出方式による焦点検出を行う技術が考えられている。

特許文献１は、焦点検出用画素を撮像用画素群中に所定の間隔で配置して位相差検出方式の焦点検出を行う撮像装置を開示している。この撮像装置では、焦点検出用画素の配置箇所は撮像用画素の欠損部に相当するので、周辺の撮像用画素情報から補間した画像情報が用いられる。

特許文献２は、撮像用画素と焦点検出用画素から画像信号と焦点検出信号を出力させる第１読出し方式と、撮像用画素から画像信号を加算して順次出力させる第２読出し方式とを時分割で動作させる撮像装置を開示している。

特開２０００−１５６８２３号公報 特開２０１３−１７５９１９号公報

従来の撮像装置は、焦点検出用画素からの信号の補間を伴う処理毎に、処理内容に応じた範囲の焦点検出用画素を選択して補間を行っていない。したがって、この撮像装置が、撮像素子の一部の領域をキャプチャし、この領域に含まれる全ての焦点検出用画素の信号を補間した後に、複数の処理を実行すると、以下の問題が生じる。例えば撮像装置が、全ての焦点検出用画素の信号を補間した後に、動画生成処理、焦点検出処理、被写体の追尾処理のそれぞれを行うと、補間処理時間の増加に伴って、動画像の画面表示、合焦表示、追尾結果の表示の応答性が低下する。
本発明は、撮像素子が有する焦点検出用画素の信号の補間を伴う処理の応答性に優れた撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮像用画素と焦点検出用画素とが配置された撮像素子と、前記撮像用画素および前記焦点検出用画素から信号を読み出す読み出し手段と、前記焦点検出用画素の信号の補間を伴う処理毎に、処理内容に応じた範囲の前記焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を前記撮像用画素の信号で補間した上で、当該処理を実行する制御手段とを備える。

本発明の撮像装置によれば、撮像素子が有する焦点検出用画素の信号の補間を伴う処理の応答性が良くなる。

本実施形態の撮像装置の構成例を示す図である。 撮像素子の構成例を示す図である。 撮像素子に配置された画素からの信号読み出し処理を説明する図である。 撮像用画素と焦点検出用画素の構造を説明する図である。 撮像用画素と焦点検出用画素の構造を説明する図である。 撮像用画素と焦点検出用画素の配置の一例を示す図である。 実施例１の撮像装置が実行する処理を説明するフローチャートである。 クロップ動画モードにおける動画像データの生成を説明する図である。 実施例２の撮像装置が実行する処理を説明するフローチャートである。 動画像データの生成処理、被写体の追尾処理、焦点検出処理を説明する図である。 実施例２における焦点検出用画素の信号の補間を説明する図である。 焦点検出用画素の信号の補間を伴う処理のタイミングチャートである。

図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、撮像素子を有するカメラ本体と撮影光学系とが一体となったデジタルカメラである。図１において、第１レンズ群１０１は、撮影光学系（結像光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時を調節する機能も備える。絞り兼用シャッタ１０２及び第２レンズ群１０３は、一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

第３レンズ群１０５は、光軸方向の進退により、焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、ＣＭＯＳイメージセンサとその周辺回路で構成されている。撮像素子１０７は、水平方向ｍ画素、垂直方向ｎ画素に配列された受光画素を複数有し、当該受光画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１乃至第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

被写体照明用の電子フラッシュ１１５は、撮影時に用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。ＡＦ補助光発光部１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体や低コントラスト被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、撮像装置内でカメラ本体の種々の制御を司る。ＣＰＵ１２１は、例えば、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮影、画像処理及び記録等の一連の動作を実行する。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、取得した画像信号をＡ／Ｄ変換して、ＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が出力した画像信号に対して、γ変換、カラー補間、補間処理、ＪＰＥＧ圧縮等の処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して、絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。

ＬＣＤ等の表示器１３１は、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を有する。フラッシュメモリ１３３は、撮影済み画像を記録する。フラッシュメモリ１３３は、撮像装置に着脱可能である。

図２は、撮像素子の構成例を示す図である。
図２は、後述の読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部２０１は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されており、ｍ列×ｎ行の光電変換部が２次元上に配置されている。選択スイッチ２０２は、光電変換部２０１の出力を選択するためのスイッチであり、垂直走査回路２０８により、行単位で選択される。ラインメモリ２０３は、光電変換部２０１の出力を一時的に記憶する。ラインメモリ２０３は、垂直走査回路２０８により選択された行の光電変換部２０１の出力を、信号ＭＥＭがＨ（Ｈｉｇｈ）レベルとなったときに、垂直出力線ＶＬを介して記憶する。ラインメモリ２０３としては、通常は、コンデンサが使用される。

スイッチ２０４は、水平出力線ＨＬを所定の電位ＶＨＲＳＴにリセットするための水平出力線ＨＬに接続されたスイッチである。スイッチ２０４は、信号ＨＲＳＴにより制御される。スイッチ２０５は、ラインメモリ２０３に記憶された光電変換部２０１の出力を水平出力線ＨＬに順次出力するためのスイッチである。

水平走査回路２０６は、信号Ｈ0 からＨm-1 を用いてスイッチ２０５を順次走査することにより、ラインメモリ２０３に記憶された光電変換部２０１の出力を順次、水平出力線ＨＬに出力させる。信号ＰＨＳＴは、水平走査回路２０６のデータ入力を示す。信号ＰＨ１、ＰＨ２は、シフトクロック入力を示す。ＰＨ１がＨレベルの時にデータがセットされ、ＰＨ２がＨレベルの時にデータがラッチされる。信号ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、信号Ｈ0 からＨm-1 を順次Ｈレベルにし、スイッチ２０５を順次オンさせることができる。ＳＫＩＰは、後述の一部の画素から信号を読み出す間引き読み出し時に設定を行わせる信号である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２０６を所定間隔でスキップさせることが可能になる。なお、読み出し動作に関する詳細については後述する。

アンプ２０７は、ラインメモリ２０３から水平出力線ＨＬを介して出力された画素信号を所定の割合で増幅し、ＶＯＵＴとして出力する。垂直走査回路２０８は、信号Ｖ0 からＶn-1 をＨレベルにすることにより、選択スイッチ２０２を行単位で選択することができる。垂直走査回路２０８は、水平走査回路２０６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定信号ＳＫＩＰにより制御される。垂直走査回路２０８の動作に関しては、水平走査回路２０６と同様であるので、詳細な説明については省略する。

図３は、撮像素子に配置された画素からの信号読み出し処理を説明する図である。
図３（Ａ）において、Ｒ、Ｇ、Ｂの記号は、各画素を覆うカラーフィルタの色を表している。本実施形態の画素配列は、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素が配置され、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素が各１個配置されたベイヤー配列である。

また、図３（Ａ）の画素配列の上および左側に付記された番号は、Ｘ及びＹ方向の番号である。また、斜線の引かれた画素が、読み出し対象である。この例では、全画素読み出しなので、図３（Ａ）の全ての画素に斜線が引かれている。なお、撮像素子１０７には、通常、黒レベルを検出するために遮光されたＯＢ（オプティカルブラック）画素なども配置され、ＯＢ画素からも読み出しを行うが、この説明については省略する。

図３（Ｂ）は、撮像素子１０７の全画素を読み出す場合のタイミングチャートを示す。ＣＰＵ１２１が、撮像素子駆動回路１２４を制御して、撮像素子１０７にパルスを送ることにより、読み出しが行われる。図３（Ｂ）を参照して、全画素読み出し動作を説明する。

まず、ＣＰＵ１２１が、垂直走査回路２０８を駆動して、Ｖ0 をアクティブにする。このとき、０行目の画素の出力が、垂直出力線ＶＬにそれぞれ出力される。この状態で、ＣＰＵ１２１が、信号ＭＥＭをアクティブにして、各画素のデータをラインメモリ２０３にホールドする。次に、ＣＰＵ１２１が、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次Ｈ0 からＨm-1 をアクティブにする。これにより、水平出力線ＨＬに画素出力が出力される。出力された画素出力は、アンプ２０７を介して、ＶＯＵＴとして出力され、不図示のＡ／Ｄ変換器でデジタルデータに変換され、画像処理回路１２５で所定の画像処理が実行される。

次に、垂直走査回路２０８が、Ｖ１をアクティブにすることで、１行目の画素出力が垂直出力線ＶＬに出力され、この状態で同様に信号ＭＥＭをアクティブにすることによりラインメモリ２０３に画素出力がホールドされる。次に、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次Ｈ0 からＨm-1 をアクティブにする。これにより、水平出力線ＨＬに画素出力が出力される。同様にして、ＣＰＵ１２１は、Ｖn-1 で順にアクティブにしていくことで、ｎ−１行目までの読み出しを順次行う。

図４および図５は、撮像用画素と焦点検出用画素の構造を説明する図である。
本実施形態においては、上述したベイヤー配列の間に、焦点検出用画素が分散配置される。図４は、撮像用画素の配置と構造を示す。図４（Ａ）は、２行×２列の撮像用画素の平面図である。ベイヤー配列の画素配列では、対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。

図４（Ｂ）は、図４（Ａ）のＡ−Ａ断面図である。ＭＬは、各画素の最前面に配置されたオンチップマイクロレンズである。ＣＦＲは、Ｒ（赤色）のカラーフィルタである。ＣＦＧは、Ｇ（緑色）のカラーフィルタである。ＰＤ（Photo Diode ）は、図２に示す撮像素子１０７の光電変換部２０１を模式的に示したものである。ＣＬ（Contact Layer ）は、ＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは、撮影光学系を模式的に示したものである。

撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤとは、撮影光学系ＴＬ（Taking Lens ）を通過した光束を可能な限り有効に取り込むように構成されている。撮影光学系ＴＬの射出瞳ＥＰ（Exit Pupil）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子ＰＤの有効面積は大面積に設計される。

図４（Ｂ）では、Ｒ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率良く取り込んで、画像信号のＳ／Ｎを向上させている。

図５は、撮影光学系の水平方向に瞳分割を行うための焦点検出用画素の配置と構造を示す。水平方向に瞳分割を行うことにより、水平方向に輝度分布を有した被写体、例えば縦線に対して焦点検出が可能になる。

図５（Ａ）は、焦点検出用画素を含む２行×２列の画素の平面図を示す。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。これは、人間の画像認識特性は輝度情報に敏感であるためであり、Ｇ画素が欠損すると、画質劣化が認知されやすい。Ｒ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は、輝度情報と比較して色情報には鈍感であるので、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。したがって、本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。図５（Ａ）に示すＳＡ及びＳＢが、焦点検出用画素である。

図５（Ｂ）は、図５（Ａ）のＡ−Ａ断面図である。マイクロレンズＭＬと、光電変換素子ＰＤは、図４（Ｂ）に示す撮像用画素と同一の構造である。本実施形態においては、焦点検出用画素の信号は、画像生成には用いないので、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（白色）が配置される。また、光電変換部２０１単位で瞳分割を行うため、配線層ＣＬの開口部は、マイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡの開口部ＯＰＨＡは、水平方向（図５では、右側）に偏倚しているので、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは、画素ＳＡとは逆方向の左側に偏倚し、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。上述した構成を有する画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とし、上述した構成を有する画素Ｂも同様に水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とする。そして、得られたＡ像とＢ像の相対位置（位相差）を検出することで、被写体像のピントずれ量（デフォーカス量）を検出することができる。

垂直方向に輝度分布を有する被写体、例えば横線のピントずれ量を検出したい場合には、画素ＳＡの開口部ＯＰＨＡを下側に、画素ＳＢの開口ＯＰＨＢを上側に偏倚させるように９０度回転させて構成すればよい。開口部ＯＰＨＡを上側に、画素ＳＢの開口ＯＰＨＢを下側に偏倚させるように構成してもよい。

図６は、撮像用画素と焦点検出用画素の配置の一例を示す図である。
画像の劣化が目立ちにくくなるように、Ｇ画素部分には、焦点検出用の画素を配置しないことが好ましい。画素ＳＡと画素ＳＢとがＢ画素部分に配置されている。そして、撮像素子に配置された画素は、画素ＳＡを含む画素行、画素ＳＢを含む画素行、撮像用画素の画素行の配置パターンで構成されている。

焦点検出用画素は、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（白色）で覆われていると共に、瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚されている。したがって、焦点検出用画素は、撮像に用いる画素としては適さない画素であるので、焦点検出用画素に対応する画像信号を、周辺の撮像信号から補間して生成する必要がある。焦点検出用画素の画像信号の補間方法としては、隣接する撮像用画素や上下の撮像用画素行の画像信号を利用する様々な補間手法が知られている。なお、本発明は、補間方法によって限定されるものではない。

（実施例１）
図７は、実施例１の撮像装置が実行する処理を説明するフローチャートである。
以下に説明する実施例１では、ＣＰＵ１２１は、焦点検出用画素の信号の補間を伴う処理毎に、処理内容に応じた範囲の焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を撮像用画素の信号で補間した上で、当該処理を実行する。この例では、焦点検出用画素の信号の補間を伴う処理は、後述するクロップ動画モードにおける動画像データの生成処理を有する。
まず、撮像装置の電源を起動して動画ライブビューの開始操作が行われると、Ｓ７０１において、ＣＰＵ１２１が、撮像素子駆動制御により撮像素子１０７から撮像信号の取得を開始する。ＣＰＵ１２１は、撮像用画素から撮像用の画像信号を、焦点検出用画素からは焦点検出用信号を選択して取得することができる。

次に、Ｓ７０２において、ＣＰＵ１２１が、撮影モードを判断する。本実施例では、撮影モードとして、全画面動画モードとクロップ動画モードという２つの撮影モードを想定する。全画面動画モードは、撮像素子を間引き読みすることで撮像用画素の画像信号のみを読み出して、撮像素子の全領域を撮影する動画撮影モードである。クロップ動画モードは、撮像素子内のクロップした領域の画素を全て読み出して撮影する動画撮影モードである。

クロップ動画モードは、拡大ズームした動画像の撮影が目的である。したがって、クロップ動画モードで動画撮影する場合には、画像解像感を得るために、撮像用画素と焦点検出用画素の画像成分をもとにした動画像データを生成する必要がある。

図８は、クロップ動画モードにおける動画像データの生成を説明する図である。
センサ読み出し領域８０１は、撮像素子からクロップして読み出された領域を示す。表示画角領域８０２は、生成した動画像を表示器１３１で表示する実際の画角である。ＣＰＵ１２１は、ユーザの操作にしたがって、表示画角領域８０２の大きさや位置を任意に変更できる。

図７の説明に戻る。Ｓ７０２における判断処理において、撮影モードがクロップ動画モードではなく全画面動画モードであると判断された場合は、ＣＰＵ１２１は、間引き読みで撮像用画素のみから画像信号を読み出し、画素補間は行わない。そして、処理がＳ７０５に進み、ＣＰＵ１２１が読み出した画像信号に基づいて動画像データを生成する。

撮影モードがクロップ動画モードであると判断された場合は、処理がＳ７０３に進む。Ｓ７０３において、ＣＰＵ１２１が、表示画角領域にある焦点検出用画素を補間対象の画素として選択する。続いて、Ｓ７０４において、ＣＰＵ１２１が、補間対象の焦点検出用画素の信号を周囲の撮像用画素の画像信号に基づいて補間する。これにより、表示画角領域の全ての画素の画像信号を取得することができる。そして、Ｓ７０５において、ＣＰＵ１２１が、取得された画像信号に基づいて動画像データを生成する。

以上説明した実施例１では、焦点検出用の信号の補間を伴う処理が、所定の表示画角で表示される動画像を生成する処理を有する。そして、ＣＰＵ１２１は、信号が読み出された画素のうち、撮像素子内の表示画角に対応する領域にある焦点検出用画素を選択し、選択した焦点検出用画素の信号を補間して、動画像を生成する。これにより、補間処理に伴う動画像データ生成の遅延を抑制することができる。

（実施例２）
図９は、実施例２の撮像装置が実行する処理を説明するフローチャートである。
実施例２においても、実施例１と同様に、ＣＰＵ１２１は、焦点検出用画素の信号の補間を伴う処理毎に、処理内容に応じた範囲の焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を撮像用画素の信号で補間した上で、当該処理を実行する。この例では、焦点検出用画素の信号の補間を伴う処理は、動画像データの生成処理、被写体の追尾処理、焦点検出処理を有する。この例では、動画像データの生成処理は、所定の表示画角で表示される動画像を生成する処理である。ＣＰＵ１２１は、焦点検出用画素の信号の補間を伴う処理毎に、各々の処理が所定期間内に完了するように、処理内容に応じた範囲の焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を補間する。

まず、撮像装置の電源を起動して動画ライブビューの開始操作が行われると、Ｓ９０１において、ＣＰＵ１２１が、撮像素子駆動制御により撮像素子１０７から撮像信号の取得を開始する。ＣＰＵ１２１は、撮像用画素から撮像用の画像信号を、焦点検出用画素からは焦点検出用信号を選択して取得することができる。

図１０は、実施例２における動画像データの生成処理、被写体の追尾処理、焦点検出処理を説明する図である。
センサ読み出し領域１００１は、撮像素子から信号が読み出される領域を示す。表示画角領域８０２は、生成される動画像データの表示画角の領域である。ＣＰＵ１２１は、表示画角領域８０２内の焦点検出用画素の信号を補間し、補間された信号と撮像用画素の画像信号とに基づいて動画像データを生成する。

追尾領域１００２は、ユーザが選択した被写体を追尾するための、被写体位置を中心とした一定範囲である。ＣＰＵ１２１は、追尾領域内の焦点検出用画素の信号を補間し、補間後の信号と撮像用画素の画像信号とに基づいて、パターンマッチングで追尾対象を探索する。

焦点検出領域１００３は、焦点検出の対象範囲である。焦点検出速度の改善と正確な検出精度を実現するため、ＣＰＵ１２１は、焦点検出用画素からの焦点検出信号を用いる位相差検出方式と、画像信号を用いるコントラスト検出方式とを併用する。コントラスト検出方式を用いる場合、ＣＰＵ１２１は、焦点検出領域内の焦点検出用画素の信号を補間し、補間後の信号と撮像用画素の画像信号とに基づいて、焦点検出処理を実行する。図１０に示す各領域の配置は一例であり、各領域はユースケースに応じてそれぞれ独立に設定することが可能である。

動画像データの生成処理、被写体の追尾処理、および焦点検出処理は、フレーム毎に連続処理させるため、画素補間をした上で、所定期間内に全ての処理を終えることが重要となる。

図１１は、実施例２における焦点検出用画素の信号の補間を説明する図である。
補間回路１１０２、動画像生成処理部１１０５、追尾処理部１１０４、焦点検出処理部１１０３は、ＣＰＵ１２１の機能を実現する処理部である。撮像素子１１０１は、図１の撮像素子１０７に対応する。撮像素子１１０１から出力された画像信号は、焦点検出用画素の補間を実行する補間回路１１０２に入力される。補間回路１１０２は、焦点検出領域の画素補間を行い、補間後の撮像素子の画像信号が焦点検出処理部１１０３に入力される。焦点検出処理部１１０３には撮像素子からの焦点検出信号も同時に入力され、コントラスト検出方式と位相差検出方式を併用した焦点検出処理が行われる。

また、補間回路１１０２は、追尾領域の画素補間を行い、補間後の撮像素子の画像信号を追尾処理部１１０４に入力して追尾処理を実行する。さらに、補間回路１１０２は、残りの表示画角領域の画素補間を行い、補間後の撮像素子の画像信号に基づいて動画像データの生成処理を実行する。

図１２は、焦点検出用画素の信号の補間を伴う処理のタイミングチャートを示す図である。以下に、図１２と図９とを参照しながら、ＣＰＵ１２１が、各処理に必要な焦点検出用画素の信号を補間後に、順次各処理を実行し、処理遅延を抑制することについて説明する。

図９のＳ９０２において、ＣＰＵ１２１が、焦点検出処理を所定時間（ｔ０）までに完了するように、焦点検出領域（Ａ１）を決定する。図１２に示す焦点検出処理時間（ｔ１２）は、一意に決まる一定時間とする。ＣＰＵ１２１は、下記の式（１）、式（２）が示す条件に基づいて焦点検出領域を算出する。
Ａ１の画素補間処理時間＜所定時間（ｔ０）−焦点検出処理時間（ｔ１２）
・・・式（１）
Ａ１の画素補間処理時間＝１画素の補間処理時間×Ａ１にある焦点検出用画素数
・・・式（２）

次に、Ｓ９０３において、ＣＰＵ１２１が、追尾対象の被写体の認識に失敗している状態であるかを判断する。追尾対象の被写体を認識できている状態である場合は、処理がＳ９０４に進む。そして、ＣＰＵ１２１は、被写体の追尾処理が所定期間内に完了するように、追尾領域を設定する。具体的には、ＣＰＵ１２１は、追尾処理が所定時間（ｔ０）までに完了するように追尾領域（Ａ２）を決定する。追尾処理時間（ｔ２２）は、一意に決まる一定時間とする。ＣＰＵ１２１は、下記の式（３）、式（４）が示す条件に基づいて追尾領域を算出する。
Ａ２の画素補間処理時間＜所定時間（ｔ０）−追尾処理時間（ｔ２２）
・・・式（３）
Ａ２の画素補間処理時間＝１画素の補間処理時間×Ａ２にある焦点検出用画素数
・・・式（４）

追尾対象の被写体を見失っている状態である場合は、処理がＳ９０５に進む。そして、ＣＰＵ１２１が、信号を取得できるセンサ読み出し領域での任意の領域内で追尾領域を決める。これは、所定フレーム内に追尾を行うことよりも新たな被写体を探すことを優先するためである。

次に、Ｓ９０６において、ＣＰＵ１２１が、動画像データの生成処理が所定時間（ｔ０）までに完了するように表示画角領域（Ａ３）を決定する。動画像データの生成処理時間（ｔ３２）は、一意に決まる一定時間とする。ＣＰＵ１２１は、下記の式（５）、式（６）が示す条件に基づいて表示画角領域を算出する。
Ａ３の画素補間処理時間＜所定時間（ｔ０）−動画像データの生成処理時間（ｔ３２）
・・・式（５）
Ａ３の画素補間処理時間＝１画素の補間処理時間×Ａ３にある焦点検出用画素数
・・・式（６）

次に、Ｓ９０７において、ＣＰＵ１２１が、焦点検出領域（Ａ１）にある焦点検出用画素を選択し、選択した焦点検出用画素の信号を補間する。そして、Ｓ９０８において、焦点検出領域の画素補間後の画像信号に基づいて、焦点検出処理を実行する。

また、Ｓ９０９において、ＣＰＵ１２１が、追尾領域（Ａ２）にある焦点検出用画素を選択し、選択した焦点検出用画素の信号を補間する。そして、Ｓ９１０において、追尾領域の画素補間後の画像信号に基づいて、追尾処理を実行する。

また、Ｓ９１１において、ＣＰＵ１２１が、表示画角領域（Ａ３）にある焦点検出用画素を選択し、選択した焦点検出用画素の信号を補間する。そして、Ｓ９１２において、表示画角領域の画素補間後の画像信号に基づいて、動画像データを生成する。

実施例２の撮像装置によれば、焦点検出処理、追尾処理、動画データの生成処理の遅延を抑制することができ、応答性に優れた動画撮影が可能となる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０７ 撮像素子
１２４ 撮像信号読み出し手段

Claims (10)

1. 撮像用画素と焦点検出用画素とが配置された撮像素子と、
   前記撮像用画素および前記焦点検出用画素から信号を読み出す読み出し手段と、
   前記焦点検出用画素の信号の補間を伴う処理毎に、処理内容に応じた範囲の前記焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を前記撮像用画素の信号で補間した上で、当該処理を実行する制御手段とを備える
   ことを特徴とする撮像装置。
2. 前記制御手段は、
   前記焦点検出用の信号の補間を伴う処理が、所定の表示画角で表示される動画像を生成する処理を有する場合に、前記読み出し手段によって信号が読み出された画素のうち、前記撮像素子内の前記表示画角の領域にある焦点検出用画素を選択し、
   前記選択した焦点検出用画素の信号を補間して、前記動画像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   撮影モードとしてクロップ動画モードが選択された場合に、前記撮像素子内の所定の表示画角の領域にある焦点検出用画素を選択し、前記選択した焦点検出用画素の信号を補間して、動画像を生成する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記クロップ動画モードが選択された場合に、ユーザの操作にしたがって前記表示画角を変更する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記読み出された焦点検出用画素の信号の補間を伴う処理毎に、各々の処理が所定期間内に完了するように、処理内容に応じた範囲の前記焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を補間する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、前記読み出された焦点検出用の信号の補間を伴う処理が、焦点検出処理を含む場合に、前記焦点検出処理が所定期間内に完了するように、焦点検出領域を設定し、設定した焦点検出領域内の焦点検出用画素の信号を補間し、補間後の信号に基づいて前記焦点検出処理を実行する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記読み出された焦点検出用の信号の補間を伴う処理が、被写体の追尾処理を含む場合に、前記被写体の追尾処理が所定期間内に完了するように、追尾領域を設定し、設定した追尾領域内の焦点検出用画素の信号を補間し、補間後の信号に基づいて前記追尾処理を実行する
   ことを特徴とする請求項５または請求項６に記載の撮像装置。
8. 前記制御手段は、
   追尾対象の被写体を認識できている状態のときは、前記被写体の追尾処理が前記所定期間内に完了するように、前記追尾領域を設定し、
   前記追尾対象の被写体を見失っている状態のときは、前記読み出し手段が信号を取得できる領域内で前記追尾領域を設定する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記読み出された焦点検出用画素の信号の補間を伴う処理が、所定の表示画角で表示される動画像を生成する処理を含む場合に、前記動画像の生成が所定期間内に完了するように、表示画角領域を設定し、設定した表示画角領域にある焦点検出用画素の信号を補間し、補間後の信号に基づいて前記動画像を生成する
   ことを特徴とする請求項５乃至８のいずれか１項に記載の撮像装置。
10. 撮像用画素と焦点検出用画素とが配置された撮像素子を備える撮像装置の制御方法であって、
    前記撮像用画素および前記焦点検出用画素から信号を読み出す工程と、
    前記焦点検出用画素の信号の補間を伴う処理毎に、処理内容に応じた範囲の前記焦点検出用画素を選択し、当該選択した焦点検出用画素の信号を前記撮像用画素の信号で補間した上で、当該処理を実行する工程とを有する
    ことを特徴とする制御方法。

Images