JP2023086271A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 ＡＦに用いる信号の読み出し領域が撮像領域全体に対して制限されている中でも、被写体に対して追従して精度よく焦点検出を行うことが可能な撮像装置及びその制御方法を提供する。【解決手段】 第１のモードと第２のモードとを少なくともとり得る撮像手段と、第１の行に対しては第１のモードでの読み出しを行い、第２の行に対しては第２のモードでの読み出しと第２のモードとは異なるモードでの読み出しとを行う制御手段であって、主被写体が切り替えられた場合に、切り替えられた主被写体の部位が第２の行に存在するか否かに応じて、画素領域のうちの第２の行の領域を変更するか否かを判定する制御手段とを有している。【選択図】 図４

Description

本発明は、撮像装置及びその制御方法に関する。

撮影レンズの焦点状態を検出する方式として、撮像面位相差ＡＦがある。撮像面位相差ＡＦは、撮影レンズの互いに異なる瞳領域（瞳部分領域）を通過した光束により形成される光学像を光電変換した対の像信号を用いて、相関演算処理が実行される。下記の特許文献１では、位相差検出に用いる信号を読み出す行と、位相差検出に用いる信号ではなく撮像用の信号を読み出す行とを、列方向に所定の行数ずつ混在させ、交互に読み出しを行うことを開示している。これにより、位相差検出に用いる信号を読み出す行が限定されるため、撮像素子からの１フレームの信号の読み出し時間を短くすることができ、高速な記録レートを実現するために用いられる。

下記の特許文献２では、位相差検出に用いる信号を時系列に加算するフレーム加算について開示されている。時系列に信号加算する際に、それに適した信号であるかを判定し時系列に加算することでＡＦ精度が低下しないようにしている。

特開２０１６－０１５６９５号公報 特開２０２０－２０５５５７号公報

しかしながら、特許文献１では、位相差検出に用いる信号が画像全体から間引かれた状態で入力されるため、必要な被写体情報が得られない可能性があった。そのため位相差検出に用いる信号を被写体領域に集中する手段が考えらえる。ただし、間引く割合が高いと十分な信号を得られずＳ／Ｎが悪化してＡＦ性能低下につながる懸念があった。

そこで特許文献２のフレーム加算を用いることでＳ／Ｎ向上を図る手段が考えられる。しかし、位相差検出に用いる信号領域を集中させて画角が制限されていると、被写体が切り替わり被写体位置が大きく変わった場合に制限領域内の画像情報が大きく変わり、フレーム加算を継続すると逆にＡＦ性能を低下させることになる。

本発明の一観点によれば、行列方向に配列された複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応して行列方向に複数の単位画素が配列された画素領域とを有する撮像手段であって、各々の前記単位画素は、第１の光電変換部と第２の光電変換部とを含み、前記第１の光電変換部と前記第２の光電変換部とでそれぞれ発生した電荷に対応する信号に対して合成処理を行い、前記合成処理が行われた信号に対して読み出しを行うモードである第１のモードと、前記第１の光電変換部で発生した電荷に対応する信号に対して前記合成処理を行うことなく読み出しを行うモードである第２のモードとを少なくともとり得る撮像手段と、前記画素領域のうちの第１の領域に位置する第１の行に対しては、前記第１のモードでの前記読み出しを行い、前記画素領域のうちの前記第１の領域とは異なる第２の領域に位置する第２の行に対しては、前記第２のモードでの前記読み出しと前記第２のモードとは異なるモードでの読み出しとを行う制御手段と、特定の種別の特定の被写体の部位を対象として検出処理を実行する検出手段と、を有し、前記制御手段は、主被写体が切り替えられた場合に、当該切り替えられた主被写体の部位が前記第２の領域に存在するか否かに応じて、前記画素領域のうちの前記第２の領域を変更するか否かを判定することを特徴とする撮像装置が提供される。

本発明によれば、ＡＦに用いる信号の読み出し領域が制限されている中でも、被写体に対して追従して精度よく焦点検出を行うことができる。

撮像装置の構成例を示す図である。 焦点検出方法について説明するための図である。 画素構成を示す図である。 ＡＦ制限領域とフレーム加算制御を示すフローチャート図である。 撮像素子の全体構成を示す図である。 撮像素子の単位画素の回路構成を示す図である。 撮像素子の各単位画素列の読出し回路の構成を示す図である。 撮像素子の画素配列に対して設定される測距枠を示す図である。 撮像装置における撮像素子の単位画素行の読出し動作のタイミングチャートを示す図である。 撮像装置における撮像素子の単位画素行の読出し動作のタイミングチャートを示す図である。 撮像装置における撮像素子の単位画素行の読出し動作のタイミングチャートを示す図である。 実施形態１における被写体撮影時のＡＦ制限領域とＡＦ対象領域を示す図である。 実施形態２における被写体撮影時のＡＦ制限領域とＡＦ対象領域を示す図である。

［実施形態１］
以下、添付図面を参照して、本発明の実施形態に係る撮像装置について説明する。

［撮像装置の構成］
図１を参照して本実施形態に係る撮像装置の構成を説明する。

撮像装置１００は、被写体を撮影して、動画や静止画のデータを各種メディアに記録可能なデジタルカメラなどであるが、焦点検出処理に関する制御を行うことができるような焦点検出装置であれば適用可能である。すなわち、本発明は携帯電話端末やパーソナルコンピュータ、ＰＤＡ、ゲーム機などに適用可能である。

撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、メインＣＰＵ１５１により制御される。

撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換部（第１の光電変換部および第２の光電変換部）を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置を搭載している。なお本実施形態の焦点検出装置は、撮像光学系（撮影レンズ）を介して得られた光学像を取得可能に構成された撮像装置（撮像装置本体）と、撮像装置本体に着脱可能な撮像光学系とを備えて構成された撮像システムに適用される。ただし、本実施形態はこれに限定されるものではなく、撮像光学系が一体的に設けられた撮像装置にも適用可能である。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。絞り制御部１０５は、メインＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。また、フォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。

これらの光学部材（撮影レンズ１０１）を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換部である。撮像素子１４１は、横方向にｋ画素、縦方向にｎ画素の受光素子（単位画素）のそれぞれに、後述のように二つの光電変換部（受光領域）が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。このとき、第１の光電変換部、第２の光電変換部から出力された画像信号（以降、第１の光電変換部からの出力をＡ像信号、第２のものからをＢ像信号とする）を加算した画像信号（以降ＡＢ像信号）を生成して、これを記録や表示に用いる画像信号として出力する。また合わせてＡ像信号も出力し、後述する画像信号処理部１５２によって加算信号であるＡＢ像信号からＡ像信号を減算しＢ像信号を生成して、位相差ＡＦ処理に用いる。

撮像制御部１４３は、メインＣＰＵ１５１からの命令に基づき、撮像素子の制御を行う。これに先立ち、メインＣＰＵ１５１は、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値、レンズユニットの絞り値を決定する。この設定は、操作部１５６から入力された操作者からの指示、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき行われる。撮像制御部１４３は、メインＣＰＵから蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。このとき、例えば、動画モードで高速なフレームレートで読み出す場合などに、読み出し時間短縮のため、撮像信号処理部１４２から位相差ＡＦ処理のために必要な画像データを読み出す領域を制限する。詳細は後述する。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。

ここで撮像素子１４１の構成について図３を用いて説明する。図３（ａ）は、瞳分割機能を有する撮像素子１４１の画素の構成図（断面図）である。光電変換部３０は、一画素につき二つの光電変換部３０－１（第１の光電変換部）および光電変換部３０－２（第２の光電変換部）に分割されており、瞳分割機能を有する。マイクロレンズ３１（オンチップマイクロレンズ）は、光電変換部３０に効率よく光を集める機能を有し、光電変換部３０－１、３０－２の境界に光軸が合うように配置されている。また、一つの画素の内部には、平坦化膜３２、カラーフィルタ３３、配線３４、および、層間絶縁膜３５が設けられている。

図３（ｂ）は、撮像素子１４１の一部の構成図（平面図）である。撮像素子１４１は、図３（ａ）に示される構成を有する一画素を複数配列することで形成される。また、撮像を行うため、それぞれの単位画素２００にはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタ３３が交互に配置され、四画素で一組の画素ブロック４０、４１、４２を配列することで、所謂ベイヤー配列が構成されている。なお図３（ｂ）において、Ｒ、Ｇ、Ｂのそれぞれの下に示される「１」または「２」は、光電変換部３０－１、３０－２のそれぞれを表す数値である。

図３（ｃ）は、撮像素子１４１の光学原理図であり、図３（ｂ）中のＡ－Ａ線で切断して得られた断面図の一部を示す。撮像素子１４１は、撮影レンズ１０１の予定結像面に配置されている。マイクロレンズ３１の作用により、光電変換部３０－１、３０－２はそれぞれ、撮影レンズ１０１の瞳（射出瞳）の異なる位置（互いに異なる瞳領域）を通過した一対の光束を受光するように構成されている。光電変換部３０－１は、主に、撮影レンズ１０１の瞳のうち図３（ｃ）中の右側位置を透過する光束を受光する。一方、光電変換部３０－２は、主に、撮影レンズ１０１の瞳の図３（ｃ）中の左側位置を透過する光束を受光する。

本実施形態の撮像処理を行う場合、同一画素において同一色のカラーフィルタが配置された二つの光電変換部の出力を加算することにより、画像信号を生成することが可能である。一方、本実施形態の焦点検出処理を行う場合、一画素ブロック内における光電変換部３０－１に対応する光電変換部からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を画素ブロック４０、４１、４２のように横方向に連続して取得することによりＡ像信号を生成することが可能である。同様に、一画素ブロック内における光電変換部３０－２に対応する光電変換部からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を横方向に連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号が生成される。

図５は、撮像素子１４１の全体構成を示す図である。画素領域ＰＡには、単位画素２００がｐ１１～ｐｋｎのように行列状（ｎ行×ｋ列）、即ち、マトリクス状に配置されている。ここで、行列方向に配列される単位画素２００の構成を、図６を用いて説明する。図６は、撮像素子の単位画素の回路構成を示す図である。

図６において、光電変換部３０－１（図６においてはＰＤ６０１ａ）および光電変換部３０－２（図６においてはＰＤ６０１ｂ）に入射した光信号が、ＰＤ６０１ａ，６０１ｂによって光電変換され、露光量に応じた電荷がＰＤ６０１ａ，６０１ｂに蓄積される。転送ゲート６０２ａ，６０２ｂのゲートに印加する信号ｔｘａ，ｔｘｂをそれぞれＨｉｇｈレベルにすることで、ＰＤ６０１ａ，６０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部６０３に転送される（電荷転送）。ＦＤ部６０３は、フローティングディフュージョンアンプ６０４（以下ＦＤアンプと表す）のゲートに接続されており、ＰＤ６０１ａ，６０１ｂから転送されてきた電荷量がＦＤアンプ６０４によって電圧量に変換される。

ＦＤ部６０３をリセットするためのＦＤリセットスイッチ６０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部６０３がリセットされる。また、ＰＤ６０１ａ，６０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート６０２ａ，６０２ｂ及びＦＤリセットスイッチ６０５の両方がＯＮ状態となり、ＦＤ部６０３経由でＰＤ６０１ａ，６０１ｂがリセットされる。画素選択スイッチ６０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ６０４によって電圧に変換された画素信号が単位画素２００の出力ｖｏｕｔに出力される。

図５に示すように、垂直走査回路５０１は、前述の単位画素２００の各スイッチを制御するｒｅｓ，ｔｘａ，ｔｘｂ，ｓｅｌといった駆動信号を各単位画素２００に供給する。これらの駆動信号ｒｅｓ，ｔｘａ，ｔｘｂ，ｓｅｌは、行毎において共通となっている。各単位画素２００の出力ｖｏｕｔは、列毎に垂直出力線５０２を介して列共通読出し回路５０３に接続されている。

ここで、列共通読出し回路５０３の構成を、図７を用いて説明する。

垂直出力線５０２は、単位画素２００の列毎に設けられ、１列分の単位画素２００の出力ｖｏｕｔが接続されている。垂直出力線５０２には電流源５０４が接続されており、電流源５０４と、垂直出力線５０２に接続された単位画素２００のＦＤアンプ６０４とによってソースフォロワ回路が構成される。

図７において、クランプ容量７０１はＣ１の容量を有しており、フィードバック容量７０２はＣ２の容量を有しており、演算増幅器７０３は、基準電源Ｖｒｅｆに接続された非反転入力端子を有している。スイッチ７０４はフィードバック容量７０２の両端をショートさせるためのものであり、スイッチ７０４は信号ｃｆｓによって制御される。

転送スイッチ７０５～７０８は、それぞれ単位画素２００から読み出される信号を各信号保持容量７０９～７１２に転送するためのものである。後述する読出し動作によって、第１のＳ信号保持容量７０９には、光電変換部３０－１から出力される画素信号Ｓａが記憶される。また、第２のＳ信号保持容量７１１には、光電変換部３０－１から出力される信号と光電変換部３０－２から出力される信号とを合成処理（加算）した信号であるａ／ｂ合成信号Ｓａｂが記憶される。また、第１のＮ信号保持容量７１０及び第２のＮ信号保持容量７１２には、単位画素２００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量７０９～７１２は、それぞれ列共通読出し回路５０３の出力ｖｓａ，ｖｎａ，ｖｓｂ，ｖｎｂに接続されている。

図５に示すように、列共通読出し回路５０３の出力ｖｓａ，ｖｎａには、それぞれ水平転送スイッチ５０５，５０６が接続されている。水平転送スイッチ５０５，５０６は、水平走査回路５１１の出力信号ｈａ＊（＊は列番号）によって制御される。信号ｈａ＊がＨｉｇｈレベルになることにより、第１のＳ信号保持容量７０９、第１のＮ信号保持容量７１０の信号がそれぞれ水平出力線５０９，５１０へ転送される。

また、列共通読出し回路５０３の出力ｖｓｂ，ｖｎｂには、それぞれ水平転送スイッチ５０７，５０８が接続されている。水平転送スイッチ５０７，５０８は、水平走査回路５１１の出力信号ｈｂ＊（＊は列番号）によって制御される。信号ｈｂ＊がＨｉｇｈレベルになることにより、第２のＳ信号保持容量７１１、第２のＮ信号保持容量７１２の信号がそれぞれ水平出力線５０９，５１０へ転送される。水平出力線５０９，５１０は差動増幅器５１４の入力に接続されており、差動増幅器５１４ではＳ信号とＮ信号の差分をとると同時に所定のゲインをかけ、最終的な出力信号を出力端子５１５へ出力する。

水平出力線リセットスイッチ５１２，５１３のゲートに印加する信号ｃｈｒｅｓをＨｉｇｈにすると、水平出力線リセットスイッチ５１２，５１３がＯＮとなり、各水平出力線５０９，５１０がリセット電圧Ｖｃｈｒｅｓにリセットされる。

以下、Ａ像信号の読み出し動作と、Ａ像信号とＢ像信号の合成信号であるＡＢ像信号の読出し動作とについて説明する。

図８は、撮像素子１０６の画素領域ＰＡと焦点検出を行うために画素領域ＰＡに設定されるＡＦ対象領域８０１との関係を示す図である。ＡＦ対象領域８０１は、メインＣＰＵ１５１によって位相差ＡＦ処理部１３４に対して設定される。ＡＦ対象領域８０１の設定は、画像データから検出された特定の被写体に応じて行われるが、図示しない操作部材をユーザーが操作して入力したデータに従ってＡＦ対象領域８０１が設定されるようにしてもよい。

前述したようにｋ列×ｎ行の画素で構成される画素領域ＰＡにおいて、点線で示すのがＡＦ対象領域８０１である。斜線部で示す領域Ｒｅｇｉｏｎ＿ｉに含まれる単位画素の行からは、即ち、Ｒｅｇｉｏｎ＿ｉの領域内の単位画素の行からは、本実施形態では、Ａ像信号及びＡＢ像信号が読み出され、画像生成及び焦点検出演算に使用される。領域Ｒｅｇｉｏｎ＿ｉ以外の領域である領域Ｒｅｇｉｏｎ＿ｃに含まれる単位画素の行からは、ＡＢ像信号のみが読み出され、焦点検出演算には使用されず画像生成のみに使用される。

次に、撮像素子１０６の読出し動作について図９ａ～図９ｃを用いて説明する。図９ａは、前述の領域Ｒｅｇｉｏｎ＿ｃの各行に対して行われる読出し動作のタイミングチャートである。

まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ７０４をＯＮすることにより、演算増幅器７０３をバッファ状態にする。次に、信号ｓｅｌをＨｉｇｈレベルにして単位画素の画素選択スイッチ６０６をＯＮにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ６０５をＯＦＦにし、ＦＤ部６０３のリセットを開放する。

続いて信号ｃｆｓをＬｏｗレベルに戻してスイッチ７０４をＯＦＦにした後、信号ｔｎａ，ｔｎｂをＨｉｇｈレベルにして、転送スイッチ７０６，７０８を介して第１のＮ信号保持容量７１０及び第２のＮ信号保持容量７１２にノイズ信号Ｎを記憶する。

次いで、信号ｔｎａ，ｔｎｂをＬｏｗにし、転送スイッチ７０６，７０８をＯＦＦにする。その後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ７０７をＯＮにすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート６０２ａと６０２ｂをＯＮにする。この動作により、光電変換部３０－１のＰＤ６０１ａに蓄積されていた電荷信号及び光電変換部３０－２のＰＤ６０１ｂに蓄積された電荷信号を合成した信号が、ＦＤアンプ６０４、画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。垂直出力線５０２の信号は、クランプ容量７０１の容量Ｃ１とフィードバック容量７０２の容量Ｃ２との容量比に応じたゲインで演算増幅器７０３により増幅され、転送スイッチ７０７を介して第２のＳ信号保持容量７１１へ記憶される（ａ／ｂ合成信号Ｓａｂ）。転送ゲート６０２ａ及び６０２ｂと、転送スイッチ７０７とを順次ＯＦＦにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ６０５をＯＮにし、ＦＤ部６０３をリセットする。

次に、水平走査回路５１１の出力ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ５０７，５０８がＯＮされる。これにより、第２のＳ信号保持容量７１１、第２のＮ信号保持容量７１２の信号が水平出力線５０９，５１０と差動増幅器５１４を介して出力端子５１５に出力される。水平走査回路５１１は、各列の選択信号ｈｂ１、ｈｂ２、・・・、ｈｂｋを順次Ｈｉｇｈにすることにより、１行分のａ／ｂ合成信号（ＡＢ像信号）を出力する。尚、信号ｈｂ１～ｈｂｋによって各列の信号が読み出される間には、信号ｃｈｒｅｓをＨｉｇｈレベルにすることで水平出力線リセットスイッチ５１２，５１３をＯＮし、一旦、水平出力線５０９，５１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。

以上が、領域Ｒｅｇｉｏｎ＿ｃにおける単位画素の各行の読出し動作である。これにより、ＡＢ像信号が読み出されることになる。

続いて、領域Ｒｅｇｉｏｎ＿ｉの各行の読出し動作について図９ｂ、図９ｃを用いて説明する。図９ｂは、Ａ像信号が読み出されるまでの動作のタイミングチャートである。信号ｃｆｓをＨｉｇｈレベルにすることから始まり、信号ｔｎａ，ｔｎｂをＬｏｗにして第１のＮ信号保持容量７１０及び第２のＮ信号保持容量７１２にＮ信号を記憶するまでの動作は、図９ａで説明した動作と同様である。

ノイズ信号Ｎの記憶が終了すると、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ７０５をＯＮにすると共に、信号ｔｘａをＨｉｇｈレベルにすることで転送ゲート６０２ａをＯＮする。このような動作によって、光電変換部３０－１のＰＤ６０１ａに蓄積されていた信号が、ＦＤアンプ６０４及び画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。垂直出力線５０２の信号は、演算増幅器７０３において、クランプ容量７０１の容量Ｃ１とフィードバック容量７０２の容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ７０５を介して第１のＳ信号保持容量７０９に記憶される（画素信号Ｓａ）。

次に、水平走査回路５１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ５０５，５０６がＯＮされる。これにより、第１のＳ信号保持容量７０９、第１のＮ信号保持容量７１０の信号が水平出力線５０９，５１０と差動増幅器５１４とを介して出力端子５１５に出力される。水平走査回路５１１は、各列の選択信号ｈａ１、ｈａ２、・・・、ｈａｋを順次Ｈｉｇｈにすることにより、１行分の光電変換部３０－１の信号（Ａ像信号）を出力する。

信号ｒｅｓはＬｏｗレベルのままで、信号ｓｅｌはＨｉｇｈレベルのままで、Ａ像信号の読出しを終了する。これにより、ＦＤ部６０３上のＡ像信号はリセットされず保持されることになる。

Ａ像信号の読出しが終了すると、続けて図９ｃに示すＡＢ像信号の読出し動作へと移る。信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ７０７をＯＮすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート６０２ａと６０２ｂとをＯＮにする。このような動作により、光電変換部３０－２のＰＤ６０２ｂに蓄積されていた信号がＦＤ部６０３に保持されていた光電変換部３０－１の信号と加算され、加算された信号がＦＤアンプ６０４、画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。これ以降の部分は、図９ａを用いて説明した領域Ｒｅｇｉｏｎ＿ｃの動作と同じである。

以上により、領域Ｒｅｇｉｏｎ＿ｉにおける各行の読出し動作が終了する。これにより、Ａ像信号とＡＢ像信号が順次読み出されることになる。

撮像装置の構成の説明に戻る。位相差ＡＦ処理部１３４は、被写体からの光を分割して得られた像の分割方向における像ずれ量を検出（算出）する。また、位相差ＡＦ処理部１３４は、検出した像ずれ量に基づいて撮影レンズ１０１のピント方向のずれ量（デフォーカス量）を算出する。デフォーカス量は、像ずれ量に係数（換算係数）を掛けることにより算出される。なお、像ずれ量算出処理、デフォーカス量算出処理の各動作は、メインＣＰＵ１５１の指令に基づいて行われる。また、これらの動作の少なくとも一部をメインＣＰＵ１５１またはフォーカス制御部１３３で実行するように構成してもよい。

位相差ＡＦ処理部１３４は、算出されたデフォーカス量をフォーカス制御部１３３へ出力する。フォーカス制御部１３３は、撮影レンズ１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。

ここで本実施形態における位相差ＡＦ処理について説明する。図２（ａ）は、像信号の説明図であり、縦軸は像信号のレベル、横軸は画素位置をそれぞれ示している。生成した一対の位相差検出用信号の像ずれ量Ｘは、撮影レンズ１０１の結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。撮影レンズ１０１が合焦状態の場合、二つの像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向の像ずれ量が生じる。また像ずれ量は、撮影レンズ１０１により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。

この像ずれ量Ｘを算出するため、相関演算を行う。相関演算では、Ａ像信号およびＢ像信号の画素をシフトさせながら相関量が演算される。図２（ｂ）は、像信号の画素をシフトさせていった時の相関量（以下、相関量波形という）を示す図である。図２（ｂ）において、横軸は画素のシフト量、縦軸はその時のＡ像信号とＢ像信号の相関量それぞれ示している。相関量が最大になる位置同士の差が像ずれ量として算出される。相関量を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得しても良い。また、これらの値の差分を取得しても良い。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高い時である。なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さい時が相関の高い時となる。ここでＳ／Ｎの観点について図２（ｃ）を用いて説明する。先程の図２（ａ）はノイズ成分のほぼない理想的な像信号を例にしているが、実際にはノイズ成分によって図２（ｃ）のように像信号の形は崩れてくる。このように像の形が崩れることで、Ａ像信号とＢ像信号の相関量に悪影響を与え、結果的に位相差ＡＦの結果として、正しくピントが合わせられない場合も出てくる。そこで後述する画像信号を時系列に加算するフレーム間加算などの手段を講じてＳ／Ｎを改善させる必要がある。

撮像装置の構成の説明に戻る。画像処理部１５２は、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。このため操作者は、リアルタイムで撮影画像を観察することができる。操作部１５６（操作スイッチ）は、操作者が撮像装置１００への指示を行うために用いられる。操作部１５６から入力された操作指示信号は、バス１６０を介してメインＣＰＵ１５１に送られる。また画像処理部１５２は画像データから特定の被写体を検出する検出手段としても機能する。詳細は後述する。

バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。操作者の操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。メインＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

ここで前述した画像処理部１５２による特定の被写体検出機能について説明する。画像処理部１５２は、画像認識により、人物や動物の顔領域を検出する顔検出機能や、顔の中の瞳や鼻や口などの器官（部位）を検出する機能や、被写体の体全体（物体全体）を検出する体全体検出機能等を備えている。そして、顔検出や器官検出や体全体検出の結果から顔や器官や体全体の位置の算出処理などを行う。

画像処理部１５２での顏検出や体全体検出（全身の検出）は、顏や体全体の輪郭部分の形状を特徴データとして画像処理部１５２内部に保存しておき、検出する画像内に特徴データに合致する画像領域の特定をパターンマッチング処理により行う。顔検出は、体全体検出により求められた領域に対して、領域内にあらかじめ画像処理部１５２内部に保存しておいた顔の形状を表す特徴データに合致する画像領域の特定をパターンマッチング処理により行う。

また、画像処理部１５２内部に保存してある特徴データとの一致度を算出し、一致度が所定以上の領域を顔や体全体の領域とする。

また、顔や体全体の検出機会を増やし、検出精度を高めるために、画像処理部１５２内部に保存しておいた複数の特徴データを使用してパターンマッチング処理を行う。なお、顔や体全体の形状の一部だけの特徴データを使用してパターンマッチング処理を行っても良い。また、顔や体全体の大きさによらず検出するために特徴データの大きさを変化させてパターンマッチング処理を行っても良い。

器官検出は、顔検出により求められた領域に対して領域内にあらかじめ画像処理部１５２内部に保存しておいた器官の形状を表す特徴データに合致する画像領域の特定をパターンマッチング処理により行う。

他の検出方法として深層学習による検出を行うこともできる。画像処理部１５２は複数の積和演算器を有し、深層学習を行う処理を行うプロセッサとしても用いられる。

画像処理部１５２は、フラッシュメモリ１５５が記憶する複数の学習モデルのうち、ＣＰＵ１５１が選択した１つの学習モデルを用いて、画像データに対して検出処理を適用する。

また、画像処理部１５２は、１つの画像データに対してフラッシュメモリ１５５が記憶する学習モデルを切り替えて複数種類の検出処理をしても良い。

例えば、フラッシュメモリ１５５は、例えば犬と猫の瞳、顔、体全体等の部位を検出できる学習モデルと、鳥の瞳、顔、体全体等の部位を検出できる学習モデルと、電車と車と飛行機の乗り物を検出できる学習モデルの３つを記憶する。

ＣＰＵ１５１は３つのうちの１つの学習モデルを用いて画像処理部１５２で学習モデルに基づいて画像の検出処理を行う。

ＣＰＵ１５１が１つの画像に対して３つの学習モデルを用いて３回検出を行うことで、犬と猫の瞳、顔、体全体等の部位、鳥の瞳、顔、体全体等の部位、電車と車と飛行機の乗り物の検出を行うことが可能となる。なお、被写体が電車や車や飛行機の場合には、車のドライバー，電車の先頭車両，飛行機のコックピットを局所として検出することができる。

なお、本実施形態では検出対象の種別として人物、動物（犬、猫、鳥）、乗り物（電車、車、飛行機）を挙げた。そして、人物の瞳、顔、体全体等の部位、犬と猫の瞳、顔、体全体等の部位、鳥の瞳、顔、体全体等の部位、乗り物の全体と局所の検出を例示したが、検出する被写体はこれらに限られない。例えば、人物の頭部や胴体の部位を検出してもよい。

また、被写体を検出できれば本実施形態で示した方法とは別の他の方法を用いても構わない。

上述の方法により、画像処理部１５２によって、同一被写体の全体を捉えた領域あるいは広域な部位を捉えた領域と、詳細な部位あるいは部分的な部位を捉えた領域を検出することができる。例えば、人物の場合、瞳領域が部分的な部位を捉えた領域であるのに対して、同一被写体のより広域な部位を捉えた領域として順に、顔、体全体の部位を捉えた領域が挙げられる。

［画像データを読み出す領域を制限する処理］
ここで前述した撮像素子１４１から位相差ＡＦ処理のために必要な画像データを読み出す領域を制限する処理について説明する。前述した通り、撮像信号処理１４２よりＡＢ像信号とＡ像信号が出力される。このとき、ＡＢ像信号は画像記録等で全画角必要だが、Ａ像信号は位相差ＡＦにのみ必要なもので、このＡ像信号を出力する領域を制限することで、データ転送量を削減し、高速なフレームレートでの撮影を可能とする。またこの制限された領域を、前記被写体検出によって検出された位置に応じて移動させることで、被写体が画角内のいかなる位置に移動しても位相差ＡＦ処理が可能なように制御する。

［画像処理部１５２によるフレーム加算処理］
次に前述した画像処理部１５２によるフレーム加算処理について詳細に説明する。画像処理部１５２は前述の通り、位相差ＡＦ処理用にＲＡＭ１５４に格納されたＡＢ像信号とＡ像信号からＢ像信号を生成する。そして、Ａ像信号とＢ像信号を複数フレーム分保持しておき、時系列に同信号を加算したうえで、位相差ＡＦ処理に用いる。このことにより、各信号でのノイズ成分の影響を低減して、より精度のよいデフォーカス演算ができるようになる。

一方で前述の通り、Ａ像信号の読み出し領域を制限している場合に、被写体の切り替えにより読み出し領域を連続性なく切り替えた場合に、その切り替え前後の画像信号を加算してしまうと画として破綻して、正しくＡＦ処理ができなくなってしまう。そのために、そのような場合にはフレーム間加算を一度中断する必要がある。

ただしフレーム間加算を中断すると前述の通り、Ｓ／Ｎが悪化してしまい、ＡＦ精度が低下してしまう。そこで、切り替え後の被写体の検出結果から、例えば体全体が検出できており、切り出し領域内に含まれている場合は、その領域に対してＡＦ処理を行い、切り替わり時にＡＦ精度が低下することを防ぐ。

［フレーム間加算と被写体の切り替わり処理］
このＡＦ領域を制限している中で、フレーム間加算と被写体の切り替わりとがどのように処理されるのかを具体的に図４のフローチャートで詳細に説明する。なお、図４の各種動作は、特に明示しない限り、メインＣＰＵ１５１と画像処理部１５２が行う。また、画像処理部１５２は、被写体検出時の検出部位の優先度に基づいて、現在のＡＦ制限領域内に包含されている部位を優先する既存部位優先モードと、改めて切り替えた被写体の最優先部位を優先する詳細部位優先モードを有する。Ｓ４０１で主被写体に変化があったか判定する。変化があった場合はＳ４０２に進み、ない場合はＳ４０７に進む。変化があった場合、Ｓ４０２で切り替え後の主被写体の最優先な検出部位がＡＦ制限領域内にあるかを判定する。

ここで被写体におけるＡＦを行う対象とする検出部位の優先度について説明する。

人物である場合、瞳が検出できている場合は瞳を最優先にする。次に顔、体全体とする。これは一概に顔といっても鼻や目などで凹凸があり、微妙にピント差があり瞳にしっかりピントを合わせる方が顔の印象としてよいためである。次に瞳が検出できない場合は顔、顔も検出できない場合は体全体というように優先度に応じてＡＦを合わせる対象を決める。同様に、例えば、車である場合、局所である車のドライバーが検出できている場合は車のドライバーを最優先にする。次に車体全体とする。次に車のドライバーが検出できない場合は車体全体というように優先度に応じてＡＦを合わせる対象を決める。

フローチャートの説明に戻る。Ｓ４０２で切り替え前後の各被写体の最優先な検出部位が同じＡＦ制限領域内にあるか判定する。同じＡＦ制限領域内にない場合はＳ４０３に進み、同じＡＦ制限領域内にある場合はＳ４０６に進む。Ｓ４０３では切り替え被写体の最優先な検出部位が同じＡＦ制限領域内にないため、より優先度が低いが対象領域の広い検出部位が現在のＡＦ制限領域内に閾値以上含まれているかを判定する。閾値以上含まれている場合は部位がＡＦ制限領域内に存在するとしてＳ４０４に進み、含まれていない場合は存在しないとしてＳ４０５に進む。Ｓ４０４では、最優先の検出部位ではないが、別の検出部位であれば同じＡＦ制限領域内にあり、その部位に対してＡＦ処理をするようにすればフレーム間加算を継続できる。そのため、検出部位の優先度を変更して、現在のＡＦ制限領域内に包含されている部位を優先する既存部位優先モードに設定する。一方で、Ｓ４０３でその他の検出部位が検出されていない、または検出されているが閾値以上含まれていない場合はＡＦ制限領域を変える必要がある。そのためフレーム間加算の継続ができないため、Ｓ４０５においてフレーム間加算をリセットする。そしてＳ４０６に進み、改めて切り替えた被写体の最優先部位を優先する詳細部位優先モードを設定する。

Ｓ４０１に戻って、主被写体に変化がない場合に、Ｓ４０７に進み、既存部位優先モードかを判定する。既存部位優先モードであった場合はＳ４０８に進み、既存部位優先モードでない場合、つまり詳細部位優先モードになっている場合そのまま本フローチャートを終了する。Ｓ４０８で、主被写体に変化がなかったにも関わらず、既存部位優先モードであるということは、以前のフレームで主被写体の切り替えが発生して、前述の通り本来の優先度において低い検出部位をＡＦ処理対象としてフレーム間加算を継続している状態を示す。そこで既存部位継続判定処理を行う。この処理内で既存部位優先モードを継続するか、詳細部位優先モードに切り替えるかを判定する。

ここで既存部位継続判定処理について詳細に説明する。この処理では、既存部位優先モードは、フレーム間加算を継続してＡＦ精度を保ちつつ、被写体の広域な検出部位の一部にピントを合わせにいっている状態である。ただ本来ならより詳細な検出部位にピントを合わせにいくことが望まれる。そこで、広域な検出部位を用いて被写体にピントを合わせた後で、そこから詳細部位が含まれるようＡＦ制限領域を切り替える。このＡＦ制限領域の切り替えによってＡＦ精度が低下している間は、すでにある程度ピントが合っている状態なのでＡＦ精度が安定するまでピント位置を維持する（フォーカスレンズ駆動を停止させる）。それにより、ＡＦ精度低下によって誤ったピント位置にもっていくことなく、ＡＦ精度が安定するようになってから詳細に検出部位、例えば瞳といったより細かいピントの追い込みをすることができる。これによりユーザにとってより所望な撮影画像にすることができる。

次に図１０を用いて具体的なシーンを用いて説明していく。図１０（ａ）はある撮影シーンの撮像装置の表示部上の表示画像を示しており、図１０（ｂ）はその撮影シーンから被写体の切替が起きた際の各シーンでのＡＦ制限領域とＡＦ対象領域を示している。

まず図１０（ａ）の表示画像５００のようなシーンが撮影されているとする。このとき表示画像５００には人物５１０と人物５２０の二人が写っており、人物５２０が主被写体として設定されているものとする。また人物５１０と５２０は、瞳と顔、体全体が検出されており、人物５１０の場合、破線枠５１１が瞳領域、破線枠５１２が顔領域、破線枠５１３が体全体の領域を示している。同様に人物５２０の瞳、顔、体全体の領域を破線枠５２１、５２２、５２３で示している。このとき、ＡＦ制限領域５０１は、主被写体である人物５２０の、最優先検出部位である瞳領域を中心とした領域が選択される。

次に図１０（ｂ）でＡＦ制限領域とＡＦ対象領域について説明していく。まず図１０（ａ）の表示画像５００のシーンにおいては、前述の通りＡＦ制限領域５０１は人物５２０の瞳領域を中心に配置されており、ＡＦ対象領域５３０も瞳領域を対象とする。

ここでユーザが主被写体を人物５１０に変更したとする。このとき、ＡＦ制限領域内５０２においては人物５１０の瞳領域５１１は含まれていない、一方で体全体領域５１３はＡＦ制限領域５０２において半分以上含まれている。そこでこの体全体をＡＦ対象領域５３１として用いることでＡＦ制限領域の切り替えを行わず、フレーム間加算を継続させながらＡＦ処理を行う。なお、フレーム間加算においては複数フレーム分保持してあるＡＦ制限領域のＡ像信号とＢ像信号からＡＦ対象領域５３１内のＡ像信号とＢ像信号を抜き出し、フレーム間加算して相関演算を行い、像ズレ量を求め、デフォーカス量を算出する。

そして人物５１０の体全体を使ってピントを合わせることができると、人物５１０の瞳領域に合うようにＡＦ制限領域５０３へと移動させる。このとき、ＡＦ精度が安定する（焦点検出結果の信頼度が閾値を複数回超える）まではピント（フォーカスレンズ位置）を固定し、安定したところでＡＦ対象領域５３２での瞳の領域の焦点検出結果を用いてピントの追い込みを行う。

［本実施形態による効果］
以上のように、本実施形態ではデータ転送量を抑制しつつ、被写体切り替わり時も素早く、精度よくピントを合わせることができる。

［実施形態２］
次に、本発明の実施形態２における被写体切り替わり時のＡＦ対象領域について説明する。

実施形態１では、被写体の切り替わり時に同一被写体における別の検出部位が現状のＡＦ制限領域内に一定以上含まれていない場合はＡＦ制限領域を切り替えて、詳細部位を優先するようにした。本実施形態では、ＡＦ制限領域を切り替えた直後に、ＡＦ制限領域内でより広い検出部位を使ってＡＦ処理を行う方法を説明する。

図１１を用いて説明する。図１１（ａ）はある撮影シーンの撮像装置の表示部上の表示画像を示しており、図１１（ｂ）はその撮影シーンから被写体の切替が起きた際の各シーンでのＡＦ制限領域とＡＦ対象領域を示している。

まず図１１（ａ）の表示画像６００のようなシーンが撮影されているとする。このとき表示画像６００には人物６１０と人物６２０の二人が写っており、人物６２０が主被写体として設定されているものとする。また人物６２０は、瞳と顔、体全体が検出されており、破線枠６２１が瞳領域、破線枠６２２が顔領域、破線枠６２３が体全体の領域を示している。一方人物６１０は人物６２０の体部分が重なっており、破線枠６１１、６２２で示した通り瞳と顔は検出できているものの、体全体は検出できていない。このとき、ＡＦ制限領域６０１は、主被写体である人物６２０の、最優先検出部位である瞳領域を中心とした領域が選択される。

次に図１１（ｂ）でＡＦ制限領域とＡＦ対象領域について説明していく。まず図１１（ａ）の表示画像６００のシーンにおいては、前述の通りＡＦ制限領域６０２は人物６２０の瞳領域を中心に配置されており、ＡＦ対象領域６３２も瞳領域を対象とする。

ここでユーザの指示により主被写体を人物６１０に変更したとする。このとき、ＡＦ制限領域内６０２においては人物６１０のいずれの検出領域も含まれていない。そのためＡＦ制限領域の切り替えを行うしかなく、フレーム間加算をリセットしてＡＦ制限領域を切り替える。このとき、ＡＦ制限領域６０３のように人物６１０の瞳中心でなく、顔領域を中心とした領域に切り替え、さらにＡＦ対象領域６３３に示すように瞳領域ではなく、顔領域を設定する。これは、フレーム間加算がリセットされてＳ／Ｎが悪化してしまうため、ＡＦ対象領域を広く確保してＡＦ対象領域内の画素数を増やすことでＳ／Ｎを確保するためである。その後、人物６１０の顔領域を使ってピントを合わせることができたら、瞳の領域の焦点検出結果を用いてピントの追い込みを行うようにしてもよい。

［本実施形態による効果］
以上のように、本実施形態ではデータ転送量を抑制しつつ、被写体の切り替わり時も検出状況に応じてＡＦ対象領域を適切に設定することで素早く、精度よくピントを合わせることができる。

なお、メインＣＰＵ１５１が行うものとして説明した上述の各種の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、領域Ｒｅｇｉｏｎ＿ｉにおいては像信号Ａと像信号ＡＢを読み出すものとして説明した。しかし、像信号Ａと像信号Ｂを読み出すという構成も考えられる。この場合、領域Ｒｅｇｉｏｎ＿ｃに対する読出し走査は前述と同様である。領域Ｒｅｇｉｏｎ＿ｉに対する読出し走査時には、まずＰＤ６０１ａ（像信号Ａ）の読出しが行われ、続いて、次にＰＤ６０１ｂ（像信号Ｂ）の読出しが行われる。リセット走査についても同様である。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

１００ 撮像装置
１０１ 撮像レンズ
１０２ 固定１群レンズ
１０３ 絞り
１０４ 絞りモータ
１０５ 絞り制御部
１１１ ズームレンズ
１１２ ズームモータ
１１３ ズーム制御部
１２１ 固定３群レンズ
１３１ フォーカスレンズ
１３２ フォーカスモータ
１３３ フォーカス制御部
１３４ 位相差ＡＦ処理部
１４１ 撮像素子
１４２ 撮像信号処理部
１４３ 撮像制御部
１５０ モニタディスプレイ
１５１ メインＣＰＵ
１５２ 画像処理部
１５３ 画像圧縮解凍部
１５４ ＲＡＭ
１５５ フラッシュメモリ
１５６ 操作部
１５７ 画像記録媒体
１５８ 電源管理部
１５９ バッテリ
１６０ バス

Claims (21)

1. 行列方向に配列された複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応して行列方向に複数の単位画素が配列された画素領域とを有する撮像手段であって、各々の前記単位画素は、第１の光電変換部と第２の光電変換部とを含み、前記第１の光電変換部と前記第２の光電変換部とでそれぞれ発生した電荷に対応する信号に対して合成処理を行い、前記合成処理が行われた信号に対して読み出しを行うモードである第１のモードと、前記第１の光電変換部で発生した電荷に対応する信号に対して前記合成処理を行うことなく読み出しを行うモードである第２のモードとを少なくとも有する撮像手段と、
   前記画素領域のうちの第１の領域に位置する第１の行に対しては、前記第１のモードでの前記読み出しを行い、前記画素領域のうちの前記第１の領域とは異なる第２の領域に位置する第２の行に対しては、前記第２のモードでの前記読み出しと前記第２のモードとは異なるモードでの読み出しとを行う制御手段と、
   特定の種別の特定の被写体の部位を対象として検出処理を実行する検出手段と、を有し、
   前記制御手段は、主被写体が切り替えられた場合に、当該切り替えられた主被写体の部位が前記第２の領域に存在するか否かに応じて、前記画素領域のうちの前記第２の領域を変更するか否かを判定することを特徴とする撮像装置。
2. 前記主被写体の切り替えは、ユーザの指示に応じて行われることを特徴とする請求項１に記載の撮像装置。
3. 前記第２のモードとは異なる前記モードは、前記第１のモードであることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記複数の単位画素のうちの前記第２の領域内に位置する第１の単位画素から前記第１のモードで読み出される第１の信号と、前記第１の単位画素から前記第２のモードで読み出される第２の信号とに基づいて、焦点検出を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記第１の信号から前記第２の信号を差し引いて第３の信号を取得し、予め決められたフレームの前記第２の信号および前記第３の信号に対して、ぞれぞれフレーム間加算を行って、第２の加算信号および第３の加算信号を出力し、前記第２の加算信号および前記第３の加算信号を用いて、焦点検出を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記複数の単位画素の各々から前記第１のモードでそれぞれ読み出される信号に基づいて、被写体の画像を生成することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像手段は、前記第２の光電変換部で発生した前記電荷に対する前記信号に対して前記合成処理を行うことなく読み出しを行うモードである第３のモードを更に有し、
   前記第２のモードとは異なる前記モードは、前記第３のモードであることを特徴とする請求項１に記載の撮像装置。
8. 前記制御手段は、前記複数の単位画素のうちの前記第２の領域内に位置する第１の単位画素から前記第２のモードで読み出される第２の信号と、前記第１の単位画素から前記第３のモードで読み出される第４の信号とに基づいて、焦点検出を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、予め決められたフレームの前記第２の信号および前記第４の信号に対して、ぞれぞれフレーム間加算を行って、第２の加算信号および第４の加算信号を出力し、前記第２の加算信号および前記第４の加算信号を用いて、焦点検出を行うことを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記第２の領域内に位置する前記複数の単位画素の各々から前記第２のモードでそれぞれ読み出される信号と、前記第２の領域内に位置する前記複数の単位画素の各々から前記第３のモードでそれぞれ読み出される信号とをそれぞれ合成処理することにより得られる信号と、前記第１の領域内に位置する前記複数の単位画素の各々から前記第１のモードでそれぞれ読み出される信号とに基づいて、被写体の画像を生成することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 前記検出手段は、特定の被写体の部位として、同一被写体の広域な部位と部分的な部位を検出でき、
    前記制御手段は、前記焦点検出を行う対象領域として前記部分的な部位を優先させて焦点検出を行うことを特徴とする請求項４、５、８、９のいずれか１項に記載の撮像装置。
12. 前記検出手段の検出対象の種別が人物の場合、特定の部位は、瞳、顔、頭部、胴体、全身の少なくとも２つであることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記検出手段の検出対象の種別が動物の場合、特定の部位は、瞳、顔、全身の少なくとも２つであることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
14. 前記検出手段の検出対象の種別が乗り物の場合、特定の部位は、局所と全体であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
15. 前記制御手段は、前記被写体が切り替えられた際に、前記部分的な部位および前記広域な部位が前記第２の領域内にない場合は前記画素領域のうちの前記第２の領域を変更することを特徴とする請求項１１に記載の撮像装置。
16. 前記制御手段は、前記第２の領域を変更する際、前記検出手段により前記部分的な部位と前記広域な部位が検出されていれば、前記広域な部位を焦点検出することを特徴とする請求項１５に記載の撮像装置。
17. 前記制御手段は、前記被写体が切り替えられた際に、前記部分的な部位および前記広域な部位が前記第２の領域内にない場合はフレーム間加算をリセットすることを特徴とする請求項１１に記載の撮像装置。
18. 前記制御手段は、前記被写体が切り替えられた際に、前記第２の領域内に前記部分的な部位がなく、前記広域な部位がある場合はフレーム間加算を行うことを特徴とする請求項１１に記載の撮像装置。
19. 前記制御手段は、前記被写体が切り替えられた際に、前記第２の領域内に前記部分的な部位がなく、前記広域な部位がある場合は、前記広域な部位を捉えた領域における焦点検出結果に基づいて焦点調節を行った後に、前記部分的な部位を捉えた領域が含まれるように前記第２の領域を切り替えることを特徴とする請求項１７に記載の撮像装置。
20. 前記制御手段は、前記第２の領域内に前記部分的な部位の領域や前記広域な部位の領域が閾値以上含まれている場合に、前記第２の領域内に部位があると判定することを特徴とする請求項１５乃至１９のいずれか１項に記載の撮像装置。
21. 行列方向に配列された複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応して行列方向に複数の単位画素が配列された画素領域とを有する撮像手段であって、各々の前記単位画素は、第１の光電変換部と第２の光電変換部とを含み、前記撮像手段は、前記第１の光電変換部と前記第２の光電変換部とでそれぞれ発生した電荷に対応する信号に対して合成処理を行い、前記合成処理が行われた信号に対して読み出しを行うモードである第１のモードと、前記第１の光電変換部で発生した電荷に対応する信号に対して前記合成処理を行うことなく読み出しを行うモードである第２のモードとを少なくともとり得る撮像手段を有する撮像装置の制御方法であって、
    前記画素領域のうちの第１の領域に位置する第１の行に対して、前記第１のモードでの前記読み出しを行うステップと、
    前記画素領域のうちの前記第１の領域とは異なる第２の領域に位置する第２の行に対して、前記第２のモードでの前記読み出しと、前記第２のモードとは異なるモードでの読み出しを行うステップと、
    特定の種別の特定の被写体の部位を対象として検出処理を実行する被写体検出ステップとを含み、
    主被写体が切り替えられた場合に、当該切り替えられた主被写体の部位が前記第２の領域に存在するか否かに応じて、前記画素領域のうちの前記第２の領域を変更するか否かを判定することを特徴とする撮像装置の制御方法。

Images