JP2015148676A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】被写体の形状や模様に応じて適切なＡＦ処理が実現できる撮像装置を提供する。【解決手段】フォーカスレンズを有し被写体像を撮像素子に結像させる光学系と、線順次走査方式による読み出し駆動とそれとは直角を成す方向に走査する方式による読み出し駆動との複数の読み出し駆動で画像信号を読み出すことが可能な撮像素子と、撮像素子から読み出される主走査画像信号を元に被写体を判別する被写体判別部と、撮像素子から読み出される副走査画像信号を元にＡＦ評価値を算出し駆動情報を光学系駆動部に供給するＡＦ処理部と、被写体判別部での判別結果を元に決定した走査方式による読み出し駆動で主走査画像信号の蓄積期間中に副走査画像信号の読み出しを行わせる駆動情報を撮像素子駆動部に供給する制御部とを備え、撮像素子上の任意の領域にて、複数の読み出し駆動で画像信号を読み出し可能にする。【選択図】図１

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

コンパクトデジタルカメラや一眼レフレックスカメラやビデオカメラ等の撮像装置において、ＡＦ（オートフォーカス）制御を行う際、被写体の高コントラスト領域に着目して合焦状態の検出や被写体までの距離の算出を行う。被写体の形状や模様に応じた適切なＡＦ処理を行えることが好ましいが、処理負荷やリソースの観点から容易に実現することができない。例えば、横縞の被写体に対して縦方向のフィルタ処理でコントラスト値などを算出する場合、通常、撮像装置が備える撮像素子は線順次走査駆動で画素部の信号を読み出しているため、フィルタ処理部にラインメモリを複数備えなければならない。

そこで、撮像素子の一部の画素部に対して線順次走査駆動と直交する方向の走査駆動の機構を設け、線順次走査駆動と直交する方向の走査駆動との２種類の画像信号をそれぞれ出力する。このようにして、フィルタ処理部のリソースの節約や、撮像素子からの読み出し速度の向上を実現する技術が知られている（特許文献１参照）。

特開２０１２−１２４７９１号公報

しかしながら、前述した構成では、撮像素子が有する画素部のうちの所定の画素部のみしか線順次走査駆動とは直角を成す方向の走査駆動とで画像信号を読み出すことができないという問題がある。本発明は、撮像素子に配置された複数の画素部の任意の領域を線順次走査駆動とそれとは直角を成す方向の走査駆動とで画像信号を読み出し可能にし、被写体の形状や模様に応じて適切なオートフォーカス処理が実現できる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、２次元状に配置された複数の画素部を有し、線順次走査方式による読み出し駆動と前記線順次走査方式とは直角を成す方向に走査する方式による読み出し駆動との複数の読み出し駆動で、前記複数の画素部から画像信号を読み出すことが可能な撮像素子と、第１の駆動情報を元に前記撮像素子の駆動を制御する第１の駆動手段と、フォーカスレンズを有し、被写体像を前記撮像素子に結像させる光学系と、第２の駆動情報を元に前記光学系の駆動を制御する第２の駆動手段と、前記撮像素子から読み出される第１の画像信号を元に被写体を判別する判別手段と、前記撮像素子から読み出される第２の画像信号を元にオートフォーカス制御に係る評価情報を生成し、生成した前記評価情報を元に前記第２の駆動情報を前記第２の駆動手段に供給する処理手段と、前記複数の読み出し駆動のうちの前記判別手段での判別結果を元に決定した走査方式による読み出し駆動で、前記撮像素子が有する複数の画素部のうちの少なくとも一部の画素部からの前記第２の画像信号の読み出しを行うとともに、前記第１の画像信号の蓄積期間中に前記第２の画像信号を取得させる、前記第１の駆動情報を前記第１の駆動手段に供給する制御手段とを備えることを特徴とする。

本発明によれば、撮像素子に配置された複数の画素部の任意の領域を線順次走査駆動とそれとは直角を成す方向の走査駆動とで画像信号を読み出すことが可能になり、被写体の形状や模様に応じた適切なオートフォーカス処理が実現できる。

本発明の実施形態における撮像装置の構成例を示す図である。 本実施形態における撮像素子の構成例を示す図である。 本実施形態における撮像素子の画素部の構成例を示す図である。 本実施形態における撮像装置の動作例を示すフローチャートである。 本実施形態における撮像素子の駆動例を示すタイミングチャートである。 本実施形態における画像信号分離部の構成例を示す図である。 本実施形態における信号レベルの補正を説明するための図である。 本実施形態における画像信号分離部の構成例を示す図である。 焦点検出用画素対を有する撮像素子の構成を示す模式図である。 焦点検出用画素対の出力信号レベルの例を示す模式図である。 複数の画素部でマイクロレンズを共有する構成の撮像素子を示す模式図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態における撮像装置の構成例を示すブロック図である。光学系１０１は、フォーカスレンズを含む複数枚のレンズ及びミラー、絞り機構及びフォーカスやズームのための駆動機構を有し、不図示の被写体から放射された光（被写体像）を撮像素子１０７上に結像させる。第２の駆動手段としての光学系駆動部１０２は、光学系１０１の駆動を制御する。光学系駆動部１０２は、ＡＦ（オートフォーカス）処理部１０９から送られてくる光学系駆動情報（第２の駆動情報）を元に、光学系１０１を駆動させるための光学系駆動信号を送信する。

積層センサ部１０３は、同一のパッケージ内に構成した、イメージセンサ部１０５、及び画像処理部としての第１の画像処理ロジック部１０６を有する。イメージセンサ部１０５と第１の画像処理ロジック部１０６とは、１つのパッケージ内に積層して配置され、互いに電気的に接続されている。

イメージセンサ部１０５は、撮像素子１０７及び撮像素子駆動部１１０を有する。撮像素子１０７は、２次元状に配置された複数の画素部を有し、光学系１０１を通った光を電気信号に変換して画像信号として出力する。第１の駆動手段としての撮像素子駆動部１１０は、撮像素子１０７の駆動を制御する。撮像素子駆動部１１０は、制御部１１３から送られてくる撮像素子駆動情報（第１の駆動情報）を元に、撮像素子１０７を駆動するための撮像素子駆動信号を送信する。

第１の画像処理ロジック部１０６は、画像信号分離部１０８及びＡＦ（オートフォーカス）処理部１０９を有する。画像信号分離部１０８は、撮像素子１０７から出力される画像信号を、第２の画像処理ロジック部１０４及びＡＦ処理部１０９に対して分配する。画像信号分離部１０８は、制御部１１３から送られてくる撮像素子駆動情報に従って画像信号を分配する。ＡＦ処理部１０９は、画像信号分離部１０８から送られてくる画像信号を元に、光学系１０１が有する光学部品を駆動させるための光学系駆動情報を算出して出力する。

第２の画像処理ロジック部１０４は、現像処理部１１１、被写体判別部１１２、及び制御部１１３を有する。現像処理部１１１は、画像信号分離部１０８から送られてくる画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。被写体判別部１１２は、画像信号分離部１０８から送られてくる画像信号に対して、予め記録されている顔テンプレート画像とのマッチングを行い、相関度を算出して被写体の顔を判別し被写体判別結果として出力する。

制御部１１３は、撮像装置全体の制御を司る。制御部１１３は、配置されている第２の画像処理ロジック部１０４内の機能部だけでなく、光学系１０１や積層センサ部１０３に対する制御も行う。外部指示部１１４は、撮像装置のユーザからの指示を電気信号に変換し、制御部１１３へ指示情報として送信する。姿勢検知部１１５は、撮像装置の傾きを電気信号に変換し、制御部１１３へ姿勢検知情報として送信する。

次に、本実施形態における撮像素子１０７について説明する。本実施形態における撮像素子１０７は、ＸＹアドレス型の走査方法を採る、例えばＣＭＯＳイメージセンサである。また、本実施形態における撮像素子１０７は、撮像素子上の任意の領域にて、線順次走査方式による読み出し駆動と線順次走査方式とは直角を成す方向に走査する方式による読み出し駆動との複数の読み出し駆動で画像信号を読み出すことが可能となっている。図２は、本実施形態における撮像素子１０７の構成例を示す図である。撮像素子１０７は、所定のアスペクト比で２次元状に配置された複数の画素部２０１を有する。

なお、図２においては、説明を分かり易くするために６行×７列分の画素部２０１を示しているが、実際には通常、数十万〜数千万の画素部２０１が配置されている。また、画素部２０１毎にＲ（赤）、Ｇ（緑）、Ｂ（青）の何れかの色相のカラーフィルタにより覆われていてもよく、例えば、Ｒ、Ｇ、Ｂのカラーフィルタがベイヤー配列に並べられるようにしてもよい。

図３は、画素部２０１の構成例を示す図である。光電変換部３０１は、例えばフォトダイオードであり、光を電荷に変換する。転送スイッチ３０２は、光電変換部３０１で発生した電荷を転送パルスｔｘによってフローティングデフュージョン（ＦＤ）部３０３に転送する。フローティングデフュージョン（ＦＤ）部３０３は、光電変換部３０１で発生した電荷を一時的に蓄積しておく蓄積領域となる。リセットスイッチ３０４は、ＦＤ部３０３に蓄積された電荷をリセットパルスｒｅｓによって除去する。転送スイッチ３０２及びリセットスイッチ３０４は、ゲート電極が行及び列方向にそれぞれ転送パルスｔｘ、リセットパルスｒｅｓを供給する信号線にそれぞれに接続され、不図示の走査回路によって選択走査される。

増幅ＭＯＳアンプ３０５は、ソースフォロアとして機能する。第１の選択スイッチ３０６は、第１の選択パルスｓｅｌ１によって増幅ＭＯＳアンプ３０５の出力を垂直転送線３０８に接続する。第２の選択スイッチ３０７は、第２の選択パルスｓｅｌ２によって増幅ＭＯＳアンプ３０５の出力を水平転送線３０９に接続する。選択スイッチ３０６、３０７は、ゲート電極が行及び列方向にそれぞれ選択パルスｓｅｌ１、ｓｅｌ２を供給する信号線にそれぞれに接続され、不図示の走査回路によって選択走査される。

不図示の走査回路は、撮像素子駆動部１１０からの撮像素子駆動信号により、複数配置された画素部２０１からの画像信号の読み出しに応じて、転送スイッチ３０２、リセットスイッチ３０４、及び選択スイッチ３０６、３０７を選択制御する。

図２に戻り、列ＡＤ（アナログデジタル）変換部２０２は、画素列毎に設けられた垂直転送線３０８が接続され、画素部２０１から列方向に読み出された信号をデジタル信号に変換する。列ＡＤ変換部２０２は、各列に電圧比較器（コンパレータ）とカウンタとを有する。列ＡＤ変換部２０２は、電圧比較器の一端に画素からの信号をアナログ信号として入力し、もう一端にランプ波形を印加し、比較器が反転した時のカウンタの値でもってデジタル信号への変換を実現する、いわゆるシングルスロープ方式で構成されている。この他にもさまざまなＡＤ変換が既に多く知られているが、ここでは代表的なものの説明にとどめておく。

行メモリ部２０３は、列ＡＤ変換部２０２から出力されたデジタルデータを一時的に記憶する。行方向転送部２０４は、行メモリ部２０３のアドレスを制御し、記憶されたデジタルデータを選択して出力するようにして、行メモリ部２０３に記憶されたデジタルデータを順番に読み出す。

行ＡＤ（アナログデジタル）変換部２０５は、画素行毎に設けられた水平転送線３０９が接続され、画素部２０１から行方向に読み出された信号をデジタル信号に変換する。行ＡＤ変換部２０５は、各行に電圧比較器（コンパレータ）とカウンタとを有する。行ＡＤ変換部２０５は、電圧比較器の一端に画素からの信号をアナログ信号として入力し、もう一端にランプ波形を印加し、比較器が反転した時のカウンタの値でもってデジタル信号への変換を実現する、いわゆるシングルスロープ方式で構成されている。

列メモリ部２０６は、行ＡＤ変換部２０５から出力されたデジタルデータを一時的に記憶する。列方向転送部２０７は、列メモリ部２０６のアドレスを制御し、記憶されたデジタルデータを選択して出力するようにして、列メモリ部２０６に記憶されたデジタルデータを順番に読み出す。

シリアライザ２０８は、行方向転送部２０４及び列方向転送部２０７から出力されたデジタル信号を所定のフォーマットに変換する。ここで、所定のフォーマットは、例えば、標準規格として良く知られているＬＶＤＳ（Low Voltage Differential Signaling）等の差動伝送フォーマットである。このようにしてデジタル信号を小振幅電圧で伝送することで、撮像装置の消費電力を抑えることができる。なお、本実施形態においては、シリアライザ２０８によるフォーマット変換について特定のものに限定することはなく、目的や効果を同じ意とする同種のシリアライザ等が、撮像装置の特徴に応じて選択され搭載されることが望ましい。

次に、図４及び図５を参照して、本実施形態における撮像装置の動作について説明する。図４は、本実施形態における撮像装置の動作例を示すフローチャートである。ステップ４０１にて、撮影が終了したか否かを制御部１１３が判断する。撮像装置のユーザが撮影終了の指示をした場合には図４に示す動作を終了し、そうでない場合にはステップ４０２へ進む。

ステップ４０２にて、制御部１１３は、撮像素子駆動部１１０に対し、主走査駆動を指示するための撮像素子駆動情報を送信する。主走査駆動とは、撮像装置が主として記録する画像や記録前のプレビュー画像として用いる画像信号の読み出しを行うための撮像素子１０７の駆動のことを示す。

ここで、図５を用いて、本実施形態における撮像素子１０７からの画像信号の読み出しについて合わせて説明していく。図５において、５０７が撮像素子１０７の画素部２０１から読み出される画像信号を模式的に示している。図５では、説明簡略のため、撮像素子１０７に配置された画素部２０１からすべての画像信号が読み出されるものとして図示しており、行方向（水平方向）にＭ個、垂直方向（列方向）にＮ個の（Ｍ×Ｎ）個の画素があるものとしている。

また、図５に示すタイミングチャートにおいて、横軸は時間軸となっている。なお、図５に示す例では、主走査は行順次走査であるものとする。５０１は撮像装置の撮影方式で決定される垂直同期信号であり、周期Ｔで繰り返しパルス状にアサートされている。５０２は垂直同期信号５０１の周期に従って撮像素子１０７から画像信号を読み出すタイミングを示しており、いわゆる線順次走査方式で、時刻ｔ０から時刻ｔ１までの時間Ｔｍをかけて画像信号を読み出している。また、図５の５０３に示したように、垂直同期信号５０１の周期Ｔ毎に、繰り返し画像信号が読み出される仕組みを持つ（すなわち、時刻ｔ５から再び時間Ｔｍをかけて走査する）。

このように、撮像装置の撮影方式で決定される垂直同期信号５０１の周期Ｔに従って、記録やプレビューの目的で撮像素子１０７から画像信号を周期的に読み出す走査を、主走査と表現する。撮像素子１０７から１ライン分の画像信号を読み出すのにかかる時間をＴｍ１とすると、図５に示した例の撮像素子１０７は垂直方向にＮ個の画素を配置しているため、全ラインを走査するのに必要な時間Ｔｍは、Ｔｍ＝Ｔｍ１×Ｎとなる。

図４のステップ４０２では、撮像素子駆動部１１０は、制御部１１３からの撮像素子駆動情報を元に主走査駆動のための撮像素子駆動信号を撮像素子１０７に送信する。撮像素子１０７は、撮像素子駆動部１１０からの撮像素子駆動信号に応じて、垂直同期信号の周期でもって、決定された主走査駆動で画素部２０１から画像信号を読み出して出力する。

ステップ４０３にて、画像信号分離部１０８は、撮像素子１０７から出力された画像信号を、制御部１１３から送られてくる撮像素子駆動情報に従って分離配分する。図６は、画像信号分離部１０８の内部構成例を示す模式図である。デシリアライザ６０１は、撮像素子１０７でフォーマット変換された画像信号を再フォーマット変換する。デシリアライザ６０１は、伝送目的でフォーマット変換された画像信号を、デジタル信号処理（特にはデジタル信号演算）が行いやすいフォーマットへ変換することを目的としている。

例えば、デシリアライザ６０１は、第１の画像処理ロジック部１０６のデジタル信号処理におけるクロック周期１サイクルで、画像信号の１画素を表現できるような多ビットのデジタルコードへの変換を行う。なお、本実施形態においては、デシリアライザ６０１によるフォーマット変換について特定のものに限定することはなく、目的や効果を同じ意とする同種のデシリアライザ等が、撮像装置の特徴に応じて選択され搭載されることが望ましい。

解析部６０２は、制御部１１３から送られてくる撮像素子駆動情報を解析し、主走査情報や副走査情報を生成する。主走査情報は、撮像素子１０７における主走査の走査方向が行順次走査であるか列順次走査であるかを示す情報であり、副走査情報は、撮像素子１０７における副走査の走査方向が行順次走査であるか列順次走査であるかを示す情報である。ステップＳ４０３での処理では、解析部６０２は主走査情報を生成する。つまり、解析部６０２は、主走査で読み出された画像信号（図５の５０２）が、行方向転送部２０４からのフォーマット変換されたデジタル信号であるか、列方向転送部２０７からのフォーマット変換されたデジタル信号であるかを判別するための情報を生成する。

主走査画像選択部６０３は、解析部６０２から送られてくる主走査情報に従って、行方向転送部２０４からのデジタル信号又は列方向転送部２０７からのデジタル信号の一方を選択し、主走査画像信号として第２の画像処理ロジック部１０４へ出力する。

ステップ４０４にて、第２の画像処理ロジック部１０４の被写体判別部１１２は、主走査画像信号から被写体を判別し、被写体判別結果を制御部１１３へ送信する。例えば、被写体判別部１１２は、被写体の顔を検出する機能を持ち、少なくとも検出した被写体の顔の大きさ及び顔の位置情報を被写体判別結果として出力する。また、主走査画像信号が入力されるたびに被写体判別処理を行うと処理時間がかかってしまうため、過去に検出した被写体の位置の輝度分布情報に基づく簡易な被写体追尾情報を併用することで、被写体判別処理の負担を軽減することも可能である。

ステップ４０５にて、制御部１１３は、得られた被写体判別結果に応じて、副走査駆動に係る撮像素子駆動情報を撮像素子駆動部１１０及び画像信号分離部１０８に送信する。例えば、図５の５０７に示すような人の顔が主走査画像信号に含まれている場合、制御部１１３は、その人の顔を含む行（図５の５０８で示す複数の行）について、列順次走査するように撮像素子駆動情報を決定して送信する。副走査駆動とは、主走査駆動の間の時間に撮像素子１０７から全画像信号又は一部の画像信号の読み出しを行うための撮像素子１０７の駆動のことを示す。

ここで、図５を用いて、本実施形態における撮像素子１０７からの副走査駆動による画像信号の読み出しについて合わせて説明していく。図５に示したように時刻ｔ１において、主走査駆動５０２が完了した後、時刻ｔ２から副走査駆動５０４を開始する。ここで、図５に示す例では、副走査は列順次走査であるものとする。

時刻ｔ２においては、５０８に示した複数行のうち、０列目（一番左の列）に配置された画素から画像信号を読み出す。以降、１列目、２列目、・・・、（Ｍ−１）列目と繰り返していき、時刻ｔ２から時刻ｔ３までの時間Ｔｓで５０８に示した複数行を列順次走査で読み出していく。５０８で示した複数行の１列分の画像信号を読み出すのにかかる時間をＴｓ１とすると、図５に示した例の撮像素子１０７は水平方向にＭ個の画素を配置しているため、５０８で示した複数行を走査するのに必要な時間Ｔｓは、Ｔｓ＝Ｔｓ１×Ｍとなる。

以下同様に、図５に示した５０５、５０６と繰り返し副走査駆動を行うことで、画像信号５０７の部分的な画像信号を出力することが可能となる。

ステップ４０６にて、画像信号分離部１０８は、撮像素子１０７から出力された画像信号を、制御部１１３から送られてくる撮像素子駆動情報に従って分離配分する。前述したステップ４０３とは、副走査駆動によって得られた画像信号を分離配分することが異なる。再び、図６を参照して説明する。ステップ４０６での処理では、解析部６０２は、制御部１１３から送られてくる撮像素子駆動情報を解析して、副走査情報を生成する。つまり、解析部６０２は、副走査で読み出された画像信号（図５の５０４）が、行方向転送部２０４からのフォーマット変換されたデジタル信号であるか、列方向転送部２０７からのフォーマット変換されたデジタル信号であるかを判別するための情報を生成する。

副走査画像選択部６０４は、解析部６０２から送られてくる副走査情報に従って、行方向転送部２０４からのデジタル信号又は列方向転送部２０７からのデジタル信号の一方を選択し、副走査画像信号として信号レベル補正部６０５に出力する。信号レベル補正部６０５は、副走査画像選択部６０４から出力された副走査画像信号の調整を行う。

信号レベル補正部６０５で行われる信号レベルの補正について、図７を参照して説明する。図７は、図５に示した撮像素子１０７の駆動の一部を３次元的に表した模式図である。図７における３次元は、画像信号水平方向軸（horizontal axis）、画像信号垂直方向軸（vertical axis）、時間方向軸（time axis）の３軸である。なお、説明及び図示の明瞭化のため、以下では撮像素子１０７に配置されている画素数は、水平方向に６個（Ｍ＝６）、垂直方向に５個（Ｎ＝５）として説明する。

図７において、７０１は、時刻ｔ＝ｔ０において撮像素子１０７の０ライン目の複数の画素（６個の画素）の画像信号を、時間Ｔｍ１をかけて読み出すことを示している。また、時刻ｔ＝ｔ０から時間Ｔｍ１が経過した時刻ｔ＝ｔ０'において、撮像素子１０７の１ライン目の複数の画素の画像信号を同様に読み出す。以下、同様にして２ライン目、３ライン目、及び４ライン目の複数の画素の画像信号を読み出す。このようにして、図７に示した５０２と７０１で決定される平面上に、７０１と平行に７０１を含め５本のタイミングが示すように、５ラインの画素の画像信号を読み出して、時刻ｔ＝ｔ１で読み出しが終わる。以上の読み出しにより主走査画像信号を取得する。

主走査画像信号を取得した後、時刻ｔ＝ｔ２で副走査画像信号の読み出しを開始する。５０４は、図５の５０８の領域のうちの０列目の複数の画素の画像信号を、時間Ｔｓ１をかけて読み出すことを示している。また、時刻ｔ＝ｔ２から時間Ｔｓ１が経過した時刻ｔ＝ｔ２'において、図５の５０８の領域のうちの１列目の複数の画素の画像信号を同様に読み出す。以下、同様にして図５の５０８の領域のうちの２列目、３列目、４列目、及び５列目の複数の画素の画像信号を読み出す。このようにして、図７に５０４と平行に５０４を含め６本のタイミングが示すように、６列の画素の画像信号を読み出して、時刻ｔ＝ｔ３で読み出しが終わる。以上の読み出しにより副走査画像信号を取得する。

主走査画像信号の蓄積期間は、撮像素子１０７の０ライン目の画素が時刻ｔ０から時刻ｔ５まで、１ライン目の画素が時刻ｔ０'から時刻ｔ５'まで、というように行順次走査に起因して決定される。

ここで、本実施形態における副走査画像信号の取得について図３を参照して説明する。本実施形態において、副走査画像信号は、前述した主走査画像信号の蓄積期間中に取得する。そのため、光電変換部３０１に蓄積されている電荷（光電変換により生成された電荷）を一旦読み出す必要がある。そこで、転送スイッチ３０２をオン状態（導通状態）にし、光電変換部３０１で発生した電荷をＦＤ部３０３へ転送して増幅ＭＯＳアンプ３０５を介して電圧信号に変換し、選択スイッチ３０７経由で水平転送線３０９に伝える。

また、主走査画像信号の読み出し５０３では、副走査画像信号を取得するための電荷読み出しの影響を受けないようにしなければならない。そこで、副走査のときにＦＤ部３０３へ転送された電荷はリセットされずにＦＤ部３０３にとどまり、主走査画像信号の読み出しの際には再び光電変換部３０１から転送スイッチ３０２を介してＦＤ部３０３に電荷が転送されるようにする。すなわち、主走査画像信号の蓄積期間中に副走査によって画素部２０１の電荷の蓄積状態をスキャンするように走査が成される。

また、主走査の走査方向と副走査の走査方向とが異なるとき、取得された副走査画像信号は、画素部２０１の撮像素子上の配置によって、明るさが異なってしまう。撮像素子１０７上の画素部２０１に対して、図７の画像信号水平方向軸と画像信号垂直方向軸で決定される直交座標系の座標位置を、ｘ，ｙでそれぞれ定義したとき、座標位置に対する明るさＹ（ｘ，ｙ）は、以下の関係で示される。

すなわち、主走査のタイミング（時間Ｔｍ１及び座標位置ｙに依存）と、副走査のタイミング（時間Ｔｓ１及び座標位置ｘに依存）とに起因した明るさの違いが画像信号上に生じてしまう。そこで、明るさを補正する必要がある。例えば、副走査画像信号として全画素を読み出したとき、その画像信号の平均蓄積時間Ｔａｖｅは、

で算出される。よって、座標位置（ｘ，ｙ）の画素の信号レベルの補正値σ（ｘ，ｙ）は、

で求められる。以上のようにして、信号レベル補正部６０５では、副走査画像信号の信号レベルを補正して出力する。

あるいは、以下のような構成をとることでも、主走査のタイミング（時間Ｔｍ１及び座標位置ｙに依存）と、副走査のタイミング（時間Ｔｓ１及び座標位置ｘに依存）とに起因した画像信号上での明るさの違いを補正することも可能である。図８は、画像信号分離部１０８の他の内部構成例を示している。図８において、図６に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

図８に示す画像信号分離部１０８は、副走査画像信号を一時的に保持する記憶部８０１を有することが、図６に示した画像信号分離部１０８とは異なる。また、図８に示す画像信号分離部１０８は、信号レベル補正部８０２が、副走査画像選択部６０４から送られてくる副走査画像信号と記憶部８０１に記憶されている副走査画像信号とを入力としていることが、図６に示した画像信号分離部１０８とは異なる。

図８に示した画像信号分離部１０８での信号レベルの補正は、まず、副走査画像信号を１回読み出して信号レベル補正部８０２では何も処理せずに記憶部８０１に記憶する。次に、もう１回副走査画像信号を読み出して、記憶部８０１に記憶している１回目の副走査画像信号との対応する座標間の信号レベルの差分を計算し、算出された信号レベルの値を信号レベル補正後の新たな副走査画像信号として出力する。このようにすることで、ゲイン処理によるノイズの増大やＳ／Ｎ比の悪化を抑えることが可能となる。

図４に戻り、本実施形態における撮像装置の動作の続きを説明する。
ステップ４０７にて、ＡＦ処理部１０５は、副走査画像信号からＡＦ制御に係る評価情報（例えばＡＦ評価値）を生成し、光学系駆動情報として光学系駆動部１０２に送信する。ＡＦ処理部１０５は、副走査画像信号を用いて合焦状態を検出するためのコントラスト評価値をＡＦ評価値として算出する。ＡＦ処理部１０５は、得られた副走査画像信号に対してバンドパスフィルタによるフィルタ処理を行い、フィルタ出力の絶対値を積算してコントラスト評価値とする。なお、本実施形態は前述した処理だけに限らず、被写体のコントラストを算出し合焦状態でそのコントラスト評価値が最大となるようなさまざまな処理に適用可能である。

ＡＦ処理部１０５は、算出したコントラスト評価値を基に、合焦状態すなわちコントラスト評価値が最大になるフォーカスレンズの位置を推定して、光学系１０１に配置されたフォーカスレンズを駆動するための光学系駆動情報を光学系駆動部１０２に送信する。前述したコントラスト評価値を用いたオートフォーカス制御は、一般的に山登り方式と呼ばれる。

ステップ４０８にて、光学系駆動部１０２は、ＡＦ処理部１０９から送られてきた光学系駆動情報を元に、光学系１０１に配置されたフォーカスレンズを駆動するための光学系駆動信号を送信して光学系１０１を駆動する。そして、一連の処理を終え、ステップ４０１へ戻る。

以上の処理により、以下の効果が得られる。主走査画像信号を解析した結果、人の顔があると判断した場合、副走査では、走査領域を変更し人の顔の領域に限定して少ない画素数で撮像素子１０７から画像信号を読み出すことを可能とし、かつ、走査方向をＡＦ処理に適した方向に変更することが可能となる。すなわち、人の顔の場合、その特徴部位である眉毛や目、口などの形状を鑑みて垂直方向にコントラストが高い成分を多く含むことから、ＡＦ処理も垂直方向のコントラストを精度よく算出することができる。これは、ハードウエアアーキテクチャなどに見られる垂直方向の画像信号処理に必要なラインメモリの構成を不要とし、かつ、被写体の形状や模様に応じて適切なＡＦ処理が実現できＡＦ精度を向上させることが可能となる。

なお、本実施形態では、被写体判別部１１２が、人の顔を判別するような構成としているが、ＡＦ処理部１０９にとっての最適な画像信号入力を判別できるようにすることが可能な別の被写体判別部でも同様の効果が得られる。すなわち、人の顔に限らず、例えば周波数解析部を用いて、画像信号の水平方向と画像信号の垂直方向とのどちらに周波数スペクトルが大きく出ているかに応じて、副走査駆動の走査方向を決定するようにしても、同様の効果が得られる。

また、本実施形態では、ＡＦ処理部１０９がコントラスト評価値を算出して、該コントラスト評価値を用いたオートフォーカス制御について述べてきたが、別のオートフォーカス制御でも同様の効果が得られる。図９は、撮像素子１０７の他の構成例を示す図である。図９に示す例では、画素部２０１が、水平方向に１６個（Ｍ＝１６）、垂直方向に１６個（Ｎ＝１６）配置され、ベイヤー配列のカラーフィルタ（Ｒ，Ｇ，Ｂ）が規則正しく配置されている。その中に、光学系１０１の射出瞳領域の異なる領域を通過した光束をそれぞれ受光する焦点検出用画素対Ｓ１、Ｓ２、Ｓ３、Ｓ４が配置されている。

Ｌ６行及びＬ７行には射出瞳を左右で半分ずつに受光する焦点検出用画素対Ｓ１及びＳ２が離散的に配置されている。また、Ｃ６列及びＣ７列には射出瞳を上下で半分ずつに受光する焦点検出用画素対Ｓ３及びＳ４が離散的に配置されている。これらの焦点検出用画素対は、製造工程において、光電変換部３０１に対してその開口部分に金属マスク（例えばアルミ層）等を形成し半分覆うことにより製造可能である。

図９に示した撮像素子の焦点検出用画素対で得られる信号の例を、図１０に模式的に示している。例えば、被写体までのピントが合っていない場合、焦点検出用画素対Ｓ１及びＳ２の信号レベルは、各焦点検出用画素対Ｓ１及びＳ２に照射される光線の角度が変わるため、それぞれ１００１、１００２に示すようにピント位置のずれが像のずれとして現れる。位相差検出方式による被写体までの距離情報は、像１００２と像１００１の相対関係と像間の距離１００３、及びそのフォーカス位置における結像面から射出瞳までの距離から算出される。

したがって、ＡＦ処理部１０９は、得られた被写体までの距離情報に基づき、光学系１０１が有するフォーカスレンズの移動量を算出し、光学系駆動部１０２に光学系駆動情報として送信する。このようにして、光学系１０１が有するフォーカスレンズの位置を調整することで、オートフォーカス制御を実現することができる。本実施形態に記載のように、主走査画像信号に対して被写体判別部１１２で被写体を判別し、被写体判別結果に基づいて撮像素子１０７から副走査画像信号として、図９に示すＣ６列及びＣ７列に配置された焦点検出用画素対Ｓ３及びＳ４を列順次走査で読み出す。これにより、ＡＦ処理部１０９の構成を変えることなく、被写体の形状や模様に応じて適切なＡＦ処理を行うことが可能となる。

さらに、別のオートフォーカス制御として、図１１に示すような撮像素子１０７と組み合わせても同様の効果が得られる。図１１（ａ）に示すように、撮像素子１０７は、複数の画素部で光学系１０１から通ってくる光線を集光するためのマイクロレンズを共有する構成をとっている。例えば、画素部１１０１、１１０２、１１０３、１１０４は、分光用のカラーフィルタを同一色として配置し、その直上にマイクロレンズ１１０５が形成されている。

図１１（ｂ）は、図１１（ａ）におけるＡ−Ａ’断面を模式的に示す図である。１１０６は、像側から見た撮像レンズの射出瞳を示したものである。合焦時の撮像レンズの結像面１１１１から射出瞳１１０６までの距離を射出瞳位置と呼び、図示していないレンズの絞りよりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などにより、その位置は変化する。また、当然ながら絞りの径によって大きさは変化する。

１１０９、１１１０は、それぞれマイクロレンズ１１０５によって射出瞳位置に投影された画素部１１０１、１１０４の射出瞳である。画素部１１０１へは、射出瞳１１１０を通る光束１１０８が入るように設計されており、逆に、画素部１１０４へは、射出瞳１１０９を通る光束１１０７が入るように設計される。また、図示を省略した撮像素子１０７が有する他の画素部についても同様に設計されており、画素部１１０１と同じに位置する複数の画素部には、撮像レンズの射出瞳１１０６のうち右側の１１１０の領域で見た像が得られる。同様に、画素部１１０４と同じに位置する複数の画素部には、撮像レンズの射出瞳１１０６のうち左側の１１０９の領域で見た像が得られる。

このように、前述した焦点検出用画素対の代わりに、１つのマイクロレンズで複数の画素部を覆うような撮像素子を用いた場合でも、結果的に射出瞳を異なる領域に分離することが可能となる。画素部１１０１と同じ射出瞳領域を受光するその他の画素部の信号と、画素部１１０２と同じ射出瞳領域を受光するその他の画素部の信号とについて、被写体までのピント位置がずれた場合、図１０に示したようにピント位置のずれが像ずれとして現れる。位相差検出方式による被写体までの距離情報は、像１００２と像１００１の相対関係と像間の距離１００３、及びそのフォーカス位置における結像面から射出瞳までの距離から算出される。

したがって、ＡＦ処理部１０９は、前述したオートフォーカス制御と同様に、得られた被写体までの距離情報に基づき、光学系１０１が有するフォーカスレンズの移動量を算出し、光学系駆動部１０２に光学系駆動情報として送信する。このようにして、光学系１０１が有するフォーカスレンズの位置を調整することで、オートフォーカス制御を実現することができる。本実施形態に記載のように、主走査画像信号に対して被写体判別部１１２で被写体を判別し、被写体判別結果に基づいて撮像素子１０７から副走査画像として、図１１に示す画素部を列順次走査で読み出す。これにより、ＡＦ処理部１０９の構成を変えることなく、被写体の形状や模様に応じて適切なＡＦ処理を行うことが可能となる。

また、本実施形態では、被写体判別部１１２が出力する被写体判別結果に応じて、撮像素子１０７の走査駆動を切り替えていたが、例えば、ユーザからの指示に応じて切り替えても同様の効果が得られる。例えば、図１に示したような外部指示部１１４が、ユーザからの指示を指示情報として制御部１１３へ送信する。例えば、ユーザが特定の箇所について、ＡＦ処理機能、すなわちＡＦ処理部１０９に入力される副走査画像信号の走査駆動方式を変更したい場合、制御部１１３は、指示情報に応じて撮像素子駆動部１１０に対して撮像素子駆動情報を送信する。以上の処理により、ＡＦ処理部１０９に対して、ユーザが所望とするＡＦ処理機能に適した副走査画像信号の入力を実現することができる。

さらに、例えば、撮像装置の姿勢に応じて撮像素子１０７の走査駆動を切り替えても同様の効果が得られる。例えば、図１に示したような姿勢検知部１１５が、撮像装置が地面に対して傾いているかどうかを検出し、その検出結果を姿勢検知情報として制御部１１３へ送信する。例えば、撮像装置を９０度回転させて使用する場合、撮像素子１０７への結像も９０度回転することになる。そこで、撮像装置が９０度回転したという情報を姿勢検知情報として制御部１１３に送信し、制御部１１３から撮像素子駆動部１１０に対して、副走査駆動として列順次走査を指示する。これにより、ＡＦ処理部１０９に入力される副走査画像信号は、撮像装置の傾きに関係なく、常に同じ方向の被写体を処理することが可能となり、オートフォーカス制御の安定性や精度向上を実現することができる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：光学系 １０２：光学系駆動部 １０３：積層センサ部 １０４：第２の画像処理ロジック部 １０５：イメージセンサ部 １０６：第１の画像処理ロジック部 １０７：撮像素子 １０８：画像信号分離部 １０９：ＡＦ処理部 １１０：撮像素子駆動部 １１２：被写体判別部 １１３：制御部 １１４：外部指示部 １１５：姿勢検知部 ２０１：画素部 ２０４：行方向転送部 ２０７：列方向転送部 ６０２：解析部 ６０５、８０２：信号レベル補正部 ８０１：記憶部

Claims (10)

1. ２次元状に配置された複数の画素部を有し、線順次走査方式による読み出し駆動と前記線順次走査方式とは直角を成す方向に走査する方式による読み出し駆動との複数の読み出し駆動で、前記複数の画素部から画像信号を読み出すことが可能な撮像素子と、
   第１の駆動情報を元に前記撮像素子の駆動を制御する第１の駆動手段と、
   フォーカスレンズを有し、被写体像を前記撮像素子に結像させる光学系と、
   第２の駆動情報を元に前記光学系の駆動を制御する第２の駆動手段と、
   前記撮像素子から読み出される第１の画像信号を元に被写体を判別する判別手段と、
   前記撮像素子から読み出される第２の画像信号を元にオートフォーカス制御に係る評価情報を生成し、生成した前記評価情報を元に前記第２の駆動情報を前記第２の駆動手段に供給する処理手段と、
   前記複数の読み出し駆動のうちの前記判別手段での判別結果を元に決定した走査方式による読み出し駆動で、前記撮像素子が有する複数の画素部のうちの少なくとも一部の画素部からの前記第２の画像信号の読み出しを行うとともに、前記第１の画像信号の蓄積期間中に前記第２の画像信号を取得させる、前記第１の駆動情報を前記第１の駆動手段に供給する制御手段とを備えることを特徴とする撮像装置。
2. 前記第１の駆動情報に応じて、前記撮像素子から読み出された前記第２の画像信号の信号レベルを調整する補正手段をさらに備えることを特徴とする請求項１記載の撮像装置。
3. 前記補正手段は、前記撮像素子からの前記第１の画像信号の読み出しと前記第２の画像信号の読み出しとで走査する方向が異なる場合、前記第２の画像信号の信号レベルを調整することを特徴とする請求項２記載の撮像装置。
4. 前記補正手段から出力される前記第２の画像信号を記憶する記憶手段をさらに有し、
   前記補正手段は、前記記憶手段に記憶されている前記第２の画像信号と前記撮像素子から読み出された前記第２の画像信号との差分を新たな前記第２の画像信号として出力することを特徴とする請求項２又は３記載の撮像装置。
5. 前記撮像素子及び前記第１の駆動手段を有するセンサ部と、前記処理手段を有する画像処理部とが積層して配置され、互いに電気的に接続されていることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記処理手段は、前記第２の画像信号の少なくとも一部の領域のコントラスト評価値を算出し、前記コントラスト評価値が最大となる前記フォーカスレンズの位置を推定して前記第２の駆動手段に前記第２の駆動情報を供給することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記撮像素子は、前記光学系が形成する射出瞳のうち異なる一部の領域の光束を受光する焦点検出用画素対から成る前記画素部を少なくとも一部に配置し、前記処理手段は、複数の前記焦点検出用画素対から出力された信号の位相差に基づいてずれ量を検出し、前記ずれ量に基づき前記フォーカスレンズの位置を調整する前記第２の駆動情報を前記第２の駆動手段に供給することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
8. 外部指示手段をさらに備え、
   前記制御手段は、前記外部指示手段からの指示情報に応じて前記第１の駆動手段に対して前記第１の駆動情報を出力することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
9. 姿勢検知手段をさらに備え、
   前記制御手段は、前記姿勢検知手段からの姿勢検知情報に応じて前記第１の駆動手段に対して前記第１の駆動情報を出力することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
10. ２次元状に配置された複数の画素部を有し、線順次走査方式による読み出し駆動と前記線順次走査方式とは直角を成す方向に走査する方式による読み出し駆動との複数の読み出し駆動で、前記複数の画素部から画像信号を読み出すことが可能な撮像素子と、第１の駆動情報を元に前記撮像素子の駆動を制御する第１の駆動手段と、フォーカスレンズを有し、被写体像を前記撮像素子に結像させる光学系と、第２の駆動情報を元に前記光学系の駆動を制御する第２の駆動手段とを備える撮像装置の制御方法であって、
    前記撮像素子から読み出される第１の画像信号を元に被写体を判別する工程と、
    前記複数の読み出し駆動のうちの前記被写体の判別結果を元に決定した走査方式による読み出し駆動で、前記撮像素子が有する複数の画素部のうちの少なくとも一部の画素部からの前記第２の画像信号の読み出しを行うとともに、前記第１の画像信号の蓄積期間中に第２の画像信号を取得させる、前記第１の駆動情報を前記第１の駆動手段に供給する工程と、
    前記撮像素子から読み出される前記第２の画像信号を元にオートフォーカス制御に係る評価情報を生成し、生成した前記評価情報を元に前記第２の駆動情報を前記第２の駆動手段に供給する工程とを有することを特徴とする撮像装置の制御方法。

Images