JP2012155095A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 撮像素子内の任意の領域に焦点調節領域を設定可能にしつつ、撮像素子からの画像信号の読み出し時間を短縮すること。
【解決手段】 各画素（２０３）が、瞳分割された画像信号を出力する複数の光電変換部（ＰＤ１、ＰＤ２）を有する、複数の画素と、各光電変換部から出力された瞳分割された画像信号をそれぞれ記憶するラインメモリ（３０６）と、瞳分割された画像信号をそれぞれ出力するか、または画素毎に加算して出力するかを切り替えるタイミング制御回路（３０７）とを有する撮像素子（１０３）と、焦点調節領域を決定する焦点調節領域決定部（１０７）と、焦点調節領域内の瞳分割された画像信号に基づいて、位相差方式の焦点調節制御を行う焦点調節手段（１０５、１０９）とを有し、タイミング制御回路は、焦点調節領域内では瞳分割された画像信号をそれぞれ出力し、焦点調節領域外では画素毎に加算して出力するように切り替える。
【選択図】 図１

Description

本発明は撮像装置及びその制御方法に関し、各画素から光学系の異なる瞳領域を通過した光束に基づく一対の信号を読み出すことが可能な撮像装置及びその制御方法に関する。

従来より、焦点検出機能と画像信号取得を１枚の撮像素子を用いて実現する技術が知られており、その一例として、焦点検出用の情報取得用画素を、画像信号取得のための画像取得用画素として兼用できるものが提案されている（例えば、特許文献１参照）。この技術によれば、情報取得用画素を水平、垂直方向に４分割し、画像取得時には４分割された領域の信号をすべて加算することで画像信号を得る。また、焦点調節時には、４分割された領域の内、水平または垂直方向の２領域の信号を加算することで、画素内を瞳分割し、位相差方式の焦点調節用信号として用いることができる。

特開２００７−３２５１３９号公報

しかしながら、撮像素子の多画素化に伴い、予め定められた時間内により多くの画素信号を読み出すことが要求される一方で、撮像素子の出力レートの増加あるいは出力チャンネル数の増加などによるシステムへの負荷も大きくなってきている。たとえば、出力チャンネル数が増加することにより、あるいは、信号出力のレートが上がることにより、チャンネル間の信号遅延量の調整が複雑になるという問題があった。特に、１つの画素が複数の光電変換部によって構成され、瞳分割読み出し機能を持った撮像素子の場合は、信号の読み出し数が増えるため、さらにシステムへの負担は増加してしまう。

本発明は上記問題点を鑑みてなされたものであり、撮像素子内の任意の領域に焦点調節領域を設定可能にしつつ、撮像素子からの画像信号の読み出し時間を短縮することを目的とする。

上記目的を達成するために、本発明の撮像装置は、各画素が、光学系の射出瞳の異なる領域を通過した光束を受光して、瞳分割された画像信号を出力する複数の光電変換部を有する、複数の画素と、各光電変換部から出力された瞳分割された画像信号をそれぞれ記憶する記憶手段と、前記記憶手段に記憶された前記瞳分割された画像信号をそれぞれ出力するか、または画素毎に加算して出力するかを切り替える制御手段とを有する撮像素子と、前記撮像素子から出力される画像信号の画像を用いて、前記撮像素子における焦点調節を行う対象領域である焦点調節領域を決定する決定手段と、前記焦点調節領域内の画素から出力された前記瞳分割された画像信号に基づいて、位相差方式の焦点調節制御を行う焦点調節手段とを有し、前記制御手段は、前記焦点調節領域内の画素から出力された前記瞳分割された画像信号をそれぞれ出力し、前記焦点調節領域外の画素から出力された前記瞳分割された画像信号を画素毎に加算して出力するように切り替える。

本発明によれば、撮像素子内の任意の領域に焦点調節領域を設定可能にしつつ、撮像素子からの画像信号の読み出し時間を短縮することができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における撮像素子の詳細構成を説明するための図。 第１の実施形態における焦点調節領域の指定方法を説明する図。 第１の実施形態における焦点調節領域の決定と指示情報生成の流れを示すフローチャート。 第１の実施形態における信号演算部の構成を示すブロック図。 第１の実施形態における信号演算部による処理を示すタイミングチャート。 第１の実施形態における位相差算出部の構成を示すブロック図。 第２の実施形態における撮像装置の概略構成を示すブロック図。 第２の実施形態におけるエッジ成分検出部の構成を示すブロック図。 第２の実施形態におけるエッジ成分の検出及び焦点調節領域の決定処理のフローチャート。 第２の実施形態における焦点調節領域の決定の様子を示した概略図。 第３の実施形態における撮像装置の概略構成を示すブロック図。 第３の実施形態における被写体顔検出部の構成を示すブロック図。 第３の実施形態における焦点調節領域の決定の様子を示した概略図。 第４の実施形態における撮像装置の概略構成を示すブロック図。 第４の実施形態におけるコントラスト検出部の構成を示すブロック図。 第４の実施形態におけるコントラスト検出処理のフローチャート。 第４の実施形態における焦点調節領域の決定の様子を示した概略図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。図１において、１０１はフォーカスレンズを含み、更にはズームレンズ、絞りなどで構成される光学系、１０２は、後述するＡＦ制御部１０９から出力される光学系駆動情報に応じて光学系１０１を制御信号により制御する光学系駆動部である。

１０３は、被写体像を光電変換により電気信号に変換して、画像信号として出力する撮像素子であり、後述する指示情報生成部１０６から出力される指示情報に従って画像信号を読み出す。本第１の実施形態においては、後述するように、各画素は、光学系１０１の射出瞳の異なる領域を通過した光束をそれぞれ受光し、瞳分割された画像信号を出力する複数の光電変換部を有する。なお、撮像素子１０３の構成は、図２を参照して詳細に後述する。１０４は、撮像素子１０３から出力された画像信号に対して演算処理を施す信号演算部であり、後述するようにして、指示情報生成部１０６から出力される指示情報に従って画像信号に対して演算を施し、表示記録用の画像信号として出力する。１０８はカメラ信号処理部で、信号演算部１０４から得られた画像信号に対し、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、不図示の記録装置や表示装置に処理後の画像信号を出力する。

１１０は、ユーザからの指示を受ける外部入力部、１０７は、外部入力部１１０から送られてくる外部入力情報に応じて、焦点調節を行う対象領域である焦点調節領域を決定する焦点調節領域決定部である。焦点調節領域決定部１０７は、決定された焦点調節領域の情報（焦点調節領域情報）を指示情報生成部１０６へ渡す。１０６は、焦点調節領域情報を基に焦点調節領域内か焦点調節領域外かを示す指示情報を生成する指示情報生成部であり、指示情報は撮像素子１０３及び信号演算部１０４へと送られる。

１０５は位相差算出部で、撮像素子１０３から出力される瞳分割された画像信号から位相差方式の焦点調節を行うための位相差評価値を算出する。１０９はＡＦ制御部で、位相差算出部１０５で算出された位相差評価値を基に、光学系１０１のフォーカスレンズ位置を制御するための光学系駆動情報を算出する。すなわち、位相差算出部１０５及びＡＦ制御部１０９により、公知の位相差方式の焦点調節制御が行われる。

次に、本第１の実施形態における撮像素子１０３の構成について、図２を参照して説明する。本第１の実施形態における撮像素子１０３は、ＸＹアドレス型の走査方法を採る、例えばＣＭＯＳイメージセンサである。

図２（ａ）は、１つの画素２０３の概略を示した上面図であり、入射光を電荷に変換するフォトダイオードに代表される複数の光電変換部を含んでいる。ここでは、２つの光電変換部ＰＤ１、ＰＤ２を持つ例を示しており、光電変換部ＰＤ１、ＰＤ２に共通で１つのマイクロレンズ２０４を備える構造となっている。また、撮像素子１０３の他の画素についても、図示した位置関係に光電変換部ＰＤ１、ＰＤ２が存在するものとする。このように構成することにより、光電変換部ＰＤ１、ＰＤ２は、それぞれが光学系１０１の射出瞳の異なる領域を通過した光束を受光することになる。

図２（ｂ）及び（ｃ）は、撮像素子１０３の回路図を示し、図２（ｂ）は、画素２０３を構成する一方の光電変換部に係る回路（以下、「半画素部」と呼ぶ。）２１１の回路図、図２（ｃ）は画素２０３を含む全体構成を示している。なお、図２（ｂ）に示す例では、光電変換部ＰＤ１を含む半画素部２１１を図示しているが、光電変換部ＰＤ２を含む半画素部も同様の構成を有している。また、図２（ｃ）においては、説明を分かり易くするために３行×２列分の画素２０３（即ち、３行×４列分の半画素部２１１）を示しているが、実際には通常、数十万〜数千万の画素２０３が、所定のアスペクト比で２次元に配置されている。また、各画素２０３はＲ、Ｇ、Ｂいずれかの色相のカラーフィルタにより覆われていてもよく、例えば、Ｒ、Ｇ、Ｂのカラーフィルタがベイヤー配列に並べられるようにしてもよい。

図２（ｂ）において、２０６は光電変換部ＰＤ１で発生した電荷を一時的に蓄積しておく蓄積領域となるフローティングデフュージョン部（ＦＤ）である。２０５は光電変換部ＰＤ１で発生した電荷を転送パルスｐＴＸによってＦＤ２０６に転送する転送スイッチ、２０７はリセットパルスｐＲＥＳによってＦＤ２０６に蓄積された電荷を除去するリセットスイッチである。２０８はソースフォロアアンプとして機能する増幅ＭＯＳアンプ、３０２は、列を選択するための選択スイッチである。転送スイッチ２０５、リセットスイッチ２０７、選択スイッチ３０２のゲートは、図２（ｃ）に示すように、行単位でそれぞれｐＴＸ、ｐＲＥＳ、ｐＳＥＬを供給する信号線にそれぞれに接続され、垂直走査回路３０１によって選択走査される。また、リセットスイッチ２０７と増幅ＭＯＳアンプ２０８のドレインは電源ライン２０９と接続されている。

また、図２（ｃ）において、３０４は増幅ＭＯＳアンプ２０８の負荷となる定電流源であり、半画素部２１１と定電流源３０４は信号出力線２１０を介して列ＡＤ変換回路３０５に列単位で接続される。ＦＤ２０６、増幅ＭＯＳアンプ２０８、及び定電流源３０４でフローティングディフュージョンアンプが構成され、選択スイッチ３０２で選択された画素の信号電荷が電圧に変換され、信号出力線２１０を経て、列ＡＤ変換回路３０５に出力される。

列ＡＤ変換回路３０５は、半画素部２１１から出力される電圧信号をデジタルコードに変換する回路である。一般的には電圧信号とランプ波形をコンパレータで比較し、ランプ波形出力の開始とともにカウンタを回すことで電圧信号とランプ波形が一致したときのカウンター値をデジタルコードとして変換する構成を持つ。３０６は列ＡＤ変換回路３０５でデジタルコードに変換された半画素部２１１の出力をデジタル信号として記憶するラインメモリである。タイミング制御回路３０７は指示情報生成部１０６から送られてくる指示情報に基づき、ラインメモリ３０６に記憶されているデジタル信号を画像信号として出力する。また、タイミング制御回路３０７は、各画素２０３の光電変換部ＰＤ１、ＰＤ２のデジタル信号を同時にラインメモリ３０６から読み出し、信号処理で加算して出力したり、光電変換部ＰＤ１、ＰＤ２のデジタル信号をそれぞれ出力することができる構成を持つ。

次に、本第１の実施形態における焦点調節領域の決定方法及びその指示情報の生成手順について説明する。

図３は、本第１の実施形態における焦点調節領域の指定方法を説明する図である。なお、焦点調節領域は、画像の中で、焦点を合わせる領域のことを指す。図３（ａ）において、４０１は撮像素子１０３で撮影され、カメラ信号処理部１０８を介して出力された表示記録画像を示している。ユーザは外部入力部１１０として、たとえばタッチパネルなどに代表される表示装置を兼ねた入力デバイスを介して、図３（ｂ）に示すように合焦させたい被写体４０２を指示する。外部入力部１１０は得られた外部入力情報を焦点調節領域決定部１０７へ送信し、焦点調節領域決定部１０７は中央部分がユーザが指示した被写体４０２と重なるような、予め決められた大きさの焦点調節領域４０３を決定する。そして、決定した焦点調節領域４０３の焦点調節領域情報を指示情報生成部１０６へ送信する。

他に、ユーザは外部入力部１１０としてたとえばタッチパネルなどに代表される表示装置を兼ねた入力デバイスを介して、合焦させたい領域４０６を、開始点４０４と終了点４０５として指示するようにしてもよい。その場合、外部入力部１１０は得られた開始点４０４と終了点４０５の位置情報を焦点調節領域決定部１０７へ送信し、焦点調節領域決定部１０７は、開始点４０４と終了点４０５を対角とする矩形領域の焦点調節領域４０６を決定する。そして、焦点調節領域４０６の焦点調節領域情報を指示情報生成部１０６へ送信する。

なお、本発明は、上述した焦点調節領域の指定方法に限られるものではなく、予め決められた複数の焦点調節領域を示す枠などを表示して、何れかをユーザに選択させるなど、焦点調節領域をユーザが指定できるのであれば、どのような方法であっても構わない。

次に、焦点調節領域の決定と指示情報生成の流れを、図４のフローチャートを参照しながら説明する。

まず、Ｓ１０１において、指示情報生成部１０６から出力される指示情報に従って、撮像素子１０３から画像信号を読み出す。撮像素子１０３は指示情報に従って、前述したようにラインメモリ３０６に記憶された各画素を構成する２つの光電変換部ＰＤ１、ＰＤ２からのデジタル信号の読み出し方法を変える。焦点調節領域内の画素では、位相差方式の焦点調節処理を行うために光電変換部ＰＤ１、ＰＤ２のデジタル信号をそれぞれ読み出す必要があるため、タイミング制御回路３０７は指示情報に従ってラインメモリ３０６からそれぞれを独立に出力する。これに対し、焦点調節領域外の画素では、画素毎の信号が得られれば良く、光電変換部ＰＤ１、ＰＤ２毎のデジタル信号を独立に読み出す必要がない。そのため、タイミング制御回路３０７は指示情報に従って、ラインメモリ３０６から光電変換部ＰＤ１、ＰＤ２のデジタル信号を画素毎に同時に読み出し、加算処理して出力する。このように、タイミング制御回路３０７に出力される指示情報は、１つの画素に対して加算するしないの２値で表すことが可能である。そのため、画素１つにつき１bitのデジタルコードで生成し、それら複数のコードを多重化して撮像素子１０３へまとめて送ることも可能である。

次にＳ１０２において、Ｓ１０１において指示情報に従って撮像素子１０３から読み出だされた画像信号から、信号演算部１０４にて表示記録画像を生成する。表示記録画像とは、予め決められた画素数で構成される画像信号のことであり、信号演算部１０４は指示情報に従って撮像素子１０３から出力される任意のデータ数の画像信号を表示記録画像の画素数にする処理を行う。

ここで、信号演算部１０４において行われる、１０３から読み出だされた画像信号を表示記録画像の画素数にする処理について説明する。図５は、信号演算部１０４の内部構成を示すブロック図である。図５において、５０１は遅延回路、５０２は加算回路である。選択回路５０３は、演算制御部５０５からの制御により、指示情報生成部１０６で生成された指示情報に従って、入力した画像信号と、加算回路５０２の出力とのうちいずれかを選択する。５０４は記憶部であり、選択回路５０３で選択された信号が記憶される。また、演算制御部５０５は記憶部５０４に対しても、指示情報に応じた制御信号を出力する。

図６は、信号演算部１０４における信号処理を説明するためのタイミングチャートである。なお、ここでは説明の都合上、焦点調節領域を１画素として説明する。図６に示すように、撮像素子１０３から出力された画像信号は、時系列で順に出力される。ここでは画像信号が、Ａ、Ｂ、Ｃ１、Ｃ２、Ｄと順に出力されているものとする。このうち、Ａ、Ｂ、Ｄは、撮像素子１０３のタイミング制御回路３０７において画素毎に加算処理されたデジタル信号を示し、Ｃ１、Ｃ２は光電変換部ＰＤ１、ＰＤ２のデジタル信号が加算処理されずに別々に出力されたデジタル信号を示している。また、加算回路５０２からは、遅延回路５０１でデータ１つ分遅延された１画素前の信号と加算された信号が順次出力される。

選択制御信号は、演算制御部５０５が指示情報に従って生成した信号である。撮像素子１０３にも送られる指示情報は、画素２０３の２つの光電変換部ＰＤ１、ＰＤ２をタイミング制御回路３０７で加算するか否かを表す情報である。そのため、信号演算部１０４は、この指示情報から、信号演算部１０４に入力される画像信号がタイミング制御回路３０７で加算された信号であるか否かを判別することが可能となる。この指示情報は１画素に対して加算するか否かが表現されている情報であればよく、デジタルコードで１bitで構成してもよい。また、そのようにして構成された指示情報は、演算制御部５０５において選択回路５０３を制御可能なように、図示したようなＨｉ、Ｌｏｗで表された信号に変換することで、選択回路５０３の制御を実現している。ここでは、選択回路５０３は、Ｌｏｗの時に撮像素子１０３から入力した画像信号を選択し、Ｈｉの時に加算回路５０２の出力を選択する。

記憶部制御信号（書き込み）は、記憶部５０４に対して選択回路５０３の出力を書き出す際の記憶部５０４のアドレスを簡易的に示したものであり、選択制御信号と同様に指示情報生成部１０６から出力される指示情報を基に演算制御部５０５で生成されている。このような構成により、選択制御信号がＬｏｗの時、画像信号Ａが記憶部５０４のアドレス０へ、画像信号Ｂが記憶部５０４のアドレス１へ、それぞれ記憶される。また、画素２０３の２つの光電変換部ＰＤ１、ＰＤ２から出力された画像信号Ｃ１とＣ２については、選択制御信号がＨｉの間、まず、加算回路５０２の出力である信号Ｂ＋Ｃ１がアドレス２へ記憶される。そして、次のタイミングで、画像信号Ｃ１とＣ２が加算された信号Ｃ１＋Ｃ２が記憶部５０４のアドレス２へ記憶される。これにより、アドレス２には最終的に信号Ｃ１＋Ｃ２が記憶されることになる。なお、アドレスは、指示情報が焦点調節領域を示している間、同じアドレスが２回ずつ出力される。

記憶部制御信号（読み出し）は、上述したようにして記憶部５０４に書き込まれた信号を読み出す際の記憶部５０４のアドレスを簡易的に示したものであり、演算制御部５０５から出力される。このアドレスに従って、表示記録画像信号として、記憶部５０４から画素２０３単位の信号が読み出される。以下同様の処理を行うことで、撮像素子１０３から出力された画像信号から表示記録画像を生成することが可能となる。なお、図６に示す例では、全てのアドレスから画像信号を出力する場合について示しているが、表示装置に出力する場合など、解像度を落とす必要がある場合には、記憶部５０４から間引き読み出しをしたり、加算読み出しなどを行う。

上記のように、撮像素子１０３の１ラインあたりにラインメモリ３０６に読み出される信号数は、光電変換部の数、すなわち、画素の数の２倍となる。しかしながら、そのうち、焦点調節領域以外の画素に関しては、タイミング制御回路３０７で信号を２つずつ加算してから出力されるため、加算せずにそれぞれ読み出す場合と比べて、読み出す時間を半分にすることができる。

図４に戻り、Ｓ１０２において、表示記録画像が生成されて、たとえばタッチパネルなどに代表される表示装置を兼ねた不図示の入力デバイスに表示されると、図３を参照して説明したようにして、焦点調節領域の指定を受け付ける。そして、Ｓ１０３において、焦点調節領域決定部１０７は、外部入力部１１０から送られてくる外部入力情報に応じて焦点調節領域を決定する。そして、Ｓ１０４において、指示情報生成部１０６は、焦点調節領域情報を基に、撮像素子１０３及び信号演算部１０４に対する指示情報を生成する。

そしてＳ１０５において、撮影が終了したかどうかを判定する。終了した場合は本フローから抜け、終了でない場合は、Ｓ１０１へ戻り、Ｓ１０４で生成した指示情報に基づき、上述した処理を繰り返す。以下、撮影終了まで（Ｓ１０５でＹＥＳとなるまで）この一連の流れが繰り返される。

撮像素子１０３から出力された画像信号は、位相差算出部１０５にも入力され、入力された画像信号を基に、位相差方式の焦点調節ＡＦで用いる位相差が算出される。図７は、位相差算出部１０５の内部構成を示すブロック図である。図７において、７０１は、撮像素子１０３から読みだされた画像信号から、焦点検出領域内の画素の光電変換部ＰＤ１、ＰＤ２の画像信号を判別する判別部である。判別部７０１は、指示情報生成部１０６で生成された、焦点検出領域を示す指示情報に基づいて選択するように構成することも可能であるが、指示情報を用いずに、次のようにして判別するように構成することもできる。即ち、撮像素子１０３から出力されるデジタル化された画像信号に対して、タイミング制御回路３０７において隣り合う２つの光電変換部ＰＤ１、ＰＤ２の出力信号を加算したか否かを判別できるような１bitの情報を付加しておく。この１bitの情報を解析することで判別するように構成することも可能である。

７０４は判別された画素信号を記憶する記憶部、７０２は相関演算部であり、記憶部７０４に記憶された画素信号のうち、光電変換部ＰＤ１の画像信号に基づく画像と、光電変換部ＰＤ２の画像信号に基づく画像間の相関演算を行い、位相差評価値を算出する。そして、求めた位相差評価値を、被写体までの距離情報として、ＡＦ制御部１０９に出力する。

位相差算出部１０５からの位相差評価値に基づいて、ＡＦ制御部１０９は目標フォーカス位置を決定し、現在のフォーカス位置からの移動方向及び移動量をフォーカス情報として、光学系駆動部１０２に渡す。

なお、焦点調節領域内の光電変換部ＰＤ１の画像信号に基づく画像と、光電変換部ＰＤ２の画像信号に基づく画像との位相差評価値に基づくＡＦ制御は、公知の位相差方式のＡＦ制御と同様であるので、ここでは詳細説明は省略する。

上記の通り本第１の実施形態によれば、焦点調節領域内の画素については、光電変換部ＰＤ１、ＰＤ２の画像信号をそれぞれ読み出し、焦点調節領域外の画素については、光電変換部ＰＤ１、ＰＤ２の画像信号を画素毎に加算して読み出す。これにより、撮像素子内の任意の領域に焦点調節領域を設定できると共に、焦点調節のための位相差の算出に必要な信号を取得しながら、光電変換部ＰＤ１、ＰＤ２の画像信号を常にそれぞれ読み出す場合と比較して、読み出し時間を短縮することができる。そして、撮像素子から出力される画像信号の出力レートを上げることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図８は、第２の実施形態における撮像装置の概略構成を示すブロック図である。上述した第１の実施形態では、外部入力部１１０を介してユーザが指定した焦点調節領域を入力していたのに対し、本第２の実施形態では、撮像装置が自動的に焦点調節領域を決定するところが異なる。これに伴い、図１に示す外部入力部１１０及び焦点調節領域決定部１０７の代わりに、図８ではエッジ成分検出部８０１が追加されたところが異なる。それ以外の構成は、図１と同様であるので、同じ参照番号を付して説明を省略する。

本第２の実施形態においては、信号演算部１０４から出力される表示映像記録画像を基に、エッジ成分検出部８０１は画像信号に含まれるエッジ成分を検出し、検出したエッジ成分から焦点調節領域を決定し、焦点調節領域情報を出力する。

図９は、エッジ成分検出部８０１の構成を示すブロック図であり、エッジ検出及びそれに基づいた焦点調節領域を決定するブロックから構成される。９０１は表示記録画像から、信号レベルの勾配値を算出する微分フィルタであり、例えば、既知のSobelフィルタで構成することができる。９０２は、算出された勾配値を絶対値化する絶対値算出部である。９０３は、分割領域毎に各画素の勾配値の絶対値を積算し、分割領域勾配値を求める分割領域絶対値算出部である。なお、ここでいう分割領域とは、例えば表示記録画像を縦横にＮｘＭに均等分割することで決定される区画を示している。９０５は、各分割領域の勾配値の絶対値を記憶する記憶部、９０４は、分割領域勾配値と予め定められた指標とに基づいて焦点調節領域を決定し、焦点調節領域情報として指示情報生成部１０６へ送る焦点調節領域判定部である。

上述した構成を有するエッジ成分検出部８０１を用いる本第２の実施形態においては、第１の実施形態において図４のＳ１０３において行われた焦点調節領域の決定処理の代わりに、図１０に示す、エッジ検出結果に基づく焦点調節領域決定処理が行われる。それ以外の処理は、図４を参照して説明した処理と同様であるため、ここでは説明を省略する。

図１０は、エッジ成分の検出及び焦点調節領域の決定処理のフローチャートである。エッジ成分の検出処理が開始されると、Ｓ２０１において、微分フィルタ９０１で画素毎に勾配値を算出し、絶対値算出部９０２において、算出された勾配値の絶対値を画素毎に算出する。Ｓ２０２では、分割領域絶対値算出部９０３において、絶対値化された画素毎の勾配値を分割領域毎に積算し、分割領域勾配値を算出する。Ｓ２０３で、記憶部９０５に分割領域勾配値を記憶し、Ｓ２０４で記憶部９０５に記憶された分割領域勾配値を基に、焦点調節領域を判定する。ここでは、算出された分割領域勾配値の平均値を閾値とし、該閾値と各分割領域絶対値とを比較して、閾値より大きい分割領域を焦点調節領域候補とする。あるいは、分割領域絶対値の平均値ではなく、予め定められた閾値を用いて焦点調節領域候補を決定してもよい。

図１１は、焦点調節領域判定後の表示記録画像を示している。１１０１は前述した分割領域を示しており、水平８ｘ垂直７の計５６の分割領域に分割され、表示記録画像は図のようなおおまかな区分けが成されている。１１０２は、分割領域絶対値が閾値より大きい分割領域、すなわち、焦点調節領域候補を灰色で示している。このように決定された焦点調節領域候補を含む矩形１１０３の領域が焦点調節領域として決定され、焦点調節領域情報として指示情報生成部１０６へ送られる。

上記の通り本第２の実施形態によれば、撮像して得られた画像からエッジ成分の検出を行って自動的に焦点調節領域を決定するので、ユーザの手を煩わすことなく、第１の実施形態と同様の効果を得ることができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１２は、第３の実施形態における撮像装置の概略構成を示すブロック図である。上述した第２の実施形態では、表示記録画像から検出されたエッジ成分に基づいて焦点調節領域を決定していたのに対し、本第３の実施形態では、表示記録画像に含まれる主被写体の顔を検出し、検出した顔に基づいて焦点調節領域を決定するところが異なる。これに伴い、図８に示すエッジ成分検出部８０１の代わりに、図１２では被写体顔検出部１２０１が追加されたところが異なる。それ以外の構成は、図８と同様であるので、同じ参照番号を付して説明を省略する。

本第３の実施形態においては、被写体顔検出部１２０１は、表示記録画像から被写体の顔を検出し、その顔が含まれる領域を焦点調節領域として決定し、焦点調節領域情報を出力する。

図１３は、被写体顔検出部１２０１の構成を示すブロック図である。１３０１は被写体の顔を検出する顔検出部であり、少なくとも検出した被写体の顔の大きさおよび顔の位置情報を出力する。なお、顔検出方法としては様々な方法が知られており、どのような方法を用いても構わない。１３０２は、顔検出部１３０１から出力された顔の大きさおよび顔の位置情報を基に、焦点調節領域を決定する焦点調節領域判定部である。

図１４は、被写体顔検出部１２０１により検出された顔と、決定された焦点調節領域を示している。１４０１は、顔検出部１３０１によって検出された顔の位置と顔のサイズを示し、１４０２は、顔の位置と顔のサイズに基づいて決定された焦点調節領域を示している。焦点調節領域の決定の仕方としては、例えば、検出された顔を含む、表示記録画像を縦横にＮｘＭに均等分割することで決定される分割領域を焦点調節領域として決定しても良い。また、顔の領域そのものを焦点調節領域としたり、中央部分が検出された顔の領域の中心と重なるような、予め決められた大きさの焦点調節領域を決定するなど、別の方法により決定しても良い。被写体顔検出部１２０１は、このようにして決定された焦点調節領域の焦点調節領域情報を指示情報生成部１０６へ渡す。

上述した検出した顔に基づく焦点調節領域の決定処理は、第１の実施形態において図４のＳ１０３において行われた焦点調節領域の決定処理の代わりに行われる。それ以外の処理は、図４を参照して説明した処理と同様であるため、ここでは説明を省略する。

上記の通り第３の実施形態によれば、第１の実施形態と同様の効果に加えて、自動的に主被写体の顔に対して精度よく焦点調節を行うことができる。

なお、上記第３の実施形態では、主被写体の顔（人物の顔）を検出する場合について説明したが、本第３の実施形態はこれに限るものではなく、ペットや車など、予め決められた被写体を検出するようにしてもよい。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図１５は、第４の実施形態における撮像装置の概略構成を示すブロック図である。上述した第２の実施形態では、表示記録画像から検出されたエッジ成分に基づいて、また、上述した第３の実施形態では、表示記録画像から検出された主被写体の顔に基づいて焦点調節領域を決定した。これに対し、本第４の実施形態では、表示記録画像からコントラスト値の大きい領域を検出し、検出した領域を焦点調節領域とするところが異なる。これに伴い、図１５ではコントラスト検出部１５０１を有するところが、図１、図８及び図１２と異なるが、それ以外の構成は同様であるので、同じ参照番号を付して説明を省略する。

図１６は、コントラスト検出部１５０１の構成を示すブロック図である。１６０１は、分割領域毎に標準偏差を算出する標準偏差算出部である。なお、ここでいう分割領域とは、例えば表示記録画像を縦横にＮｘＭに均等分割することで決定される区画を示している。標準偏差算出部１６０１は、各区画内の画素レベルの標準偏差、すなわち画素レベルの明暗の差を算出する。１６０３は、算出された各分割領域における標準偏差を記憶する記憶部、１６０２は、各分割領域の標準偏差と予め定められた指標値に基づいて、焦点調節領域を決定し、焦点調節領域情報を指示情報生成部へ送る焦点調節領域判定部である。

上述した構成を有するコントラスト検出部１５０１を用いる本第４の実施形態においては、第１の実施形態において図４のＳ１０３において行われた焦点調節領域の決定処理の代わりに、図１７に示す、コントラスト値に基づく焦点調節領域決定処理が行われる。それ以外の処理は、図４を参照して説明した処理と同様であるため、ここでは説明を省略する。

コントラスト検出が開始されると、Ｓ４０１において、標準偏差算出部１６０１において、分割領域毎に標準偏差が算出される。そして、Ｓ４０２で、記憶部１６０３に算出した各分割領域の標準偏差を記憶し、Ｓ４０３で、記憶部１６０３に記憶された各分割領域の標準偏差を基に、焦点調節領域を判定する。ここでは、算出された分割領域の標準偏差の平均値を閾値とし、該閾値と各分割領域の標準偏差を比較して、閾値より大きい分割領域を焦点調節領域候補とする。あるいは、各分割領域の標準偏差の平均値ではなく予め定められた閾値を用いて焦点調節領域候補を決定してもよい。

図１８は、焦点調節領域判定後の表示記録画像を示している。１８０１は前述した分割領域を示しており、水平８ｘ垂直７の計５６の分割領域に分割され、表示記録画像は図のようなおおまかな区分けが成されている。１８０２は、分割領域絶対値が該閾値より大きい分割領域、すなわち、焦点調節領域候補を灰色で示している。このように決定された焦点調節領域候補を含む矩形１８０３の領域が焦点調節領域として決定され、焦点調節領域情報として指示情報生成部１０６へ送られる。

上記の通り、本第４の実施形態によれば、撮影して得られた画像から、焦点調節に適したコントラストの高い部分を含む領域を自動的に焦点調節領域として決定するので、第１の実施形態と同様の効果に加えて、精度の高い焦点調節を行うことができる。

Claims (8)

1. 各画素が、光学系の射出瞳の異なる領域を通過した光束を受光して、瞳分割された画像信号を出力する複数の光電変換部を有する、複数の画素と、各光電変換部から出力された瞳分割された画像信号をそれぞれ記憶する記憶手段と、前記記憶手段に記憶された前記瞳分割された画像信号をそれぞれ出力するか、または画素毎に加算して出力するかを切り替える制御手段とを有する撮像素子と、
   前記撮像素子から出力される画像信号の画像を用いて、前記撮像素子における焦点調節を行う対象領域である焦点調節領域を決定する決定手段と、
   前記焦点調節領域内の画素から出力された前記瞳分割された画像信号に基づいて、位相差方式の焦点調節制御を行う焦点調節手段とを有し、
   前記制御手段は、前記焦点調節領域内の画素から出力された前記瞳分割された画像信号をそれぞれ出力し、前記焦点調節領域外の画素から出力された前記瞳分割された画像信号を画素毎に加算して出力するように切り替えることを特徴とする撮像装置。
2. 前記撮像素子から出力された画像信号のうち、前記焦点調節領域内の前記瞳分割された画像信号を画素毎に加算すると共に、前記焦点調節領域外の画像信号をそのまま出力する信号演算手段を更に有し、
   前記決定手段は、前記信号演算手段から出力された画像信号の画像を用いることを特徴とする請求項１に記載の撮像装置。
3. 前記焦点調節領域をユーザが指定するための入力手段を更に有し、
   前記決定手段は、前記入力手段からの入力に基づいて、前記焦点調節領域を決定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記信号演算手段から出力された画像信号に基づいて、画像のエッジ成分を検出するエッジ検出手段を更に有し、
   前記決定手段は、前記エッジ成分が検出された領域を含む領域を、前記焦点調節領域として決定することを特徴とする請求項２に記載の撮像装置。
5. 前記信号演算手段から出力された画像信号に基づいて、予め決められた被写体を検出する検出手段を更に有し、
   前記決定手段は、前記被写体が検出された領域を含む領域を、前記焦点調節領域として決定することを特徴とする請求項２に記載の撮像装置。
6. 前記予め決められた被写体は人物の顔であることを特徴とする請求項５に記載の撮像装置。
7. 前記信号演算手段から出力された画像信号に基づいて、コントラストが予め設定された閾値よりも高い領域を検出するコントラスト検出手段を更に有し、
   前記決定手段は、前記コントラスト検出手段が検出した領域を含む領域を、前記焦点調節領域として決定することを特徴とする請求項２に記載の撮像装置。
8. 各画素が、光学系の射出瞳の異なる領域を通過した光束を受光して、瞳分割された画像信号を出力する複数の光電変換部を有する、複数の画素と、各光電変換部から出力された瞳分割された画像信号をそれぞれ記憶する記憶手段と、前記記憶手段に記憶された前記瞳分割された画像信号をそれぞれ出力するか、または画素毎に加算して出力するかを切り替える制御手段とを含む撮像素子を有する撮像装置の制御方法であって、
   決定手段が、前記撮像素子から出力される画像信号の画像を用いて、前記撮像素子における焦点調節を行う対象領域である焦点調節領域を決定する決定工程と、
   前記制御手段が、前記焦点調節領域内の画素から出力された前記瞳分割された画像信号をそれぞれ出力し、前記焦点調節領域外の画素から出力された前記瞳分割された画像信号を画素毎に加算して出力するように切り替える制御工程と、
   焦点調節手段が、前記焦点調節領域内の画素から出力された前記瞳分割された画像信号に基づいて、位相差方式の焦点調節制御を行う焦点調節工程と
   を有することを特徴とする撮像装置の制御方法。

Images