JP2019161329A - 撮像装置 - Google Patents

Abstract

【課題】 測光及び焦点検出各々に対して適した画素毎或いは画素グループ毎の露光時間を設定すること。【解決手段】 画素毎或いは画素グループ毎に露光時間を変更可能な撮像手段と、撮像手段により得られた撮影画像から測光値を演算する測光値演算手段と、撮像手段により得られた撮影画像から焦点検出を行う焦点検出手段と、画素或いは画素グループ毎の露光時間を、測光値に基づいて露光時間を設定する露光時間設定手段と、撮像手段の画素毎或いは画素グループ毎の露光時間を、露光時間設定手段の設定値に基づいて制御する露光時間制御手段と、を有し、測光値に基づく露光時間の設定値は、測光用と、焦点検出用とで異なることを特徴とする構成とした。【選択図】 図１

Description

本発明は、撮像画素或いは画素グループ単位の露光制御を行う撮像装置に関する。

従来、撮像素子の各画素に対する露光時間を制御して、撮影画像のダイナミックレンジを拡大する手法が提案されている。例えば、特許文献１では、画素グループ毎に露光時間を変更可能な撮像素子により、画素グループ毎の測光値を評価し、該測光値評価結果に基づいて画素グループ毎の露光時間を決定する方法が開示されている。明るい被写体露出領域では露光時間を短くし、暗い被写体露出領域では露光時間を長くすることで、ダイナミックレンジを拡大する事が出来る。

一方で、特許文献２には、撮影画像のスルー画像を表示するライブビュー撮影において、焦点検出画素グループの露光時間を表示画素グループの露光時間とは独立して変更する事で、ライブビュー表示に影響を与えることなく、焦点検出画素グループの露出を適正化する手法が開示されている。焦点検出用の画素と表示用の画素を別々に有する撮像素子では、ライブビュー表示を行いながら焦点検出用画素を使用して合焦状態を算出し、ＡＦ（オートフォーカス）制御を行うことができる。しかしながら、画素グループ毎に露光時間を変更できない撮像素子では、ＡＦに最適な露出条件に設定すると、表示にとっては最適と言えず、影響を及ぼすことがあった。特許文献２の手法により、この課題を解決できる。

特開２０１２−１７５２３４号公報 特開２００９−４９８５８号公報

しかしながら、上述の特許文献に開示された従来技術では、測光或いは焦点検出各々に適した露光時間設定に関しては議論されていない。本来、測光及び焦点検出には各々適した露光時間を存在する。

そこで、本発明の目的は、測光及び焦点検出各々に対して適した画素毎或いは画素グループ毎の露光時間を設定することを可能にした撮像装置を提供することである。

本発明の一側面としての撮像装置は、画素毎或いは画素グループ毎に露光時間を変更可能な撮像手段と、前記撮像手段により得られた撮影画像から測光値を演算する測光値演算手段と、前記撮像手段により得られた撮影画像から焦点検出を行う焦点検出手段と、前記画素或いは画素グループ毎の露光時間を、前記測光値に基づいて露光時間を設定する露光時間設定手段と、前記撮像手段の画素毎或いは画素グループ毎の露光時間を、前記露光時間設定手段の設定値に基づいて制御する露光時間制御手段と、を有し、前記測光値に基づく露光時間の設定値は、測光用と、焦点検出用とで異なることを特徴とする。

本発明によれば、測光及び焦点検出各々に対して適した画素毎或いは画素グループ毎の露光時間を設定することができる。

本発明の実施例１に係る撮像装置の処理動作を示すフローチャートである。 本発明の実施例に係る撮像装置の構成を示すブロック図である。 本発明の実施例に係る撮像素子の画素構成、回路、及び露光制御処理を示す図である 本発明の実施例に係る１フレームの撮影で表示及び測光用画像と焦点検出用画像を取得する方法を示す図である 本発明の実施例に係るプリ測光モードにおける画素グループ毎の露光時間制御方法を示す図である 本発明の実施例に係る測光値、露光時間、画素出力値の関係を示すグラフである 本発明の実施例に係る測光値と露光時間の関係を示す図である 本発明の実施例に係る１フレームで表示及び測光用画像と焦点検出用画像を取得する方法と、１フレーム毎交互に表示及び測光用画像と焦点検出用画像を取得する方法との差異を説明するためのタイムチャートである 本発明の実施例２に係る撮像装置の処理動作を示すフローチャートである。 本発明の実施例２に係る撮像装置の第１の画像領域と第２の画像領域を説明するための図である

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（撮像装置の構成）
図２は本発明の第１の実施形態に係る表示装置を備えたレンズユニット交換式撮像装置１００の構成を示すブロック図である。

１２０は撮像装置１００全体を制御するシステム制御部である。１２１は撮像素子であり、例えばＣＭＯSイメージセンサなどによって構成される。レンズ２１０、絞り２１１、レンズマウント１０２及び２０２、シャッター１４４を介して不図示の被写体の光学像が結像し、その光学像を電気信号に変換する。なお、本撮像素子１２１は、撮像面位相差ＡＦを可能にするための画素部をアレイ状に並べている。また、本撮像素子は、画素グループ毎の露光時間制御を可能にしている。説明は後述する。

１２２はＡ／Ｄ変換部であり、撮像素子１２１のアナログ信号出力をデジタル信号に変換する。Ａ／Ｄ変換部１２２でＡ／Ｄ変換されたデジタル信号は、メモリ制御部１２５及びシステム制御部１２０により制御され、メモリ１２６に格納される。Ａ／Ｄ変換部は撮像素子１２１と同一チップ上の構成としてもよいし、撮像素子１２１と異なるチップ上にある構成としてもよい。

１１９は撮像素子１２１の露光時間制御部であり、システム制御部からの指示に従い、画素グループ毎の露光時間を変更するための制御信号を撮像素子１２１に出力する。詳細は後述する。

１２３は画像処理部であり、Ａ／Ｄ変換部１２２でＡ／Ｄ変換されたデジタル信号のデータ或いはメモリ制御部１２５からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理部１２３は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路も備える。メモリ１２６に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１２６に書き込むことも可能である。ディスプレイ１５３及びＥＶＦ１５１の表示画像データを生成し、明るさ調整、コントラスト調整、ガンマ補正、カラーバランス調整等の種々の画像処理を行うことも可能である。

１２４はＡＥ演算部である。ＡＥ（自動露出）処理を行うために、撮影画像から測光値を演算することができる。ＡＥ処理の詳細については、後述する。

１２５はメモリ制御部である。Ａ／Ｄ変換部１２２、画像処理部１２３、ＡＥ演算部１２４、ＡＦ信号処理部１２９、露光時間算出部１３０、顔検出部１５６、動き量検出部１５７、ディスプレイ駆動部１５２、ＥＶＦ駆動部１５０、外部着脱メモリ部１２８とメモリ１２６間のデータ送受を制御する。Ａ／Ｄ変換部１２２のデータが画像処理部１２３、メモリ制御部１２５を介して、或いはＡ／Ｄ変換部１２２のデータが直接メモリ制御部１２５を介して、メモリ１２６に書き込まれる。

１２６は撮影した静止画像及び動画像、再生用表示のための画像のデータを格納するためのメモリであり、所定枚数の静止画像や動画像を格納するのに十分な記憶量を備える。なお、メモリ１２６はシステム制御部１２０のプログラムスタック領域、ステータス記憶領域、演算用領域、ワーク用領域、画像表示データ用領域が確保されている。各種の演算は、メモリ１２６の演算用領域を利用し、システム制御部１２０により実行される。

１２７は電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリやＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１２７には、撮影状態の保存や、撮像装置１００を制御するプログラムが格納されている。

１２９はＡＦ信号処理部であり、撮像素子１２１からＡ／Ｄ変換部１２２を通して出力されるＡＦ用の２つの像信号を基に、相関演算を行い、デフォーカス量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。算出したデフォーカス量と、信頼性情報をシステム制御部１２０へ出力する。ＡＦ処理の詳細については、後述する。

１２８はコンパクトフラッシュ（登録商標）やＳＤカードといった記録媒体に画像ファイルの記録や読出を行うための外部着脱メモリ部である。

１３１は電源部であり、電池、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また、検出結果及びカメラ制御部１４０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、各ブロック部へ供給する。

１４０はカメラ制御部であり、シャッター制御部１４１、レンズ制御部２０４、ストロボ発光制御部３０２との送受信によりカメラとしての一連の動作を制御する。また、カメラ全体の電源制御や、カメラの動作モードの遷移制御を行う。

１４１はシャッター制御部であり、ＡＥ演算部１２４からの露出情報に基づいて、絞り２１１を制御するレンズ制御部２０３と連携しながら、シャッター１４４を制御する。

１３２、１３３、１３４、１３５、１３６、１３７及び１３８は、カメラ制御部１４０への各種の動作指示を入力するための操作手段である。操作手段は、スイッチやダイヤル、等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。１３２は再生表示スイッチであり、ディスプレイ１５３に所定の画像データを表示する再生表示モード操作ができる。外部着脱メモリ部１２８に格納された画像ファイルを再生表示する場合は、必ずこの再生スイッチ１３２により操作する。また、再生表示モードにてこの操作が行われた場合には、再生表示モードから撮影モードへの切り替えができる。

１３３はメニュースイッチであり、ディスプレイ１５３に各種項目一覧を表示する。この表示内容としては撮影に関する状態設定、記録媒体のフォーマット、時計の設定、現像パラメータ設定、及びユーザ機能設定（カスタム機能の設定）がある。

１３４はモードダイアルである。自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、ポートレート撮影モード、風景撮影モード、スポーツ撮影モード、夜景撮影モード、動画モード等の各機能撮影モードを切り替えることができる。

１３５はレリーズスイッチであり、レリーズスイッチの半押し（ＳＷ１）及び全押し（ＳＷ２）で各々ＯＮとなるスイッチである。半押し状態ではＡＦ処理、ＡＥ処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作開始を指示する。全押し状態では、撮像素子１２１から読み出した信号をＡ／Ｄ変換部１２２、メモリ制御部１２５を介してメモリ１２６に画像データを書き込む撮像処理、画像処理部１２３やメモリ１２６での演算を用いた現像処理を行う。さらに、メモリ１２６から画像データを読み出し、画像処理部１２３で圧縮を行い、外部着脱メモリ部１２８に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

１３６は各種ボタンスイッチからなる操作部であり、撮影モード、連写モード、セット、マクロ、ページ送り、フラッシュ設定、メニュー移動、ホワイトバランス選択、撮影画質選択、露出補正、日付/時間設定ができる。さらにライブビュー撮影開始及び停止を行うスイッチや、上下左右方向スイッチ、再生画像のズーム倍率変更スイッチ、撮影直後に撮影画像を自動再生するクイックレビューＯＮ／ＯＦＦスイッチ、再生画像を消去するスイッチがある。ディスプレイ１５３及びＥＶＦ１５１の画像表示ＯＮ／ＯＦＦスイッチも兼ねている。

その他、レリーズスイッチ半押し状態でＡＦの合焦状態を保ち続けるワンショットＡＦモードと、連続してＡＦ動作を続けるサーボＡＦモードとを設定するＡＦモード設定スイッチ等がある。また上下左右方向スイッチを使って、ＥＶＦ１５１やディスプレイ１５３に表示される、現在オートフォーカスが行われている測距点を示す枠（ＡＦ枠）を移動することができる。また、ＡＦ設定を１点選択、ゾーン選択、或いは自動多点選択のいずれにするか選択するＡＦ領域選択スイッチがある。

ここで、１点選択とは、ユーザが任意のＡＦ枠を１点選択できる機能である。また、ゾーンＡＦとは、ＡＦ枠全体を複数のゾーンに分け、ユーザが選択したゾーンの中の何れか１点のＡＦ枠をカメラが選択し、選択したＡＦ枠に基づいて焦点調節する機能である。一方で自動多点選択とは、カメラ側が被写体の構図に合わせて自動で複数のＡＦ枠を選択する機能である。

１３７は電子ダイヤルであり、シャッタースピード、絞り値、露出等を設定することができる。１３８は電源スイッチであり、撮像装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、撮像装置１００に接続されたレンズユニット２００、ストロボユニット３００、記録媒体等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。１３９はタイマーであり、時計機能、カレンダー機能、タイマーカウンター機能、アラーム機能があり、スリープモードへの移行時間や、アラーム通知等のシステム管理に用いられる。

１５０はＥＶＦ駆動部であり、ＥＶＦ１５１を駆動するための駆動タイミング信号を供給する。１５１はＥＶＦであり、有機ＥＬ型や液晶型等により構成される。後述のディスプレイ１５３と同様に、システム制御部１２０の指示により、メニュー画面、画像ファイル、ライブビュー表示等が可能である。ディスプレイ１５３及びＥＶＦ１５１は、操作ボタン１３６等により各々の表示を独立にＯＮ／ＯＦＦ制御することが可能であり、同時に表示することも当然のことながら可能である。ＥＶＦ１５１には、ＡＦ枠や、カメラの設定状態を表すアイコンなどを表示することができる。

１５２はディスプレイ駆動部であり、ディスプレイ１５３を駆動するための駆動タイミング信号を供給する。１５３はディスプレイであり、有機ＥＬ型や液晶ディスプレイ型等により構成される。１５４はバックライト照明であり、ＬＥＤや蛍光管、有機ＥＬ等の光源及び光を面発光にするための導光板、反射板、拡散板から構成されている。ディスプレイ１５３の背面に固定されており、ディスプレイ１５３を背面から投光する。ディスプレイ１５３には、ＡＦ枠や、カメラの設定状態を表すアイコンなどを表示することができる。

１５５はタッチパネルであり、ディスプレイ１５３の上に設置されている。タッチ検出方式としては、抵抗膜方式、静電容量方式、光学式方式等が使用される。１５６は顔検出部であり、撮影画像から顔領域を検出することができる。以下に顔検出方法について説明する。システム制御部１２０は、顔検出対象の画像データを顔検出部１５６に送る。システム制御部１２０の制御下で顔検出部１５６は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部１２０の制御下で顔検出部１５６は処理された画像データに垂直方向バンドパスフィルタを作用させる。

これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。その後、顔検出部１５６は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。顔検出部１５６は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ１２６に記憶する。

１５７は動き量検出部であり、連続した２枚の静止画像を動き検出手段である動き量検出部１５７に入力すると、２枚の撮像画像の中に写っている被写体がどのように動いたかを動き情報（動きベクトル）として検出することができる。

１０２及び２０２はレンズマウントであり、撮像装置１００をレンズユニット２００と接続するためのインターフェイスである。１０１及び２０１は撮像装置１００をレンズユニット２００と電気的に接続するコネクタであり、カメラ制御部１４０により制御される。
１１１及び３０１はアクセサリシューであり、撮像装置１００をストロボユニット３００と接続するためのインターフェイスである。

２００は交換レンズタイプのレンズユニットであり、不図示の被写体の光学像をレンズ２１０から、絞り２１１、レンズマウント２０２及び１０２、シャッター１４４を介して導き、撮像素子１２１上に結像することができる。

２０３はレンズユニット２００全体を制御するレンズ制御部である。レンズ制御部２０３は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット２００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発メモリの機能も備える。レンズ制御部２０３は、画像演算部１２４より測定された画像の合焦状態に応じて、レンズ２１０のフォーカシングを制御し、撮像素子１２１に入射する被写体像の結像位置を変更することでＡＦ動作を行うことが可能である。また、レンズ制御部２０３は絞り２１１の制御や、レンズ２１０のズーミングを制御する機能も兼ね備える。

３００はアクセサリシュー１１１に接続するストロボユニットである。３０１はアクセサリシュー１１１内において、ストロボユニット３００と撮像装置１００と電気的に接続するインターフェイスである。３０２はストロボユニット３００全体を制御するストロボ発光制御部であり、不図示のキセノン管等の発光部に対し、ＡＥ演算部１２４らの露出情報に基づいて発光量や発光タイミングを制御することでＥＦ制御を行う。

（撮像素子の構成）
図３に撮像素子１２１の受光面の一部を示す。撮像素子１２１は、撮像面位相差ＡＦを可能にするために、一つのマイクロレンズに対して光電変換手段として受光部であるフォトダイオードを２つ保持している画素部をアレイ状に並べている。これにより、各画素部で、レンズユニット２００の射出瞳を分割した光束を受光することが可能になっている。

図３（ａ）は、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを２つ保持している画素部例である。こうした構成を有する画像センサーは、各画素部から位相差ＡＦ用の２つの信号（以下、Ａ像信号、Ｂ像信号ともいう）を出力できるようになっている。また、２つのフォトダイオードの信号を加算した表示用や撮像の記録用の信号（Ａ像信号＋Ｂ像信号）も出力できるようになっている。

更に、撮像素子１２１は、１フレーム間の撮影にて、ディスプレイ１５３或いはＥＶＦ１５１に表示するための表示用及び測光用の測光画素と、ＡＦに使用するＡＦ用画素を同時に取得する事が可能である。図４を用いて詳細を説明する。４００は１フレームで取得される撮影画像全体を表している。取得可能な撮影画像の画素数は、表示に必要な画素数に比べて十分に多い。４０１は４００の一部の画素領域の拡大図を示しており、図３（ａ）に示す画素配列となっている。

４０２は表示及び測光用の画素グループである。一方、４０３はＡＦ用の焦点検出用画素グループである。表示に必要な最低画素数を上回る画素が４０２として確保され、残りの画素は４０３に割り当てられる。この時、本撮像素子はどの画素でもＡ像信号及びＢ像信号を読み出せるため、４０３で示すＡＦ用画素グループは、撮影モード毎に違う画素グループを割り当てる構成としても構わない。

次に撮像素子１２１による読み出し方法について説明する。まず撮像素子１２１は、４０３で示すＡＦ用画素グループを間引き、４０２で示す画素グループのみの読み出し１が実施される。この時、２つのフォトダイオードの信号を加算したＡ像信号＋Ｂ像信号の形式で読み出される。また、４０２は表示画素に用いるには列方向に余分な画素が存在する。そこで、表示に必要な最低画素数分確保できるように、列方向に加算した画素を読み出す。例えば撮像素子の有効画素数が表示に必要な画素数の２倍あれば、隣接列を加算して１／２の数の画素列を読み出す。読み出し１により、４０５に示す表示及び測光用画像を取得する事が出来る。

次に、撮像素子１２１は、４０３で示すＡＦ用画素グループのみの読み出し２を実施する。このとき、まずＡ像信号＋Ｂ像信号の形式で読み出され、４０６に示す焦点検出用Ａ像＋Ｂ像画像を取得する。次に、４０３で示すＡＦ用画素グループのみの読み出し２を、Ｂ像画素のみ対象として実施する。ＡＦ信号処理部１２９にて、先に読みだされたＡ＋Ｂ像画像から、後に読みだされたＢ像画像を減算する事により、Ａ像画像を取得することができる。以上の過程により、４０７に示す焦点検出用Ａ像画像と、４０８で示す焦点検出用Ｂ像画像を取得する事が出来る。このような撮像素子１２１からの出力信号を使って、ＡＦ信号処理部１２９が２つの像信号の相関演算を行い、デフォーカス量や各種信頼性などの情報を算出する。

なお、図３では、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを２つ保持している画素部をアレイ状に並べている例を示した。この点、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを３つ以上保持している画素部をアレイ状に並べているようにしてもよい。また、マイクロレンズに対して受光部の開口位置が異なる画素部を複数有するようにしてもよい。つまり、結果としてＡ像信号とＢ像信号といった位相差検出可能な位相差ＡＦ用の２つの信号が得られるようになっていればよい。

（ＡＦ制御処理）
次に、システム制御部１２０が実行するＡＦ制御処理について説明する。本処理は、１フレーム画像を生成するための撮像素子１２１からの撮像信号の読み出し周期（垂直同期周期）で実行される。この点、垂直同期期間（以下、フレーム期間とも呼ぶ）内に複数回繰り返すようにしてもよい。

まずＡＦ信号処理部１２９により、Ａ像信号とＢ像信号を相対的にシフトさせて信号の一致度を表す相関量を演算する。

次に、相関量から、Ａ像とＢ像の像ずれ量を算出する。次に、像ずれ量からデフォーカス量を演算する。デフォーカス量は、その大きさが被写体像の結像位置から撮像面までの距離に相当する。デフォーカス量と像ずれ量には概ね比例の関係があり、像ずれ量からデフォーカス量を算出する事が可能である。この点、デフォーカス量は、合焦位置からの絶対的な距離やパルス数で規定してもよいし、そういった概念と次元、単位の異なる相対的な概念でもよい。どれだけ合焦状態から離れていると判断できるか、どれだけフォーカス制御すれば合焦状態に移行できると判断できるかを示す量であればよい。

次に、システム制御部１２０は、得られたデフォーカス量をカメラ制御部１４０に通知する。カメラ制御部１４０は、デフォーカス量に基づいてレンズ駆動量、および駆動方向を演算し、レンズ制御部２０４に駆動命令を発行する。レンズ制御部２０４は発行された駆動命令に従い、レンズ２１０を駆動する事でフォーカス位置を調節し、合焦状態とする。

（画素毎露光制御）
撮像素子１２１の画素部は図３（ｂ）に示すように、画素グループφ１、φ２、φ３、φ４等の、既定の画素グループ毎に異なるタイミングでリセット制御信号を与えることで、画素露光時間を変更する事が出来る。

各画素の構成を図３（ｃ）に示す。図３（ｃ）は、撮像素子１２１の一構成であるＣＭＯＳイメージセンサにおける画素構造を示しており、点線枠内が一画素に相当する。図３（ｃ）において、１００１はフォトダイオード（ＰＤ）、１００２、１００３、１００４、１００５はトランジスタ（ＭＯＳＦＥＴ）、１００６はフローティングディフュージョン（ＦＤ）を表している。また、ＲＥＳはリセット信号、ＴＸは転送信号、ＳＥＬは水平線選択信号、ＳＩＧは垂直線信号を表している。

撮像素子１２１は、まず画素電荷をリセットするため、リセット信号ＲＥＳを駆動してトランジスタ１００３をオンし、ＦＤ１００６内の蓄積電荷をリセットする。ＦＤ１００６の電位が十分にリセットレベルに達したところで、水平選択信号ＳＥＬによりトランジスタ１００５をオンする。これにより、ＦＤ１００６のリセットレベルに応じたトランジスタ１００４のソース電流が垂直信号線ＳＩＧに流れる。この結果、リセットレベルに相当する画素信号を得られる。

次に、リセット信号ＲＥＳによりトランジスタ１００３をオフにし、且つ水平選択信号ＳＥＬによりトランジスタ１００５をオフにする。そして、転送信号ＴＸによりトランジスタ１００２をオンにする。これにより、ＰＤ１００１に蓄積された電荷がＦＤ１００６へ転送される。この後、リセットレベル転送時と同じ手順で垂直信号線ＳＩＧにＦＤの電荷量に応じたトランジスタ１００４のソース電流を流すことで、ＦＤレベルに応じた画素信号を取得できる。

次に、後段の処理にて、先に保持されていたリセットレベルに相当する画素信号と、後に得たＦＤレベルに相当する画素信号の差分を得る。これにより、正確な画素信号を得ることができる。該画素信号の差分は差動アンプ等の回路で構成して取得しても良いし、Ａ／Ｄコンバータ１２２によりデジタル信号に変換した後、減算処理する構成としても構わない。

以上に示した回路構成とした場合、リセット信号ＲＥＳを駆動してＦＤ１００６内の蓄積電荷をリセットしてから、ＦＤ１００６の電荷を水平選択信号ＳＥＬにより垂直信号線ＳＩＧに伝達する読み出し動作までが、撮像素子１２１の露光時間となる。このため、各画素グループのリセットタイミングを可変とする回路構成にすることで、各画素グループの露光時間を変更する事が可能となる。図３（ｄ）に画素グループφ１、φ２、φ３、φ４の画素露光時間を可変にする例を示す。リセットタイミングを早い順にφ２、φ４、φ１、φ３とすることで、φ２＞φ４＞φ１＞φ３の関係にある露光時間を経ることができる。

本構成では、焦点検出用信号の組となる画素であるＡ像画素とＢ像画素は、各々同じ画素露光時間となるように画素グループを形成している。本構成とすることで、ＡＦ演算が容易になる特徴がある。以上、画素グループ毎の露光時間を変更する一構成例を示したが、本発明は画素毎の露光時間の制御方式によって制約を受けるものではない。画素グループ毎の露光時間が変更可能であれば、どのような方式であっても構わない。

（実施例１）
以下、図１を参照して、本発明の第1の実施例による、撮像装置１００のライブビュー撮影によるＡＥ制御及びＡＦ制御について説明する。撮像装置１００は電源を起動すると、ライブビュー撮影モードで起動する。

（撮影処理フロー）
ステップＳ１０１では、システム制御部１２０は、プリ測光モードに移行する。本モードにおいて、システム制御部１２０は、露光時間制御部１１９を通して、撮像素子１２１の各画素グループの露光時間を既定の露光時間に制御し、画像取得を実施する。プリ測光モードについては詳細を後述する。システム制御部１２０はメモリ制御部１２５に指示を出し、取得した画像をメモリ１２６に格納する。

ステップＳ１０２では、システム制御部１２０は、メモリ制御部１２５に指示を出し、ステップＳ１０１でメモリ１２６に格納されたプリ測光画像をＡＥ演算部１２４に送信する。ＡＥ演算部１２４は、受信したプリ測光画像から測光値を演算する。

ステップＳ１０３では、システム制御部１２０は、ステップＳ１０２で得られた測光値を露光時間算出部１３０に通知する。露光時間算出部１３０は、受信した測光値に基づき、各画素グループの露光時間を算出する。露光時間算出方法については後述する。

ステップＳ１０４では、システム制御部１２０は、露光時間制御部１１９を通して、撮像素子１２１の各画素グループの露光時間を、ステップＳ１０３或いはステップＳ１０８で算出した露光時間となるように制御する。

ステップＳ１０５では、システム制御部１２０は、撮像装置１００全体を制御し、撮影画像を取得する。システム制御部１２０はメモリ制御部１２５に指示を出し、取得した表示及び測光画像４０５、焦点検出用Ａ像画像４０７及び焦点検出用Ｂ像画像４０８を、メモリ１２６に格納する。

ステップＳ１０６では、システム制御部１２０は、メモリ制御部１２５に指示を出し、ステップＳ１０５でメモリ１２６に格納された表示及び測光画像４０５を画像処理部１２３に送信する。画像処理部１２３は受信した表示及び測光画像４０５を表示用にリサイズする。システム制御部１２０は、再びメモリ制御部１２５に指示を出し、リサイズが完了した表示用画像を、ＥＶＦ駆動部１５０を通してＥＶＦ１５１に送信する。ＥＶＦ駆動部１５０は、ＥＶＦ１５１を駆動し、ＥＶＦ１５１に該画像を表示する。尚、ディスプレイ駆動部１５２を通してディスプレイ１５３に表示用画像を表示する構成としても構わない。

ステップＳ１０７では、システム制御部１２０は、メモリ制御部１２５に指示を出し、ステップＳ１０５でメモリ１２６に格納された表示及び測光画像４０５を、ＡＥ演算部１２４に送信する。ＡＥ演算部１２４は、受信した表示及び測光画像４０５から測光値を演算する。

ステップＳ１０８では、システム制御部１２０は、ステップＳ１０７で得られた測光値を露光時間算出部１３０に通知する。露光時間算出部１３０は受信した測光値に基づき、各画素グループの露光時間をステップＳ１０３と同様に算出する。露光時間算出方法については後述する。

ステップＳ１０９では、システム制御部１２０は、メモリ制御部１２５に指示を出し、ステップＳ１０５でメモリ１２６に格納された焦点検出用Ａ像画像４０７及び焦点検出用Ｂ像画像４０８を、ＡＦ信号処理部１２９に送信する。ＡＦ１２９は、受信した焦点検出用Ａ像画像４０７及び焦点検出用Ｂ像画像４０８からデフォーカス量を演算する測距演算を実施する。演算結果はシステム制御部１２０に通知される。

ステップＳ１１０では、システム制御部１２０はＡＦ操作があったか否かを判断する。具体的には、ユーザがレリーズスイッチ１３５の半押し（ＳＷ１）すると、カメラ制御部１４０はＳＷ１を検知し、検知結果をシステム制御部１２０に通知する。通知を受けたシステム制御部１２０は、ＡＦ操作があったと判断する。ステップＳ１１０にてＡＦ操作があったと判断されれば、ステップＳ１１１に移行する。ＡＦ操作がないと判断されれば、ステップＳ１１２に移行する。

ステップＳ１１１では、システム制御部１２０はカメラ制御部１４０に、ステップＳ１０９で取得したデフォーカス量を通知する。カメラ制御部１４０は、受信したデフォーカス量に基づいてレンズ駆動量、および駆動方向を演算し、レンズ制御部２０４に駆動命令を発行する。レンズ制御部２０４は発行された駆動命令に従い、レンズ２１０を駆動する事でフォーカス位置を調節し、合焦状態とする。

ステップＳ１１２では、システム制御部１２０はライブビュー撮影の終了操作があったか否かを判断する。具体的には、ユーザが電源スイッチ１３８をオフにするか、レンズユニット２００を外すか、ライブビュー撮影終了に該当するスイッチ操作を行うか、或いは、タイマー１３９のカウントが既定値に達してスリープモードに移行する、等の条件がある。ステップＳ１１２にてライブビュー撮影の終了操作があったと判断されれば、本札処理フローを終了する。ライブビュー撮影の終了操作がないと判断されれば、ステップＳ１０４に戻る。

なお、本撮影処理フローにおいて、ステップＳ１０４からステップＳ１１２の処理は、１フレーム期間に相当する周期で行われることとなる。一方で、ステップＳ１０１からステップＳ１０３の処理は、１フレーム期間に相当する周期で行っても良いし、ステップＳ１０１からステップＳ１０３までの処理を複数フレーム期間繰り返して、後述する標準の露光時間を最適化した後、ステップＳ１０４に移行する方式としても良い。標準の露光時間を最適化することで、ステップＳ１０３での露光時間算出精度が向上する。

＜プリ測光モード＞
プリ測光モードとは、画素グループ毎の露光時間を既定の露光時間に設定して撮影し、合成する事で高ダイナミックレンジの画像を取得するモードである。ここで、プリ測光モードにおける画素グループ毎の露光時間制御のイメージ図を図５に示す。Ｄｅｆ．と記載された領域は、基準となる標準の露光時間で制御される画素グループである。

一方、−１ＥＶ、−２ＥＶと記載された画素グループは、Ｄｅｆ．の画素グループに比べて各々Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ（ＥＶ）を単位として−１ＥＶ、−２ＥＶだけ露光時間が短い。つまり、Ｄｅｆ．の画素グループに比べて各々１／２、１／４の露光時間になる。また、＋１ＥＶ、＋２ＥＶと記載された画素グループは、Ｄｅｆ．の画素グループに比べて各々＋１ＥＶ、＋２ＥＶだけ露光時間が長い。つまり、Ｄｅｆ．の画素グループに比べて各々２倍、４倍の露光時間になる。各画素グループの出力を合成する事で、高ダイナミックレンジの画像を取得する事が出来る。

図５の例の場合、斜線部で示すように、Ｄｅｆ．の画素グループを基準として上下、左右の隣接する画素グループが合成される。ここで、例えばＤｅｆ．とその他の蓄積時間の画素グループを各々同数配置する画素構成とすると、有効画素数が元の画像の１／５になってしまう。一方で本実施例の構成によれば、有効画素数の１／２の削減数で、−２ＥＶから２ＥＶまでダイナミックレンジを拡大した画像を取得できる。

本実施例の場合、１２２によるＡ／Ｄ変換後、画像処理部１２３にて合成処理を実施する。画像の合成方法としては、単純加算ではなく、加算後に入出力特性が線形となるように線形化処理が行われる。ただし、撮像素子１２１内で、Ａ／Ｄ変換前に合成する構成としても構わない。また、プリ測光モードとする画素グループは、撮像素子１２１全体としても良いし、表示用及び測光用画素のみとしても良い。

（露光時間算出方法）
表示用及び測光用画素として使用する画素グループ４０２と、ＡＦ用画素グループ４０３各々の露光時間を算出する方法について、図６及び図７を参照して説明する。

図６（ａ）は表示及び測光用画素グループの測光値に対する露光時間設定値を表したグラフである。６０１で示す点線は表示及び測光用画素グループの最長露光時間を表している。６０２で示すて点線は同最短露光時間を表している。また６０３で示す点線は前フレームで取得した測光値の最小値である。また６０４で示す点線は同測光値の最大値である。図６（ｂ）は表示及び測光用画素グループの測光値に対する出力値を表したグラフである。６０５で示す点線は表示及び測光用画素グループの最大出力値を表している。

６０６で示す点線は同最小出力値を表している。最長露光時間６０１は、１フレーム期間内で確保可能な最長露光時間を上限とする。その上で、前フレームで最小測光値を取得した画像エリアに相当する画素グループの出力が、予め定められた最小出力値６０６以上になるように設定する。一方で、最短露光時間６０２は、撮像素子１２１で動作可能な最短露光時間を下限とする。

その上で、前フレームで最大測光値を取得した画像エリアに相当する画素グループの出力が、予め定められた最大出力値６０５以下になるように設定する。最大出力値６０５は、次フレームでより高輝度な被写体が検出されることを想定し、出力の飽和レベルよりもある程度小さい値に設定する。また最小出力値６０６は、次フレームでより低輝度な被写体が検出されることを想定し、黒レベルよりもある程度大きい値に設定する。

図６（ｃ）はＡＦ用画素グループの測光値に対する露光時間設定値を表したグラフである。７０１で示す点線はＡＦ用画素グループの最長露光時間を表している。７０２で示すて点線は同最短露光時間を表している。図６（ｄ）はＡＦ用画素グループの測光値に対する出力値を表したグラフである。７０５で示す点線はＡＦ用画素グループの最大出力値を表している。７０６で示す点線は同最小出力値を表している。最長露光時間７０１は、６０１同様に、１フレーム期間内で確保可能な最長露光時間を上限とする。その上で、前フレームで最小測光値を取得した画像エリアに相当する画素グループの出力が、予め定められた最小出力値７０６以上になるように設定される。

一方で、最短露光時間７０２は、６０２と同様に、撮像素子１２１で動作可能な最短露光時間を下限とする。その上で、前フレームで最大測光値を取得した画像エリアに相当する画素グループの出力が、予め定められた最大出力値７０５以下になるように設定される。最大出力値７０５は、ＡＦ信号処理部１２９にて、例えばＡＦ演算可能な最大出力値以下の値とする。

また、次フレームでより高輝度な被写体が検出されることを想定し、例えばＡＦ演算可能な最大出力値よりもある程度小さい値に設定される。一方、最小出力値７０６は、ＡＦ信号処理部１２９にて、例えばＡＦ演算可能な最小出力値以上の値とする。また、次フレームでより低輝度な被写体が検出されることを想定し、例えばＡＦ演算可能な最小出力値よりもある程度大きい値に設定される。

表示及び測光用画素グループ４０２の最大出力値６０５は可能な限り大きく、また最小出力値６０６は可能な限り小さく設定することで、表示及び測光用画像４０５の出力レンジを広くすることができる。これにより、表示及び測光演算に適した画像を取得することができる。一方で、ＡＦ用画素グループ４０３の最大出力値及び最小出力値は、ＡＦ演算精度が最適となる出力レンジに設定する事が望ましい。一例としては、ＡＦ演算精度に基づいて設定する。ここで、出力レンジが高すぎる場合、或いは低すぎる場合は、Ａ像信号とＢ像信号の一致度を表す相関量の演算精度が低下する。ＡＦ演算精度上最適な出力レンジに設定することが望ましい。よって、本実施例では下記のように出力値を設定する。

・表示及び測光用画素グループの最大出力値６０５＞ＡＦ用画素グループの最大出力値７０５
・表示及び測光用画素グループの最小出力値６０６＜ＡＦ用画素グループの最小出力値７０６
つまり、露光時間設定値は以下の関係になる。

・表示及び測光用画素グループの最長露光時間６０１＜ＡＦ用画素グループの最長露光時間７０１
・表示及び測光用画素グループの最短露光時間６０２＞ＡＦ用画素グループの最短露光時間７０２
上記のように設定する事で、表示及び測光用及びＡＦ用各々の画素グループに適した露個時間設定を行うことができる。また、最小測光値から最大測光値までの間の測光値に対する出力値は、図６に示すように比例関係になるように設定する。そして、該設定された出力値に応じて各画素グループの露光時間を決定する。ただし、本発明はこの設定方法に限定されるものではなく、最小測光値から最大測光値までの間の出力値を補間できる設定値であれば、どのような形式でも構わない。

次に、図７を用いて、表示及び測光用画素で取得した測光値に従い、同エリアに相当する画素グループの露光時間を決定する方法を説明する。例えば、図７（ａ）に示すように測光エリアを５×３の領域に分割した場合、測光エリア毎に得られる測光値は図７（ｂ）に示すグラフとなる。

図７（ｂ）のように取得した測光値から、各エリアに該当する画素グループの露光時間が、図６（ａ）及び図６（ｃ）に示す条件により、図７（ｃ）のように演算される。以上のように露光時間を演算する事で、測光値が低い画像エリアの画素グループは露光時間を長く、また測光値が高い画素エリアの画グループは露光時間を短く設定する事が出来、飽和や黒つぶれのない高ダイナミックレンジの画像を取得する事が出来る。また、測光用の分割エリアはＡＦ測距用の分割エリアと一致させることが好ましい。両分割エリアを一致させることで露光時間の演算が容易になるメリットがある。

以上のように、本実施例１によれば、撮像装置１００の１フレーム内において撮像素子１２１の画素を表示及び測光用画素グループとＡＦ用グループに分割し、各々の画素グループの露光時間をその用途に合わせ、適切に設定する事が出来る。また本実施例は、撮影開始後の最初の測光演算に、プリ測光モードで取得した画像を使用する点に特徴がある。撮影後最初の測光時は、撮影被写体の露出条件が分からず、適切な露光時間を設定する事が難しい。

本実施例のように、画素グループ毎に既定の露光時間に設定して撮影するプリ測光モードを使用する事で、高ダイナミックレンジで露出条件を得ることができ、次フレームで画素グループ毎の露光時間決定する上で有効である。また、本実施例では、１フレーム毎の測光値に応じて、次フレームの画素グループ毎の露光時間設定値を変更している。

これにより、撮影シーン毎の最適な露光時間設定にダイナミックに変更する事が可能である。更に、表示及び測光用画素グループの露光時間とＡＦ用画素グループの露光時間を異なる設定とする構成とした。本構成とすることで、表示及び測光用画素グループの出力レンジを可能な限り広くし、一方で、ＡＦ用画素グループの露出条件を、ＡＦに適した露光条件にすることができる。また、本実施例では、次フレームでより高輝度或いは低輝度な被写体が検出されることを想定し、最長露光時間及び最短露光時間を決定する構成とした。本構成とすることで、より多様な撮影シーンに対応する事が出来る。

なお、本実施例では、撮像装置１００の１フレーム内において撮像素子１２１の画素を表示及び測光用グループとＡＦ用グループに分割する構成とした。一方で、本発明はこの形態に限定されるものではなく、表示及び測光用フレームとＡＦ用フレームの２フレームを、交互に撮影する構成としても構わない。両構成の差異を、図８を参照して説明する。

図８（ａ）は１フレーム内において画素を表示及び測光用グループとＡＦ用グループに分割する構成とした場合の撮像素子１２１の動作を表したものである。横軸は時間、縦軸は撮像素子１２１の行数を表している。８０１は撮像素子１２１の１フレーム期間中の露光期間、８０２は撮像素子１２１の読み出し期間を各々表している。本撮像装置１００は、画素グループ毎に露光時間を変更可能だが、ここでは簡単のため、各行が同じ露光時間として図示している。８０３は表示及び測光用画素グループの行を表しており、８０４はＡＦ用の画素グループの行を表している。

図８（ａ）に示すように、表示及び測光画素とＡＦ用の画素を同一フレーム内に配置する事で、表示及び測光用フレームとＡＦ用フレームとの２フレームで構成した場合と比較して、撮影フレームレートの高速化を図ることができる。また、フレームレートが固定であれば、露光時間をより長くすることができる。

一方で、図８（ｂ）は、表示及び測光用フレームとＡＦ用フレームの２フレームを、交互に撮影する構成とした場合の撮像素子１２１の動作を表したものである。８０５及び８０６は、表示及び測光用フレームの露光及び読み出し期間を各々表している。８０７及び８０８は、ＡＦ用フレームの露光及び読み出し期間を各々表している。図８（ｂ）に示すように、表示及び測光用フレームとＡＦ用フレームとの２フレームで構成することで、１フレームの画素全てを焦点検出用画素として使用できるようになるため、焦点検出精度が向上するメリットがある。

なお、本実施例では、ＡＦ用画素グループの最大出力値及び最小出力値を、ＡＦ演算可能な出力値を基準に決定する構成とした。しかしながら、ＡＦ演算可能な出力値は、画像のコントラスト及びシャープネスによって異なる。そこで、ＡＦ精度向上のひとつの策として、画像のコントラスト及びシャープネスに従って、ＡＦ用画素グループの最大出力値及び最小出力値を変更する仕様としても構わない。具体的には、システム制御部１２０はメモリ制御部１２５に指示を出し、ステップＳ１０５でメモリ１２６に格納した表示及び測光画像４０５を画像処理部１２３に送る。

画像処理部１２３では、受信した画像に２次元フーリエ変換をかけ、空間周波数に分解する。システム制御部１２０は画像の空間周波数から、画像の解像度と、コントラスト値を算出する。システム制御部１２０は、画像の解像度及びコントラスト値が高ければ、ＡＦ用画素グループの最大出力値を大きく、同最小出力値を小さく設定する。一方で、システム制御部１２０は、画像の解像度及びコントラスト値が小さければ、ＡＦ用画素グループの最大出力値を小さく、同最小出力値を大きく設定する。以上のように、画像のコントラスト及びシャープネスに従って、ＡＦ用画素グループの最大出力値及び最小出力値を変更することで、撮影シーン毎にＡＦ画素グループのダイナミックレンジを最適化する事が出来る。

（実施例２）
以下、図９を参照して、本発明の第２の実施例による、撮像装置１００のライブビュー撮影によるＡＦ画素グループの露光時間決定演算方法について説明する。

（ＡＦ画素グループの露光時間演算フロー）
図９は、第１の実施例におけるステップＳ１０８のＡＦ画素グループの露光時間決定演算フローである。ＡＦ画素グループの露光時間演算以外に関する撮像装置１００の処理フローは実施例１と同一であるため、説明は割愛する。

ステップＳ２０１では、ステップＳ１０５で取得した画像から、顔領域を検出する。システム制御部１２０はメモリ制御部１２５に指示を出し、ステップＳ１０５でメモリ１２６に格納した表示及び測光画像４０５を顔検出部１５６に送る。顔検出部１５６は、受信した画像を解析し、顔の有無、数、位置、大きさ等の情報をシステム制御部１２０に通知する。システム制御部１２０は顔検出部１５６の通知結果を受信し、撮影画像に顔があったか否かを判断する。顔が検出されればステップＳ２０２に進む。顔が検出されなければステップＳ２０３に進む。

ステップＳ２０２では、システム制御部１２０は、検出した顔領域の位置を基準とし、顔領域を含む第１の画像エリアを決定する。第１の画像エリアの位置及び大きさは、検出した顔領域の位置及び大きさによって可変である。例えば、検出した顔領域の中心位置を基準に位置が決定される。また、検出した顔領域が小さければ小さく、また顔領域が大きければ大きくなる。

ステップＳ２０３では、システム制御部１２０は、現在選択されているＡＦ枠の位置を基準とし、選択されているＡＦ枠に対応する画像領域を含む第１の画像エリアを決定する。第１の画像エリアの位置は、選択されているＡＦ枠の位置によって可変である。例えば、選択されたＡＦ枠の中心位置を基準に位置が決定される。また、第１の画像エリアの大きさは、ＡＦ枠選択モードによって可変でなる。例えば１点選択モードの場合、選択されている１点のＡＦ枠を含む大きさの第１の画像エリアが設定される。

また、ゾーン選択モードの場合、選択されているゾーンを含む大きさの第１の画像エリアが設定される。自動選択モードの場合、選択されている全てのＡＦ枠を含む大きさの第１の画像エリアが設定される。

ステップＳ２０４では、システム制御部１２０は、ステップＳ２０２或いはステップＳ２０３で設定された第１の画像エリアを基準に、第２の画像エリアを決定する。第２の画像エリアは第１の画像エリアと中心位置を同一とし、第１の画像エリアより大きいエリアに設定される。

ステップＳ２０５では、システム制御部１２０は、ステップＳ１０７で得られた測光値から、第１の画像エリアにおける測光値を算出し、露光時間算出部１３０に通知する。露光時間算出部１３０は受信した第１の画像エリアにおける測光値から、第１の画像エリアの露光時間を演算する。露光時間の演算方法の詳細は後述する。

ステップＳ２０６では、システム制御部１２０は、ステップＳ１０７で得られた測光値から、第２の画像エリアにおける測光値を算出し、露光時間算出部１３０に通知する。露光時間算出部１３０は受信した第２の画像エリアにおける測光値から、第２の画像エリアの露光時間を演算する。露光時間の演算方法の詳細は後述する。

（ＡＦ画素グループの露光時間演算方法）
図１０を参照して、本発明の第２の実施例における、ＡＦ画素グループの露光時間演算方法について説明する。図１０（ａ）において、１１００はステップＳ１０５で取得した測光用画像である。１１０１は、ステップＳ２０１で検出された顔領域を基準に、ステップＳ２０２にて設定された第１の画像エリアである。第１の画像エリアは、検出した顔領域の中心位置を基準に位置が決定され、検出された顔の大きさに対して、既定の比率の大きさで設定される。１１０２は、ステップＳ２０４で設定された第２の画像エリアである。第２の画像エリアは、第１の画像エリアの中心位置を基準に位置が決定され、第１の画像エリアの大きさに対して、既定の比率の大きさで設定される。

図１０（ｂ）は、図１０（ａ）の測光用画像から得られた測光値に対するＡＦ用画素グループの出力値を表したグラフである。６０３、６０４、７０５、７０６は図６で示したのと同じ最小測光値、最大測光値、最大出力値、最小出力値を各々表している。

一方で、１１０３は第１のエリア１１０１の画素グループの最大出力値であり、１１０４は同最小出力値である。また、１１０５及び１１０６は、第１の画像エリアの最小測光値及び最大測光値を各々表している。１１０３及び１１０４は、ＡＦ演算を行うのに好適な規定の値に設定される。ただし、１１０３、１１０４は７０５、７０６同様に、第１の画像エリアのコントラスト及びシャープネス従って、変更する構成としても構わない。第１の画像エリアの測光値１１０５及び１１０６に対して、第１の画像エリアの最小出力値１１０４及び同最大出力値１１０３が設定される。

また、１１０５から１１０６までの測光値に対する画素出力は、図１０（ｂ）に示すように比例関係になるように設定する。次に、１１０７及び１１０８は第２の画像エリアの最小測光値及び最大測光値を各々表している。実施例１と異なり、第２の画像エリアの測光値１１０７及び１１０８に対して、最小出力値７０６及び最大出力値７０５が設定される。測光値１１０７から測光値１１０５及び測光値１１０６から測光値１１０８までの間の期間の測光値に対する画素出力値は、各々の期間で比例関係になるように設定される。

図１０（ｂ）で設定された測光値に対する画素出力設定値から、各画素グループの露光時間を演算する方法に関しては、実施例１に示した方法と同様であるため、説明は割愛する。また、図１０（ｃ）は、ＡＦ選択モードが任意１点選択モードであるときの画像エリアの説明図である。１１１０はステップＳ１０５で取得した測光用画像である。１１１１は、ステップＳ２０３にて設定された第１の画像エリアである。

第１の画像エリアは、選択ＡＦ枠１１１３の中心位置を基準に位置が決定され、ＡＦ枠の大きさに対して既定の比率の大きさで設定される。１１１２は、ステップＳ２０４で設定された第２の画像エリアである。第２の画像エリアは、第１の画像エリアの中心位置を基準に位置が決定され、第１の画像エリアの大きさに対して、既定の比率の大きさで設定される。

また、図１０（ｄ）は、ＡＦ選択モードがゾーンＡＦモードであるときの画像エリアの説明図である。１１２１は、ステップＳ２０３にて設定された第１の画像エリアである。第１の画像エリアは、選択ゾーン枠１１２３の中心位置を基準に位置が決定され、ゾーン枠の大きさに対して既定の比率の大きさで設定される。１１２２は、ステップＳ２０４で設定された第２の画像エリアである。第２の画像エリアは、第１の画像エリアの中心位置を基準に位置が決定され、第１の画像エリアの大きさに対して、既定の比率の大きさで設定される。

また、図１０（ｅ）は、ＡＦ選択モードが自動多点選択ＡＦモードであるときの画像エリアの説明図である。１１３１は、ステップＳ２０３にて設定された第１の画像エリアである。第１の画像エリアは、自動選択された複数のＡＦ枠１１３３の中心位置を基準に位置が決定され、選択された複数のＡＦ枠を全て包括する大きさで設定される。１１３２は、ステップＳ２０４で設定された第２の画像エリアである。第２の画像エリアは、自動選択により選択可能な複数のＡＦ枠全てを包括する規定の大きさで設定される。

以上のように、本実施例２によればＡＦ用画素グループの露光時間を、ＡＦ精度を向上させる上で好適な値に設定する事が出来る。本実施例では、選択ＡＦ枠或いは検出した顔領域を含む第１の画像エリアと、第１の画像エリアより大きい第２の画像エリアの測光値を基準に、ＡＦ用画素グループの露光時間を設定する構成としている。第１の画像エリアの露光時間を、ＡＦ演算を行うのに好適な規定の値に設定する事で、ＡＦ精度を向上させることができる。また、第１の画像エリアより大きい第２の画像エリアを設定する事で、フレーム間で被写体が第１の画像エリアを超えて移動しても、第２の画像エリアで被写体を捕捉することで、焦点検出を継続して行うことができる。

本実施例においては、第１の画像エリア及び第２の画像エリアを、顔検出領域の大きさ、選択ＡＦ枠、選択ＡＦモードに応じて可変とする構成とした。これにより、ユーザの撮影意図に応じて、ＡＦ精度に最適且つ被写体を捕捉可能な画像エリアを設定することができる。なお、本発明は、被写体検出が可能であれば、顔検出に限定されない。

なお、第１及び第２の画像エリアは、ＡＦモードに応じて変更する構成としても構わない。例えばサーボＡＦモード時はワンショットＡＦモード時よりも、第１及び第２の画像エリアを大きくする構成としても良い。サーボＡＦモード時は、移動する被写体を撮影していると考えられる。

よって、第１及び第２の画像エリアを大きくすることで、フレーム間で大きく移動する被写体を第１或いは第２の画像エリア内で捕捉する事が可能になる。また同理由のため、フレーム間で被写体の動き量を検出して、動き量が大きいほど第１及び第２の画像エリアを大きくする構成としても良い。具体的には、システム制御部１２０は、メモリ制御部１２５に指示を出し、ステップＳ１０５でメモリ１２６に格納された表示及び測光画像４０５を動き量検出部１５７に送信する。

動き量検出部１５７は受信した表示及び測光画像４０５から、検出されている顔領域或いはＡＦ枠選択領域を基準に動き検出領域を設定し、表示及び測光画像４０５の画像を該動き検出領域にリサイズする。そして、前フレームで同様に動き検出部に送られリサイズされた画像と比較し、動き量を演算する。演算した結果はシステム制御部１２０に通知される。システム制御部１２０は、受信した動き量に応じて、第１の画像エリア及び第２の画像エリアを設定する。本構成とすることで、フレーム間で動き量が大きい被写体を、第１或いは第２の画像エリア内で捕捉する事が可能になる。

また、本実施例では、第１の画像エリアにおける測光値に対する出力値の関係を示す関数のグラフの傾きは、第２の画像エリアにおける同グラフの傾きよりも大きいものとした。これにより、ＡＦさせたい被写体領域におけるダイナミックレンジを広く確保する事が出来る。また、本実施例では、表示及び測光用画素グループの測光値と出力値を表す関数は検出した全測光領域において線形とし、ＡＦ用画素グループの測光値と出力値を表す関数は、第１画像エリアと第２の画像エリアとの間で非線形な関数とした。表示用画像の測光値に対する出力値を非線形とすると表示に影響を及ぼすが、ＡＦ用画像としては何の問題もない。

本構成とすることで、表示用画像に影響を与えることなく、ＡＦに最適な露光時間に設定できる特徴がある。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、システム制御部１２０の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。また、本撮像素子では画素グループ毎に露光時間を変更可能な構成としたが、１画素毎露光時間を変更可能な構成としても勿論構わない。また、表示及びＡＦ用画素グループを同一の画素として説明したが、異なる画素グループに配置しても構わないし、表示用画素を含まない構成としても構わない。

例えば、本実施例では焦点検出方法を位相差方式に基づき説明したが、撮影画像のコントラストが高い点に合焦させるコントラスト方式の焦点検出方式でも構わない。

また、本発明をその好適な実施形態として撮像装置１００に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、画素グループ毎に露光時間を変更可能な撮像素子を有する撮像装置であれば、あらゆるものに適用可能である。例えば、監視カメラや工場用検査カメラ、或いは撮像機能付きの携帯電話等に適用しても構わない。

さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

１００ 撮像装置
１１９ 露光時間制御部
１２０ システム制御部
１２１ 撮像素子
１２４ ＡＥ演算部
１２９ ＡＦ信号処理部
１３６ その他操作部
１５１ ＥＶＦ部
１５３ ディスプレイ部
１５６ 顔検出部
１５７ 動き量検出部

Claims (22)

1. 画素毎或いは画素グループ毎に露光時間を変更可能な撮像手段と、
   前記撮像手段により得られた撮影画像から測光値を演算する測光値演算手段と、
   前記撮像手段により得られた撮影画像から焦点検出を行う焦点検出手段と、
   前記画素或いは画素グループ毎の露光時間を、前記測光値に基づいて露光時間を設定する露光時間設定手段と、
   前記撮像手段の画素毎或いは画素グループ毎の露光時間を、前記露光時間設定手段の設定値に基づいて制御する露光時間制御手段と、
   を有し、
   前記測光値に基づく露光時間の設定値は、測光用と、焦点検出用とで異なることを特徴とする撮像装置。
2. 前記露光時間設定手段は、前記測光値の最小値に対して露光時間の最大値を設定し、
   前記測光値の最大値に対して露光時間の最小値を設定し、
   前記測光値の最小値から最大値までの間の値に対しては、前記露光時間の最大値から最小値までの値を補間して設定することを特徴とする請求項１に記載の撮像装置。
3. 前記露光時間設定手段は、前記露光時間の最大値及び最小値を、測光用と、焦点検出用とで異なる設定値にすることを特徴とする請求項２に記載の撮像装置。
4. 前記露光時間設定手段は、前記測光用の露光時間の最大値を、前記焦点検出用の露光時間の最大値より短い時間に設定し、
   前記測光用の露光時間の最小値を、前記焦点検出用の露光時間の最小値より長い時間に設定することを特徴とする請求項３に記載の撮像装置。
5. 前記測光値に対する前記撮像手段の画素の出力値を設定する画素出力値設定手段を有し、
   前記露光時間設定手段は、前記露光時間を、前記出力値に基づいて設定することを特徴とする請求項１に記載の撮像装置。
6. 前記画素出力値設定手段は、前記測光値の最小値に対して出力値の最小値を設定し、
   前記測光値の最大値に対して出力値の最大値を設定し、
   前記測光値の最小値から最大値までの間の値に対しては、前記出力値の最小値から最大値までの値を補間した出力値を設定することを特徴とする請求項５に記載の撮像装置。
7. 前記画素出力値設定手段は、前記出力値の最大値及び最小値を、前記測光用と、前記焦点検出用とで異なる設定値にすることを特徴とする請求項６に記載の撮像装置。
8. 前記画素出力値設定手段は、前記測光用の出力値の最大値を、前記焦点検出用の出力値の最大値より大きい値に設定し、
   前記測光用の出力値の最小値を、前記焦点検出用の出力値の最小値より小さい値に設定することを特徴とする請求項７に記載の撮像装置。
9. 画素毎或いは画素グループ毎に露光時間を変更可能な撮像手段と、
   測光値を演算する測光値演算手段と、
   前記撮像手段により取得した撮影画像に第１の画像領域と、第１の画像領域より大きい第２の画像領域とを設定し、
   前記測光値演算手段により取得した前記第１の画像領域における測光値から前記第１の画像領域に対応する画素毎或いは画素グループ毎の露光時間を算出し、
   前記測光値演算手段により取得した前記第２の画像領域における測光値から前記第２の画像領域に対応する画素毎或いは画素グループ毎の露光時間を算出し、
   前記画素或いは画素グループ毎の露光時間を、前記算出した露光時間に設定する露光時間設定手段と、
   前記撮像手段の画素毎或いは画素グループ毎の露光時間を、前記露光時間設定手段による設定値に基づいて制御する露光時間制御手段と、を有することを特徴とする撮像装置。
10. 前記撮像手段により得られた撮影画像から焦点検出を行う焦点検出手段と、
    複数の焦点検出領域から一つの焦点検出領域を選択する焦点検出領域選択手段と、
    を有し、
    前記第１の画像領域は前記焦点検出領域選択手段により選択された焦点検出領域を含み、
    前記第２の画像領域は前記第１の画像領域を含むことを特徴とする請求項９に記載の撮像装置。
11. 前記焦点検出領域選択手段は、
    第１のモードにおいては、ユーザが任意に一つの焦点検出領域を選択可能であり、
    第２のモードにおいては、ユーザが複数の焦点検出領域をまとめたゾーンを選択可能であり、
    第３のモードにおいては、全焦点検出領域から自動選択で複数の焦点検出領域を選択可能であり、
    第１のモードにおいては、前記第１の画像領域は選択された一つの焦点検出領域を含み、
    第２のモードにおいては、前記第１の画像領域は選択されたゾーンを含み、
    第３のモードにおいては、前記第１の画像領域は自動選択された複数の焦点検出領域を含むことを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像手段により得られた撮影画像から焦点検出を行う焦点検出手段と、
    撮影画像から被写体を検出する被写体検出手段と、
    を有し、
    前記第１の画像領域は前記被写体検出手段により検出された被写体領域を含み、
    前記第２の画像領域は前記第１の画像領域を含むことを特徴とする請求項９に記載の撮像装置。
13. 前記焦点検出手段による焦点検出結果に基づく複数のオートフォーカスモードを選択するオートフォーカスモード選択手段を有し、
    第１のモードは、被写体へ合焦した後にフォーカスを固定するワンショットフォーカスモードであり、
    第２のモードは、合焦した被写体が移動した場合にフォーカスを追従して被写体に合焦し続けるサーボフォーカスモードであり、
    前記サーボフォーカスモード時は、前記ワンショットフォーカスモード時よりも、前記第１の画像領域を大きくすることを特徴とする請求項１０に記載の撮像装置。
14. 被写体の動き量を検出する動き量検出手段を有し、
    前記第１の画像領域の大きさを、前記動き量検出結果の検出結果に基づいて決定する
    ことを特徴とする請求項９に記載の撮像装置。
15. 前記撮像手段は、前記撮像手段の画素を領域毎に少なくとも測光用と焦点検出用の２つの用途に分けて使用することが可能であることを特徴とする請求項１又は９に記載の撮像装置。
16. 前記撮像手段は、撮影フレーム毎に用途を変更して動作させる動作制御手段を有し、
    前記動作制御手段は、第１のフレームは測光用として動作し、第２のフレームは焦点検出用として動作するように制御することを特徴とする請求項１又は９に記載の撮像装置。
17. 前記撮像装置は、少なくとも２種類の測光モードを有し、
    前記露光時間設定手段は、前記２種類の測光モードのうち第１の測光モードにおいては、前記画素毎或いは画素グループ毎の露光時間を、画素毎或いは画素グループ毎に異なる既定の値に設定する事を特徴とする請求項１又は９に記載の撮像装置。
18. 前記２種類の測光モードのうち第２の測光モードにおいては、
    前記露光時間設定手段は、前記第１の測光モードにより取得した測光値に基づいて、前記画素毎或いは画素グループ毎の露光時間を設定することを特徴とする請求項１７に記載の撮像装置。
19. 前記露光時間設定手段は、前記第１の画像領域及び第２の領域各々における前記測光値の最小値に対する前記露光時間の最大値を設定し、
    前記第１の画像領域及び第２の領域各々における前記測光値の最大値に対する前記露光時間の最小値を設定し、
    前記第２の領域の測光値の最小値から前記第１の領域の測光値の最小値までの間の値
    及び第１の領域の測光値の最小値から前記第１の領域の測光値の最大値までの間の値
    及び第１の領域の測光値の最大値から前記第２の領域の測光値の最大値までの間の値
    に対して、各々補間した露光時間を設定することを特徴とする請求項９に記載の撮像装置。
20. 前記測光値に対する前記撮像手段の画素の出力値を設定する画素出力値設定手段を有し、
    前記画素出力値設定手段は、前記第１の画像領域及び第２の領域各々における前記測光値の最小値に対する前記出力値の最小値を設定し、
    前記第１の画像領域及び第２の領域各々における前記測光値の最大値に対する前記出力値の最大値を設定し、
    前記第２の領域の測光値の最小値から前記第１の領域の測光値の最小値までの間の値
    及び第１の領域の測光値の最小値から前記第１の領域の測光値の最大値までの間の値
    及び第１の領域の測光値の最大値から前記第２の領域の測光値の最大値までの間の値
    に対して、各々補間した値を設定し、
    前記露光時間設定手段は、前記露光時間を、前記出力値に基づいて設定することを特徴とする請求項９に記載の撮像装置。
21. 前記撮像手段により得られた撮影画像の表示する表示手段を有し、
    前記露光時間設定手段は、
    表示用の露光時間は、測光値に対する露光時間設定値の関係が線形となり、
    焦点検出用の露光時間は、測光値に対する露光時間設定値の関係が非線形となるように設定することを特徴とする請求項１に記載の撮像装置。
22. 前記撮像手段は位相差検出用の画素を有し、
    前記露光時間設定手段は、前記位相差検出用の画素の内、位相差を検出する組みとなる画素の露光時間が、同じになるように設定することを特徴とする請求項１又は９に記載の撮像装置。