JP2020115604A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】フレームレートの低下の抑制と高精度な位相差検出を両立しながら、ＨＤＲ合成に必要な信号と位相差検出に必要な信号を読み出す。【解決手段】撮像素子１０１は、複数の光電変換部を備える画素部２０３を備え、ＨＤＲ合成用の画像信号と位相差検出用の信号を選択的に出力可能である。ＨＤＲ合成用に露出の異なる複数の画像信号を読み出し、位相差検出用に１つの信号を読み出す。位相差検出用の信号の露出は、レベル判定部２０７による画像信号の輝度の判定結果に応じて制御される。【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

近年、ビデオカメラ等の撮像装置の撮像素子において、画素で光電変換された映像信号を出力するだけでなく、例えばダイナミックレンジを拡大する（以下、ＨＤＲとも記す）技術や位相差検出用の映像信号を出力する技術が提案されている。特許文献１は、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を有する撮像素子において、出力信号レベルに応じてゲイン値を切り替える技術を開示している。ゲイン値を切り替えることにより、低ゲインをかけた映像信号と高ゲインをかけた映像信号をそれぞれ出力し、後段に備えた画像処理部で２つの画像を合成して、高ダイナミックレンジ化した映像信号を作り出すことが可能である。

また、撮像素子で位相差検出方式の焦点検出を行う焦点検出方法がある。被写体撮影用画像と位相差検出用画像とを、時間遅延なく同時に取得可能な撮像素子が提案されている。特許文献２は、１つのマイクロレンズと、１つのマイクロレンズに対応する２つの光電変換部（フォトダイオード）により一画素が構成され、該画素が２次元配列された撮像素子を開示している。

特開２００５−１７５５１７号公報 特開２００１−０８３４０７号公報

ＨＤＲ合成と位相差検出による焦点検出を１フレームで行う場合、例えば、高ゲインをかけた映像信号、低ゲインをかけた映像信号、高ゲインをかけた位相差検出用の信号の３つの信号を読み出すこととなる。しかしながら、高ゲインをかけた信号で位相差検出行う場合には高輝度部の位相差検出を正確に行うことができない恐れがある。一方で、高ゲインをかけた映像信号、低ゲインをかけた映像信号、低ゲインをかけた位相差検出用の信号の３つの信号を読み出し、低ゲインをかけた信号で位相差検出行う場合には低輝度部の位相差検出を正確に行うことができない恐れがある。
また、被写体輝度によらず低輝度部と高輝度部ともに位相差検出を行うためには、ＨＤＲ用の２つの信号に加え、低ゲインの位相差検出用の信号と高ゲインの位相差検出用の信号を読み出す必要があり、フレームレートが低下してしまう恐れがある。

本発明は、フレームレートの低下の抑制と高精度な位相差検出を両立しながら、ＨＤＲ合成に必要な信号と位相差検出に必要な信号を読み出す撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、複数の光電変換部を有し、画像信号と位相差検出用の信号とを選択的に出力することができる画素を複数備える画素部と、前記画素部から、露出の異なる複数の前記画像信号と、前記位相差検出用の信号とを読み出す読み出し手段と、前記画像信号の輝度を判定する判定手段と、を備え、前記位相差検出用の信号の露出は、前記判定手段の判定結果に応じて制御される。

本発明によれば、フレームレートの低下の抑制と高精度な位相差検出を両立しながら、ＨＤＲ合成に必要な信号と位相差検出に必要な信号を読み出す撮像装置を提供することができる。

撮像装置の構成を説明する図である。 撮像素子の構成を説明する図である。 信号の読み出しを説明する図である。 従来の信号の読み出しを説明する示す図である。 ＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。 信号の読み出し処理を示すフローチャートである。 第２実施形態における信号の読み出しを説明する図である。 第２実施形態におけるＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。 第２実施形態における信号の読み出し処理を示すフローチャートである。 第３実施形態における撮像装置の構成を説明する図である。 第３実施形態における信号の読み出しを説明する図である。 第３実施形態におけるＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。 第３実施形態における信号の読み出し処理を示すフローチャートである。

（第１実施形態）
図１は、撮像装置１の構成を説明する図である。撮像装置１は、レンズ部１００、撮像素子１０１、画像分配器１０２、画像処理部１０３、位相差検出部１０４、信号処理部１０５およびレンズ駆動部１０６を備える。なお、本実施形態では、撮像装置１の一例としてカメラ本体部とレンズ装置が一体となったデジタルカメラの説明を行うが、これに限られるものではなく、レンズ交換式の撮像装置であってもよい。

レンズ部１００は、被写体からの光を取り込み、撮像素子１０１に光を結像させる。レンズ部１００は、撮像光学系を構成する複数のレンズや絞り等の光学部材を備える。レンズ駆動部１０６は、フォーカシング制御機構、ズーミング制御機構、像ぶれ補正制御機構および絞り制御機構等を備え、レンズおよび絞りを駆動する。具体的には、レンズ駆動部１０６は、位相差検出部１０４からのフォーカシング制御信号（以下、ＡＦ情報とも記す）に基づいてレンズを駆動する。また、レンズ駆動部１０６は、不図示の制御部からのズーミング制御信号、像振れ補正制御信号などに基づいて、レンズを駆動する。不図示の制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、撮像装置１全体を制御する。

撮像素子１０１は、複数の光電変換部を有し、レンズ部１００からの入射光に対して光電変換を行って電気信号に変換する。撮像素子１０１の例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。撮像素子１０１の詳細な構成については、図２を用いて後述する。

画像分配器１０２は、撮像素子１０１から出力された信号を、画像処理部１０３または位相差検出部１０４に出力する。読み出した信号がＡ＋Ｂ像の場合はＨＤＲ画像作成と位相差検出の双方で用いるため、画像分配器１０２はＨＤＲ画像処理部１０３および位相差検出部１０４に信号を出力する。読み出した映像信号がＢ像の場合は位相差検出のみで用いるため、画像分配器１０２は位相差検出部１０４のみに信号を出力する。

画像処理部１０３は、画像分配器１０２から出力されたゲインの異なる２つの信号を合成して、ダイナミックレンジを拡大したＨＤＲ画像を生成する。ＨＤＲ画像の生成方法には、例えば、被写体が暗い部分は高ゲインの画像を、明るい部分は低ゲインの画像を用いて合成を行う方法がある。なお、本実施形態におけるＨＤＲ画像の生成方法はこれに限られるものではなく、２つのゲインが異なる画像から合成を行う手法であればその合成アルゴリズムは限定されるものではない。位相差検出部１０４は、Ａ像およびＢ像に基づいて位相差を検出し、フォーカスレンズを制御するためのＡＦ情報を生成する。

次に、図２（Ａ）および図２（Ｂ）を用いて撮像素子１０１の詳細を説明する。図２（Ａ）は、撮像素子１０１全体の構成を説明する図である。撮像素子１０１は、タイミング制御部２０１、垂直走査回路２０２、画素部２０３、列アンプ２０４、加算部２０５、列ＡＤＣ２０６、レベル判定部２０７、水平転送回路２０８、信号処理回路２０９および外部出力回路２１０を備える。

タイミング制御部２０１は、撮像素子１０１の各構成部の動作タイミングを制御するクロック信号（ＣＬＫ）等を供給して、撮像素子１０１の動作を制御する。垂直走査回路２０２は、２次元に配置された画素部２０３の画素信号を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。

画素部２０３は、光電変換素子を備え、入射光量に応じて光電変換を行って信号出力である電圧を出力する。画素部２０３は、複数の画素３００を有している。複数の画素３００は、例えば、行方向および列方向に二次元状に配置されている。画素３００の構成について、図２（Ｂ）を用いて説明する。図２（Ｂ）は、画素３００の構成を説明する図である。画素３００は、１つのマイクロレンズ２２０に対して、位相差検出のために第１の光電変換部２２１と第２の光電変換部２２２を備える。マイクロレンズ２２０は、入射した光束を集光し、第１の光電変換部２２１と第２の光電変換部２２２へと導く。

第１の光電変換部２２１と第２の光電変換部２２２は、例えば、フォトダイオードであり、入射した光束を光電変換する。第１の光電変換部２２１と第２の光電変換部２２２は、撮像光学系の射出瞳の異なる領域を通過した光束（瞳分割像）をそれぞれ受光可能なように設計されている。各光電変換部の信号レベルから位相差を検出することが可能である。以下では、第１の光電変換部２２１により得られる信号群で形成される像信号をＡ像（Ａ像信号）、第２の光電変換部２２２により得られる信号群で形成される像信号をＢ像（Ｂ像信号）、Ａ像とＢ像を加算した画像信号をＡ＋Ｂ像（Ａ＋Ｂ像信号）と呼ぶ。すなわち、Ａ＋Ｂ像は撮像光学系の瞳領域全体を通過した光束に基づく信号である。Ａ像とＢ像は、撮像光学系の互いに異なる一部の瞳領域を通過した光束に基づく信号であり、位相差を有する位相差検出用の信号となる。位相差検出部１０４は、Ａ像およびＢ像基づいて位相差を検出し、ＡＦ情報を生成する。このように、画素３００は、画像信号と位相差検出用の信号とを選択的に出力することができる。

また、画素３００は不図示のカラーフィルタを備える。カラーフィルタは、入射した光束のうち特定の波長を通過させる。画素部２０３には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長を通過させる分光感度特性を持つカラーフィルタがベイヤー状に配列されている。なお、カラーフィルタの配列はこれに限られるものではない。なお、本実施形態では、画素３００が２つの光電変換部を有している例を説明したが、画素３００は３つ以上の光電変換部を有していてもよい。

列アンプ２０４は、画素部２０３から読み出された信号を電気的に増幅する。列アンプ２０４で信号を増幅することにより、それ以降の列ＡＤＣ２０６から出るノイズに対して、画素部２０３の信号を増幅し、等価的にＳ／Ｎ比（信号対ノイズ比）を改善することができる。また、タイミング制御部２０１から列アンプ２０４の増幅率を変更することができ、露出条件の異なる画像を取得することが可能となる。

加算部２０５は、列アンプ２０４から出力されたＡ像、Ｂ像の信号を加算する。列ＡＤＣ２０６は、加算部２０５からの出力信号をＡ／Ｄ変換する。なお、加算部２０５と列ＡＤＣ２０６の配置の順序はこれに限られるものではなく、加算部２０５の前に列ＡＤＣ２０６が配置されていてもよい。

レベル判定部２０７は、Ａ＋Ｂ像信号の信号レベルを判定する。レベル判定部２０７によるレベル判定の詳細については後述する。加算部２０５により加算された信号は、水平転送回路２０８により順次読み出される。水平転送回路２０８の出力は、信号処理回路２０９に入力される。信号処理回路２０９は、デジタル信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加える処理の他に、シフト演算や乗算等を行う。これにより、簡易にゲイン演算を行うことができる。また、画素部２０３が遮光された画素領域を有する構造の場合、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

信号処理回路２０９は、処理した信号を外部出力回路２１０に出力する。外部出力回路２１０はシリアライザー機能を有し、信号処理回路２０９からの多ビットの入力パラレル信号をシリアル信号に変換する。また外部出力回路２１０は、このシリアル信号をＬＶＤＳ信号等に変換し、外部デバイスへの画像情報として出力する。

次に、図３を用いてＨＤＲ生成用の信号と位相差検出用の信号を読み出すための読み出し方式について説明する。図３は、信号の読み出しを説明する図である。なお、図３には説明のために、１つの画素３００と列アンプ２０４の一つの列を示してある。画素３００は、第１の光電変換部２２１と第２の光電変換部２２２を有し、Ａ像、Ｂ像が独立読み出し可能な構成である。

列アンプ２０４は、Ａ像、Ｂ像を独立読み出し可能な画素３００から信号を読み出し、増幅する。列アンプ２０４は、Ａ像、Ｂ像それぞれに対応する増幅回路を有している。第１の光電変換部２２１から読み出したＡ像信号を増幅する増幅回路を第１の回路、第２の光電変換部２２２から読み出したＢ像信号を増幅する増幅回路を第２の回路とする。

第１の回路は、オペアンプ３２９、入力容量３２３、入力容量３２５、入力容量３３１、帰還容量３２７、帰還容量３２８、スイッチ３２２、スイッチ３２４、スイッチ３３０、スイッチ３２６およびスイッチ３２０を含む。また、第１の回路は、電流制御部３２１を含んでいてもよい。第２の回路は、オペアンプ３０９、入力容量３０３、入力容量３０５、入力容量３１５、帰還容量３０７、帰還容量３０８、スイッチ３０２、スイッチ３０４、スイッチ３１４、スイッチ３０６およびスイッチ３１０を含む。また、第２の回路は、電流減３０１を含んでいてもよい。

第１の回路と第２の回路は同じ構成を有するため、以下では第２の回路について説明する。入力容量３０３、入力容量３０５および入力容量３１４は、画素３００とオペアンプ３０９との間に、互いに並列に接続されている。帰還容量３０７および帰還容量３０８は、オペアンプ３０９の負側入力端子（反転入力端子）とオペアンプ３０９の出力端子との間に、互いに並列に接続されている。オペアンプ３０９の正側入力端子（非反転入力端子）には、基準電源から所定の基準電圧が印加されている。

スイッチ３０２、スイッチ３０４およびスイッチ３１４は、撮像素子３００から読み出したＢ像信号の入力容量への接続を制御する。具体的には、スイッチ３０２は、画素３００と入力容量３０３の間に接続され、画素３００から読み出されたＢ像信号の入力容量３０３への入力を制御する。スイッチ３０４は、画素３００と入力容量３０５の間に接続され、画素３００から読み出されたＢ像信号の入力容量３０５への入力を制御する。スイッチ３１４は、画素３００と入力容量３１５の間に接続され、画素３００から読み出されたＢ像信号の入力容量３１５への入力を制御する。並列に接続されたスイッチ３０２、スイッチ３０４、スイッチ３１４を制御することで、Ｂ像信号の３回の読み出しが可能である。スイッチ３０６は、オペアンプ３０９の負側入力端子（反転入力端子）と帰還容量３０７の間に、帰還容量３０７と直列に接続されており、帰還容量３０７の接続を制御する。スイッチ３１０は、オペアンプ３０９の出力端子と加算部２０５との間に接続されている。

まず、ＨＤＲ画像生成のために画素３００から異なるゲインで信号を読み出す方式について説明する。オペアンプ３０９の増幅率は入力容量／帰還容量である。そのため、入力容量と帰還容量との容量比を変化させることでオペアンプ３０９増幅率（ゲイン）を制御することができる。ＨＤＲ画像作成のためには、第１のゲイン（高ゲイン）をかけた信号と第１のゲインより小さい第２のゲイン（低ゲイン）をかけた信号を取得する必要がある。

スイッチ３０２をオンとし、かつ、スイッチ３０４、スイッチ３１４およびスイッチ３０６をオフとしたとき、オペアンプ３０９は入力容量３０３と帰還容量３０８との静電容量比に対応する第１のゲインで増幅した信号を加算部２０５に出力する。また、スイッチ３０２およびスイッチ３１４をオフとし、かつ、スイッチ３０４およびスイッチ３０６をオンとする。このとき、オペアンプ３０９は入力容量３０５と、帰還容量３０７および帰還容量３０８との静電容量比に対応する第２のゲインで増幅した信号を加算部２０５に出力する。

以上説明したように、各スイッチのオン・オフ制御により、ゲインの異なる２つのＢ像の画像の信号を出力することができる。Ａ像についても、Ｂ像と同様にゲインの異なる２つの画像の信号を出力することができる。加算部２０５で同じゲインのＡ像、Ｂ像を加算することで、２つの異なるゲインでＡ＋Ｂ像信号を読み出すことが可能となり、画像処理部１０３でＨＤＲ画像を生成できる。

次に、位相差検出時の読み出しについて説明する。位相差情報を出力する場合、通常の画像信号（加算信号、Ａ＋Ｂ像信号）と位相差検出用の画像信号（Ｂ像信号）を同じゲインで出力する。第１のゲインで増幅したＢ像信号を取得する場合は、例えば、スイッチ３０２、スイッチ３０４、スイッチ３０６およびスイッチ３２０をオフとし、かつ、スイッチ３１４をオンとすればよい。これにより、オペアンプ３０９は入力容量３０３と帰還容量３０８との静電容量比に対応する第１のゲインで増幅したＢ像信号を出力することができる。また、第２のゲインで増幅したＢ像信号を取得する場合は、例えば、スイッチ３０２、スイッチ３０４およびスイッチ３２０をオフとし、かつ、スイッチ３１４およびスイッチ３０６をオンとすればよい。これにより、オペアンプ３０９は入力容量３０３と、帰還容量３０７および帰還容量３０８との静電容量比に対応する第２のゲインで増幅したＢ像信号を出力することができる。

図４（Ａ）〜（Ｄ）および図５を用いて、読み出しのタイミングについて説明する。読み出しのタイミングは、タイミング制御部２０１および垂直走査回路２０２により制御される。垂直同期信号は、１つのフレームの読み出し開始を表す基準信号となる。水平同期信号４００は、１つのフレームの各列の読み出し開始を表す基準信号となる。垂直同期信号が発生したとき、列アンプ２０４は、１つのフレームについて信号の読み出しを開始する。そして、水平同期信号４００が発生したとき、列アンプ２０４は、フレームの所定の列について信号の読み出しを開始する。

図４（Ａ）は、ＨＤＲ画像生成のための読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は、高ゲインのＡ＋Ｂ像４０１と低ゲインのＡ＋Ｂ像４０２を順次読み出す。ゲインの異なる２つのＡ＋Ｂ像４０１およびＡ＋Ｂ像４０２からＨＤＲ画像が合成される。なお、ゲインの異なる２つのＡ＋Ｂ像を読み出せばよく、高ゲイン画像と低ゲイン画像の読み出しの順序はどちらが先であっても構わない。

図４（Ｂ）は、位相差検出のための読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は、高ゲインのＡ＋Ｂ像４１０の信号と高ゲインのＢ像４１１を順次読み出す。そして、位相差検出部１０４において、先に読み出したＡ＋Ｂ像からＢ像を引き算することでＡ像を取得し、Ａ像とＢ像を用いた位相差検出を行う。なお、Ａ＋Ｂ像４１０とＢ像４１１がいずれも高ゲイン画像である場合の例を説明したが、Ａ＋Ｂ像とＢ像のゲインが同じであればよく、例えばＡ＋Ｂ像４１０とＢ像４１１がいずれも低ゲイン画像であってもよい。

図４（Ｃ）および図４（Ｄ）は、ＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。被写体輝度に依らずＨＤＲ画像生成と位相差検出を両立しようとした場合には、図４（Ｃ）に示すように、ＨＤＲ画像作成用にＡ＋Ｂ像の高ゲイン画像および低ゲイン画像が、位相差検出用にＢ像の高ゲイン画像および低ゲイン画像が必要となる。そのため、列アンプ２０４は、高ゲインのＡ＋Ｂ像４２０、低ゲインのＡ＋Ｂ像４２１、高ゲインのＢ像４２２、低ゲインのＢ像４２３を順次読み出すこととなり、計４回の読み出しが必要である。しかし、読み出し時間は読み出し回数に比例するため、４回の読み出しによりフレームレートが低下することが懸念される。

ＨＤＲ画像生成と位相差検出を両立しつつ読み出しの回数を減らす場合、図４（Ｄ）に示すように、ＨＤＲ画像作成用のＡ＋Ｂ像の高ゲイン画像および低ゲイン画像と、位相差検出用のＢ像の高ゲイン画像（もしくは低ゲイン画像）を取得することとなる。そのため、列アンプ２０４は、高ゲインのＡ＋Ｂ像４３０、低ゲインのＡ＋Ｂ像４３１、高ゲインのＢ像４３２を順次読み出すこととなり、計３回の読み出しを行う。しかし、高ゲインでＢ像を読み出した場合、高輝度部ではＢ像の出力信号レベルが飽和するため位相差検出ができない。一方で、低ゲインでＢ像を読み出した場合、低輝度部では位相差検出ができない。

そこで、本実施形態では、フレームレートの低下を抑制するために読み出しの回数を３回に抑制しつつ、高精度な位相差検出を両立させるために、図５に示す読み出しを行う。図５は、ＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は高ゲインのＡ＋Ｂ像５０１および低ゲインのＡ＋Ｂ像５０２を読み出し、その後、レベル判定部２０７はレベル判定５０３を行う。そして、列アンプ２０４は、レベル判定５０３の結果に応じて、低ゲインのＢ像５０４もしくは高ゲインのＢ像５０５のいずれかを読み出す。

レベル判定部２０７は、レベル判定５０３の直前に読み出した低ゲインのＡ＋Ｂ像５０２について出力信号のレベル判定を行う。Ａ＋Ｂ像５０２の出力信号レベルが所定の値より大きい場合、高輝度部であると判断し、列アンプ２０４は低ゲインでＢ像５０４を読み出す。一方、Ａ＋Ｂ像５０２の出力信号レベルが所定の値以下である場合、低輝度部であると判断し、列アンプ２０４は高ゲインでＢ像５０５を読み出す。なお、所定の値は、レンズデータなどに応じて変動するよう設定してもよいし、ユーザーが任意に設定してもよい。これにより、高輝度部ではＡ＋Ｂ像およびＢ像それぞれを低ゲインで読み出した映像信号を用いて位相差検出が可能となり、低輝度部ではＡ＋Ｂ像およびＢ像それぞれを高ゲインで読み出した映像信号を用いて位相差検出が可能となる。

なお、低ゲインのＡ＋Ｂ像を用いてレベル判定を行う例を説明したが、高ゲインのＡ＋Ｂ像を用いてレベル判定を行ってもよい。この場合も、出力信号レベルが所定の値より大きい場合は高輝度部であると判断し、列アンプ２０４は低ゲインでＢ像を読み出す。一方、出力信号レベルが所定の値以下である場合は低輝度部であると判断し、列アンプ２０４は高ゲインでＢ像を読み出す。高ゲイン画像を用いたレベル判定の基準となる所定の値は、低ゲイン画像を用いたレベル判定における所定の値より高い値を設定すればよい。

図６は、本実施形態の信号の読み出し処理を示すフローチャートである。図６では、１つの列アンプ２０４に着目した信号の読み出しを示している。列アンプ２０４は、水平同期信号を受けて画素３００からの信号の読み出しを開始する。ステップＳ６０１で、列アンプ２０４は第１の読み出しを行う。第１の読み出しでは、列アンプ２０４は高ゲインでＡ＋Ｂ像を読み出す。ステップＳ６０２で、列アンプ２０４は第２の読み出しを行う。第２の読み出しでは、列アンプ２０４は低ゲインでＡ＋Ｂ像を読み出す。

ステップＳ６０３で、レベル判定部２０７は、第２の読み出しで読み出した低ゲインのＡ＋Ｂ像の信号レベルのレベル判定を１画素ずつ行う。レベル判定部２０７は、Ａ＋Ｂ像の信号レベルと所定の値を比較し、信号レベルが所定の値以下であれば低輝度部であると判断し、ステップＳ６０４に進む。一方、信号レベルが所定の値より大きい場合は高輝度部であると判断し、ステップＳ６０５に進む。

ステップＳ６０４で、列アンプ２０４は低輝度部における第３の読み出しを行う。低輝度部における第３の読み出しでは、列アンプ２０４は高ゲインのＡ＋Ｂ像と同じ露出になるよう高ゲインでＢ像を読み出す。ステップＳ６０５で、列アンプ２０４は高輝度部における第３の読み出しを行う。高輝度部における第３の読み出しでは、列アンプ２０４は低ゲインのＡ＋Ｂ像と同じ露出になるよう低ゲインでＢ像を読み出す。

ステップＳ６０４で、撮像素子１０１は、１列全ての画素の読み出しが終了しているかを判定する。１列全ての画素の読み出しが終了している場合は、本処理を終了する。一方、１列全ての画素の読み出しが終了していない場合は、ステップＳ６０１に戻り、次の画素からの信号の読み出しを行う。１列全ての画素の読み出しが終了しているか否かは、例えば、同期コードを用いて判定することができる。

以上のように、第１実施形態によれば、フレームレートの低下を抑制しつつ、ＨＤＲ合成に必要な信号（画像信号）と位相差検出に必要な信号（位相差検出用信号）を撮像素子から読み出す撮像装置を提供することができる。また、本実施形態ではアナログゲインを変えて位相差検出用の信号を読み出すため、ノイズの少ない高品位な位相差検出用の信号を取得することができ、高輝度部においても低輝度部においても高精度な位相差検出が可能となる。

（第２実施形態）
第１実施形態では、第１、第２の読み出しでＡ＋Ｂ像を異なるゲインで読み出し、第３の読み出しで判定手段のレベル判定結果に基づき決定したゲインでＢ像を読み出す方法について説明した。第２実施形態では、第１の読み出しでＢ像を、第２、第３の読み出しでＡ＋Ｂ像を読み出す方法について説明する。

図７は、第２実施形態における信号の読み出しを説明する図である。第１実施形態の図３と共通の構成については同じ符号を付すことでその説明を省略する。第２実施形態では、メモリ７００が追加されている。メモリ７００には、レベル判定の判定結果として、次のＢ像の読み出しを高ゲインと低ゲインのいずれで行うか示す読み出しゲイン切り替え情報（以下、ゲイン情報とも記す）を保存する。そして、撮像素子１０１は、ゲイン情報に基づいて次フレームにおけるＢ像の読み出しゲインを切り替える。言い換えると、撮像素子１０１は、直前のフレームにおけるレベル判定の判定結果に応じて、Ｂ像の読み出しゲインを切り替える。

ゲイン情報としては、例えば、次の同画素の信号の読み出しにおいて低ゲインをかけてＢ像を読み出す場合には「０」を、高ゲインをかけてＢ像を読み出す場合には「１」を保存する。なお、ゲイン情報の一例として０または１を保持する例を説明したが、これに限られるものではない。ゲイン情報は、第２の読み出しまたは第３の読み出しの信号レベルを判定し、その判定結果に基づき次フレームの第１の読み出しにかけるゲインを切り替えるための情報であればよい。また、ゲイン情報をメモリ７００に保存する例について説明したが、これに限られるものではなく、ゲイン情報を次フレームの読み出し時まで保持することができれば、その形態は問わない。

図８は、第２実施形態におけるＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。水平同期信号８００が発生すると、撮像素子１０１は、メモリ７００からゲイン情報を取得するゲイン情報取得８０１を行う。そして、列アンプ２０４は取得したゲイン情報に応じたゲインをかけてＢ像を読み出す。したがって、ゲイン情報が低ゲインの場合は低ゲインのＢ像８０２を、ゲイン情報が高ゲインの場合は高ゲインのＢ像８０３を読み出す。

続いて列アンプ２０４は、低ゲインのＡ＋Ｂ像８０４および高ゲインのＡ＋Ｂ像８０５を読み出す。その後、その後、レベル判定部２０７はレベル判定８０６を行い、判定結果に基づいて、Ｂ像の読み出しを高ゲインで行うか低ゲインで行うかを示すゲイン情報をメモリ７００に保存するゲイン情報の保存処理８０７を行う。具体的には、レベル判定８０６の結果、Ａ＋Ｂ像８０５の信号レベルが所定の値より大きい場合は高輝度部であると判断し、次フレームで同画素を読み出すときには低ゲインをかけて読み出すために、ゲイン情報として０をメモリに保存する。一方、Ａ＋Ｂ像８０５の信号レベルが所定の値より以下である場合は低輝度部であると判断し、次フレームで同画素を読み出すときには高ゲインをかけて読み出すために、ゲイン情報として１をメモリに保存する。

なお、本実施形態では第２の読み出しで低ゲインのＡ＋Ｂ像を、第３の読み出しで高ゲインのＡ＋Ｂ像を読み出し、高ゲインのＡ＋Ｂ像をレベル判定に用いる例を説明したがこれに限られるものではない。例えば、第２の読み出しで高ゲインのＡ＋Ｂ像を、第３の読み出しで低ゲインのＡ＋Ｂ像を読み出し、低ゲインのＡ＋Ｂ像をレベル判定に用いてもよい。

図９は、第２実施形態における信号の読み出し処理を示すフローチャートである。図９では、１つの列アンプ２０４に着目した信号の読み出しを示している。列アンプ２０４は、水平同期信号を受けて画素３００からの信号の読み出しを開始する。ステップＳ９０１で、撮像素子１０１は、メモリ７００からゲイン情報を読み出す。ステップＳ９０２で、撮像素子１０１は、ゲイン情報の値が０であるか否か判定する。ゲイン情報の値が０である場合は、ステップＳ９０３に進む。一方、ゲイン情報の値が０でない場合（１である場合）は、ステップＳ９０４に進む。なお、ゲイン情報が０であれば前フレームに同画素を読み出したときの出力信号レベルが所定の値よりも大きいことを意味する。一方、ゲイン情報が１であれば前フレームに同画素を読み出したときの出力信号レベルが所定の値以下であることを意味する。

ステップＳ９０３もしくはステップＳ９０４で、列アンプ２０４は第１の読み出しを行う。ゲイン情報の値が０である場合は、列アンプ２０４は第１の読み出しで低ゲインのＢ像を読み出す（ステップＳ９０３）。ゲイン情報の値が０でない場合は、列アンプ２０４は第１の読み出しで高ゲインのＢ像を読み出す（ステップＳ９０４）。

ステップＳ９０５で、列アンプ２０４は第２の読み出しを行う。第２の読み出しでは、列アンプ２０４は低ゲインでＡ＋Ｂ像を読み出す。ステップＳ９０６で、列アンプ２０４は第３の読み出しを行う。第３の読み出しでは、列アンプ２０４は高ゲインでＡ＋Ｂ像を読み出す。

ステップＳ９０７で、レベル判定部２０７は、第３の読み出しで読み出した高ゲインのＡ＋Ｂ像の信号レベルのレベル判定を１画素ずつ行う。レベル判定の方法は第１実施形態と同様である。レベル判定部２０７は、Ａ＋Ｂ像の信号レベルと所定の値（閾値）を比較し、信号レベルが所定の値以下であれば低輝度部であり、次フレームでも同画素は飽和しないと判断し、ステップＳ９０８に進む。一方、信号レベルが所定の値より大きい場合は高輝度部であり、次フレームでも同画素は飽和すると判断し、ステップＳ９０９に進む。

ステップＳ９０８で、レベル判定部２０７は、メモリ７００に１を保存する。ステップＳ９０９で、レベル判定部２０７は、メモリ７００に０を保存する。ステップＳ９１０で、撮像素子１０１は、１列全ての画素の読み出しが終了しているかを判定する。１列全ての画素の読み出しが終了している場合は、本処理を終了する。一方、１列全ての画素の読み出しが終了していない場合は、ステップＳ９０１に戻り、次の画素からの信号の読み出しを行う。

以上のように、第２実施形態によれば、フレームレートの低下を抑制しつつ、ＨＤＲ合成に必要な信号（画像信号）と位相差検出に必要な信号（位相差検出用信号）を撮像素子から読み出す撮像装置を提供することができる。また、本実施形態ではアナログゲインを変えて位相差検出用の信号を読み出すため、ノイズの少ない高品位な位相差検出用の信号を取得することができ、高輝度部においても低輝度部においても高精度な位相差検出が可能となる。

（第３実施形態）
第１実施形態および第２実施形態では、読み出した映像信号のレベル判定を行い、同フレームもしくは次フレームにおける位相差検出用の信号の読み出しゲインを切り替える方法について説明した。第３実施形態では、撮像素子１０１から信号を読み出した後にデジタル信号処理を用いることでアナログゲインの切り替えなしに高輝度部の位相差検出を実現する方法について説明する。

図１０は、第３実施形態における撮像装置の構成を説明する図である。第１実施形態と同様の構成には同じ符号を付すことで、その説明を省略する。第３実施形態では、画像分配器１０２と位相差検出部１０４の間にゲイン付加処理部（以下、ゲイン処理部と記す）１０７が追加されている。ゲイン処理部２０７は、例えば、撮像装置内のデジタル信号を処理する信号処理回路で実現される。

ゲイン処理部１０７は、Ｂ像の信号を増幅する必要があるか判定し、必要に応じて画像分配器１０２から出力された位相差検出用の低ゲインのＢ像の信号に対しデジタルゲインをかけ、位相差検出部１０４にデジタルゲイン付加処理後のＢ像の信号を出力する。Ｂ像の信号を増幅する必要があるか否かは、高輝度部であるか低輝度部であるかを判定する信号レベルのレベル判定により判定される。即ち、ゲイン処理部１０７は、レベル判定部としての機能と、信号の増幅手段としての機能を有する。

ゲイン処理部１０７が付加するデジタルゲインのゲイン値は、ＨＤＲ用に高ゲインでＡ＋Ｂ像の映像信号を読み出したゲイン値を位相差検出用にＢ像の映像信号を読み出したときのゲイン値で除した値とする。ゲイン処理部１０７でＢ像にゲインを付加することは、高ゲインで読み出したＢ像の信号を算出することに相当する。そのため、ゲイン処理部１０７においてゲインを付加したＢ像と高ゲインで読み出したＡ＋Ｂ像を用いて、低輝度部の位相差検出を可能とする。

図１１は、第３実施形態における信号の読み出しを説明する図である。第１実施形態の図３と共通の構成については同じ符号を付すことでその説明を省略する。第１実施形態と比較すると、第３実施形態ではレベル判定部２０７が省略され、より簡易な構成となっている。第３実施形態において、レベル判定は、ゲイン付加処理部１００７が行う。

図１２は、第３実施形態におけるＨＤＲ画像生成と位相差検出を両立するための信号の読み出しを説明する図である。水平同期信号１２００が発生すると、列アンプ２０４は高ゲインのＡ＋Ｂ像１２０１、低ゲインのＡ＋Ｂ像１２０２、低ゲインのＢ像を順次読み出す。信号を読み出す際にレベル判定を行わないため、第１実施形態や第２実施形態に比べ、フレームレートの低下をより抑制することができる。なお、ゲインの異なる２つのＡ＋Ｂ像と、低ゲインのＢ像を読み出せばよく、読み出す順序は限定されない。

図１３は、第３実施形態における信号の読み出し処理を示すフローチャートである。図１３では、１つの列アンプ２０４に着目した信号の読み出しを示している。列アンプ２０４は、水平同期信号を受けて画素３００からの信号の読み出しを開始する。ステップＳ１３０１で、列アンプ２０４は第１の読み出しを行う。第１の読み出しでは、列アンプ２０４は高ゲインでＡ＋Ｂ像を読み出す。ステップＳ１３０２で、列アンプ２０４は第２の読み出しを行う。第２の読み出しでは、列アンプ２０４は低ゲインでＡ＋Ｂ像を読み出す。ステップＳ１３０３で、列アンプ２０４は第３の読み出しを行う。第３の読み出しでは、列アンプ２０４は低ゲインでＢ像を読み出す。

ステップＳ１３０４で、撮像素子１０１は、１列全ての画素の読み出しが終了しているかを判定する。１列全ての画素の読み出しが終了している場合は、ステップＳ１３０５に進む。一方、１列全ての画素の読み出しが終了していない場合は、ステップＳ１３０１に戻り、次の画素からの信号の読み出しを行う。

ステップＳ１３０５で、ゲイン処理部１０７は、第２の読み出しで読み出した低ゲインのＡ＋Ｂ像の信号レベルのレベル判定を行う。レベル判定の方法は第１実施形態と同様である。ゲイン処理部１０７は、Ａ＋Ｂ像の信号レベルと所定の値（閾値）を比較し、信号レベルが所定の値以下であれば、低輝度部であり低ゲインのＢ像に対しデジタルゲインをかける必要があると判断し、ステップＳ１３０６に進む。一方、信号レベルが所定の値より大きい場合は、高輝度部であり第３の読み出しで読み出した低ゲインのＢ像を用いて位相差検出が可能であると判断し、ステップＳ１３０７に進む。

ステップＳ１３０６において、ゲイン処理部１０７は、第３の読み出しで読み出した低ゲインのＢ像の信号に対してデジタルゲインを付加し、高ゲインのＢ像を生成する。ステップＳ１３０６において、位相差検出部１０４は、位相差検出を行う。高輝度の場合は、位相差検出部１０４は低ゲインのＡ＋Ｂ像と低ゲインのＢ像を用いて位相差検出を行う。低輝度の場合は、位相差検出部１０４は高ゲインのＡ＋Ｂ像とステップＳ１３０６で生成した高ゲインのＢ像を用いて位相差検出を行う。

以上のように、第３施形態によれば、フレームレートの低下をより抑制しつつ、ＨＤＲ合成に必要な信号（画像信号）と位相差検出に必要な信号（位相差検出用信号）を撮像素子から読み出す撮像装置を提供することができる。そして、高輝度部においても低輝度部においても高精度な位相差検出が可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１ 撮像装置
１０１ 撮像素子
１０３ 画像処理部
１０４ 位相差検出部
２０３ 画素部
２０４ 列アンプ
２０７ レベル判定部

Claims (10)

1. 複数の光電変換部を有し、画像信号と位相差検出用の信号とを選択的に出力することができる画素を備える画素部と、
   前記画素部から、露出の異なる複数の前記画像信号と、前記位相差検出用の信号とを読み出す読み出し手段と、
   前記画像信号の輝度を判定する判定手段と、を備え、
   前記位相差検出用の信号の露出は、前記判定手段の判定結果に応じて制御される
   ことを特徴とする撮像装置。
2. 前記読み出し手段は、第１の露出と前記第１の露出より高い第２の露出で前記画像信号を読み出し、
   前記判定手段が高輝度であると判定した場合、前記位相差検出用の信号の露出は前記第１の露出に、前記判定手段が低輝度であると判定した場合、前記位相差検出用の信号の露出は前記第２の露出に制御されることを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記画像信号の信号レベルが所定の値より大きい場合に前記高輝度であると判定し、前記信号レベルが所定の値以下である場合に前記低輝度であると判定することを特徴とする請求項２に記載の撮像装置。
4. 前記読み出し手段は、前記判定手段が高輝度であると判定した場合、前記第１の露出で前記位相差検出用の信号を読み出し、前記判定手段が低輝度であると判定した場合、前記第２の露出で前記位相差検出用の信号を読み出すことを特徴とする請求項２または３に記載の撮像装置。
5. 前記読み出し手段は、信号を読み出す際のゲイン値を切り替えることで露出を制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記判定結果を記憶する記憶手段を備え、
   前記読み出し手段は、前記記憶手段に記憶された直前のフレームにおける前記判定結果に応じて、前記位相差検出用の信号の露出を制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. デジタル信号に変換された前記位相差検出用の信号を増幅する増幅手段を備え、
   前記読み出し手段は、第１の露出と前記第１の露出より高い第２の露出で前記画像信号を、前記第１の露出で前記位相差検出用の信号を読み出し、
   前記増幅手段は、前記判定手段が低輝度であると判定した場合、前記位相差検出用の信号を前記第２の露出になるよう増幅することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
8. 前記位相差検出用の信号を用いて位相差検出を行う位相差検出手段と、
   露出の異なる複数の前記画像信号を用いてダイナミックレンジを拡大する処理を行う画像処理手段と、を備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 画素部から画像信号と位相差検出用の信号とを選択的に出力することができる撮像素子を備える撮像装置の制御方法であって、
   前記画素部から、露出の異なる複数の前記画像信号を読み出す工程と、
   前記画像信号の輝度を判定する工程と、
   前記輝度の判定結果に応じて前記位相差検出用の信号の露出を制御して読み出す工程と、を有する
   ことを特徴とする制御方法。
10. 画素部から画像信号と位相差検出用の信号とを選択的に出力することができる撮像素子を備える撮像装置の制御方法であって、
    前記画素部から、第１の露出および前記第１の露出より高い第２の露出で画像信号を読み出す工程と、
    前記第１の露出で位相差検出用の信号を読み出す工程と、
    前記画像信号の輝度を判定する工程と、
    前記輝度が所定の値以下である場合、前記位相差検出用の信号の露出が前記第２の露出になるよう増幅する工程と、を有する
    ことを特徴とする制御方法。

Images