JP2019193150A - 撮像素子およびその制御方法、撮像装置 - Google Patents

Abstract

【課題】位相差演算の精度と撮像画像の画質を向上させることが可能な撮像素子および撮像装置を提供すること。【解決手段】撮像素子は、複数の光電変換素子を備える画素を２次元アレイ状態に配列した画素部２０３を備え、画素部２０３の露出条件を変更して出力する行と、位相差演算用の信号を出力する行とを選択的に出力可能である。輝度判定回路２０９は、画素部２０３から取得した画素信号の輝度レベルを第１の閾値と比較して判定を行い、判定信号をコントローラ回路２１１に出力する。コントローラ回路２１１は判定信号に基づき、明るいと判定された画素数を第２の閾値と比較した結果に基づいて列アンプ部２０４のゲインを決定することにより、対象行の露出条件を変更する制御を行う。【選択図】 図８

Description

本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等に使用される撮像素子の信号出力処理に関する。

撮像装置が備える固体撮像素子は、画素部で光電変換された映像信号の出力の他に、例えばダイナミックレンジ拡大のための出力処理や、撮像装置から被写体までの距離情報の出力処理が可能である。特許文献１では、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を持ち、信号レベルに応じてゲインを切り替える技術が開示されている。ゲインの切り替えにより低ゲインの映像信号と高ゲインの映像信号を出力し、後段の画像処理回路が信号を合成することにより、高ダイナミックレンジ（以下、ＨＤＲとも記す）であって、ノイズが低減された映像信号を生成可能である。

一方、撮像面位相差方式の焦点検出を行う撮像装置は、被写体までの距離情報を取得可能である。例えば、撮像素子の各画素部がマイクロレンズと、各マイクロレンズに対応する１対の光電変換部を備える構成がある。特許文献２に開示の撮像装置は、１つのマイクロレンズを介して光が入射される１対の光電変換部から信号を取得し、信号の加算と非加算を、１対の光電変換部を有する画素単位で任意に行うことができる。

特開２００５−１７５５１７号公報 特開２００１−８３４０７号公報

従来の技術では使用目的の異なる複数の信号を撮像素子から読み出す場合、以下の問題があった。
例えば、ダイナミックレンジ拡大用の高ゲインの映像信号および低ゲインの映像信号と、位相差検出用の映像信号を、同一フレームで読み出す場合に、データ量が増加し、フレームレートが遅くなる可能性がある。高フレームレートを維持するためにフレーム内でＨＤＲ処理用の信号を読み出す駆動と、位相差検出用信号を読み出す駆動とを、撮像素子の読み出し行単位で切り換える場合、位相差検出用信号を読み出す行ではＨＤＲ処理ができない。そのため、ＨＤＲ処理に必要な画素情報を着目画素の周辺画素から補間する必要があり、出力映像の解像感が低下する可能性がある。
本発明の目的は、位相差演算の精度と撮像画像の画質を向上させることが可能な撮像素子および撮像装置を提供することである。

本発明の一実施形態の装置は、複数の光電変換素子を備える画素部から第１の行にて露出条件の異なる第１および第２の画像信号を出力し、前記画素部から第２の行にて位相差演算用の信号と第３の画像信号を出力する制御を行う制御手段と、前記画素部が出力する信号の輝度レベルを判定する判定手段と、前記判定手段の出力する判定信号により前記第２の行の露出条件を変更する変更手段と、を備える。

本発明によれば、位相差演算の精度と撮像画像の画質を向上させることが可能な撮像素子および撮像装置を提供できる。

本発明の実施形態の撮像装置の構成を示すブロック図である。 撮像素子の内部構成を示すブロック図である。 撮像素子の画素部の構成を示す模式図である。 撮像素子の画素部から水平転送部までの詳細を示す図である。 撮像素子の列アンプ部の構成を示す回路図である。 撮像素子の出力の説明図である。 撮像装置の画像合成部の構成を示すブロック図である。 被写体の状況に合ったゲインで信号出力を行う撮像素子の内部構成を示すブロック図である。 第１実施形態の処理を説明するフローチャートである。 第２実施形態の処理を説明するフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。各実施形態では、固体撮像素子を用いた撮像装置の例を示す。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の一般的な構成を示すブロック図である。光学レンズ部１０１は、被写体からの光を取り込み、撮像素子１０２に光を結像させる。光学レンズ部１０１は撮像光学系を構成するレンズや絞り等の光学部材を備える。

撮像素子１０２は光学レンズ部１０１からの入射光に対して光電変換を行って電気信号を出力する。代表例として、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等がある。撮像素子１０２はアナログ映像信号を直接出力するか、または、撮像素子１０２の内部でＡ／Ｄ（アナログ／デジタル）変換処理を行い、ＬＶＤＳ（Low Voltage Differential Signaling）形態等のデジタルデータを出力する。撮像素子１０２の内部構成については、図２を用いて後述する。

画像取得部１０３は、撮像素子１０２から出力される信号を取得し、必要に応じて処理を行う。例えば、撮像素子１０２が内部でＡ／Ｄ変換を行わない場合、画像取得部１０３はＡ／Ｄ変換を行うＡＦＥ（アナログフロントエンド）部を備える。画像取得部１０３は、撮像素子１０２の固定パターンノイズの除去や、黒レベルクランプ処理等を行う。また画像取得部１０３は、撮像装置の代表的な画像処理機能である画素加算の機能を有し、ノイズリダクション、ガンマ補正、ニー補正、デジタルゲイン処理、キズ補正等の各種画像処理を行う。画像取得部１０３は補正や画像処理に必要となる設定値を記憶する記憶回路を含む。

画像合成部１０４は画像処理回路に含まれ、撮像素子１０２から出力されて画像取得部１０３により取得されたＨＤＲ生成用の信号に基づいて、任意の合成方法を用いてＨＤＲ画像の合成処理を行う。例えば、第１の画像のデータとして高ゲインの画像データを使用し、第１の画像のうちで白飛びが発生している部分に対応する第２の画像のデータとして低ゲインの画像データを使用してＨＤＲ合成を行う方法がある。白飛びは、許容範囲を超えて明るい部分が白く写る現象である。なお、本実施形態ではゲインが異なる複数の画像データを用いた任意の合成方法を採用可能であり、合成処理のアルゴリズムは限定されない。

信号記録部１０５は、画像合成部１０４により合成された画像データに対応する信号を、記憶装置または記憶媒体へ記録する。記憶装置または記憶媒体は、例えば撮像装置に装着可能なメモリデバイスである。

露出制御部１０６は、画像取得部１０３からの信号を用いて撮像素子１０２の最適正露光量を算出する。瞳分割型撮像素子により撮像面位相差検出が可能な撮像装置の場合、撮像素子から視点の異なる複数の画像信号を取得することができる。例えば撮像素子は、２次元に配列されたマイクロレンズアレイを備え、各画素部はマイクロレンズと、各マイクロレンズに対応する１対の光電変換部を備える。１対の光電変換部の出力信号から位相差を計算することができる。検出された位相差に基づくデフォーカス量にしたがって光学レンズ部１０１内のフォーカスレンズが駆動制御され、焦点調節動作が行われる。焦点検出および焦点調節については公知であるため、詳細な説明を割愛する。撮像素子制御部１０７は露出制御部１０６の出力する制御信号を取得し、撮像素子１０２の動作を制御する。

図２を参照して、撮像素子１０２の構成を説明する。図２は、固体撮像素子の内部の主要な構成要素を示すブロック図である。タイミング・パルス制御部２０１は撮像素子１０２の各構成部に対する動作クロック信号（ＣＬＫ）やタイミング信号を供給して、撮像素子１０２の動作を制御する。

垂直走査回路２０２は、２次元に配置された画素部２０３の画素信号を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。本実施形態では、画素部２０３から位相差情報を出力するかどうかを選択することができる。

画素部２０３は光電変換素子を備え、入射光量に応じて光電変換を行って電圧を出力する。画素部２０３から映像信号とともに位相差情報を出力することが可能である。画素部２０３の画素構造については、図３を用いて後述する。

列アンプ部２０４は、画素部２０３から読み出された画素信号を増幅する。列アンプ部２０４で信号を増幅することにより、それ以降の列ＡＤＣ２０５から出るノイズに対して、画素部２０３の信号を増幅し、等価的にＳ／Ｎ比（信号対ノイズ比）を改善することができる。また、タイミング・パルス制御部２０１から列アンプ部２０４のゲインを変更することができる。撮像素子１０２は、ＨＤＲ画像生成用として、列アンプ部２０４が入力メモリを２つ有し、列アンプゲインを変更して２種類のゲインで信号を出力する。列アンプ部２０４が２つの入力メモリを有することで、フォトダイオードから読み出された、ある時刻の信号に対して２種類のゲインを乗算して信号を出力することができる。データ量は増加するが、同時性を持ったゲインの異なる２つの画像信号を取得できる。

列ＡＤＣ２０５は、列アンプ部２０４からの出力信号をＡ／Ｄ変換する。デジタル化された信号は、水平転送回路２０６により順次読み出される。水平転送回路２０６の出力は信号処理回路２０７に入力される。信号処理回路２０７はデジタル信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加える処理の他に、シフト演算や乗算を行う。これにより、簡易にゲイン演算を行うことができる。また、画素部２０３が遮光された画素領域を有する構造の場合、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

信号処理回路２０７は、処理した信号を外部出力回路２０８に出力する。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また外部出力回路２０８は、このシリアル信号をＬＶＤＳ信号等に変換し、外部デバイスへの画像情報として出力する。

図３は、１つのマイクロレンズに対してフォトダイオードが２つに分割された画素部２０３の構造例を示す概略図である。各画素部２０３は、位相差検出のために１つのマイクロレンズ７０１に対して第１の光電変換部７０２と第２の光電変換部７０３を有する。各光電変換部の出力レベルから位相差を検出することが可能である。光電変換部７０２，７０３の各表面にはカラーフィルタとマイクロレンズ７０１が実装されている。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタを用いてＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとることが一般的であるが、必ずしもこの限りではない。また、１つのマイクロレンズに対して３以上の光電変換部を画素部が有していてもよい。

図４を参照して、画素部２０３から水平転送回路２０６までの信号処理の流れについて説明する。各画素部２０３が１対の光電変換素子８０１，８０２を有する例を示す。光電変換素子８０１と８０２はマイクロレンズを共有し、光電変換により光を電荷に変換するフォトダイオードである。転送スイッチ素子８０３，８０４はそれぞれ、光電変換素子８０１，８０２で発生した電荷を後段の回路に転送する。

電荷保持部８０５は、光電変換素子８０１，８０２で発生した電荷を一時的に保持する。電荷保持部８０５は、光電変換素子８０１と８０２のうち、どちらかの電荷のみを保持することが可能であり、また光電変換素子８０１と８０２の両方の電荷を加算した電荷を保持することも可能である。画素アンプ８０６は垂直線８１３を通して、電荷保持部８０５の信号を列アンプ部２０４へ出力する。電流制御部８０７は垂直線８１３の電流を制御する。

列ＡＤＣ２０５は、Ａ／Ｄ変換部８０９とメモリ８１０，８１１と減算器８１２を備える。Ａ／Ｄ変換部８０９は列アンプ部２０４の出力に対してＡ／Ｄ変換を行う。メモリ８１０と８１１はＡ／Ｄ変換部８０９により変換されたデジタル信号を一時的に保持する。メモリ８１０は光電変換素子８０１または８０２から読み出された画素信号と、読み出し回路部（電荷保持部８０５からＡ／Ｄ変換部８０９までの回路）のノイズ信号とを保持する。またメモリ８１１は読み出し回路部のノイズ信号を保持する。減算器８１２はメモリ８１０の出力からメモリ８１１の出力を減算し、減算結果を画素信号として水平転送回路２０６へ出力する。

次に、ＨＤＲ画像生成時の撮像素子の動作と画像合成部について説明する。撮像素子１０２は、タイミング・パルス制御部２０１および垂直走査回路２０２によって、位相差情報を出力するか、またはＨＤＲ画像を生成するために列アンプ部のゲインを変更して出力するかを選択することができる。以下に、ＨＤＲ画像の生成時における列アンプ部２０４の動作を説明する。

図５は、列アンプ部２０４のうち、ある列を１つだけ抜き出した回路の構成を示す回路図である。ＯＰ３０５はオペアンプであり、入力容量Ｃ３０３，Ｃ３０４と帰還容量Ｃ３０６，Ｃ３０８が接続されている。オペアンプＯＰ３０５の正側入力端子（非反転入力端子）には、基準電源から所定の基準電圧が印加されている。

入力容量Ｃ３０３とＣ３０４は、ＯＰ３０５の負側入力端子（反転入力端子）に対して並列に接続されている。スイッチ素子ＳＷ３０１は画素部２０３に接続され、画素部２０３から読み出された信号は入力容量Ｃ３０３を介してＯＰ３０５に入力される。スイッチ素子ＳＷ３０２は画素部２０３に接続され、画素部２０３から読み出された信号は入力容量Ｃ３０４を介してＯＰ３０５に入力される。

帰還容量Ｃ３０６とＣ３０８は、ＯＰ３０５の反転入力端子と出力端子にそれぞれ接続され、互い並列である。スイッチ素子ＳＷ３０７は帰還容量Ｃ３０８と直列に接続されており、帰還容量Ｃ３０８の接続を制御する。ＯＰ３０５の増幅率は「入力容量／帰還容量」により決定される。

本実施形態では入力容量が２つである。スイッチ素子ＳＷ３０１をオンとし、且つスイッチ素子ＳＷ３０２、ＳＷ３０７をオフとしたとき、ＯＰ３０５はＣ３０３とＣ３０６との静電容量比に対応する第１のゲインで増幅した信号を列ＡＤＣ２０５へ出力する。またスイッチ素子ＳＷ３０１をオフとし、スイッチ素子ＳＷ３０２とＳＷ３０７をオンとしたとき、ＯＰ３０５はＣ３０４と、Ｃ３０６およびＣ３０８の合成容量との比に対応する第２のゲインで増幅した信号を列ＡＤＣ２０５へ出力する。第２のゲインは第１のゲインよりも小さい。スイッチ素子ＳＷ３０７のオン・オフ制御により、ゲインの異なる２つの画像の信号を出力することができる。

一方、列アンプ部２０４にて位相差情報を出力する場合、通常の映像信号（加算信号）と位相差演算用の映像信号が同じゲインで出力される。ＳＷ３０１とＳＷ３０７のスイッチング制御を同一の制御として、２つの画像の信号が出力される。

図６を参照して、ＶＤ（垂直同期信号）の期間に出力される信号について説明する。図６（Ａ）から（Ｃ）は、ＶＤ期間（垂直同期期間）に出力される画像信号を説明する模式図である。ゲインの異なる２つ画像のうち、高ゲイン画像を適正露光画像とする。

図６（Ａ）では、第１のＶＤ期間において、画像４０１の信号と画像４０２の信号が順次に出力される。画像４０１および４０２は、ＨＤＲ画像の生成時の出力画像である。ＶＤ期間の最初に低ゲイン画像である画像４０１の信号が読み出され、引き続き高ゲイン画像である画像４０２の信号が読み出される。ゲインの異なる２つの画像４０１および４０２からＨＤＲ用の画像が合成される。本実施形態では高ゲイン画像を通常画像として扱い、高ゲイン画像内で明るくて白飛びが発生している部分を低ゲイン画像と合成する処理が行われる。

第２のＶＤ期間には、位相差情報を出力する場合を示す。画像４０３は位相差演算用画像（高ゲイン）であり、画像４０４は適正露光画像である。ＶＤ期間のはじめに位相差演算用画像である画像４０３の信号が読み出され、引き続き高ゲイン画像である画像４０４の信号が読み出される。本実施形態では高ゲイン画像を通常画像（撮像画像）として使用しつつ、位相差情報を出力することができる。

図６（Ｂ）は、画像４０５と画像４０６とで行ごとに異なる信号を読み出す例を示す。画像４０５に示す行４０７−１，４０８−１，４０９−１と、画像４０６に示す行４０７−２，４０８−２，４０９−２はそれぞれ対応する行である。

図６（Ｂ）に示す画像４０５の行４０７−１では低ゲイン画像の信号が読み出され、行４０８−１では位相差演算用画像（高ゲイン）の信号が読み出される。行４０９−１では低ゲイン画像の信号が読み出され、次の行では位相差演算用画像（高ゲイン）の信号が読み出される。このように画像４０５について低ゲイン画像と位相差演算用画像の各信号が行ごとに交互に読み出される。一方、図６（Ｂ）に示す画像４０６では、行４０７−２，４０８−２，４０９−２において、適正露光画像（高ゲイン画像）が読み出される。

図６（Ｃ）は、例えば焦点を合わせたい被写体が非常に明るい場合等のように、位相差演算用画像を低ゲインで読み出す例を示す。画像４１０に示す行４１２−１，４１３−１，４１４−１と、画像４１１に示す行４１２−２，４１３−２，４１４−２はそれぞれ対応する行である。

図６（Ｃ）に示す画像４１０の行４１２−１では低ゲイン画像の信号が読み出され、行４１３−１では位相差演算用画像（低ゲイン）の信号が読み出される。行４１４−１では低ゲイン画像の信号が読み出され、次の行では位相差演算用画像（低ゲイン）の信号が読み出される。このように画像４１０について低ゲイン画像と位相差演算用画像（低ゲイン）の各信号が行ごとに交互に読み出される。

図６（Ｃ）に示す画像４１１では、行４１２−２で適正露光画像（高ゲイン）の信号が読み出され、行４１３−２で低ゲイン画像の信号が読み出される。そして行４１４−２で適正露光画像（高ゲイン）の信号が読み出され、次の行で低ゲイン画像の信号が読み出される。画像４１１では、適正露光画像（高ゲイン）と低ゲイン画像の各信号が行ごとに交互に読み出される。画像４１１において、行４１３−１と対応する行４１３−２にて、位相差演算用画像（低ゲイン）と同じゲインで増幅された画像信号が出力される。つまり、画像４１０で位相差演算用画像の信号が出力される行では、画像４１１にて低ゲイン画像の信号が出力されることになる。

次に図７を参照して、画像処理部内の画像合成部の基本的な動作について説明する。「行１−１」は適正露光画像（高ゲイン画像）の１行の信号を表す。輝度判定部５０１は、「行１−１」の信号について１画素ずつ輝度レベルを算出する。輝度判定部５０１は算出した１画素ごとの輝度レベルを閾値と比較し、ＨＤＲ画像生成のためにそれぞれの画素に対して合成が必要かどうかを判定する。輝度判定部５０１は判定信号を後述の合成部５０３に出力する。

「行１−２」は低ゲイン画像の１行の信号を表す。デジタルゲイン部５０２は、「行１−２」の信号を用いて「行１−１」の信号と明るさを合わせる。「行１−１」では白飛びが発生していた部分の情報に関して、「行１−２」では情報が残っている。デジタルゲイン部５０２は「行１−２」の信号に対してデジタルゲインを乗算する。これにより、「行１−１」と同等の明るさの信号を得られるが、「行１−１」では白飛びしていた情報を残すために、デジタルゲイン部５０２の出力に関してビット数を増やす必要がある。ここで、「行１−１」ではアナログゲインでゲインアップが行われるため、「行１−２」に対してデジタルゲインをかけた場合と比較するとＳ／Ｎ比は「行１−１」の方が高い。

デジタルゲイン部５０２により、「行１−１」と「行１−２」との明るさを合わせた上で、合成部５０３は、「行１−１」の輝度判定結果を用いて、「行１−１」の信号と「行１−２」の信号との合成を行う。

以上の処理が入力画像の全行について繰り返されて、ＨＤＲ画像が生成される。なお、「行１−２」の信号として、低ゲイン画像の信号ではなく位相差演算用の画像信号が出力される場合には、ＨＤＲ画像を生成できないので、位相差演算を行うだけで画像合成を行う必要はない。

図６（Ｂ）を参照して合成画像の出力について説明する。行４０７−１と行４０７−２はそれぞれ、低ゲイン画像と適正露光画像（高ゲイン）の行である。よって、上述した方法でＨＤＲ画像を生成できる。

行４０８−１は位相差演算用画像（高ゲイン画像）の行であるため、行４０８ではＨＤＲ画像を生成することができない。そのため、行４０８の低ゲイン画像を任意の方法で補間する必要がある。例えば、行４０７−１の信号と行４０９−１の信号とを平均して、行４０８−１の信号を生成する方法がある。この場合、補間の影響で垂直解像度は低下するがＳ／Ｎ比は高い。

また図６（Ｃ）では、行４１２−１および４１２−２と、行４１４−１および４１４−２にてＨＤＲ画像を生成できる。行４１３−１および行４１３−２では、位相差演算用画像および低ゲイン画像の信号が出力されるので、その行ではＨＤＲ画像を生成するための適正露光画像（高ゲイン画像）がない。しかし、低ゲイン画像には高ゲイン画像で白飛びの発生している部分の情報が残っている。そのため、低ゲイン画像の明るさを、適正露光画像（高ゲイン画像）の明るさに合わせれば、Ｓ／Ｎ比は低下するが、画像の情報はすべて残っていることになる。そのため、行４１３−２に対して、行４１２−２や行４１４−２に明るさを合わせる処理を行ってからＨＤＲ画像を生成すれば、解像度の低下を抑制でできる。すなわち、ＨＤＲ画像を生成する際に、位相差演算用画像の信号が低ゲインで出力される場合、垂直解像度が低下しないための処理が実行される。また位相差演算用画像の信号が高ゲインで出力される場合、Ｓ／Ｎ比を低下させないための補間処理が実行される。図８に示す撮像素子の回路構成を参照して具体的に説明する。

図８は、被写体の状況をリアルタイムに監視し、状況に合ったゲインで信号出力を行うための回路構成を示すブロック図である。図２と相違は、輝度判定回路２０９、リファレンス電圧生成部２１０、コントローラ回路２１１が追加されていることである。

輝度判定回路２０９は、画素部２０３と列アンプ部２０４との間に設けられている。輝度判定回路２０９は複数のコンパレータを備え、各コンパレータは画素部２０３の出力と、リファレンス電圧生成部２１０が生成した閾値電圧とを比較する。各コンパレータによる輝度判定結果を示す信号は転送回路を通してコントローラ回路２１１に出力される。

コントローラ回路２１１は、入力された行の輝度判定結果から、閾値より輝度値が大きい画素の総数を計測し、列アンプ部２０４にて高ゲインで読み出すか低ゲインで読み出すかを判定する。つまり、コントローラ回路２１１は列アンプ部２０４のゲインを決定し、ゲイン制御信号を列アンプ部２０４に出力する。これにより、明るい被写体が存在する場合に低ゲインで信号を読み出すことが可能となる。

図９のフローチャートを参照して、コントローラ回路２１１の動作を説明する。先ず、フレームの１行目の画像データが輝度判定回路に入力される（Ｓ６０１）。輝度判定回路２０９は対象行（第Ｎ行）の各画素の輝度判定を行い、判定結果を示す判定信号をコントローラ回路２１１へ出力する（Ｓ６０２）。

コントローラ回路２１１は所定の閾値よりも輝度値が大きく、明るいと判定された画素の画素数が、予め定められた閾値ｍよりも多いかどうかを判定する（Ｓ６０３）。明判定の画素数が閾値よりも多いと判定された場合、Ｓ６０４の処理に進み、閾値以下である場合にはＳ６０５の処理に進む。

Ｓ６０４でコントローラ回路２１１は、明るいと判定された画素数が閾値ｍよりも多いため、列アンプ部２０４のゲインを低ゲインへ変更する。またＳ６０５でコントローラ回路２１１は、明るいと判定された画素数が閾値以下であるため、列アンプ部２０４のゲインを高ゲインへ変更する。

Ｓ６０６ではフレームの最終行であるか否かが判定され、最終行である場合、上記した一連の処理を終了して、次のフレームの処理が行われる。またＳ６０６でフレームの最終行でない場合には、Ｓ６０７に進み、対象行を表すＮ値がインクリメントされて次の第Ｎ＋１行の処理を続行するべく、Ｓ６０２の処理に戻る。

本実施形態では撮像素子内に輝度判定回路を備え、対象行の判定結果である明判定の画素の総数に応じて列アンプの増幅率を変更する。位相差演算用画像に対する増幅率を適応的に各行で変更することにより、ＨＤＲ画像の合成時に被写体の明るさに合った処理を選択することができる。なお、ＨＤＲ合成に関するアルゴリズムや、画素補間に関するアルゴリズムは任意でよく、本実施形態の例に限定されるものではない。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、輝度判定回路２０９による明判定の画素数（明画素数）と閾値ｍとの比較に関し、判定対象となる行で位相差情報を計算する必要があるかどうかを判定する例を示す。位相差情報を計算する必要性については、撮像光学系の焦点検出に用いるフォーカス枠（焦点状態検出枠）の情報から判定することができる。以下、第１実施形態との相違点のみ説明する。

図１０のフローチャートを参照して、本実施形態におけるコントローラ回路２１１の動作を説明する。図１０では図９に対して、Ｓ６０２とＳ６０３との間にＳ１００３が追加されている。Ｓ１００３では着目行である第Ｎ行の位置がフォーカス枠外であるどうかについて判定処理が行われる。撮像装置のフォーカス枠の情報は、画像処理回路からシリアル通信等で撮像素子１０２のコントローラ回路２１１へ送信される。

Ｓ１００３で着目行の位置がフォーカス枠外である場合、Ｓ６０３の処理に進み、明画素数の判定（閾値ｍとの比較判定）が行われ、また、フォーカス枠外でない場合にはＳ６０５の処理に進む。つまり、着目行（第Ｎ行）の位置がフォーカス枠内である場合、ノイズの影響を抑制するためにＳ／Ｎ比を高くする必要があるので、Ｓ６０５で列アンプ部２０４のゲインは大きい値に変更される。

本実施形態では、着目行についてフォーカス枠外かどうかを撮像素子が判断し、フォーカス枠外と判定された行では明画素数を判定して列アンプのゲインを決定する。これにより、露出条件を適応的に変更して必要な画像信号および位相差演算用の信号を取得できる。

従来の技術では、位相差検出用の信号を読み出す行にてダイナミックレンジ拡大処理に必要な画素情報を周辺画素から取得して補間する際に、撮像画像の解像感が低下する可能性がある。前記実施形態によれば、位相差演算の精度と撮像画像の画質の向上とを両立させることが可能であり、合成後の補間による画質低下を最小限に抑えつつ、ＨＤＲ画像を生成できる。前記実施形態では、信号の増幅率を変更することによって露出条件を変更する例を説明したが、光電変換素子の感度設定や露光時間等の変更によって露出条件を変更する実施形態も本発明の技術的範囲に含まれる。

１０２ ・・・撮像素子
１０３ ・・・画像取得部
１０４ ・・・画像合成部
１０６ ・・・露出制御部
１０７ ・・・撮像素子制御部

Claims (10)

1. 複数の光電変換素子を備える画素部から第１の行にて露出条件の異なる第１および第２の画像信号を出力し、前記画素部から第２の行にて位相差演算用の信号と第３の画像信号を出力する制御を行う制御手段と、
   前記画素部が出力する信号の輝度レベルを判定する判定手段と、
   前記判定手段の出力する判定信号により前記第２の行の露出条件を変更する変更手段と、を備える
   ことを特徴とする撮像素子。
2. 前記画素部の列ごとに信号の増幅を行う増幅手段を備え、
   前記変更手段は、前記露出条件を変更する場合、列ごとの前記増幅手段の増幅率を変更する
   ことを特徴とする請求項１に記載の撮像素子。
3. 前記判定手段は、輝度レベルが第１の閾値より大きい画素を判定し、
   前記変更手段は、前記判定手段により判定された画素の数を第２の閾値と比較して、前記露出条件を変更する
   ことを特徴とする請求項１または請求項２に記載の撮像素子。
4. 前記制御手段および変更手段は、前記第１の行にて第１の増幅率で前記第１の画像信号を出力し、第２の増幅率で前記第２の画像信号を出力し、前記第２の行にて前記第２の増幅率で前記位相差演算用の信号と前記第３の画像信号を出力する制御を行う
   ことを特徴とする請求項２に記載の撮像素子。
5. 前記制御手段および変更手段は、前記第１の行にて第１の増幅率で前記第１の画像信号を出力し、第２の増幅率で前記第２の画像信号を出力し、前記第２の行にて前記第１の増幅率で前記位相差演算用の信号と前記第３の画像信号を出力する制御を行う
   ことを特徴とする請求項２に記載の撮像素子。
6. 前記画素部は複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換素子を備え、前記複数の光電変換素子は前記位相差演算用の複数の信号を出力する
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像素子。
7. 請求項１から６のいずれか１項に記載の撮像素子と、
   前記撮像素子から前記第１ないし第３の画像信号および前記位相差演算用の信号を取得する取得手段と、
   露出条件の異なる複数の画像を合成する合成手段と、を備える
   ことを特徴とする撮像装置。
8. 前記位相差演算用の信号を用いて焦点検出およびフォーカスレンズの駆動を行う焦点調節手段を備え、
   前記変更手段は、前記判定手段により判定される行の位置が焦点検出に用いるフォーカス枠の枠外であるか否かにより、前記第２の行の露出条件を変更する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記画素部の列ごとに信号の増幅を行う増幅手段を備え、
   前記変更手段は、前記判定手段により判定される行の位置が前記フォーカス枠の枠外であって、かつ、前記判定手段により輝度レベルが第１の閾値より大きいと判定された画素の数が第２の閾値より大きい場合、前記増幅手段の増幅率を第１の増幅率に変更し、前記判定手段により判定される行の位置が前記フォーカス枠の枠外でない場合、または、前記判定手段により輝度レベルが前記第１の閾値より大きいと判定された画素の数が前記第２の閾値以下である場合、前記増幅手段の増幅率を前記第１の増幅率よりも大きい第２の増幅率に変更する
   ことを特徴とする請求項８に記載の撮像装置。
10. 複数の光電変換素子を備える画素部から第１の行にて露出条件の異なる第１および第２の画像信号を出力し、前記画素部から第２の行にて位相差演算用の信号と第３の画像信号を出力する制御を行う制御手段を備える撮像素子にて実行される制御方法であって、
    前記画素部が出力する信号の輝度レベルを判定手段が判定する工程と、
    前記判定手段の出力する判定信号により、変更手段が前記第２の行の露出条件を変更する工程と、
    前記変更手段により変更された露出条件で前記位相差演算用の信号および前記第３の画像信号を出力する工程と、を有する
    ことを特徴とする制御方法。
    
    
    

Images