JP2020043391A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】画像合成前に補間を行うことで画質劣化を抑制しつつ、高ダイナミックレンジ画像を生成する撮像装置を提供する。【解決手段】撮像装置は、撮像素子１０２にてゲインの異なる複数の信号を出力する第１の行と、ゲインが同じである位相差演算用信号および画像信号を出力する第２の行から、信号を選択的に読み出す。画像取得部１０３は撮像素子１０２から画像信号を取得し、画像合成部１０４は取得した露出条件の異なる画像のデータを合成する。第２の行における信号のゲインに応じて、画像合成前の画像信号に対してノイズリダクションを行うか、または画素補間を行うかを切り替える処理が行われる。ＨＤＲ画像を生成する際に、第２の行でのゲインが低ゲインである場合、画像の明るさを調整してノイズリダクション処理が行われ、また、第２の行でのゲインが高ゲインである場合、その隣接行における低ゲイン画像のデータを用いて画素補間が行われる。【選択図】図１

Description

本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等に使用される撮像素子の信号処理に関する。

撮像装置が備える固体撮像素子は多数の画素部が配列され、光電変換された映像信号を出力する以外に、例えばダイナミックレンジの拡大や、撮像装置から被写体までの距離情報を出力することが可能である。特許文献１に開示された装置は、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を有する。信号レベルに応じてゲインを切り替えて低ゲインの信号と高ゲインの信号の映像信号を出力し、画像処理回路で信号を合成することにより、高ダイナミックレンジ（以下、ＨＤＲとも記す）であって、ノイズが低減された映像信号を生成可能である。

一方、距離情報を取得する技術には撮像素子で位相差検出方式の焦点検出を行う方法がある。焦点検出に利用可能な信号を出力する撮像装置の一例としては、各マイクロレンズに対応する１対の光電変換部を２次元的に配列した撮像素子を設けた構成がある。特許文献２には、１つのマイクロレンズを介して光が入射される１対の光電変換部が出力する信号の加算と非加算を、１対の光電変換部を有する画素単位で任意に行うことのできる撮像装置が開示されている。

特開２００５−１７５５１７号公報 特開２００１−８３４０７号公報

従来技術の装置では、ダイナミックレンジ拡大用の高ゲインの映像信号、および低ゲインの映像信号と位相差検出用の映像信号を同一フレームで読み出そうとすると、データ量が増加し、フレームレートの低下をもたらす可能性がある。高フレームレートを維持するために１フレーム内でＨＤＲ用の映像信号を読み出す駆動と、位相差検出用の映像信号を読み出す駆動を撮像素子の読み出し行単位で切り換える場合、位相差検出用の映像信号を読み出す行ではＨＤＲができない。ＨＤＲ画像の合成後に補間を行った場合、出力映像の解像感が低下する可能性がある。本発明は、画像合成前に補間を行うことで画質劣化を抑制しつつ、ＨＤＲ画像を生成する撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、複数の光電変換素子を備える画素部から、第１の行にて露出条件の異なる第１および第２の画像信号を出力し、前記第１の行に隣接する第２の行にて露出条件が同じである第３および第４の画像信号を出力する制御を交互に行う制御手段と、前記第３の画像信号に対するゲインが閾値より大きい場合、前記第２の行に隣接する複数の行における前記第１の画像信号に係る画像の明るさを前記第４の画像信号に係る画像の明るさに合わせて画素補間を行って画像信号を出力する処理手段と、前記第４の画像信号および前記処理手段が出力する画像信号を取得して画像合成を行う合成手段と、を備える。

本発明の撮像装置によれば、画像合成前に補間を行うことで画質劣化を抑制しつつ、ＨＤＲ画像を生成することができる。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 撮像素子の内部構成を示すブロック図である。 撮像素子の列アンプ部の構成を示す回路図である。 撮像素子の出力を示す説明図である。 撮像装置の画像合成部の構成を示すブロック図である。

以下、本発明の各実施形態について、図面を参照しながら説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の構成例を示すブロック図である。光学レンズ部１０１は被写体からの光を取り込み、撮像素子１０２に光を結像させる。光学レンズ部１０１は撮像光学系を構成するレンズや絞り等の光学部材を備える。

撮像素子１０２は光学レンズ部１０１からの入射光に対して光電変換を行って電気信号を出力する。代表例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。撮像素子１０２はアナログ映像信号を直接出力するか、または、撮像素子１０２の内部でＡ／Ｄ（アナログ／デジタル）変換処理を行い、ＬＶＤＳ形態等のデジタルデータを出力する。ＬＶＤＳは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略号である。撮像素子１０２の内部構成については、図２を用いて後述する。

画像取得部１０３は、撮像素子１０２から出力される信号を取得し、必要に応じて処理を行う。例えば、撮像素子１０２が内部でＡ／Ｄ変換を行わない場合、画像取得部１０３はＡ／Ｄ変換を行うＡＦＥ（アナログフロントエンド）部を備える。画像取得部１０３は、撮像素子１０２の固定パターンノイズの除去や、黒レベルクランプ処理等を行う。また画像取得部１０３は、撮像装置の代表的な画像処理機能である画素加算の機能を有し、ノイズリダクション、ガンマ補正、ニー補正、デジタルゲイン処理、キズ補正等の各種画像処理を行う。画像取得部１０３は補正処理や画像処理に必要な設定値を記憶する記憶回路を含む。

画像合成部１０４は画像処理回路に含まれ、撮像素子１０２から出力されて画像取得部１０３により取得されたＨＤＲ生成用の信号に基づいて、任意の合成方法を用いてＨＤＲ画像の合成処理を行う。例えば、第１の画像のデータとして高ゲインの画像データを使用し、第１の画像のうちで白飛びが発生している部分に対応する第２の画像のデータとして低ゲインの画像データを使用してＨＤＲ合成を行う方法がある。白飛びは、許容範囲を超えて明るい部分が白く写る現象である。なお、本実施形態ではゲインが異なる複数の画像データを用いた任意の合成方法を採用可能であり、合成処理のアルゴリズムは限定されない。

信号記録部１０５は、画像合成部１０４により合成された画像データに対応する信号を、記憶装置または記憶媒体へ記録する。記憶装置または記憶媒体は、例えば撮像装置に装着可能なメモリデバイスである。

露出制御部１０６は、画像取得部１０３からの信号を用いて撮像素子１０２の最適正露光量を算出する。瞳分割型撮像素子により撮像面位相差検出が可能な撮像装置の場合、撮像素子から視点の異なる複数の画像信号を取得することができる。例えば撮像素子は、２次元に配列されたマイクロレンズアレイを備え、各画素部はマイクロレンズと、各マイクロレンズに対応する１対の光電変換部を備える。１対の光電変換部の出力信号から位相差を計算することができる。検出された位相差に基づくデフォーカス量にしたがって光学レンズ部１０１内のフォーカスレンズが駆動制御され、焦点調節動作が行われる。焦点検出および焦点調節については公知であるため、詳細な説明を割愛する。撮像素子制御部１０７は露出制御部１０６の出力する制御信号を取得し、撮像素子１０２の動作を制御する。

図２を参照して、撮像素子１０２の構成を説明する。図２は、固体撮像素子の内部の主要な構成要素を示すブロック図である。タイミング・パルス制御部２０１は撮像素子１０２の各構成部に対する動作クロック信号（ＣＬＫ）やタイミング信号を供給して、撮像素子１０２の動作を制御する。

垂直走査回路２０２は、２次元に配置された画素部２０３の画素信号を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。本実施形態では、画素部２０３から位相差情報を出力するかどうかを選択することができる。

画素部２０３は光電変換素子を備え、入射光量に応じて光電変換を行って電圧を出力する。画素部２０３から映像信号とともに位相差情報を出力することが可能である。例えば画素部２０３は、１つのマイクロレンズに対してフォトダイオードが２つに分割された構造を有する。画素部２０３には、位相差検出のために１つのマイクロレンズに対して第１および第２の光電変換部が配置され、各光電変換部の出力レベルから位相差を検出することが可能である。光電変換部の各表面にはカラーフィルタとマイクロレンズが実装されている。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタを用いてＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとることが一般的であるが、必ずしもこの限りではない。１つのマイクロレンズに対して３以上の光電変換部を画素部が有する構成でもよい。

列アンプ部２０４は、画素部２０３から読み出された画素信号を増幅する。列アンプ部２０４で信号を増幅することにより、それ以降の列ＡＤＣ２０５から出るノイズに対して、画素部２０３の信号を増幅し、等価的に信号対ノイズ比（以下、Ｓ／Ｎ比と表記する）を改善することができる。また、タイミング・パルス制御部２０１から列アンプ部２０４のゲインを変更することができる。撮像素子１０２は、ＨＤＲ画像生成用として、列アンプ部２０４が入力メモリを２つ有し、列アンプゲインを変更して２種類のゲインで信号を出力する。列アンプ部２０４が２つの入力メモリを有することで、フォトダイオードから読み出された、ある時刻の信号に対して２種類のゲインを乗算して信号を出力することができる。データ量は増加するが、同時性を持ったゲインの異なる２つの画像信号を取得できる。

列ＡＤＣ２０５は、列アンプ部２０４からの出力信号をＡ／Ｄ変換する。デジタル化された信号は、水平転送回路２０６により順次読み出される。水平転送回路２０６の出力は信号処理回路２０７に入力される。信号処理回路２０７はデジタル信号処理を行う回路であり、デジタル信号処理で一定量のオフセット値を加える処理の他に、シフト演算や乗算を行う。これにより、簡易にゲイン演算を行うことができる。また、画素部２０３が遮光された画素領域を有する構造の場合、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

信号処理回路２０７は、処理した信号を外部出力回路２０８に出力する。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また外部出力回路２０８は、このシリアル信号をＬＶＤＳ信号等に変換し、外部デバイスへの画像情報として出力する。

次に、ＨＤＲ画像生成時の撮像素子１０２の動作と画像合成部１０４について説明する。撮像素子１０２は、タイミング・パルス制御部２０１および垂直走査回路２０２によって、位相差情報を出力するか、またはＨＤＲ画像を生成するために列アンプ部２０４のゲインを変更して出力するかを選択することができる。以下に、ＨＤＲ画像生成時における列アンプ部２０４の動作を説明する。

図３は、列アンプ部２０４のうち、ある列を１つだけ抜き出した回路の構成を示す回路図である。ＯＰ３０５はオペアンプであり、入力容量Ｃ３０３，Ｃ３０４と帰還容量Ｃ３０６，Ｃ３０８が接続されている。オペアンプＯＰ３０５の正側入力端子（非反転入力端子）には、基準電源から所定の基準電圧が印加されている。

入力容量Ｃ３０３とＣ３０４は、ＯＰ３０５の負側入力端子（反転入力端子）に対して並列に接続されている。スイッチ素子ＳＷ３０１は画素部２０３に接続され、画素部２０３から読み出された信号は入力容量Ｃ３０３を介してＯＰ３０５に入力される。スイッチ素子ＳＷ３０２は画素部２０３に接続され、画素部２０３から読み出された信号は入力容量Ｃ３０４を介してＯＰ３０５に入力される。

帰還容量Ｃ３０６とＣ３０８は、ＯＰ３０５の反転入力端子と出力端子にそれぞれ接続され、互いに並列である。スイッチ素子ＳＷ３０７は帰還容量Ｃ３０８と直列に接続されており、帰還容量Ｃ３０８の接続を制御する。ＯＰ３０５の増幅率は「入力容量／帰還容量」により決定される。

本実施形態では入力容量が２つである。スイッチ素子ＳＷ３０１をオンとし、且つスイッチ素子ＳＷ３０２、ＳＷ３０７をオフとしたとき、ＯＰ３０５はＣ３０３とＣ３０６との静電容量比に対応する第１のゲインで増幅した信号を列ＡＤＣ２０５へ出力する。またスイッチ素子ＳＷ３０１をオフとし、スイッチ素子ＳＷ３０２とＳＷ３０７をオンとしたとき、ＯＰ３０５はＣ３０４と、Ｃ３０６およびＣ３０８の合成容量との比に対応する第２のゲインで増幅した信号を列ＡＤＣ２０５へ出力する。第２のゲインの大きさは第１のゲインよりも小さい。スイッチ素子ＳＷ３０７のオン・オフ制御により、ゲインの異なる２つの画像の信号を出力することができる。なお、列アンプ部２０４のゲインを変更する方法に限らず、他の増幅回路のゲインを変更する方法や複数の増幅回路のゲインの組み合わせを変更する方法がある。

一方、列アンプ部２０４にて位相差情報を出力する場合、通常の映像信号（加算信号）と位相差演算用の映像信号が同じゲインで出力される。ＳＷ３０１とＳＷ３０７のスイッチング制御を同一の制御として、２つの画像の信号が出力される。

図４を参照して、ＶＤ（垂直同期信号）の期間に出力される信号について説明する。図４（Ａ）から（Ｃ）は、ＶＤ期間（垂直同期期間）に出力される画像信号を説明する模式図である。閾値以下である第１のゲイン（低ゲイン）と、閾値より大きい第２のゲイン（高ゲイン）の例を説明する。ゲインの異なる２つ画像のうち、高ゲイン画像を適正露光画像とする。

図４（Ａ）では、第１のＶＤ期間において、画像４０１の信号と画像４０２の信号が順次に出力される。画像４０１および４０２は、ＨＤＲ画像の生成時の出力画像である。ＶＤ期間の最初に低ゲイン画像である画像４０１の信号が読み出され、引き続き高ゲイン画像である画像４０２の信号が読み出される。ゲインの異なる２つの画像４０１および４０２からＨＤＲ画像が合成される。本実施形態では高ゲイン画像を通常画像として扱い、高ゲイン画像内で明るくて白飛びが発生している部分を低ゲイン画像と合成する処理が行われる。

第２のＶＤ期間には、位相差情報を出力する場合を示す。画像４０３は位相差演算用画像（高ゲイン）であり、画像４０４は適正露光画像（高ゲイン画像）である。ＶＤ期間のはじめに位相差演算用画像である画像４０３の信号が読み出され、引き続き高ゲイン画像である画像４０４の信号が読み出される。本実施形態では高ゲイン画像を通常画像（撮像画像）として使用しつつ、位相差情報を出力することができる。

図４（Ｂ）は、画像４０５と画像４０６とで行ごとに異なる信号を読み出す例を示す。画像４０５に示す行４０７−１，４０８−１，４０９−１と、画像４０６に示す行４０７−２，４０８−２，４０９−２はそれぞれ対応する行である。行４０７では露出条件の異なる２つの画像信号を出力し、その隣接行４０８では露出条件が同じである２つの画像信号を出力する制御が行われる。この制御は行ごとに交互に行われる。

図４（Ｂ）に示す画像４０５の行４０７−１では低ゲイン画像の信号が読み出され、行４０８−１では位相差演算用画像（高ゲイン）の信号が読み出される。行４０９−１では低ゲイン画像の信号が読み出され、次の行では位相差演算用画像（高ゲイン）の信号が読み出される。このように画像４０５については、低ゲイン画像と位相差演算用画像の各信号が行ごとに交互に読み出される。一方、図４（Ｂ）に示す画像４０６では、行４０７−２，４０８−２，４０９−２において、適正露光画像（高ゲイン画像）が読み出される。

図４（Ｃ）は、例えば焦点を合わせたい被写体が非常に明るい場合等のように、位相差演算用画像を低ゲインで読み出す例を示す。画像４１０に示す行４１２−１，４１３−１，４１４−１と、画像４１１に示す行４１２−２，４１３−２，４１４−２はそれぞれ対応する行である。行４１２では露出条件の異なる２つの画像信号を出力し、その隣接行４１３では露出条件が同じである２つの画像信号を出力する制御が行われる。この制御は行ごとに交互に行われる。

図４（Ｃ）に示す画像４１０の行４１２−１では低ゲイン画像の信号が読み出され、行４１３−１では位相差演算用画像（低ゲイン）の信号が読み出される。行４１４−１では低ゲイン画像の信号が読み出され、次の行では位相差演算用画像（低ゲイン）の信号が読み出される。このように画像４１０については、低ゲイン画像と位相差演算用画像（低ゲイン）の各信号が行ごとに交互に読み出される。

図４（Ｃ）に示す画像４１１では、行４１２−２で適正露光画像（高ゲイン）の信号が読み出され、行４１３−２で低ゲイン画像の信号が読み出される。そして行４１４−２で適正露光画像（高ゲイン）の信号が読み出され、次の行で低ゲイン画像の信号が読み出される。画像４１１では、適正露光画像（高ゲイン）と低ゲイン画像の各信号が行ごとに交互に読み出される。画像４１１において、行４１３−１と対応する行４１３−２にて、位相差演算用画像（低ゲイン）と同じゲインで増幅された画像信号が出力される。つまり、画像４１０で位相差演算用画像の信号が出力される行では、画像４１１にて低ゲイン画像の信号が出力されることになる。

次に図５を参照して、画像処理部内の画像合成部の基本的な動作について説明する。「行１−１」は適正露光画像（高ゲイン画像）の１行の信号を表す。輝度判定部５０１は、「行１−１」の信号について１画素ずつ輝度レベルを算出する。輝度判定部５０１は算出した１画素ごとの輝度レベルを閾値と比較し、ＨＤＲ画像生成のためにそれぞれの画素に対して合成が必要かどうかを判定する。例えば、画素の輝度レベルが閾値以上である場合に合成が必要であると判定される。輝度判定部５０１は判定信号を後述の合成部５０５に出力する。

「行１−２」は低ゲイン画像の１行の信号を表す。デジタルゲイン部５０２は、「行１−２」の信号を用いて「行１−１」の信号と明るさを合わせる。「行１−１」では白飛びが発生していた部分の情報に関して、「行１−２」では情報が残っている。デジタルゲイン部５０２は「行１−２」の信号に対してデジタルゲインを乗算する。これにより、「行１−１」と同等の明るさの信号が得られるが、「行１−１」では白飛びしていた情報を残すために、デジタルゲイン部５０２の出力に関してビット数を増やす必要がある。ここで、「行１−１」ではアナログゲインでゲインアップが行われるため、「行１−２」に対してデジタルゲインをかけた場合と比較するとＳ／Ｎ比は「行１−１」の方が高い。

デジタルゲイン部５０２により、「行１−１」と「行１−２」との明るさを合わせた上で、合成部５０５は、「行１−１」の輝度判定結果を用いて、「行１−１」の信号と「行１−２」の信号との合成を行う。

以上の処理が入力画像の全行について繰り返されて、ＨＤＲ画像が生成される。なお、「行１−２」の信号として、低ゲイン画像の信号ではなく位相差演算用の画像信号が出力される場合には、ＨＤＲ画像を生成できないので、位相差演算を行うだけで画像合成を行う必要はない。

図４（Ｂ）を参照して合成画像の出力について説明する。この場合、行４０７−１と行４０７−２はそれぞれ、低ゲイン画像と適正露光画像（高ゲイン）の行である。よって、上述した方法でＨＤＲ画像を生成できる。

行４０８−１は位相差演算用画像（高ゲイン画像）の行であるため、行４０８ではＨＤＲ画像を生成することができない。そのため、行４０８での低ゲイン画像を任意の方法で補間する必要がある。例えば、行４０７−１の信号と行４０９−１の信号とを平均して、行４０８−１での信号を生成する方法がある。この場合、補間の影響で垂直解像度は低下する。

また図４（Ｃ）では、行４１２−１および４１２−２と、行４１４−１および４１４−２にてＨＤＲ画像を生成できる。行４１３−１および行４１３−２では、位相差演算用画像および低ゲイン画像の信号が出力されるので、その行ではＨＤＲ画像を生成するための適正露光画像（高ゲイン画像）がない。しかし、低ゲイン画像には高ゲイン画像で白飛びの発生している部分の情報が残っている。そのため、低ゲイン画像の明るさを、適正露光画像（高ゲイン画像）の明るさに合わせれば、Ｓ／Ｎ比は低下するが、画像の情報はすべて残っていることになる。そのため、行４１３−２に対して、行４１２−２や行４１４−２に明るさを合わせ、ノイズリダクション処理を行い、上下に位置する隣接行の適露光画像（高ゲイン画像）とＳ／Ｎ比を合わせる処理が行われる。これにより、解像度の低下を抑制できる。

図５（Ｂ）は、図４（Ｂ）および（Ｃ）に示すような画像が出力される場合に、極力解像度を低下させずにＨＤＲ画像を生成するための画像合成部を示すブロック図である。デジタルゲイン部５０２の出力はスイッチ部５０６により、ノイズリダクション処理部５０３または画素補間部５０４へ切り替えられる。ノイズリダクション処理部５０３と画素補間部５０４の各出力は合成部５０５に送られる。合成部５０５は、輝度判定部５０１からの判定信号を用いて画像合成処理を行う。

図４（Ｂ）では上述したように、ＨＤＲ画像を生成できる行４０７等と、位相差演算用画像を出力するＨＤＲ画像を生成できない行４０８等がある。位相差演算用画像を出力する行では、スイッチ部５０６が画素補間部５０４の側に切り替わり、上下の隣接行の信号を用いて画素補間により低ゲイン画像を生成する処理が行われる。

また図４（Ｃ）の行４１３にて、低ゲイン画像からＨＤＲ画像を生成する際には、スイッチ部５０６がノイズリダクション処理部５０３の側に切り替わり、ノイズリダクション処理が行われる。このように画像の行の出力状態に応じて、ノイズリダクション処理または画素補間を切り替えるためにスイッチ部５０６が設けられている。

本実施形態では、ＨＤＲ画像を生成する際に、位相差演算用として読み出される行が適正露光（高ゲイン）で出力された場合、その隣接行の低ゲイン画像の明るさを調整して画素補間を行う。一方、位相差演算用として読み出される行が低ゲインで出力される場合には、低ゲイン画像の明るさを適正露光画像の明るさに合わせ、ノイズリダクション処理が実行される。この切り替えのためにスイッチ部５０６を設けることで、垂直解像度を極力低下させずに、ＨＤＲ画像を生成することが可能となる。

本実施形態によれば、画像合成前に画素補間を行って画質劣化を最小限に抑制しつつ、ＨＤＲ画像を生成することができる。なお、本実施形態ではノイズリダクション処理部と画素補間部とを切り替えるスイッチ部を設けているが、ノイズリダクション処理部と画素補間部を直列に接続してもよい。その場合、ノイズリダクション処理部と画素補間部の一方は、画像の行の出力状態に応じて無効化される。また、合成に関するアルゴリズムや画素補間に関するアルゴリズムは任意であり、特定のアルゴリズムに限定されるものではない。

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態ではノイズリダクション処理前に、低ゲイン画像の明るさを適正露光画像（高ゲイン）の明るさに合わせる処理が行われる。ノイズリダクション処理の効果の設定は、高ゲインと低ゲインとのゲイン差によって決定されるが、実際の映像から決定してもよい。図５（Ｃ）を参照して本実施形態の画像合成部の基本的な動作について説明する。本実施形態において第１実施形態と同様の事項については説明を省略し、相違点を説明する。

図５（Ｃ）に示す画像取得部１０３は撮像素子１０２からゲインの異なる画像データを取得し、高ゲイン画像のＳ／Ｎ比に基づき、低ゲイン画像の明るさを高ゲイン画像に明るさを合わせた場合のＳ／Ｎ比を算出する。画像取得部１０３は、低ゲイン画像のＳ／Ｎ比を高ゲイン画像のＳ／Ｎ比に合わせるようにノイズリダクション処理の効果を表す係数を決定し、係数に対応する信号をデジタルゲイン部５０２とノイズリダクション処理部５０３に出力する。撮像画像データに基づいてノイズリダクション処理の効果を設定することができる。例えば、低ゲイン画像の信号を読み出した後でデジタルゲインを乗算したときにＳ／Ｎ比が低下する可能性がある画像領域については、ノイズリダクション処理の効果を強めるように係数値が設定される。

本実施形態によれば、ＨＤＲ画像の生成方法の如何によらず、位相差情報を取得するとともに、より高品位のＨＤＲ画像を取得することができる。

１０２ 撮像素子
１０３ 画像取得部
１０４ 画像合成部
１０６ 露出制御部
１０７ 撮像素子制御部

Claims (10)

1. 複数の光電変換素子を備える画素部から、第１の行にて露出条件の異なる第１および第２の画像信号を出力し、前記第１の行に隣接する第２の行にて露出条件が同じである第３および第４の画像信号を出力する制御を交互に行う制御手段と、
   前記第３の画像信号に対するゲインが閾値より大きい場合、前記第２の行に隣接する複数の行における前記第１の画像信号に係る画像の明るさを前記第４の画像信号に係る画像の明るさに合わせて画素補間を行って画像信号を出力する処理手段と、
   前記第４の画像信号および前記処理手段が出力する画像信号を取得して画像合成を行う合成手段と、を備える
   ことを特徴とする撮像装置。
2. 前記処理手段は、前記第３の画像信号に対するゲインが前記閾値以下である場合、前記第４の画像信号に係る画像の明るさを前記第２の画像信号に係る画像の明るさに合わせてノイズリダクション処理を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記露出条件は、複数の前記画素部を備える撮像素子にて列ごとに設けられた増幅手段による画像信号の増幅率の大きさに対応する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記制御手段は、前記第１の行にて第１のゲインで前記第１の画像信号を出力するとともに前記第１のゲインよりも大きい第２のゲインで前記第２の画像信号を出力する制御と、前記第２の行にて前記第１または第２のゲインで前記第３および第４の画像信号を出力する制御を行う
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記第２のゲインの画像信号を取得して輝度レベルを判定する判定手段と、
   前記第１のゲインの画像信号を取得して当該画像信号に係る画像の明るさを前記第２のゲインの画像信号に係る画像の明るさに合わせる処理を行う調整手段と、を備え、
   前記合成手段は、前記判定手段による輝度レベルの判定信号を用いて、前記調整手段の出力する信号に対して前記画素補間が行われた画像信号と、前記第２のゲインの画像信号との画像合成を行う
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記第３の画像信号は位相差演算用の信号である
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記画素部は複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換素子を備え、前記複数の光電変換素子は前記位相差演算用の信号を出力する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記画素部から第１のゲインの画像信号および第２のゲインの画像信号を取得し、前記ノイズリダクション処理の効果を設定する設定手段を備える
   ことを特徴とする請求項２に記載の撮像装置。
9. 前記設定手段は、前記第１のゲインの画像信号に係る信号対ノイズ比を、前記第２のゲインの画像信号に係る信号対ノイズ比を合わせる設定を行う
   ことを特徴とする請求項８に記載の撮像装置。
10. 複数の光電変換素子を備える画素部から、第１の行にて露出条件の異なる第１および第２の画像信号を出力し、前記第１の行に隣接する第２の行にて露出条件が同じである第３および第４の画像信号を出力する制御を交互に行う撮像装置にて実行される制御方法であって、
    前記第３の画像信号に対するゲインが閾値よりも大きい場合、前記第２の行に隣接する複数の行における前記第１の画像信号に係る画像の明るさを前記第４の画像信号に係る画像の明るさに合わせて画素補間を行って画像信号を出力する処理工程と、
    前記第４の画像信号および前記処理工程により出力される画像信号を取得して画像合成を行う合成工程と、を有する
    ことを特徴とする撮像装置の制御方法。
    
    

Images