JP2023124785A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影感度によらず画面内でノイズ感のバラつきの少ないダイナミックレンジを拡大した画像を取得できる撮像装置を提供する。
【解決手段】１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅部と、１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅部と、アナログゲインのみで目標とするゲインが得られる場合には、アナログ増幅部により画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、アナログ増幅部とデジタル増幅部とを用いて、画素信号を第１のゲインと第２のゲインで増幅する第２の制御を行うように制御する制御部とを備える。
【選択図】 図６

Description

本発明は、撮像装置及びその制御方法に関する。

従来、一般的なデジタルカメラに使われているＣＣＤイメージセンサや、ＣＭＯＳイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。

特許文献１には、同一画素の出力信号を第１のアナログゲインで増幅した信号と第２のアナログゲインで増幅した信号とを読み出すことが可能な撮像装置が開示されている。そして、第１のゲインの画像と第２のゲインの画像を用いてダイナミックレンジを拡大した画像を取得することができる。

特開２０２０－４３３９１号公報

しかしながら、上記の特許文献１に記載された方法では、ダイナミックレンジ拡大を行う際の増幅率が第１および第２のゲインに限られているため、様々な撮影感度におけるダイナミックレンジ拡大処理には対応していない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得できる撮像装置を提供することである。

本発明に係わる撮像装置は、１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御手段と、を備えることを特徴とする。

本発明によれば、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 撮像装置で使用される撮像素子の構成を示す図。 撮像素子の１画素の構成を示す図。 列回路の構成を示す図。 アナログ－デジタル変換器の構成を示す図。 第１の実施形態における撮影動作を示すフローチャート。 第２の実施形態における撮影動作を示すフローチャート。 第３の実施形態における撮影動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１５０の構成を示すブロック図である。

図１において、第１レンズ１００は、撮影光学系１２０の先端に配置されている。絞り１０１は、後述する絞りアクチュエータ１１８によって駆動され、その開口径を調節することにより撮影時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述するフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点を調節する。

フォーカルプレーンシャッタ１０４は、後述するシャッタ駆動回路１１４によって駆動され、静止画撮影時に撮像素子１０６の露光秒時を調節する。なお、撮像素子１０６が電子シャッタ機能を有し、制御パルスで露光秒時を調節するように構成されていてもよい。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを低減するために設けられている。撮像素子１０６は、撮影光学系１２０で形成された被写体の光学像を電気信号に変換する。撮像素子１０６は、後述するＣＰＵ１０９によって制御される。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０７は、撮像素子１０６で撮影された画像データの、補正処理、ＨＤＲ合成処理（ＨＤＲ画像生成処理）等の画像処理を行う。また、ＤＳＰ１０７は、撮像素子１０６から複数種類のアナログゲインで増幅された出力された画素信号（詳細については後述する）に対して複数種類のデジタルゲインをかける機能（デジタル増幅機能）を有する。

ここで、本実施形態では、複数種類のデジタルゲインをＤＳＰ１０７でかける場合について説明するが、撮像素子１０６の内部で複数種類のデジタルゲインをかける構成でも構わない。ＲＡＭ１０８は、撮像素子１０６の出力データを保持する信号保持手段の機能と、ＤＳＰ１０７で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０９が動作を行う際のワークメモリの機能を兼備する。

なお、本実施形態では、これらの機能をＲＡＭ１０８によって実現する構成であるが、アクセス速度が十分に速く動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また、本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、ＣＰＵ１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７やＣＰＵ１０９に内蔵する構成であってもよい。

ＣＰＵ１０９は、撮像装置１５０の動作を統括的に制御する。ＣＰＵ１０９は、撮像装置１５０の各部を制御するためのプログラムを実行する。すなわち、ＤＳＰ１０７から出力される相関演算の結果を用いて、フォーカス駆動回路１１５を制御し、撮影光学系１２０の焦点を調節する機能も有する。本実施形態では、焦点検出部はＣＰＵ１０９が担っているが、撮像素子１０６の内部に設けられていてもよい。

表示部１１０は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、ユーザにより入力される撮影命令や撮影条件等の設定をＣＰＵ１０９に対して指示する。記録媒体１１２は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１３は、ＣＰＵ１０９が各部の動作を制御するためにロードして実行するプログラムを格納する。

ＣＰＵ１０９の出力に基づいてシャッタ駆動回路１１４は、フォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、撮影光学系１２０の焦点位置を変更する焦点位置変更手段である。そして、ＣＰＵ１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１７は、ＣＰＵ１０９の出力に基づいて絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。

図２は、撮像素子１０６の回路構成の一例を示す図である。画素配列２５０には、複数の画素２００が行列状に配置されている。画素２００の各々におけるＲは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが画素上に配置されることを意味する。また、Ｒ（Ｇ，Ｂ）ｍ＿ｎ（ｍ、ｎは任意の整数）は、画素部２５０における第ｍ行第ｎ列の画素であることを示す。また、同じ列の画素２００のうち奇数行の画素は列出力線２０２に接続されており、偶数行の画素は列出力線２０６に接続されている。

列出力線２０２は列回路２０３に接続されており、列出力線２０６は列回路２０７に接続されている。また、列出力線２０２と列出力線２０６の間には、列回路スイッチ２０５が設けられている。

列回路スイッチ２０５がオフの場合、奇数行の画素２００から出力される画素信号は、列出力線２０２を介して列回路２０３のみに入力される。偶数行の画素２００から出力される画素信号も同様に、列出力線２０６を介して列回路２０７のみに入力される。列回路スイッチ２０５がオフの場合、奇数行の画素２００の信号と偶数行の画素２００の信号を同時に読み出すことができる。

また、列回路スイッチ２０５がオンの場合には、奇数行の画素２００から出力される画素信号は、列出力線２０２および列回路スイッチ２０５を介して列回路２０３と列回路２０７にそれぞれ入力される。偶数行の画素２００から出力される画素信号も同様に、列出力線２０６および列回路スイッチ２０５を介して列回路２０３と列回路２０７にそれぞれ入力される。列回路スイッチ２０５がオンの場合には、奇数行の画素２００の信号と偶数行の画素２００の信号が交互に順次読み出される。

各駆動信号ＲＥＳ、ＴＸ、ＳＥＬ、ＦＤＩＮＣは、垂直走査回路２０１から画素２００にそれぞれ供給される。これらの駆動信号については、行に対応する数字を表す自然数ｍ（＝１，２，・・・，ｎ）が付加されたＲＥＳ＿ｍ、ＴＸ＿ｍ、ＳＥＬ＿ｍ、ＦＤＩＮＣ＿ｍと表記する。

ここで、画素２００の構成について図３を用いて説明する。

フォトダイオード（以下、ＰＤと略記する）３０１は、入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ３０２は、駆動信号ｔｘのレベルがＨｉｇｈレベルであるときに、ＰＤ３０１に蓄積されている電荷をフローティングディフュージョン部３０３に転送する。以下では、フローティングディフュージョンをＦＤと表記する。ＦＤ部３０３は、ＦＤアンプ３０４を構成するトランジスタのゲートに接続されている。ＦＤアンプ３０４は、ＰＤ３０１から転送される電荷量を電圧値に変換する。

ＦＤリセットスイッチ３０５は、ＦＤ部３０３をリセットするためのスイッチ素子であり、駆動信号ｒｅｓのレベルがＨｉｇｈレベルであるときに、ＦＤ部３０３のリセットを行う。また、駆動信号ｔｘと駆動信号ｒｅｓのレベルを同時にＨｉｇｈレベルにすると、転送スイッチ３０２およびＦＤリセットスイッチ３０５の両方がオンとなって、ＦＤ部３０３を経由してＰＤ３０１のリセットが行われる。

ＦＤｉｎｃスイッチ３０７は、駆動信号ｆｄｉｎｃのレベルがＨｉｇｈレベルであるときにオンになり、付加容量３０８をＦＤ部３０３と接続する。また、駆動信号ｆｄｉｎｃのレベルがＬｏｗレベルであるときには、ＦＤｉｎｃスイッチ３０７がオフになり、付加容量３０８とＦＤ部３０３とが非接続状態となる。これにより、ＦＤ部３０３に生じる容量が変化する。言い換えると、ＦＤｉｎｃスイッチ３０７および付加容量３０８は、入力ノードの容量値を可変とする容量可変手段として機能する。

ＦＤｉｎｃスイッチ３０７のオン・オフによって、ＦＤ部３０３に転送された電荷に対するＦＤアンプ３０４の出力電圧の変換比、すなわちゲイン（以下、ＦＤゲインという）を切り替えることができる。付加容量３０８がＦＤ部３０３に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べてゲインが小さくなる。

逆に、付加容量３０８とＦＤ部３０３とが非接続状態になると静電容量値が減少し、接続状態と比べてゲインが大きくなる。このように、本実施形態の撮像装置１５０は、駆動信号ｆｄｉｎｃに応じてＦＤ部３０３に保持される電荷量を可変とし、画素２００のゲインを切り替える（アナログ増幅機能）ことができる。そのため、複数種類のアナログゲインの出力が可能となる。

画素選択スイッチ３０６は、駆動信号ｓｅｌのレベルがＨｉｇｈレベルであるときに、ＦＤアンプ３０４で電圧に変換された画素信号ｖｏｕｔを出力する。画素２００の出力信号は、前述したように列ごとの列出力線２０２，２０６を介して列回路２０３，２０７に入力される。なお、本実施形態では、１つの画素２００が１つの列出力線に接続されている構成であるが、１つの画素２００が複数の列出力線に接続されていても構わない。また、列回路スイッチ２０５をオンで使用することで、１つの列出力線に対して２つの列回路２０３，２０７を接続することが可能であり、１つの画素２００の出力信号を、複数種類の異なるアナログゲインで増幅することが可能となる。

次に、図４を参照して、列回路２０３の構成について説明する。なお、列回路２０７についても列回路２０３と同様の構成であるため、ここでは説明を省略する。画素２００の出力信号ｖｏｕｔは、列出力線２０２を介して列回路２０３に入力される。列ごとに設けられた列出力線２０２は電流源２０４を介して接地されている。電流源２０４と、列出力線２０２に接続された画素２００のＦＤアンプ３０４とによってソースフォロワ回路が構成される。

列回路２０３において、クランプ容量４０１は静電容量Ｃ１を有し、フィードバック容量４０２は静電容量Ｃ２を有する。画素２００の出力信号ｖｏｕｔは、クランプ容量４０１を介して演算増幅器４０３の反転入力端子に入力される。演算増幅器４０３の非反転入力端子には基準電圧Ｖｒｅｆが供給される。

演算増幅器４０３の反転入力端子と出力端子に接続されたフィードバック容量４０２と並列にスイッチ４０４が接続されている。スイッチ４０４は、フィードバック容量４０２の両端をショートさせるためのスイッチ素子であり、駆動信号ｃｆｓにより制御される。スイッチ４０４のオン・オフ制御によってゲイン設定を変更することができるため、複数種類のアナログゲインで増幅した信号の出力が可能となる。

Ｓ信号転送スイッチ４０５は、画素２００から読み出される画素信号（Ｓ信号）を、Ｓ信号保持容量４０７に転送するためのスイッチ素子である。駆動信号ｔｓのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＳ信号がＳ信号転送スイッチ４０５を介してＳ信号保持容量４０７に保持される。

Ｎ信号転送スイッチ４０６は、画素２００から読み出されるノイズ信号（Ｎ信号）をＮ信号保持容量４０８に転送するためのスイッチ素子である。駆動信号ｔｎのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＮ信号がＮ信号転送スイッチ４０６を介してＮ信号保持容量４０８に保持される。

Ｓ信号保持容量４０７に保持されたＳ信号は出力電圧ｖｓとして出力され、Ｎ信号保持容量４０８に保持されたＮ信号は出力電圧ｖｎとして出力される。そして、Ｓ信号の出力電圧ｖｓとＮ信号の出力電圧ｖｎの差分が後述するＡＤ変換器（アナログ－デジタル変換器）によってデジタル信号に変換される。ｃｆｓ、ｔｓ、ｔｎ等の駆動信号は、ＣＰＵ１０９の制御にしたがってＴＧ２１０から列回路２０３に供給される。

図５は、ＡＤ変換器の構成を示す図である。ＡＤ変換器は、比較器８０１、カウンタ回路８０２、ラッチ回路８０３、および演算回路８０４を備えている。ランプ信号生成部８０６（以下ＲＡＭＰ）は、時間に対して変化するランプ信号を生成する回路である。

比較器８０１は、図４で説明した列回路２０３のアナログ増幅機能によって増幅された画素信号とランプ信号生成部８０６により生成されたランプ信号を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。

カウンタ回路８０２は、接続されているカウンタ制御線ｐＣＮＴから供給されるクロックに基づいてカウント動作を行う。カウンタ回路８０２は、比較器８０１が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器８０１の出力が反転したタイミングでのカウント値を出力する。

ラッチ回路８０３は、カウンタ回路８０２が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線ｐＬＴＣを介した制御に基づいて保持しているカウント値を出力する。

演算回路８０４は、接続されている演算制御線ｐＣＡＬを介した制御に基づいて、ラッチ回路８０３が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路８０４は記憶している画素のデジタル信号を出力する。

ここで、ＡＤ変換器におけるゲイン設定について説明する。上述したように列アンプ２０３、２０７におけるアナログゲインに限らず、後段のＡＤ変換器でランプ信号の時間変化を変更することにより、画素信号のＡＤ変換時に異なるゲインで増幅するように構成してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器８０１の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素２００の出力信号の増幅率に相当するので、これをＲＡＭＰゲインと称し、時間変化の程度を変えることでＲＡＭＰゲインを切り替えることができる。

図２に戻り、列回路２０３または列回路２０７から出力される画像データは、タイミングジェネレータ（ＴＧ）２１０から出力される書き込み信号ｍｅｍｗｒに従ってメモリ２１１に保持される。メモリ２１１に保持された画像データは、水平走査回路２１２の走査によりデータ出力部２１３へ順次転送される。データ出力部２１３は、ＬＶＤＳ（Low Voltage Differential Signaling）等の伝送方式により、撮像素子１０６の外部へ画像データを出力する。

次に、第１の実施形態の撮像装置の動作について説明する。図６は、第１の実施形態の撮像装置におけるＨＤＲ撮影動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。

本実施形態では、１回の露光（単一露光）で得られる同じ画素２００の出力信号を異なるアナログゲインで増幅することで、ＨＩＧＨ画像とＬＯＷ画像を取得することで、ＨＤＲ撮影を行うものである。操作部１１１からのユーザの撮影指示によりＨＤＲ撮影が開始される。

まず、ステップＳ５００では、ＣＰＵ１０９は、操作部１１１から入力されるユーザの指示に従ってシャッタ駆動回路１１４を制御することでシャッタ１０４を開閉し、撮像素子１０６を１回露光させて画像信号を取得する。

ステップＳ５０１では、ＣＰＵ１０９は、現在設定されている撮影感度が第１の感度であるか否かを判断する。例えば、太陽光や自然光が入る比較的明るい環境において、アナログゲインのみで目標とするゲイン（以下、本ゲイン）を得ることができる場合には、第１の感度が設定される。なお、ここで示すアナログゲインとは本ゲインを得るためのゲインを指しており、微調整等に用いるゲインにはデジタルゲインを用いても構わない。

現在設定されている撮影感度が第１の感度であると判断された場合にステップＳ５０２へ進み、第１の感度と異なると判断された場合にはステップＳ５１０へ進む。

ステップＳ５０２では、ＣＰＵ１０９は、操作部１１１からのユーザ指示に応じて、ＨＤＲ合成処理に必要となる高ゲイン側の画像（ＨＩＧＨ画像）と低ゲイン側の画像（ＬＯＷ画像）の段数差（ゲイン比）を決定する。例えば、ＨＩＧＨ画像とＬＯＷ画像の段数差を「３」と設定した場合に、ＨＩＧＨ画像に８倍のゲイン、ＬＯＷ画像に１倍のゲインがかかるように設定する。

ここでは「３」段差を例として挙げているが、段数差はこれに限定されるものではない。また、ＨＩＧＨ画像とＬＯＷ画像のそれぞれのゲインの組み合わせパターンは、撮像素子１０６の内部で設定可能なアナログゲインであれば構わない。つまり、上記ではＨＩＧＨ画像のゲインが８倍、ＬＯＷ画像のゲインが１倍であるものとして説明したが、例えばＨＩＧＨ画像のゲインが６４倍、ＬＯＷ画像のゲインが８倍というような３段差の組み合わせでも構わない。

ステップＳ５０３では、ＣＰＵ１０９は、ステップＳ５０２で決定されたＨＩＧＨ画像とＬＯＷ画像のゲイン段数差をもとに、ＨＩＧＨ画像とＬＯＷ画像のアナログゲインを設定する。ここでは、ＨＩＧＨ画像のアナログゲインを「Ａ設定」、ＬＯＷ画像のアナログゲインを「Ｂ設定」と呼ぶ。例えば、「Ａ設定」は８倍のアナログゲイン、「Ｂ設定」は１倍のアナログゲインといったゲイン設定となる。

なお、本実施形態では、第１の感度においてＨＩＧＨ画像、ＬＯＷ画像ともに付加容量３０８やフィードバック容量４０２を使用することで得られるアナログゲインを想定している。しかし、本発明はこれに限定されるものではなく、アナログゲインを設定できる他の手段を選択してもよい。

ステップＳ５０４では、ステップＳ５０３で設定したゲインでＨＩＧＨ画像とＬＯＷ画像それぞれの読み出しを行う。このとき、前述したように列回路スイッチ２０５をオンにし、１回の露光（単一露光）で得られる１つの画素２００の出力信号を列回路２０３と列回路２０７を用いて異なるアナログゲインで増幅することで、ＨＩＧＨ画像とＬＯＷ画像それぞれの読み出しを可能にしている。

ステップＳ５０５では、ＣＰＵ１０９は、読み出されたＨＩＧＨ画像とＬＯＷ画像を用いたＨＤＲ合成処理を行い、ダイナミックレンジを拡大した画像を取得する。

ステップＳ５０６では、ＣＰＵ１０９は、続けてＨＤＲ撮影を行うか否かを判断し、ＨＤＲ撮影を行わない場合は終了し、続ける場合はステップＳ５０１へ戻る。

次に、現在設定されている撮影感度が第１の感度とは異なる場合について説明する。

ステップＳ５０１において、現在設定されている撮影感度が第１の感度とは異なると判断された場合、ステップＳ５１０へ進む。

ステップＳ５１０では、ＣＰＵ１０９は、現在設定されている撮影感度が第２の感度であるか否かを判断する。例えば、室内などの太陽光や自然光が入らない比較的暗い環境において、アナログゲインとデジタルゲインを併用し、アナログゲインで足りない部分をデジタルゲインで補うことで本ゲインを得ることができる場合には、第２の感度が設定される。

現在設定されている撮影感度が第２の感度であると判断された場合にステップＳ５１１へ進み、第２の感度と異なると判断された場合にはステップＳ５０１へ戻る。

前述したように、第２の感度設定では、本ゲインを得るためにアナログゲインとデジタルゲインを併用するが、微調整等に用いるデジタルゲインをさらにかけても構わない。

ステップＳ５１１では、ＣＰＵ１０９は、ステップＳ５０２と同様に、操作部１１１からのユーザ指示に従って、ＨＤＲ合成処理に必要となるＨＩＧＨ画像とＬＯＷ画像の段数差（ゲイン比）を決定する。例えば、ＨＩＧＨ画像とＬＯＷ画像の段数差を「３」と設定した場合に、ＨＩＧＨ画像に８倍のゲイン、ＬＯＷ画像に１倍のゲインがかかるように設定する。

ここでは「３」段差を例として挙げているが、段数差はこれに限定されるものではない。また、ＨＩＧＨ画像とＬＯＷ画像のそれぞれのゲインの組み合わせパターンは、撮像素子１０６の内部またはＤＳＰ１０７で設定可能なゲインであれば構わない。つまり、上記ではＨＩＧＨ画像のゲインが８倍、ＬＯＷ画像のゲインが１倍としたが、ＨＩＧＨ画像のゲインが６４倍、ＬＯＷ画像のゲインが８倍といったような３段差の組み合わせでも構わない。

ステップＳ５１２では、ＣＰＵ１０９は、ステップＳ５１１で決定されたＨＩＧＨ画像とＬＯＷ画像のゲイン段数差をもとに、列回路２０３と列回路２０７にＨＩＧＨ画像とＬＯＷ画像のアナログゲインを設定する。ここでは、ＨＩＧＨ画像のアナログゲインを「Ａ設定」、ＬＯＷ画像のアナログゲインを「Ｂ設定」と呼ぶ。このとき、Ａ設定をアナログゲインで得られる最大値とする。本実施形態では、第２の感度においてＨＩＧＨ画像、ＬＯＷ画像ともに付加容量３０８やフィードバック容量４０２等でアナログゲインをかける。

ステップＳ５１３では、ＣＰＵ１０９は、ＨＩＧＨ画像とＬＯＷ画像のデジタルゲインを設定する。ここで、ＨＩＧＨ画像のデジタルゲインを「Ｃ設定」、ＬＯＷ画像のデジタルゲインを「Ｄ設定」と呼ぶ。なお、本実施形態では、第２の感度においてＨＩＧＨ画像、ＬＯＷ画像ともにＤＳＰ等でデジタルゲインをかけることを想定しているが、それに限定されるものではなく、撮像素子１０６内部でかけても構わない。

ＨＩＧＨ画像のゲインが６４倍、ＬＯＷ画像のゲインが８倍、ＨＩＧＨ画像とＬＯＷ画像のゲイン差が３段、アナログゲインの最大値が３２倍である場合を考える。

ステップＳ５１２において決定したアナログゲイン「Ａ設定」は、前述したようにアナログゲインの最大値となるので３２倍となる。また、「Ｂ設定」はステップＳ５１１において決定した段差が３段差であるため、４倍となる。したがって本ゲインを得るためには、ＨＩＧＨ画像、ＬＯＷ画像それぞれに２倍のデジタルゲインを設定する必要がある。つまり、デジタルゲインの「Ｃ設定」を２倍、「Ｄ設定」を２倍と設定することになる。

上述したように、アナログゲインとデジタルゲインを併用することで、ＨＩＧＨ画像とＬＯＷ画像の本ゲインを得ることが可能となる。

第１の実施形態によれば、ＨＤＲ撮影時において、第１の感度ではＨＩＧＨ画像、ＬＯＷ画像ともにアナログゲインのみを使用することで画像を取得する。また、第２の感度ではＨＩＧＨ画像、ＬＯＷ画像ともにアナログゲインとデジタルゲインを併用することで画像を取得する。そのため、設定されている撮影感度によらず、ＨＩＧＨ画像とＬＯＷ画像のゲイン段数差を維持することができ、ノイズ感のばらつきが少ないダイナミックレンジを拡大した画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について、第１の実施形態との差分を中心に説明する。設定されている撮影感度が第１の感度である場合の処理については第１の実施形態で説明した処理と同じであるため、設定されている撮影感度が第２の感度である場合を中心に説明する。

図７は、第２の実施形態の撮像装置におけるＨＤＲ撮影動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。操作部１１１からのユーザの撮影指示によりＨＤＲ撮影設定が開始される。

ステップＳ６００～ステップＳ６０６、ステップＳ６１０、ステップＳ６１１では、第１の実施形態で示したステップＳ５００～ステップＳ５０６、ステップＳ５１０、ステップＳ５１１と同様の処理を行うため、説明を省略する。

ステップＳ６１２では、ＣＰＵ１０９は、撮影モードや撮影条件に応じて、第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持するか否かを判断する。例えば、撮影モードが動画のように連続撮影するモードの場合、フレーム間でアナログゲイン比が異なってしまうと、フレーム間でノイズ感が異なり、画面がちらついて見えることがある。

一般的にアナログゲインとデジタルゲインを比較したときに、アナログゲインを使用して増幅した方がデジタルゲインを使用して増幅した場合よりもノイズが少ない。これは、アナログゲインを撮像素子１０６の比較的前段でかけられるため、回路のノイズ等の影響が少ないためである。そのため、上記のような場合では、アナログゲイン比を維持した方がちらつきの少ない動画が得られる。

また、第１の実施形態でも説明したが、第２の感度において、ＨＩＧＨ画像を取得する際のアナログゲインが最大である場合、ＬＯＷ画像を取得する際のアナログゲインにはまだ余力があることが想定される。そのため、アナログゲイン比を維持しなければ、ＬＯＷ画像を取得する際のアナログゲインも最大ゲインまで使用することができる。
例えば静止画のように１枚ずつの撮影であれば、撮影感度によってノイズ感の違いが目立ちにくく、ＬＯＷ画像を取得する際のアナログゲインも最大ゲインまで使用でき、ノイズが低減された画像を取得できる。

上記で示した例はあくまで一例であり、他の撮影モードや撮影条件によってアナログゲイン比を維持するか否かを判断しても構わない。

図７の説明に戻り、第１の感度のＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持する場合はステップＳ６１３へ進み、アナログゲイン比を維持しない場合にはステップＳ６１５へ進む。

ステップＳ６１３では、ＣＰＵ１０９は、ＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を第１の感度で使用した設定に維持する。ステップＳ５１２と同様の処理を行い、その次の、ステップＳ６１４においても、ステップＳ５１３と同様の処理を行う。

つまり、第２の感度が設定された場合において、第１の感度と同様のアナログゲイン比を維持する場合、ＨＩＧＨ画像を取得する際のアナログゲインを「Ａ設定」、ＬＯＷ画像を取得する際のアナログゲインを「Ｂ設定」とする。また、ＨＩＧＨ画像を取得する際のデジタルゲインを「Ｃ設定」、ＬＯＷ画像を取得する際のデジタルゲインを「Ｄ設定」とする。

このとき、アナログゲイン比が第１の感度と第２の感度で常に一定になるため、設定された撮影感度によらずノイズ感のバラつきが小さいＨＤＲ画像を取得することができる。そのため、前述したように動画のような連続したフレームでのＨＤＲ撮影において、フレーム毎に撮影感度が変わる場合にもノイズ感が一定になり、フレーム間のちらつきを抑制することが可能となる。

次に、第２の感度において、第１の感度設定のＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比と異なるゲイン比を設定する場合について説明する。

ステップＳ６１５では、ＨＩＧＨ画像を取得する際のアナログゲインを「Ｅ設定」、ＬＯＷ画像を取得する際のアナログゲインを「Ｆ設定」とし、第１の感度とは異なるアナログゲイン比を設定する。例えばＬＯＷ画像を取得する際のアナログゲインを限界まで使用し、アナログゲインによるゲイン差がなくなっても構わない。

その場合、ステップＳ６１１で決定したＨＩＧＨ画像とＬＯＷ画像の段数差を、ステップＳ６１６において、デジタルゲインを使用することで補うように設定する。このとき、ＨＩＧＨ画像を取得する際のデジタルゲインを「Ｇ設定」、ＬＯＷ画像を取得する際のデジタルゲインを「Ｈ設定」とする。これらはステップＳ６１４で設定したデジタルゲインとは異なる。

前述したように、静止画のように画像を１枚ずつ撮影するようなシーンでは、撮影感度によってノイズ感の違いが目立ちにくく、ＬＯＷ画像においてアナログゲインを限界まで使用することができる分、ノイズが低減された画像を得ることができる。

第２の実施形態によれば、ＨＤＲ撮影時に第２の感度が設定された場合において、第１の感度が設定された場合のＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持するか否かを、撮影モードや撮影条件に応じて変更できる。アナログゲイン比を維持する場合は、撮影感度によらずノイズ感のバラつきが少ないダイナミックレンジを拡大した画像を取得できる。また、アナログゲイン比を変更する場合は、ＬＯＷ画像のノイズを低減することが可能であり、ノイズが少ないダイナミックレンジを拡大した画像を取得できる。

（第３の実施形態）
次に、本発明の第３の実施形態について、第２の実施形態との差分を中心に説明する。第３の実施形態では、設定された撮影感度が第２の感度である場合の補正パラメータについて説明する。第２の実施形態でも説明したが、第２の感度において撮影モードや撮影条件に応じてアナログゲイン比を維持するか否かを切り替えることで、高品位なＨＤＲ画像を取得することが可能である。

このとき、アナログゲイン量に応じて特性が変化する画像補正用のパラメータについては、アナログゲイン比と同様に切り替える必要がある。例えば、アナログゲイン１倍時と６４倍時では、輝度出力のリニアリティ（直線性）が異なる可能性があり、アナログゲイン量に応じてそれぞれリニアリティを揃えるような補正を行う必要がある。

図８は、第３の実施形態の撮像装置における撮影動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。操作部１１１からのユーザの撮影指示によりＨＤＲ撮影が開始される。

ステップＳ７００～ステップＳ７０６、ステップＳ７１０～ステップＳ７１６は第２の実施形態で示したステップＳ６００～ステップＳ６０６、ステップＳ６１０～ステップＳ６１６と同様の処理を行うため、説明を省略する。

設定された撮影感度が第２の感度で、且つステップＳ７１２で第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持すると判断した場合のステップＳ７２０の処理について説明する。なお、ステップＳ７１２での判断基準は、図７のステップＳ６１２と同様である。

ステップＳ７１３、ステップＳ７１４によりＨＩＧＨ画像とＬＯＷ画像のアナログゲインをそれぞれ「Ａ設定」「Ｂ設定」、デジタルゲインをそれぞれ「Ｃ設定」「Ｄ設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変更する画像補正パラメータを、「Ｘ」とする。このときの「Ｘ」とは、ＨＩＧＨ画像を取得する際のアナログゲイン「Ａ設定」、ＬＯＷ画像を取得する際のアナログゲイン「Ｂ設定」に対応したパラメータである。

次に、設定された撮影感度が第２の感度で、且つステップＳ７１２で第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比と異なるゲイン比に設定すると判断した場合のステップＳ７２１の処理について説明する。

ステップＳ７１５、ステップＳ７１６において、ＨＩＧＨ画像とＬＯＷ画像を取得する際のアナログゲインをそれぞれ「Ｅ設定」、「Ｆ設定」、デジタルゲインをそれぞれ「Ｇ設定」、「Ｈ設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変える画像補正パラメータを、「Ｙ」とする。

このときの「Ｙ」とはＨＩＧＨ画像を取得する際のアナログゲイン「Ｅ設定」、ＬＯＷ画像を取得する際のアナログゲイン「Ｆ設定」に対応したパラメータである。また、本実施形態では「Ｘ」、「Ｙ」をアナログゲインに起因した補正パラメータとして例示したが、デジタルゲインの「Ｃ設定」、「Ｄ設定」、「Ｇ設定」、「Ｈ設定」に起因した補正パラメータでも構わない。

上記で説明したように、本実施形態では、ステップＳ７１３、ステップＳ７１４で設定した「Ａ設定」～「Ｄ設定」とステップＳ７１５、ステップＳ７１６で設定した「Ｅ設定」～「Ｈ設定」にそれぞれ対応した画像補正パラメータ「Ｘ」、「Ｙ」を用意し、撮影モードや撮影条件に応じて切り替える。

第３の実施形態によれば、ＨＤＲ撮影時に第２の感度が設定された場合において、第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持するかどうかに応じて補正パラメータを切り替えることが可能になる。そのため、高品質なダイナミックレンジを拡大した画像を取得することが可能となる。

本明細書の開示は、以下の撮像装置、方法、プログラムおよび記憶媒体を含む。

（項目１）
１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御手段と、
を備えることを特徴とする撮像装置。

（項目２）
前記制御手段は、前記第２の制御において、前記第１の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする項目１に記載の撮像装置。

（項目３）
前記制御手段は、前記第２の制御において、前記第１の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする項目１に記載の撮像装置。

（項目４）
前記制御手段は、前記第２の制御において、撮影の条件に応じて、前記第１の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第１の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする項目１に記載の撮像装置。

（項目５）
前記制御手段は、前記第２の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする項目４に記載の撮像装置。

（項目６）
前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第１のゲインと前記第２のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする項目１乃至５のいずれか１項目に記載の撮像装置。

（項目７）
前記第１のゲインと前記第２のゲインの段数差を設定する設定手段をさらに備えることを特徴とする項目１乃至６のいずれか１項目に記載の撮像装置。

（項目８）
前記第１のゲインで増幅した画素信号からなる第１の画像と、前記第２のゲインで増幅した画素信号からなる第２の画像を合成する合成手段をさらに備えることを特徴とする項目１乃至７のいずれか１項目に記載の撮像装置。

（項目９）
前記合成手段は、前記第１の画像と前記第２の画像を合成して、ＨＤＲ画像を生成することを特徴とする項目８に記載の撮像装置。

（項目１０）
１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。

（項目１１）
項目１０に記載の制御方法をコンピュータに実行させるためのプログラム。

（項目１２）
項目１０に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０６：撮像素子、１０７：ＤＳＰ、１０９：ＣＰＵ、２０２，２０６：列出力線、２０３，２０７：列回路、２０５：列回路スイッチ、３０７：ＦＤｉｎｃスイッチ、３０８：付加容量

Claims (12)

1. １つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
   前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
   アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記第２の制御において、前記第１の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第２の制御において、前記第１の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記第２の制御において、撮影の条件に応じて、前記第１の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第１の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記第２の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第１のゲインと前記第２のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする請求項１に記載の撮像装置。
7. 前記第１のゲインと前記第２のゲインの段数差を設定する設定手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
8. 前記第１のゲインで増幅した画素信号からなる第１の画像と、前記第２のゲインで増幅した画素信号からなる第２の画像を合成する合成手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
9. 前記合成手段は、前記第１の画像と前記第２の画像を合成して、ＨＤＲ画像を生成することを特徴とする請求項８に記載の撮像装置。
10. １つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
    アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images