JP2022117079A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】一度の露光で出力された異なるゲインの二枚の画像を合成する場合に、合成画像のノイズを低減することのできる画像処理装置を提供する。【解決手段】画像処理装置１００は、撮像素子１０２を有する。撮像素子１０２は、光を電荷に変換する光電変換部及び電荷を蓄積する電荷蓄積部を有する画素部２０３と、画素部２０３から出力される信号を互いに異なるゲインで増幅し得る列ＡＭＰ２０４と、を有し、一度の露光で異なるゲインのかかった複数の画像信号を出力する。また、画像処理装置１００は、複数の画像信号を合成して合成画像信号を生成する画像合成部１０５を有する。画像合成部１０５を制御する画像合成制御部１０９は、複数の画像信号に対して電荷蓄積部の容量が共通である場合、共通となった容量に応じて、合成画像信号における複数の画像信号の合成割合を決定する。【選択図】図１

Description

本発明は、カメラ等に使用される撮像素子を有する画像処理装置に関し、特に、画像のダイナミックレンジを拡大するために複数の画像を合成する画像処理装置、画像処理方法及びプログラムに関する。

単位画素からの出力信号に対して列回路を２つ持ち、列回路内にある増幅部のゲインを別に持ち、ゲインの異なる画像を出力することが可能である撮像素子がある（例えば、特許文献１参照）。このような撮像素子は、ＤＧＯ（Ｄｕａｌ Ｇａｉｎ Ｏｕｔｐｕｔ）センサと呼ばれる。この撮像素子は、一度の露光で異なるゲインの二枚の画像（ＨｉｇｈゲインとＬｏｗゲインの画像）を出力することができる。ＤＧＯによる画像の二枚合成は、時分割露光（例えば、特許文献２参照）によって得た二枚の画像の合成と比較すると、位置合わせ処理が不要であるため、移動体に強いというメリットがある。そのため、ダイナミックレンジを拡大する画像を得る手段であるＨＤＲ（高ダイナミックレンジ）合成と相性が良い。

撮像素子には電荷を蓄積するコンデンサの役割を担うＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）がある。ＦＤは、設定に応じて蓄積可能な電荷容量の大きさが変化する。容量を大きくすると、より多くの光を扱うことができるため、低感度においては容量を大きくして使用している。しかし、ＦＤの容量を大きくすると、ノイズが増えるという弊害がある。

特開２０２０－１７８１８６号公報 特開２００９－０８８９２８号公報

時分割露光によって画像を合成する際には、露光ごとにゲインに応じたＦＤ容量の適切な設定が可能である。一方でＤＧＯによる露光の場合、ＨｉｇｈゲインとＬｏｗゲインのＦＤ容量は共通となる。そのため、ＨｉｇｈゲインとＬｏｗゲインの感度の組み合わせによっては、ＦＤ容量がＨｉｇｈゲインとＬｏｗゲインで共通になることから、どちらか適切なＦＤ容量を設定できないという問題が発生する。

一般的な例として、ＦＤ容量大が適切な設定であるＩＳＯ感度において、ＦＤ容量を小で使用することは現実的ではない。ＦＤ容量が足りなくなり、ＦＤが飽和してしまうためである。したがって、基本的にＨｉｇｈゲインとＬｏｗゲインのＦＤ容量が異なる場合には、ＬｏｗゲインのＦＤ容量に揃えることが考えられる。この場合、Ｈｉｇｈゲイン画像のＦＤ容量が適切なものが設定できず容量が大きくなることで、ノイズが悪化してしまい、合成画像にその影響が現れてしまう。このように、ＩＳＯ感度の組み合わせによっては、Ｈｉｇｈゲイン画像のＦＤ容量設定が適切にならず、合成画像のノイズが悪化するという課題がある。

本発明は、上記事情に鑑みてなされたものであり、一度の露光で出力された異なるゲインの二枚の画像を合成する場合に、合成画像のノイズを低減することのできる画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明における画像処理装置は、光を電荷に変換する光電変換部及び前記電荷を蓄積する電荷蓄積部を有する画素部と、前記画素部から出力される信号を互いに異なるゲインで増幅し得る増幅部と、を有し、一度の露光で異なるゲインのかかった複数の画像信号を出力する撮像素子と、前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、前記複数の画像信号に対して前記電荷蓄積部の容量が共通である場合、共通となった容量に応じて、前記合成画像信号における前記複数の画像信号の合成割合を決定するように前記画像合成部を制御する画像合成制御部と、を有することを特徴とする。

本発明によれば、一度の露光で出力された異なるゲインの複数枚の画像を合成する場合に、合成画像のノイズを低減することができる。

本実施形態に係る画像処理装置の構成を示すブロック図。 固体撮像素子の内部のブロックを示す図。 固体撮像素子の列ＡＭＰを示す図。 本実施形態に係る画像合成部を示すブロック図。 第１実施形態に係る入力光量とＡＤ変換後の出力コードの関係を示すグラフ。 第１実施形態に係る合成閾値とＦＤ容量の関係を示す図。 第１実施形態に係る合成閾値決定の流れを示すフローチャート。 第１実施形態に係るＦＤ容量設定決定の流れを示すフローチャート。 第１実施形態に係る入力光量とＦＤ容量の関係を示す図。 第２実施形態に係る合成閾値決定の流れを示すフローチャート。 第２実施形態に係る合成閾値と撮像素子の温度との関係を示す図。 第３実施形態に係る合成閾値決定の流れを示すフローチャート。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は、特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
図１は、本実施形態に係る画像処理装置１００の構成を示すブロック図である。次に、図１の各ブロックについて詳細に説明する。なお、画像処理装置１００（撮像装置）は、装置内の各部を制御する不図示のＣＰＵを有し、ＲＯＭやＲＡＭ等の記録媒体または記録装置を有する。

光学レンズ１０１は、被写体の光を取り込む光学レンズである。光学レンズ１０１への入射光は、撮像素子１０２に結像する。

撮像素子１０２は、光学レンズ１０１から受けた入射光を、電気信号へ変換し、映像信号として出力する。撮像素子１０２の代表的な例として、ＣＣＤイメージセンサー（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や、ＣＭＯＳイメージセンサーがある。

撮像素子１０２から出力される映像信号は、アナログの映像信号を直接出力するものと、ＡＤ（アナログ・デジタル）変換処理によりデジタル信号を出力するものがある。ＡＤ変換処理は、撮像素子１０２の内部で行われる。また、出力されるデジタル信号は、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）等のデジタル信号である。撮像素子の詳細構成については、後述する。

画像取得部１０３は、撮像素子１０２から出力された映像信号をキャプチャし、各処理を行うブロックから構成される。撮像素子１０２内部でＡＤ変換を行わない場合、画像取得部１０３は、ＡＤ変換を行うアナログフロントエンドも含む。画像取得部１０３は、撮像素子１０２の固定パターンノイズの除去や、黒レベルクランプ処理などを行なう。そして、映像信号記録に使用する画像と、撮像素子制御のための評価用信号に分離する役割も備える。

信号処理部１０４は、画像処理装置の代表的な画像処理機能となる画素加算機能やノイズリダクション、ガンマ補正、ニー補正、デジタルゲインなどをはじめ、キズ補正など各種画像処理を行なう。画像取得部１０３や信号処理部１０４には、ブロック図には明示していないが、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も含まれる。

画像合成部１０５は、撮像素子から出力されたＨＤＲ生成用の画像信号から、任意の合成方法を用いてＨＤＲ画像信号に合成する。例として、主となる画像信号（通常画）としてＨｉｇｈゲインの画像信号を用い、通常画のうち明るく白飛びしている部分については、Ｌｏｗゲインの画像信号を用いて合成を行う手法がある。しかし、本実施形態におけるＨＤＲ画像信号の合成方法は、二枚のゲインが異なる画像信号から合成を行う手法であればよく、上記手法に限定されるものではない。画像合成部１０５の制御は、少なくとも合成画像信号の生成を行うにあたり合成割合を制御する画像合成制御部１０９により行う。

信号記録部１０６は、画像合成部１０５から受けた映像信号を、記憶装置もしくは記憶媒体へ記録する。露出制御部１０７は、画像取得部１０３から受けた映像信号情報から最適露光量を算出し、撮像素子制御部１０８の動作を決定する。撮像素子制御部１０８は、制御信号を撮像素子１０２に伝達し、撮像素子１０２を制御する。

図２は、固体撮像素子の内部のブロックを示す図である。図２には、本実施形態で用いる撮像素子の一例として、撮像素子の各ブロックを示す。

タイミング・パルス制御部２０１は、撮像素子の各ブロックに対する動作ＣＬＫ（クロック）を供給したり、各ブロックにタイミング信号を供給したりして、撮像素子の動作を制御する。

垂直走査回路２０２は、２次元に配置された画素部２０３が有した画素信号電圧を、１フレーム中に順次読み出しするためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。

画素部２０３は、入射光量に応じて光電変換し、電圧として出力する光電変換素子（光電変換部）を有する。また、画素部２０３は、取り込まれた光を電荷に変換した後、電荷蓄積部となるＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）に電荷を蓄積する。ＦＤの容量の大きさは、大小に変更可能である。すなわち、ＦＤ容量は、少なくとも、相対的にＦＤ容量が大きい第一容量と、第一容量よりも少ない容量である第二容量とを選択し得る。ＩＳＯ感度に応じて、ＦＤ容量を変更することで、Ｓ／Ｎ比（信号対ノイズ比）を改善させる。基本的に低いＩＳＯ感度ではＦＤ容量を大に設定し、高いＩＳＯ感度においてはＦＤ容量を小に設定して使用する。なお、後述する２つのゲインの異なる画像信号の出力時には、２つのゲインを用いた２つの画像信号に対するＦＤ容量は共通となる。なお、ＦＤ容量の大きさは、大小の二段階に限定されるものではなく、三段階以上の設定が可能であってもよい。

列ＡＭＰ２０４（増幅部）は、画素部２０３から読み出された信号を電気的に増幅するために用いられる増幅器である。列ＡＭＰ２０４で信号を増幅することにより、それ以降の列ＡＤＣ２０５の出すノイズに対して、画素の信号レベルを増幅し、等価的にＳ／Ｎ比を改善させる。また、列ＡＭＰ２０４のゲインは、タイミング・パルス制御部２０１によって変更できる構造である。本実施形態の撮像素子１０２は、ＨＤＲ画像生成用として、列ＡＭＰ２０４に入力メモリを２つ持ち、列ＡＭＰにおけるゲイン設定を変更して２種類のゲインを出力することが可能である。入力メモリを２つ持つことで、画素部のＦＤから出力されたある時刻の信号に対して互いに異なる２つのゲインをかけて出力できる。２つのゲインは、相対的に大きい第一ゲインと、第一ゲインよりも小さい第二ゲインとから構成される。このため、データ量は増えるものの、同時性を持った２つのゲインの異なる画像を得ることができる。なお、本実施形態において２つの出力としているが、同時出力の数は、２つに限定されるものではない。

列ＡＤＣ（アナログ・デジタル変換部）２０５は、列ＡＭＰ２０４からの読み出し信号をアナログ・デジタル変換する。水平転送回路２０６は、列ＡＤＣ２０５でデジタル化された信号を順次読み出す。水平転送回路２０６の出力は、信号処理回路２０７に入力する。

信号処理回路２０７は、デジタル的に信号処理を行う回路である。信号処理回路２０７は、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行う。これにより、簡易にゲイン演算を行うことができる。また、画素部２０３に意図的に遮光した画素領域を持たせて、当該画素領域を利用したデジタルの黒レベルクランプ動作を行っても良い。

外部出力回路２０８は、信号処理回路２０７の出力を受ける。外部出力回路２０８は、シリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイスとの画像情報の受け渡しとして出力する。こうして、撮像素子１０２は、一度の露光で異なるゲインのかかった複数の画像信号を出力する。

次に、ＨＤＲ画像生成時の撮像素子の動作と、画像合成部１０５について述べる。前述したように、本実施形態の撮像素子は、ＨＤＲ画像を生成するために列ＡＭＰゲインを変更して出力することができる。ＨＤＲ画像の生成時の列ＡＭＰ２０４の動作を図３に示す。図３は、固体撮像素子の列ＡＭＰを示す図である。図３では、列ＡＭＰ２０４のある列をひとつ抜き出した回路を示す。容量部をＣと表記し、スイッチ素子（トランジスタ等）をＳＷと表記し、オペアンプをＯＰと表記する。

ＯＰ３０５には、入力容量と帰還容量が接続される。Ｃ３０３とＣ３０４は、入力容量であり、画素部２０３から読み出した信号を、それぞれ、ＳＷ３０１、ＳＷ３０２で接続する。Ｃ３０６とＣ３０８は帰還容量であり、ＳＷ３０７によってＣ３０８の接続を制御することができる。容量を用いているため、アンプの増幅率は、入力容量／帰還容量となる。本実施形態では、入力容量を２つ持っている。このため、まず、ＳＷ３０１を接続しＳＷ３０２を切り離してＣ３０３とＣ３０６とのゲインをかけて、列ＡＤＣ２０５へ出力する。次に、ＳＷ３０１を切り離し、ＳＷ３０２とＳＷ３０７を接続してＣ３０４とＣ３０６とＣ３０８とのゲインをかけて出力する。これにより、異なったゲインをかけた画像信号から得られる画像を二枚出力することができる。そして、画像合成部１０５は、複数の画像信号を合成して合成画像信号を生成する。以下では、必要に応じて、「画像信号」を合成することについて、「画像」を合成するとの表現を用いて説明する。

図４は、本実施形態に係る画像合成部１０５を示すブロック図である。図４では、撮像素子１０２から出力された２種類のゲインがかかった二枚の画像が、信号処理部１０４及び画像合成部１０５の処理ブロックを介することを示す。ここで、上記二枚の画像を、Ｈｉｇｈゲイン画像（以下、Ｈ画像）と、Ｌｏｗゲイン画像（以下、Ｌ画像）とする。露出補正部４０１は、Ｈ画像（第一画像信号）とＬ画像（第二画像信号）のゲインを同一にする。これにより、画像合成部４０２において一枚の画像に画像合成されると、入力信号に対してリニアな出力になる。

図５は、第１実施形態に係る入力光量とＡＤ変換後の出力コードの関係を示すグラフである。図５においては、Ｈ画像とＬ画像の入力される光量を横軸、ＡＤ変換後の出力コードを縦軸に取っている。横軸の光量の単位は、主にカンデラ（ｃｄ）が使用される。

図５（ａ）には、Ｈ画像（太線）とＬ画像（細線）のグラフが記載される。図５（ａ）の状態では、２つの画像の明るさが異なっているため、そのまま合成することはできない。

このため、露出補正部４０１にて、Ｈ画像とＬ画像の明るさを合わせるためにゲインをかける。図５（ｂ）は、Ｌ画像をＨ画像の明るさに合わせた例である。Ｌ画像に露出補正し、明るさをＨ画像に合わせたものをＬｏｗゲイン第２画像（以下、Ｌ２画像とする）とする。図５（ｂ）に示す場合は、露出補正部４０１にかけるゲインは１より大きいものとなる。一方、Ｈ画像をＬ画像の明るさに合わせる場合は、１より小さいゲインとなる。

図５（ｃ）は、合成後のグラフであり、Ｈ画像とＬ２画像の合成を行った場合の例である。入力光量が小さいＨ画像のデータがある部分は、Ｈ画像を用い、入力光量が大きい部分はＬ２画像を用いるような合成を行う。

図６は、第１実施形態に係る合成閾値とＦＤ容量の関係を示す図である。図６では、電荷を蓄積するＦＤ容量に応じた輝度によるＨ画像とＬ画像の合成比率を示した合成閾値を示している。本図では、合成の際の合成閾値を、撮影時の電荷を蓄積するＦＤ容量の大きさに応じて異ならせている。具体的には、ＦＤ容量が大きいほど合成閾値が低輝度側になる。ここでは、ＤＧＯを行うに際し、複数の画像信号の全てに対して共通となるＦＤ容量を容量大と設定するものとする。ここで、ＦＤ容量大のときは、ＦＤ容量設定はＬ画像に適した状態であるため、Ｈ画像のノイズが悪化する。このため、合成画像に占めるＨ画像の領域（合成割合）が少なくなるように、合成閾値が輝度値の低い方に設定される。つまり、ＦＤ容量が大きい場合における合成閾値を、ＦＤ容量が小さい場合における合成閾値よりも低輝度値側に設定する。

次に、上述のように、撮影者が異なるゲインをかけた複数枚の画像を出力できる撮像素子１０２で二枚の画像を撮影し、二枚の画像を合成する場合の一例を説明する。図７のフローチャートを用いて説明を行う。図７は、第１実施形態に係る合成閾値決定の流れを示すフローチャートである。

ステップＳ７０１において、撮影するＨ画像とＬ画像のＩＳＯ感度を決定する。ＩＳＯ感度は、撮影者による手動の設定にて決定してもよく、カメラによる自動決定にて決定してもよい。

ステップＳ７０２において、ＦＤ容量の設定の決定処理を行う。ステップＳ７０２の詳細な処理については、後述する。ステップＳ７０２でＦＤ容量決定処理をした後、ステップＳ７０３でゲインの異なる二枚の画像を撮影する。

ステップＳ７０４において、ステップＳ７０２でＦＤ容量設定を揃える処理を行ったかどうかの判定を行う。ステップＳ７０２の処理でＦＤ容量設定の変更処理を行っていた場合には、ステップＳ７０５に処理を進める。一方、ステップＳ７０２の処理でＦＤ容量設定の変更処理を行っていない場合には、ステップＳ７０６に処理を進める。

ステップＳ７０５において、撮影した画像のＦＤ容量設定に基づいて、合成閾値の決定を行う。ステップＳ７０２の処理を行っていた場合には、Ｈ画像のＦＤ容量設定は、Ｈ画像にとって適しているＦＤ容量設定よりも大きいＦＤ容量設定となっている。そのため、Ｈ画像のノイズが悪化する。この場合、図６を用いて上述したように、設定されたＦＤ容量の大きさに応じて、合成閾値が、輝度の低い方になるように設定する。これにより、合成画像に現れるＨ画像の領域を減らし、合成画像のノイズの影響を低減することができる。

ステップＳ７０６において、二枚の画像の合成を行う。画像を合成する場合の合成閾値は、ステップＳ７０５で変更した合成閾値、または、ステップＳ７０２で決定した変更前の合成閾値を用いる。画像を合成する場合には、図４に示すブロックにて二枚の画像の明るさを合わせ、図５に示すように合成を行う。なお、ＦＤ容量に応じた合成閾値の決定方法については合成閾値についてＦＤ容量ごとの固定値を持つ方法がある。しかしながら、合成閾値の決定方法は、その方法に限定されない。

図８を用いて、ステップＳ７０２のＦＤ容量設定決定処理を詳細に説明する。図８は、第１実施形態に係るＦＤ容量設定決定の流れを示すフローチャートである。撮影時のＦＤ容量設定は、設定したＩＳＯ感度の適切なＦＤ容量設定が、Ｈ画像とＬ画像とで共通となる場合は問題ない。しかしながら、適切なＦＤ容量設定が揃っていないＨ画像とＬ画像との組み合わせにおいては、どのＦＤ容量の設定にするかの決定が必要となる。次に具体的に説明する。

ステップＳ８０１において、Ｈ画像とＬ画像のＦＤ容量設定が揃っているか否かを判断する。ＦＤ容量設定が揃っていない場合は、ステップＳ８０２に処理を進める。一方、ＦＤ容量設定が揃っている場合は、ＦＤ容量設定の決定を終了する。

ステップＳ８０２において、ＦＤ容量ごとに、飽和閾値を算出する。具体的には、飽和閾値は、ＦＤ容量が飽和する光量のときの、ＡＤ変換後の撮像素子の出力値である。

ステップＳ８０３において、ＬｏｗゲインのＦＤ容量設定を最も小さい容量に設定する。例えば、容量設定が大小の二段階である場合には、小さい方のＦＤ容量に設定する。

ステップＳ８０４において、Ｌｏｗゲインの入力光量が、最も小さい容量に設定したＦＤ容量の飽和閾値を超えるか否かを判断する。Ｌｏｗゲインの入力光量が、最も小さい容量に設定したＦＤ容量の飽和閾値を超える場合には、ステップＳ８０５へ処理を進める。一方、Ｌｏｗゲインの入力光量が、最も小さい容量に設定したＦＤ容量の飽和閾値を超えない場合には、ステップＳ３０７へ処理を進める。

ステップＳ８０５において、Ｌｏｗゲインのために設定したＦＤ容量を、より大きい飽和閾値となるように変更する。具体的には、ＦＤ容量の設定値を一つ大きい方に変更する。

ステップＳ８０６において、ＬｏｗゲインのＦＤ容量とＨｉｇｈゲインのＦＤ容量とを比較する。ここで、ＬｏｗゲインのＦＤ容量とＨｉｇｈゲインのＦＤ容量とが一緒であれば、ステップＳ８０７に処理を進める。一方、ＬｏｗゲインのＦＤ容量とＨｉｇｈゲインのＦＤ容量とが一緒でなければ、ステップＳ８０４に処理を進める。

ステップＳ８０７において、ＨｉｇｈゲインのＦＤ容量設定を、ＬｏｗゲインのＦＤ容量設定に合わせる。ステップＳ８０７の後、処理を終了する。

次に、設定可能なＦＤ容量を三段階とした場合を例示して、ＦＤ容量設定決定処理を説明する。図９は、第１実施形態に係る入力光量とＦＤ容量の関係を示す図である。同図では、横軸に入力光量を示し、縦軸にＡＤ変換後の出力を示す。また、ＦＤ容量ごとの飽和光量を、破線で示す。

図９に示すように三段階のＦＤ容量（ＦＤ容量大、ＦＤ容量中、ＦＤ容量小）があるとき、入力光量が、容量の少ないＦＤ容量の飽和光量（飽和閾値）を超えない場合がある。この場合、必ずしもＨｉｇｈゲインで用いるＦＤ容量をＬｏｗゲインで用いるＦＤ容量に揃える必要はない。すなわち、ＬｏｗゲインのＦＤ容量を変更し、この変更後のＦＤ容量にＨｉｇｈゲインのＦＤ容量を揃えることとしてもよい。これにより、Ｈｉｇｈゲインに現れるノイズの影響を低減することが可能である。

また、図９に示すように三段階またはそれ以上のＦＤ容量設定が可能である場合には、上述のステップＳ８０４～Ｓ８０６の処理を繰り返す。そして、入力光量が飽和閾値を超えない場合には、ＬｏｗゲインのＦＤ容量設定を、小さい容量に変更する。最後に、ステップＳ８０７でＨｉｇｈゲインのＦＤ容量をＬｏｗゲインのＦＤ容量に揃える。

以上、第１実施形態によれば、ＬｏｗゲインのＦＤ容量とＨｉｇｈゲインのＦＤ容量との設定を揃えた後、揃えたＦＤ容量に応じた合成閾値を決定する。ここで、合成閾値を決定する場合、ＦＤ容量が相対的に大きい（多い）ＦＤ容量を選択した場合、ＦＤ容量が相対的に小さい（少ない）ＦＤ容量を選択した場合よりも、Ｈｉｇｈゲイン画像が少なくなるように設定する。これにより、ＦＤ容量が大きい場合に、Ｈｉｇｈゲイン画像を少なくすることができ、合成画像のノイズを低減することができる。

［第２実施形態］
第２実施形態においては、ＦＤ容量設定と撮像素子の温度に応じて、合成比率の閾値である合成閾値を決定する。本実施形態の画像処理装置は、撮像素子１０２の温度を計測する温度センサを有し、当該温度センサの計測結果が画像合成部１０５に入力される。その他の画像処理装置の構成等、第１実施形態で既に説明した構成は、説明を省略する。

図１０は、第２実施形態に係る合成閾値決定の流れを示すフローチャートである。ステップＳ１００１～ステップＳ１００５までは、図７のステップＳ７０１～ステップＳ７０５と同様の処理をする。

ステップＳ１００６において、撮像素子の温度に応じた合成閾値の補正を行う。撮像素子の温度が高くなるにつれてＨ画像のノイズが増加する。このため、撮像素子の温度が高くなるにつれて、合成画像に現れるＨ画像の領域を減らすように、合成閾値を調整する。

ステップＳ１００７において、Ｈ画像とＬ画像の二枚の画像の合成を行う。画像を合成する場合の合成閾値は、ステップＳ１００６で補正した合成閾値、または、ステップＳ１００４で決定した変更前の合成閾値を用いる。

次に、ステップＳ１００６における合成閾値補正の説明を図１１を用いて行う。図１１は、第２実施形態に係る合成閾値と撮像素子の温度との関係を示す図である。図１１に示すように、ステップＳ１００６では、撮像素子の温度が高くなるにつれ、ステップＳ１００５で決定した合成閾値からさらにＨ画像の領域が減るように輝度の低い方へ合成閾値を変更する。このようにすることで、撮像素子の温度に応じた合成画像のノイズ影響の低減が可能である。なお、撮像素子の温度に応じた合成閾値の変更方法は、本実施形態のものに限定されるものではない。撮像素子の温度が高くなるにつれ、Ｈ画像の領域を減らすように合成閾値を変更する方法であれば、他の方法でもよい。

以上、第２実施形態によれば、ＦＤ容量設定に応じてＨ画像とＬ画像の合成閾値を輝度の低いほうへ変更することに加え、撮像素子の温度が高くなるにつれて、Ｈ画像の領域を減らすように、合成閾値を補正した。これにより、合成画像のノイズを低減することができる。

［第３実施形態］
第３実施形態においては、上述の実施形態に加えて、撮影画像から輝度ノイズ分布の算出を行い、輝度ノイズ分布をもとに合成閾値の決定を行う。そして、輝度ノイズ分布の算出において、十分な領域の輝度ノイズ分布が作成できなかった場合において、上述のＦＤ容量設定から合成閾値を決定する。前述の実施形態と同様の構成については、説明を省略する。

図１２は、第３実施形態に係る合成閾値決定の流れを示すフローチャートである。図１２には、撮影後の合成閾値の決定時において、輝度ノイズ分布算出し、合成閾値を決定する手順を示す。

ステップＳ１２０１において、輝度ノイズ分布算出のために現像処理を行う。ここで、Ｈ画像とＬ画像の二枚の画像の明るさを合わせる。本実施形態では、Ｈ画像をベース画像として、Ｌ画像をＨ画像の明るさに合わせてＬ２画像を露出補正した場合を例示して説明する。

ステップＳ１２０２において、Ｈ画像及びＬ２画像から一様輝度面の検出を行う。一様輝度面とは、エッジがない又はエッジが少ない領域であり、且つ領域内の最大最小輝度値差分が閾値以下である領域である。

ステップＳ１２０３において、所定数の一様輝度面が得られたかを判定する。所定数の一様輝度面が得られた場合は、ステップＳ１２０４に処理を進める。一方、所定数の一様輝度面が得られていない場合は、ステップＳ１２０２に処理を進める。

ステップＳ１２０４において、検出した一様輝輝度面の領域（一様面群のレンジ）が所定範囲以上か否かを判断する。一様輝度面の領域が十分に広いか否かの判断については、特に、取り得る合成閾値が含まれているか否かを判断する。

ステップＳ１２０５において、検出したＨ画像の一様輝度面の領域におけるノイズ計測を行うとともに、Ｌ２画像の同領域におけるノイズ計測を行う。それらのノイズ計測の結果を基に、Ｈ画像とＬ２画像の輝度ノイズ分布の算出を行う。

ステップＳ１２０６において、ステップＳ１２０５で算出した輝度ノイズ分布に基づいて、Ｈ画像とＬ２画像のノイズが逆転する輝度値に基づいて合成閾値に決定する。本実施形態の場合、Ｈ画像とＬ２画像のノイズが逆転する輝度値を基準として、Ｈ画像のノイズがＬ２画像のノイズよりも多くならない輝度値を合成閾値として決定する。ステップＳ１２０６の後、処理を終了する。

ステップＳ１２０７において、前述の実施形態において説明したように、ＦＤ容量設定に基づいて、合成閾値を算出する。このように、ステップＳ１２０４で十分な範囲の一様輝度面を検出できなかった場合には、ステップＳ１２０７の処理を行う。ステップＳ１２０７の後、処理を終了する。

以上、第３実施形態によれば、輝度ノイズ分布からより正確なノイズ低減効果を図ることができる。また、一様輝度面の検出が難しいシーンにおいても、ＦＤ容量設定から合成閾値を決定することで、一定のノイズ低減効果を得ることができる。

［その他の実施形態］
以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置
１０２…撮像素子
１０５…画像合成部
１０８…撮像素子制御部
１０９…画像合成制御部
２０３…画素部
２０４…列ＡＭＰ

Claims (8)

1. 光を電荷に変換する光電変換部及び前記電荷を蓄積する電荷蓄積部を有する画素部と、前記画素部から出力される信号を互いに異なるゲインで増幅し得る増幅部と、を有し、一度の露光で異なるゲインのかかった複数の画像信号を出力する撮像素子と、
   前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、
   前記複数の画像信号に対して前記電荷蓄積部の容量が共通である場合、共通となった容量に応じて、前記合成画像信号における前記複数の画像信号の合成割合を決定するように前記画像合成部を制御する画像合成制御部と、を有する
   ことを特徴とする画像処理装置。
2. 前記電荷蓄積部の容量は、第一容量と前記第一容量よりも少ない容量である第二容量とを有し、
   前記複数の画像信号は、第一ゲインを用いて増幅される第一画像信号と前記第一ゲインよりも小さい第二ゲインを用いて増幅される第二画像信号とを有し、
   前記画像合成制御部は、前記電荷蓄積部における前記共通となった容量が前記第一容量である場合、前記第二容量である場合よりも前記合成画像信号における前記第一画像信号の合成割合を少なくする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記撮像素子の温度に応じて前記合成割合を変更する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像合成部は、前記撮像素子の温度が高くなるにつれて、前記合成画像信号に用いる前記第一画像信号の前記合成割合が少なくなるように補正する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記信号へのゲインと前記電荷蓄積部の容量とを制御する撮像素子制御部を有し、
   前記撮像素子制御部は、
   前記信号への複数のゲイン設定のうち相対的に低いゲインで得られる信号電圧に基づいて前記電荷蓄積部の容量が飽和する閾値を算出し、
   前記画素部への入力光量が前記閾値を超えない限りにおいて、前記電荷蓄積部の容量が少なくなるように、前記電荷蓄積部の容量を決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像合成部は、
   前記複数の画像信号に対して各画像信号の輝度ノイズ分布を算出し、前記輝度ノイズ分布と前記電荷蓄積部の容量に応じて前記合成画像信号における前記複数の画像信号の合成割合を変更することが可能である
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 光を電荷に変換する光電変換部及び前記電荷を蓄積する電荷蓄積部を有する画素部から出力される信号を、互いに異なるゲインで増幅することで、一度の露光で異なるゲインのかかった複数の画像を撮像素子から出力する出力工程と、
   前記複数の画像信号を合成して合成画像信号を生成する生成工程と、を有し、
   前記合成画像信号を生成する場合において、前記複数の画像信号の全てにおいて前記電荷蓄積部の容量が共通となった場合に、共通となった容量に応じて、前記合成画像信号における前記複数の画像信号の合成割合を変更する
   ことを特徴とする画像処理方法。
8. コンピュータに請求項７に記載の画像処理方法を実行させることを特徴とするプログラム。
   
   

Images