JP2016096403A

JP2016096403A - 撮像装置および撮像方法

Info

Publication number: JP2016096403A
Application number: JP2014230292A
Authority: JP
Inventors: 達哉宜保; Tatsuya Gibo; 誠飛鳥; Makoto Asuka
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2014-11-13
Filing date: 2014-11-13
Publication date: 2016-05-26

Abstract

【課題】異なる露光時間で撮像された複数枚の画像を合成して生成された合成画像における、輝度の階調の低下を抑制する撮像装置及び撮像方法を提供する。
【解決手段】撮像装置は、第１の露光時間及び第１の露光時間よりも短い第２の露光時間によって撮像したそれぞれ第１及び第２の信号を出力する撮像センサと、第１及び第２の信号の入出力特性の傾きとが同じになるように、第１及び第２の入出力特性の少なくとも一つの傾きを調整するゲインを第１及び第２の露光時間に基づいて求める演算部１１と、ゲインに基づいて、第１及び第２の入出力特性の傾きを調整する減衰・増幅処理を施すとともに、減衰・増幅済みの入出力特性に基づいて第１の信号及び第２の信号の減衰・増幅処理を施す減衰・増幅部１２と、減衰・増幅処理が施された第１の信号及び第２の信号に基づいて、１枚の画像に合成する合成部２６と、を有する。
【選択図】図２

Description

本発明は、撮像装置および撮像方法に関する。

近年、可視光を撮像して電気信号化するカメラにおいて、可視光を光電変換するためにフォトダイオードなどの撮像素子が利用されている。撮像素子は、Dynamic Range（以下、「DR」と称する。）と呼ばれる特性を持っている。DRは、撮像素子が感光できる最低の照度と最高の照度の比を表わす。そのため、DRが大きい撮像素子ほど照度比が大きい被写体を撮像できる。しかし、一般に現実に存在する被写体を全て撮像できるDRの撮像素子は存在しない。そのため、異なる露光時間で撮像した複数枚の画像を合成して、見掛け上のDRを大きく見せるWide Dynamic Range（以下、「WDR」と称する。）と呼ばれる技術がある。

一般に、前記WDRを利用した場合、複数枚の画像を合成して生成された合成画像は、輝度の階調が低下する。そこで、輝度の階調が低下することを抑制するために、合成画像の輝度の信号に対して増幅や減衰処理を施す方法が知られている（特許文献１）。

特開２０１２−２９０２９号公報

特許文献１では、異なる露光時間で撮像された複数枚の画像を合成して生成された合成画像の輝度の階調の低下を抑制するために、合成画像の低輝度に対して増幅や減衰処理を施している。しかし、合成画像の輝度に対して増幅や減衰処理を施し、輝度の階調の低下を抑制する場合、合成画像の輝度の階調がある程度以上の大きさを持つ必要がある。そのため、被写体によっては、輝度の階調の低下を抑制できない場合がある。

そこで、本発明では、輝度の階調の低下を抑制する技術を提供することを目的とする。

上記課題を解決するために、第１の露光時間によって撮像した第１の信号、および第１の露光時間よりも短い露光時間である第２の露光時間によって撮像した第２の信号を出力する撮像センサと、第１の信号の入出力特性である第１の入出力特性の傾きと、第２の信号の入出力特性である第２の入出力特性の傾きとが同じになるように、第１の入出力特性および第２の入出力特性の少なくとも一つの傾きを調整するゲインを第１の露光時間および第２の露光時間に基づいて求める演算部と、ゲインに基づいて、第１の入出力特性および第２の入出力特性の傾きを調整する減衰・増幅処理を施すとともに、減衰・増幅済みの入出力特性に基づいて第１の信号および第２の信号の減衰・増幅処理を施す減衰・増幅部と、減衰・増幅処理が施された第１の信号および第２の信号に基づいて、１枚の画像に合成する合成部と、を有する事を特徴とする。

本発明によれば、輝度の階調の低下を抑制する。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る撮像装置１の構成を示す図である。ＷＤＲを実現するための制御部１０と演算部１１の構成を示す図である。第１の露光時間で撮像されたデジタル信号９の入出力特性を示す図である。第２の露光時間で撮像されたデジタル信号９の入出力特性を示す図である。第１の入出力特性２８を上限値３０でクリップしたときの入出力特性を示している。第２の入出力特性２９と、クリップ済み第１の入出力特性３１とを合成することで得られる合成後入出力特性３２である。クリップ済み第１の入出力特性３１の傾き係数と第２の入出力特性２９との傾きが一致するように処理を施した入出力特性３５である。ヒストグラム取得部１３で取得した第２の露光時間で撮像したデジタル信号のヒストグラムを示す。ヒストグラム取得部１３で取得した第２の露光時間で撮像したデジタル信号のヒストグラムを示す。演算部１１と制御部１０の動作のフローチャートを示す図である。ステップ１００３の増減幅処理後のクリップ済み第１入出力特性３３に対する第１傾き係数４１の算出法を示す。ステップ１００３の増減幅処理後の第２入出力特性３４に対する第２傾き係数４２の算出法を示す。

以下、図面を用いて実施例を説明する。

図１は、本発明に係る撮像装置１の構成を示す図である。

撮像装置１は、レンズ３、絞り４、撮像センサ５、信号処理部７を有する。

入射光２を出力信号１２として出力する流れは次の通りである。まず、レンズ３と絞り４を介して、入射光２を撮像センサ５に照射する。撮像センサ５に入射した光は、光電変換され電気信号６として出力される。次に、電気信号６を、信号処理部７に入力する。信号処理部７は、ＡＤ変換器８、制御部１０および演算部１１を有している。電気信号６は、まず、ＡＤ変換器８に入力され、デジタル信号９へ変換される。更に、デジタル信号９を制御部１０に入力する。なお、制御部１０は、演算部１１と信号をやり取りすることで、出力信号１２を出力する。

図２は、ＷＤＲを実現するための制御部１０と演算部１１の構成を示す図である。

制御部１０は、減衰・増幅部１２と、ヒストグラム取得部１３、記憶部１９、切換え２１、接点Ａ２２、接点Ｂ２５、合成部２６、一時記憶部２４を有する。

ＷＤＲを実現するための制御部１０と演算部１１の処理の流れは次の通りである。

まず、第１の露光時間で撮像したデジタル信号９を減衰・増幅部１２へ入力する。このとき、デジタル信号９をヒストグラム取得部１３にも入力する。

次に、ヒストグラム取得部１３は、入力された第１の露光時間で撮像したデジタル信号９からヒストグラム情報１４を取得する。ここで、ヒストグラム情報１４とは、前記デジタル信号９の輝度値の分布を低輝度から高輝度までグラフとして表したものである。

得られたヒストグラム情報１４は、演算部１１に入力され、制御情報１６を出力する。制御情報１６は、演算部１１において、前記第１の露光時間および後述する第２の露光時間に応じてデジタル信号を減衰・増幅するためのゲインや、前記ヒストグラム情報１４の分布に応じて、例えば、デジタル信号９を０．０１倍〜２倍に減衰・増幅するといった情報である。その他に、制御情報１６は、減衰・増幅の制御情報以外に、撮像センサの露光時間を操作するための露光時間情報１８を含む。

次に、演算部１１から出力された制御情報１６は、記憶部１９に入力される。記憶部１９は、入力された制御情報１６を減衰・増幅情報１７と露光時間情報１８に分割して記憶する。

さらに、記憶部１９は、減衰・増幅情報１７を減衰・増幅部１２へ出力し、また、露光時間情報１８を撮像センサ５へ入力し、撮像センサ５は、第１の露光時間および第２の露光時間に応じて撮像を行う。一方、減衰・増幅部１２は、減衰・増幅情報１７を基に、撮像センサ５によって撮像されたデジタル信号９に対して減衰・増幅処理を施す。第１の露光時間で撮像したデジタル信号９が減衰・増幅部１２に入力された場合は、切り替え２１を接点２２に繋ぎ、減衰・増幅済み信号２３を一時記憶部２４へ入力する。

第１の露光時間で撮像したデジタル信号の減衰・増幅済み信号２３が一時記憶部２４に入力された後、第１の露光時間よりも露光時間が短い第２の露光時間でデジタル信号９を撮像する。以降、本実施例では、第１の露光時間よりも短い露光時間を、第２の露光時間と称する。そして、前記第２の露光時間で撮像したデジタル信号９を、減衰・増幅部１２へ入力する。また、第２の露光時間で撮像したデジタル信号９をヒストグラム取得部１３に入力する。

次に、ヒストグラム取得部１３は、入力された第２の露光時間で撮像したデジタル信号９からヒストグラム情報１４を取得する。演算部１１は、得られたヒストグラム情報１４の分布に応じて、制御情報１６を算出し出力する。制御情報１６は、演算部１１において、前記第１の露光時間および後述する第２の露光時間に応じてデジタル信号を減衰・増幅するためのゲインや、前記ヒストグラム情報１４の分布に応じて、例えば、デジタル信号９を０．０１倍〜２倍に減衰・増幅するといった減衰・増幅情報１７である。

次に、演算部１１から出力された制御情報１６は、記憶部１９に入力される。記憶部１９は、入力された制御情報１６を減衰・増幅情報１７と露光時間情報１８に分割して記憶する。さらに、記憶部１９は、減衰・増幅情報１７を減衰・増幅部１２へ入力し、露光時間情報１８を撮像センサ５へ入力する。減衰・増幅部１２は、減衰・増幅情報１７を基に、デジタル信号９に対して減衰・増幅処理を施す。第２の露光時間で撮像したデジタル信号９が減衰・増幅部１２に入力された場合は、切り替え２１を接点２５に繋ぎ、減衰・増幅済み信号２３を合成部２６へ入力する。

合成部２６では、一時記憶２４に保持されている、第１の露光時間で撮像された信号と、第２の露光時間で撮像された信号２３を合成する。合成した信号は、出力信号２７として出力される。

なお、減衰・増幅処理済みの第２の露光時間で撮像したデジタル信号９は、切り替え２１を接点２２につなぎ一時記憶部２４へ入力するとともに、減衰・増幅処理済みの第２の露光時間で撮像したデジタル信号９は、切り替え２１を接点２５に繋ぎ、合成部２６で合成してもよい。また、ヒストグラム取得部１３では、ヒストグラム情報を常に取得しているわけではなく、後述する図８〜図１２で説明するように、入出力特性の調整を行う際にヒストグラム情報を取得する構成としてもよい。

以下、露光時間の異なるデジタル信号に対して、減衰・増幅処理を施した後、画像の合成処理を行う構成について、図３〜図６を用いて説明する。

図３は、第１の露光時間で撮像されたデジタル信号９の入出力特性を示す図である。

横軸は入力信号値、縦軸は出力信号値の大きさを示している。上述した第１の露光時間で撮像されたデジタル信号９は、第１の入出力特性２８のような入出力特性を持っている。

図４は、第２の露光時間で撮像されたデジタル信号９の入出力特性を示す図である。

上述した第２の露光時間で撮像されたデジタル信号９は、第２の入出力特性２９のような入出力特性を有する。

図５は、第１の入出力特性２８を上限値３０でクリップしたときの入出力特性を示している。入出力特性３１は、クリップした後のクリップ済み第１の入出力特性３１である。ここで、上限値３０でクリップするのは、後述する第２の入出力特性と合成処理を行うためである。上限値３０と入出力特性の交点における入力値が分かれば、第２の入出力特性を合成する際の入力値が決まる。すなわち、クリップ済み第１の入出力特性３１における前記入力値以上の領域に、第２の入出力特性を合成する。なお、上限値３０は任意の値を定めることができ、本図では出力値の上限値の約半分値を上限値３０として設定している。

図６は、第２の入出力特性２９と、クリップ済み第１の入出力特性３１とを合成することで得られる合成後入出力特性３２である。

ここで、第１の入出力特性２８の傾きと第２の入出力特性２９の傾きを比較すると、露光時間の違いから、第２の入出力特性２９の傾きの方が小さいことがわかる。一般に、入出力特性の傾きが小さい場合、輝度の階調が低下する。そのため、図６に示すように、輝度の階調が低下していないクリップ済み第１の入出力特性３１と、輝度の階調が低下している第２の入出力特性２９を合成して、出力信号の入出力特性３２を生成すると、輝度の階調の高低差が大きいため、不自然な画像信号が生成される。

このような不自然さを解消するためには、クリップ済み第１の入出力特性３１と第２入出力特性の傾きを同じにする必要がある。傾きを同じにするためには、減衰・増幅部１２において、クリップ済み第１の入出力特性３１の傾き係数と第２の入出力特性２９の傾き係数に、減衰・増幅処理を施す必要がある。

減衰・増幅処理を施すためには、演算部１１で減衰・増幅の程度を決定する必要がある。入出力特性の傾きは、露光時間に応じて決まるので、演算部１１では、第１の露光時間および第２の露光時間に応じて減衰・増幅の程度を演算する。例えば、第１の露光時間がt1、第２の露光時間がt2であって、t1がt2の２倍である場合には、第２の入出力特性２９の傾きを1/2にすることによって、第１の入出力特性と第２の入出力特性の傾きを同一にすることができる。なお、露光時間に基づいて減衰・増幅処理を行うのではなく、第１および第２の露光時間における入出力特性の傾きをそれぞれ求め、得られた傾きに基づいて減衰・増幅処理を行っても構わない。このようにして決まった露光時間に応じた減衰・増幅の程度に基づいて、減衰・増幅部１２によって、信号の減衰・増幅処理を施す。

図７は、クリップ済み第１の入出力特性３１の傾き係数と第２の入出力特性２９との傾きが一致するように処理を施した入出力特性３５である。

この図では、図５に記載のクリップ済み第１の入出力特性３１を所定値だけ減衰するとともに、図４に記載の第２の入出力特性２９を所定値だけ増幅した例である。合成前のそれぞれの入出力特性を区別するために、減衰したクリップ済み第１の入出力特性３３を直線で、増幅した入出力特性３４を破線で示している。このように、クリップ済み第１の入出力特性３１の傾き係数と第２の入出力特性２９との傾きが一致するように減衰・増幅を施すことによって、入出力特性３５のような入出力特性を得ることによって、輝度の諧調の高低差が低減され、自然な画像信号を得ることができる。

なお、合成前の入出力特性の減衰・増幅処理は、第１の入出力特性３１および第２の入出力特性２９のそれぞれに対して行ってもよいし、いずれか一方に対して行うことにより、互いの入出力特性の傾きを同じにするようにしてもよい。ただし、処理を施した後に合成した場合に、第２の入出力特性２９が出力値の最大値を超えてしまうと、白飛びが発生するため、超えないようにすることが必要である。

ところで、減衰・増幅処理後の入出力特性３５（特に、減衰したクリップ済み第１の入出力特性３３）は、減衰・増幅処理を施す前の信号である出力信号の第１の入出力特性３２よりも入力信号に対する出力信号が小さくなるため、画像としては暗い画像が生成される。ここで、暗い画像が生成されたとしても、減衰・増幅処理を施す前の画像が輝度の階調の低下が抑制されている場合は、画像の暗さを許容できる。すなわち、階調の低下が抑制されている場合は、画像が暗くて視認性がよいため、そもそも入出力特性の減衰・増幅を行う必要がない。しかし、減衰・増幅処理を施す前の画像が輝度の階調が低下が抑制されない場合に、減衰・増幅処理を施すことにより、暗い画像が生成されることは、許容できない。よって、減衰・増幅処理を行う場合には、より視認性を向上させるように、適切な減衰・増幅処理を行う必要がある。

そこで、減衰・増幅処理を施す前の画像の輝度の階調を考慮して、入出力特性に対して減衰・増幅処理を施すことで、このような問題点を解決する構成を、以下説明する。

図８に、ヒストグラム取得部１３で取得した第２の露光時間で撮像したデジタル信号のヒストグラムを示す。

図８の横軸は、輝度値を表しており、縦軸は、度数を示している。前述した、輝度の階調の低下が抑制されずに暗い画像が生成される場合とは、図８において、範囲Ａ３６の積分値が少ない場合である。範囲Ａ３６は、第２の入出力特性２９の入力値が低い範囲を示している。第２の入出力特性２９の入力値が低い範囲では、入力値に対して出力値が大きくなりにくい。そのため、範囲Ａ３６の範囲の積分値が大きい場合、輝度の階調が低下していることになる。一方で、範囲Ａ３６の範囲の積分値が少ない場合は、輝度の階調が大きいことになる。よって、図７に示すような減衰・増幅部処理後の入出力特性３５の減衰・増幅処理を施す必要がない。

一方、図９のように、第２の露光時間で撮像したデジタル信号のヒストグラム情報の範囲Ａ３６の積分値が大きい場合は、輝度の階調が低下している。そのため、図７に示すような減衰・増幅部処理後の入出力特性３５と同様の処理を施すことで、輝度の階調を大きくし、自然な画像を生成する必要がある。

ここで、範囲Ａ３６は、輝度０〜所定輝度値の範囲の例を示しているが、この範囲である必要はなく、任意の範囲を採用してもよい。なお、輝度０〜所定輝度値の範囲であれば、輝度の階調の低下度合いをより精度よく判定することが可能となる。

以上の処理の流れを図１０にフローチャートとして示す。

まず、ヒストグラム取得部１３において、第２の露光時間で撮像したデジタル信号９のヒストグラム情報１４を取得する（ステップ１００１）。

次に、演算部１１において、ヒストグラム情報１４の範囲Ａ３６の積分値を算出する。そして、第２入出力特性の減衰・増幅度合いを表す第２傾き係数４２を算出する。第２傾き係数４２の算出方法は、後述する図１２に基づいて算出する（ステップ１００２）。

次に、演算部１１において、前記積分値に応じて、クリップ済み第１入出力特性３１の減衰・増幅度合いを表す第１傾き係数４１を算出する。第１傾き係数４１の算出方法は、後述する図１１に基づいて算出する（ステップ１００３）。なお、ステップ１００２およびステップ１００３の順番は何れを先に行ってもよい。
演算部１１において、算出した第１傾き係数４１と第２傾き係数４２を記憶部１９に転送する（ステップ１００４）。

最後に、記憶部１９から撮像センサ５や減衰・増幅部１２に信号を転送する（ステップ１００５）。

ここで、図１１に、ステップ１００３の増減幅処理後のクリップ済み第１入出力特性３３に対する第１傾き係数４１の算出法を示す。

図１１は、横軸に第２の露光時間で撮像したデジタル信号９のヒストグラム情報１４の範囲Ａ３６の積分値を示している。

縦軸は、第１傾き係数４１の大きさを示している。ここで、第１傾き係数４１とは、増減幅処理後のクリップ済み第１入出力特性３３にかける減衰・増幅量を表している。図１１に示すように、範囲Ａ３６の積分値が０から閾値４３までは、１以上の所定の固定値を、範囲Ａ３６の積分値が閾値４３から閾値４４までは、前記所定値から減少傾向となる第１傾き係数４１を、範囲Ａ３６の積分値が閾値４４以上の場合は、第１傾き係数４１は１を採用する。

図１２に、ステップ１００２の増減幅処理後の第２入出力特性３４に対する第２傾き係数４２の算出法を示す。

第２傾き係数４２は、範囲Ａ３６の積分値が０から閾値４５までは、１以下の所定の固定値を、範囲Ａ３６の積分値が閾値４５から閾値４６までは、前記所定値から増加傾向となる第２傾き係数４２を、範囲Ａ３６の積分値が閾値４６以上の場合は、第２傾き係数４２は１を採用する。

以上のように、範囲Ａ３６の積分値が大きい場合（すなわち輝度の階調の低下がある場合）は、第１傾き係数が１に近い値を取り、第２傾き係数４２は１以上の大きい値を採用するため、合成後の入出力特性３５に近い入出力特性を作ることができる。一方で、範囲Ａ３６の積分値が小さい場合（すなわち輝度の階調の低下が抑制されている場合）は、第１傾き係数４１が１以上の大きい値を取り、第２傾き係数４２は１に近い値を採用するため、入出力特性は、図６に示すような入出力特性３２を作ることができる。すなわち、前述のように、輝度の階調の低下が抑制されている場合は、減衰・増幅処理を施すことによる画像の暗さを許容できるため、入出力特性３２のような入出力特性を得るために、上述のような第１傾き係数４１および第２傾き係数４２を採用する。一方、前述のように、輝度の階調の低下している場合は、減衰・増幅処理を施すことによる画像の暗さを許容できないため、入出力特性３５のような入出力特性を得るために、上述のような第１傾き係数４１および第２傾き係数４２を採用する。

以上の処理によって、輝度の階調の低下を抑制できる。

１・・・撮像装置１、２・・・入射光、３・・・レンズ、４・・・絞り、５・・・撮像センサ、６・・・電気信号、７・・・信号処理部、８・・・ＡＤ変換器、９・・・デジタル信号、１０・・・制御部、１１・・・演算部、１２・・・出力信号

Claims

第１の露光時間によって撮像した第１の信号、および第１の露光時間よりも短い露光時間である第２の露光時間によって撮像した第２の信号を出力する撮像センサと、
前記第１の信号の入出力特性である第１の入出力特性の傾きと、前記第２の信号の入出力特性である第２の入出力特性の傾きとが同じになるように、前記第１の入出力特性および前記第２の入出力特性の少なくとも一つの傾きを調整するゲインを前記第１の露光時間および前記第２の露光時間に基づいて求める演算部と、
前記ゲインに基づいて、前記第１の入出力特性および前記第２の入出力特性の傾きを調整する減衰・増幅処理を施すとともに、前記減衰・増幅済みの入出力特性に基づいて前記第１の信号および前記第２の信号の減衰・増幅処理を施す減衰・増幅部と、
前記減衰・増幅処理が施された第１の信号および第２の信号に基づいて、１枚の画像に合成する合成部と、
を有する撮像装置。
前記第２の露光時間で撮像された画像の輝度のヒストグラム情報を取得するヒストグラム取得部を有し、
前記減衰・増幅部は、前記ヒストグラム情報の一定の範囲の積分値に応じて、前記減衰・増幅済み第１の入出力特性および第２の入出力特性の傾きをさらに調整する請求項１に記載の撮像装置。
前記ヒストグラム取得部は、前記輝度のヒストグラム情報において、輝度の値が相対的に低い領域における輝度の度数の積分値を取得し、
前記減衰・増幅部は、前記積分値が所定値よりも大きい場合には、前記減衰・増幅済み第１の入出力特性および第２の入出力特性に基づいて前記第１の信号および前記第２の信号の減衰・増幅処理を施し、
前記前記積分値が所定値よりも小さい場合には、前記減衰・増幅済み第１の入出力特性および第２の入出力特性の傾きが、前記減衰・増幅処理を施す前における第１の入出力特性および第２の入出力特性となるように調整して前記第１の信号および前記第２の信号の減衰・増幅処理を施す請求項２に記載の撮像装置。
前記領域は、輝度値が０から所定輝度値の範囲である請求項３に記載の撮像装置。
前記積分値が大きいほど、前記第１の入出力特性の傾きは小さくなるように調整するとともに、前記第２の入出力特性の傾きは大きくなるように調整する請求項３に記載の撮像装置。
第１の露光時間によって撮像した第１の信号および第１の露光時間よりも短い露光時間である第２の露光時間によって撮像した第２の信号を出力する撮像センサと、
前記第１の信号の入出力特性である第１の入出力特性の傾きと、前記第２の信号の入出力特性である第２の入出力特性の傾きとを取得し、それぞれの傾きが同じになるように、前記第１の入出力特性および前記第２の入出力特性の少なくとも一つの傾きを調整するゲインを求める演算部と、
前記傾きに基づいて、前記第１の入出力特性およびの前記第２の入出力特性に減衰・増幅処理を施すとともに、前記減衰・増幅済みの入出力特性に基づいて前記第１の信号および前記第２の信号に対して減衰・増幅処理を施す減衰・増幅部と、
減衰・増幅処理が施された前記第１の信号および前記第２の信号に基づいて、１枚の画像に合成する合成部と、
を有する撮像装置。
第１の露光時間によって撮像した第１の信号、および第１の露光時間よりも短い露光時間である第２の露光時間によって撮像した第２の信号を出力し、
前記第１の信号の入出力特性である第１の入出力特性の傾きと、前記第２の信号の入出力特性である第２の入出力特性の傾きとが同じになるように、前記第１の入出力特性および前記第２の入出力特性の少なくとも一つの傾きを調整するゲインを前記第１の露光時間および前記第２の露光時間に基づいて求め、
前記ゲインに基づいて、前記第１の入出力特性および前記第２の入出力特性の傾きを調整する減衰・増幅処理を施すとともに、前記減衰・増幅済みの入出力特性に基づいて前記第１の信号および前記第２の信号の減衰・増幅処理を施し、
前記減衰・増幅処理が施された第１の信号および第２の信号に基づいて、１枚の画像に合成する撮像方法。
前記第２の露光時間で撮像された画像の輝度のヒストグラム情報を取得し、
前記ヒストグラム情報の輝度の値が相対的に低い領域における輝度の度数の積分値を取得し、
前記積分値が所定値よりも大きい場合には、前記減衰・増幅済み第１の入出力特性および第２の入出力特性に基づいて前記第１の信号および前記第２の信号の減衰・増幅処理を施し、
前記前記積分値が所定値よりも小さい場合には、前記減衰・増幅済み第１の入出力特性および第２の入出力特性の傾きが、前記減衰・増幅処理を施す前における第１の入出力特性および第２の入出力特性となるように調整して前記第１の信号および前記第２の信号の減衰・増幅処理を施す請求項７に記載の撮像方法。