JP2016100686A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】画像処理の負担を抑制しつつ、画像のダイナミックレンジを改善することができる撮像装置および撮像方法を提供する。【解決手段】本発明による撮像装置は、一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより前記複数回の露光に対応した複数のフレーム画像を取得し、前記複数のフレーム画像から一つの画像を生成する撮像装置であって、前記フレーム画像に含まれるノイズ成分を規定する当該撮像装置の特性量を取得し、前記特性量に基づき、前記複数回の露光のそれぞれにおける露光時間の上限値を取得し、前記上限値に従って前記複数回の露光を制御することにより前記複数のフレーム画像を発生させる露光制御部と、前記複数のフレーム画像を前記一つの画像に合成する画像合成部と、を備える。【選択図】図１

Description

本発明は、デジタルスチールカメラ等の撮像装置および撮像方法に関し、更に詳しくは、撮像装置に備えられた撮像素子の暗電流に起因したノイズを低減するための技術に関する。

夜景、花火、天体、星空等のように、光量が少ない被写体を撮像する場合、１秒以上の長時間露光を必要とする。このような長時間露光では、通常、バルブモード(Bulb mode)が用いられる。バルブモードでの長時間露光によれば、露光時間を長くするほど大きな光量を得ることができる。しかしながら、ＣＣＤ(Charge Coupled Device)イメージセンサ等の撮像素子により画像を電子的に形成するデジタルスチールカメラ等の場合、露光時間に比例して撮像素子の暗電流によるノイズ成分が増加するため、長時間露光により画像のダイナミックレンジ(Dynamic Range)が低下する。

上述の長時間露光における撮像素子の暗電流に起因したダイナミックレンジの低下を回避するための技術として、いわゆる分割露光技術がある（特許文献１および特許文献２参照）。分割露光技術によれば、一定時間以上の長時間露光を複数の短時間露光に分割することにより、撮像素子の暗電流の影響を抑え、画像のダイナミックレンジを改善することができる。

特開２００１−３２６８５０号公報 特許第４４６９４８６号公報

しかしながら、従来の分割露光技術によれば、長時間露光を分割して得られる複数の短時間露光のそれぞれの露光時間は、撮像素子の暗電流に起因したノイズの発生量に影響を与える筐体温度やＩＳＯ感度等とは無関係に設定される。このため、筐体温度やＩＳＯ感度等が変化すると、短時間露光の露光時間を設定し直す必要がある。

ここで、短時間露光の露光時間が短すぎる場合、即ち、長時間露光の分割数が必要以上に多い場合、その分割数に応じて画像処理の負担が増加する。このため、画像処理に要する時間と消費電力が増加する。また、短時間露光の露光時間が長すぎる場合、即ち、長時間露光の分割数が少なすぎる場合、撮像素子の暗電流の影響が顕在化する。このため、ダイナミックレンジの改善効果を得ることができなくなる。

本発明は、上記事情に鑑みてなされたものであり、画像処理の負担を抑制しつつ、画像のダイナミックレンジを改善することができる撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る撮像装置は、一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより前記複数回の露光に対応した複数のフレーム画像を取得し、前記複数のフレーム画像から一つの画像を生成する撮像装置であって、前記フレーム画像に含まれるノイズ成分を規定する当該撮像装置の特性量を取得し、前記特性量に基づき、前記複数回の露光のそれぞれにおける露光時間の上限値を取得し、前記上限値に従って前記複数回の露光を制御することにより前記複数のフレーム画像を発生させる露光制御部と、前記複数のフレーム画像を前記一つの画像に合成する画像合成部と、を備えた撮像装置の構成を有する。

上記撮像装置において、例えば、前記露光制御部は、前記特性量を用いて撮像素子の単位時間あたりの暗電流を取得し、前記単位時間あたりの暗電流を用いて、前記複数回の露光のそれぞれにおける前記撮像素子の暗電流の積算量が所定値に到達するのに要する時間を算出し、前記積算量が前記所定値に到達するのに要する時間を前記上限値として取得する。

上記撮像装置において、例えば、前記露光制御部は、前記特性量として、少なくとも、当該撮像装置の筐体温度と、ＩＳＯ感度に対応したアナログゲインとを取得する。
上記撮像装置において、例えば、前記撮像素子のぺデスタルレベルが前記所定値として設定される。

上記撮像装置において、例えば、前記露光制御部は、前記撮像素子の単位時間あたりの暗電流発生量をμdark.1sとし、前記筐体温度をθとし、前記アナログゲインをＡＧとし、前記撮像素子の出力信号を画素値に変換する際のコンバージョンゲインをＣＧとし、前記筐体温度が３０℃のときの１秒あたりの前記撮像素子の暗電流をＮｄ３０とし、暗電流倍化温度係数をＫｄとしたときに、μdark.1s＝ＣＧ×ＡＧ×Ｎｄ３０×２^{（θ―３０）／Ｋｄ}なる数式を用いて前記撮像素子の単位時間あたりの暗電流の発生量を算出する。

上記目的を達成するため、本発明の一態様に係る撮像方法は、一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより、前記複数回の露光に対応した複数のフレーム画像を取得し、前記複数のフレーム画像から一つの画像を生成する撮像方法であって、前記フレーム画像に含まれるノイズ成分を規定する当該撮像装置の特性量を取得し、前記特性量に基づき、前記複数回の露光のそれぞれにおける露光時間の上限値を取得し、前記上限値に従って前記複数回の露光を制御することにより前記複数のフレーム画像を発生させる第２段階と、前記複数のフレーム画像を前記一つの画像に合成する第３段階と、を含む撮像方法の構成を有する。

本発明の一態様によれば、画像処理の負担を抑制しつつ、画像のダイナミックレンジを改善することができる。

本発明の実施形態による撮像装置の構成の一例を示す図である。 本発明の実施形態による撮像装置の動作の流れの一例を示す図であり、本実施形態による撮像装置が実施する分割露光処理の一例を示すフローチャートである。 本発明の実施形態による撮像装置による分割露光を補足説明するための図であり、（Ａ）は、通常露光における露光時間と撮像素子の画素信号との関係を示し、（Ｂ）は、通常露光における撮像素子の画素信号と分割露光における撮像素子の画素信号とを示す図である。 本発明の実施形態による撮像装置の動作原理を説明するための説明図であり、分割露光における撮像素子の画素信号に含まれる信号成分と暗電流によるノイズ成分との関係を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１００の構成の一例を示す図である。
概略的には、撮像装置１００は、例えばデジタルスチールカメラであり、一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより、上記複数回の露光に対応した複数のフレーム画像を取得し、上記複数のフレーム画像から一つの画像を生成するように構成される。ただし、この例に限定されず、撮像装置１００は、静止画を撮像する撮像モードを有する装置であれば、どのような撮像装置であってもよく、例えば、静止画の撮像機能を有する動画撮像装置であってもよい。

以下では、一回の静止画の撮像につき所望の露光量が得られるまで複数回の露光を実施する露光形式を「分割露光」と称す。また、分割露光における複数回の露光のそれぞれを「分割単位露光」と称す。ただし、このような用語の定義は、説明の便宜のためのものであり、本発明の本質を限定するものではない。また、本実施形態では、バルブモードにおいて分割露光が実施されるものとするが、バルブモード以外の通常の撮像モードにおいて本実施形態による分割露光を実施することも可能である。

撮像装置１００は、レンズ１０１、絞り１０２、シャッタ１０３、撮像素子１０４、アナログ／デジタル（Ａ／Ｄ）変換器１０５、前処理部１０６、画像メモリ１０７、画像処理部１０８、画像記録部１０９、露光制御回路１１０、温度センサ１１１、特性量記憶部１１２、露光制御部１１３、画像合成部１１４を備えている。

撮像素子１０４に入射する入射光Ｌの光路に沿って、レンズ１０１、絞り１０２、シャッタ１０３が配置されている。撮像素子１０４は、ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子であり、入射光Ｌの光量に応じた電荷を発生させてアナログ量の画素信号Ｓを出力する。撮像素子１０４から出力された画素信号Ｓは、アナログ／デジタル変換器１０５に供給される。アナログ／デジタル変換器１０５は、画素信号Ｓをデジタル量の画素データ（画素値）Ｄに変換するための構成要素である。本実施形態では、アナログ／デジタル変換器１０５は、撮像素子１０４から出力される画素信号に対し、アンプ雑音等を除去するための相関２重サンプリング処理（ＣＤＳ処理）、アナログゲインコントロール（ＡＧＣ）処理等のアナログフロントエンドを含んでいる。

前処理部１０６は、画素データＤの前処理を施してＲＡＷ画像データＲＤを生成するための構成要素である。前処理部１０６での前処理には、ＯＢ(Optical Black)減算が含まれる。ＲＡＷ画像データＲＤは画像メモリ１０７に保持される。画像処理部１０８は、ＲＡＷ画像データＲＤに対し、ホワイトバランス補正処理、ベイヤー色補間処理（デモザイク処理）、色補正処理、ガンマ補正処理等の後処理を施すための構成要素である。上記の後処理が施されたＲＡＷ画像データは画像記録部１０９に格納される。

露光制御回路１１０は、露光制御部１１３の制御の下、絞り１０２、シャッタ１０３、撮像素子１０４のそれぞれを駆動制御するための構成要素である。バルブモードにおいて、露光制御回路１１０は、露光制御部１１３の制御の下、シャッタ１０３が開状態にある期間、撮像素子１０４の画素信号Ｓの読み出し動作を複数回行い、１回の読み出し動作につき１フレーム画像分の画素信号が読み出される。これにより、バルブモードにおいて分割露光が実施され、画素信号Ｓの読み出し回数に応じて、複数のフレーム画像の画素信号Ｓが読み出される。

このように、本実施形態では、分割露光はシャッタ１０３の開閉動作によるのではなく、シャッタ１０３が開状態にある期間において、１フレーム画像分の画素信号Ｓの読み出し動作を複数回繰り返すことによって分割露光が実施される。分割露光における画素信号Ｓの複数回の読み出し動作の時間間隔（周期）は、分割単位露光の露光時間を定める。以下では、分割単位露光の露光時間を「分割単位露光時間」と称す。分割露光を用いた撮像における最終的な露光時間は、分割単位露光時間を積算した値となる。

温度センサ１１１は、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の特性量の一つである撮像素子１０４の周囲温度を検出するための構成要素である。本実施形態では、温度センサ１１１は、撮像素子１０４の周囲温度として撮像装置１００の筐体温度θを検出する。ただし、この例に限定されず、撮像装置１００に備えられた撮像素子１０４の暗電流の発生量を算出することができることを限度として、温度センサ１１１は任意の部位の温度を検出してもよい。

特性量記憶部１１２は、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の各種の特性量に関する情報を格納するための構成要素である。本実施形態では、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の特性量は、上述の筐体温度θと、後述のＩＳＯ感度に応じて設定されるアナログゲインＡＧとに加えて、撮像素子１０４に固有の特性量を含む。これらの特性量のうち、撮像素子１０４に固有の特性量が特性量記憶部１１２に格納されている。具体的には、特性量記憶部１１２には、入射光Ｌにより誘起された電荷を画素信号Ｓに変換する際のコンバージョンゲインＣＧ[DN/e-]に関する情報と、周囲温度が３０℃での１秒（単位時間）あたりの暗電流発生量Ｎｄ３０[e-/sec]に関する情報と、暗電流倍化温度Ｋｄ[℃]に関する情報とが格納されている。以下では、説明の便宜上、周囲温度が３０℃での１秒（単位時間）あたりの暗電流発生量Ｎｄ３０を「基準暗電流発生量Ｎｄ３０」と称す。

特性量記憶部１１２に格納された情報によって示される特性量は、撮像素子１０４に固有の固定値であり、例えば撮像素子１０４の仕様に基づいて設定される。撮像素子１０４の個体差が大きい場合には、個々の撮像素子毎に実測された特性値を特性量記憶部１１２に格納してもよい。特に、基準暗電流発生量Ｎｄ３０には撮像素子１０４の個体差が顕著に反映される傾向があるため、基準暗電流発生量Ｎｄ３０の実測値から得られた情報を特性量記憶部１１２に格納しておくことが望ましい。

露光制御部１１３は、露光制御回路１１０を通じて、絞り１０２の絞り量と、シャッタ１０３の動作速度と、撮像素子１０４の読み出し動作と、画像メモリ１０７の動作を制御するための構成要素である。露光制御部１１３は、分割露光において、撮像素子１０４により撮像されたフレーム画像に含まれるノイズ成分を規定する撮像装置１００の上記の特性量を取得し、上記の特性量に基づき、分割単位露光における分割単位露光時間の上限値（後述の分割露光時間上限値Ｔｄｉｖ）を取得する機能を有している。

本実施形態では、露光制御部１１３は、上記のフレーム画像に含まれるノイズ成分を規定する撮像装置１００の特性量として、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の特性量（上述の筐体温度θ、コンバージョンゲインＣＧ、基準暗電流発生量Ｎｄ３０、暗電流倍化温度Ｋｄ、等々）に関する情報を取得する。また、露光制御部１１３は、分割露光において、上記の分割単位露光時間の上限値に従って複数回の分割単位露光を制御することにより複数のフレーム画像を発生させるための制御を実施する機能を有している。

画像合成部１１４は、画像メモリ１０７から複数のフレーム画像の画像データを読み出して、上記の複数のフレーム画像を一つの画像データに合成するための構成要素である。本実施形態では、画像合成部１１４は、画像メモリ１０７から読み出された複数のフレーム画像を一つの画像データに合成する。合成されたフレーム画像は、画像処理部１０８に供給され、ホワイトバランス補正処理等の後処理が施される。

次に、図２に示すフローチャートに沿って、本実施形態による撮像装置１００の動作を説明する。
図２は、本実施形態による撮像装置１００の動作の流れの一例を示す図であり、本実施形態による撮像装置１００が実施する分割露光処理の一例を示すフローチャートである。
ここでは、ユーザが撮像モードをバルブモードに設定して撮像する場合を例とし、分割露光に着目して撮像装置１００の動作を説明する。

露光制御部１１３は、撮像モードがバルブモードであるか否かを判定する（ステップＳ２０１）。撮像モードがバルブモードである場合（ステップＳ２０１；Ｙ）、次に説明するように、分割露光による撮像処理（ステップＳ２０２〜Ｓ２０８）が実施される。これに対し、撮像モードがバルブモードではなく、通常の撮像モードである場合（ステップ２０１；Ｎ）、通常露光時に決定される絞り量およびシャッタ速度に基づいて通常露光による撮像処理が実施される。このような通常露光による撮像処理は、本実施形態の特徴ではないので、その説明は省略する。ただし、通常露光による撮像モードで所定値以上の露光時間（例えば３０秒以上）が設定された場合においても、次に説明する分割露光による撮像処理を実施してもよい。

上述のステップＳ２０１において、撮像モードがバルブモードであると判定された場合（ステップＳ２０１；Ｙ）、露光制御部１１３は、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の特性量として、温度センサ１１１から筐体温度θに関する温度情報を取得する（ステップＳ２０２）。

続いて、露光制御部１１３は、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の特性量として、特性量記憶部１１２から、コンバージョンゲインＣＧに関する情報と、３０℃での１秒当たりの基準暗電流発生量Ｎｄ３０に関する情報と、暗電流倍化温度Ｋｄに関する情報とを取得する（ステップＳ２０３）。また、露光制御部１１３は、撮像素子１０４の暗電流の発生量を規定する撮像装置１００の特性量として、撮像装置１００のＩＳＯ感度の設定値からアナログゲインＡＧに関するゲイン情報を取得する（ステップＳ２０３）。

続いて、露光制御部１１３は、上記の５つの特性量を用いて、撮像素子１０４の１秒（単位時間）あたりの暗電流発生量μdark.1sを算出する。そして、露光制御部１１３は、暗電流発生量μdark.1sと後述の暗電流上限閾値Ｔｈとを用いて、分割単位露光における分割単位露光時間の上限値Ｔｄｉｖ（以下、「分割露光時間上限値Ｔｄｉｖ」と称す。）を算出する（ステップＳ２０４）。即ち、露光制御部１１３は、次の６つの量を用いて分割露光時間上限値Ｔｄｉｖを算出する。

（１）筐体温度θ[℃]
（２）基準暗電流発生量Ｎｄ３０[e-/sec]
（３）コンバージョンゲインＣＧ[DN/e-]
（４）暗電流倍化温度Ｋｄ[℃]
（５）アナログゲインＡＧ
（６）暗電流上限閾値Ｔｈ

ここで、前述したように、基準暗電流発生量Ｎｄ３０、コンバージョンゲインＣＧ、暗電流倍化温度Ｋｄは、撮像素子１０４に固有の量であり、固定値である。これに対し、アナログゲインＡＧは、撮像装置１００に設定されたＩＳＯ感度に応じた可変値である。ＩＳＯ感度の値はユーザによって指定された値であってもよく、撮像装置１００の露光制御部１１３が決定した値であってもよい。温度センサ１１１によって検出される筐体温度θも可変値である。

また、暗電流上限閾値Ｔｈは、分割単位露光において許容される撮像素子１０４の暗電流の発生量の上限値として設定される所定値であり、露光制御部１１３の記憶領域に予め格納されている。後述するように、暗電流上限閾値Ｔｈは、画像処理の負担と画像のダイナミックレンジの両方を考慮して適切に設定される。分割露光時間上限値Ｔｄｉｖは、分割単位露光が開始してから、撮像素子１０４の暗電流の積算量が暗電流上限閾値Ｔｈに達するまでの時間である。本実施形態では、撮像素子１０４のぺデスタルレベルが、暗電流上限閾値Ｔｈとして設定される。

分割露光時間上限値Ｔｄｉｖの算出方法を具体的に説明する。
１秒（単位時間）あたりの暗電流発生量μdark.1sは、コンバージョンゲインＣＧ、アナログゲインＡＧ、基準暗電流発生量Ｎｄ３０、筐体温度θ、暗電流倍化温度Ｋｄを用いて次式（１）から算出される。

μdark.1s=ＣＧ×ＡＧ×Ｎｄ３０×２^{（θ−３０）／Ｋｄ} …（１）

分割露光時間上限値Ｔｄｉｖは、分割単位露光が開始してから撮像素子１０４の暗電流の発生量が暗電流上限閾値Ｔｈに達するまでの露光時間であるから、分割露光時間上限値Ｔｄｉｖは、式（１）を用いて次式（２）により表される。

Ｔｄｉｖ=Ｔｈ／μdark.1s＝Ｔｈ／{ＣＧ×ＡＧ×Ｎｄ３０×２^{（θ−３０）／Ｋｄ}} …（２）

ここで、分割露光時間上限値Ｔｄｉｖが極端に小さくなると、分割単位露光の回数が過剰になるため、消費電力および処理時間が増加する。また、画像合成部１１４が画像メモリ１０７から１フレームずつフレーム画像を読み出して合成する合成処理を行う場合、１回の分割単位露光の期間内で１回の合成処理を完結しなければならないため、高速な画像処理が必要になる。従って、実用上は、過剰な回数の分割単位露光による画像処理の負荷を制限する必要があり、このため、分割露光時間上限値Ｔｄｉｖの下限値Ｔｍｉｎを設定することが望ましい。この場合、分割露光時間上限値Ｔｄｉｖは、次式（３）のように表される。

Ｔｄｉｖ＝ｍａｘ（Ｔｄｉｖ，Ｔｍｉｎ） …（３）

式（３）において、関数ｍａｘ（Ｔｄｉｖ，Ｔｍｉｎ）は、分割露光時間上限値Ｔｄｉｖと下限値Ｔｍｉｎとのうち、大きい方の値を表す。
なお、分割露光時間上限値Ｔｄｉｖを算出するための簡易的な手法として、ルックアップテーブルを用いる手法を用いることもできる。この場合、ルックアップテーブルには、各種の特性量の組み合わせに応じて上記算出手順に従って算出された複数の分割露光時間上限値Ｔｄｉｖが登録されている。このルックアップテーブルは、露光制御部１１３に保持される。露光制御部１１３は、撮像開始時に撮像装置１００の各種の上記の特性量に基づいてルックアップテーブルを参照することにより分割露光時間上限値Ｔｄｉｖの値を決定する。

このように、分割露光における分割単位露光の回数に影響する分割露光時間上限値Ｔｄｉｖは暗電流上限閾値Ｔｈに応じて設定されるので、分割単位露光の回数は暗電流上限閾値Ｔｈによって変わる。具体的には、暗電流上限閾値Ｔｈが小さくなる程、分割単位露光の回数が増加し、逆に、暗電流上限閾値Ｔｈが大きくなる程、分割単位露光の回数が減少する。分割単位露光の回数が増加すると、画像処理の負担が増え、逆に、分割単位露光の回数が減少すると、画像のダイナミックレンジの改善効果が低下する。従って、暗電流上限閾値Ｔｈは、画像処理の負担と画像のダイナミックレンジの改善効果との両方を勘案して適切に設定される。

説明を図２のフローチャートに戻す。
露光制御部１１３は、上述したステップＳ２０４において算出された分割露光時間上限値Ｔｄｉｖに従い、分割露光に関する処理を実施する（ステップＳ２０５）。この分割露光により、複数のフレーム画像が生成される。

ここで、図３を参照して、分割露光を補足説明する。
図３は、本発明の実施形態による撮像装置１００による分割露光の概念を補足説明するための図である。ここで、図３（Ａ）は、通常露光における露光時間Ｔｅｘｐと撮像素子１０４の画素信号Ｓの信号レベルとの関係を示し、図３（Ｂ）は、通常露光における撮像素子１０４の画素信号Ｓの信号レベルと分割露光における撮像素子１０４の画素信号Ｓの信号レベルとの関係を示している。図３（Ａ）および図３（Ｂ）において、斜線部は、撮像素子１０４の暗電流によるノイズ成分を示し、Ｓｍａｘは、撮像素子１０４の画素信号Ｓの最大階調値を表している。図３（Ｂ）に示す通常露光における画素信号Ｓの信号レベルは、図３（Ａ）において例えば露光時間Ｔｅｘｐを時間Ｔ１としたときの画素信号Ｓの信号レベルに対応している。

図３（Ａ）に示すように、通常露光では、露光時間Ｔｅｘｐの増加に伴って、斜線により示される暗電流によるノイズ成分が増加する。露光時間Ｔｅｘｐが長くなると、撮像素子１０４の暗電流によるノイズ成分により画素信号Ｓの信号成分が浸食される。このため、画像が劣化する。さらに露光時間Ｔｅｘｐが長くなると、撮像素子１０４の暗電流により画素信号Ｓの信号レベルは最大階調値に到達し、信号成分が消失する。

これに対し、分割露光では、図３（Ｂ）に示すように、分割単位露光を複数回行うことにより、暗電流によるノイズ成分を一定に抑制する。図３（Ｂ）の例では、３回の分割単位露光が行われている。１回の分割単位露光における露光時間は上述の分割露光時間上限値Ｔｄｉｖで制限される。このため、例えば分割露光時間上限値Ｔｄｉｖを１秒とし、３秒の長時間露光を行う場合、本実施形態の分割露光によれば、１秒の分割単位露光が３回繰り返される。このように、本実施形態では、分割単位露光の露光時間の積算値が所望の露光時間に達するまで、分割単位露光が繰り返される。

分割露光によれば、露光時間が分割露光時間上限値Ｔｄｉｖに到達した時点で１回の分割単位露光が終了するため、１回あたりの露光時間が制限され、撮像素子１０４の暗電流の発生量が抑えられる。このことは暗電流に起因したノイズ成分による信号成分の浸食が抑えられること、即ち、ダイナミックレンジの劣化が抑制されることを意味する。分割露光により１回の露光時間が短くなれば信号成分（ノイズ以外の成分）も小さくなるが、複数回の分割単位露光により得られる各信号成分を合成することにより、信号成分を増やすことができる。

ここで、上述のステップ２０５における分割露光に関する撮像装置１００の動作を詳細に説明する。
バルブモードにおいてシャッタが開かれると、ステップＳ２０５において、露光制御部１１３の制御の下、分割露光が開始される。そして、露光制御部１１３の制御の下、分割露光が開始してから分割露光時間上限値Ｔｄｉｖが経過した時点で撮像素子１０４からの画素信号Ｓの読み出し動作が実施される。撮像素子１０４から読み出された画素信号Ｓはアナログ／デジタル変換器１０５により画素データＤにアナログ／デジタル変換される。画素データＤは、前処理部１０６によりＲＡＷ画像データＲＤに変換される。ＲＡＷ画像データＲＤは画像メモリ１０７に保持される。

上述の撮像素子１０４からの画素信号Ｓの読み出し処理と、アナログ／デジタル変換器１０５によるＡ／Ｄ変換処理と、前処理部１０６による前処理と、画像メモリ１０７へのＲＡＷ画像データＲＤの保持処理が実施されることにより、１回分の分割単位露光が実施される。

前述のように、本実施形態では、撮像素子１０４のぺデスタルレベルが暗電流上限閾値Ｔｈとして設定されているので、分割単位露光における撮像素子１０４の暗電流の発生量がぺデスタルレベルに到達した時点で１回の分割単位露光が終了される。この後、分割単位露光時間の積算値が所望の露光時間に達するまで、即ちバルブモードによる露光が終了するまで、分割単位露光が繰り返し実施され、複数回の分割単位露光に対応した複数のフレーム画像（複数のＲＡＷ画像データ）が生成される。図３（Ｂ）の例では、３回の分割単位露光に対応する３つのフレーム画像が生成される。

なお、例えば画像メモリ１０７の記憶容量の制限などにより、複数のフレーム画像を保持するための記憶領域を画像メモリ１０７に確保できない場合、１つのフレーム画像が画像メモリ１０７に保持されるたびに、画像合成部１１４が、画像メモリ１０７からフレーム画像の読み出しを行って画像合成を実施してもよい。これにより、画像メモリ１０７のフレーム画像の記憶領域は１フレーム分で足りる。

図４を参照して、分割露光により撮像素子１０４の暗電流に起因したノイズ成分が抑制される原理を説明する。
図４は、本発明の実施形態による撮像装置１００の動作原理を説明するための説明図であり、上述した分割露光における撮像素子１０４の画素信号Ｓに含まれる信号成分と暗電流によるノイズ成分との関係を示す図である。

本実施形態では、撮像素子１０４のぺデスタルレベルを暗電流上限閾値Ｔｈに設定しているため、暗電流発生量を必要最小限に抑えることができる。このため、撮像素子１０４の暗電流に起因したノイズ成分を抑制しつつ、信号領域を有効に確保することができる。ただし、１回の分割単位露光は、撮像素子１０４のぺデスタルレベル（即ち、暗電流上限閾値Ｔｈ）に応じた分割単位露光時間で制限されるので、１回の分割単位露光で得られる信号成分も制限される。そこで、本実施形態では、１回のバルブモード撮像において複数回の分割単位露光を実施することにより、必要な信号成分を確保している。

図４において、実線は撮像素子１０４の画素信号Ｓの信号レベルを表し、点線は撮像素子１０４の暗電流によるノイズ成分を表している。図４に示すように、時刻ｔ０で分割露光が開始すると、時間（ｔ）の経過に伴って撮像素子１０４に誘起される電荷量が増加し、この電荷量の増加に伴って画素信号Ｓの信号レベルが増加する。このとき、画素信号Ｓに含まれるノイズ成分も増加する。図４の例では、撮像素子１０４の暗電流の発生量が暗電流上限閾値Ｔｈに到達する時刻ｔ１で、露光時間（分割単位露光時間）が分割露光時間上限値Ｔｄｉｖに到達して１回目の分割単位露光が終了している。なお、時刻ｔ１で２回目の分割単位露光が開始する際に撮像素子１０４の初期化が実施され、それまでに誘起された全電荷が消去される。時刻ｔ０，ｔ２，ｔ３においても同様の初期化が実施される。

説明を図３のフローに戻す。
画像合成部１１４は、画像メモリ１０７に格納された複数のフレーム画像を一つのフレーム画像（ＲＡＷ画像）に合成する（ステップＳ２０６）。ここで、分割露光により、十分な信号成分が確保されているため、上記複数のフレーム画像を合成する結果、フレーム画像の信号成分が増加する。即ち、フレーム画像のダイナミックレンジが改善される。

画像処理部１０８は、上述の画像合成部１１４によって合成されたフレーム画像の画像データに対して後処理としての画像処理を施す（ステップＳ２０７）。そして、画像処理部１０８は、後処理が施された画像データを画像記録部１０９に記録する（ステップＳ２０８）。

本実施形態によれば、筐体温度およびＩＳＯ感度に応じて分割露光における各分割単位露光の露光時間を最適化することができる。このため、画像処理の負担を抑制しつつ、画像のダイナミックレンジを改善することができ、バルブモードでの長時間露光撮影において良好な画質を得ることが可能となる。

また、本実施形態によれば、画像処理において、筐体温度θおよびＩＳＯ感度に応じて撮像素子１０４の暗電流の発生量が変化しても、その暗電流の発生量の変化に応じて適応的に分割露光時間上限値Ｔｄｉｖを設定することができる。このため、筐体温度θおよびＩＳＯ感度に応じて、バルブモードでの長時間露光撮影において最適な分割露光を行うことが可能となる。

更に、本実施形態によれば、分割単位露光の回数が過剰に設定されないので、撮像素子１０４の画素信号の読み出し動作の頻度が抑制される。このため、撮像素子１０４の画素信号の読み出し動作に伴うリードアウトノイズの発生を抑制することができ、リードアウトノイズに起因して画素信号Ｓに含まれるノイズ成分を抑制することができる。

上述した本発明の実施形態では、本発明の一態様を撮像装置１００として表現したが、本発明の一態様を撮像方法として表現することもできる。この場合、本発明の一態様による撮像方法は、一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより、前記複数回の露光に対応した複数のフレーム画像を取得し、前記複数のフレーム画像から一つの画像を生成する撮像方法であって、前記フレーム画像に含まれるノイズ成分を規定する当該撮像装置の特性量を取得し、前記特性量に基づき、前記複数回の露光のそれぞれにおける露光時間の上限値を取得し、前記上限値に従って前記複数回の露光を制御することにより前記複数のフレーム画像を発生させる第２段階と、前記複数のフレーム画像を前記一つの画像に合成する第３段階と、を含む撮像方法として表現することができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で任意の変形や修正が可能である。
例えば、上述した実施形態では、オフセットレベルの減算を前処理部１０６でのＯＢ減算により実施するものとしたが、ＯＢ減算に代えてダークフレーム減算により実施してもよい。

また、上述した実施形態では、露光制御部１１３は、温度センサ１１１から得られる筐体温度θとＩＳＯ感度に対応したアナログゲインＡＧの両方を取得するものとしたが、例えば、撮像素子１０４の暗電流の温度依存性が小さい場合、筐体温度θを固定値とし、上述の式（２）における変数θに関する情報を固定値として特性量記憶部１１２に格納してもよい。また、例えば、ＩＳＯ感度が好感度に固定された用途では、ＩＳＯ感度に対応するアナログゲインＡＧに関する情報を特性量記憶部１１２に格納してもよい。

また、上述の実施形態では、分割露光時間上限値Ｔｄｉｖを一定としたが、分割単位露光ごとに分割露光時間上限値Ｔｄｉｖを変化させてもよい。例えば、分割単位露光の露光時間の積算値が所望の露光時間に達したことにより、最後の分割単位露光が途中で終了した場合、この最後の分割単位露光における露光時間に合わせて、分割露光時間上限値Ｔｄｉｖを減少させてもよい。これにより、最後の分割単位露光において発生した暗電流に起因するノイズ成分の抑圧を適正化することができる。

１００…撮像装置、１０１…レンズ、１０２…絞り、１０３…シャッタ、１０４…撮像素子、１０５…アナログ／デジタル変換器、１０６…前処理部、１０７…画像メモリ、１０８…画像処理部、１０９…画像記録部、１１０…露光制御回路、１１１…温度センサ、１１２…特性量記憶部、１１３…露光制御部、１１４…画像合成部、Ｓ２０１〜Ｓ２０８…処理ステップ。

Claims (6)

1. 一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより前記複数回の露光に対応した複数のフレーム画像を取得し、前記複数のフレーム画像から一つの画像を生成する撮像装置であって、
   前記フレーム画像に含まれるノイズ成分を規定する当該撮像装置の特性量を取得し、前記特性量に基づき、前記複数回の露光のそれぞれにおける露光時間の上限値を取得し、前記上限値に従って前記複数回の露光を制御することにより前記複数のフレーム画像を発生させる露光制御部と、
   前記複数のフレーム画像を前記一つの画像に合成する画像合成部と、
   を備えた撮像装置。
2. 前記露光制御部は、
   前記特性量を用いて撮像素子の単位時間あたりの暗電流を取得し、前記単位時間あたりの暗電流を用いて、前記複数回の露光のそれぞれにおける前記撮像素子の暗電流の積算量が所定値に到達するのに要する時間を算出し、前記積算量が前記所定値に到達するのに要する時間を前記上限値として取得する、請求項１に記載の撮像装置。
3. 前記露光制御部は、
   前記特性量として、少なくとも、当該撮像装置の筐体温度と、ＩＳＯ感度に対応したアナログゲインとを取得する、請求項２に記載の撮像装置。
4. 前記撮像素子のぺデスタルレベルが前記所定値として設定された、請求項３に記載の撮像装置。
5. 前記露光制御部は、
   前記撮像素子の単位時間あたりの暗電流発生量をμdark.1sとし、前記筐体温度をθとし、前記アナログゲインをＡＧとし、前記撮像素子の出力信号を画素値に変換する際のコンバージョンゲインをＣＧとし、前記筐体温度が３０℃のときの１秒あたりの前記撮像素子の暗電流発生量をＮｄ３０とし、暗電流倍化温度係数をＫｄとしたときに、
   μdark.1s＝ＣＧ×ＡＧ×Ｎｄ３０×２^{（θ―３０）／Ｋｄ}
   なる数式を用いて前記撮像素子の単位時間あたりの暗電流の発生量を算出する、請求項４に記載の撮像装置。
6. 一回の撮像につき所望の露光量が得られるまで複数回の露光を実施することにより、前記複数回の露光に対応した複数のフレーム画像を取得し、前記複数のフレーム画像から一つの画像を生成する撮像方法であって、
   前記フレーム画像に含まれるノイズ成分を規定する当該撮像装置の特性量を取得し、前記特性量に基づき、前記複数回の露光のそれぞれにおける露光時間の上限値を取得し、前記上限値に従って前記複数回の露光を制御することにより前記複数のフレーム画像を発生させる第２段階と、
   前記複数のフレーム画像を前記一つの画像に合成する第３段階と、
   を含む撮像方法。

Images