JP2015037222A - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】暗電流により発生するノイズの影響を低減したＨＤＲ画像を生成する【解決手段】画像処理装置は、複数の画像を撮影した撮像素子における撮影時の暗電流の発生量を推定し、推定した暗電流の発生量に基づいて、階調範囲を拡張した画像の生成における複数の画像の合成比率を決定する。そして画像処理装置は、決定した合成比率に基づいて複数の画像を合成し、階調範囲を拡張した画像を生成する。【選択図】図２

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に暗電流の発生による画質劣化を低減する技術に関する。

近年、複数の異なる露出設定で撮影した画像を合成することで、階調範囲（ダイナミックレンジ）を広げた画像を撮影する、所謂ＨＤＲ撮影機能を有する撮像装置がある。該機能により、通常であれば高階調領域が再現されない「白とび」や低階調領域が再現されない「黒つぶれ」が発生するシーンであっても、適した露出設定で撮影した画像がこのような領域に使用されるため、階調範囲を拡張した合成画像を得ることができる。

ところで、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子では、転送路に暗電流電荷が残存する場合、信号読み出しにおいて暗電流に起因したノイズが画像信号に発生する。暗電流の発生量は露光時間に伴い増加するため、ＨＤＲ撮影のように露光時間が長い画像を撮影する場合は得られる画像に暗電流による画質劣化が生じる可能性がある。

特許文献１には、撮像素子に高感度撮影用と低感度撮影用の光電変換素子とを設け、信号読み出しに先立って暗電流電荷の掃出しを行った後、高感度素子→低感度素子と連続で読み出しを行うことで、ＨＤＲ画像の暗電流ノイズを低減する方法が開示されている。

特開２００５−０１２４３７号公報

しかしながら、特許文献１の方法は特殊な撮像素子の構造に依存するものであり、通常の撮像素子を用いて複数回の露出を行ってＨＤＲ画像用の画像を取得する方法では、都度掃出し動作を行う必要があり、撮影時間が長期化する可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、暗電流により発生するノイズの影響を低減したＨＤＲ画像を生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、各々が異なる露出設定で撮影された複数の画像を取得する取得手段と、取得手段により取得された複数の画像を撮影した撮像素子における撮影時の暗電流の発生量を推定する推定手段と、推定手段により推定された暗電流の発生量に基づいて、階調範囲を拡張した画像の生成における複数の画像の合成比率を決定する決定手段と、決定手段により決定された合成比率に基づいて複数の画像を合成し、階調範囲を拡張した画像を生成する生成手段と、を有することを特徴とする。

このような構成により本発明によれば、暗電流により発生するノイズの影響を低減したＨＤＲ画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態１に係るデジタルカメラ１００において実行されるＨＤＲ撮影処理を例示したフローチャート アベレージキー及びローキーの画像を説明するための図 本発明の実施形態１に係るＨＤＲ画像生成における合成比率を示した図 本発明の実施形態に係る暗電流が発生する状況で撮影された合成用の画像を例示した図 本発明の実施形態２に係るデジタルカメラ１００において実行されるＨＤＲ撮影処理を例示したフローチャート 本発明の実施形態２に係るＨＤＲ画像生成における合成比率を示した図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、ＨＤＲ撮影機能を有するデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、露出量を異ならせて撮影された複数の画像を合成して階調範囲を拡張した画像を生成することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵである。制御部１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えば各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要となるパラメータ等を記憶する。ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する撮像ユニットである。撮像部１０４は、不図示の光学系により撮像面に結像された光学像を光電変換し、アナログ画像信号を取得する。また撮像部１０４は、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタルの画像データを出力する。

画像処理部１０５は、撮像部１０４から出力された画像あるいは記録媒体１０７から読み出された画像に対して画素補間、リサイズ、色変換等の種々の画像処理を適用する。また本実施形態では画像処理部１０５は、撮像された画像を解析することで撮像されたシーンの解析も行う。

測光部１０６は、例えば画像処理部１０５により生成された、撮像画像に対応する輝度画像に基づき、撮影シーンの測光を行う。本実施形態では測光部１０６は、測光結果に基づき、撮影シーンについての適正露出量を決定し、出力する。このように、撮像により得られた画像について露出設定が決定されて露出制御されることで、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理が実現される。なお、撮像画像は露出演算に限らず測距演算に利用され、ＴＴＬ方式のＡＦ（オートフォーカス）処理が実現されてもよい。また露出演算の結果は、例えば画像処理部１０５におけるＡＷＢ（オートホワイトバランス調整）処理に利用されてもよい。

顔検出部１０９は、撮像された画像に人物の顔画像が含まれるか否かを判断する。具体的には、顔検出部１０９は撮像画像に対して水平方向及び垂直方向のバンドパスフィルタを適用することで画像データのエッジ成分を抽出し、該エッジ成分の画像から人物の顔の特徴に合致する領域を検出する。本実施形態では顔検出部１０９は、単に画像内の人物顔に対応する領域を検出するものとして説明するが、予め登録された人物であるか否かを判断する顔認識処理を行うものであってもよい。

記録媒体１０７は、例えば内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１０７は、ユーザにより撮影指示がなされた場合に、撮影により得られた画像を記録する。

表示部１０８は、例えばＬＣＤ等の表示装置である。表示部１０８は、撮像部１０４により出力された撮像画像がＤ／Ａ変換されて入力されることで、電子ビューファインダとして機能する。

《ＨＤＲ撮影処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行されるＨＤＲ撮影処理について、図２のフローチャートを用いて具体的な処理を説明する。なお、本ＨＤＲ撮影処理は、例えばデジタルカメラ１００において階調範囲を拡張した画像を撮影するＨＤＲ撮影モードが設定されて起動された際に開始されるものとして説明する。また、本実施形態のＨＤＲ撮影処理では適正露出で撮影した画像（適正露光画像）、適正露出よりも低い露出量で撮影した画像（短秒露光画像）、及び適正露出よりも高い露出量で撮影した画像（長秒露光画像）の３つの画像がＨＤＲ画像の生成に用いられる。

Ｓ２０１で、制御部１０１は、適正露光画像を取得してＲＡＭ１０３に格納する。具体的には制御部１０１は、測光部１０６により決定された適正露出の露出量に基づいて撮像部１０４に撮影を行わせ、適正露光画像を取得する。

Ｓ２０２で、制御部１０１は、短秒露光画像を取得してＲＡＭ１０３に格納する。具体的には制御部１０１は、適正露出の露出量よりも低い露出量に基づいて撮像部１０４に撮影を行わせ、短秒露光画像を取得する。なお、短秒露光画像の露出量は、撮影範囲の高輝度被写体が適正露出となるように決定されてもよいし、単に適正露出から所定の段階低い露出量が決定される構成であってもよい。

Ｓ２０３で、制御部１０１は、長秒露光画像を取得してＲＡＭ１０３に格納する。具体的には制御部１０１は、適正露出の露出量よりも高い露出量に基づいて撮像部１０４に撮影を行わせ、長秒露光画像を取得する。なお、長秒露光画像の露出量は、撮影範囲の低輝度被写体が適正露出となるように決定されてもよいし、単に適正露出から所定の段階高い露出量が決定される構成であってもよい。

Ｓ２０４で、制御部１０１は、画像処理部１０５に実行させるＨＤＲ画像の生成における各画像の合成比率を決定する。合成比率は、適正露出画像における例えば明度等の画素レベルに応じて決定される。

〈ＨＤＲ画像の合成比率〉
ここで、本ステップにおいて実行されるＨＤＲ画像の生成における、適正露光画像、短秒露光画像、及び長秒露光画像の各々の合成比率について説明する。

上述したように、撮像部１０４の撮像素子からの読み出し時に、画像信号は暗電流の発生による影響を受ける。暗電流の発生量は、撮影時の露光時間、撮像素子の温度に応じて変化する。具体的には、露光時間が長くなるほど、撮像素子の温度が高くなるほど、暗電流の発生量が増加する。また撮像素子の感度設定が高いほど、撮影により得られた画像信号に対して適用されるゲインが大きくなるため、暗電流により発生するノイズが増幅される。

即ち、デジタルカメラ１００の使用状況により変化する撮像素子の温度のパラメータを除外すれば、露光時間が長く、撮像素子の感度設定が高めに設定されうる状況ほど、得られた画像は暗電流の発生による影響を受ける。

例えば、適正露光画像が図３（ａ）に示す明度ヒストグラム（明度分布）のように中間明度に属する画素の頻度が高い、所謂アベレージキーの画像である場合、長秒露光画像に対して設定される露出量は比較的低く設定され、暗電流による影響が小さいと推定される。このため、例えば図４に示される合成比率パターンＡのようにトーンマッピング後に予め定められた最も低い画素レベルの範囲に含まれる画素については長秒露光画像の画素がＨＤＲ画像の合成において使用するように合成比率が決定される。また予め定められた最も高い画素レベルの範囲に含まれる画素については短秒露光画像の画素を、中間レベル範囲に含まれる画素については適正露光画像の画素を使用するように合成比率が決定される。また最も低い画素レベルの範囲と中間レベル範囲との間に当たる範囲では、パターンＡに示されるように長秒露光画像と適正露光画像とが合成比率に応じて例えば加算合成される。また最も高い画素レベルの範囲と中間レベル範囲との間に当たる範囲では、短秒露光画像と適正露光画像とが合成比率に応じて加算合成される。

また例えば、適正露光画像が図３（ｂ）に示す明度ヒストグラムのように低明度に属する画素の頻度が高い、所謂ローキーの画像である場合、長秒露光画像に対して設定される露出量は比較的高く設定され、暗電流による影響が高いと推定される。このため、例えば図４に示される合成比率パターンＢ、Ｘ、Ｙのように、暗電流の発生量に応じて長秒露光画像の合成比率を低減させてＨＤＲ画像の生成を行う。即ち、図５に示されるような暗電流による影響が長秒露光画像において目立つため、予め定められた最も低い画素レベルの範囲に含まれる画素について長秒露光画像の合成比率を低減させ、代わりに短秒露光画像（あるいは適正露光画像またはその両方）を合成する。このようにすることで、表現される階調範囲は低減するが、暗電流による影響で画質が低減することを回避したＨＤＲ画像を得ることができる。

Ｓ２０５で、画像処理部１０５は制御部１０１の制御の下、Ｓ２０４において決定された合成比率に応じて適正露光画像、長秒露光画像、及び短秒露光画像を合成し、ＨＤＲ画像を生成する。

Ｓ２０６で、制御部１０１は、画像処理部１０５により生成されたＨＤＲ画像を記録媒体１０７に伝送して記録し、本ＨＤＲ撮影処理を完了する。

以上説明したように、本実施形態の画像処理装置は、暗電流により発生するノイズの影響を低減し、階調範囲を拡張した画像を生成することができる。具体的には画像処理装置は、複数の画像を撮影した撮像素子における撮影時の暗電流の発生量を推定し、推定した暗電流の発生量に基づいて、階調範囲を拡張した画像の生成における複数の画像の合成比率を決定する。そして画像処理装置は、決定した合成比率に基づいて複数の画像を合成し、階調範囲を拡張した画像を生成する。

［実施形態２］
上述した実施形態では、暗電流の発生量に応じて長秒露光画像の合成比率を低減させるものとして説明した。本実施形態ではさらに、ＨＤＲ画像の生成において、暗電流による影響を受けた長秒露光画像が使用される画素の被写体の重要度に応じて合成比率の決定を制御する方法について説明する。

なお、本実施形態では上述の実施形態１と同様の機能構成を有するデジタルカメラ１００について説明するため、デジタルカメラ１００が有する各ブロックの機能構成については説明を省略する。

《ＨＤＲ撮影処理》
以下、本実施形態のデジタルカメラ１００において実行されるＨＤＲ撮影処理について、図６のフローチャートを用いて詳細を説明する。なお、本実施形態のＨＤＲ撮影処理の説明において、上述した実施形態と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態の特徴的な処理についてのみ説明する。

Ｓ２０３において長秒露光画像が取得された後、制御部１０１はＳ６０１で、現在の撮影シーンがＨＤＲ画像の生成において重要度の高い被写体に長秒露光画像が使用されうるシーンであるか否かを判断する。本実施形態では該当のシーンとして、逆光かつ人物を撮影するシーンを例に説明する。しかしながら、本発明の実施はこれに限られるものではなく、ＨＤＲ画像の生成において重要度の被写体に長秒露光画像が使用されうるとして定められるシーンは、例えばユーザによって設定される等、変更可能である。

逆光かつ人物を撮影するシーンでは、主被写体は前景にいる人物であることが推定される。即ち、主被写体である人物について暗電流の影響による画質劣化が生じることは撮影者にとって好ましい状況ではない。このため、本実施形態では制御部１０１は、画像処理部１０５によるシーン解析の結果が逆光シーンで、かつ顔検出部１０９により撮影範囲に人物の顔画像が検出されているかを判断する。

制御部１０１は、現在の撮影シーンがＨＤＲ画像の生成において重要度の高い被写体に長秒露光画像が使用されうるシーンであると判断した場合は処理をＳ６０２に移し、そうではないと判断した場合は処理をＳ６０３に移す。

Ｓ６０２で、制御部１０１は、暗電流の発生量を考慮して画像処理部１０５に実行させるＨＤＲ画像の生成における各画像の合成比率を決定する。本ステップで決定される合成比率は、図７（ｂ）に示されるように低い画素レベルの範囲において長秒露光画像の合成比率が低減され、代わりに他の画像を合成するように合成比率が決定されるものであってよい。

一方、Ｓ６０１における判断結果が、現在の撮影シーンが重要度の高い被写体に長秒露光画像が使用されうるシーンではないとの結果である場合、制御部１０１はＳ６０３で、暗電流の発生量を考慮せずにＨＤＲ画像の生成における各画像の合成比率を決定する。本ステップで決定される合成比率は、図７（ａ）のような基準（実施形態１の合成比率パターンＡと同様）に基づいて決定されてよい。

このように、本実施形態では被写体の重要度に応じて、該被写体に対して暗電流の発生による画質劣化を低減したＨＤＲ画像を生成することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 各々が異なる露出設定で撮影された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像を撮影した撮像素子における撮影時の暗電流の発生量を推定する推定手段と、
   前記推定手段により推定された前記暗電流の発生量に基づいて、階調範囲を拡張した画像の生成における前記複数の画像の合成比率を決定する決定手段と、
   前記決定手段により決定された合成比率に基づいて前記複数の画像を合成し、前記階調範囲を拡張した画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記暗電流の発生量が多いほど、予め定められた低い画素レベルの範囲における前記複数の画像のうちの露出量が最も高く設定されて得られた画像の合成比率を低減させることを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記複数の画像を撮影した際の露光時間、撮像素子の温度、及び感度設定をさらに取得し、
   前記推定手段は、前記複数の画像を撮影した際の露光時間、撮像素子の温度、感度設定に基づいて前記暗電流の発生量を推定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記暗電流の発生量と前記複数の画像の明度分布とに応じて合成比率を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段による前記階調範囲を拡張した画像の生成において、前記複数の画像に含まれる重要度の高い被写体に対して前記複数の画像のうちの露出量が最も高く設定されて得られた画像の画素が使用されるか否かを判断する判断手段をさらに有し、
   前記決定手段は、前記判断手段による判断結果に応じて合成比率を決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 異なる露出設定で複数の画像を撮影する撮影手段と、
   前記撮影手段により取得された複数の画像を撮影した撮像素子における撮影時の暗電流の発生量を推定する推定手段と、
   前記推定手段により推定された前記暗電流の発生量に基づいて、階調範囲を拡張した画像の生成における前記複数の画像の合成比率を決定する決定手段と、
   前記決定手段により決定された合成比率に基づいて前記複数の画像を合成し、前記階調範囲を拡張した画像を生成する生成手段と、
   を有することを特徴とする撮像装置。
7. 画像処理装置の取得手段が、各々が異なる露出設定で撮影された複数の画像を取得する取得工程と、
   前記画像処理装置の推定手段が、前記取得工程において取得された複数の画像を撮影した撮像素子における撮影時の暗電流の発生量を推定する推定工程と、
   前記画像処理装置の決定手段が、前記推定工程において推定された前記暗電流の発生量に基づいて、階調範囲を拡張した画像の生成における前記複数の画像の合成比率を決定する決定工程と、
   前記画像処理装置の生成手段が、前記決定工程において決定された合成比率に基づいて前記複数の画像を合成し、前記階調範囲を拡張した画像を生成する生成工程と、
   を有することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。