JP2009276956A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】画像の階調性を向上させるに際し、とくに暗部の再現性を向上させる。
【解決手段】ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、最も露出が低い第１の画像以外の他の画像の明るさを第１の画像の明るさに合わせるように補正するとともに、ｍビットからｎビット（ｎ＞ｍ）にビット拡張することにより露出調整処理を行う。そして、ビット拡張された画像を合成してｎビットの合成画像ＧＭの画像データを出力する。
【選択図】図３

Description

本発明は、画像の階調性を向上させる画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

通常、デジタルカメラ等の撮影装置においては、撮影により撮像素子から出力された撮像信号に対して、ホワイトバランス補正処理、階調変換処理、シェーディング補正処理および露出補正処理等の各種信号処理を行うことにより、出力される画像の画質を向上させている。しかしながら、撮像信号に対しては各種信号処理によりゲインがかかるために、分解能が低下してしまうことから、出力される画像の分解能よりも信号処理される画像の分解能を高くする必要がある。このため、撮影装置においては、８ビットの階調を有する画像を出力するために、撮像素子から出力されるアナログ撮像信号に対して、例えば１２ビットまたは１４ビットというように、８ビット以上の分解能によりＡ／Ｄ変換を行って、デジタルの撮像信号を取得するようにしている。

しかしながら、信号処理される画像のビット数はＡ／Ｄ変換の分解能により制限されてしまうため、Ａ／Ｄ変換の分解能以上のビット精度により信号処理を行うことができない。この場合、Ａ／Ｄ変換の分解能を向上させることが考えられるが、Ａ／Ｄ変換の分解能を向上させると、Ａ／Ｄ変換を行うための回路のコスト、ひいては装置のコストが上昇する。

このため、高感度の信号および低感度の信号を取得可能な撮像素子を使用し、明るさが所定のしきい値以上となる画素については低感度の信号を使用するようにしたシステムが提案されている（特許文献１参照）。特許文献１に記載されたシステムによれば、とくにハイライト側の階調の良好な繋がりを実現することができる。
特開２００１−８１０４号公報

しかしながら、上記特許文献１に記載されたシステムにおいては、ハイライト側の階調の再現性を良好なものとすることができるものの、暗部の階調の再現性を改善することができない。ここで、撮影装置において行われる階調変換処理は、図８に示すように暗部の変化率が大きいため、暗部の階調が再現されていないと、出力される画像に黒つぶれが生じやすくなってしまう。

本発明は、上記事情に鑑みなされたものであり、画像の階調性を向上させるに際し、とくに暗部の再現性を向上させることを目的とする。

本発明による画像処理装置は、露出が異なる複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行う露出調整手段と、
該露出調整処理が行われた複数の画像を合成して合成画像を生成する合成手段とを備えたことを特徴とするものである。

なお、本発明による画像処理装置においては、前記露出調整手段を、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように補正するとともにビット拡張することにより、前記露出調整処理を行う手段とし、
前記合成手段を、前記第１の画像における前記他の画像に相当する情報を前記露出調整処理が行われた他の画像の情報と置換することにより前記合成画像を生成する手段としてもよい。

また、本発明による画像処理装置においては、前記露出調整手段を、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように前記複数の画像に対してビット拡張しつつゲイン処理を行い、該ゲイン処理後の複数の画像の重複を回避するオフセット処理を行うことにより、前記露出調整処理を行う手段とし、
前記合成手段を、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段としてもよい。

この場合、前記露出調整手段を、前記複数の画像のそれぞれの明るさを入力とし、前記ゲイン処理および前記オフセット処理後の明るさを出力とするテーブルを参照することにより、前記ゲイン処理および前記オフセット処理を行う手段としてもよい。

またこの場合、前記テーブルを、前記合成画像における前記複数の画像のそれぞれの明るさの飽和部分が漸次変化するように前記ゲイン処理および前記オフセット処理を行うテーブルとしてもよい。

また、本発明による画像処理装置においては、前記露出調整手段を、前記複数の画像における飽和部分の明るさが漸次変化するとともに、前記複数の画像の重複を回避するオフセット処理を行うように前記複数の画像をテーブルにより変換し、該変換された複数の画像に対してビット拡張しつつゲイン処理を行うことにより、前記露出調整処理を行う手段とし、
前記合成手段を、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段としてもよい。

また、本発明による画像処理装置においては、前記露出調整手段を、前記複数の画像に対して順次前記露出調整処理を行う手段とし、
前記合成手段を、前記露出調整処理が行われた各画像を順次合成する手段としてもよい。

また、本発明による画像処理装置においては、前記画像取得手段を、撮影により画像を取得する撮影手段と、
前記同一シーンに対して、露出を異ならせた複数回の撮影を行うことにより前記複数の画像を取得するよう前記撮影手段を制御する撮影制御手段とを備えるものとしてもよい。

本発明による画像処理方法は、露出が異なる複数の画像を取得し、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行い、
該露出調整処理が行われた複数の画像を合成して合成画像を生成することを特徴とするものである。

なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、露出が異なる複数の画像が取得され、複数の画像のそれぞれをビット拡張しつつ、複数の画像のうち最も露出が低い第１の画像に複数の画像の露出を合わせる露出調整処理が行われる。そして、露出調整処理が行われた複数の画像が合成されて合成画像が生成される。

ここで、画像の露出が高いほど暗部の分解能が高くなる。逆に画像の露出が低いほど明部の分解能が高くなる。したがって、ビット拡張しつつ第１の画像の露出に複数の画像の露出を合わせた露出調整後の画像から得られる合成画像は、とくに暗部において露出が高い画像のビット精度が維持されるため、暗部の分解能が高くなる。したがって、本発明によれば、とくに暗部の階調再現性が向上した合成画像を取得することができる。

また、ゲイン処理およびオフセット処理により露出調整処理を行うことにより、乗算および加減算という簡易な演算により露出調整処理を行うことができる。また、ゲイン処理は、画像に対して施される撮像素子の暗電流を補正するためのオプティカルブラック補正処理およびホワイトバランス補正処理と併せて行うことができるため、これらの処理とゲイン処理とを併せて行うことにより、画像に対して処理を施す際の演算量を低減することができる。

また、ゲイン処理およびオフセット処理により露出調整処理を行うに際し、複数の画像のそれぞれの明るさを入力とし、ゲイン処理およびオフセット処理後の明るさを出力とするテーブルを参照してゲイン処理およびオフセット処理を行うことにより、簡易に露出調整処理を行うことができる。

この際、テーブルを、合成画像における複数の画像のそれぞれの明るさの飽和部分が漸次変化するようにゲイン処理およびオフセット処理を行うものとすることにより、合成画像における画像が切り替わる部分における明るさの変化を滑らかなものとすることができるため、合成画像の画質をより向上させることができる。

また、複数の画像における飽和部分の明るさが漸次変化するとともに、複数の画像の重複を回避するオフセット処理を行うようにテーブルにより複数の画像を変換し、変換された複数の画像に対してビット拡張しつつゲイン処理を行うことによって露出調整処理を行うことにより、テーブルによる変換においてはビット拡張がなされないこととなる。これにより、テーブルの容量を低減できるため、テーブルを記憶するための記憶手段の容量を低減することができ、その結果、装置の構成を簡易なものとすることができるとともに、装置のコストを低減することができる。

また、複数の画像に対して順次露出調整処理を行い、露出調整処理が行われた各画像を順次合成することにより、複数の画像に対して一度に露出調整処理を行う場合と比較して、処理を行う記憶手段の容量を低減することができ、その結果、装置の構成を簡易なものとすることができるとともに、装置のコストを低減することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように第１の実施形態によるデジタルカメラ１は、撮像部２、撮像制御部３、信号処理部４、圧縮／伸長処理部５、フレームメモリ６、メディア制御部７、内部メモリ８、および表示制御部９を備える。

図２は撮像部２の構成を示す図である。図２に示すように、撮像部２は、レンズ２０、絞り２１、シャッタ２２、ＣＣＤ２３、アナログフロントエンド（ＡＦＥ）２４およびＡ／Ｄ変換部２５をそれぞれ備える。

レンズ２０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。例えば、フォーカスレンズは、レンズ駆動部によりその焦点位置が調整される。

絞り２１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。

シャッタ２２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ２３は、多数の受光素子を２次元的に配列した所定サイズの光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ２３の前面には、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ２４は、ＣＣＤ２３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部２５は、ＡＦＥ２４によりアナログ処理が施されたアナログ撮像信号をあらかじめ定められたビット数を有するデジタルの撮像信号に変換する。なお、撮像部２のＣＣＤ２３において取得され、デジタル撮像信号に変換されることにより得られる画像データは、画素ごとにＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。

撮像制御部３は、レリーズボタン押下後に撮像の制御を行う。また、レリーズボタンの半押し操作により、ＡＦ処理およびＡＥ処理を行って、フォーカスレンズの焦点位置、絞り値データおよびシャッタスピードを設定する。なお、撮像制御部３は、レリーズボタンが押下されていない状態においては、スルー画像の撮影を行うよう撮像部２を制御する。また、本実施形態においては、撮像制御部３は、レリーズボタンの押下後に、露出が異なる複数の画像を取得するＡＥブラケット撮影を行うよう、撮像部２を制御する。具体的には、＋１Ｅｖ、＋２Ｅｖというように露出を複数段に異ならせて複数回の撮影を行うことによりＡＥブラケット撮影を行う。

信号処理部４は、後述するように撮像部２が取得した画像から生成された合成画像の画像データに対して、ＣＣＤ２３の暗電流を補正するオプティカルブラック補正処理、ホワイトバランスを調整する処理、階調変換、シャープネス補正、および色補正等の信号処理を施す。

圧縮／伸長処理部５は、信号処理部４によって処理が施された画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施して画像ファイルを生成する。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。

フレームメモリ６は、撮像部２が取得した画像を表す画像データに対して、前述の信号処理部４が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部７は、記録メディア１０にアクセスして画像ファイルの書き込みと読み出しの制御を行う。

内部メモリ８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ１５が実行するプログラム等を記憶する。

表示制御部９は、フレームメモリ６に格納された画像データをモニタ１１に表示させたり、記録メディア１０に記録されている画像をモニタ１１に表示させたりするためのものである。

また、デジタルカメラ１は、露出調整部１２および合成部１３を備える。図３は第１の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図３に示すように、第１の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される複数の画像Ｇ１〜Ｇｋのそれぞれに対して、最も露出が低い第１の画像以外の他の画像の明るさを第１の画像の明るさに合わせるように補正するとともに、ｍビットからｎビット（ｎ＞ｍ）にビット拡張することにより露出調整処理を行う。そして、露出調整処理が行われた画像を合成してｎビットの合成画像ＧＭの画像データを出力する。

以下、第１の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。なお、露出差は必要なビット数に応じて変更可能であり、具体的には２Ｅｖ〜３Ｅｖとすることが好ましい。また、２回の撮影のうち露出が低い方の撮影を低露出撮影、露出が高い方の撮影を高露出撮影と称するものとする。また、低露出撮影および高露出撮影により取得されたＡ／Ｄ変換後の画像を、低露出画像ＧＬおよび高露出画像ＧＨと称するものとする。

図４は低露出画像ＧＬにおける光量と低露出画像ＧＬのＱＬ値（すなわち画像の各画素のデジタル撮像信号値）との関係を示す図、図５は高露出画像における光量と高露出画像ＧＨのＱＬ値との関係を示す図である。図４に示すように低露出撮影により得られる低露出画像ＧＬは、広い光量の範囲に亘って階調を有するものとなっている。一方、図５に示すように高露出撮影により得られる高露出画像ＧＨは、露出差が２Ｅｖであることから階調が得られる光量範囲は低露出画像の１／４であるが、暗部の階調表現がより精細なものとなっている。

したがって、露出調整部１２は、高露出画像ＧＨをビット拡張しつつ高露出画像ＧＨの露出を低露出画像ＧＬの露出に合わせるように、高露出画像ＧＨの露出を調整する。ここで、低露出画像ＧＬと高露出画像ＧＨとの露出差は２Ｅｖであるため、図５の破線に示すように、高露出画像ＧＨの明るさを１／４に調整する。これにより、高露出画像ＧＨのビット精度はｍビットからｍ＋２ビットに拡張されることとなる。なお、ｍ＋２ビットに拡張されるのは、低露出画像ＧＬと高露出画像ＧＨとの露出差が２Ｅｖであるからであり、露出差がαＥｖである場合には、露出調整処理によりｍ＋αビットに拡張されることとなる。なお、低露出画像ＧＬについては、明るさは調整されることなく、ビット精度のみがｍビットからｍ＋２ビットに拡張されることとなる。

合成部１３は、露出調整処理が行われた低露出画像ＧＬ′および高露出画像ＧＨ′を合成する。具体的には、低露出画像ＧＬ′の暗部の情報を高露出画像ＧＨ′と置換することにより、低露出画像ＧＬ′および高露出画像ＧＨ′とを合成して合成画像ＧＭを生成する。図６は合成画像ＧＭにおける光量とＱＬ値との関係を示す図である。なお、図６において、低露出画像ＧＬ′を高露出画像ＧＨと置換した部分を破線で示す。図６に示すように合成画像ＧＭにおいては、暗部の分解能が高露出画像ＧＨの分解能に相当するものとなっており、低露出画像ＧＬよりも分解能が向上したものとなっている。

ＣＰＵ１５は、十字キー、各種操作ボタンおよびレリーズボタンを含む入力部１６からの信号に応じてデジタルカメラ１の各部を制御する。

データバス１７は、デジタルカメラ１を構成する各部およびＣＰＵ１５に接続されており、デジタルカメラ１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。

レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ１）。これにより、露出が異なる複数の画像が取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ２）。そして、露出調整部１２が、取得された複数の画像Ｇ１〜Ｇｋに対してビット拡張しつつ露出調整処理を行う（ステップＳＴ３）。さらに合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ４）。

次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ５）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ６）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ７）、処理を終了する。

ここで、信号処理部４が行う階調変換の特性は、図８に示すように入力の信号値が小さい部分、すなわち暗部における変化率が大きくなる。このように暗部の階調の分解能が小さいと、階調変換により暗部の階調に黒つぶれが生じやすくなる。

一方、画像の露出が高いほど暗部の分解能が高くなる。逆に画像の露出が低いほど明部の分解能が高くなる。したがって、ビット拡張しつつ第１の画像の露出に複数の画像の露出を合わせた露出調整後の画像から得られる合成画像ＧＭは、とくに暗部において露出が高い画像のビット精度が維持されるため、暗部の分解能が高くなる。したがって、第１の実施形態によれば、とくに暗部の階調再現性が向上した合成画像ＧＭを取得することができる。

なお、信号処理部４が行う階調変換は種々の特性を有するものであり、階調変換の特性に応じて、暗部の変化率が異なるものとなる。このため、階調変換の特性に応じて、ＡＥブラケット撮影を行う際の最大露出差（すなわち最も露出が低い画像と最も露出が高い画像との露出差）を変更するようにしてもよい。具体的には、階調変換における暗部の変化率が大きいほど最大露出差が大きくなるようにＡＥブラケット撮影を行うようにすればよい。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像処理装置を適用したデジタルカメラの構成は、上記第１の実施形態によるデジタルカメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第２の実施形態においては、露出調整処理をゲイン処理およびオフセット処理により行うようにしたものである。

図９は第２の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図９に示すように、第２の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、最も露出が低い第１の画像以外の他の画像の明るさを第１の画像の明るさに合わせるように、ｍビットからｎビット（ｎ＞ｍ）にビット拡張しつつゲイン処理を行い、ゲイン処理後の画像に対して重複を回避するためのオフセット処理を行うことにより露出調整処理を行う。そして、露出調整処理が行われた画像を加算してｎビットの合成画像ＧＭの画像データを出力する。

以下、第２の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、第１の実施形態と同様に２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。

まず、露出調整部１２は、画像に対して露出差に応じたゲインを設定する。すなわち、露出が最も低い画像を基準とすると、基準となる露出が最も低い画像に対しては１倍、露出差が１Ｅｖの画像に対しては１／２倍、露出差が２Ｅｖの画像に対しては１／４倍のゲインを設定する。ここでは、低露出画像ＧＬと高露出画像ＧＨとの露出差が２Ｅｖであることから、露出調整部１２は、低露出画像ＧＬに対してはゲインを１倍に、高露出画像ＧＨに対してはゲインを１／４倍に設定する。

また、露出調整部１２は、画像に対して露出差に応じたオフセット値を設定する。ここでオフセット値は、合成画像ＧＭにおける情報の重複を回避するためのものであり、各画像に対して次に露出が低い画像のゲイン処理後の最大ＱＬ値をオフセット値に設定する。すなわち、露出が最も低い基準となる画像に対してはオフセット値を１／２×ＱＬｍａｘに、基準となる画像との露出差が１Ｅｖの画像に対しては１／４×ＱＬｍａｘにオフセット値を設定する。なお、ＱＬｍａｘは各画像Ｇ１〜ＧｋのＱＬ値の最大値である。また、露出が最も高い画像についてはオフセット値を０に設定する。ここでは、低露出画像ＧＬと高露出画像ＧＨとの露出差が２Ｅｖであることから、露出調整部１２は、低露出画像ＧＬに対して１／４×ＱＬｍａｘをオフセット値に設定する。

そして、露出調整部１２は、設定したゲインおよびオフセット値により画像に対して露出調整処理を行う。図１０は低露出画像に対するゲイン処理およびオフセット処理を、図１１は高露出画像に対するゲイン処理およびオフセット処理を説明するための図である。

図１０に示すように低露出画像ＧＬに対しては、ｍビットからｍ＋２ビットにビット拡張しつつ１倍のゲインによるゲイン処理が行われ、１／４×ＱＬｍａｘをオフセット値とするオフセット処理が行われる。これにより、低露出画像ＧＬの光量とＱＬ値との関係は、露出調整処理により破線から実線に示すものとなる。

一方、図１１に示すように高露出画像ＧＨに対しては、ｍビットからｍ＋２ビットにビット拡張しつつ１／４倍のゲインによるゲイン処理が施され、オフセット値は０であることからオフセット処理は施されない。これにより、高露出画像ＧＨの光量とＱＬ値との関係は、露出調整処理により破線から実線に示すものとなる。

なお、ゲイン処理およびオフセット処理はこの順序で行う必要はなく、オフセット処理を行った後にゲイン処理を行うようにしてもよい。

合成部１３は、露出調整処理が行われた低露出画像ＧＬ′および高露出画像ＧＨ′を合成する。具体的には、低露出画像ＧＬ′および高露出画像ＧＨ′を加算することにより、低露出画像ＧＬ′および高露出画像ＧＨ′を合成して合成画像ＧＭを生成する。図１２は合成画像ＧＭにおける光量とＱＬ値との関係を示す図である。図１２に示すように合成画像ＧＭにおいては、暗部の分解能が高露出画像ＧＨの分解能に相当するものとなっており、低露出画像ＧＬよりも分解能が向上したものとなっている。また、オフセット処理により、合成画像ＧＭにおける光量とＱＬ値との関係は、線形となっている。

次いで、第２の実施形態において行われる処理について説明する。図１３は第２の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。

レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ１１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ１２）。そして、露出調整部１２が、取得された画像Ｇ１〜Ｇｋに対してゲイン処理を行い（ステップＳＴ１３）、さらにオフセット処理を行う（ステップＳＴ１４）。次いで合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ１５）。

次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ１６）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ１７）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ１８）、処理を終了する。

このように、第２の実施形態においては、ゲイン処理およびオフセット処理により露出調整処理を行うようにしたため、乗算および加減算という簡易な演算により露出調整処理を行うことができる。また、ゲイン処理は、画像に対して施されるＣＣＤ２３の暗電流を補正するためのオプティカルブラック補正処理およびホワイトバランス補正処理と併せて行うことができるため、これらの処理とゲイン処理とを併せて行うことにより、信号処理部４が合成画像ＧＭに対して信号処理を施す際の演算量を低減することができる。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による画像処理装置を適用したデジタルカメラの構成は、上記第１の実施形態によるデジタルカメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第３の実施形態においては、第２の実施形態によるゲイン処理およびオフセット処理をテーブルを用いて行うようにしたものである。またその際に、合成画像における複数の画像のそれぞれの明るさの飽和部分が漸次変化するようにしたものである。

図１４は第３の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図１４に示すように、第３の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、テーブル変換によりｍビットからｎビット（ｎ＞ｍ）にビット拡張しつつゲイン処理およびオフセット処理を行うことにより露出調整処理を行う。そして、露出調整処理が施された画像を加算してｎビットの合成画像ＧＭの画像データを出力する。なお、第３の実施形態においては、露出差に応じた複数のテーブルが内部メモリ８に記憶されており、画像の露出差に応じたテーブルを選択し、選択したテーブルによりテーブル変換を行うものである。

以下、第３の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、第１の実施形態と同様に２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。

図１５は低露出画像用のテーブルを、図１６は高露出画像用のテーブルを示す図である。図１５に示すように低露出画像用のテーブルＴ１は、０〜入力の最大値の１／４の直前までは入力に対する出力が０となり、入力最大値の１／４から徐々に出力が大きくなり、以降入力と出力との関係が比例するような変換テーブルとなっている。具体的には、ゲインを１倍とし、１／４×ＱＬｍａｘをオフセットするとともに、ビット数をｍからｍ＋２に拡張する変換テーブルとなっている。

一方、図１６に示すように高露出画像用のテーブルＴ２は、入力に対する出力が１／４となり、入力が大きい部分においては徐々に出力を一定値とするような変換テーブルとなっている。具体的には、ゲインを１／４倍とするとともに、ビット数をｍからｍ＋２に拡張する変換テーブルとなっている。

図１７はテーブルＴ１，Ｔ２による変換後の低露出画像ＧＬおよび高露出画像ＧＨを加算することにより得られる合成画像ＧＭにおける光量とＱＬ値との関係を示す図である。図１７に示すように合成画像ＧＭにおいては、暗部の分解能が高露出画像ＧＨの分解能に相当するものとなっており、低露出画像ＧＬよりも分解能が向上したものとなっている。さらに、合成画像ＧＭにおける低露出画像ＧＬと高露出画像ＧＨとの境界において、低露出画像ＧＬと高露出画像ＧＨとが滑らかに切り替わるようになっている。

次いで、第３の実施形態において行われる処理について説明する。図１８は第３の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。

レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ２１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ２２）。そして、露出調整部１２が、内部メモリ８に記憶された複数のテーブルから、画像の露出差に応じたテーブルを選択する（ステップＳＴ２３）。そして、露出調整部１２は、選択したテーブルにより画像Ｇ１〜Ｇｋをテーブル変換することにより露出調整処理を行う（ステップＳＴ２４）。次いで合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ２５）。

次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ２６）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ２７）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ２８）、処理を終了する。

このように第３の実施形態においては、ゲイン処理およびオフセット処理により露出調整処理を行うに際し、複数の画像の明るさそれぞれを入力とし、ゲイン処理およびオフセット処理後の明るさを出力とするテーブルを参照することによりゲイン処理およびオフセット処理を行うようにしたため、簡易に露出調整処理を行うことができる。

また、テーブルを、合成画像ＧＭにおける複数の画像Ｇ１〜Ｇｋのそれぞれの明るさの飽和部分が漸次変化するようにゲイン処理およびオフセット処理を行うものとすることにより、合成画像ＧＭにおける画像が切り替わる部分における明るさの変化を滑らかなものとすることができるため、合成画像ＧＭの画質をより向上させることができる。

次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態による画像処理装置を適用したデジタルカメラの構成は、上記第１の実施形態によるデジタルカメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第４の実施形態においては、合成画像ＧＭにおける複数の画像のそれぞれの明るさの飽和部分を漸次変化させる処理およびオフセット処理をテーブル変換により行い、その後第２の実施形態と同様のゲイン処理を行うようにしたものである。

図１９は第４の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図１９に示すように、第４の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、テーブル変換によりビット拡張することなくオフセット処理を行い、テーブル変換後の画像に対して、ｍビットからｎビット（ｎ＞ｍ）にビット拡張しつつゲイン処理を行うことにより露出調整処理を行う。そして、露出調整処理が施された画像を加算してｎビットの合成画像ＧＭの画像データを出力する。なお、第４の実施形態においては、露出差に応じた複数のテーブルが内部メモリ８に記憶されており、画像の露出差に応じたテーブルを選択し、選択したテーブルによりテーブル変換を行うものである。

以下、第４の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、第１の実施形態と同様に２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。

図２０は高露出画像用のテーブルを示す図である。なお、低露出画像ＧＬに対しては、ゲインは１倍でありオフセット処理のみを施すものであることから、第４の実施形態においては、低露出画像ＧＬに対しては第３の実施形態と同様の図１５に示すテーブルＴ１を用いてテーブル変換を行う。図２０に示すように示すように高露出画像用のテーブルＴ３は、ビット数を拡張することなく、入力が大きい部分において徐々に出力を小さくするような変換テーブルとなっている。

図２１はテーブルＴ３による変換後の高露出画像ＧＨにおける光量とＱＬ値との関係を示す図である。図２１に示すようにテーブルＴ３による変換後の高露出画像ＧＨは、ＱＬ値が飽和する部分が滑らかに変化するようになっている。そして露出調整部１２は、テーブル変換後の高露出画像ＧＨに対して、第２の実施形態と同様に設定したゲインによりビット拡張しつつゲイン処理を行う。

図２２はゲイン処理後の高露出画像ＧＨにおける光量とＱＬ値との関係を示す図である。図２２に示すように、ゲイン処理によりテーブル変換後の高露出画像ＧＨのＱＬ値は１／４に変更されている。

このように取得された露出調整済みの高露出画像ＧＨ′を露出調整済みの低露出画像ＧＬ′と加算することにより、第３の実施形態と同様に、図１７に示すように暗部の分解能が高露出画像ＧＨの分解能に相当し、低露出画像ＧＬよりも分解能が向上した合成画像を生成することができる。また、合成画像ＧＭにおける画像が切り替わる部分における明るさの変化を滑らかなものとすることができるため、合成画像ＧＭの画質をより向上させることができる。

次いで、第４の実施形態において行われる処理について説明する。図２３は第４の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。

レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ３１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ３２）。そして、露出調整部１２が、内部メモリ８に記憶された複数のテーブルから、画像の露出差に応じたテーブルを選択する（ステップＳＴ３３）。そして、露出調整部１２は、選択したテーブルにより画像Ｇ１〜Ｇｋをテーブル変換する（ステップＳＴ３４）。さらにテーブル変換後の画像Ｇ１〜Ｇｋに対してゲイン処理を行う（ステップＳＴ３５）。次いで合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ３６）。

次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ３７）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ３８）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ３９）、処理を終了する。

ここで、テーブルによりビット数を拡張すると、テーブルの容量が大きくなることから、テーブルを記憶するための内部メモリ８の記憶領域を大きくする必要がある。第４の実施形態においては、テーブルにより、合成画像ＧＭにおける複数の画像のそれぞれの明るさの飽和部分が漸次変化するように画像Ｇ１〜Ｇｋを変換し、その後にビット拡張しつつゲイン処理を行うようにしたため、ビット拡張を行うテーブルと比較して、テーブルを記憶するための内部メモリ８の記憶領域を低減することができ、その結果、装置の構成を簡易なものにすることができるとともに、装置のコストを低減することができる。

なお、上記第２および第４の実施形態においては、低露出画像ＧＬのゲイン処理は１倍であることからビット拡張するのみである。このため、低露出画像ＧＬに対するゲイン処理において、露出差が１Ｅｖ単位である場合には、ビットシフトによりゲイン処理を行うようにしてもよい。

また、上記第１から第４の実施形態においては、ＡＥブラケット撮影により取得された複数の画像に対して露出調整処理を行った後に合成処理を行っているが、露出調整処理および合成処理を順次行うようにしてもよい。以下これを第５の実施形態として説明する。

図２４は第５の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図２４に示すように、第５の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれを順次内部メモリ８から読み出し、読み出した画像Ｇ１〜Ｇｋに対してｍビットからｎビットにビット拡張しつつ露出調整処理を行い、露出調整処理が施された画像を合成し、合成された画像が最終的な合成画像ＧＭでない場合、その段階において得られる合成画像を中間合成画像として内部メモリ８に記憶する。そして、順次内部メモリ８から画像を読み出して読み出した画像に露出調整処理を行うとともに、内部メモリ８に記憶された中間合成画像と合成し、露出調整処理および合成の処理を繰り返して最終的な合成画像ＧＭを出力する。

なお、第５の実施形態における露出調整処理および合成処理としては、上記第１から第４の実施形態における露出調整処理および合成処理のいずれを用いてもよいものである。

次いで、第５の実施形態において行われる処理について説明する。図２５は第５の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。

レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ４１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ４２）。そして、露出調整部１２が、処理の対象の画像Ｇｉ（ｉ＝１〜ｋ）を最初の画像に設定し（ｉ＝１、ステップＳＴ４３）、画像Ｇｉを内部メモリ８から読み出す（ステップＳＴ４４）。

そして、読み出した画像Ｇｉに対してビット拡張しつつ露出調整処理を行う（ステップＳＴ４５）。さらに合成部１３が露出調整処理後の画像Ｇｉを、内部メモリ８に記憶された中間合成画像と合成して合成画像を生成する（ステップＳＴ４６）。なお、ｉ＝１の場合、中間合成画像は内部メモリ８に記憶されていないため、露出調整処理後の画像Ｇｉがそのまま合成画像となる。そして、合成部１３はすべての画像を合成したか否かを判定し（ｉ＝ｋ、ステップＳＴ４７）、ステップＳＴ４７が否定されると、合成画像を中間合成画像として内部メモリ８に記憶するとともに（ステップＳＴ４８）、処理の対象を次の画像に変更し（ｉ＝ｉ＋１、ステップＳＴ４９）、ステップＳＴ４４に戻る。ステップＳＴ４７が肯定されると、合成画像を最終的な合成画像ＧＭとして出力する（ステップＳＴ５０）。

次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ５１）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ５２）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ５３）、処理を終了する。

このように、第５の実施形態においては、複数の画像Ｇ１〜Ｇｋに対して順次露出調整処理を行い、露出調整処理が行われた各画像Ｇ１〜Ｇｋを順次合成するようにしたため、複数の画像Ｇ１〜Ｇｋに対して一度に露出調整処理を行う場合と比較して、露出調整処理が行われた複数の画像Ｇ１〜Ｇｋを記憶する必要がなくなることから、内部メモリ８の容量を低減することができ、その結果、装置の構成を簡易なものにすることができるとともに、装置のコストを低減することができる。

なお、上記第１から第５の実施形態においては、本発明による画像処理装置をデジタルカメラに適用しているが、本発明による画像処理装置を単独で用いるようにしてもよい。この場合、画像処理装置は、ＡＥブラケット撮影により取得された複数の画像を装置に入力するための各種インターフェースが設けられることとなる。

また、上記第１から第５の実施形態においては、最も露出が低い画像を基準として露出調整処理および合成処理を行っているが、最も露出が高い画像を基準として露出調整処理および合成処理を行うようにしてもよい。この場合、ゲイン処理としては、最も露出が高い画像以外の他の画像のゲインを高くする処理となる。

また、上記第３および第４の実施形態においては、テーブルを内部メモリ８に記憶しているが、テーブルを記憶するための専用のメモリを設けるようにしてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の露出調整部１２および合成部１３に対応する手段として機能させ、図７，１３，１８，２３，２５に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図 撮像部の構成を示す図 第１の実施形態における露出調整処理および合成処理の概念図 低露出画像における光量とＱＬ値との関係を示す図 高露出画像における光量とＱＬ値との関係を示す図 第１の実施形態により生成される合成画像における光量とＱＬ値との関係を示す図 第１の実施形態において行われる処理を示すフローチャート 階調変換の特性を示す図 第２の実施形態における露出調整処理および合成処理の概念図 低露出画像に対するゲイン処理およびオフセット処理を説明するための図 高露出画像に対するゲイン処理およびオフセット処理を説明するための図 第２の実施形態により生成される合成画像における光量とＱＬ値との関係を示す図 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態における露出調整処理および合成処理の概念図 第３の実施形態における低露出画像用のテーブルを示す図 第３の実施形態における高露出画像用のテーブルを示す図 第３の実施形態により生成される合成画像における光量とＱＬ値との関係を示す図 第３の実施形態において行われる処理を示すフローチャート 第４の実施形態における露出調整処理および合成処理の概念図 第４の実施形態における高露出画像用のテーブルを示す図 第４の実施形態におけるテーブル変換後の高露出画像における光量とＱＬ値との関係を示す図 第４の実施形態におけるゲイン処理後の高露出画像における光量とＱＬ値との関係を示す図 第４の実施形態において行われる処理を示すフローチャート 第５の実施形態における露出調整処理および合成処理の概念図 第５の実施形態において行われる処理を示すフローチャート

符号の説明

１ デジタルカメラ
２ 撮像部
８ 内部メモリ
１２ 露出調整部
１３ 合成部
１５ ＣＰＵ

Claims (10)

1. 露出が異なる複数の画像を取得する画像取得手段と、
   前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行う露出調整手段と、
   該露出調整処理が行われた複数の画像を合成して合成画像を生成する合成手段とを備えたことを特徴とする画像処理装置。
2. 前記露出調整手段は、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように補正するとともにビット拡張することにより、前記露出調整処理を行う手段であり、
   前記合成手段は、前記第１の画像における前記他の画像に相当する情報を前記露出調整処理が行われた他の画像の情報と置換することにより前記合成画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
3. 前記露出調整手段は、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように前記複数の画像に対してビット拡張しつつゲイン処理を行い、該ゲイン処理後の複数の画像の重複を回避するオフセット処理を行うことにより、前記露出調整処理を行う手段であり、
   前記合成手段は、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
4. 前記露出調整手段は、前記複数の画像のそれぞれの明るさを入力とし、前記ゲイン処理および前記オフセット処理後の明るさを出力とするテーブルを参照することにより、前記ゲイン処理および前記オフセット処理を行う手段であることを特徴とする請求項３記載の画像処理装置。
5. 前記テーブルは、前記合成画像における前記複数の画像のそれぞれの明るさの飽和部分が漸次変化するように前記ゲイン処理および前記オフセット処理を行うテーブルであることを特徴とする請求項４記載の画像処理装置。
6. 前記露出調整手段は、前記複数の画像における飽和部分の明るさが漸次変化するとともに、前記複数の画像の重複を回避するオフセット処理を行うように前記複数の画像をテーブルにより変換し、該変換された複数の画像に対してビット拡張しつつゲイン処理を行うことにより、前記露出調整処理を行う手段であり、
   前記合成手段は、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
7. 前記露出調整手段は、前記複数の画像に対して順次前記露出調整処理を行う手段であり、
   前記合成手段は、前記露出調整処理が行われた各画像を順次合成する手段であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. 前記画像取得手段が、撮影により画像を取得する撮影手段と、
   前記同一シーンに対して、露出を異ならせた複数回の撮影を行うことにより前記複数の画像を取得するよう前記撮影手段を制御する撮影制御手段とを備えたことを特徴とする請求項１から７のいずれか１項画像処理装置。
9. 露出が異なる複数の画像を取得し、
   前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行い、
   該露出調整処理が行われた複数の画像を合成して合成画像を生成することを特徴とする画像処理方法。
10. 露出が異なる複数の画像を取得する手順と、
    前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行う手順と、
    該露出調整処理が行われた複数の画像を合成して合成画像を生成する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images