JP2002247362A

JP2002247362A - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP2002247362A
Application number: JP2001042633A
Authority: JP
Inventors: Tomoo Mitsunaga; 知生光永; Hiroaki Ono; 博明小野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-02-20
Filing date: 2001-02-20
Publication date: 2002-08-30
Anticipated expiration: 2021-02-20
Also published as: JP4573080B2

Abstract

(57)【要約】【課題】元の画像データよりも広いダイナミックレン
ジを有し、かつ、人間の視覚特性が考慮された振幅特性
を有する画像データを生成する。【解決手段】ビットシフト部２１は、順次入力される
狭ダイナミックレンジ画像データのうち、基準となる振
幅特性を有する狭ダイナミックレンジ画像データ以外の
狭ダイナミックレンジ画像データの画素値を２で除算す
る。加算器２２は、画像保持メモリ２３の画像データ
に、ビットシフト部２１からの狭ダイナミックレンジ画
像データを加算して画像保持メモリ２３に上書きして保
持させる。最終的に、画像保持メモリ２３には、Log曲
線に近似した振幅特性を有する広ダイナミックレンジ画
像データが保持される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、例えば、
異なる露出感度で撮影した複数の画像データを合成し
て、広ダイナミックレンジの画像データを生成する場合
に用いて好適な画像処理装置および方法、記録媒体、並
びにプログラムに関する。

【０００２】

【従来の技術】CCD(Charge Coupled Device)などの個体
撮像素子を備えるディジタルスチルカメラによって生成
された画像データは、フィルムを用いる従来のカメラに
よって撮影された写真に比較して、ダイナミックレンジ
が狭いという問題がある。

【０００３】そのような問題を解決する方法として、例
えば、特開昭６１−２１９２７０号公報には、同一の被
写体を異なる露出感度で複数回撮影し、得られる複数の
画像データを加算して正規化する方法（以下、第１の従
来方法と記述する）が開示されている。

【０００４】第１の従来方法について、４種類の異なる
露出で撮影した画像データを用いる場合を一例とし、図
１乃至図３を参照して説明する。

【０００５】図１は、４種類の異なる露出感度で撮影さ
れる画像データの振幅特性（入射光の強度と、それに対
応して出力される画素値の特性）を示している。例え
ば、振幅特性Ｌ₁の露出感度を基準とした場合、振幅特
性Ｌ₂を有する画像データは、振幅特性Ｌ₁の露出感度の
２倍の露出感度で撮影されたものであり、振幅特性Ｌ₃
を有する画像データは、振幅特性Ｌ₂の２倍（振幅特性
Ｌ₁の４倍）の露出感度で撮影されたものであり、振幅
特性Ｌ₄を有する画像データは、振幅特性Ｌ₃の２倍（振
幅特性Ｌ₁の８倍）の露出感度で撮影されたものである
ことを示している。

【０００６】第１の従来方法では、図１に示したような
４種類の異なる振幅特性Ｌ₁乃至Ｌ₄の画像データが生成
され、４枚の画像データの各画素値が加算されて、図２
に示すような折れ線状の振幅特性のダイナミックレンジ
が拡大された１枚の画像データ（以下、合成画像データ
と記述する）が生成される。ただし、合成画像データの
出力（合成画像データの画素値）の最大値は元の画像デ
ータの４倍の値となっているので、次に、合成画像デー
タの画素の最大値を、元の画像データに一致させるため
に正規化する。正規化された合成画像データの振幅特性
は、図３に示すように折れ線状が維持されたまま、出力
（画素値）の最大値が元の画像データと同一となる。

【０００７】

【発明が解決しようとする課題】ところで、人間の感覚
量は、図４に示すように、刺激強度の対数に比例するこ
と、すなわち、刺激強度をＲ、感覚量をＥとした場合、
次式の関係が成立することがウェーバ・フェヒナの法則
として知られている。Ｅ＝Ｋ・ｌｏｇ（Ｒ）ここで、Ｋは所定の定数である。

【０００８】したがって、人間の視覚特性を考慮すれ
ば、得られる画像データの振幅特性は、出力が入力の対
数に比例していることが望ましい。

【０００９】しかしながら、上述した第１の従来方法で
は、単に、複数の画像データが加算されて正規化されて
いるに過ぎず、ダイナミックレンジを広げた画像データ
が生成される過程において、人間の視覚特性が考慮され
ていない課題があった。

【００１０】本発明はこのような状況に鑑みてなされた
ものであり、振幅特性が異なる複数の画像データを用い
て、元の画像データよりも広いダイナミックレンジを有
し、かつ、人間の視覚特性が考慮された振幅特性を有す
る画像データを生成できるようにすることを目的とす
る。

【００１１】

【課題を解決するための手段】本発明の画像処理装置
は、異なる露出感度で撮影された複数の画像データを順
次入力する入力手段と、入力手段が順次入力した画像デ
ータを、その撮影時の露出感度に対応して重み付け加算
し、広ダイナミックレンジ画像データを生成する生成手
段とを含むことを特徴とする。

【００１２】前記生成手段には、人の視覚特性を示すLo
g曲線に近似した振幅特性を有する広ダイナミックレン
ジ画像データを生成させるようにすることができる。

【００１３】前記入力手段には、基準となる露出感度で
撮影された基準画像データと、基準となる露出感度の２
ｎ倍の露出感度で撮影された２ｎ倍画像データを順次入
力させるようにすることができる。

【００１４】前記生成手段には、基準画像データの画素
に、２ｎ倍画像データの対応する画素を２で除算して加
算し、広ダイナミックレンジ画像データを生成させるよ
うにすることができる。

【００１５】本発明の画像処理装置は、生成手段が生成
した広ダイナミックレンジ画像データに所定の画像加工
処理を施す画像加工手段をさらに含むことができる。

【００１６】前記画像加工手段には、広ダイナミックレ
ンジ画像データにデモザイク処理を施してフルカラー広
ダイナミックレンジ画像データを生成させるようにする
ことができる。

【００１７】本発明の画像処理方法は、異なる露出感度
で撮影された複数の画像データを順次入力する入力ステ
ップと、入力ステップの処理で順次入力された画像デー
タを、その撮影時の露出感度に対応して重み付け加算
し、広ダイナミックレンジ画像データを生成する生成ス
テップとを含むことを特徴とする。

【００１８】本発明の記録媒体のプログラムは、異なる
露出感度で撮影された複数の画像データを順次入力する
入力ステップと、入力ステップの処理で順次入力された
画像データを、その撮影時の露出感度に対応して重み付
け加算し、広ダイナミックレンジ画像データを生成する
生成ステップとを含むことを特徴とする。

【００１９】本発明のプログラムは、異なる露出感度で
撮影された複数の画像データを順次入力する入力ステッ
プと、入力ステップの処理で順次入力された画像データ
を、その撮影時の露出感度に対応して重み付け加算し、
広ダイナミックレンジ画像データを生成する生成ステッ
プとをコンピュータに実行させることを特徴とする。

【００２０】本発明の画像処理装置および方法、並びに
プログラムにおいては、異なる露出感度で撮影された複
数の画像データが順次入力され、順次入力された画像デ
ータが、その撮影時の露出感度に対応して重み付け加算
されて広ダイナミックレンジ画像データが生成される。

【００２１】

【発明の実施の形態】本発明を適用した画像処理装置の
構成例について、図５を参照して説明する。この画像処
理装置は、同一の被写体を異なる露出感度で複数回撮影
し、得られた振幅特性が異なる複数の画像データ（以
下、狭ダイナミックレンジ画像データと記述する）を用
いて、元の画像データよりも広いダイナミックレンジを
有する画像データ（以下、広ダイナミックレンジ画像デ
ータと記述する）を生成するものである。

【００２２】当該画像処理装置は、主に、装置の全体を
制御する制御部１、複数の狭ダイナミックレンジ画像デ
ータを演算部８に供給する画像入力部７、供給される複
数の狭ダイナミックレンジ画像データを用いて広ダイナ
ミックレンジ画像データを生成する演算部８、広ダイナ
ミックレンジ画像データに所定の画像処理を施す画像処
理部９、および所定の画像処理が施された画像データを
後段の電子機器に供給する画像出力部１０より構成され
る。

【００２３】制御部１は、ドライブ２を制御して、磁気
ディスク３、光ディスク４、光磁気ディスク５、または
半導体メモリ６に記憶されている制御用プログラムを読
み出し、読み出した制御用プログラムに基づいて画像処
理装置の全体を制御する。

【００２４】画像入力部７は、振幅特性が異なる複数の
狭ダイナミックレンジ画像データを演算部８に供給す
る。なお、演算部８に供給される狭ダイナミックレンジ
画像データは、ディジタルスチルカメラ、スキャナ等か
ら取得するものであり、それらの振幅特性Ｌ₁，Ｌ₂，Ｌ
₃，Ｌ₄，・・・は、図１に示した振幅特性と同様、基準
となる振幅特性Ｌ₁の露出感度を基準とした場合、振幅
特性Ｌ₂，Ｌ₃，Ｌ₄は、それぞれ、振幅特性Ｌ₁の露出感
度の２，４，８，・・・，２ⁿ倍の露出感度で撮影され
たものであるとする。狭ダイナミックレンジ画像データ
には、その振幅特性を示す露出感度情報が付加されてい
るものとする。

【００２５】また、複数の狭ダイナミックレンジ画像デ
ータは、各画素が必ずしも全ての色成分（Ｒ，Ｇ，Ｂ成
分）を有していなくてもよい。すなわち、Ｒ，Ｇ，Ｂ成
分のうちの１つの色成分だけを有する画素が、所定の配
列（例えば、ベイヤ配列）を成していればよい。以下、
画像データを構成する各画素が、Ｒ，Ｇ，Ｂ成分のうち
の１つの色成分だけを有している状態を色モザイクと記
述する。ただし、複数の狭ダイナミックレンジ画像デー
タが色モザイクである場合、同一の座標に位置する画素
が有する色成分は同一であるとする。

【００２６】演算部８は、画像入力部７から順次供給さ
れる狭ダイナミックレンジ画像データの画素値を、所定
の値で除算した後に加算して広ダイナミックレンジ画像
データを生成する。

【００２７】画像処理部９は、演算部８で生成された広
ダイナミックレンジ画像データが色モザイクである場
合、各画素の全ての色成分を、近傍の画素の色成分を用
いて補間し（デモザイク処理を施し）、得られる各画素
が全ての色成分を有する広ダイナミックレンジ画像デー
タ（以下、フルカラー広ダイナミックレンジ画像データ
と記述する）を画像出力部１０に供給する。また、画像
処理部９は、演算部８で生成された広ダイナミックレン
ジ画像データが色モザイクではない場合、そのまま、デ
モザイク処理を施さずに画像出力部１０に供給する。

【００２８】画像出力部１０は、画像処理部１０から供
給されるフルカラー広ダイナミックレンジ画像データ
を、後段のディスプレイ、プリンタ、記録装置等に供給
する。

【００２９】図６は、演算部８の詳細な構成例を示して
いる。ビットシフト部２１は、画像入力部７から供給さ
れる狭ダイナミックレンジ画像データのうち、基準とな
る振幅特性を有する狭ダイナミックレンジ画像データ以
外の狭ダイナミックレンジ画像データの画素値（２進数
で表現されるデータ）を１ビット数だけ右にシフトし
て、すなわち、画素値を２で除算して加算器２２に出力
する。

【００３０】加算器２２は、画像保持メモリ２３が保持
する画像データの各画素値に、ビットシフト部２１から
入力される狭ダイナミックレンジ画像データの対応する
画素値を加算して画像保持メモリ２３に上書きして保持
させる。

【００３１】画像保持メモリ２３は、保持している画像
データを加算器２２に供給するとともに、加算器２２か
ら入力される画像データを、保持している画像データに
上書きして保持する。

【００３２】ビットシフト部２１および加算器２２の処
理が、複数の狭ダイナミックレンジ画像データの数だけ
繰り返されることにより、最終的に、画像保持メモリ２
３には、Log曲線に近似した振幅特性を有する広ダイナ
ミックレンジ画像データが保持されることになる。

【００３３】画像保持メモリ２３はまた、画像処理部９
からの要求に対応して、最終的に保持している広ダイナ
ミックレンジ画像データを画像処理部９に供給する。

【００３４】次に、当該画像処理装置による広ダイナミ
ックレンジ画像データ生成処理について、図７のフロー
チャートを参照して説明する。なお、画像入力部７に
は、ディジタルスチルカメラ等によって撮影された振幅
特性が異なる複数の狭ダイナミックレンジ画像データが
供給されているものとする。複数の狭ダイナミックレン
ジ画像データの振幅特性を、それぞれ、振幅特性Ｌ₁，
Ｌ₂，Ｌ₃，Ｌ₄，・・・とする。また、演算部８の画像
保持メモリ２３は、初期化されているものとする。

【００３５】ステップＳ１において、画像入力部７は、
自己が保持する全ての狭ダイナミックレンジ画像データ
を演算部８に供給したか否かを判定する。全ての狭ダイ
ナミックレンジ画像データを演算部８に供給していない
と判定された場合、処理はステップＳ２に進む。

【００３６】ステップＳ２において、画像入力部７は、
自己が保持する全ての狭ダイナミックレンジ画像データ
のうち、演算部８に未供給の狭ダイナミックレンジ画像
データを１枚だけ演算部８に供給する。

【００３７】ステップＳ３において、演算部８のビット
シフト部２１は、画像入力部７から供給された狭ダイナ
ミックレンジ画像データに付加されている露出感度情報
を取得する。ステップＳ４において、ビットシフト部２
１は、ステップＳ３で取得した露出感度情報に基づき、
ステップＳ２で供給された狭ダイナミックレンジ画像デ
ータの振幅特性が基準となる振幅特性Ｌ₁ではない場合
だけ、各画素値を１ビットだけ右にシフトすることによ
って２で除算し、加算器２２に出力する。したがって、
ステップＳ２で振幅特性Ｌ₁の狭ダイナミックレンジ画
像データが供給された場合、画素値のビットシフトは行
われずにそのまま加算器２２に出力される。

【００３８】ステップＳ５において、加算器２２は、画
像保持メモリ２３が保持する画像データを読み出し、ビ
ットシフト部２１から入力された狭ダイナミックレンジ
画像データの対応する画素同士を加算して画像保持メモ
リ２３に上書きして保持させる。

【００３９】処理はステップＳ１に戻り、全ての狭ダイ
ナミックレンジ画像データを演算部８に供給したと判定
されるまで、ステップＳ１乃至ステップＳ５の処理が繰
り返される。ステップＳ１において、全ての狭ダイナミ
ックレンジ画像データを演算部８に供給したと判定され
た場合、処理はステップＳ６に進む。

【００４０】このとき、画像保持メモリ２３には、振幅
特性Ｌ₁の狭ダイナミックレンジ画像データと、各画素
値が２で除算されている振幅特性Ｌ₂，Ｌ₃，Ｌ₄，・・
・の狭ダイナミックレンジ画像データが加算されて生成
された、Log曲線に近似した振幅特性を有する広ダイナ
ミックレンジ画像データが保持されている。以下、Log
曲線に近似した振幅特性を有する広ダイナミックレンジ
画像データを生成する演算部８の処理を、重み付き加算
処理とも記述する。

【００４１】ここで、最終的に画像保持メモリ２３に保
持された画像データが、Log曲線に近似した振幅特性を
有する広ダイナミックレンジ画像データとなることを図
８に示す。同図において、横軸は入射光の強度であり、
縦軸は画素値（振幅）である。実線は、人の視覚特性で
あるLog曲線を示している。

【００４２】△によって示される曲線は、演算部８によ
り、振幅特性Ｌ₁の狭ダイナミックレンジ画像データ
と、各画素値が２で除算されている振幅特性Ｌ₂，Ｌ₃，
Ｌ₄の狭ダイナミックレンジ画像データが加算されて生
成された広ダイナミックレンジ画像データの振幅特性を
示している。

【００４３】□によって示される曲線は、振幅特性
Ｌ₁，Ｌ₂，Ｌ₃，Ｌ₄の狭ダイナミックレンジ画像データ
が加算されて生成された広ダイナミックレンジ画像デー
タの振幅特性を示しており、上述した第１の従来方法に
よる広ダイナミックレンジ画像データの振幅特性の相当
する。

【００４４】同図から明らかなように、△によって示さ
れる曲線は、□によって示される曲線より、Log曲線に
近似していることがわかる。なお、△によって示される
曲線は、異なる振幅特性を有する４種類の狭ダイナミッ
クレンジ画像データを用いた結果であるが、より多くの
種類の異なる振幅特性を有する狭ダイナミックレンジ像
データを用いれば、その振幅特性を示す曲線は、入力が
０付近において、さらにLog曲線に近似したものとな
る。

【００４５】図７に戻る。ステップＳ６において、画像
処理部９は、画像保持メモリ２３に保持されている広ダ
イナミックレンジ画像データを取得し、広ダイナミック
レンジ画像データが色モザイクである場合、デモザイク
処理を施してフルカラー広ダイナミックレンジ画像デー
タを生成し、画像出力部１０に供給する（なお、デモザ
イク処理の詳細については、図１２および図１３を参照
して後述する）。なお、演算部８で生成された広ダイナ
ミックレンジ画像データが色モザイクではない場合、デ
モザイク処理は施されずにそのまま画像出力部１０に供
給される。

【００４６】以上説明したように、当該画像処理装置の
広ダイナミックレンジ画像データ生成処理によれば、人
間の視覚特性であるLog曲線に近似した振幅特性を有す
る広ダイナミックレンジ画像データを生成することがで
きる。

【００４７】なお、当該画像処理装置から画像処理部９
を削除し、ステップＳ６の処理を省略するようにしても
よい。

【００４８】次に、本発明を適用したディジタルカメラ
の構成例について、図９を参照して説明する。当該ディ
ジタルカメラは、異なる露出感度で連続的に複数回撮影
することによって、振幅特性が異なる複数の狭ダイナミ
ックレンジ画像データを取得し、それらを用いて広ダイ
ナミックレンジ画像データを生成するものである。

【００４９】当該ディジタルカメラの光学系は、被写体
の光学像を集光するレンズ４１、入射光の光量を調整す
る絞り４２、入射光の露光時間を調整するシャッタ４
３、CCD４６が強い感度を有する赤外領域の光を除去す
るＩＲカットフィルタ４４、およびCCD４６が離散的に
サンプリングすることによって発生する折り返しを抑止
するために入射光の高周波成分を除去する光学ローパス
フィルタ４５から構成される。なお、レンズ４１に赤外
領域除去用のコーティングを施すことにより、ＩＲカッ
トフィルタ４４を省略してもよい。

【００５０】また、ディジタルカメラは、CCD４６の水
平走査タイミングおよび垂直走査タイミングを発生する
タイミングジェネレータ（ＴＧ）４７、光電変換機能、
電荷検出機能、電荷蓄積機能、および電荷転送機能を有
し、入射光に対応して各画素がＲ，Ｇ，Ｂ成分のいずれ
かの色成分を有する色モザイクの狭ダイナミックレンジ
画像データを生成してバッファ４８に出力するCCD４
６、および、振幅特性が異なる複数の色モザイクの狭ダ
イナミックレンジ画像データをバッファリングするバッ
ファ４８から構成される。

【００５１】さらに、ディジタルカメラは、バッファリ
ングされている狭ダイナミックレンジ画像データをサン
プリングすることによってノイズを低減させるCDS(Corr
elated Double Sampling)４９、入射光の光度に適応し
て狭ダイナミックレンジ画像データを電気的に増幅する
AGC(Auto Gain Controller)５０、狭ダイナミックレン
ジ画像データをディジタル信号化するＡ／Ｄコンバータ
５１、複数の色モザイクの狭ダイナミックレンジ画像デ
ータを用いてフルカラー広ダイナミックレンジ画像デー
タを生成するDSP(Digital Signal Processor)等より成
る画像処理部５２、並びに広ダイナミックレンジ画像デ
ータをプリンタ、ディスプレイ、メモリ等に出力する出
力部５３から構成される。

【００５２】さらに、ディジタルカメラは、ドライブ５
５を制御して、磁気ディスク５６、光ディスク５７、光
磁気ディスク５８、または半導体メモリ５９に記憶され
ている制御用プログラムを読み出して、読み出した制御
用プログラム、操作入力部６０から入力されるユーザか
らのコマンド等に基づいて、ディジタルカメラの全体を
制御する制御部５４から構成される。

【００５３】図１０は、画像処理部５２の詳細な構成例
を示している。画像処理部５２は、前段から順次入力さ
れる色モザイクの狭ダイナミックレンジ画像データの画
素値を、所定の値で除算した後に加算して、Log曲線に
近似した振幅特性を有する色モザイクの広ダイナミック
レンジ画像データを生成する演算部６１、色モザイクの
広ダイナミックレンジ画像データをフルカラー広ダイナ
ミックレンジ画像データに変換するデモザイク処理部６
２、フルカラー広ダイナミックレンジ画像データの出力
先を切り替えるスイッチ６３、および、フルカラー広ダ
イナミックレンジ画像データにLog逆変換を施すLog逆変
換部６４から構成される。

【００５４】ここで、Log逆変換とは、フルカラー広ダ
イナミックレンジ画像データの各画素値を、Log曲線に
近似させた曲線（図８の△を用いて示した曲線）の逆関
数を用いて変換することにより、フルカラー広ダイナミ
ックレンジ画像データの振幅特性を線形に変換する処理
を指す。

【００５５】なお、演算部６１は、図６の示した演算部
８の構成例と同様に構成されており、同様の動作を実行
する。

【００５６】次に、当該ディジタルカメラのフルカラー
広ダイナミックレンジ画像データ生成処理について、図
１１のフローチャートを参照して説明する。なお、画像
処理部５２の演算部６１によって実行されるステップＳ
１１乃至ステップＳ１５の処理は、上述した図７のステ
ップＳ１乃至ステップＳ５の処理と同様であるので、そ
の説明は省略する。

【００５７】ステップＳ１６において、画像処理部５２
のデモザイク処理部６２は、演算部６１が生成した色モ
ザイクの広ダイナミックレンジ画像データにデモザイク
処理を施すことにより、フルカラー広ダイナミックレン
ジ画像データを生成してスイッチ６３に出力する。

【００５８】デモザイク処理の詳細について、図１２お
よび図１３を参照して説明する。図１２に、広ダイナミ
ックレンジ画像データの色モザイクの一例であるベイヤ
配列を示す。同図において、Ｒ，Ｇ，Ｂは画素が有する
色成分を示し、下付の数字は画素の位置を示している。
以下、図１２に示すような色モザイクの広ダイナミック
レンジ画像データにデモザイク処理を施す場合を例とし
て説明する。

【００５９】ステップＳ２１において、デモザイク処理
部６２は、全ての画素のうち、Ｇ成分を有していない画
素のＧ成分を、当該画素の上下左右に隣接するＧ成分を
有する４画素を用いて補間する。例えば、画素Ｂ₇のＧ
成分Ｇ’₇は、次式（１）に示すように、画素Ｇ₃，
Ｇ₁₁，Ｇ₆，Ｇ₈を用いて補間する。Ｇ’₇＝（Ｇ₃＋Ｇ₁₁＋Ｇ₆＋Ｇ₈）／４・・・（１）

【００６０】ステップＳ２１の処理によって、全ての画
素がＧ成分を有する状態となった後、処理はステップＳ
２２に進む。

【００６１】ステップＳ２２において、デモザイク処理
部６２は、Ｒ成分、Ｇ成分、およびＢ成分のうちのいず
れかを有していない画素が存在するか否かを判定する。
Ｒ成分、Ｇ成分、およびＢ成分のうちのいずれかを有し
ていない画素が存在すると判定された場合、処理はステ
ップＳ２３に進む。

【００６２】ステップＳ２３において、デモザイク処理
部６２は、Ｒ成分、Ｇ成分、およびＢ成分のうちのいず
れかを有していない画素のうち、１つの画素を注目画素
に決定する。ステップＳ２４において、デモザイク処理
部６２は、注目画素が有していない色成分を判定する。
注目画素がＢ成分を有していないと判定した場合、処理
はステップＳ２５に進む。

【００６３】ステップＳ２５において、デモザイク処理
部６２は、注目画素に隣接するＢ成分を有する画素のＢ
成分とＧ成分の比（以下、ＢＧ比と記述する）の平均値
を演算し、ＢＧ比の平均値に注目画素のＧ成分を乗算し
てＢ成分を補間する。処理はステップＳ２２に戻る。

【００６４】例えば、画素Ｒ₁₀のＢ成分Ｂ’₁₀を補間す
る場合、次式（２）に示すように、隣接するＢ成分を有
する画素Ｂ₅，Ｂ₇，Ｂ₁₃，Ｂ₁₅のＢＧ比の平均値（Ｂ／
Ｇ） ₁₀を演算し、次式（３）に示すように、平均値（Ｂ
／Ｇ）₁₀にステップＳ２１の処理で補間した画素Ｒ₁₀の
Ｇ成分Ｇ’₁₀を乗算して、Ｂ成分Ｂ’₁₀を算出する。
（Ｂ／Ｇ）₁₀ ＝（Ｂ₅／Ｇ’₅＋Ｂ₇／Ｇ’₇＋Ｂ₁₃／Ｇ’₁₃＋Ｂ₁₅／Ｇ’₁₅）／４・・・（２）Ｂ’₁₀＝Ｇ’₁₀・（Ｂ／Ｇ）₁₀ ・・・（３）

【００６５】ステップＳ２４において、注目画素がＲ成
分を有していないと判定した場合、処理はステップＳ２
６に進む。

【００６６】ステップＳ２６において、デモザイク処理
部６２は、注目画素に隣接するＲ成分を有する画素のＲ
成分とＧ成分の比（以下、ＲＧ比と記述する）の平均値
を演算し、ＲＧ比の平均値に注目画素のＲ成分を乗算し
てＢ成分を補間する。処理はステップＳ２２に戻る。

【００６７】例えば、画素Ｂ₇のＲ成分Ｒ’₇を補間する
場合、次式（４）に示すように、隣接するＲ成分を有す
る画素Ｒ₂，Ｒ₄，Ｒ₁₀，Ｒ₁₂のＲＧ比の平均値（Ｒ／
Ｇ）₇を演算し、次式（５）に示すように、平均値（Ｒ
／Ｇ）₇にステップＳ２１の処理で補間した画素Ｂ₇のＧ
成分Ｇ’₇を乗算して、Ｒ成分Ｒ’₇を算出する。（Ｒ／Ｇ）₇ ＝（Ｒ₂／Ｇ’₂＋Ｒ₄／Ｇ’₄＋Ｒ₁₀／Ｇ’₁₀＋Ｒ₁₂／Ｇ’₁₂）／４・・・（４）Ｒ’₇＝Ｇ’₇・（Ｒ／Ｇ）₇ ・・・（５）

【００６８】ステップＳ２２において、Ｒ成分、Ｇ成
分、およびＢ成分のうちのいずれかを有していない画素
が存在しない、すなわち、全ての画素が、Ｒ成分、Ｇ成
分、およびＢ成分を有していると判定された場合、デモ
ザイク処理は終了される。

【００６９】図１１に戻り、ステップＳ１７において、
画像処理部５２を制御する制御部５４は、ユーザによる
設定に基づき、生成されたフルカラー広ダイナミックレ
ンジ画像データのLog曲線に近似されている振幅特性を
線形に変換するか否かを判定する。フルカラー広ダイナ
ミックレンジ画像データの振幅特性を線形に変換すると
判定された場合、処理はステップＳ１８に進む。

【００７０】ステップＳ１８において、スイッチ６３
は、制御部５４からの制御に従い、デモザイク処理部６
２からのフルカラー広ダイナミックレンジ画像データを
Log逆変換部６４に出力する。Log逆変換部６４は、フル
カラー広ダイナミックレンジ画像データの各画素値をLo
g逆変換し、フルカラー広ダイナミックレンジ画像デー
タの振幅特性を線形に変換する。

【００７１】なお、ステップＳ１７において、フルカラ
ー広ダイナミックレンジ画像データの振幅特性を線形に
変換しないと判定された場合、ステップＳ１８はスキッ
プされる。

【００７２】以上説明したように、本発明を適用したデ
ィジタルカメラのフルカラー広ダイナミックレンジ画像
データ生成処理によれば、Log曲線に近似した振幅特
性、または線形の振幅特性を有するフルカラー広ダイナ
ミックレンジ画像データを生成することができる。

【００７３】ところで、本発明を適用した画像処理装置
の演算部８やディジタルカメラの演算部６１の重み付き
加算処理によって生成される広ダイナミックレンジ画像
データの振幅特性がLog曲線に近似した曲線であるこ
と、すなわち、各画素が入射光強度の対数値となってい
ることに起因して、その後に実行されるデモザイク処理
において計算コストを削減することが可能となる。

【００７４】例えば、ステップＳ２６において、ＲＧ比
の平均値（Ｒ／Ｇ）₇を演算する式（４）には除算が多
用されているが、画素の色成分は対数値となっているの
で、式（４）の代わりに、除算に比較して計算コストが
低い減算を多用する次式（６）を用いることができる。（Ｒ／Ｇ）₇ ≒（Ｒ₂−Ｇ’₂＋Ｒ₄−Ｇ’₄＋Ｒ₁₀−Ｇ’₁₀＋Ｒ₁₂−Ｇ’₁₂）／４・・・（６）

【００７５】また、Ｒ成分Ｒ’₇を演算する式（５）に
は乗算が用いられているが、画素の色成分は対数値とな
っているので、式（５）の代わりに、乗算に比較して計
算コストが低い加算を用いる次式（７）を用いることが
できる。Ｒ’₇≒Ｇ’₇＋（Ｒ／Ｇ）₇ ・・・（７）

【００７６】ここで、線形な振幅特性を有する色モザイ
クの画像データから線形な振幅特性を有するフルカラー
画像データを生成する３種類の方法について、図１４を
参照して考察する。

【００７７】同図（Ａ）に示す方法では、線形の振幅特
性を有する色モザイクの画像データに、乗除演算を多用
するデモザイクが実行されて、線形の振幅特性を有する
フルカラー画像データが生成される。同図（Ｂ）に示す
方法では、線形の振幅特性を有する色モザイクの画像デ
ータの画素がLog変換された後、加減演算を用いるデモ
ザイクが実行されて、さらに逆Log変換が施されて線形
の振幅特性を有するフルカラー画像データが生成され
る。同図（Ｃ）に示す方法では、Log曲線に近似した振
幅特性を有する色モザイクの画像データに加減演算を用
いるデモザイクが実行されて、さらに逆Log変換が施さ
れて線形の振幅特性を有するフルカラー画像データが生
成される。

【００７８】上述した３つ方法を比較して明らかなよう
に、線形な振幅特性を有するフルカラー画像データを生
成するための方法としては、本発明に対応する同図
（Ｃ）に示す方法は、同図（Ａ），（Ｂ）に示す方法と
比較して計算コストが低いことがわかる。

【００７９】次に、線形な振幅特性を有する色モザイク
の画像データからLog曲線に近似した振幅特性を有する
フルカラー画像データを生成する３種類の方法について
図１５を参照して考察する。

【００８０】同図（Ａ）に示す方法では、線形の振幅特
性を有する色モザイクの画像データに、乗除演算を多用
するデモザイクが実行されて、さらにLog変換が施され
て、Log曲線に近似した振幅特性を有するフルカラー画
像データが生成される。同図（Ｂ）に示す方法では、線
形の振幅特性を有する色モザイクの画像データの画素が
Log変換された後、加減演算を用いるデモザイクが実行
されて、Log曲線に近似した振幅特性を有するフルカラ
ー画像データが生成される。同図（Ｃ）に示す方法で
は、Log曲線に近似した振幅特性を有する色モザイクの
画像データに加減演算を用いるデモザイクが実行され
て、Log曲線に近似した振幅特性を有するフルカラー画
像データが生成される。

【００８１】上述した３つ方法を比較して明らかなよう
に、Log曲線に近似した振幅特性を有するフルカラー画
像データを生成するための方法としては、本発明に対応
する同図（Ｃ）に示す方法は、同図（Ａ），（Ｂ）に示
す方法と比較して計算コストが低いことがわかる。

【００８２】以上説明したように、本発明の重み付き加
算処理によってLog曲線に近似した振幅特性を有する広
ダイナミックレンジ画像データを生成した場合、その画
素は既に対数値となっているので、後段のデモザイク処
理におけるデータの乗算、除算、累乗を、それぞれ、加
算、減算、乗算に置き換えることができるので、計算コ
ストを削減が可能である。

【００８３】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。

【００８４】この記録媒体は、図５に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク３（フロッピディスクを含む）、光ディスク４（CD-R
OM(Compact Disc-Read OnlyMemory)、DVD(Digital Vers
atile Disc)を含む）、光磁気ディスク５（ＭＤ(Mini D
isc)を含む）、もしくは半導体メモリ６などよりなるパ
ッケージメディアにより構成されるだけでなく、コンピ
ュータに予め組み込まれた状態でユーザに提供される、
プログラムが記録されているROMやハードディスクなど
で構成される。

【００８５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【００８６】

【発明の効果】以上のように、本発明の画像処理装置お
よび方法、並びにプログラムによれば、順次入力した画
像データを、その撮影時の露出感度に対応して重み付け
加算するようにしたので、元の画像データよりも広いダ
イナミックレンジを有し、かつ、人間の視覚特性が考慮
された振幅特性を有する画像データを生成することが可
能となる。

【図面の簡単な説明】

【図１】第１の従来方法を説明するための図である。

【図２】第１の従来方法を説明するための図である。

【図３】第１の従来方法を説明するための図である。

【図４】ウェーバ・フェヒナの法則を説明するための図
である。

【図５】本発明を適用した画像処理装置の構成例を示す
ブロック図である。

【図６】演算部８の構成例を示すブロック図である。

【図７】広ダイナミックレンジ画像データ生成処理を説
明するフローチャートである。

【図８】広ダイナミックレンジ画像データ生成処理によ
って生成された画像データの振幅特性がLog曲線に近似
することを説明するための図である。

【図９】本発明を適用したディジタルカメラの構成例を
示すブロック図である。

【図１０】画像処理部５２の詳細な構成例を示すブロッ
ク図である。

【図１１】フルカラー広ダイナミックレンジ画像データ
生成処理を説明するフローチャートである。

【図１２】広ダイナミックレンジ画像データの色モザイ
クの一例を示す図である。

【図１３】デモザイク処理を説明するフローチャートで
ある。

【図１４】線形な振幅特性を有する色モザイクの画像デ
ータから線形な振幅特性を有するフルカラー画像データ
を生成する３種類の方法を比較するための図である。

【図１５】線形な振幅特性を有する色モザイクの画像デ
ータからLog曲線に近似した振幅特性を有するフルカラ
ー画像データを生成する３種類の方法を比較するための
図である。

【符号の説明】

１制御部，２ドライブ，３磁気ディスク，
４光ディスク，５光磁気ディスク，６半導体メ
モリ，７画像入力部，８演算部，９画像処理
部，１０画像出力部，２１ビットシフト部，
２２加算器，２３画像保持メモリ，５２画像
処理部，５４制御部，６１演算部，６２デモ
ザイク処理部，６３スイッチ，６４ Log逆変換
部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA11 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 CH08 5C077 LL19 MP08 NN02 PP16 PP32 PP48 PQ12 PQ18 SS02 SS06 TT02 TT09

Claims

【特許請求の範囲】

【請求項１】異なる露出感度で撮影された複数の画像
データを用いて、前記画像データよりも広いダイナミッ
クレンジを有する広ダイナミックレンジ画像データを生
成する画像処理装置において、前記異なる露出感度で撮影された複数の画像データを順
次入力する入力手段と、前記入力手段が順次入力した前記画像データを、その撮
影時の露出感度に対応して重み付け加算し、前記広ダイ
ナミックレンジ画像データを生成する生成手段とを含む
ことを特徴とする画像処理装置。
【請求項２】前記生成手段は、人の視覚特性を示すLo
g曲線に近似した振幅特性を有する前記広ダイナミック
レンジ画像データを生成することを特徴とする請求項１
に記載の画像処理装置。
【請求項３】前記入力手段は、基準となる露出感度で
撮影された基準画像データと、前記基準となる露出感度
の２ｎ倍の露出感度で撮影された２ｎ倍画像データを順
次入力することを特徴とする請求項１に記載の画像処理
装置。
【請求項４】前記生成手段は、前記基準画像データの
画素に、前記２ｎ倍画像データの対応する画素を２で除
算して加算し、前記広ダイナミックレンジ画像データを
生成することを特徴とする請求項３に記載の画像処理装
置。
【請求項５】前記生成手段が生成した前記広ダイナミ
ックレンジ画像データに所定の画像加工処理を施す画像
加工手段をさらに含むことを特徴とする請求項１に記載
の画像処理装置。
【請求項６】前記画像加工手段は、前記広ダイナミッ
クレンジ画像データにデモザイク処理を施してフルカラ
ー広ダイナミックレンジ画像データを生成することを特
徴とする請求項５に記載の画像処理装置。
【請求項７】異なる露出感度で撮影された複数の画像
データを用いて、前記画像データよりも広いダイナミッ
クレンジを有する広ダイナミックレンジ画像データを生
成する画像処理装置の画像処理方法において、前記異なる露出感度で撮影された複数の画像データを順
次入力する入力ステップと、前記入力ステップの処理で順次入力された前記画像デー
タを、その撮影時の露出感度に対応して重み付け加算
し、前記広ダイナミックレンジ画像データを生成する生
成ステップとを含むことを特徴とする画像処理方法。
【請求項８】異なる露出感度で撮影された複数の画像
データを用いて、前記画像データよりも広いダイナミッ
クレンジを有する広ダイナミックレンジ画像データを生
成する画像処理用のプログラムであって、前記異なる露出感度で撮影された複数の画像データを順
次入力する入力ステップと、前記入力ステップの処理で順次入力された前記画像デー
タを、その撮影時の露出感度に対応して重み付け加算
し、前記広ダイナミックレンジ画像データを生成する生
成ステップとを含むことを特徴とするコンピュータが読
み取り可能なプログラムが記録されている記録媒体。
【請求項９】異なる露出感度で撮影された複数の画像
データを用いて、前記画像データよりも広いダイナミッ
クレンジを有する広ダイナミックレンジ画像データを生
成するコンピュータに、前記異なる露出感度で撮影された複数の画像データを順
次入力する入力ステップと、前記入力ステップの処理で順次入力された前記画像デー
タを、その撮影時の露出感度に対応して重み付け加算
し、前記広ダイナミックレンジ画像データを生成する生
成ステップとを実行させるプログラム。