JP2004328137A - 画像撮像装置、画像処理装置及び画像処理プログラム - Google Patents
画像撮像装置、画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2004328137A JP2004328137A JP2003117113A JP2003117113A JP2004328137A JP 2004328137 A JP2004328137 A JP 2004328137A JP 2003117113 A JP2003117113 A JP 2003117113A JP 2003117113 A JP2003117113 A JP 2003117113A JP 2004328137 A JP2004328137 A JP 2004328137A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- processing
- frequency band
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 553
- 230000035945 sensitivity Effects 0.000 claims abstract description 184
- 238000000034 method Methods 0.000 claims description 117
- 230000008569 process Effects 0.000 claims description 64
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000003384 imaging method Methods 0.000 claims description 48
- 230000000694 effects Effects 0.000 claims description 37
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 49
- 230000001629 suppression Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 18
- 238000012546 transfer Methods 0.000 description 13
- 229910052709 silver Inorganic materials 0.000 description 11
- 239000004332 silver Substances 0.000 description 11
- -1 silver halide Chemical class 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 6
- 230000002542 deteriorative effect Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005092 sublimation method Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】感度の異なる複数の画像データに基づいて、鮮鋭性、ノイズ特性に優れた高画質な広ダイナミックレンジ画像を生成する。
【解決手段】被写体を撮像して、高感度画像データと低感度画像データを生成する（ステップＳ１）。次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に空間周波数処理条件を設定し（ステップＳ２）、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理を施す（ステップＳ３）。そして、処理結果に基づいて広ダイナミックレンジ画像を生成する（ステップＳ４）。
【選択図】 図１５
【解決手段】被写体を撮像して、高感度画像データと低感度画像データを生成する（ステップＳ１）。次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に空間周波数処理条件を設定し（ステップＳ２）、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理を施す（ステップＳ３）。そして、処理結果に基づいて広ダイナミックレンジ画像を生成する（ステップＳ４）。
【選択図】 図１５
Description
【０００１】
【発明の属する技術分野】
本発明は、画像撮像装置、画像処理装置及び画像処理プログラムに関し、特に、被写体を撮像して得られた複数の画像データから広ダイナミックレンジ画像データを生成する画像撮像装置、画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、ユーザが鑑賞する画像の対象が、銀塩写真フィルムから得られた写真プリントに替わって、デジタルカメラで撮像した画像等のデジタル画像に移行しつつある。デジタル画像は、デジタル化されているため、例えば、デジタル画像データに画像処理を施し、加工した画像を出力したり、インターネット上のホームページに掲載したり、ポストカードに印刷して利用したり等、多様に活用されている。こうした銀塩写真からデジタル画像への移行は、一般ユーザだけでなく、カメラマンをはじめとするプロユーザにおいても同様である。
【０００３】
デジタル画像の取得方法としては、被写体を電子スチルカメラ（デジタルカメラ）で撮像したり、銀塩カメラで撮像した銀塩フィルム画像をスキャナ等の撮像機器でデジタル画像としたりする方法が一般的である。このような固体撮像デバイスを有する撮像装置では、固体撮像デバイスのダイナミックレンジが銀塩フィルム、特に、一般ユーザに広く用いられている銀塩ネガフィルムに比べて狭い。そのため、被写体の輝度域が広い場合には露出条件によってハイライト部（被写体の高輝度部分）が潰れたり、撮像時の露出条件が適切でなく画像全体の濃度（明るさ）が適切でない場合に補正が困難であったり、広いダイナミックレンジを有する銀塩ネガフィルムを使用した銀塩システムに劣る点があった。
【０００４】
このような状況を受けて、特性の異なる固体撮像素子を併用することで広いダイナミックレンジ画像の取得を可能にした撮像装置が種々提案されている。
【０００５】
例えば、高感度の第１の受光素子と、低感度の第２の受光素子を半ピッチずらして隣接配置した撮像装置において、個々の受光素子から信号を取得し、第１の受光素子から得られた信号の飽和レベルを調整して、第２の受光素子から得られた信号と合成して広いダイナミックレンジ画像を生成する撮像装置が開示されている（例えば、特許文献１及び特許文献２参照。）。これにより、合成画像の飽和ムラや偽信号の発生を抑制することができる。
【０００６】
また、撮像によって、異なる感度特性の受光素子から得られる高感度映像信号と低感度映像信号を生成し、高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択することで広ダイナミックレンジ画像を形成する撮像装置が開示されている（例えば、特許文献３参照。）。この場合、回路構成が簡易であり、また記録媒体に記録する際に必要な記憶領域が少なくてよいという利点がある。
【０００７】
また、異なる特性をもつ独立した複数の撮像光学系と、各撮像光学系から独立に受光・撮像する受光感度の異なる撮像デバイスを有し、複数の撮像信号のうちいずれか一つを選択し、予め決められた画像処理を施して出力する撮像装置が提案されている（例えば、特許文献４参照。）。
【０００８】
これらの技術は、被写体を複数の異なる特性を有する撮像デバイス等を用いて撮像して、同一被写体を表す、異なる感度の画像を複数生成し、これらを合成又はいずれか１つを選択することにより、広ダイナミックレンジ画像を生成することを特徴としている。
【０００９】
【特許文献１】
特開２０００−１２５２０９号公報
【特許文献２】
特開２０００−１２５３１１号公報
【特許文献３】
特開２００１−８１０４号公報
【特許文献４】
特開２００３−１８４４５号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記の従来技術はいずれも、複数の感度の異なる画像を合成することによる明るさのつながりに違和感はないものの、複数の感度の異なる画像に対して個々の特性に応じた処理、すなわち、鮮鋭化処理や、鑑賞時に不快と感ずるノイズを除去するノイズ除去処理等の、より高画質な合成画像を生成するための処理がなされていないという問題があった。
【００１１】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、感度の異なる複数の画像データに基づいて、鮮鋭性、ノイズ特性に優れた高画質な広ダイナミックレンジ画像を生成することが可能な画像撮像装置、画像処理装置及び画像処理プログラムを提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するための請求項１に記載の発明は、被写体を撮像し、同一の被写体を表す感度の異なる複数の画像データを生成する撮像手段と、前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定手段と、前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理手段と、を備えることを特徴とする画像撮像装置である。
【００１３】
請求項１４に記載の発明は、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得手段と、前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定手段と、前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理手段と、を備えることを特徴とする画像処理装置である。
【００１４】
請求項２７に記載の発明は、画像処理を実行するためのコンピュータに、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得機能と、前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定機能と、前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理機能と、を実現させるための画像処理プログラムである。
【００１５】
請求項１、１４、２７に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができる。
【００１６】
請求項２に記載の発明は、請求項１に記載の画像撮像装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像撮像装置である。
【００１７】
請求項１５に記載の発明は、請求項１４に記載の画像処理装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像処理装置である。
【００１８】
請求項２８に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成機能を実現させることを特徴とする画像処理プログラムである。
【００１９】
請求項２、１５、２８に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた空間周波数処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、高画質な広ダイナミックレンジ画像を生成することができる。
【００２０】
請求項３に記載の発明は、請求項１に記載の画像撮像装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像撮像装置である。
【００２１】
請求項１６に記載の発明は、請求項１４に記載の画像処理装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像処理装置である。
【００２２】
請求項２９に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて出力する出力機能と、を実現させることを特徴とする画像処理プログラムである。
【００２３】
請求項３、１６、２９に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して装置の処理負荷が低減され、処理速度が上がる。
【００２４】
請求項４に記載の発明は、請求項１に記載の画像撮像装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像撮像装置である。
【００２５】
請求項１７に記載の発明は、請求項１４に記載の画像処理装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像処理装置である。
【００２６】
請求項３０に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録機能と、を実現させることを特徴とする画像処理プログラムである。
【００２７】
請求項４、１７、３０に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【００２８】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の画像撮像装置において、前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像撮像装置である。
【００２９】
請求項１８に記載の発明は、請求項１４〜１７のいずれか一項に記載の画像処理装置において、前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理装置である。
【００３０】
請求項３１に記載の発明は、請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理プログラムである。
【００３１】
高感度の画像データは低照度で撮像されているためＳ／Ｎ比が低く、強度の鮮鋭化処理を施すと、鮮鋭性が強調されるよりも暗電流ノイズ等のノイズ成分が強調され、ノイズ特性が劣化してしまう。逆に、低感度の画像データはＳ／Ｎ比が高く、主要な被写体が適度な露出条件で撮像されている場合が主であるので、鮮鋭化処理によるノイズ特性の劣化の懸念が小さい。
【００３２】
請求項５、１８、３１に記載の発明によれば、画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、空間周波数処理の条件を設定するので、高感度の画像データのノイズ特性の劣化を抑えつつ、低感度の画像データの鮮鋭性を強調することができる。
【００３３】
複数の感度の異なる画像データに対する個々の鮮鋭化処理の条件の設定にあたっては、同一の鮮鋭化処理の手法を用いて鮮鋭性強調の強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。
【００３４】
請求項６に記載の発明は、請求項１〜４のいずれか一項に記載の画像撮像装置において、前記空間周波数処理には少なくともノイズ除去処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像撮像装置である。
【００３５】
請求項１９に記載の発明は、請求項１４〜１７のいずれか一項に記載の画像処理装置において、前記空間周波数処理には少なくともノイズ除去処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理装置である。
【００３６】
請求項３２に記載の発明は、請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、前記空間周波数処理には少なくともノイズ除去処理が含まれており、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理プログラムである。
【００３７】
高感度の画像データは低照度で撮像されておりＳ／Ｎ比が低く、暗電流ノイズ等のノイズが視覚的に目立ちやすいため、ノイズ除去処理を強度に適用する必要がある。それに対して、低感度の画像データはＳ／Ｎ比が高く、また、ノイズが発生していても画像そのものの明るさが比較的明るいため、ノイズは視覚的に目立ちにくい。
【００３８】
請求項６、１９、３２に記載の発明によれば、画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【００３９】
複数の感度の異なる画像データに対する個々のノイズ除去処理の条件の設定にあたっては、同一のノイズ除去処理の手法を用いてノイズ除去の強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。
【００４０】
請求項７に記載の発明は、請求項１〜４のいずれか一項に記載の画像撮像装置において、前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、前記条件設定手段は、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像撮像装置である。
【００４１】
請求項２０に記載の発明は、請求項１４〜１７のいずれか一項に記載の画像処理装置において、前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、前記条件設定手段は、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像処理装置である。
【００４２】
請求項３３に記載の発明は、請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、前記条件設定機能において、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像処理プログラムである。
【００４３】
各画像データの鮮鋭性やノイズ特性は、各画像データの各周波数帯域成分の強度に密接に関係しており、また、それらの関係は画像データの感度によっても異なる。
例えば、画像データを複数の周波数帯域別成分に分離した場合、デジタルカメラで撮像した画像データに生じるノイズの１つである暗電流ノイズは、高周波数帯域成分に相当する。また、被写体に人物が撮影されている場合、その髪や目等の細かい構造は、中周波数帯域成分に相当する。高周波数帯域成分のノイズは除去し、中周波数帯域成分の細かい構造は鮮鋭化することが望ましい。
【００４４】
請求項７、２０、３３に記載の発明によれば、感度の異なる画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことができるので、鮮鋭性やノイズ除去等の画像特性を調整するのに効率的である。
【００４５】
複数の感度の異なる画像データに対する個々の周波数帯域別処理の条件の設定にあたっては、同一の周波数帯域成分の調整の強度を変更してもよく、調整する周波数帯域を変更してもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。また、画像データを複数の周波数帯域成分に分離する手法は、複数の周波数帯域成分に対して共通のものを用いることが計算効率上好ましいが、各周波数帯域成分に対して異なる手法を用いてもよい。
【００４６】
請求項８に記載の発明は、請求項７に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置である。
【００４７】
請求項２１に記載の発明は、請求項２０に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置である。
【００４８】
請求項３４に記載の発明は、請求項３３に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラムである。
【００４９】
複数の感度の異なる画像データの高周波数帯域成分は、その画像データの感度が高ければ高いほど、暗電流ノイズ等のノイズ成分が多く含まれている。一方、感度が低い画像データの高周波数帯域成分は、ノイズ成分は少なく、細かい構造に相当する成分が多くを占めている。
【００５０】
請求項８、２１、３４に記載の発明によれば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制するので、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【００５１】
複数の感度の異なる画像データに対する個々の高周波数帯域成分の信号強度を抑制する条件の設定にあたっては、複数の感度の異なる画像データにおける同一の高周波数帯域成分の信号強度を、高感度の場合には抑制するように、低感度の場合にはより弱く抑制するように設定すればよい。
【００５２】
請求項９に記載の発明は、請求項７に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置である。
【００５３】
請求項２２に記載の発明は、請求項２０に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置である。
【００５４】
請求項３５に記載の発明は、請求項３３に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラムである。
【００５５】
複数の感度の異なる画像データの中周波数帯域成分は、被写体を画像中で視認する上で重要視される細かい構造、例えば、人物の顔における目等の構造に相当する。画像データの感度が高いほど、画像全体の中から、その重要視される細かい構造を視認することが困難である。
【００５６】
請求項９、２２、３５に記載の発明によれば、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。
【００５７】
複数の感度の異なる画像データに対する個々の中周波数帯域成分の信号強度を強調する条件の設定にあたっては、複数の感度の異なる画像データにおける同一の中周波数帯域成分の信号強度を、高感度の場合にはより強く強調するように、低感度の場合にはより弱く強調するように設定すればよい。
【００５８】
請求項１０に記載の発明は、請求項７に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置である。
【００５９】
請求項２３に記載の発明は、請求項２０に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置である。
【００６０】
請求項３６に記載の発明は、請求項３３に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラムである。
【００６１】
請求項１０、２３、３６に記載の発明によれば、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。
【００６２】
請求項１１に記載の発明は、請求項７〜１０のいずれか一項に記載の画像撮像装置において、前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像撮像装置である。
【００６３】
請求項２４に記載の発明は、請求項２０〜２３のいずれか一項に記載の画像処理装置において、前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像処理装置である。
【００６４】
請求項３７に記載の発明は、請求項３３〜３６のいずれか一項に記載の画像処理プログラムにおいて、前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像処理プログラムである。
【００６５】
高感度画像データと低感度画像データの鮮鋭性の差や、発生するノイズの強度差は、輝度成分においてその差が顕著に現れる。
【００６６】
請求項１１、２４、３７に記載の発明によれば、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【００６７】
なお、除去する対象のノイズが色ムラ等、輝度成分ではなく、色差成分に起因するものの場合、画像データから輝度成分を抽出する際に、同時に色差成分を抽出し、色差成分における高周波数帯域成分を輝度成分と同様に調整することが好ましい。
【００６８】
請求項１２に記載の発明は、請求項７〜１１のいずれか一項に記載の画像撮像装置において、前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像撮像装置である。
【００６９】
請求項２５に記載の発明は、請求項２０〜２４のいずれか一項に記載の画像処理装置において、前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像処理装置である。
【００７０】
請求項３８に記載の発明は、請求項３３〜３７のいずれか一項に記載の画像処理プログラムにおいて、前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像処理プログラムである。
【００７１】
請求項１２、２５、３８に記載の発明によれば、感度の異なる複数の画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。
【００７２】
請求項１３に記載の発明は、請求項１２に記載の画像撮像装置において、多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像撮像装置である。
【００７３】
請求項２６に記載の発明は、請求項２５に記載の画像処理装置において、多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像処理装置である。
【００７４】
請求項３９に記載の発明は、請求項３８に記載の画像処理プログラムにおいて、多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像処理プログラムである。
【００７５】
二項ウェーブレット変換は、直交・双直交ウェーブレット等のウェーブレット変換と異なり、画像を間引くことがなく、ノイズの抽出が高精度に得られる。また、急峻な濃度勾配をもつエッジと緩やかな濃度勾配をもつエッジ等、画像の濃度勾配を分別することが可能となる。
【００７６】
請求項１３、２６、３９に記載の発明によれば、二項ウェーブレット変換を用いることにより、各感度の画像データに異なる条件で処理をしているにも関わらず、画像データから高精度にノイズを除去することができ、かつ、ノイズ除去後の画像において質感のつながりを自然で、違和感のないものにすることができる。また、画像中で鮮鋭化がなされた箇所についても、周囲から浮いたような不自然さがなく、自然な質感を保つことができる。
【００７７】
次に、本発明において使用される語句について詳細に説明する。
【００７８】
本発明の記載における「画像撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、デジタルカメラやスキャナがこれに含まれる。撮像素子としては、ＣＣＤ（電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））とシフトレジスタと呼ばれる電荷転送機構と、市松模様のカラーフィルタとを組み合わせ、感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子が挙げられるが、本発明における撮像素子は、感度の異なる少なくとも２種類の撮像素子を組み合わせて用いることを特徴とする。
【００７９】
このような感度の異なる撮像素子を組み合わせた例として、特開２０００−１２５２０９号公報には、図１３に示すように、低感度撮像素子１８と、高感度撮像素子１９とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置された固体撮像素子が記載されている。本発明の撮像素子は、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。
【００８０】
本発明の記載における「感度」とは、被写体の明るさ（輝度）に対する応答特性を表す指標であり、より高感度な撮像素子ほど、より暗い被写体に対して応答することができることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光が完全に遮断された状態でも微弱なノイズ信号（暗電流ノイズ、あるいはホワイトノイズと称される。）を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。光が遮断された状態で撮像素子が発するノイズ信号の強度は、受光面積に反比例する特性を有する。
【００８１】
したがって、低感度と高感度の２種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、あるいは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性（色弁別能）を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【００８２】
本発明の記載における「ダイナミックレンジ」とは、被写体の明るさ（輝度）の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子ほど、より暗い被写体からより明るい被写体に対して応答することができる。一般に、撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることができない。
【００８３】
また、高感度の撮像素子ほど、より暗い被写体に対して応答することができるが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度の撮像素子は、より明るい被写体に対しても信号が飽和しにくく、応答することができるが、より暗い被写体に対して感度が不足する。したがって、低感度と高感度の２種類の撮像素子で構成し、よりダイナミックレンジを拡大する場合、各々のダイナミックレンジの重なりを最小にすることが望ましい。
【００８４】
本発明の記載における「鮮鋭化処理」とは、目的に応じて画像を見やすくするために、画像におけるエッジを強調する処理のことであり、当業界で知られる種々の手法を選択することができる。具体的な手法については、例えば、１次微分演算による強調や２次微分演算（ラプラシアン）による強調等があるが、これらに限定されるものではない。比較的自然な強調処理を行うことができるため、ラプラシアンによる強調、あるいはアンシャープマスクによる処理が広く用いられている。こうした公知の鮮鋭性強調技法は、例えば「Ｃ言語で学ぶ実践画像処理（オーム社，井上誠喜・八木伸行・林正樹・中須英輔・三谷公二・奥井誠人 共著）」等に詳細な解説がなされている。
【００８５】
ラプラシアンによる処理は、原画像の画像データにおける各画素値から、その画像データの各画素におけるラプラシアンをマイナスすることによってエッジの強調が行われる。原画像の画像データにおける各画素値、すなわち原信号をｆ（ｉ，ｊ）（ｉ，ｊは座標を表す。）、ラプラシアンによる処理が施された後の各画素値、すなわち処理済信号をＦ（ｉ，ｊ）とすると、ラプラシアンによる鮮鋭化処理は、下記式（１）で表される。
Ｆ（ｉ，ｊ）＝ｆ（ｉ，ｊ）−∇２ｆ（ｉ，ｊ） （１）
【００８６】
本発明の記載における「ノイズ除去処理」は、例えば、ＬＰＦ（ローパスフィルタ）やＨＰＦ（ハイパスフィルタ）等のフィルタ処理や、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の直交変換やフーリエ変換、あるいは双直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割し、画像の平滑化を周波数領域の低域フィルタを用いて行う等、当業界で知られる種々の手法を選択することができる。
【００８７】
具体的には、例えば、直交変換による基底画像において、原点を中心とする半径Ｒ以内の成分を完全に保存するとともに、その他の成分を除去することによって画像の平滑化を行う手法や、あるいは、多重解像度変換によって得た特定の解像度に対し、所定の閾値以下を、例えばゼロにするコアリング処理を行って画像の平滑化を行う手法や、特開２０００−６９２９１号公報に記載のように、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更する平滑化フィルタを用いる手法や、特開２００１−３５６４３２号公報に記載のようにデジタル画像データを輝度情報と色情報に分離し、色情報にのみ平滑化処理を施してノイズ（色ムラ）を低減する手法等、種々の手法を用いることができる。
【００８８】
請求項７、２０、３３に記載の発明において、画像データを周波数帯域別の成分に分離する手法としては、例えば、ＬＰＦやＨＰＦ等のフィルタ処理や、ＤＣＴ等の直交変換やフーリエ変換、あるいは双直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割することが可能であるが、これらに限定されるものではなく、当業界で知られる手法を用いることができる。
【００８９】
請求項８、２１、３４に記載の発明において、信号強度を抑制する高周波数帯域成分は、デジタルカメラ等の固体撮像素子を用いる撮像装置により得られた画像データに発生するノイズの特性を考慮し、複数ある周波数帯域成分のうち、最も高い周波数帯域成分であることが好ましい。さらに、除去したいノイズの特性に合わせて、最も高い周波数帯域以外の周波数帯域成分の信号強度を抑制の対象としてもよい。
【００９０】
例えば、複数の感度の異なる画像データがＮｓ個あり、その最高周波数帯域成分の強度Ｉｈ０（ｉ）を画像データの感度に応じて抑制し、処理済みの信号強度Ｉｈ（ｉ）を得るには、下記の式（２）に従って抑制すればよい。
Ｉｈ（ｉ）＝Ｉｈ０（ｉ）×ｆ（Ｓ（ｉ）） （２）
ただし、ｉは１からＮｓまでの整数である。
【００９１】
ここで、Ｓ（ｉ）は、ｉに対応する画像データの感度である。また、ｆ（Ｓ（ｉ））は、Ｓ（ｉ）に応じて変化する所定の抑制調整関数で、感度が高ければ強く抑制し、感度が低ければ抑制を弱める働きをもつ。
【００９２】
図１に、抑制調整関数の例を示す。ｉ，ｉ’を１からＮｓまでの整数として、画像データｉが画像データｉ’より感度が高い場合、すなわち、
Ｓ（ｉ）＞Ｓ（ｉ’） （３）
のとき、
ｆ（Ｓ（ｉ））≦ｆ（Ｓ（ｉ’）） （４）
を満たす。
ただし、抑制処理において信号強度を調整する手法は上記のものに限らず、当業界で知られる種々の手法を選択することができる。
【００９３】
請求項９、２２、３５に記載の発明において、信号強度を強調する中周波数帯域成分として、画像データを複数の周波数帯域に分割する場合は、最高周波数帯域成分と最低周波数帯域成分を除いた周波数帯域成分を対象とすることが可能であり、また、周波数帯域を２つに分割する場合には、低周波数帯域成分を中周波数帯域成分とすればよい。
【００９４】
具体的に、強調処理の強度を調整するには、例えば、複数の感度の異なる画像データがＮｓ個あり、その中周波数帯域成分の強度Ｉｍ０（ｉ）を画像データの感度に応じて強調し、処理済みの信号強度Ｉｍ（ｉ）を得るには、下記の式（５）に従って強調すればよい。
Ｉｍ（ｉ）＝Ｉｍ０（ｉ）×ｇ（Ｓ（ｉ）） （５）
ただし、ｉは１からＮｓまでの整数である。
【００９５】
ここで、Ｓ（ｉ）は、ｉに対応する画像データの感度である。また、ｇ（Ｓ（ｉ））は、Ｓ（ｉ）に応じて変化する所定の強調調整関数で、感度が高ければ強く強調し、感度が低ければ弱く強調する働きをもつ。
【００９６】
図２に、強調調整関数の例を示す。ｉ，ｉ’を１からＮｓまでの整数として、画像データｉが画像データｉ’より感度が高い場合、すなわち、
Ｓ（ｉ）＞Ｓ（ｉ’） （６）
のとき、
ｇ（Ｓ（ｉ））≧ｇ（Ｓ（ｉ’）） （７）
を満たす。
ただし、強調処理において信号強度を調整する手法は上記に限らず、当業界で知られる種々の手法を選択することができる。
【００９７】
請求項１１、２４、３７に記載の発明において、画像信号を輝度信号と色差信号に変換する操作として、例えば画像を表すＲ（Ｒｅｄ）・Ｇ（Ｇｒｅｅｎ）・Ｂ（Ｂｌｕｅ）の３色の強度信号を、公知のＹＩＱ基底・ＨＳＶ基底・ＹＵＶ基底・ＹＣｒＣｂ基底等に変換する操作や、あるいはｓＲＧＢやＮＴＳＣ等の規格に基づきＣＩＥ１９３１表色系のＸＹＺ基底・ＣＩＥ１９７６の勧告するＬ＊ａ＊ｂ＊基底・Ｌ＊ｕ＊ｖ＊基底等に変換する操作を用いることができる。本発明における輝度信号と色差信号の分離は色彩学的に完全に緻密な変換でなくても十分な効果を発揮するので、例えば特開昭６３−２６７８３号公報の実施例に見られるようなＲＧＢの平均値を輝度信号とし、これに直交する２軸を色差信号とするような変換を行ってもよい。
【００９８】
本発明で用いられる「多重解像度変換」とは、ウェーブレット変換、完全再構成フィルタバンク、ラプラシアンピラミッド等に代表される手法の総称をいい、１回の変換操作により入力信号を低周波成分信号と高周波成分信号とに分解し、得られた低周波成分信号に対して同様の変換操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得る手法である。得られた多重解像度信号を加工せずにそのまま多重解像度逆変換した場合、元の信号が再構成される。こうした手法については、例えば、“Ｗａｖｅｌｅｔ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ”ｂｙ Ｇ． Ｓｔｒａｎｇ ＆ Ｔ． Ｎｇｕｙｅｎ， Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ（邦訳「ウェーブレット解析とフィルタバンク」，Ｇ．ストラング・Ｔ．グエン共著，培風館）に詳細な解説がなされている。
【００９９】
多重解像度変換を使用することで、違和感のない鮮鋭化が得られ、鮮鋭性を劣化させずにノイズの除去が可能であるという効果は、多重解像度変換の中でも特にウェーブレット変換を使用することで、より向上し、好ましい。ウェーブレット変換について、以下に概要を説明する。
【０１００】
「ウェーブレット変換」とは、図３に例示されるような有限範囲で振動するウェーブレット関数（下記式（８）参照。）を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数＜ｆ，ψａ，ｂ＞を下記式（９）で求めることにより、入力信号を下記式（１０）で示されるウェーブレット関数の総和に分解する変換である。
【数１】
【数２】
【数３】
【０１０１】
上記式（８）〜（１０）において、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図３に例示するように、スケールａの値が大きいほどウェーブレット関数ψａ，ｂ（ｘ）の周波数は小さくなり、位置ｂの値に従ってウェーブレット関数ψａ，ｂ（ｘ）が振動する位置が移動する。従って、上記式（１０）は、入力信号ｆ（ｘ）を種々のスケールと位置を持つウェーブレット関数ψａ，ｂ（ｘ）の総和に分解することを意味している。
【０１０２】
上述のような変換を可能にするウェーブレット変換は、多くのものが知られているが、画像処理分野では、計算が高速な直交ウェーブレット（ｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）変換、双直交ウェーブレット（ｂｉｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）変換が広く用いられている。
【０１０３】
以下、直交ウェーブレット変換、双直交ウェーブレット変換の概要を説明する。直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は、下記式（１１）のように定義される。
【数４】
ただし、ｉは自然数である。
【０１０４】
前記式（１１）と前記式（８）とを比較すると、直交ウェーブレット変換、双直交ウェーブレット変換では、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２ｉで離散的に定義されていることが判る。このｉの値はレベルと呼ばれる。
【０１０５】
また実用的にはレベルｉを有限な上限Ｎまでに制限して、入力信号を下記式（１２）、式（１３）、式（１４）のように変換することが行われる。
【数５】
【数６】
【数７】
【０１０６】
上記式（１２）の第２項は、レベル１のウェーブレット関数ψ１，ｊ（ｘ）の総和で表せない残差の低周波成分を、レベル１のスケーリング関数φ１，ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものを用いる。上記式（１２）に示す１レベルのウェーブレット変換により入力信号ｆ（ｘ）≡Ｓ０は、レベル１の高周波成分Ｗ１と低周波成分Ｓ１に信号分解されたことになる。
【０１０７】
ウェーブレット関数ψｉ，ｊ（ｘ）の最小移動単位は２ｉなので、入力信号Ｓ０の信号量に対して高周波成分Ｗ１と低周波成分Ｓ１の信号量は各々１／２となり、高周波成分Ｗ１と低周波成分Ｓ１の信号量の総和は、入力信号Ｓ０の信号量と等しくなる。レベル１の低周波成分Ｓ１は式（１３）において、レベル２の高周波成分Ｗ２と低周波成分Ｓ２に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ０は、式（１４）に示すように各レベル１〜Ｎの高周波成分の総和とレベルＮの低周波成分の和に分解される。
【０１０８】
ここで、前記式（１３）で示す１レベルのウェーブレット変換は、図４に示すようなフィルタ処理で計算することができる。図４において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる。また、２↓は、信号を１つおきに間引くダウンサンプリング処理を示す。
【０１０９】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図５に示すようなフィルタ処理で計算される。図５に示すように、まず入力信号Ｓｎ−１をｘ方向のローパスフィルタＬＰＦｘ、ハイパスフィルタＨＰＦｘによりフィルタ処理を行い、ｘ方向にダウンサンプリング処理を行う。これにより入力信号Ｓｎ−１はＳＸｎとＷＸｎとに分解される。このＳＸｎとＷＸｎに対して、各々ｙ方向のローパスフィルタＬＰＦｙ、ハイパスフィルタＨＰＦｙによるフィルタ処理を行い、ｙ方向にダウンサンプリング処理を行う。
【０１１０】
この１レベルのウェーブレット変換により、入力信号Ｓｎ−１は３つの高周波成分Ｗｖｎ，Ｗｈｎ，Ｗｄｎと１つの低周波成分Ｓｎに分解される。１回のウェーブレット変換により生成されるＷｖｎ，Ｗｈｎ，Ｗｄｎ，Ｓｎの各々の信号量は、分解前のＳｎ−１に比べて縦横ともに１／２となるので、分解後の４成分の信号量の総和は、分解前のＳｎ−１の信号と等しくなる。
【０１１１】
なお、図５において、ＬＰＦｘ，ＨＰＦｘ，２↓ｘのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙ，２↓ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１１２】
図６に、入力信号Ｓ０が３レベルのウェーブレット変換で信号分解される過程の模式図を示す。レベル数ｉが増えるに従って、ダウンサンプリング処理により画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【０１１３】
また、図７に示すように、分解で生成したＷｖｎ，Ｗｈｎ，Ｗｄｎ，Ｓｎにフィルタ処理で計算されるウェーブレット逆変換を施すことにより、分解前の信号Ｓｎ−１を完全再構成できることが知られている。図７において、ＬＰＦ’は逆変換用のローパスフィルタ、ＨＰＦ’は逆変換用のハイパスフィルタを示している。また、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ’ｘ，ＨＰＦ’ｘ，２↑ｘのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦ’ｙ，ＨＰＦ’ｙ，２↑ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１１４】
図７に示すように、Ｓｎをｙ方向にアップサンプリング処理及び逆変換用のローパスフィルタＬＰＦ’ｙによるフィルタ処理を施すことにより得られる信号と、Ｗｈｎをｙ方向にアップサンプリング処理及び逆変換用のハイパスフィルタＨＰＦ’ｙによるフィルタ処理を施すことにより得られる信号とを加算してＳＸｎを得る。これと同様にして、ＷｖｎとＷｄｎからＷＸｎを生成する。
【０１１５】
さらに、ＳＸｎをｘ方向にアップサンプリング処理及び逆変換用のローパスフィルタＬＰＦ’ｘによるフィルタ処理を施すことにより得られる信号と、ＷＸｎをｘ方向にアップサンプリング処理及び逆変換用のハイパスフィルタＨＰＦ’ｘによるフィルタ処理を施すことにより得られる信号とを加算することにより分解前の信号Ｓｎ−１を得ることができる。
【０１１６】
この逆変換の際に用いられるフィルタ係数は、直交ウェーブレットの場合にはウェーブレット変換に用いた係数と同じ係数が使用されるが、双直交ウェーブレットの場合にはウェーブレット変換に用いた係数とは異なる係数が使用される。
【０１１７】
本発明で利用する「二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換」については、“Ｓｉｎｇｕｌａｒｉｔｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｗ．Ｌ．Ｈｗａｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｉｎｆｏｒｍ． Ｔｈｅｏｒｙ ３８ ６１７ （１９９２）や“Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｉｇｎａｌｓ ｆｒｏｍ ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｓ．Ｚｈｏｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ． １４ ７１０ （１９９２） や“Ａ ｗａｖｅｌｅｔ ｔｏｕｒ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ２ｅｄ” ｂｙ Ｓ．Ｍａｌｌａｔ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓに詳細な説明がある。
【０１１８】
二項ウェーブレット変換のウェーブレット関数は下記式（１５）のように定義される。
【数８】
ただし、ｉは自然数である。
【０１１９】
前述した直交ウェーブレット変換や双直交ウェーブレット変換のウェーブレット関数は、レベルｉにおける位置の最小移動単位が２ｉで離散的に定義されていたのに対し、二項ウェーブレット変換のウェーブレット関数は、レベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換は、下記の特徴を有する。
【０１２０】
第一の特徴として、下記式（１６）に示す１レベルの二項ウェーブレット変換で生成する、高周波成分Ｗｉと低周波成分Ｓｉの各々の信号量は、変換前の信号Ｓｉ−１と同一である。
【数９】
【０１２１】
第二の特徴として、スケーリング関数φｉ，ｊ（ｘ）とウェーブレット関数ψｉ，ｊ（ｘ）の間に、下記式（１７）の関係が成立する。
【数１０】
したがって、二項ウェーブレット変換で生成される高周波成分Ｗｉは、低周波成分Ｓｉの一回微分（勾配）を表す。
【０１２２】
第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γｉを高周波成分に乗じたＷｉ・γｉ（以下、これを補正済高周波成分という。）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波成分Ｗｉ・γｉの信号強度のレベル間の関係が一定の法則に従う。
【０１２３】
図８に、入力信号Ｓ０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波成分Ｗｉ・γｉの波形を示す。図８において、（ａ）は入力信号Ｓ０を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波成分Ｗ１・γ１を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波成分Ｗ２・γ２を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波成分Ｗ３・γ３を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波成分Ｗ４・γ４を示す。
【０１２４】
各レベルにおける信号強度の変化を見ると、（ａ）において、“１”や “４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。
【０１２５】
入力信号Ｓ０において、“２”に示すステップ状の信号変化に対応する補正済高周波成分Ｗｉ・γｉは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ０において、“３”に示すδ関数状の信号変化に対応する補正済高周波成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【０１２６】
第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、図９に示すような方法で行われる。図９に示すように、１レベルのウェーブレット変換において、入力信号Ｓｎ−１をｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより、低周波成分Ｓｎが得られる。また、入力信号Ｓｎ−１をｘ方向のハイパスフィルタＨＰＦｘで処理することにより、高周波成分Ｗｘｎが得られ、入力信号Ｓｎ−１をｙ方向のハイパスフィルタＨＰＦｙで処理することにより、高周波成分Ｗｙｎが得られる。
【０１２７】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓｎ−１は、２つの高周波成分Ｗｘｎ，Ｗｙｎと１つの低周波成分Ｓｎに分解される。２つの高周波成分Ｗｘｎ，Ｗｙｎは低周波成分Ｓｎの２次元における変化ベクトルＶｎのｘ成分とｙ成分に相当する。変化ベクトルＶｎの大きさＭｎと偏角Ａｎは下記式（１８）及び（１９）で与えられる。
【数１１】
【数１２】
【０１２８】
二項ウェーブレット変換で得られた２つの高周波成分Ｗｘｎ，Ｗｙｎと１つの低周波成分Ｓｎに、図１０に示す二項ウェーブレット逆変換を施すことにより、変換前の信号Ｓｎ−１を再構成することができる。すなわち、低周波成分Ｓｎに対してｘ方向におけるローパスフィルタＬＰＦｘ及びｙ方向におけるローパスフィルタＬＰＦｙで処理することにより得られる信号と、高周波成分Ｗｘｎに対してｘ方向における逆変換用のハイパスフィルタＨＰＦ’ｘ及びｙ方向における逆変換用のローパスフィルタＬＰＦ’ｙで処理することにより得られる信号と、高周波成分Ｗｙｎに対してｘ方向における逆変換用のローパスフィルタＬＰＦ’ｘ及びｙ方向における逆変換用のハイパスフィルタＨＰＦ’ｙで処理することにより得られる信号と加算することにより分解前の信号Ｓｎ−１を得ることができる。
【０１２９】
本発明における二項ウェーブレット変換処理の概念を、図１１に示す。入力信号Ｓ０（本発明においては感度の異なる画像データの信号）に対して第Ｎレベルの二項ウェーブレット変換を行い、高周波数帯域〜低周波数帯域までの各周波数帯域成分を得る。その中で高周波数帯域成分と中周波数帯域成分について、上述したような抑制処理・強調処理等の空間周波数処理を施せばよい。空間周波数空間において広ダイナミックレンジ画像への合成処理を行う際には、同じレベルの周波数帯域成分を加算した後に、二項ウェーブレット逆変換を施すことで広ダイナミックレンジ画像を生成することができる。
【０１３０】
図１１において、ＬＰＦは変換用ローパスフィルタ、ＨＰＦは変換用ハイパスフィルタを示している。これらのフィルタ係数はウェーブレット関数に応じて適切に定められる（前述の参考文献を参照。）。また、ＬＰＦｘ，ＨＰＦｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙはｙ方向の処理を示す。また二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２ｎ−１−１個のゼロを挿入したものが用いられる（前述の参考文献を参照。）。
【０１３１】
図１１における入力信号Ｓ０は、上記に説明したように感度の異なる画像データの信号を指すが、ノイズ除去と鮮鋭化の効果をより効果的にするためには、画像データの信号を輝度成分と色差成分に変換し、少なくとも輝度成分である輝度信号に対し二項ウェーブレット変換を行い、本発明における高周波数帯域成分の抑制処理や中周波数帯域成分の強調処理を適用することが好ましく、さらには、輝度信号とあわせて、色差信号についても入力信号Ｓ０とし、二項ウェーブレット変換を行い、本発明における高周波数帯域成分に対する抑制処理を適用することがより好ましい。
【０１３２】
本発明において、二項ウェーブレット変換を用いるにあたっては、画像データの信号に対して少なくとも第２レベル以上の二項ウェーブレット変換を行うことが好ましい。例えば、第２レベルまで変換を行った場合には、第１レベルの高周波成分が高周波数帯域成分に、第２レベルの高周波成分が中周波数帯域成分に、第２レベルの低周波成分が低周波数帯域成分に相当する。
【０１３３】
さらに、本発明における高周波数帯域成分の抑制処理、中周波数帯域成分の強調処理を行うにあたっては、画像中の特定の画素を設定することなく一律に処理を施してもよいが、少なくとも任意の第Ｐレベル（Ｐ≦Ｎ）の高周波成分Ｗｘｐ及びＷｙｐの信号強度が特定条件を充たす場合に、その画素をノイズ画素と認識し信号強度を抑制する等、処理を施す画素を特定する手段を用いることが好ましい。
【０１３４】
その場合、例えば、デジタルカメラのＣＣＤ面に付着するホコリや、ある一部の領域のＣＣＤの損傷等が原因でない限り、感度が異なる画像データであっても、同じ画素位置にノイズが発生するとは限らない。よって、各画像データについてノイズ位置を検出し、検出したノイズに対応する画素位置の高周波数帯域成分の信号強度を抑制すればよく、その画像データの感度に応じて抑制の度合いを調整すればよい。
【０１３５】
具体的なノイズ検出の手法としては、二項ウェーブレット変換の特性を利用し、例えば、画像データの信号、好ましくは画像データの信号を変換して得た輝度信号と色差信号に対し、少なくとも第２レベル以上の二項ウェーブレット変換を行った後、少なくとも２つのレベル、例えば第１レベルと第２レベルのｘ，ｙ両方向の高周波成分信号Ｗｘ１とＷｘ２、Ｗｙ１とＷｙ２の対応する画素を比較し、ｘ，ｙの両方について第２レベルの信号強度が第１レベルの信号強度よりも大きくなっていた場合にノイズの候補として検出する等の手法を用いることができる。ただし、これに限定するものではない。
【０１３６】
また、特願２００１−３２９２０５に記述されているように、ノイズ信号の信号強度に応じて抑制の強度を変化させるコアリング処理の手法を用いることも好ましい。一般に入力信号に対してある閾値以下で出力信号を抑制する処理をコアリング処理という。
【０１３７】
本発明において、具体的には、（第（Ｐ＋１）レベルの補正済輝度高周波成分の信号強度）／（第Ｐレベルの補正済輝度高周波成分の信号強度）≦閾値Ａである場合に、画像ノイズである可能性が高いが、ノイズでない画像要素である可能性が若干あるので、第Ｐレベルの高周波成分の信号強度を０にするのではなく抑制し、かつ（第（Ｐ＋１）レベルの補正済輝度高周波成分の信号強度）／（第Ｐレベルの補正済輝度高周波成分の信号強度）≦閾値Ｂ（Ｂ＜Ａ）である場合には、該当する信号はノイズとして判断し、第Ｐレベルの輝度高周波成分の信号強度を実質的に０とする。また、閾値Ａと閾値Ｂ間で、閾値Ｂに近い方が画像ノイズである可能性が高くなるので、閾値Ｂに近づくにつれて抑制量を増大させることが好ましい。ただし、閾値Ａが１より大きく１．２以下とし、かつ閾値Ｂが０．８以上１未満とすることが好ましい。
【０１３８】
この手法を用いる場合には、感度の異なる画像データを処理する際に、個々に閾値Ａ、Ｂを設定することにより、本発明が達成される。より具体的には、低感度画像データに適用する閾値Ａ＜高感度画像データに適用する閾値Ａ、かつ、低感度画像データに適用する閾値Ｂ＜高感度画像データに適用する閾値Ｂを満たすことが好ましい。これは、低感度画像データと高感度画像データの高周波成分を比較した場合、信号値がノイズである確率が高感度画像データの高周波成分の方が高く、信号値が被写体の構造を表すものである確率が低感度画像データの高周波成分の方が高いからである。
【０１３９】
次に、中周波数帯域成分に対する強調処理であるが、複数レベルの中から中周波数帯域成分を選択するには、Ｎレベルの二項ウェーブレット変換処理を適用した場合には第２レベル以上（Ｎ−１）以下のレベルの高周波成分を中周波成分とすることが好ましい。例えば、３レベルまでの変換処理をした場合には、第２レベルの高周波成分を中周波数帯域成分とすればよい。
【０１４０】
ただし、処理時間や処理装置の環境等の制約がある場合は、第１レベルまでの二項ウェーブレット変換を行うことも可能であり、その場合には、第１レベルの高周波成分を高周波数帯域成分として、第１レベルの低周波成分を中周波数帯域成分として設定するか、第１レベルの高周波成分を高周波数帯域成分として設定し、上記説明したコアリング処理等、画像の中からノイズを抽出し選択的に信号強度を抑制する処理を施した後の高周波成分を中周波数帯域信号とみなし、画像データの感度に応じた強調処理を施してもよい。
【０１４１】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【０１４２】
［第１の実施の形態］
＜画像撮像装置１００の構成＞
まず、本発明の第１の実施の形態の画像撮像装置１００について説明する。
図１２に、画像撮像装置１００のブロック図を示す。
【０１４３】
画像撮像装置１００の光学系は、フォーカスの調節が可能なレンズ１と、光量を調節する絞り２と、被写体情報を電気信号に変換する固体撮像素子（ＣＣＤ）３と、を備えている。
【０１４４】
ＣＣＤ３は、レンズ１及び絞り２を介してＣＣＤ３の受光面に結像される被写体情報を、ＣＣＤ３内のセンサ毎に光の入射光量に応じた量の電気的な信号へと光電変換する。ＣＣＤ３は、制御部１１から出力される信号に従ってＣＣＤ駆動回路１０から出力されるタイミングパルスに基づいて、ＣＣＤ３に蓄積された電気的な信号をアナログ処理回路４に順次出力する。
【０１４５】
ＣＣＤ３は、図１３に示すように、低感度撮像素子１８と、高感度撮像素子１９とがハニカム状に配置されて構成されている。図１４は、低感度撮像素子１８、高感度撮像素子１９によって得られる画像データのダイナミックレンジの概念図である。具体的には、低感度撮像素子１８、高感度撮像素子１９が受光する被写体の輝度に対する信号電荷量を各々グラフＤＬ、ＤＨで示している。グラフＤＨに示すように、高感度撮像素子１９は、より暗い被写体に対して反応することができるが、より明るい被写体に対しては信号が飽和してしまう。一方、グラフＤＬに示すように、低感度撮像素子１８は、より明るい被写体に対して応答することができるが、より暗い被写体に対して感度が不足する。
【０１４６】
アナログ処理回路４は、ＣＣＤ３によって得られた各画像データのＲ・Ｇ・Ｂ信号の増幅やノイズの低減処理を行う。
Ａ／Ｄ変換器５は、アナログ処理回路４により処理されたＲ・Ｇ・Ｂ信号をデジタルのＲ・Ｇ・Ｂ信号に変換して出力する。
一時記憶メモリ６は、Ａ／Ｄ変換器５から出力された低感度撮像素子１８と高感度撮像素子１９からのＲ・Ｇ・Ｂ信号を一時的に格納する。
【０１４７】
制御部１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部（図示略）に記憶されている各種制御プログラムと、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（図示略）との協働により、画像撮像装置１００を構成する各部の動作を制御する。具体的には、制御部１１は、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１３、焦点距離調整回路１２、ＣＣＤ駆動回路１０、アナログ処理回路４、一時記憶メモリ６、画像処理部７、出力部８、記憶デバイス９、操作部１４、表示部１５、ストロボ１７を駆動させるストロボ駆動回路１６等を制御する。
【０１４８】
操作部１４には、図示しないボタン、カーソルキー等が設けられ、設定された操作情報は制御部１１に送られる。
【０１４９】
表示部１５はデジタル画像データを表示するとともに、ユーザが撮影に関する設定や条件を確認する用途に用いる。
【０１５０】
画像処理部７は、一時記憶メモリ６に記憶されたＲ・Ｇ・Ｂ信号に画像処理を施す。画像処理部７は、高感度画像データと低感度画像データに対する空間周波数処理の条件設定、空間周波数処理、表示部１５に表示されるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。これらの処理結果や、処理済み画像データ又は合成された広ダイナミックレンジ画像は、必要に応じて、記憶デバイス９により記憶メディアに保存されるか、あるいは、続いて処理をするために、出力部８により画像処理装置（図示せず）に出力される。
【０１５１】
出力部８は、ネットワークケーブル、ケーブル又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を介して、画像処理を施した後の画像データを画像処理装置やコンピュータに出力する通信手段である。
【０１５２】
記憶デバイス９は、デジタル画像データや、画像撮像装置１００の制御プログラムの記録及び／又は読み出しを行うことが可能な記憶手段である。記憶デバイス９は、メモリカード、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）等の各種記録媒体に画像データを記録する。
【０１５３】
＜画像処理部７の処理＞
次に、画像撮像装置１００の画像処理部７における処理の概要を説明する。
【０１５４】
まず、図１５に示すように、画像撮像装置１００により、被写体が撮像され、高感度画像データと低感度画像データが生成される（ステップＳ１）。次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に空間周波数処理条件が設定される（ステップＳ２）。設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ３）。そして、処理結果に基づいて広ダイナミックレンジ画像が生成される（ステップＳ４）。
【０１５５】
次に、同一の被写体を表す高感度画像データと、低感度画像データに対して周波数帯域別処理を施して、広ダイナミックレンジ画像を生成する処理についてより詳細に説明する。
図１６は、本発明を特徴づける広ダイナミックレンジ画像生成処理１のフローチャートである。
【０１５６】
まず、高感度画像データと低感度画像データが取得される（ステップＳ１１）。第１の実施の形態の画像撮像装置１００においては、被写体を撮像することにより、各感度の画像データが取得される。次に、各々の画像データのＲ・Ｇ・Ｂの信号値が、下記式（２０）に従って輝度信号Ｙと色差信号Ｃｒ・Ｃｂに変換される（ステップＳ１２）。ただし、この変換方式に限定されるものではなく、当業界で知られる種々の手法を選択することができる。
【０１５７】
次に、高感度画像データ、低感度画像データ各々から変換された輝度信号について多重解像度変換が施され、３つの周波数帯域成分に分解される（ステップＳ１３）。最高周波数帯域の成分が高周波数帯域成分、次に高い周波数帯域の成分が中周波数帯域成分と設定される（ステップＳ１４）。ただし、ステップＳ１３において周波数帯域成分に分解するにあたっては、３つの周波数帯域成分に分解することには限定されず、それ以上に分解されることとしてもよい。また、ステップＳ１４において１つ又は複数の周波数帯域の成分を、高周波数帯域成分、中周波数帯域成分と設定してもよい。
【０１５８】
次に、各感度画像データに対応する、高周波数帯域成分に対する抑制処理の処理条件と、中周波数帯域成分に対する強調処理の処理条件と、が設定される（ステップＳ１５）。高周波数帯域成分に対する抑制処理としては、設定の対象となる画像データの感度が高いほど、信号強度を抑制するように設定される。中周波数帯域成分に対する強調処理としては、設定の対象となる画像データの感度が高いほど、信号強度を強調するように設定される。設定された条件に従って、各感度の画像データに対応する輝度信号の高周波数帯域成分について抑制処理が施され（ステップＳ１６−１，Ｓ１６−２）、中周波数帯域成分について強調処理が施される（ステップＳ１７−１，Ｓ１７−２）。
【０１５９】
次に、各感度画像データの輝度信号の処理済み高周波数帯域成分が加算合成されて広ダイナミックレンジ輝度信号の高周波数帯域成分が生成される（ステップＳ１８−１）。同様に、各感度画像データの輝度信号の処理済み中周波数帯域成分が加算合成されて広ダイナミックレンジ輝度信号の中周波数帯域成分が生成される（ステップＳ１８−２）。同様に別途、各感度画像データの輝度信号の未処理の低周波数帯域成分が加算合成されて広ダイナミックレンジ輝度信号の低周波数帯域成分が生成される（図示せず）。
【０１６０】
そして、広ダイナミックレンジ輝度信号の各周波数帯域成分に対して多重解像度逆変換が施され、処理済み広ダイナミックレンジ画像の輝度信号Ｙ’が得られる（ステップＳ１９）。この処理済み広ダイナミックレンジ画像の輝度信号Ｙ’と、高感度画像データと低感度画像データの色差信号を合成して得られた広ダイナミックレンジ画像の色差信号Ｃｒ’・Ｃｂ’と、が下記式（２１）に従って変換され、広ダイナミックレンジ画像Ｒ’・Ｇ’・Ｂ’が生成される（ステップＳ２０）。
【０１６１】
（双直交ウェーブレット変換）
次に、図１７を参照して、各感度の画像データの輝度成分に対して施される多重解像度変換に、１レベルの双直交ウェーブレット変換を採用した場合の、本発明における高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する。
【０１６２】
図１７では、各感度の画像データの輝度成分の信号Ｓ０に対し、１レベルの双直交ウェーブレット変換を行う。フィルタとしては図１８に示す係数のフィルタ（Ｃｏｈｅｎ， Ｄａｕｂｅｃｈｉｅｓ， Ｆｅａｕｖｅａｕ５−３）を用いる。
【０１６３】
図１７に示すように、信号Ｓ０に対して図１８のフィルタを用いて１レベルの双直交ウェーブレット変換を施すことで、低周波成分信号Ｓ１、高周波成分信号Ｗｈ１，Ｗｖ１，Ｗｄ１が得られる。この場合、本発明における高周波数帯域成分は、高周波成分信号Ｗｈ１，Ｗｖ１，Ｗｄ１と設定する。Ｗｈ１，Ｗｖ１，Ｗｄ１に対して、前述の式（２）に従って高周波数帯域成分に対する抑制処理を施し、抑制処理済みの信号強度Ｗｈ’１，Ｗｖ’１，Ｗｄ’１を算出する。
ただし、ｉは高感度又は低感度を指す。
【０１６４】
次に、中周波数帯域成分に対する強調処理であるが、上記のように分離した周波数帯域が２つしかないので、ノイズ成分を除去した高周波成分Ｗｈ’１，Ｗｖ’１，Ｗｄ’１を中周波数帯域成分として扱い、前述の式（５）に従って強調処理済みの信号強度、Ｗｈ’’１，Ｗ’’ｖ１，Ｗ’’ｄ１を算出する。
ただし、ｉは高感度又は低感度を指す。
【０１６５】
こうして得られたＷｈ’’１，Ｗｖ’’１，Ｗｄ’’１と、未処理の低周波成分Ｓ１をもとにウェーブレット逆変換を行い、各感度毎に設定された条件に応じて抑制処理と強調処理が施された信号値Ｓ’０が算出される。
【０１６６】
このように、各感度の画像データ毎に上記処理を適用すればよいが、処理済みの各感度画像データ（各感度画像データの輝度成分）を合成して広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を生成するにあたっては、空間周波数空間において行われることとしてもよい。
【０１６７】
多重解像度変換に双直交ウェーブレットを採用する場合、各感度に対応して処理済みの高周波数帯域成分（各感度におけるＷｈ’’１，Ｗｖ’’１，Ｗｄ’’１）と、未処理の低周波数帯域成分（各感度におけるＳ１）と、を合成することにより、広ダイナミックレンジにおける高周波数帯域成分と低周波数帯域成分が算出され、これを双直交ウェーブレット逆変換することにより、実空間における広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を算出することができる。
【０１６８】
以上、１レベルの双直交ウェーブレット変換を採用した場合を説明したが、これに限定されるものではなく、レベル数やフィルタ係数等、種々の形態をとることが可能である。
【０１６９】
上記のように、１レベルの双直交ウェーブレットを採用して生成された広ダイナミックレンジ画像を出力し確認したところ、各感度画像データに空間周波数処理を施さない場合と比較して、鮮鋭性を劣化させることなくノイズが除去されていることが確認された。また、各感度画像データに同一の条件で空間周波数処理を施し広ダイナミックレンジ画像データを生成した場合と比較したところ、シャドウ部とハイライト部の質感に違和感のない鮮鋭化、ノイズ除去がなされていることが確認された。
【０１７０】
（二項ウェーブレット変換）
次に、図１９を参照して、各感度の画像データの輝度成分に対して施される多重解像度変換に、２レベルの二項ウェーブレット変換を採用した場合の、本発明における高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する。
【０１７１】
図１９に示すように、各感度の画像データの輝度成分の信号Ｓ０に対し、２レベルの二項ウェーブレット変換を行う。
【０１７２】
フィルタとしては、図２０に示す係数のフィルタを用いる。図２０において、ｘ＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、ｘ＝−１のフィルタ係数は、現在処理している画素の１つ前の画素に対するフィルタ係数で、ｘ＝１のフィルタ係数は、現在処理している画素の１つ後の画素に対するフィルタ係数である（以下同様）。
【０１７３】
二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２ｎ−１−１個のゼロを挿入したものが用いられる（前述の参考文献を参照。）。また、二項ウェーブレット変換のレベルｉに応じて定められる補正係数γｉは、図２１に示す値を用いる。
【０１７４】
図１９に示すように、信号Ｓ０に２レベルの二項ウェーブレット変換を施すことで、高周波側から、Ｗｘ１とＷｙ１、Ｗｘ２とＷｙ２、Ｓ２の３つの周波数帯域成分に分割されるが、抑制処理の対象となる高周波帯域成分信号はＷｘ１，Ｗｙ１、強調処理の対象となる中周波数帯域成分信号はＷｘ２，Ｗｙ２と設定する。各信号値に対する具体的な抑制処理、強調処理は多重解像度変換として双直交ウェーブレット変換を用いた場合と同様に施せばよい。Ｗｘ１，Ｗｙ１に抑制処理を施して得られたＷｘ’１，Ｗｙ１と、Ｗｘ２，Ｗｙ２に強調処理を施して得られたＷｘ’２，Ｗｙ’２と、未処理のＳ２と、をもとに二項ウェーブレット逆変換を施し、抑制処理と強調処理が各感度毎に設定された条件に応じて施された信号値Ｓ’０が算出される。
【０１７５】
このように、各感度の画像データ（画像データの輝度成分）毎に上記処理を適用すればよいが、処理済みの各感度画像データ（各感度画像データの輝度成分）を合成して広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を生成するにあたっては、空間周波数空間において行われることとしてもよい。
【０１７６】
多重解像度変換として、２レベルの二項ウェーブレット変換を採用する場合、各感度に対応して処理済みの高周波数帯域成分（各感度におけるＷｘ’１，Ｗｙ’１）と中周波数帯域成分（各感度におけるＷｘ’２，Ｗｙ’ ２）、未処理の低周波数帯域成分（各感度におけるＳ２）について、合成することにより、広ダイナミックレンジにおける高周波数帯域成分と低周波数帯域成分が算出され、これらを二項ウェーブレット逆変換することにより、実空間における広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を算出することができる。
【０１７７】
以上、２レベルの二項ウェーブレット変換を採用する態様を説明したが、具体的態様はこれに限定されるものではなく、レベル数やフィルタ係数等、種々の形態をとることが可能である。
【０１７８】
上記のように、２レベルの二項ウェーブレットを採用して生成された広ダイナミックレンジ画像を出力し確認したところ、ノイズ除去後の画像の質感のつながりが自然で違和感がなく、鮮鋭化がなされた箇所についても、周囲から浮いたような不自然さがなく、双直交ウェーブレット変換を用いた例と比較して、さらに自然な質感と、人物等の主要な被写体を浮き立たせる立体感を有する広ダイナミックレンジ画像が得られることが確認された。
【０１７９】
第１の実施の形態の画像撮像装置１００によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができるので、この処理結果に基づいて、視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【０１８０】
また、高感度画像データと低感度画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことができるので、鮮鋭性やノイズ除去等の画像特性を調整するのに効率的である。
【０１８１】
例えば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制するので、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【０１８２】
また、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。したがって、これらの処理結果に基づいて生成した広ダイナミックレンジ画像は、従来と比較して、シャドウ部からハイライト部まであらゆる明るさの領域について細かい構造の被写体が見やすくなる。
【０１８３】
このように、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。特に、シャドウ部のベタ領域のノイズ除去効果に、高周波数帯域成分、中周波数帯域成分、単独の信号強度の調整から得られる効果を足し合わせた以上の相乗効果が見られる。
【０１８４】
また、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【０１８５】
また、高感度画像データと低感度画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。したがって、この結果に基づいて、違和感のない鮮鋭化が施された広ダイナミックレンジ画像の生成が可能となる。
【０１８６】
また、鮮鋭性、ノイズ特性といった個々の特性の向上だけでなく、広ダイナミックレンジ画像における処理後の自然な質感や、違和感のない立体感を得ることができる。
【０１８７】
近年、デジタル画像を扱うユーザは増加してきており、さらに、デジタル画像処理に対する習熟度は初心者からプロユーザまで幅広い。初心者にとっては、多岐にわたる選択肢がある画像撮像装置よりも、自動的に高画質な画像が得られることが望ましい。また、撮影を業務で行う場合にも、得られる画像が高画質であれば、その手段は自動化されていることが好ましい。本発明によれば、幅広いユーザが満足することができる高画質な広ダイナミックレンジ画像を簡便に提供することができる。
【０１８８】
なお、図１６に示したような、空間周波数処理の処理結果をもとに空間周波数空間において加算合成し、空間周波数空間における広ダイナミックレンジ画像を算出し、これを変換処理し、実空間における広ダイナミックレンジ画像データを生成する方法は、処理負荷の点で好ましいが、図２２に示すように、各感度の異なる画像データに施した空間周波数処理の処理結果を、実空間に変換し画像データにした後に、加算合成することにより広ダイナミックレンジ画像を生成してもよい。
【０１８９】
図２２は、広ダイナミックレンジ画像生成処理２のフローチャートである。図２２において、図１６と同様の処理を示す部分は、同一の符号を付し、説明を省略する。
【０１９０】
各感度画像データに対応する処理済みの高周波数帯域成分及び中周波数帯域成分と、未処理の低周波数帯域成分とに基づいて、多重解像度逆変換が施され、各感度に対応する処理済み輝度信号が生成される（ステップＳ２１−１，Ｓ２１−２）。各感度に対応する処理済み輝度信号と未処理の色差信号とが前述の式（２１）に従って変換され、処理済み高感度画像データ及び処理済み低感度画像データが生成される（ステップＳ２２−１，Ｓ２２−２）。
【０１９１】
さらに、処理済み高感度画像データと処理済み低感度画像データとが加算合成されることにより、広ダイナミックレンジ画像データが生成される（ステップＳ２３）。
【０１９２】
図２２に示した方法は、処理済みの各感度画像データをモニタ等の表示デバイスに出力し、視覚的に確認する等の目的において有効である。
【０１９３】
また、図１６のステップＳ１８−１，Ｓ１８−２や、図２２のステップＳ２３における感度の異なる画像に対応する信号の合成方法は、低感度画像に対応する信号値と、高感度画像に対応する信号値を比較し、所定の閾値に従ってどちらか一方の値を選択すればよい。ただし、合成の方法は、これに限定されるものではなく、例えば、特開２００１−８１０４号公報に記載されている高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択する方法、特開２００３−１８４４５号公報に記載されている複数の撮像信号のうちいずれか一つを選択する方法、特開２００−１２５２０９号公報等に記載されている第１の受光素子から得られた信号の飽和レベルを調整して、第２の受光素子から得られた信号と合成する方法をはじめ、いずれかの信号を選択する手法だけでなく、重みを付けて加算する方法等、種々の手法を採用することができる。
【０１９４】
また、図１６のステップＳ１６−１，Ｓ１６−２，Ｓ１７−１，Ｓ１７−２の処理において生成された各感度の画像データの処理結果を、画像撮像装置１００とは物理的に独立した画像処理装置に出力し、その後の処理を画像処理装置において行うこととしてもよい。これにより、空間周波数処理が施された結果に基づいて広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【０１９５】
画像処理装置に処理結果を出力するには、例えば、画像撮像装置１００において処理結果が記録媒体に記録され、記録媒体を介して画像処理装置が処理結果を取得することとしてもよいし、画像撮像装置１００が画像処理装置とケーブルを介して有線状態で接続、又は通信やインターネットを介して無線状態で接続され、画像撮像装置１００が出力した処理結果を画像処理装置が取得することとしてもよい。この場合、画像処理装置は、画像撮像装置１００と離れた場所に設置されていてもよい。
【０１９６】
［第２の実施の形態］
次に、本発明の第２の実施の形態の画像撮像装置１００について説明する。第２の実施の形態における画像撮像装置１００の構成及び機能については、第１の実施の形態と同様であるので、第１の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０１９７】
図２３は、画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【０１９８】
まず、図２３に示すように、画像撮像装置１００により、被写体が撮像され、高感度画像データと低感度画像データが生成される（ステップＳ３１）。
【０１９９】
次に、高感度画像データに対する鮮鋭化処理の鮮鋭性強調の効果が、低感度画像データに対する鮮鋭性強調の効果より小さくなるように、空間周波数処理条件が設定される（ステップＳ３２）。この鮮鋭化処理として、１次微分演算による強調や２次微分演算（ラプラシアン）による強調等が挙げられる。
【０２００】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ３３）。
【０２０１】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ３４）。
【０２０２】
そして、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとが関連付けられて、ネットワークケーブル、ケーブル又は無線ＬＡＮ等を介して画像処理装置に出力される（ステップＳ３５）。ここで、「関連付ける」とは、同一の被写体から得られたという情報が画像データのタグ情報に記載される等、同一の被写体から同時に得られた画像データの組であることを示すことをいう。
【０２０３】
第２の実施の形態の画像撮像装置１００によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像撮像装置１００内で広ダイナミックレンジ画像を生成する場合と比較して画像撮像装置１００の処理負荷が低減され、処理速度が上がり、広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【０２０４】
また、後に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、各感度の画像データ又は最初に生成した広ダイナミックレンジ画像をモニタ等で確認した時に、処理結果が不満であれば、特定の感度の画像に処理を加えたり、処理条件を変更したりする等、処理の追加や補正を施した後に、広ダイナミックレンジ画像を再生成することが可能になる。
【０２０５】
また、プロユーザのように、扱う画像データのサイズ容量が大きく、撮影シーンが多い状況では、種々の画像処理の処理負荷が高いため、撮像装置が広ダイナミックレンジ画像を生成する処理を行わず、本実施の形態のように、空間周波数処理済み画像データを生成する処理（図２３のステップＳ３４）までを行い、撮像装置とは物理的に異なる画像処理装置により広ダイナミックレンジ画像の生成が行われることが好ましい。
【０２０６】
また、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように空間周波数処理の条件を設定するので、高感度画像データのノイズ特性の劣化を抑えつつ、低感度画像データの鮮鋭性を強調することができる。
【０２０７】
［第３の実施の形態］
次に、本発明の第３の実施の形態の画像撮像装置１００について説明する。第３の実施の形態における画像撮像装置１００の構成及び機能については、第１の実施の形態と同様であるので、第１の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０２０８】
図２４は、画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【０２０９】
まず、図２４に示すように、画像撮像装置１００により、被写体が撮像され、高感度画像データと低感度画像データが生成される（ステップＳ４１）。
【０２１０】
次に、高感度画像データに対するノイズ除去の効果が、低感度画像データに対するノイズ除去の効果より大きくなるように、空間周波数処理条件が設定される（ステップＳ４２）。このノイズ除去処理として、ＬＰＦやＨＰＦ等のフィルタ処理や、ＤＣＴ等の直交変換やフーリエ変換、あるいは双直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割し、画像の平滑化を周波数領域の低域フィルタを用いて行う等の方法が挙げられる。
【０２１１】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ４３）。
【０２１２】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ４４）。
【０２１３】
処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される（ステップＳ４５）。記録媒体としては、メモリカード、ＣＤ−Ｒ、ＤＶＤ−Ｒ等が用いられる。
【０２１４】
第３の実施の形態の画像撮像装置１００によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置においても、広ダイナミックレンジ画像の生成が可能となる。
【０２１５】
また、第２の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【０２１６】
また、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【０２１７】
［第４の実施の形態］
＜画像処理装置２００の構成＞
次に、図２５〜図２７を参照して、本発明の第４の実施の形態の画像処理装置２００について説明する。
図２５は、画像処理装置２００の概観構成を示す斜視図である。画像処理装置２００は、出力デバイスとして画像を形成する画像記録手段と、表示デバイスとしてＣＲＴディスプレイモニタと、を備える。
【０２１８】
図２５に示すように、画像処理装置２００には、本体２０２の一側面にマガジン装填部２０３が備えられている。本体２０２の内側には、出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられ、作成されたプリントは、本体２０２の他側面に設けられたトレー２０６に排出される。
【０２１９】
また、本体２０２の上部には、表示装置としてのＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）２０８、透過原稿を読み込む装置であるフィルムスキャナ部２０９、反射原稿入力装置２１０、操作部２１１が備えられている。このＣＲＴ２０８が、プリントを作成しようとする画像情報の画像を画面に表示する表示手段を構成している。さらに、本体２０２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部２１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部２１５が備えられている。また、本体２０２の内部には、これらの各部を集中制御する制御部２０７が備えられている。
【０２２０】
画像読込部２１４には、ＰＣカード用アダプタ２１４ａ、フロッピー（登録商標）ディスク用アダプタ２１４ｂが備えられ、ＰＣカード２１３ａやフロッピーディスク２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像された複数の駒画像データが記録されたメモリを有する。フロッピーディスク２１３ｂには、例えば、デジタルカメラで撮像された複数の駒画像データが記録されている。その他、駒画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）データ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が挙げられる。
【０２２１】
画像書込部２１５には、フロッピーディスク用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、各々、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク２１６ｃとしては、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）等がある。
【０２２２】
なお、図２５では、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４が、本体２０２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【０２２３】
なお、図２５に示した画像処理装置２００では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【０２２４】
＜画像処理装置２００の内部構成＞
図２６は、画像処理装置２００の内部構成を示すブロック図である。画像処理装置２００は、図２６に示すように、制御部２０７、露光処理部２０４、プリント作成部２０５、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４、通信手段（入力）２３２、画像書込部２１５、データ蓄積手段２７１、操作部２１１、ＣＲＴ２０８、通信手段（出力）２３３から構成される。
【０２２５】
制御部２０７は、マイクロコンピュータにより構成され、ＲＯＭ等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（図示略）との協働により、画像処理装置２００を構成する各部の動作を制御する。
【０２２６】
制御部２０７は、本発明の画像処理装置に係る画像処理部２７０を有し、操作部２１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により取得した画像データ、画像読込部２１４から読み込まれた画像データ、外部機器から通信手段（入力）２３２を介して入力された画像データに対して、画像処理を施して出力用画像データ生成し、露光処理部２０４に出力する。また、画像処理部２７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部２７０の出力先としては、ＣＲＴ２０８、画像書込部２１５、通信手段（出力）２３３等がある。
【０２２７】
露光処理部２０４は、感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に出力する。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【０２２８】
フィルムスキャナ部２０９は、アナログカメラにより撮像されてネガフィルムを現像して得られる現像済みのネガフィルムＮからの駒画像データを読み込む。反射原稿入力装置２１０は、駒画像を印画紙に焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０２２９】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿としては、写真感光材料があり、この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等がある。この写真感光材料には、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナにより、デジタル画像データに変換し、駒画像データとすることができる。また、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットベットスキャナにより、駒画像データに変換することができる。
【０２３０】
画像読込部２１４は、ＰＣカード２１３ａやフロッピーディスク２１３ｂに記録された駒画像データを読み出して制御部２０７に転送する。この画像読込部２１４は、画像転送手段２３０として、ＰＣカード用アダプタ２１４ａ、フロッピーディスク用アダプタ２１４ｂ等を有する。画像読込部２１４は、ＰＣカード用アダプタ２１４ａに差し込まれたＰＣカード２１３ａや、フロッピーディスク用アダプタ２１４ｂに差し込まれたフロッピーディスク２１３ｂに記録された駒画像データを読み取り、制御部２０７に転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０２３１】
通信手段（入力）２３２は、画像処理装置２００が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【０２３２】
画像書込部２１５は、画像搬送部２３１として、フロッピーディスク用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃを備えている。画像書込部２１５は、制御部２０７から入力される書込信号に従って、フロッピーディスク用アダプタ２１５ａに差し込まれたフロッピーディスク２１６ａ、ＭＯ用アダプタ２１５ｂに差し込まれたＭＯ２１６ｂ、光ディスク用アダプタ２１５ｃに差し込まれた光ディスク２１６ｃに、生成された画像データを書き込む。
【０２３３】
データ蓄積手段２７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【０２３４】
操作部２１１は、情報入力手段２１２を有する。情報入力手段２１２は、例えば、タッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。なお、操作部２１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ２０８は、制御部２０７から入力された表示制御信号に従って、画像データ等を表示する。
【０２３５】
通信手段（出力）２３３は、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、画像処理装置２００が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【０２３６】
このように画像処理装置２００は、各種デジタルメディアの画像や画像原稿を分割測光して得られた画像情報を取り込む画像入力手段と、複数の感度の異なる画像データに対し、個々に空間周波数処理の条件を設定し、設定された条件に従って画像データに空間周波数処理を施し、さらに、処理結果に基づいて、広ダイナミックレンジ画像データを生成する、又は処理済み画像データを生成する等、本発明の特徴となる画像処理を施す画像処理手段と、広ダイナミックレンジ画像や処理済み画像データ等の処理済みの画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像出力手段と、通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する手段とを有する。
【０２３７】
＜画像処理部２７０の構成＞
図２７は、画像処理装置２００の画像処理部２７０の機能的構成を示すブロック図である。画像処理部２７０は、図２７に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【０２３８】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部２０９から入力された画像データに対し、フィルムスキャナ部２０９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳの記載情報内容）等も併せて画像調整処理部７０４に出力する。
【０２３９】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置２１０から入力された画像データに対し、反射原稿入力装置２１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【０２４０】
画像データ書式解読処理部７０３は、画像転送手段２３０や通信手段（入力）２３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部２７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【０２４１】
この他、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２３２からの主要被写体に関わる情報及び撮影条件に関する情報を補足・補充する形で、操作部２１１から該情報を画像調整処理部７０４に送ることもできる。
【０２４２】
出力画像の大きさについての指定は操作部２１１から入力される。この他に、通信手段（入力）２３２から取得した出力画像の大きさについて指定があった場合や、画像転送手段２３０が取得した画像データのヘッダ情報やタグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０３が該情報を検出し、画像調整処理部７０４へ出力する。
【０２４３】
画像調整処理部７０４は、操作部２１１又は制御部２０７の指令に基づいて、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２３２から受け取った画像情報に対して、複数の感度の異なる空間周波数処理の条件を設定し、設定された条件に従った空間周波数処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段２７１へ処理済みの画像信号を送出する。
【０２４４】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ２０８に出力する。
【０２４５】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部２０４に出力する。
【０２４６】
画像処理装置２００に、大判インクジェットプリンタ等の外部プリンタ２３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【０２４７】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２３３に出力する。
【０２４８】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置２００は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【０２４９】
＜画像調整処理部７０４の処理＞
次に、画像処理装置２００の画像調整処理部７０４における処理の概要を説明する。
【０２５０】
まず、図２８に示すように、画像処理装置２００により、高感度画像データと低感度画像データが取得される（ステップＳ５１）。画像データの取得方法としては、画像読込部２１４からデジタル画像データが読み込まれることとしてもよいし、外部機器から通信手段（入力）２３２を介して入力されてもよい。ここで、同一の被写体から得られた画像データ同士はタグ情報に記載される等の方法により関連付けられている。
【０２５１】
次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に空間周波数処理条件が設定される（ステップＳ５２）。
【０２５２】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ５３）。そして、処理結果に基づいて広ダイナミックレンジ画像が生成される（ステップＳ５４）。
【０２５３】
高感度画像データと、低感度画像データから広ダイナミックレンジ画像を生成する一連の処理については、第１の実施の形態において説明した広ダイナミックレンジ画像生成処理１（図１６）や広ダイナミックレンジ画像生成処理２（図２２）と同様であるので、説明を省略する。
【０２５４】
第４の実施の形態の画像処理装置２００によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができるので、この処理結果に基づいて、視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【０２５５】
また、図１６や図２２に示す処理と同様に、高感度画像データと低感度画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことにより、効率的に鮮鋭性やノイズ除去等の画像特性を調整することができる。
【０２５６】
例えば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制することにより、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【０２５７】
また、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。
【０２５８】
このように、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。
【０２５９】
また、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【０２６０】
また、高感度画像データと低感度画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。
【０２６１】
また、デジタルカメラ等の撮像装置側の処理負荷を低減させることができるため、撮像装置の小サイズ化・軽量化を図ることができる。
【０２６２】
なお、図２８のステップＳ５３の処理において生成された各感度の画像データの処理結果を、画像処理装置２００とは物理的に独立した画像処理装置に出力し、その後の処理を別の画像処理装置において行うこととしてもよい。
【０２６３】
［第５の実施の形態］
次に、本発明の第５の実施の形態の画像処理装置２００について説明する。第５の実施の形態における画像処理装置２００の構成及び機能については、第４の実施の形態と同様であるので、第４の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０２６４】
図２９は、画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【０２６５】
まず、図２９に示すように、画像処理装置２００により、高感度画像データと低感度画像データが取得される（ステップＳ６１）。
【０２６６】
次に、高感度画像データに対する鮮鋭化処理の鮮鋭性強調の効果が、低感度画像データに対する鮮鋭性強調の効果より小さくなるように、空間周波数処理条件が設定される（ステップＳ６２）。
【０２６７】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ６３）。
【０２６８】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ６４）。
【０２６９】
そして、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとが関連付けられて、ネットワークケーブル、ケーブル又は無線ＬＡＮ等を介して別の画像処理装置に出力される（ステップＳ６５）。
【０２７０】
第５の実施の形態の画像処理装置２００によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像処理装置２００内で広ダイナミックレンジ画像を生成する場合と比較して画像処理装置２００の処理負荷が低減され、処理速度が上がる。
【０２７１】
また、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【０２７２】
また、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように空間周波数処理の条件を設定するので、高感度画像データのノイズ特性の劣化を抑えつつ、低感度画像データの鮮鋭性を強調することができる。
【０２７３】
［第６の実施の形態］
次に、本発明の第６の実施の形態の画像処理装置２００について説明する。第６の実施の形態における画像処理装置２００の構成及び機能については、第４の実施の形態と同様であるので、第４の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０２７４】
図３０は、画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【０２７５】
まず、図３０に示すように、画像処理装置２００により、高感度画像データと低感度画像データが取得される（ステップＳ７１）。
【０２７６】
次に、高感度画像データに対するノイズ除去の効果が、低感度画像データに対するノイズ除去の効果より大きくなるように、空間周波数処理条件が設定される（ステップＳ７２）。
【０２７７】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ７３）。
【０２７８】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ７４）。
【０２７９】
処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される（ステップＳ７５）。記録媒体としては、メモリカード、ＣＤ−Ｒ、ＤＶＤ−Ｒ等が用いられる。
【０２８０】
第６の実施の形態の画像処理装置２００によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある別の画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【０２８１】
また、第５の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【０２８２】
また、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【０２８３】
なお、上記の各実施の形態においては、画像撮像装置１００により撮像される画像データ又は画像処理装置２００により取得される画像データの感度が、高感度画像データと低感度画像データの２つの場合について説明したが、感度の異なる画像データは３つ以上であってもよい。
【０２８４】
また、上記の各実施の形態においては、感度の異なる画像データから合成される広ダイナミックレンジ画像データが１つの場合について説明したが、感度の異なる複数の画像データのうち、任意の画像データを組み合わせて合成し、複数の広ダイナミックレンジ画像データを生成することとしてもよい。
【０２８５】
また、上記の各実施の形態において、複数の感度の異なる画像データに対する個々の周波数帯域別処理の条件の設定にあたっては、同一の周波数帯域成分の調整の強度を変更してもよく、調整する周波数帯域を変更してもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。
【０２８６】
また、上記の各実施の形態において、画像データ等の取得、記録又は保存に用いられる記録媒体は、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピーディスク、磁気記憶媒体（ＭＯ）、ＣＤ−Ｒ等、いずれであってもよい。また、記録媒体に画像データ等を書き込むユニットは、画像撮像装置１００や画像処理装置２００と一体であってもよいし、コードを介して有線状態で接続された書き込みユニットであってもよいし、通信やインターネットを介して無線状態で接続された独立のユニットであってもよいし、あるいは遠隔地に設置されたユニット等であってもよい。さらに、画像データのファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧ、Ｅｘｉｆ等の規格化された汎用のファイル形式で記録媒体に記録されるのが好ましい。
【０２８７】
【発明の効果】
請求項１、１４、２７に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができる。
【０２８８】
請求項２、１５、２８に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた空間周波数処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、高画質な広ダイナミックレンジ画像を生成することができる。
【０２８９】
請求項３、１６、２９に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して装置の処理負荷が低減され、処理速度が上がる。
【０２９０】
請求項４、１７、３０に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【０２９１】
請求項５、１８、３１に記載の発明によれば、画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、空間周波数処理の条件を設定するので、高感度の画像データのノイズ特性の劣化を抑えつつ、低感度の画像データの鮮鋭性を強調することができる。
【０２９２】
請求項６、１９、３２に記載の発明によれば、画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【０２９３】
請求項７、２０、３３に記載の発明によれば、感度の異なる画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことができるので、鮮鋭性やノイズ除去等の画像特性を調整するのに効率的である。
【０２９４】
請求項８、２１、３４に記載の発明によれば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制するので、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【０２９５】
請求項９、２２、３５に記載の発明によれば、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。
【０２９６】
請求項１０、２３、３６に記載の発明によれば、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。
【０２９７】
請求項１１、２４、３７に記載の発明によれば、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【０２９８】
請求項１２、２５、３８に記載の発明によれば、感度の異なる複数の画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。
【０２９９】
請求項１３、２６、３９に記載の発明によれば、二項ウェーブレット変換を用いることにより、各感度の画像データに異なる条件で処理をしているにも関わらず、画像データから高精度にノイズを除去することができ、かつ、ノイズ除去後の画像において質感のつながりを自然で、違和感のないものにすることができる。また、画像中で鮮鋭化がなされた箇所についても、周囲から浮いたような不自然さがなく、自然な質感を保つことができる。
【図面の簡単な説明】
【図１】抑制調整関数の例を示す図である。
【図２】強調調整関数の例を示す図である。
【図３】ウェーブレット変換において用いられるウェーブレット関数を示した図である。
【図４】直交ウェーブレット変換又は双直交ウェーブレット変換におけるフィルタ処理を示す図である。
【図５】２次元信号における１レベルの直交ウェーブレット変換又は双直交ウェーブレット変換を示す図である。
【図６】３レベルの直交ウェーブレット変換又は双直交ウェーブレット変換で信号分解される過程を示す模式図である。
【図７】直交ウェーブレット変換又は双直交ウェーブレット変換で分解された信号をウェーブレット逆変換により再構成する方法を示す図である。
【図８】入力信号Ｓ０の波形と、二項ウェーブレット変換により得られる各レベルの補正済高周波成分の波形を示す図である。
【図９】２次元信号における１レベルの二項ウェーブレット変換を示す図である。
【図１０】２次元信号における１レベル二項ウェーブレット逆変換を示す図である。
【図１１】２次元信号における二項ウェーブレット変換処理の概念を示す図である。
【図１２】画像撮像装置１００のブロック図である。
【図１３】画像撮像装置１００のＣＣＤ３における撮像素子の配置を示す図である。
【図１４】低感度撮像素子１８、高感度撮像素子１９によって得られる画像データのダイナミックレンジの概念図である。
【図１５】第１の実施の形態における画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【図１６】広ダイナミックレンジ画像生成処理１のフローチャートである。
【図１７】多重解像度変換に、１レベルの双直交ウェーブレット変換を採用した場合の高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する図である。
【図１８】図１７の双直交ウェーブレット変換におけるフィルタ係数を示す図である。
【図１９】多重解像度変換に、２レベルの二項ウェーブレット変換を採用した場合の高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する図である。
【図２０】図１９の二項ウェーブレット変換におけるフィルタ係数を示す図である。
【図２１】図１９の二項ウェーブレット変換における補正係数γｉを示す図である。
【図２２】広ダイナミックレンジ画像生成処理２のフローチャートである。
【図２３】第２の実施の形態における画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【図２４】第３の実施の形態における画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【図２５】画像処理装置２００の概観構成を示す斜視図である。
【図２６】画像処理装置２００の内部構成を示すブロック図である。
【図２７】画像処理装置２００の画像処理部２７０の機能的構成を示すブロック図である。
【図２８】第４の実施の形態における画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【図２９】第５の実施の形態における画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【図３０】第６の実施の形態における画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【符号の説明】
１００ 画像撮像装置
１ レンズ
２ 絞り
３ ＣＣＤ
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ 出力部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１４ 操作部
１５ 表示部
１８ 低感度撮像素子
１９ 高感度撮像素子
２００ 画像処理装置
２０４ 露光処理部
２０５ プリント作成部
２０７ 制御部
２０８ ＣＲＴ
２０９ フィルムスキャナ部
２１０ 反射原稿入力装置
２１１ 操作部
２１４ 画像読込部
２１５ 画像書込部
２３０ 画像転送手段
２３１ 画像搬送部
２３２ 通信手段（入力）
２３３ 通信手段（出力）
２３４ 外部プリンタ
２７０ 画像処理部
２７１ データ蓄積手段
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部
７０５ ＣＲＴ固有処理部
７０６ プリンタ固有処理部（１）
７０７ プリンタ固有処理部（２）
７０８ 画像データ書式作成処理部
【発明の属する技術分野】
本発明は、画像撮像装置、画像処理装置及び画像処理プログラムに関し、特に、被写体を撮像して得られた複数の画像データから広ダイナミックレンジ画像データを生成する画像撮像装置、画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、ユーザが鑑賞する画像の対象が、銀塩写真フィルムから得られた写真プリントに替わって、デジタルカメラで撮像した画像等のデジタル画像に移行しつつある。デジタル画像は、デジタル化されているため、例えば、デジタル画像データに画像処理を施し、加工した画像を出力したり、インターネット上のホームページに掲載したり、ポストカードに印刷して利用したり等、多様に活用されている。こうした銀塩写真からデジタル画像への移行は、一般ユーザだけでなく、カメラマンをはじめとするプロユーザにおいても同様である。
【０００３】
デジタル画像の取得方法としては、被写体を電子スチルカメラ（デジタルカメラ）で撮像したり、銀塩カメラで撮像した銀塩フィルム画像をスキャナ等の撮像機器でデジタル画像としたりする方法が一般的である。このような固体撮像デバイスを有する撮像装置では、固体撮像デバイスのダイナミックレンジが銀塩フィルム、特に、一般ユーザに広く用いられている銀塩ネガフィルムに比べて狭い。そのため、被写体の輝度域が広い場合には露出条件によってハイライト部（被写体の高輝度部分）が潰れたり、撮像時の露出条件が適切でなく画像全体の濃度（明るさ）が適切でない場合に補正が困難であったり、広いダイナミックレンジを有する銀塩ネガフィルムを使用した銀塩システムに劣る点があった。
【０００４】
このような状況を受けて、特性の異なる固体撮像素子を併用することで広いダイナミックレンジ画像の取得を可能にした撮像装置が種々提案されている。
【０００５】
例えば、高感度の第１の受光素子と、低感度の第２の受光素子を半ピッチずらして隣接配置した撮像装置において、個々の受光素子から信号を取得し、第１の受光素子から得られた信号の飽和レベルを調整して、第２の受光素子から得られた信号と合成して広いダイナミックレンジ画像を生成する撮像装置が開示されている（例えば、特許文献１及び特許文献２参照。）。これにより、合成画像の飽和ムラや偽信号の発生を抑制することができる。
【０００６】
また、撮像によって、異なる感度特性の受光素子から得られる高感度映像信号と低感度映像信号を生成し、高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択することで広ダイナミックレンジ画像を形成する撮像装置が開示されている（例えば、特許文献３参照。）。この場合、回路構成が簡易であり、また記録媒体に記録する際に必要な記憶領域が少なくてよいという利点がある。
【０００７】
また、異なる特性をもつ独立した複数の撮像光学系と、各撮像光学系から独立に受光・撮像する受光感度の異なる撮像デバイスを有し、複数の撮像信号のうちいずれか一つを選択し、予め決められた画像処理を施して出力する撮像装置が提案されている（例えば、特許文献４参照。）。
【０００８】
これらの技術は、被写体を複数の異なる特性を有する撮像デバイス等を用いて撮像して、同一被写体を表す、異なる感度の画像を複数生成し、これらを合成又はいずれか１つを選択することにより、広ダイナミックレンジ画像を生成することを特徴としている。
【０００９】
【特許文献１】
特開２０００−１２５２０９号公報
【特許文献２】
特開２０００−１２５３１１号公報
【特許文献３】
特開２００１−８１０４号公報
【特許文献４】
特開２００３−１８４４５号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記の従来技術はいずれも、複数の感度の異なる画像を合成することによる明るさのつながりに違和感はないものの、複数の感度の異なる画像に対して個々の特性に応じた処理、すなわち、鮮鋭化処理や、鑑賞時に不快と感ずるノイズを除去するノイズ除去処理等の、より高画質な合成画像を生成するための処理がなされていないという問題があった。
【００１１】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、感度の異なる複数の画像データに基づいて、鮮鋭性、ノイズ特性に優れた高画質な広ダイナミックレンジ画像を生成することが可能な画像撮像装置、画像処理装置及び画像処理プログラムを提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するための請求項１に記載の発明は、被写体を撮像し、同一の被写体を表す感度の異なる複数の画像データを生成する撮像手段と、前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定手段と、前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理手段と、を備えることを特徴とする画像撮像装置である。
【００１３】
請求項１４に記載の発明は、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得手段と、前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定手段と、前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理手段と、を備えることを特徴とする画像処理装置である。
【００１４】
請求項２７に記載の発明は、画像処理を実行するためのコンピュータに、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得機能と、前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定機能と、前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理機能と、を実現させるための画像処理プログラムである。
【００１５】
請求項１、１４、２７に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができる。
【００１６】
請求項２に記載の発明は、請求項１に記載の画像撮像装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像撮像装置である。
【００１７】
請求項１５に記載の発明は、請求項１４に記載の画像処理装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像処理装置である。
【００１８】
請求項２８に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成機能を実現させることを特徴とする画像処理プログラムである。
【００１９】
請求項２、１５、２８に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた空間周波数処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、高画質な広ダイナミックレンジ画像を生成することができる。
【００２０】
請求項３に記載の発明は、請求項１に記載の画像撮像装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像撮像装置である。
【００２１】
請求項１６に記載の発明は、請求項１４に記載の画像処理装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像処理装置である。
【００２２】
請求項２９に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて出力する出力機能と、を実現させることを特徴とする画像処理プログラムである。
【００２３】
請求項３、１６、２９に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して装置の処理負荷が低減され、処理速度が上がる。
【００２４】
請求項４に記載の発明は、請求項１に記載の画像撮像装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像撮像装置である。
【００２５】
請求項１７に記載の発明は、請求項１４に記載の画像処理装置において、さらに、前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像処理装置である。
【００２６】
請求項３０に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録機能と、を実現させることを特徴とする画像処理プログラムである。
【００２７】
請求項４、１７、３０に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【００２８】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の画像撮像装置において、前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像撮像装置である。
【００２９】
請求項１８に記載の発明は、請求項１４〜１７のいずれか一項に記載の画像処理装置において、前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理装置である。
【００３０】
請求項３１に記載の発明は、請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理プログラムである。
【００３１】
高感度の画像データは低照度で撮像されているためＳ／Ｎ比が低く、強度の鮮鋭化処理を施すと、鮮鋭性が強調されるよりも暗電流ノイズ等のノイズ成分が強調され、ノイズ特性が劣化してしまう。逆に、低感度の画像データはＳ／Ｎ比が高く、主要な被写体が適度な露出条件で撮像されている場合が主であるので、鮮鋭化処理によるノイズ特性の劣化の懸念が小さい。
【００３２】
請求項５、１８、３１に記載の発明によれば、画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、空間周波数処理の条件を設定するので、高感度の画像データのノイズ特性の劣化を抑えつつ、低感度の画像データの鮮鋭性を強調することができる。
【００３３】
複数の感度の異なる画像データに対する個々の鮮鋭化処理の条件の設定にあたっては、同一の鮮鋭化処理の手法を用いて鮮鋭性強調の強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。
【００３４】
請求項６に記載の発明は、請求項１〜４のいずれか一項に記載の画像撮像装置において、前記空間周波数処理には少なくともノイズ除去処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像撮像装置である。
【００３５】
請求項１９に記載の発明は、請求項１４〜１７のいずれか一項に記載の画像処理装置において、前記空間周波数処理には少なくともノイズ除去処理が含まれており、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理装置である。
【００３６】
請求項３２に記載の発明は、請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、前記空間周波数処理には少なくともノイズ除去処理が含まれており、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理プログラムである。
【００３７】
高感度の画像データは低照度で撮像されておりＳ／Ｎ比が低く、暗電流ノイズ等のノイズが視覚的に目立ちやすいため、ノイズ除去処理を強度に適用する必要がある。それに対して、低感度の画像データはＳ／Ｎ比が高く、また、ノイズが発生していても画像そのものの明るさが比較的明るいため、ノイズは視覚的に目立ちにくい。
【００３８】
請求項６、１９、３２に記載の発明によれば、画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【００３９】
複数の感度の異なる画像データに対する個々のノイズ除去処理の条件の設定にあたっては、同一のノイズ除去処理の手法を用いてノイズ除去の強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。
【００４０】
請求項７に記載の発明は、請求項１〜４のいずれか一項に記載の画像撮像装置において、前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、前記条件設定手段は、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像撮像装置である。
【００４１】
請求項２０に記載の発明は、請求項１４〜１７のいずれか一項に記載の画像処理装置において、前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、前記条件設定手段は、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像処理装置である。
【００４２】
請求項３３に記載の発明は、請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、前記条件設定機能において、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像処理プログラムである。
【００４３】
各画像データの鮮鋭性やノイズ特性は、各画像データの各周波数帯域成分の強度に密接に関係しており、また、それらの関係は画像データの感度によっても異なる。
例えば、画像データを複数の周波数帯域別成分に分離した場合、デジタルカメラで撮像した画像データに生じるノイズの１つである暗電流ノイズは、高周波数帯域成分に相当する。また、被写体に人物が撮影されている場合、その髪や目等の細かい構造は、中周波数帯域成分に相当する。高周波数帯域成分のノイズは除去し、中周波数帯域成分の細かい構造は鮮鋭化することが望ましい。
【００４４】
請求項７、２０、３３に記載の発明によれば、感度の異なる画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことができるので、鮮鋭性やノイズ除去等の画像特性を調整するのに効率的である。
【００４５】
複数の感度の異なる画像データに対する個々の周波数帯域別処理の条件の設定にあたっては、同一の周波数帯域成分の調整の強度を変更してもよく、調整する周波数帯域を変更してもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。また、画像データを複数の周波数帯域成分に分離する手法は、複数の周波数帯域成分に対して共通のものを用いることが計算効率上好ましいが、各周波数帯域成分に対して異なる手法を用いてもよい。
【００４６】
請求項８に記載の発明は、請求項７に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置である。
【００４７】
請求項２１に記載の発明は、請求項２０に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置である。
【００４８】
請求項３４に記載の発明は、請求項３３に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラムである。
【００４９】
複数の感度の異なる画像データの高周波数帯域成分は、その画像データの感度が高ければ高いほど、暗電流ノイズ等のノイズ成分が多く含まれている。一方、感度が低い画像データの高周波数帯域成分は、ノイズ成分は少なく、細かい構造に相当する成分が多くを占めている。
【００５０】
請求項８、２１、３４に記載の発明によれば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制するので、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【００５１】
複数の感度の異なる画像データに対する個々の高周波数帯域成分の信号強度を抑制する条件の設定にあたっては、複数の感度の異なる画像データにおける同一の高周波数帯域成分の信号強度を、高感度の場合には抑制するように、低感度の場合にはより弱く抑制するように設定すればよい。
【００５２】
請求項９に記載の発明は、請求項７に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置である。
【００５３】
請求項２２に記載の発明は、請求項２０に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置である。
【００５４】
請求項３５に記載の発明は、請求項３３に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラムである。
【００５５】
複数の感度の異なる画像データの中周波数帯域成分は、被写体を画像中で視認する上で重要視される細かい構造、例えば、人物の顔における目等の構造に相当する。画像データの感度が高いほど、画像全体の中から、その重要視される細かい構造を視認することが困難である。
【００５６】
請求項９、２２、３５に記載の発明によれば、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。
【００５７】
複数の感度の異なる画像データに対する個々の中周波数帯域成分の信号強度を強調する条件の設定にあたっては、複数の感度の異なる画像データにおける同一の中周波数帯域成分の信号強度を、高感度の場合にはより強く強調するように、低感度の場合にはより弱く強調するように設定すればよい。
【００５８】
請求項１０に記載の発明は、請求項７に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置である。
【００５９】
請求項２３に記載の発明は、請求項２０に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置である。
【００６０】
請求項３６に記載の発明は、請求項３３に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラムである。
【００６１】
請求項１０、２３、３６に記載の発明によれば、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。
【００６２】
請求項１１に記載の発明は、請求項７〜１０のいずれか一項に記載の画像撮像装置において、前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像撮像装置である。
【００６３】
請求項２４に記載の発明は、請求項２０〜２３のいずれか一項に記載の画像処理装置において、前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像処理装置である。
【００６４】
請求項３７に記載の発明は、請求項３３〜３６のいずれか一項に記載の画像処理プログラムにおいて、前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像処理プログラムである。
【００６５】
高感度画像データと低感度画像データの鮮鋭性の差や、発生するノイズの強度差は、輝度成分においてその差が顕著に現れる。
【００６６】
請求項１１、２４、３７に記載の発明によれば、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【００６７】
なお、除去する対象のノイズが色ムラ等、輝度成分ではなく、色差成分に起因するものの場合、画像データから輝度成分を抽出する際に、同時に色差成分を抽出し、色差成分における高周波数帯域成分を輝度成分と同様に調整することが好ましい。
【００６８】
請求項１２に記載の発明は、請求項７〜１１のいずれか一項に記載の画像撮像装置において、前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像撮像装置である。
【００６９】
請求項２５に記載の発明は、請求項２０〜２４のいずれか一項に記載の画像処理装置において、前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像処理装置である。
【００７０】
請求項３８に記載の発明は、請求項３３〜３７のいずれか一項に記載の画像処理プログラムにおいて、前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像処理プログラムである。
【００７１】
請求項１２、２５、３８に記載の発明によれば、感度の異なる複数の画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。
【００７２】
請求項１３に記載の発明は、請求項１２に記載の画像撮像装置において、多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像撮像装置である。
【００７３】
請求項２６に記載の発明は、請求項２５に記載の画像処理装置において、多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像処理装置である。
【００７４】
請求項３９に記載の発明は、請求項３８に記載の画像処理プログラムにおいて、多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像処理プログラムである。
【００７５】
二項ウェーブレット変換は、直交・双直交ウェーブレット等のウェーブレット変換と異なり、画像を間引くことがなく、ノイズの抽出が高精度に得られる。また、急峻な濃度勾配をもつエッジと緩やかな濃度勾配をもつエッジ等、画像の濃度勾配を分別することが可能となる。
【００７６】
請求項１３、２６、３９に記載の発明によれば、二項ウェーブレット変換を用いることにより、各感度の画像データに異なる条件で処理をしているにも関わらず、画像データから高精度にノイズを除去することができ、かつ、ノイズ除去後の画像において質感のつながりを自然で、違和感のないものにすることができる。また、画像中で鮮鋭化がなされた箇所についても、周囲から浮いたような不自然さがなく、自然な質感を保つことができる。
【００７７】
次に、本発明において使用される語句について詳細に説明する。
【００７８】
本発明の記載における「画像撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、デジタルカメラやスキャナがこれに含まれる。撮像素子としては、ＣＣＤ（電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））とシフトレジスタと呼ばれる電荷転送機構と、市松模様のカラーフィルタとを組み合わせ、感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子が挙げられるが、本発明における撮像素子は、感度の異なる少なくとも２種類の撮像素子を組み合わせて用いることを特徴とする。
【００７９】
このような感度の異なる撮像素子を組み合わせた例として、特開２０００−１２５２０９号公報には、図１３に示すように、低感度撮像素子１８と、高感度撮像素子１９とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置された固体撮像素子が記載されている。本発明の撮像素子は、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。
【００８０】
本発明の記載における「感度」とは、被写体の明るさ（輝度）に対する応答特性を表す指標であり、より高感度な撮像素子ほど、より暗い被写体に対して応答することができることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光が完全に遮断された状態でも微弱なノイズ信号（暗電流ノイズ、あるいはホワイトノイズと称される。）を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。光が遮断された状態で撮像素子が発するノイズ信号の強度は、受光面積に反比例する特性を有する。
【００８１】
したがって、低感度と高感度の２種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、あるいは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性（色弁別能）を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【００８２】
本発明の記載における「ダイナミックレンジ」とは、被写体の明るさ（輝度）の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子ほど、より暗い被写体からより明るい被写体に対して応答することができる。一般に、撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることができない。
【００８３】
また、高感度の撮像素子ほど、より暗い被写体に対して応答することができるが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度の撮像素子は、より明るい被写体に対しても信号が飽和しにくく、応答することができるが、より暗い被写体に対して感度が不足する。したがって、低感度と高感度の２種類の撮像素子で構成し、よりダイナミックレンジを拡大する場合、各々のダイナミックレンジの重なりを最小にすることが望ましい。
【００８４】
本発明の記載における「鮮鋭化処理」とは、目的に応じて画像を見やすくするために、画像におけるエッジを強調する処理のことであり、当業界で知られる種々の手法を選択することができる。具体的な手法については、例えば、１次微分演算による強調や２次微分演算（ラプラシアン）による強調等があるが、これらに限定されるものではない。比較的自然な強調処理を行うことができるため、ラプラシアンによる強調、あるいはアンシャープマスクによる処理が広く用いられている。こうした公知の鮮鋭性強調技法は、例えば「Ｃ言語で学ぶ実践画像処理（オーム社，井上誠喜・八木伸行・林正樹・中須英輔・三谷公二・奥井誠人 共著）」等に詳細な解説がなされている。
【００８５】
ラプラシアンによる処理は、原画像の画像データにおける各画素値から、その画像データの各画素におけるラプラシアンをマイナスすることによってエッジの強調が行われる。原画像の画像データにおける各画素値、すなわち原信号をｆ（ｉ，ｊ）（ｉ，ｊは座標を表す。）、ラプラシアンによる処理が施された後の各画素値、すなわち処理済信号をＦ（ｉ，ｊ）とすると、ラプラシアンによる鮮鋭化処理は、下記式（１）で表される。
Ｆ（ｉ，ｊ）＝ｆ（ｉ，ｊ）−∇２ｆ（ｉ，ｊ） （１）
【００８６】
本発明の記載における「ノイズ除去処理」は、例えば、ＬＰＦ（ローパスフィルタ）やＨＰＦ（ハイパスフィルタ）等のフィルタ処理や、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の直交変換やフーリエ変換、あるいは双直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割し、画像の平滑化を周波数領域の低域フィルタを用いて行う等、当業界で知られる種々の手法を選択することができる。
【００８７】
具体的には、例えば、直交変換による基底画像において、原点を中心とする半径Ｒ以内の成分を完全に保存するとともに、その他の成分を除去することによって画像の平滑化を行う手法や、あるいは、多重解像度変換によって得た特定の解像度に対し、所定の閾値以下を、例えばゼロにするコアリング処理を行って画像の平滑化を行う手法や、特開２０００−６９２９１号公報に記載のように、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更する平滑化フィルタを用いる手法や、特開２００１−３５６４３２号公報に記載のようにデジタル画像データを輝度情報と色情報に分離し、色情報にのみ平滑化処理を施してノイズ（色ムラ）を低減する手法等、種々の手法を用いることができる。
【００８８】
請求項７、２０、３３に記載の発明において、画像データを周波数帯域別の成分に分離する手法としては、例えば、ＬＰＦやＨＰＦ等のフィルタ処理や、ＤＣＴ等の直交変換やフーリエ変換、あるいは双直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割することが可能であるが、これらに限定されるものではなく、当業界で知られる手法を用いることができる。
【００８９】
請求項８、２１、３４に記載の発明において、信号強度を抑制する高周波数帯域成分は、デジタルカメラ等の固体撮像素子を用いる撮像装置により得られた画像データに発生するノイズの特性を考慮し、複数ある周波数帯域成分のうち、最も高い周波数帯域成分であることが好ましい。さらに、除去したいノイズの特性に合わせて、最も高い周波数帯域以外の周波数帯域成分の信号強度を抑制の対象としてもよい。
【００９０】
例えば、複数の感度の異なる画像データがＮｓ個あり、その最高周波数帯域成分の強度Ｉｈ０（ｉ）を画像データの感度に応じて抑制し、処理済みの信号強度Ｉｈ（ｉ）を得るには、下記の式（２）に従って抑制すればよい。
Ｉｈ（ｉ）＝Ｉｈ０（ｉ）×ｆ（Ｓ（ｉ）） （２）
ただし、ｉは１からＮｓまでの整数である。
【００９１】
ここで、Ｓ（ｉ）は、ｉに対応する画像データの感度である。また、ｆ（Ｓ（ｉ））は、Ｓ（ｉ）に応じて変化する所定の抑制調整関数で、感度が高ければ強く抑制し、感度が低ければ抑制を弱める働きをもつ。
【００９２】
図１に、抑制調整関数の例を示す。ｉ，ｉ’を１からＮｓまでの整数として、画像データｉが画像データｉ’より感度が高い場合、すなわち、
Ｓ（ｉ）＞Ｓ（ｉ’） （３）
のとき、
ｆ（Ｓ（ｉ））≦ｆ（Ｓ（ｉ’）） （４）
を満たす。
ただし、抑制処理において信号強度を調整する手法は上記のものに限らず、当業界で知られる種々の手法を選択することができる。
【００９３】
請求項９、２２、３５に記載の発明において、信号強度を強調する中周波数帯域成分として、画像データを複数の周波数帯域に分割する場合は、最高周波数帯域成分と最低周波数帯域成分を除いた周波数帯域成分を対象とすることが可能であり、また、周波数帯域を２つに分割する場合には、低周波数帯域成分を中周波数帯域成分とすればよい。
【００９４】
具体的に、強調処理の強度を調整するには、例えば、複数の感度の異なる画像データがＮｓ個あり、その中周波数帯域成分の強度Ｉｍ０（ｉ）を画像データの感度に応じて強調し、処理済みの信号強度Ｉｍ（ｉ）を得るには、下記の式（５）に従って強調すればよい。
Ｉｍ（ｉ）＝Ｉｍ０（ｉ）×ｇ（Ｓ（ｉ）） （５）
ただし、ｉは１からＮｓまでの整数である。
【００９５】
ここで、Ｓ（ｉ）は、ｉに対応する画像データの感度である。また、ｇ（Ｓ（ｉ））は、Ｓ（ｉ）に応じて変化する所定の強調調整関数で、感度が高ければ強く強調し、感度が低ければ弱く強調する働きをもつ。
【００９６】
図２に、強調調整関数の例を示す。ｉ，ｉ’を１からＮｓまでの整数として、画像データｉが画像データｉ’より感度が高い場合、すなわち、
Ｓ（ｉ）＞Ｓ（ｉ’） （６）
のとき、
ｇ（Ｓ（ｉ））≧ｇ（Ｓ（ｉ’）） （７）
を満たす。
ただし、強調処理において信号強度を調整する手法は上記に限らず、当業界で知られる種々の手法を選択することができる。
【００９７】
請求項１１、２４、３７に記載の発明において、画像信号を輝度信号と色差信号に変換する操作として、例えば画像を表すＲ（Ｒｅｄ）・Ｇ（Ｇｒｅｅｎ）・Ｂ（Ｂｌｕｅ）の３色の強度信号を、公知のＹＩＱ基底・ＨＳＶ基底・ＹＵＶ基底・ＹＣｒＣｂ基底等に変換する操作や、あるいはｓＲＧＢやＮＴＳＣ等の規格に基づきＣＩＥ１９３１表色系のＸＹＺ基底・ＣＩＥ１９７６の勧告するＬ＊ａ＊ｂ＊基底・Ｌ＊ｕ＊ｖ＊基底等に変換する操作を用いることができる。本発明における輝度信号と色差信号の分離は色彩学的に完全に緻密な変換でなくても十分な効果を発揮するので、例えば特開昭６３−２６７８３号公報の実施例に見られるようなＲＧＢの平均値を輝度信号とし、これに直交する２軸を色差信号とするような変換を行ってもよい。
【００９８】
本発明で用いられる「多重解像度変換」とは、ウェーブレット変換、完全再構成フィルタバンク、ラプラシアンピラミッド等に代表される手法の総称をいい、１回の変換操作により入力信号を低周波成分信号と高周波成分信号とに分解し、得られた低周波成分信号に対して同様の変換操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得る手法である。得られた多重解像度信号を加工せずにそのまま多重解像度逆変換した場合、元の信号が再構成される。こうした手法については、例えば、“Ｗａｖｅｌｅｔ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ”ｂｙ Ｇ． Ｓｔｒａｎｇ ＆ Ｔ． Ｎｇｕｙｅｎ， Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ（邦訳「ウェーブレット解析とフィルタバンク」，Ｇ．ストラング・Ｔ．グエン共著，培風館）に詳細な解説がなされている。
【００９９】
多重解像度変換を使用することで、違和感のない鮮鋭化が得られ、鮮鋭性を劣化させずにノイズの除去が可能であるという効果は、多重解像度変換の中でも特にウェーブレット変換を使用することで、より向上し、好ましい。ウェーブレット変換について、以下に概要を説明する。
【０１００】
「ウェーブレット変換」とは、図３に例示されるような有限範囲で振動するウェーブレット関数（下記式（８）参照。）を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数＜ｆ，ψａ，ｂ＞を下記式（９）で求めることにより、入力信号を下記式（１０）で示されるウェーブレット関数の総和に分解する変換である。
【数１】
上記式（８）〜（１０）において、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図３に例示するように、スケールａの値が大きいほどウェーブレット関数ψａ，ｂ（ｘ）の周波数は小さくなり、位置ｂの値に従ってウェーブレット関数ψａ，ｂ（ｘ）が振動する位置が移動する。従って、上記式（１０）は、入力信号ｆ（ｘ）を種々のスケールと位置を持つウェーブレット関数ψａ，ｂ（ｘ）の総和に分解することを意味している。
【０１０２】
上述のような変換を可能にするウェーブレット変換は、多くのものが知られているが、画像処理分野では、計算が高速な直交ウェーブレット（ｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）変換、双直交ウェーブレット（ｂｉｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）変換が広く用いられている。
【０１０３】
以下、直交ウェーブレット変換、双直交ウェーブレット変換の概要を説明する。直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は、下記式（１１）のように定義される。
【数４】
【０１０４】
前記式（１１）と前記式（８）とを比較すると、直交ウェーブレット変換、双直交ウェーブレット変換では、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２ｉで離散的に定義されていることが判る。このｉの値はレベルと呼ばれる。
【０１０５】
また実用的にはレベルｉを有限な上限Ｎまでに制限して、入力信号を下記式（１２）、式（１３）、式（１４）のように変換することが行われる。
【数５】
上記式（１２）の第２項は、レベル１のウェーブレット関数ψ１，ｊ（ｘ）の総和で表せない残差の低周波成分を、レベル１のスケーリング関数φ１，ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものを用いる。上記式（１２）に示す１レベルのウェーブレット変換により入力信号ｆ（ｘ）≡Ｓ０は、レベル１の高周波成分Ｗ１と低周波成分Ｓ１に信号分解されたことになる。
【０１０７】
ウェーブレット関数ψｉ，ｊ（ｘ）の最小移動単位は２ｉなので、入力信号Ｓ０の信号量に対して高周波成分Ｗ１と低周波成分Ｓ１の信号量は各々１／２となり、高周波成分Ｗ１と低周波成分Ｓ１の信号量の総和は、入力信号Ｓ０の信号量と等しくなる。レベル１の低周波成分Ｓ１は式（１３）において、レベル２の高周波成分Ｗ２と低周波成分Ｓ２に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ０は、式（１４）に示すように各レベル１〜Ｎの高周波成分の総和とレベルＮの低周波成分の和に分解される。
【０１０８】
ここで、前記式（１３）で示す１レベルのウェーブレット変換は、図４に示すようなフィルタ処理で計算することができる。図４において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる。また、２↓は、信号を１つおきに間引くダウンサンプリング処理を示す。
【０１０９】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図５に示すようなフィルタ処理で計算される。図５に示すように、まず入力信号Ｓｎ−１をｘ方向のローパスフィルタＬＰＦｘ、ハイパスフィルタＨＰＦｘによりフィルタ処理を行い、ｘ方向にダウンサンプリング処理を行う。これにより入力信号Ｓｎ−１はＳＸｎとＷＸｎとに分解される。このＳＸｎとＷＸｎに対して、各々ｙ方向のローパスフィルタＬＰＦｙ、ハイパスフィルタＨＰＦｙによるフィルタ処理を行い、ｙ方向にダウンサンプリング処理を行う。
【０１１０】
この１レベルのウェーブレット変換により、入力信号Ｓｎ−１は３つの高周波成分Ｗｖｎ，Ｗｈｎ，Ｗｄｎと１つの低周波成分Ｓｎに分解される。１回のウェーブレット変換により生成されるＷｖｎ，Ｗｈｎ，Ｗｄｎ，Ｓｎの各々の信号量は、分解前のＳｎ−１に比べて縦横ともに１／２となるので、分解後の４成分の信号量の総和は、分解前のＳｎ−１の信号と等しくなる。
【０１１１】
なお、図５において、ＬＰＦｘ，ＨＰＦｘ，２↓ｘのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙ，２↓ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１１２】
図６に、入力信号Ｓ０が３レベルのウェーブレット変換で信号分解される過程の模式図を示す。レベル数ｉが増えるに従って、ダウンサンプリング処理により画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【０１１３】
また、図７に示すように、分解で生成したＷｖｎ，Ｗｈｎ，Ｗｄｎ，Ｓｎにフィルタ処理で計算されるウェーブレット逆変換を施すことにより、分解前の信号Ｓｎ−１を完全再構成できることが知られている。図７において、ＬＰＦ’は逆変換用のローパスフィルタ、ＨＰＦ’は逆変換用のハイパスフィルタを示している。また、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ’ｘ，ＨＰＦ’ｘ，２↑ｘのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦ’ｙ，ＨＰＦ’ｙ，２↑ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１１４】
図７に示すように、Ｓｎをｙ方向にアップサンプリング処理及び逆変換用のローパスフィルタＬＰＦ’ｙによるフィルタ処理を施すことにより得られる信号と、Ｗｈｎをｙ方向にアップサンプリング処理及び逆変換用のハイパスフィルタＨＰＦ’ｙによるフィルタ処理を施すことにより得られる信号とを加算してＳＸｎを得る。これと同様にして、ＷｖｎとＷｄｎからＷＸｎを生成する。
【０１１５】
さらに、ＳＸｎをｘ方向にアップサンプリング処理及び逆変換用のローパスフィルタＬＰＦ’ｘによるフィルタ処理を施すことにより得られる信号と、ＷＸｎをｘ方向にアップサンプリング処理及び逆変換用のハイパスフィルタＨＰＦ’ｘによるフィルタ処理を施すことにより得られる信号とを加算することにより分解前の信号Ｓｎ−１を得ることができる。
【０１１６】
この逆変換の際に用いられるフィルタ係数は、直交ウェーブレットの場合にはウェーブレット変換に用いた係数と同じ係数が使用されるが、双直交ウェーブレットの場合にはウェーブレット変換に用いた係数とは異なる係数が使用される。
【０１１７】
本発明で利用する「二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換」については、“Ｓｉｎｇｕｌａｒｉｔｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｗ．Ｌ．Ｈｗａｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｉｎｆｏｒｍ． Ｔｈｅｏｒｙ ３８ ６１７ （１９９２）や“Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｉｇｎａｌｓ ｆｒｏｍ ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｓ．Ｚｈｏｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ． １４ ７１０ （１９９２） や“Ａ ｗａｖｅｌｅｔ ｔｏｕｒ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ２ｅｄ” ｂｙ Ｓ．Ｍａｌｌａｔ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓに詳細な説明がある。
【０１１８】
二項ウェーブレット変換のウェーブレット関数は下記式（１５）のように定義される。
【数８】
【０１１９】
前述した直交ウェーブレット変換や双直交ウェーブレット変換のウェーブレット関数は、レベルｉにおける位置の最小移動単位が２ｉで離散的に定義されていたのに対し、二項ウェーブレット変換のウェーブレット関数は、レベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換は、下記の特徴を有する。
【０１２０】
第一の特徴として、下記式（１６）に示す１レベルの二項ウェーブレット変換で生成する、高周波成分Ｗｉと低周波成分Ｓｉの各々の信号量は、変換前の信号Ｓｉ−１と同一である。
【数９】
第二の特徴として、スケーリング関数φｉ，ｊ（ｘ）とウェーブレット関数ψｉ，ｊ（ｘ）の間に、下記式（１７）の関係が成立する。
【数１０】
【０１２２】
第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γｉを高周波成分に乗じたＷｉ・γｉ（以下、これを補正済高周波成分という。）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波成分Ｗｉ・γｉの信号強度のレベル間の関係が一定の法則に従う。
【０１２３】
図８に、入力信号Ｓ０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波成分Ｗｉ・γｉの波形を示す。図８において、（ａ）は入力信号Ｓ０を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波成分Ｗ１・γ１を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波成分Ｗ２・γ２を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波成分Ｗ３・γ３を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波成分Ｗ４・γ４を示す。
【０１２４】
各レベルにおける信号強度の変化を見ると、（ａ）において、“１”や “４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。
【０１２５】
入力信号Ｓ０において、“２”に示すステップ状の信号変化に対応する補正済高周波成分Ｗｉ・γｉは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ０において、“３”に示すδ関数状の信号変化に対応する補正済高周波成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【０１２６】
第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、図９に示すような方法で行われる。図９に示すように、１レベルのウェーブレット変換において、入力信号Ｓｎ−１をｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより、低周波成分Ｓｎが得られる。また、入力信号Ｓｎ−１をｘ方向のハイパスフィルタＨＰＦｘで処理することにより、高周波成分Ｗｘｎが得られ、入力信号Ｓｎ−１をｙ方向のハイパスフィルタＨＰＦｙで処理することにより、高周波成分Ｗｙｎが得られる。
【０１２７】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓｎ−１は、２つの高周波成分Ｗｘｎ，Ｗｙｎと１つの低周波成分Ｓｎに分解される。２つの高周波成分Ｗｘｎ，Ｗｙｎは低周波成分Ｓｎの２次元における変化ベクトルＶｎのｘ成分とｙ成分に相当する。変化ベクトルＶｎの大きさＭｎと偏角Ａｎは下記式（１８）及び（１９）で与えられる。
【数１１】
二項ウェーブレット変換で得られた２つの高周波成分Ｗｘｎ，Ｗｙｎと１つの低周波成分Ｓｎに、図１０に示す二項ウェーブレット逆変換を施すことにより、変換前の信号Ｓｎ−１を再構成することができる。すなわち、低周波成分Ｓｎに対してｘ方向におけるローパスフィルタＬＰＦｘ及びｙ方向におけるローパスフィルタＬＰＦｙで処理することにより得られる信号と、高周波成分Ｗｘｎに対してｘ方向における逆変換用のハイパスフィルタＨＰＦ’ｘ及びｙ方向における逆変換用のローパスフィルタＬＰＦ’ｙで処理することにより得られる信号と、高周波成分Ｗｙｎに対してｘ方向における逆変換用のローパスフィルタＬＰＦ’ｘ及びｙ方向における逆変換用のハイパスフィルタＨＰＦ’ｙで処理することにより得られる信号と加算することにより分解前の信号Ｓｎ−１を得ることができる。
【０１２９】
本発明における二項ウェーブレット変換処理の概念を、図１１に示す。入力信号Ｓ０（本発明においては感度の異なる画像データの信号）に対して第Ｎレベルの二項ウェーブレット変換を行い、高周波数帯域〜低周波数帯域までの各周波数帯域成分を得る。その中で高周波数帯域成分と中周波数帯域成分について、上述したような抑制処理・強調処理等の空間周波数処理を施せばよい。空間周波数空間において広ダイナミックレンジ画像への合成処理を行う際には、同じレベルの周波数帯域成分を加算した後に、二項ウェーブレット逆変換を施すことで広ダイナミックレンジ画像を生成することができる。
【０１３０】
図１１において、ＬＰＦは変換用ローパスフィルタ、ＨＰＦは変換用ハイパスフィルタを示している。これらのフィルタ係数はウェーブレット関数に応じて適切に定められる（前述の参考文献を参照。）。また、ＬＰＦｘ，ＨＰＦｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙはｙ方向の処理を示す。また二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２ｎ−１−１個のゼロを挿入したものが用いられる（前述の参考文献を参照。）。
【０１３１】
図１１における入力信号Ｓ０は、上記に説明したように感度の異なる画像データの信号を指すが、ノイズ除去と鮮鋭化の効果をより効果的にするためには、画像データの信号を輝度成分と色差成分に変換し、少なくとも輝度成分である輝度信号に対し二項ウェーブレット変換を行い、本発明における高周波数帯域成分の抑制処理や中周波数帯域成分の強調処理を適用することが好ましく、さらには、輝度信号とあわせて、色差信号についても入力信号Ｓ０とし、二項ウェーブレット変換を行い、本発明における高周波数帯域成分に対する抑制処理を適用することがより好ましい。
【０１３２】
本発明において、二項ウェーブレット変換を用いるにあたっては、画像データの信号に対して少なくとも第２レベル以上の二項ウェーブレット変換を行うことが好ましい。例えば、第２レベルまで変換を行った場合には、第１レベルの高周波成分が高周波数帯域成分に、第２レベルの高周波成分が中周波数帯域成分に、第２レベルの低周波成分が低周波数帯域成分に相当する。
【０１３３】
さらに、本発明における高周波数帯域成分の抑制処理、中周波数帯域成分の強調処理を行うにあたっては、画像中の特定の画素を設定することなく一律に処理を施してもよいが、少なくとも任意の第Ｐレベル（Ｐ≦Ｎ）の高周波成分Ｗｘｐ及びＷｙｐの信号強度が特定条件を充たす場合に、その画素をノイズ画素と認識し信号強度を抑制する等、処理を施す画素を特定する手段を用いることが好ましい。
【０１３４】
その場合、例えば、デジタルカメラのＣＣＤ面に付着するホコリや、ある一部の領域のＣＣＤの損傷等が原因でない限り、感度が異なる画像データであっても、同じ画素位置にノイズが発生するとは限らない。よって、各画像データについてノイズ位置を検出し、検出したノイズに対応する画素位置の高周波数帯域成分の信号強度を抑制すればよく、その画像データの感度に応じて抑制の度合いを調整すればよい。
【０１３５】
具体的なノイズ検出の手法としては、二項ウェーブレット変換の特性を利用し、例えば、画像データの信号、好ましくは画像データの信号を変換して得た輝度信号と色差信号に対し、少なくとも第２レベル以上の二項ウェーブレット変換を行った後、少なくとも２つのレベル、例えば第１レベルと第２レベルのｘ，ｙ両方向の高周波成分信号Ｗｘ１とＷｘ２、Ｗｙ１とＷｙ２の対応する画素を比較し、ｘ，ｙの両方について第２レベルの信号強度が第１レベルの信号強度よりも大きくなっていた場合にノイズの候補として検出する等の手法を用いることができる。ただし、これに限定するものではない。
【０１３６】
また、特願２００１−３２９２０５に記述されているように、ノイズ信号の信号強度に応じて抑制の強度を変化させるコアリング処理の手法を用いることも好ましい。一般に入力信号に対してある閾値以下で出力信号を抑制する処理をコアリング処理という。
【０１３７】
本発明において、具体的には、（第（Ｐ＋１）レベルの補正済輝度高周波成分の信号強度）／（第Ｐレベルの補正済輝度高周波成分の信号強度）≦閾値Ａである場合に、画像ノイズである可能性が高いが、ノイズでない画像要素である可能性が若干あるので、第Ｐレベルの高周波成分の信号強度を０にするのではなく抑制し、かつ（第（Ｐ＋１）レベルの補正済輝度高周波成分の信号強度）／（第Ｐレベルの補正済輝度高周波成分の信号強度）≦閾値Ｂ（Ｂ＜Ａ）である場合には、該当する信号はノイズとして判断し、第Ｐレベルの輝度高周波成分の信号強度を実質的に０とする。また、閾値Ａと閾値Ｂ間で、閾値Ｂに近い方が画像ノイズである可能性が高くなるので、閾値Ｂに近づくにつれて抑制量を増大させることが好ましい。ただし、閾値Ａが１より大きく１．２以下とし、かつ閾値Ｂが０．８以上１未満とすることが好ましい。
【０１３８】
この手法を用いる場合には、感度の異なる画像データを処理する際に、個々に閾値Ａ、Ｂを設定することにより、本発明が達成される。より具体的には、低感度画像データに適用する閾値Ａ＜高感度画像データに適用する閾値Ａ、かつ、低感度画像データに適用する閾値Ｂ＜高感度画像データに適用する閾値Ｂを満たすことが好ましい。これは、低感度画像データと高感度画像データの高周波成分を比較した場合、信号値がノイズである確率が高感度画像データの高周波成分の方が高く、信号値が被写体の構造を表すものである確率が低感度画像データの高周波成分の方が高いからである。
【０１３９】
次に、中周波数帯域成分に対する強調処理であるが、複数レベルの中から中周波数帯域成分を選択するには、Ｎレベルの二項ウェーブレット変換処理を適用した場合には第２レベル以上（Ｎ−１）以下のレベルの高周波成分を中周波成分とすることが好ましい。例えば、３レベルまでの変換処理をした場合には、第２レベルの高周波成分を中周波数帯域成分とすればよい。
【０１４０】
ただし、処理時間や処理装置の環境等の制約がある場合は、第１レベルまでの二項ウェーブレット変換を行うことも可能であり、その場合には、第１レベルの高周波成分を高周波数帯域成分として、第１レベルの低周波成分を中周波数帯域成分として設定するか、第１レベルの高周波成分を高周波数帯域成分として設定し、上記説明したコアリング処理等、画像の中からノイズを抽出し選択的に信号強度を抑制する処理を施した後の高周波成分を中周波数帯域信号とみなし、画像データの感度に応じた強調処理を施してもよい。
【０１４１】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【０１４２】
［第１の実施の形態］
＜画像撮像装置１００の構成＞
まず、本発明の第１の実施の形態の画像撮像装置１００について説明する。
図１２に、画像撮像装置１００のブロック図を示す。
【０１４３】
画像撮像装置１００の光学系は、フォーカスの調節が可能なレンズ１と、光量を調節する絞り２と、被写体情報を電気信号に変換する固体撮像素子（ＣＣＤ）３と、を備えている。
【０１４４】
ＣＣＤ３は、レンズ１及び絞り２を介してＣＣＤ３の受光面に結像される被写体情報を、ＣＣＤ３内のセンサ毎に光の入射光量に応じた量の電気的な信号へと光電変換する。ＣＣＤ３は、制御部１１から出力される信号に従ってＣＣＤ駆動回路１０から出力されるタイミングパルスに基づいて、ＣＣＤ３に蓄積された電気的な信号をアナログ処理回路４に順次出力する。
【０１４５】
ＣＣＤ３は、図１３に示すように、低感度撮像素子１８と、高感度撮像素子１９とがハニカム状に配置されて構成されている。図１４は、低感度撮像素子１８、高感度撮像素子１９によって得られる画像データのダイナミックレンジの概念図である。具体的には、低感度撮像素子１８、高感度撮像素子１９が受光する被写体の輝度に対する信号電荷量を各々グラフＤＬ、ＤＨで示している。グラフＤＨに示すように、高感度撮像素子１９は、より暗い被写体に対して反応することができるが、より明るい被写体に対しては信号が飽和してしまう。一方、グラフＤＬに示すように、低感度撮像素子１８は、より明るい被写体に対して応答することができるが、より暗い被写体に対して感度が不足する。
【０１４６】
アナログ処理回路４は、ＣＣＤ３によって得られた各画像データのＲ・Ｇ・Ｂ信号の増幅やノイズの低減処理を行う。
Ａ／Ｄ変換器５は、アナログ処理回路４により処理されたＲ・Ｇ・Ｂ信号をデジタルのＲ・Ｇ・Ｂ信号に変換して出力する。
一時記憶メモリ６は、Ａ／Ｄ変換器５から出力された低感度撮像素子１８と高感度撮像素子１９からのＲ・Ｇ・Ｂ信号を一時的に格納する。
【０１４７】
制御部１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部（図示略）に記憶されている各種制御プログラムと、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（図示略）との協働により、画像撮像装置１００を構成する各部の動作を制御する。具体的には、制御部１１は、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１３、焦点距離調整回路１２、ＣＣＤ駆動回路１０、アナログ処理回路４、一時記憶メモリ６、画像処理部７、出力部８、記憶デバイス９、操作部１４、表示部１５、ストロボ１７を駆動させるストロボ駆動回路１６等を制御する。
【０１４８】
操作部１４には、図示しないボタン、カーソルキー等が設けられ、設定された操作情報は制御部１１に送られる。
【０１４９】
表示部１５はデジタル画像データを表示するとともに、ユーザが撮影に関する設定や条件を確認する用途に用いる。
【０１５０】
画像処理部７は、一時記憶メモリ６に記憶されたＲ・Ｇ・Ｂ信号に画像処理を施す。画像処理部７は、高感度画像データと低感度画像データに対する空間周波数処理の条件設定、空間周波数処理、表示部１５に表示されるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。これらの処理結果や、処理済み画像データ又は合成された広ダイナミックレンジ画像は、必要に応じて、記憶デバイス９により記憶メディアに保存されるか、あるいは、続いて処理をするために、出力部８により画像処理装置（図示せず）に出力される。
【０１５１】
出力部８は、ネットワークケーブル、ケーブル又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を介して、画像処理を施した後の画像データを画像処理装置やコンピュータに出力する通信手段である。
【０１５２】
記憶デバイス９は、デジタル画像データや、画像撮像装置１００の制御プログラムの記録及び／又は読み出しを行うことが可能な記憶手段である。記憶デバイス９は、メモリカード、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）等の各種記録媒体に画像データを記録する。
【０１５３】
＜画像処理部７の処理＞
次に、画像撮像装置１００の画像処理部７における処理の概要を説明する。
【０１５４】
まず、図１５に示すように、画像撮像装置１００により、被写体が撮像され、高感度画像データと低感度画像データが生成される（ステップＳ１）。次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に空間周波数処理条件が設定される（ステップＳ２）。設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ３）。そして、処理結果に基づいて広ダイナミックレンジ画像が生成される（ステップＳ４）。
【０１５５】
次に、同一の被写体を表す高感度画像データと、低感度画像データに対して周波数帯域別処理を施して、広ダイナミックレンジ画像を生成する処理についてより詳細に説明する。
図１６は、本発明を特徴づける広ダイナミックレンジ画像生成処理１のフローチャートである。
【０１５６】
まず、高感度画像データと低感度画像データが取得される（ステップＳ１１）。第１の実施の形態の画像撮像装置１００においては、被写体を撮像することにより、各感度の画像データが取得される。次に、各々の画像データのＲ・Ｇ・Ｂの信号値が、下記式（２０）に従って輝度信号Ｙと色差信号Ｃｒ・Ｃｂに変換される（ステップＳ１２）。ただし、この変換方式に限定されるものではなく、当業界で知られる種々の手法を選択することができる。
次に、高感度画像データ、低感度画像データ各々から変換された輝度信号について多重解像度変換が施され、３つの周波数帯域成分に分解される（ステップＳ１３）。最高周波数帯域の成分が高周波数帯域成分、次に高い周波数帯域の成分が中周波数帯域成分と設定される（ステップＳ１４）。ただし、ステップＳ１３において周波数帯域成分に分解するにあたっては、３つの周波数帯域成分に分解することには限定されず、それ以上に分解されることとしてもよい。また、ステップＳ１４において１つ又は複数の周波数帯域の成分を、高周波数帯域成分、中周波数帯域成分と設定してもよい。
【０１５８】
次に、各感度画像データに対応する、高周波数帯域成分に対する抑制処理の処理条件と、中周波数帯域成分に対する強調処理の処理条件と、が設定される（ステップＳ１５）。高周波数帯域成分に対する抑制処理としては、設定の対象となる画像データの感度が高いほど、信号強度を抑制するように設定される。中周波数帯域成分に対する強調処理としては、設定の対象となる画像データの感度が高いほど、信号強度を強調するように設定される。設定された条件に従って、各感度の画像データに対応する輝度信号の高周波数帯域成分について抑制処理が施され（ステップＳ１６−１，Ｓ１６−２）、中周波数帯域成分について強調処理が施される（ステップＳ１７−１，Ｓ１７−２）。
【０１５９】
次に、各感度画像データの輝度信号の処理済み高周波数帯域成分が加算合成されて広ダイナミックレンジ輝度信号の高周波数帯域成分が生成される（ステップＳ１８−１）。同様に、各感度画像データの輝度信号の処理済み中周波数帯域成分が加算合成されて広ダイナミックレンジ輝度信号の中周波数帯域成分が生成される（ステップＳ１８−２）。同様に別途、各感度画像データの輝度信号の未処理の低周波数帯域成分が加算合成されて広ダイナミックレンジ輝度信号の低周波数帯域成分が生成される（図示せず）。
【０１６０】
そして、広ダイナミックレンジ輝度信号の各周波数帯域成分に対して多重解像度逆変換が施され、処理済み広ダイナミックレンジ画像の輝度信号Ｙ’が得られる（ステップＳ１９）。この処理済み広ダイナミックレンジ画像の輝度信号Ｙ’と、高感度画像データと低感度画像データの色差信号を合成して得られた広ダイナミックレンジ画像の色差信号Ｃｒ’・Ｃｂ’と、が下記式（２１）に従って変換され、広ダイナミックレンジ画像Ｒ’・Ｇ’・Ｂ’が生成される（ステップＳ２０）。
（双直交ウェーブレット変換）
次に、図１７を参照して、各感度の画像データの輝度成分に対して施される多重解像度変換に、１レベルの双直交ウェーブレット変換を採用した場合の、本発明における高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する。
【０１６２】
図１７では、各感度の画像データの輝度成分の信号Ｓ０に対し、１レベルの双直交ウェーブレット変換を行う。フィルタとしては図１８に示す係数のフィルタ（Ｃｏｈｅｎ， Ｄａｕｂｅｃｈｉｅｓ， Ｆｅａｕｖｅａｕ５−３）を用いる。
【０１６３】
図１７に示すように、信号Ｓ０に対して図１８のフィルタを用いて１レベルの双直交ウェーブレット変換を施すことで、低周波成分信号Ｓ１、高周波成分信号Ｗｈ１，Ｗｖ１，Ｗｄ１が得られる。この場合、本発明における高周波数帯域成分は、高周波成分信号Ｗｈ１，Ｗｖ１，Ｗｄ１と設定する。Ｗｈ１，Ｗｖ１，Ｗｄ１に対して、前述の式（２）に従って高周波数帯域成分に対する抑制処理を施し、抑制処理済みの信号強度Ｗｈ’１，Ｗｖ’１，Ｗｄ’１を算出する。
【０１６４】
次に、中周波数帯域成分に対する強調処理であるが、上記のように分離した周波数帯域が２つしかないので、ノイズ成分を除去した高周波成分Ｗｈ’１，Ｗｖ’１，Ｗｄ’１を中周波数帯域成分として扱い、前述の式（５）に従って強調処理済みの信号強度、Ｗｈ’’１，Ｗ’’ｖ１，Ｗ’’ｄ１を算出する。
【０１６５】
こうして得られたＷｈ’’１，Ｗｖ’’１，Ｗｄ’’１と、未処理の低周波成分Ｓ１をもとにウェーブレット逆変換を行い、各感度毎に設定された条件に応じて抑制処理と強調処理が施された信号値Ｓ’０が算出される。
【０１６６】
このように、各感度の画像データ毎に上記処理を適用すればよいが、処理済みの各感度画像データ（各感度画像データの輝度成分）を合成して広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を生成するにあたっては、空間周波数空間において行われることとしてもよい。
【０１６７】
多重解像度変換に双直交ウェーブレットを採用する場合、各感度に対応して処理済みの高周波数帯域成分（各感度におけるＷｈ’’１，Ｗｖ’’１，Ｗｄ’’１）と、未処理の低周波数帯域成分（各感度におけるＳ１）と、を合成することにより、広ダイナミックレンジにおける高周波数帯域成分と低周波数帯域成分が算出され、これを双直交ウェーブレット逆変換することにより、実空間における広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を算出することができる。
【０１６８】
以上、１レベルの双直交ウェーブレット変換を採用した場合を説明したが、これに限定されるものではなく、レベル数やフィルタ係数等、種々の形態をとることが可能である。
【０１６９】
上記のように、１レベルの双直交ウェーブレットを採用して生成された広ダイナミックレンジ画像を出力し確認したところ、各感度画像データに空間周波数処理を施さない場合と比較して、鮮鋭性を劣化させることなくノイズが除去されていることが確認された。また、各感度画像データに同一の条件で空間周波数処理を施し広ダイナミックレンジ画像データを生成した場合と比較したところ、シャドウ部とハイライト部の質感に違和感のない鮮鋭化、ノイズ除去がなされていることが確認された。
【０１７０】
（二項ウェーブレット変換）
次に、図１９を参照して、各感度の画像データの輝度成分に対して施される多重解像度変換に、２レベルの二項ウェーブレット変換を採用した場合の、本発明における高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する。
【０１７１】
図１９に示すように、各感度の画像データの輝度成分の信号Ｓ０に対し、２レベルの二項ウェーブレット変換を行う。
【０１７２】
フィルタとしては、図２０に示す係数のフィルタを用いる。図２０において、ｘ＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、ｘ＝−１のフィルタ係数は、現在処理している画素の１つ前の画素に対するフィルタ係数で、ｘ＝１のフィルタ係数は、現在処理している画素の１つ後の画素に対するフィルタ係数である（以下同様）。
【０１７３】
二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２ｎ−１−１個のゼロを挿入したものが用いられる（前述の参考文献を参照。）。また、二項ウェーブレット変換のレベルｉに応じて定められる補正係数γｉは、図２１に示す値を用いる。
【０１７４】
図１９に示すように、信号Ｓ０に２レベルの二項ウェーブレット変換を施すことで、高周波側から、Ｗｘ１とＷｙ１、Ｗｘ２とＷｙ２、Ｓ２の３つの周波数帯域成分に分割されるが、抑制処理の対象となる高周波帯域成分信号はＷｘ１，Ｗｙ１、強調処理の対象となる中周波数帯域成分信号はＷｘ２，Ｗｙ２と設定する。各信号値に対する具体的な抑制処理、強調処理は多重解像度変換として双直交ウェーブレット変換を用いた場合と同様に施せばよい。Ｗｘ１，Ｗｙ１に抑制処理を施して得られたＷｘ’１，Ｗｙ１と、Ｗｘ２，Ｗｙ２に強調処理を施して得られたＷｘ’２，Ｗｙ’２と、未処理のＳ２と、をもとに二項ウェーブレット逆変換を施し、抑制処理と強調処理が各感度毎に設定された条件に応じて施された信号値Ｓ’０が算出される。
【０１７５】
このように、各感度の画像データ（画像データの輝度成分）毎に上記処理を適用すればよいが、処理済みの各感度画像データ（各感度画像データの輝度成分）を合成して広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を生成するにあたっては、空間周波数空間において行われることとしてもよい。
【０１７６】
多重解像度変換として、２レベルの二項ウェーブレット変換を採用する場合、各感度に対応して処理済みの高周波数帯域成分（各感度におけるＷｘ’１，Ｗｙ’１）と中周波数帯域成分（各感度におけるＷｘ’２，Ｗｙ’ ２）、未処理の低周波数帯域成分（各感度におけるＳ２）について、合成することにより、広ダイナミックレンジにおける高周波数帯域成分と低周波数帯域成分が算出され、これらを二項ウェーブレット逆変換することにより、実空間における広ダイナミックレンジ画像（広ダイナミックレンジ画像の輝度成分）を算出することができる。
【０１７７】
以上、２レベルの二項ウェーブレット変換を採用する態様を説明したが、具体的態様はこれに限定されるものではなく、レベル数やフィルタ係数等、種々の形態をとることが可能である。
【０１７８】
上記のように、２レベルの二項ウェーブレットを採用して生成された広ダイナミックレンジ画像を出力し確認したところ、ノイズ除去後の画像の質感のつながりが自然で違和感がなく、鮮鋭化がなされた箇所についても、周囲から浮いたような不自然さがなく、双直交ウェーブレット変換を用いた例と比較して、さらに自然な質感と、人物等の主要な被写体を浮き立たせる立体感を有する広ダイナミックレンジ画像が得られることが確認された。
【０１７９】
第１の実施の形態の画像撮像装置１００によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができるので、この処理結果に基づいて、視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【０１８０】
また、高感度画像データと低感度画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことができるので、鮮鋭性やノイズ除去等の画像特性を調整するのに効率的である。
【０１８１】
例えば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制するので、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【０１８２】
また、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。したがって、これらの処理結果に基づいて生成した広ダイナミックレンジ画像は、従来と比較して、シャドウ部からハイライト部まであらゆる明るさの領域について細かい構造の被写体が見やすくなる。
【０１８３】
このように、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。特に、シャドウ部のベタ領域のノイズ除去効果に、高周波数帯域成分、中周波数帯域成分、単独の信号強度の調整から得られる効果を足し合わせた以上の相乗効果が見られる。
【０１８４】
また、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【０１８５】
また、高感度画像データと低感度画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。したがって、この結果に基づいて、違和感のない鮮鋭化が施された広ダイナミックレンジ画像の生成が可能となる。
【０１８６】
また、鮮鋭性、ノイズ特性といった個々の特性の向上だけでなく、広ダイナミックレンジ画像における処理後の自然な質感や、違和感のない立体感を得ることができる。
【０１８７】
近年、デジタル画像を扱うユーザは増加してきており、さらに、デジタル画像処理に対する習熟度は初心者からプロユーザまで幅広い。初心者にとっては、多岐にわたる選択肢がある画像撮像装置よりも、自動的に高画質な画像が得られることが望ましい。また、撮影を業務で行う場合にも、得られる画像が高画質であれば、その手段は自動化されていることが好ましい。本発明によれば、幅広いユーザが満足することができる高画質な広ダイナミックレンジ画像を簡便に提供することができる。
【０１８８】
なお、図１６に示したような、空間周波数処理の処理結果をもとに空間周波数空間において加算合成し、空間周波数空間における広ダイナミックレンジ画像を算出し、これを変換処理し、実空間における広ダイナミックレンジ画像データを生成する方法は、処理負荷の点で好ましいが、図２２に示すように、各感度の異なる画像データに施した空間周波数処理の処理結果を、実空間に変換し画像データにした後に、加算合成することにより広ダイナミックレンジ画像を生成してもよい。
【０１８９】
図２２は、広ダイナミックレンジ画像生成処理２のフローチャートである。図２２において、図１６と同様の処理を示す部分は、同一の符号を付し、説明を省略する。
【０１９０】
各感度画像データに対応する処理済みの高周波数帯域成分及び中周波数帯域成分と、未処理の低周波数帯域成分とに基づいて、多重解像度逆変換が施され、各感度に対応する処理済み輝度信号が生成される（ステップＳ２１−１，Ｓ２１−２）。各感度に対応する処理済み輝度信号と未処理の色差信号とが前述の式（２１）に従って変換され、処理済み高感度画像データ及び処理済み低感度画像データが生成される（ステップＳ２２−１，Ｓ２２−２）。
【０１９１】
さらに、処理済み高感度画像データと処理済み低感度画像データとが加算合成されることにより、広ダイナミックレンジ画像データが生成される（ステップＳ２３）。
【０１９２】
図２２に示した方法は、処理済みの各感度画像データをモニタ等の表示デバイスに出力し、視覚的に確認する等の目的において有効である。
【０１９３】
また、図１６のステップＳ１８−１，Ｓ１８−２や、図２２のステップＳ２３における感度の異なる画像に対応する信号の合成方法は、低感度画像に対応する信号値と、高感度画像に対応する信号値を比較し、所定の閾値に従ってどちらか一方の値を選択すればよい。ただし、合成の方法は、これに限定されるものではなく、例えば、特開２００１−８１０４号公報に記載されている高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択する方法、特開２００３−１８４４５号公報に記載されている複数の撮像信号のうちいずれか一つを選択する方法、特開２００−１２５２０９号公報等に記載されている第１の受光素子から得られた信号の飽和レベルを調整して、第２の受光素子から得られた信号と合成する方法をはじめ、いずれかの信号を選択する手法だけでなく、重みを付けて加算する方法等、種々の手法を採用することができる。
【０１９４】
また、図１６のステップＳ１６−１，Ｓ１６−２，Ｓ１７−１，Ｓ１７−２の処理において生成された各感度の画像データの処理結果を、画像撮像装置１００とは物理的に独立した画像処理装置に出力し、その後の処理を画像処理装置において行うこととしてもよい。これにより、空間周波数処理が施された結果に基づいて広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【０１９５】
画像処理装置に処理結果を出力するには、例えば、画像撮像装置１００において処理結果が記録媒体に記録され、記録媒体を介して画像処理装置が処理結果を取得することとしてもよいし、画像撮像装置１００が画像処理装置とケーブルを介して有線状態で接続、又は通信やインターネットを介して無線状態で接続され、画像撮像装置１００が出力した処理結果を画像処理装置が取得することとしてもよい。この場合、画像処理装置は、画像撮像装置１００と離れた場所に設置されていてもよい。
【０１９６】
［第２の実施の形態］
次に、本発明の第２の実施の形態の画像撮像装置１００について説明する。第２の実施の形態における画像撮像装置１００の構成及び機能については、第１の実施の形態と同様であるので、第１の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０１９７】
図２３は、画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【０１９８】
まず、図２３に示すように、画像撮像装置１００により、被写体が撮像され、高感度画像データと低感度画像データが生成される（ステップＳ３１）。
【０１９９】
次に、高感度画像データに対する鮮鋭化処理の鮮鋭性強調の効果が、低感度画像データに対する鮮鋭性強調の効果より小さくなるように、空間周波数処理条件が設定される（ステップＳ３２）。この鮮鋭化処理として、１次微分演算による強調や２次微分演算（ラプラシアン）による強調等が挙げられる。
【０２００】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ３３）。
【０２０１】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ３４）。
【０２０２】
そして、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとが関連付けられて、ネットワークケーブル、ケーブル又は無線ＬＡＮ等を介して画像処理装置に出力される（ステップＳ３５）。ここで、「関連付ける」とは、同一の被写体から得られたという情報が画像データのタグ情報に記載される等、同一の被写体から同時に得られた画像データの組であることを示すことをいう。
【０２０３】
第２の実施の形態の画像撮像装置１００によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像撮像装置１００内で広ダイナミックレンジ画像を生成する場合と比較して画像撮像装置１００の処理負荷が低減され、処理速度が上がり、広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【０２０４】
また、後に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、各感度の画像データ又は最初に生成した広ダイナミックレンジ画像をモニタ等で確認した時に、処理結果が不満であれば、特定の感度の画像に処理を加えたり、処理条件を変更したりする等、処理の追加や補正を施した後に、広ダイナミックレンジ画像を再生成することが可能になる。
【０２０５】
また、プロユーザのように、扱う画像データのサイズ容量が大きく、撮影シーンが多い状況では、種々の画像処理の処理負荷が高いため、撮像装置が広ダイナミックレンジ画像を生成する処理を行わず、本実施の形態のように、空間周波数処理済み画像データを生成する処理（図２３のステップＳ３４）までを行い、撮像装置とは物理的に異なる画像処理装置により広ダイナミックレンジ画像の生成が行われることが好ましい。
【０２０６】
また、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように空間周波数処理の条件を設定するので、高感度画像データのノイズ特性の劣化を抑えつつ、低感度画像データの鮮鋭性を強調することができる。
【０２０７】
［第３の実施の形態］
次に、本発明の第３の実施の形態の画像撮像装置１００について説明する。第３の実施の形態における画像撮像装置１００の構成及び機能については、第１の実施の形態と同様であるので、第１の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０２０８】
図２４は、画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【０２０９】
まず、図２４に示すように、画像撮像装置１００により、被写体が撮像され、高感度画像データと低感度画像データが生成される（ステップＳ４１）。
【０２１０】
次に、高感度画像データに対するノイズ除去の効果が、低感度画像データに対するノイズ除去の効果より大きくなるように、空間周波数処理条件が設定される（ステップＳ４２）。このノイズ除去処理として、ＬＰＦやＨＰＦ等のフィルタ処理や、ＤＣＴ等の直交変換やフーリエ変換、あるいは双直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割し、画像の平滑化を周波数領域の低域フィルタを用いて行う等の方法が挙げられる。
【０２１１】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ４３）。
【０２１２】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ４４）。
【０２１３】
処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される（ステップＳ４５）。記録媒体としては、メモリカード、ＣＤ−Ｒ、ＤＶＤ−Ｒ等が用いられる。
【０２１４】
第３の実施の形態の画像撮像装置１００によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置においても、広ダイナミックレンジ画像の生成が可能となる。
【０２１５】
また、第２の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【０２１６】
また、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【０２１７】
［第４の実施の形態］
＜画像処理装置２００の構成＞
次に、図２５〜図２７を参照して、本発明の第４の実施の形態の画像処理装置２００について説明する。
図２５は、画像処理装置２００の概観構成を示す斜視図である。画像処理装置２００は、出力デバイスとして画像を形成する画像記録手段と、表示デバイスとしてＣＲＴディスプレイモニタと、を備える。
【０２１８】
図２５に示すように、画像処理装置２００には、本体２０２の一側面にマガジン装填部２０３が備えられている。本体２０２の内側には、出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられ、作成されたプリントは、本体２０２の他側面に設けられたトレー２０６に排出される。
【０２１９】
また、本体２０２の上部には、表示装置としてのＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）２０８、透過原稿を読み込む装置であるフィルムスキャナ部２０９、反射原稿入力装置２１０、操作部２１１が備えられている。このＣＲＴ２０８が、プリントを作成しようとする画像情報の画像を画面に表示する表示手段を構成している。さらに、本体２０２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部２１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部２１５が備えられている。また、本体２０２の内部には、これらの各部を集中制御する制御部２０７が備えられている。
【０２２０】
画像読込部２１４には、ＰＣカード用アダプタ２１４ａ、フロッピー（登録商標）ディスク用アダプタ２１４ｂが備えられ、ＰＣカード２１３ａやフロッピーディスク２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像された複数の駒画像データが記録されたメモリを有する。フロッピーディスク２１３ｂには、例えば、デジタルカメラで撮像された複数の駒画像データが記録されている。その他、駒画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）データ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が挙げられる。
【０２２１】
画像書込部２１５には、フロッピーディスク用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、各々、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク２１６ｃとしては、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）等がある。
【０２２２】
なお、図２５では、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４が、本体２０２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【０２２３】
なお、図２５に示した画像処理装置２００では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【０２２４】
＜画像処理装置２００の内部構成＞
図２６は、画像処理装置２００の内部構成を示すブロック図である。画像処理装置２００は、図２６に示すように、制御部２０７、露光処理部２０４、プリント作成部２０５、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４、通信手段（入力）２３２、画像書込部２１５、データ蓄積手段２７１、操作部２１１、ＣＲＴ２０８、通信手段（出力）２３３から構成される。
【０２２５】
制御部２０７は、マイクロコンピュータにより構成され、ＲＯＭ等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（図示略）との協働により、画像処理装置２００を構成する各部の動作を制御する。
【０２２６】
制御部２０７は、本発明の画像処理装置に係る画像処理部２７０を有し、操作部２１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により取得した画像データ、画像読込部２１４から読み込まれた画像データ、外部機器から通信手段（入力）２３２を介して入力された画像データに対して、画像処理を施して出力用画像データ生成し、露光処理部２０４に出力する。また、画像処理部２７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部２７０の出力先としては、ＣＲＴ２０８、画像書込部２１５、通信手段（出力）２３３等がある。
【０２２７】
露光処理部２０４は、感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に出力する。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【０２２８】
フィルムスキャナ部２０９は、アナログカメラにより撮像されてネガフィルムを現像して得られる現像済みのネガフィルムＮからの駒画像データを読み込む。反射原稿入力装置２１０は、駒画像を印画紙に焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０２２９】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿としては、写真感光材料があり、この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等がある。この写真感光材料には、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナにより、デジタル画像データに変換し、駒画像データとすることができる。また、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットベットスキャナにより、駒画像データに変換することができる。
【０２３０】
画像読込部２１４は、ＰＣカード２１３ａやフロッピーディスク２１３ｂに記録された駒画像データを読み出して制御部２０７に転送する。この画像読込部２１４は、画像転送手段２３０として、ＰＣカード用アダプタ２１４ａ、フロッピーディスク用アダプタ２１４ｂ等を有する。画像読込部２１４は、ＰＣカード用アダプタ２１４ａに差し込まれたＰＣカード２１３ａや、フロッピーディスク用アダプタ２１４ｂに差し込まれたフロッピーディスク２１３ｂに記録された駒画像データを読み取り、制御部２０７に転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０２３１】
通信手段（入力）２３２は、画像処理装置２００が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【０２３２】
画像書込部２１５は、画像搬送部２３１として、フロッピーディスク用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃを備えている。画像書込部２１５は、制御部２０７から入力される書込信号に従って、フロッピーディスク用アダプタ２１５ａに差し込まれたフロッピーディスク２１６ａ、ＭＯ用アダプタ２１５ｂに差し込まれたＭＯ２１６ｂ、光ディスク用アダプタ２１５ｃに差し込まれた光ディスク２１６ｃに、生成された画像データを書き込む。
【０２３３】
データ蓄積手段２７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【０２３４】
操作部２１１は、情報入力手段２１２を有する。情報入力手段２１２は、例えば、タッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。なお、操作部２１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ２０８は、制御部２０７から入力された表示制御信号に従って、画像データ等を表示する。
【０２３５】
通信手段（出力）２３３は、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、画像処理装置２００が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【０２３６】
このように画像処理装置２００は、各種デジタルメディアの画像や画像原稿を分割測光して得られた画像情報を取り込む画像入力手段と、複数の感度の異なる画像データに対し、個々に空間周波数処理の条件を設定し、設定された条件に従って画像データに空間周波数処理を施し、さらに、処理結果に基づいて、広ダイナミックレンジ画像データを生成する、又は処理済み画像データを生成する等、本発明の特徴となる画像処理を施す画像処理手段と、広ダイナミックレンジ画像や処理済み画像データ等の処理済みの画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像出力手段と、通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する手段とを有する。
【０２３７】
＜画像処理部２７０の構成＞
図２７は、画像処理装置２００の画像処理部２７０の機能的構成を示すブロック図である。画像処理部２７０は、図２７に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【０２３８】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部２０９から入力された画像データに対し、フィルムスキャナ部２０９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳの記載情報内容）等も併せて画像調整処理部７０４に出力する。
【０２３９】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置２１０から入力された画像データに対し、反射原稿入力装置２１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【０２４０】
画像データ書式解読処理部７０３は、画像転送手段２３０や通信手段（入力）２３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部２７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【０２４１】
この他、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２３２からの主要被写体に関わる情報及び撮影条件に関する情報を補足・補充する形で、操作部２１１から該情報を画像調整処理部７０４に送ることもできる。
【０２４２】
出力画像の大きさについての指定は操作部２１１から入力される。この他に、通信手段（入力）２３２から取得した出力画像の大きさについて指定があった場合や、画像転送手段２３０が取得した画像データのヘッダ情報やタグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０３が該情報を検出し、画像調整処理部７０４へ出力する。
【０２４３】
画像調整処理部７０４は、操作部２１１又は制御部２０７の指令に基づいて、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２３２から受け取った画像情報に対して、複数の感度の異なる空間周波数処理の条件を設定し、設定された条件に従った空間周波数処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段２７１へ処理済みの画像信号を送出する。
【０２４４】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ２０８に出力する。
【０２４５】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部２０４に出力する。
【０２４６】
画像処理装置２００に、大判インクジェットプリンタ等の外部プリンタ２３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【０２４７】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２３３に出力する。
【０２４８】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置２００は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【０２４９】
＜画像調整処理部７０４の処理＞
次に、画像処理装置２００の画像調整処理部７０４における処理の概要を説明する。
【０２５０】
まず、図２８に示すように、画像処理装置２００により、高感度画像データと低感度画像データが取得される（ステップＳ５１）。画像データの取得方法としては、画像読込部２１４からデジタル画像データが読み込まれることとしてもよいし、外部機器から通信手段（入力）２３２を介して入力されてもよい。ここで、同一の被写体から得られた画像データ同士はタグ情報に記載される等の方法により関連付けられている。
【０２５１】
次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に空間周波数処理条件が設定される（ステップＳ５２）。
【０２５２】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ５３）。そして、処理結果に基づいて広ダイナミックレンジ画像が生成される（ステップＳ５４）。
【０２５３】
高感度画像データと、低感度画像データから広ダイナミックレンジ画像を生成する一連の処理については、第１の実施の形態において説明した広ダイナミックレンジ画像生成処理１（図１６）や広ダイナミックレンジ画像生成処理２（図２２）と同様であるので、説明を省略する。
【０２５４】
第４の実施の形態の画像処理装置２００によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができるので、この処理結果に基づいて、視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【０２５５】
また、図１６や図２２に示す処理と同様に、高感度画像データと低感度画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことにより、効率的に鮮鋭性やノイズ除去等の画像特性を調整することができる。
【０２５６】
例えば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制することにより、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【０２５７】
また、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。
【０２５８】
このように、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。
【０２５９】
また、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【０２６０】
また、高感度画像データと低感度画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。
【０２６１】
また、デジタルカメラ等の撮像装置側の処理負荷を低減させることができるため、撮像装置の小サイズ化・軽量化を図ることができる。
【０２６２】
なお、図２８のステップＳ５３の処理において生成された各感度の画像データの処理結果を、画像処理装置２００とは物理的に独立した画像処理装置に出力し、その後の処理を別の画像処理装置において行うこととしてもよい。
【０２６３】
［第５の実施の形態］
次に、本発明の第５の実施の形態の画像処理装置２００について説明する。第５の実施の形態における画像処理装置２００の構成及び機能については、第４の実施の形態と同様であるので、第４の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０２６４】
図２９は、画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【０２６５】
まず、図２９に示すように、画像処理装置２００により、高感度画像データと低感度画像データが取得される（ステップＳ６１）。
【０２６６】
次に、高感度画像データに対する鮮鋭化処理の鮮鋭性強調の効果が、低感度画像データに対する鮮鋭性強調の効果より小さくなるように、空間周波数処理条件が設定される（ステップＳ６２）。
【０２６７】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ６３）。
【０２６８】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ６４）。
【０２６９】
そして、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとが関連付けられて、ネットワークケーブル、ケーブル又は無線ＬＡＮ等を介して別の画像処理装置に出力される（ステップＳ６５）。
【０２７０】
第５の実施の形態の画像処理装置２００によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像処理装置２００内で広ダイナミックレンジ画像を生成する場合と比較して画像処理装置２００の処理負荷が低減され、処理速度が上がる。
【０２７１】
また、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【０２７２】
また、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように空間周波数処理の条件を設定するので、高感度画像データのノイズ特性の劣化を抑えつつ、低感度画像データの鮮鋭性を強調することができる。
【０２７３】
［第６の実施の形態］
次に、本発明の第６の実施の形態の画像処理装置２００について説明する。第６の実施の形態における画像処理装置２００の構成及び機能については、第４の実施の形態と同様であるので、第４の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【０２７４】
図３０は、画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【０２７５】
まず、図３０に示すように、画像処理装置２００により、高感度画像データと低感度画像データが取得される（ステップＳ７１）。
【０２７６】
次に、高感度画像データに対するノイズ除去の効果が、低感度画像データに対するノイズ除去の効果より大きくなるように、空間周波数処理条件が設定される（ステップＳ７２）。
【０２７７】
そして、設定された条件に基づいて、高感度画像データと低感度画像データに空間周波数処理が施される（ステップＳ７３）。
【０２７８】
高感度画像データと低感度画像データに空間周波数処理が施された結果に基づいて、処理済み高感度画像データと処理済み低感度画像データが生成される（ステップＳ７４）。
【０２７９】
処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される（ステップＳ７５）。記録媒体としては、メモリカード、ＣＤ−Ｒ、ＤＶＤ−Ｒ等が用いられる。
【０２８０】
第６の実施の形態の画像処理装置２００によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある別の画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【０２８１】
また、第５の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【０２８２】
また、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【０２８３】
なお、上記の各実施の形態においては、画像撮像装置１００により撮像される画像データ又は画像処理装置２００により取得される画像データの感度が、高感度画像データと低感度画像データの２つの場合について説明したが、感度の異なる画像データは３つ以上であってもよい。
【０２８４】
また、上記の各実施の形態においては、感度の異なる画像データから合成される広ダイナミックレンジ画像データが１つの場合について説明したが、感度の異なる複数の画像データのうち、任意の画像データを組み合わせて合成し、複数の広ダイナミックレンジ画像データを生成することとしてもよい。
【０２８５】
また、上記の各実施の形態において、複数の感度の異なる画像データに対する個々の周波数帯域別処理の条件の設定にあたっては、同一の周波数帯域成分の調整の強度を変更してもよく、調整する周波数帯域を変更してもよい。また、複数の画像データが３つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う２つ以上の画像データについて同一の条件を設定してもよい。
【０２８６】
また、上記の各実施の形態において、画像データ等の取得、記録又は保存に用いられる記録媒体は、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピーディスク、磁気記憶媒体（ＭＯ）、ＣＤ−Ｒ等、いずれであってもよい。また、記録媒体に画像データ等を書き込むユニットは、画像撮像装置１００や画像処理装置２００と一体であってもよいし、コードを介して有線状態で接続された書き込みユニットであってもよいし、通信やインターネットを介して無線状態で接続された独立のユニットであってもよいし、あるいは遠隔地に設置されたユニット等であってもよい。さらに、画像データのファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧ、Ｅｘｉｆ等の規格化された汎用のファイル形式で記録媒体に記録されるのが好ましい。
【０２８７】
【発明の効果】
請求項１、１４、２７に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って空間周波数処理を施すことにより、個々の画像データの鮮鋭性やノイズ特性を最適に処理することができる。
【０２８８】
請求項２、１５、２８に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた空間周波数処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、高画質な広ダイナミックレンジ画像を生成することができる。
【０２８９】
請求項３、１６、２９に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して装置の処理負荷が低減され、処理速度が上がる。
【０２９０】
請求項４、１７、３０に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【０２９１】
請求項５、１８、３１に記載の発明によれば、画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、空間周波数処理の条件を設定するので、高感度の画像データのノイズ特性の劣化を抑えつつ、低感度の画像データの鮮鋭性を強調することができる。
【０２９２】
請求項６、１９、３２に記載の発明によれば、画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定するので、ノイズが視覚的に目立ちやすい高感度の画像データほど強度にノイズを除去することができる。
【０２９３】
請求項７、２０、３３に記載の発明によれば、感度の異なる画像データを複数の周波数帯域成分に分離し、鮮鋭性強調やノイズ除去処理をする画素や画素領域に対応する周波数帯域成分に対して処理を施すことができるので、鮮鋭性やノイズ除去等の画像特性を調整するのに効率的である。
【０２９４】
請求項８、２１、３４に記載の発明によれば、画像データの感度が高いほど高周波数帯域成分の信号強度を抑制するので、ノイズが目立つ高感度画像データからはノイズの除去が可能となり、同時に、低感度画像データは細かい微細構造を損なわず、白とび等の極端に強いノイズのみを除去することができる。
【０２９５】
請求項９、２２、３５に記載の発明によれば、画像データの中周波数帯域成分の信号強度を、感度が高い画像データほど強調することにより、画像中で重要視される細かい構造を見やすくすることができる。
【０２９６】
請求項１０、２３、３６に記載の発明によれば、高周波数帯域成分と中周波数帯域成分の信号強度の調整を合わせて行うことにより、画像の鮮鋭化と、ノイズの除去が可能となる。したがって、全体にバランスのよい広ダイナミックレンジ画像を生成することが可能となる。
【０２９７】
請求項１１、２４、３７に記載の発明によれば、各感度画像データの輝度成分に対して周波数帯域別処理を施すことにより、鮮鋭性やノイズ除去等の画像特性の調整により効果がある。
【０２９８】
請求項１２、２５、３８に記載の発明によれば、感度の異なる複数の画像データに対し、多重解像度変換を行って各周波数帯域成分を算出し、各成分の信号強度を調整する処理を行うことにより、鮮鋭性を劣化させずに、かつ高精度にノイズを除去することができる。
【０２９９】
請求項１３、２６、３９に記載の発明によれば、二項ウェーブレット変換を用いることにより、各感度の画像データに異なる条件で処理をしているにも関わらず、画像データから高精度にノイズを除去することができ、かつ、ノイズ除去後の画像において質感のつながりを自然で、違和感のないものにすることができる。また、画像中で鮮鋭化がなされた箇所についても、周囲から浮いたような不自然さがなく、自然な質感を保つことができる。
【図面の簡単な説明】
【図１】抑制調整関数の例を示す図である。
【図２】強調調整関数の例を示す図である。
【図３】ウェーブレット変換において用いられるウェーブレット関数を示した図である。
【図４】直交ウェーブレット変換又は双直交ウェーブレット変換におけるフィルタ処理を示す図である。
【図５】２次元信号における１レベルの直交ウェーブレット変換又は双直交ウェーブレット変換を示す図である。
【図６】３レベルの直交ウェーブレット変換又は双直交ウェーブレット変換で信号分解される過程を示す模式図である。
【図７】直交ウェーブレット変換又は双直交ウェーブレット変換で分解された信号をウェーブレット逆変換により再構成する方法を示す図である。
【図８】入力信号Ｓ０の波形と、二項ウェーブレット変換により得られる各レベルの補正済高周波成分の波形を示す図である。
【図９】２次元信号における１レベルの二項ウェーブレット変換を示す図である。
【図１０】２次元信号における１レベル二項ウェーブレット逆変換を示す図である。
【図１１】２次元信号における二項ウェーブレット変換処理の概念を示す図である。
【図１２】画像撮像装置１００のブロック図である。
【図１３】画像撮像装置１００のＣＣＤ３における撮像素子の配置を示す図である。
【図１４】低感度撮像素子１８、高感度撮像素子１９によって得られる画像データのダイナミックレンジの概念図である。
【図１５】第１の実施の形態における画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【図１６】広ダイナミックレンジ画像生成処理１のフローチャートである。
【図１７】多重解像度変換に、１レベルの双直交ウェーブレット変換を採用した場合の高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する図である。
【図１８】図１７の双直交ウェーブレット変換におけるフィルタ係数を示す図である。
【図１９】多重解像度変換に、２レベルの二項ウェーブレット変換を採用した場合の高周波数帯域成分に対する抑制処理、中周波数帯域成分に対する強調処理について説明する図である。
【図２０】図１９の二項ウェーブレット変換におけるフィルタ係数を示す図である。
【図２１】図１９の二項ウェーブレット変換における補正係数γｉを示す図である。
【図２２】広ダイナミックレンジ画像生成処理２のフローチャートである。
【図２３】第２の実施の形態における画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【図２４】第３の実施の形態における画像撮像装置１００の画像処理部７において実行される処理の概要を示すフローチャートである。
【図２５】画像処理装置２００の概観構成を示す斜視図である。
【図２６】画像処理装置２００の内部構成を示すブロック図である。
【図２７】画像処理装置２００の画像処理部２７０の機能的構成を示すブロック図である。
【図２８】第４の実施の形態における画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【図２９】第５の実施の形態における画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【図３０】第６の実施の形態における画像処理装置２００の画像調整処理部７０４において実行される処理の概要を示すフローチャートである。
【符号の説明】
１００ 画像撮像装置
１ レンズ
２ 絞り
３ ＣＣＤ
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ 出力部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１４ 操作部
１５ 表示部
１８ 低感度撮像素子
１９ 高感度撮像素子
２００ 画像処理装置
２０４ 露光処理部
２０５ プリント作成部
２０７ 制御部
２０８ ＣＲＴ
２０９ フィルムスキャナ部
２１０ 反射原稿入力装置
２１１ 操作部
２１４ 画像読込部
２１５ 画像書込部
２３０ 画像転送手段
２３１ 画像搬送部
２３２ 通信手段（入力）
２３３ 通信手段（出力）
２３４ 外部プリンタ
２７０ 画像処理部
２７１ データ蓄積手段
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部
７０５ ＣＲＴ固有処理部
７０６ プリンタ固有処理部（１）
７０７ プリンタ固有処理部（２）
７０８ 画像データ書式作成処理部
Claims (39)
- 被写体を撮像し、同一の被写体を表す感度の異なる複数の画像データを生成する撮像手段と、
前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定手段と、
前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理手段と、
を備えることを特徴とする画像撮像装置。 - 請求項１に記載の画像撮像装置において、さらに、
前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像撮像装置。 - 請求項１に記載の画像撮像装置において、さらに、
前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて出力する出力手段と、
を備えることを特徴とする画像撮像装置。 - 請求項１に記載の画像撮像装置において、さらに、
前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、
を備えることを特徴とする画像撮像装置。 - 請求項１〜４のいずれか一項に記載の画像撮像装置において、
前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像撮像装置。 - 請求項１〜４のいずれか一項に記載の画像撮像装置において、
前記空間周波数処理には少なくともノイズ除去処理が含まれており、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像撮像装置。 - 請求項１〜４のいずれか一項に記載の画像撮像装置において、
前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、
前記条件設定手段は、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像撮像装置。 - 請求項７に記載の画像撮像装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置。 - 請求項７に記載の画像撮像装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置。 - 請求項７に記載の画像撮像装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像撮像装置。 - 請求項７〜１０のいずれか一項に記載の画像撮像装置において、
前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像撮像装置。 - 請求項７〜１１のいずれか一項に記載の画像撮像装置において、
前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像撮像装置。 - 請求項１２に記載の画像撮像装置において、
多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像撮像装置。 - 被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得手段と、
前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定手段と、
前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理手段と、
を備えることを特徴とする画像処理装置。 - 請求項１４に記載の画像処理装置において、さらに、
前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像処理装置。 - 請求項１４に記載の画像処理装置において、さらに、
前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて出力する出力手段と、
を備えることを特徴とする画像処理装置。 - 請求項１４に記載の画像処理装置において、さらに、
前記空間周波数処理手段により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、
を備えることを特徴とする画像処理装置。 - 請求項１４〜１７のいずれか一項に記載の画像処理装置において、
前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理装置。 - 請求項１４〜１７のいずれか一項に記載の画像処理装置において、
前記空間周波数処理には少なくともノイズ除去処理が含まれており、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理装置。 - 請求項１４〜１７のいずれか一項に記載の画像処理装置において、
前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、
前記条件設定手段は、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像処理装置。 - 請求項２０に記載の画像処理装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置。 - 請求項２０に記載の画像処理装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置。 - 請求項２０に記載の画像処理装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理装置。 - 請求項２０〜２３のいずれか一項に記載の画像処理装置において、
前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像処理装置。 - 請求項２０〜２４のいずれか一項に記載の画像処理装置において、
前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像処理装置。 - 請求項２５に記載の画像処理装置において、
多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像処理装置。 - 画像処理を実行するためのコンピュータに、
被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得機能と、
前記複数の画像データの各々に施す空間周波数処理の条件を個々に設定する条件設定機能と、
前記設定された空間周波数処理条件に従って、前記複数の画像データに空間周波数処理を施す空間周波数処理機能と、
を実現させるための画像処理プログラム。 - 請求項２７に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、少なくとも１つの広ダイナミックレンジ画像を生成する画像合成機能を実現させることを特徴とする画像処理プログラム。 - 請求項２７に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、
前記複数の処理済み画像データを、関連付けて出力する出力機能と、
を実現させることを特徴とする画像処理プログラム。 - 請求項２７に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記空間周波数処理機能により前記複数の画像データに空間周波数処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、
前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録機能と、
を実現させることを特徴とする画像処理プログラム。 - 請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、
前記空間周波数処理には少なくとも鮮鋭化処理が含まれており、
前記条件設定機能において、設定の対象となる画像データの感度が高いほど、鮮鋭性強調の効果が小さくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理プログラム。 - 請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、
前記空間周波数処理には少なくともノイズ除去処理が含まれており、
前記条件設定機能において、設定の対象となる画像データの感度が高いほど、ノイズ除去の効果が大きくなるように、前記空間周波数処理の条件を設定することを特徴とする画像処理プログラム。 - 請求項２７〜３０のいずれか一項に記載の画像処理プログラムにおいて、
前記空間周波数処理には少なくとも周波数帯域別処理が含まれており、
前記条件設定機能において、前記複数の画像データの各々に施す周波数帯域別処理の条件を個々に設定することを特徴とする画像処理プログラム。 - 請求項３３に記載の画像処理プログラムにおいて、
前記条件設定機能において、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラム。 - 請求項３３に記載の画像処理プログラムにおいて、
前記条件設定機能において、設定の対象となる画像データの感度が高いほど、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラム。 - 請求項３３に記載の画像処理プログラムにおいて、
前記条件設定機能において、設定の対象となる画像データの感度が高いほど、高周波数帯域成分の信号強度を抑制し、かつ、中周波数帯域成分の信号強度を強調するように、前記周波数帯域別処理の条件を設定することを特徴とする画像処理プログラム。 - 請求項３３〜３６のいずれか一項に記載の画像処理プログラムにおいて、
前記周波数帯域別処理は、前記複数の画像データの輝度成分に対して施されることを特徴とする画像処理プログラム。 - 請求項３３〜３７のいずれか一項に記載の画像処理プログラムにおいて、
前記周波数帯域別処理は、多重解像度変換を用いて行うことを特徴とする画像処理プログラム。 - 請求項３８に記載の画像処理プログラムにおいて、
多重解像度変換は、二項ウェーブレット変換であることを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003117113A JP2004328137A (ja) | 2003-04-22 | 2003-04-22 | 画像撮像装置、画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003117113A JP2004328137A (ja) | 2003-04-22 | 2003-04-22 | 画像撮像装置、画像処理装置及び画像処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004328137A true JP2004328137A (ja) | 2004-11-18 |
Family
ID=33497111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003117113A Pending JP2004328137A (ja) | 2003-04-22 | 2003-04-22 | 画像撮像装置、画像処理装置及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004328137A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007129533A1 (ja) * | 2006-05-09 | 2007-11-15 | Sharp Kabushiki Kaisha | 撮像装置 |
| US10621711B2 (en) | 2015-10-02 | 2020-04-14 | Sony Semiconductor Solutions Corporation | Image processing device and image processing method for synthesizing plurality of images |
| CN115242968A (zh) * | 2022-06-10 | 2022-10-25 | 浙江大华技术股份有限公司 | 一种摄像设备的聚焦方法、装置和计算机可读存储介质 |
-
2003
- 2003-04-22 JP JP2003117113A patent/JP2004328137A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007129533A1 (ja) * | 2006-05-09 | 2007-11-15 | Sharp Kabushiki Kaisha | 撮像装置 |
| US10621711B2 (en) | 2015-10-02 | 2020-04-14 | Sony Semiconductor Solutions Corporation | Image processing device and image processing method for synthesizing plurality of images |
| CN115242968A (zh) * | 2022-06-10 | 2022-10-25 | 浙江大华技术股份有限公司 | 一种摄像设备的聚焦方法、装置和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI467495B (zh) | 利用全彩像素映射邊緣 | |
| JP5291084B2 (ja) | パンクロマティック画素を組み込むエッジマッピング | |
| US7260266B2 (en) | Image processing method, image processing apparatus, image processing program and image recording apparatus | |
| JP2004517384A (ja) | 動的な画像訂正および画像システム | |
| JP2002300402A (ja) | 画像処理装置、方法及び記録媒体 | |
| US7548656B2 (en) | Method and apparatus for processing image signals by applying a multi-resolution conversion processing for reducing the image size and applying a dyadic wavelet transform | |
| US20230062438A1 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
| JP2004096506A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| JP2005196270A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20120057808A1 (en) | Image processing apparatus and method for controlling image processing apparatus | |
| JP2004193957A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像記録装置 | |
| JP2004328137A (ja) | 画像撮像装置、画像処理装置及び画像処理プログラム | |
| JP4040528B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および画像処理装置を備えた画像形成装置 | |
| JP2004240732A (ja) | 画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置 | |
| JP4337386B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
| US20040213477A1 (en) | Image-processing method and apparatus, computer program for executing image processing and image-recording apparatus | |
| JP2004240955A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
| JP2004193956A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像記録装置 | |
| JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| JP2004328132A (ja) | 画像撮像装置、画像処理装置及び画像処理プログラム | |
| JP2004194225A (ja) | 画像処理方法、画像処理装置、プログラム及び画像記録装置 | |
| JP2005141659A (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体 | |
| JP2005031809A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP2004200790A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040830 |