JP2004328132A - 画像撮像装置、画像処理装置及び画像処理プログラム - Google Patents
画像撮像装置、画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2004328132A JP2004328132A JP2003117085A JP2003117085A JP2004328132A JP 2004328132 A JP2004328132 A JP 2004328132A JP 2003117085 A JP2003117085 A JP 2003117085A JP 2003117085 A JP2003117085 A JP 2003117085A JP 2004328132 A JP2004328132 A JP 2004328132A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- saturation adjustment
- processing
- saturation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 365
- 230000035945 sensitivity Effects 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims description 114
- 230000008569 process Effects 0.000 claims description 64
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 45
- 230000000694 effects Effects 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 238000012546 transfer Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 229910052709 silver Inorganic materials 0.000 description 11
- 239000004332 silver Substances 0.000 description 11
- -1 silver halide Chemical class 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 239000000428 dust Substances 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005092 sublimation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】感度の異なる複数の画像データに基づいて、色再現性に優れた高画質な広ダイナミックレンジ画像を生成する。
【解決手段】被写体を撮像して、高感度画像データと低感度画像データを生成する(S1)。次に、各感度の画像データを、R・G・B信号値から、色相H・明度V・彩度Cに変換する(S2)。次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に彩度調整処理条件を設定し(S3)、設定された条件に基づいて、彩度調整処理を施す(S4−1,S4−2)。そして、高感度画像データと低感度画像データの彩度調整処理済みの彩度C’、未処理の色相H・明度Vを各々合成し(S5)、合成された彩度C’・色相H・明度Vを、R・G・B信号に変換して広ダイナミックレンジ画像を生成する(S6)。
【選択図】 図4
【解決手段】被写体を撮像して、高感度画像データと低感度画像データを生成する(S1)。次に、各感度の画像データを、R・G・B信号値から、色相H・明度V・彩度Cに変換する(S2)。次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に彩度調整処理条件を設定し(S3)、設定された条件に基づいて、彩度調整処理を施す(S4−1,S4−2)。そして、高感度画像データと低感度画像データの彩度調整処理済みの彩度C’、未処理の色相H・明度Vを各々合成し(S5)、合成された彩度C’・色相H・明度Vを、R・G・B信号に変換して広ダイナミックレンジ画像を生成する(S6)。
【選択図】 図4
Description
【0001】
【発明の属する技術分野】
本発明は、画像撮像装置、画像処理装置及び画像処理プログラムに関し、特に、被写体を撮像して得られた複数の画像データから広ダイナミックレンジ画像データを生成する画像撮像装置、画像処理装置及び画像処理プログラムに関する。
【0002】
【従来の技術】
近年、ユーザが鑑賞する画像の対象が、銀塩写真フィルムから得られた写真プリントに替わって、デジタルカメラで撮像した画像等のデジタル画像に移行しつつある。デジタル画像は、デジタル化されているため、例えば、デジタル画像データに画像処理を施し、加工した画像を出力したり、インターネット上のホームページに掲載したり、ポストカードに印刷して利用したり等、多様に活用されている。こうした銀塩写真からデジタル画像への移行は、一般ユーザだけでなく、カメラマンをはじめとするプロユーザにおいても同様である。
【0003】
デジタル画像の取得方法としては、被写体を電子スチルカメラ(デジタルカメラ)で撮像したり、銀塩カメラで撮像した銀塩フィルム画像をスキャナ等の撮像機器でデジタル画像としたりする方法が一般的である。このような固体撮像デバイスを有する撮像装置では、固体撮像デバイスのダイナミックレンジが銀塩フィルム、特に、一般ユーザに広く用いられている銀塩ネガフィルムに比べて狭い。そのため、被写体の輝度域が広い場合には露出条件によってハイライト部(被写体の高輝度部分)が潰れたり、撮像時の露出条件が適切でなく画像全体の濃度(明るさ)が適切でない場合に補正が困難であったり、広いダイナミックレンジを有する銀塩ネガフィルムを使用した銀塩システムに劣る点があった。
【0004】
このような状況を受けて、特性の異なる固体撮像素子を併用することで広いダイナミックレンジ画像の取得を可能にした撮像装置が種々提案されている。
【0005】
例えば、高感度の第1の受光素子と、低感度の第2の受光素子を半ピッチずらして隣接配置した撮像装置において、個々の受光素子から信号を取得し、第1の受光素子から得られた信号の飽和レベルを調整して、第2の受光素子から得られた信号と合成して広いダイナミックレンジ画像を生成する撮像装置が開示されている(例えば、特許文献1及び特許文献2参照。)。これにより、合成画像の飽和ムラや偽信号の発生を抑制することができる。
【0006】
また、撮像によって、異なる感度特性の受光素子から得られる高感度映像信号と低感度映像信号を生成し、高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択することで広ダイナミックレンジ画像を形成する撮像装置が開示されている(例えば、特許文献3参照。)。この場合、回路構成が簡易であり、また記録媒体に記録する際に必要な記憶領域が少なくてよいという利点がある。
【0007】
また、異なる特性をもつ独立した複数の撮像光学系と、各撮像光学系から独立に受光・撮像する受光感度の異なる撮像デバイスを有し、複数の撮像信号のうちいずれか一つを選択し、予め決められた画像処理を施して出力する撮像装置が提案されている(例えば、特許文献4参照。)。
【0008】
これらの技術は、被写体を複数の異なる特性を有する撮像デバイス等を用いて撮像して、同一被写体を表す、異なる感度の画像を複数生成し、これらを合成又はいずれか1つを選択することにより、広ダイナミックレンジ画像を生成することを特徴としている。
【0009】
【特許文献1】
特開2000−125209号公報
【特許文献2】
特開2000−125311号公報
【特許文献3】
特開2001−8104号公報
【特許文献4】
特開2003−18445号公報
【0010】
【発明が解決しようとする課題】
しかしながら、上記の従来技術はいずれも、複数の感度の異なる画像に対して個々の特性に応じた処理が十分に施されずに合成されているため、昨今、ユーザから要望のある高画質化、特に色再現における品質向上への対応が十分になされていないという問題があった。
【0011】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、感度の異なる複数の画像データに基づいて、色再現性に優れた高画質な広ダイナミックレンジ画像を生成することが可能な画像撮像装置、画像処理装置及び画像処理プログラムを提供することを課題とする。
【0012】
【課題を解決するための手段】
上記の課題を解決するための請求項1に記載の発明は、被写体を撮像し、同一の被写体を表す感度の異なる複数の画像データを生成する撮像手段と、前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定手段と、前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理手段と、を備えることを特徴とする画像撮像装置である。
【0013】
請求項7に記載の発明は、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得手段と、前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定手段と、前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理手段と、を備えることを特徴とする画像処理装置である。
【0014】
請求項13に記載の発明は、画像処理を実行するためのコンピュータに、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得機能と、前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定機能と、前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理機能と、を実現させるための画像処理プログラムである。
【0015】
請求項1、7、13に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができる。したがって、この処理結果に基づいて生成された広ダイナミックレンジ画像は、従来よりも、色再現性に優れた視覚的・感覚的に好ましい画像となる。
【0016】
請求項2に記載の発明は、請求項1に記載の画像撮像装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像撮像装置である。
【0017】
請求項8に記載の発明は、請求項7に記載の画像処理装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像処理装置である。
【0018】
請求項14に記載の発明は、請求項13に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成機能を実現させることを特徴とする画像処理プログラムである。
【0019】
請求項2、8、14に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた彩度調整処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、色再現性に優れた高画質な広ダイナミックレンジ画像を生成することができる。
【0020】
請求項3に記載の発明は、請求項1に記載の画像撮像装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像撮像装置である。
【0021】
請求項9に記載の発明は、請求項7に記載の画像処理装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像処理装置である。
【0022】
請求項15に記載の発明は、請求項13に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて出力する出力機能と、を実現させることを特徴とする画像処理プログラムである。
【0023】
請求項3、9、15に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がる。
【0024】
請求項4に記載の発明は、請求項1に記載の画像撮像装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像撮像装置である。
【0025】
請求項10に記載の発明は、請求項7に記載の画像処理装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像処理装置である。
【0026】
請求項16に記載の発明は、請求項13に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録機能と、を実現させることを特徴とする画像処理プログラムである。
【0027】
請求項4、10、16に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【0028】
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像撮像装置である。
【0029】
請求項11に記載の発明は、請求項7〜10のいずれか一項に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像処理装置である。
【0030】
請求項17に記載の発明は、請求項13〜16のいずれか一項に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像処理プログラムである。
【0031】
全体の明度が低い、より高感度な画像は、その画像の鮮やかさがユーザの目に感知されにくく、逆に、明度の高い画像、つまり、より低感度な画像については、鮮やかさが鋭敏に感知される。
【0032】
請求項5、11、17に記載の発明によれば、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように彩度調整処理の条件を設定することにより、処理結果に基づいて広ダイナミックレンジ画像を生成した際に、シャドウ部からハイライト部まで鮮やかさのバランスがよい画像を得ることができる。
【0033】
複数の感度の異なる画像データに対する個々の彩度調整処理の条件の設定にあたっては、同一の彩度調整処理の手法を用いて、その処理強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像が3つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う2つ以上の画像データについて同一の条件を設定してもよい。
【0034】
請求項6に記載の発明は、請求項1〜5のいずれか一項に記載の画像撮像装置において、さらに、前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定手段を備え、前記条件設定手段は、前記階調変換条件設定手段により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像撮像装置である。
【0035】
請求項12に記載の発明は、請求項7〜11のいずれか一項に記載の画像処理装置において、さらに、前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定手段を備え、前記条件設定手段は、前記階調変換条件設定手段により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像処理装置である。
【0036】
請求項18に記載の発明は、請求項13〜17のいずれか一項に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定機能を実現させ、前記条件設定機能において、前記階調変換条件設定機能により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像処理プログラムである。
【0037】
感度の異なる画像データをもとに加算合成する等して広ダイナミックレンジ画像を生成するには、例えば、特開2000−125209号公報や特開2000−125311号公報のように、少なくとも1つの画像データの飽和レベルを調整する等の階調変換処理が施される。この階調変換処理において画像の階調が軟調、又は硬調になることにより、見た目の鮮やかさが変化する場合がある。また、選択された階調変換の手法によっては、見た目だけでなく、彩度の強度値が意図せず変化する場合がある。このように、彩度の補正をせずに生成された広ダイナミックレンジ画像は、シャドウ部とハイライト部の鮮やかさのつながりが悪く、全体としてアンバランスな印象を与えてしまう。
【0038】
請求項6、12、18に記載の発明によれば、感度の異なる画像データに対して個々の条件で施される階調変換処理の条件に応じて、感度の異なる画像データ毎に条件を設定し、彩度を調整することで、全体の彩度のバランスを整えることができる。
【0039】
複数の感度の異なる画像データに対する個々の条件の設定にあたっては、同一の手法を用いて、その処理強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像が3つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う2つ以上の画像データについて同一の条件を設定してもよい。
【0040】
次に、本発明において使用される語句について詳細に説明する。
【0041】
本発明の記載における「彩度調整処理」とは、目的に応じて視覚的な鮮やかさを強調、又は抑制する処理をいい、画像を好ましい色、若しくは好ましい色と感じる色にするために、又は、画像全体の色のバランスを好ましいと感じるバランスにするために、鮮やかさを調整することをいう。
【0042】
本発明において、彩度を調整するにあたっては、例えば画像を表すR(Red)・G(Green)・B(Blue)の3色の強度信号を、輝度成分と色差成分に分離し、色差成分における彩度成分の強度を調整することが好ましい。具体的には、当業者間で公知のYIQ基底・HSV基底・YUV基底・YCrCb基底等に変換するか、あるいはsRGBやNTSC等に規格に基づきCIE1931表色系のXYZ基底・CIE1976の勧告するL*a*b*基底・L*u*v*基底等に変換する操作を意味する。本発明における輝度信号と色差信号の分離は色彩学的に完全に緻密な変換でなくても十分な効果を発揮するので、例えば特開昭63−26783号公報の実施例に見られるようなRGBの平均値を輝度信号とし、これに直交する2軸を色差信号とするような変換を行ってもよい。
【0043】
彩度調整処理の具体的な手法については、例えば、画像データの信号値を明度、色相、彩度に変換し、彩度の強度値に所定の係数を乗じることで、明度、色相を変えずに鮮やかさのみを調整する手法の他、RGB信号値に所定のマトリクス係数で定義されるマトリクス演算を適用し彩度を強調させる手法、また原画像から所定の統計量を算出し、これをもとに彩度補正量を求める手法等、当業界で広く知られる種々の手法を選択することができる。こうした公知の彩度調整技法は、例えば「C言語で学ぶ実践画像処理(オーム社,井上誠喜・八木伸行・林正樹・中須英輔・三谷公二・奥井誠人 共著)」等に詳細な解説がなされているが、これらに限定されない。
【0044】
本発明の記載における「画像撮像装置」とは、光電変換機能を有する撮像素子(イメージセンサ)を備えた装置であって、デジタルカメラやスキャナがこれに含まれる。撮像素子としては、CCD(電荷結合素子(Charge Coupled Device))とシフトレジスタと呼ばれる電荷転送機構と、市松模様のカラーフィルタとを組み合わせ、感色性を付与したCCD型撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)型撮像素子が挙げられるが、本発明における撮像素子は、感度の異なる少なくとも2種類の撮像素子を組み合わせて用いることを特徴とする。
【0045】
このような感度の異なる撮像素子を組み合わせた例として、特開2000−125209号公報には、図2に示すように、低感度撮像素子18と、高感度撮像素子19とを、撮像素子の幾何学的な形状の中心が互いに行(水平)方向及び/又は列(垂直)方向に受光素子の間隔を示すピッチの半分、すなわち1/2ピッチずらしてハニカム状に配置された固体撮像素子が記載されている。本発明の撮像素子は、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。
【0046】
本発明の記載における「感度」とは、被写体の明るさ(輝度)に対する応答特性を表す指標であり、より高感度な撮像素子ほど、より暗い被写体に対して応答することができることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光が完全に遮断された状態でも微弱なノイズ信号(暗電流ノイズ、あるいはホワイトノイズと称される。)を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。光が遮断された状態で撮像素子が発するノイズ信号の強度は、受光面積に反比例する特性を有する。
【0047】
したがって、低感度と高感度の2種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、あるいは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性(色弁別能)を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【0048】
本発明の記載における「ダイナミックレンジ」とは、被写体の明るさ(輝度)の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子ほど、より暗い被写体からより明るい被写体に対して応答することができる。一般に、撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることができない。
【0049】
また、高感度の撮像素子ほど、より暗い被写体に対して応答することができるが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度の撮像素子は、より明るい被写体に対しても信号が飽和しにくく、応答することができるが、より暗い被写体に対して感度が不足する。したがって、低感度と高感度の2種類の撮像素子で構成し、よりダイナミックレンジを拡大する場合、各々のダイナミックレンジの重なりを最小にすることが望ましい。
【0050】
請求項6、12、18に記載の発明において、階調変換処理の条件に応じて、彩度調整処理の条件を設定する具体的な手法については、下記に限定されないが、所定の階調の変化量に対する彩度の強調係数を用いて、階調が硬調に変換されれば彩度を抑制し、軟調に変換されれば彩度を強調する手法の他、特開2001−257902号公報に開示されている設定される階調変換処理量に応じて係数が決定されるマトリクスを適用することで、階調変換処理と同時に、階調変換処理量に応じた色彩度変換処理を施す手法、特開2002−51225号公報に開示されている任意の階調変換に対応する彩度補正LUTを作成し適用する手法、特開2001−313839号公報に開示されている天候等の撮影条件を反映した基準補正と、特定色、肌色及び階調変換にともなう肌色の補正の総和に所定の重み係数を乗じて設定される補正、の双方の総和をもって補正値とする3D−LUT色補正方法、特開2002−222413号公報に開示されている元画像又は階調補正画像の輝度や彩度値の統計値等から算出したプレディクタをもとに彩度調整マトリクスの係数を決定する補正方法をはじめ、当業界における公知の手法を用いることができる。
【0051】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【0052】
[第1の実施の形態]
<画像撮像装置100の構成>
まず、本発明の第1の実施の形態の画像撮像装置100について説明する。
図1に、画像撮像装置100のブロック図を示す。
【0053】
画像撮像装置100の光学系は、フォーカスの調節が可能なレンズ1と、光量を調節する絞り2と、被写体情報を電気信号に変換する固体撮像素子(CCD)3と、を備えている。
【0054】
CCD3は、レンズ1及び絞り2を介してCCD3の受光面に結像される被写体情報を、CCD3内のセンサ毎に光の入射光量に応じた量の電気的な信号へと光電変換する。CCD3は、制御部11から出力される信号に従ってCCD駆動回路10から出力されるタイミングパルスに基づいて、CCD3に蓄積された電気的な信号をアナログ処理回路4に順次出力する。
【0055】
CCD3は、図2に示すように、低感度撮像素子18と、高感度撮像素子19とがハニカム状に配置されて構成されている。図3は、低感度撮像素子18、高感度撮像素子19によって得られる画像データのダイナミックレンジの概念図である。具体的には、低感度撮像素子18、高感度撮像素子19が受光する被写体の輝度に対する信号電荷量を各々グラフDL、DHで示している。グラフDHに示すように、高感度撮像素子19は、より暗い被写体に対して反応することができるが、より明るい被写体に対しては信号が飽和してしまう。一方、グラフDLに示すように、低感度撮像素子18は、より明るい被写体に対して応答することができるが、より暗い被写体に対して感度が不足する。
【0056】
アナログ処理回路4は、CCD3によって得られた各画像データのR・G・B信号の増幅やノイズの低減処理を行う。
A/D変換器5は、アナログ処理回路4により処理されたR・G・B信号をデジタルのR・G・B信号に変換して出力する。
一時記憶メモリ6は、A/D変換器5から出力された低感度撮像素子18と高感度撮像素子19からのR・G・B信号を一時的に格納する。
【0057】
制御部11は、ROM(Read Only Memory)等の記憶部(図示略)に記憶されている各種制御プログラムと、CPU(Central Processing Unit)(図示略)との協働により、画像撮像装置100を構成する各部の動作を制御する。具体的には、制御部11は、レンズ1の焦点距離とフォーカス(ピント)を調節するモータ20の制御を行う自動焦点駆動回路13、焦点距離調整回路12、CCD駆動回路10、アナログ処理回路4、一時記憶メモリ6、画像処理部7、出力部8、記憶デバイス9、操作部14、表示部15、ストロボ17を駆動させるストロボ駆動回路16を制御する。
【0058】
操作部14には、図示しないボタン、カーソルキー等が設けられ、設定された操作情報は制御部11に送られる。
【0059】
表示部15はデジタル画像データを表示するとともに、ユーザが撮影に関する設定や条件を確認する用途に用いる。
【0060】
画像処理部7は、一時記憶メモリ6に記憶されたR・G・B信号に画像処理を施す。画像処理部7は、高感度画像データと低感度画像データに対する彩度調整処理の条件設定、彩度調整処理、表示部15に表示されるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。これらの処理結果や、処理済み画像データ又は合成された広ダイナミックレンジ画像は、必要に応じて、記憶デバイス9により記憶メディアに保存されるか、あるいは、続いて処理をするために、出力部8により画像処理装置(図示せず)に出力される。
【0061】
出力部8は、ネットワークケーブル、ケーブル又は無線LAN(Local Area Network)等を介して、画像処理を施した後の画像データを画像処理装置やコンピュータに出力する通信手段である。
【0062】
記憶デバイス9は、デジタル画像データや、画像撮像装置100の制御プログラムの記録及び/又は読み出しを行うことが可能な記憶手段である。記憶デバイス9は、メモリカード、CD−R(Compact Disk−Recordable)、DVD−R(Digital Versatile Disk−Recordable)等の各種記録媒体に画像データを記録する。
【0063】
<画像処理部7の処理>
次に、画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理1について説明する。
【0064】
まず、図4に示すように、画像撮像装置100により、被写体が撮像され、高感度画像データと低感度画像データが生成される(ステップS1)。
【0065】
そして、高感度画像データと低感度画像データは、画像データを構成するR・G・B信号値から、所定のLUT(ルックアップテーブル)を用いてマンセル色票系の色相H・明度V・彩度Cに変換される(ステップS2)。ただし、R・G・B信号値から彩度成分の信号強度を抽出する手法は、この変換方式に限定されるものではなく、当業界で知られる種々の手法を選択することができる。
【0066】
次に、高感度画像データと低感度画像データ各々の画像特性に応じて、彩度調整処理の処理条件が設定される(ステップS3)。そして、設定された条件に従って、高感度画像データと低感度画像データに対応する彩度Cに対して彩度調整処理が施される(ステップS4−1,S4−2)。
【0067】
次に、高感度画像データの彩度調整処理済みの彩度C’と低感度画像データの彩度調整処理済みの彩度C’、高感度画像データの未処理の色相H・明度Vと低感度画像データの未処理の色相H・明度Vが各々合成され、広ダイナミックレンジ画像の彩度C’・色相H・明度Vの各成分が算出される(ステップS5)。
【0068】
そして、合成された彩度C’・色相H・明度Vは、ステップS2で用いたLUTの逆LUTを用いてR・G・B信号に変換され、広ダイナミックレンジ画像が生成される(ステップS6)。
【0069】
次に、図4のステップS3,S4−1,S4−2における各感度の画像データの彩度Cに対する彩度調整処理の処理条件の設定及び彩度調整処理について説明する。
【0070】
彩度調整処理は、Ns個の感度の異なる画像データのうちi番目の彩度をC(i)、彩度調整処理済みの彩度をC’(i)、彩度調整係数をg(S(i))として、下記式(1)に従って行われる。
C’(i)=C(i)×g(S(i)) (1)
ただし、iは1からNsまでの整数である(本実施の形態ではNs=2)。
【0071】
ここで、S(i)はiに対応する画像データの感度である。また、g(S(i))はS(i)に応じて変化する関数で、感度が高いほど大きい値を有するように予め用意されている。図5に、彩度調整係数g(S(i))の例を示す。図5において、g0は所定の係数であり、g0>1.0を満たす。すなわち、彩度調整係数g(S(i))は、彩度を強調するための係数であり、彩度を強調する効果は、対象となる画像データの感度が高いほど強くなる。
【0072】
図4のステップS3では、彩度調整処理の条件を設定する対象の画像データの感度と、可視的に図5に示すLUTを用いて、画像データに対応する彩度調整係数g(S(i))を決定し、図4のステップS4−1,S4−2において、上記式(1)に従って、画像データに彩度調整処理を施す。
ただし、彩度調整処理の手法は上記したものに限らず、当業界で知られる種々の手法を選択することができる。
【0073】
このように、感度に応じて彩度調整処理の条件を設定して、高感度画像データには強く彩度を強調し、低感度画像データには弱く彩度を強調することにより生成された広ダイナミックレンジ画像は、感度によらず同一の条件で彩度を強調して生成した広ダイナミックレンジ画像と比較して、シャドウ部からハイライト部まで鮮やかさのバランスがよく、また、シャドウ部の立体感が増し、観察者に好ましい印象を与えることが確認された。
【0074】
また、上記式(1)に従って、感度に応じて条件を個々に設定した彩度調整処理を施す手法の代わりに、高感度画像データと低感度画像データに階調変換処理を施し、特開2001−257902号公報に開示されている設定される階調変換処理量に応じて係数が決定されるマトリクスを適用することで、階調変換処理と同時に、階調変換処理量に応じた色彩度変換処理を施す手法を用いることもできる。この手法を用いて、各感度の画像データに施す階調変換処理の階調変換処理量に応じて彩度調整処理条件を設定し、彩度調整処理を施し、これに基づいて広ダイナミックレンジ画像を生成する。このように生成された広ダイナミックレンジ画像は、階調変換処理は同様に施し、彩度調整処理は一律の条件で施して生成された広ダイナミックレンジ画像と比較して、シャドウ部からハイライト部までの画像全体の彩度のバランスがよく、同系色のグラデーションの部分に色味がずれる違和感がなく、観察者に好ましい印象を与えることが確認された。
【0075】
第1の実施の形態の画像撮像装置100によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができるので、この処理結果に基づいて、色再現性に優れた視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【0076】
近年、デジタル画像を扱うユーザは増加してきており、さらに、デジタル画像処理に対する習熟度は初心者からプロユーザまで幅広い。初心者にとっては、多岐にわたる選択肢がある画像撮像装置よりも、自動的に高画質な画像が得られることが望ましい。また、撮影を業務で行う場合にも、得られる画像が高画質であれば、その手段は自動化されていることが好ましい。本発明によれば、幅広いユーザが満足することができる高画質な広ダイナミックレンジ画像を簡便に提供することができる。
【0077】
なお、図4に示したように、高感度画像データと低感度画像データを、彩度調整処理済みの彩度C’、未処理の色相H・明度Vについて合成し、これをR・G・B信号等に変換処理し、広ダイナミックレンジ画像データを生成する方法は、処理負荷の点で好ましいが、各感度の異なる画像データに施した彩度調整処理の処理結果に基づいて、感度の異なる処理済画像データを生成し、これらを加算合成することにより広ダイナミックレンジ画像を生成してもよい。
【0078】
図6は、画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理2を示すフローチャートである。図6において、図4と同様の処理を示す部分は、同一の符号を付し、説明を省略する。
【0079】
図6に示すように、各感度に対応する処理済み彩度C’と未処理の色相H・明度Vは、ステップS2で用いたLUTの逆LUTを用いてR・G・B信号に変換され、処理済み高感度画像データ、処理済み低感度画像データが生成される(ステップS7−1,S7−2)。
【0080】
さらに、処理済み高感度画像データ、処理済み低感度画像データが合成されることにより、適切な彩度調整処理がなされた広ダイナミックレンジ画像データが生成される(ステップS8)。
【0081】
図6に示した方法は、処理済みの各感度画像データをモニタ等の表示デバイスに出力し、視覚的に確認する等の目的において有効である。
【0082】
また、図4のステップS5や、図6のステップS8における感度の異なる画像に対応する信号の合成方法は、低感度画像に対応する信号値と、高感度画像に対応する信号値を比較し、所定の閾値に従ってどちらか一方の値を選択すればよい。ただし、合成の方法は、これに限定されるものではなく、例えば、特開2001−8104号公報に記載されている高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択する方法、特開2003−18445号公報に記載されている複数の撮像信号のうちいずれか一つを選択する方法、特開200−125209号公報等に記載されている第1の受光素子から得られた信号の飽和レベルを調整して、第2の受光素子から得られた信号と合成する方法をはじめ、いずれかの信号を選択する手法だけでなく、重みを付けて加算する方法等、種々の手法を採用することができる。
【0083】
また、図4及び図6のステップS4−1,S4−2の処理において生成された各感度の画像データの処理結果(彩度調整処理済みの彩度C’)、未処理の色相H・明度Vを、画像撮像装置100とは物理的に独立した画像処理装置に出力し、その後の処理を画像処理装置において行うこととしてもよい。これにより、彩度調整処理の結果に基づいて広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【0084】
画像処理装置に処理結果を出力するには、例えば、画像撮像装置100において処理結果が記録媒体に記録され、記録媒体を介して画像処理装置が処理結果を取得することとしてもよいし、画像撮像装置100が画像処理装置とケーブルを介して有線状態で接続、又は通信やインターネットを介して無線状態で接続され、画像撮像装置100が出力した処理結果を画像処理装置が取得することとしてもよい。この場合、画像処理装置は、画像撮像装置100と離れた場所に設置されていてもよい。
【0085】
[第2の実施の形態]
次に、本発明の第2の実施の形態の画像撮像装置100について説明する。第2の実施の形態における画像撮像装置100の構成及び機能については、第1の実施の形態と同様であるので、第1の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0086】
図7は、画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。図7において、図6と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0087】
図7に示すように、ステップS7−1,S7−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、ネットワークケーブル、ケーブル又は無線LAN等を介して画像処理装置に出力される(ステップS9)。ここで、「関連付ける」とは、同一の被写体から得られたという情報が画像データのタグ情報に記載される等、同一の被写体から同時に得られた画像データの組であることを示すことをいう。
【0088】
第2の実施の形態の画像撮像装置100によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像撮像装置100内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がり、広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【0089】
また、後に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、各感度の画像データ又は最初に生成した広ダイナミックレンジ画像をモニタ等で確認した時に、処理結果が不満であれば、特定の感度の画像に処理を加えたり、処理条件を変更したりする等、処理の追加や補正を施した後に、広ダイナミックレンジ画像を再生成することが可能になる。
【0090】
また、プロユーザのように、扱う画像データのサイズ容量が大きく、撮影シーンが多い状況では、種々の画像処理の処理負荷が高いため、撮像装置が広ダイナミックレンジ画像を生成する処理を行わず、本実施の形態のように、彩度調整処理済み画像データを生成する処理までを行い、撮像装置とは物理的に異なる画像処理装置によって広ダイナミックレンジ画像の生成が行われることが好ましい。
【0091】
[第3の実施の形態]
次に、本発明の第3の実施の形態の画像撮像装置100について説明する。第3の実施の形態における画像撮像装置100の構成及び機能については、第1の実施の形態と同様であるので、第1の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0092】
図8は、画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。図8において、図6と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0093】
図8に示すように、ステップS7−1,S7−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される(ステップS10)。記録媒体としては、メモリカード、CD−R、DVD−R等が用いられる。
【0094】
第3の実施の形態の画像撮像装置100によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置においても、広ダイナミックレンジ画像の生成が可能となる。
【0095】
また、第2の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【0096】
[第4の実施の形態]
<画像処理装置200の構成>
次に、図9〜図11を参照して、本発明の第4の実施の形態の画像処理装置200について説明する。
図9は、画像処理装置200の概観構成を示す斜視図である。画像処理装置200は、出力デバイスとして画像を形成する画像記録手段と、表示デバイスとしてCRTディスプレイモニタと、を備える。
【0097】
図9に示すように、画像処理装置200には、本体202の一側面にマガジン装填部203が備えられている。本体202の内側には、出力メディアである銀塩印画紙に露光する露光処理部204と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部205が備えられ、作成されたプリントは、本体202の他側面に設けられたトレー206に排出される。
【0098】
また、本体202の上部には、表示装置としてのCRT(Cathode Ray Tube)208、透過原稿を読み込む装置であるフィルムスキャナ部209、反射原稿入力装置210、操作部211が備えられている。このCRT208が、プリントを作成しようとする画像情報の画像を画面に表示する表示手段を構成している。さらに、本体202には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部214、各種デジタル記録媒体に画像信号を書き込み(出力)可能な画像書込部215が備えられている。また、本体202の内部には、これらの各部を集中制御する制御部207が備えられている。
【0099】
画像読込部214には、PCカード用アダプタ214a、フロッピー(登録商標)ディスク用アダプタ214bが備えられ、PCカード213aやフロッピーディスク213bが差し込み可能になっている。PCカード213aは、デジタルカメラで撮像された複数の駒画像データが記録されたメモリを有する。フロッピーディスク213bには、例えば、デジタルカメラで撮像された複数の駒画像データが記録されている。その他、駒画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、MD(Mini Disc)データ、CD−ROM(Compact Disc Read Only Memory)等が挙げられる。
【0100】
画像書込部215には、フロッピーディスク用アダプタ215a、MO用アダプタ215b、光ディスク用アダプタ215cが備えられ、各々、FD216a、MO216b、光ディスク216cが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク216cとしては、CD−R(Compact Disk−Recordable)、DVD−R(Digital Versatile Disk−Recordable)等がある。
【0101】
なお、図9では、操作部211、CRT208、フィルムスキャナ部209、反射原稿入力装置210、画像読込部214が、本体202に一体的に備えられた構造となっているが、これらのいずれか1つ以上を別体として設けるようにしてもよい。
【0102】
なお、図9に示した画像処理装置200では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【0103】
<画像処理装置200の内部構成>
図10は、画像処理装置200の内部構成を示すブロック図である。画像処理装置200は、図10に示すように、制御部207、露光処理部204、プリント作成部205、フィルムスキャナ部209、反射原稿入力装置210、画像読込部214、通信手段(入力)232、画像書込部215、データ蓄積手段271、操作部211、CRT208、通信手段(出力)233から構成される。
【0104】
制御部207は、マイクロコンピュータにより構成され、ROM等の記憶部(図示略)に記憶されている画像処理プログラム等の各種制御プログラムと、CPU(図示略)との協働により、画像処理装置200を構成する各部の動作を制御する。
【0105】
制御部207は、本発明の画像処理装置に係る画像処理部270を有し、操作部211からの入力信号(指令情報)に基づいて、フィルムスキャナ部209や反射原稿入力装置210により取得した画像データ、画像読込部214から読み込まれた画像データ、外部機器から通信手段(入力)232を介して入力された画像データに対して、画像処理を施して出力用画像データ生成し、露光処理部204に出力する。また、画像処理部270は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部270の出力先としては、CRT208、画像書込部215、通信手段(出力)233等がある。
【0106】
露光処理部204は、感光材料に画像の露光を行い、この感光材料をプリント作成部205に出力する。プリント作成部205は、露光された感光材料を現像処理して乾燥し、プリントP1、P2、P3を作成する。プリントP1は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントP2は、A4サイズのプリントであり、プリントP3は、名刺サイズのプリントである。
【0107】
フィルムスキャナ部209は、アナログカメラにより撮像されてネガフィルムを現像して得られる現像済みのネガフィルムNからの駒画像データを読み込む。反射原稿入力装置210は、駒画像を印画紙に焼き付けて現像処理したプリントPからの駒画像データを読み込む。
【0108】
フィルムスキャナ部209や反射原稿入力装置210から読み込まれる原稿としては、写真感光材料があり、この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等がある。この写真感光材料には、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部209のフィルムスキャナにより、デジタル画像データに変換し、駒画像データとすることができる。また、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置210のフラットベットスキャナにより、駒画像データに変換することができる。
【0109】
画像読込部214は、PCカード213aやフロッピーディスク213bに記録された駒画像データを読み出して制御部207に転送する。この画像読込部214は、画像転送手段230として、PCカード用アダプタ214a、フロッピーディスク用アダプタ214b等を有する。画像読込部214は、PCカード用アダプタ214aに差し込まれたPCカード213aや、フロッピーディスク用アダプタ214bに差し込まれたフロッピーディスク213bに記録された駒画像データを読み取り、制御部207に転送する。PCカード用アダプタ214aとしては、例えばPCカードリーダやPCカードスロット等が用いられる。
【0110】
通信手段(入力)232は、画像処理装置200が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【0111】
画像書込部215は、画像搬送部231として、フロッピーディスク用アダプタ215a、MO用アダプタ215b、光ディスク用アダプタ215cを備えている。画像書込部215は、制御部207から入力される書込信号に従って、フロッピーディスク用アダプタ215aに差し込まれたフロッピーディスク216a、MO用アダプタ215bに差し込まれたMO216b、光ディスク用アダプタ215cに差し込まれた光ディスク216cに、生成された画像データを書き込む。
【0112】
データ蓄積手段271は、画像データとそれに対応する注文情報(どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等)とを記憶し、順次蓄積する。
【0113】
操作部211は、情報入力手段212を有する。情報入力手段212は、例えば、タッチパネル等により構成されており、情報入力手段212の押下信号を入力信号として制御部207に出力する。なお、操作部211は、キーボードやマウス等を備えて構成するようにしてもよい。CRT208は、制御部207から入力された表示制御信号に従って、画像データ等を表示する。
【0114】
通信手段(出力)233は、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、画像処理装置200が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【0115】
このように画像処理装置200は、各種デジタルメディアの画像や画像原稿を分割測光して得られた画像情報を取り込む画像入力手段と、複数の感度の異なる画像データに対し、個々に彩度調整処理の条件を設定し、設定された条件に従って画像データに彩度調整処理を施し、さらに、処理結果に基づいて、広ダイナミックレンジ画像データを生成する、又は処理済み画像データを生成する等、本発明の特徴となる画像処理を施す画像処理手段と、広ダイナミックレンジ画像や処理済み画像データ等の処理済みの画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像出力手段と、通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する手段とを有する。
【0116】
<画像処理部270の構成>
図11は、画像処理装置200の画像処理部270の機能的構成を示すブロック図である。画像処理部270は、図11に示すように、フィルムスキャンデータ処理部701、反射原稿スキャンデータ処理部702、画像データ書式解読処理部703、画像調整処理部704、CRT固有処理部705、プリンタ固有処理部(1)706、プリンタ固有処理部(2)707、画像データ書式作成処理部708から構成される。
【0117】
フィルムスキャンデータ処理部701は、フィルムスキャナ部209から入力された画像データに対し、フィルムスキャナ部209固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部704に出力する。また、フィルムスキャンデータ処理部701は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたISO感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報(例えばAPSの記載情報内容)等も併せて画像調整処理部704に出力する。
【0118】
反射原稿スキャンデータ処理部702は、反射原稿入力装置210から入力された画像データに対し、反射原稿入力装置210固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部704に出力する。
【0119】
画像データ書式解読処理部703は、画像転送手段230や通信手段(入力)232から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部270内の演算に適したデータ形式に変換し、画像調整処理部704に出力する。
【0120】
この他、フィルムスキャナ部209、反射原稿入力装置210、画像転送手段230、通信手段(入力)232からの主要被写体に関わる情報及び撮影条件に関する情報を補足・補充する形で、操作部211から該情報を画像調整処理部704に送ることもできる。
【0121】
出力画像の大きさについての指定は操作部211から入力される。この他に、通信手段(入力)232から取得した出力画像の大きさについて指定があった場合や、画像転送手段230が取得した画像データのヘッダ情報やタグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部703が該情報を検出し、画像調整処理部704へ出力する。
【0122】
画像調整処理部704は、操作部211又は制御部207の指令に基づいて、フィルムスキャナ部209、反射原稿入力装置210、画像転送手段230、通信手段(入力)232から受け取った画像情報に対して、複数の感度の異なる彩度調整処理の条件を設定し、設定された条件に従った彩度調整処理を行い、CRT固有処理部705、プリンタ固有処理部(1)706、プリンタ固有処理部(2)707、画像データ書式作成処理部708、データ蓄積手段271へ処理済みの画像信号を送出する。
【0123】
CRT固有処理部705は、画像調整処理部704から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをCRT208に出力する。
【0124】
プリンタ固有処理部(1)706は、画像調整処理部704から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部204に出力する。
【0125】
画像処理装置200に、大判インクジェットプリンタ等の外部プリンタ234が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部(2)707が設けられている。このプリンタ固有処理部(2)707は、画像調整処理部704から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【0126】
画像データ書式作成処理部708は、画像調整処理部704から入力された画像データに対して、必要に応じてJPEG、TIFF(Tagged Image File Format)、Exif(Exchangeable Image File Format)等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部231や通信手段(出力)233に出力する。
【0127】
なお、フィルムスキャンデータ処理部701、反射原稿スキャンデータ処理部702、画像データ書式解読処理部703、画像調整処理部704、CRT固有処理部705、プリンタ固有処理部(1)706、プリンタ固有処理部(2)707、画像データ書式作成処理部708という区分は、画像処理部270の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のCPUにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置200は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【0128】
<画像調整処理部704の処理>
次に、画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理3について説明する。
【0129】
まず、図12に示すように、画像処理装置200により、高感度画像データと低感度画像データが取得される(ステップS11)。画像データの取得方法としては、画像読込部214からデジタル画像データが読み込まれることとしてもよいし、外部機器から通信手段(入力)232を介して入力されてもよい。ここで、同一の被写体から得られた画像データ同士はタグ情報に記載される等の方法により関連付けられている。
【0130】
そして、高感度画像データと低感度画像データは、画像データを構成するR・G・B信号値から、所定のLUTを用いてマンセル色票系の色相H・明度V・彩度Cに変換される(ステップS12)。
【0131】
次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に彩度調整処理の条件が設定される(ステップS13)。そして、設定された条件に従って、高感度画像データと低感度画像データに対応する彩度Cに対して彩度調整処理が施される(ステップS14−1,S14−2)。
【0132】
次に、高感度画像データの彩度調整処理済みの彩度C’と低感度画像データの彩度調整処理済みの彩度C’、高感度画像データの未処理の色相H・明度Vと低感度画像データの未処理の色相H・明度Vが各々合成され、広ダイナミックレンジ画像の彩度C’・色相H・明度Vの各成分が算出される(ステップS15)。
【0133】
合成された彩度C’・色相H・明度Vは、ステップS12で用いたLUTの逆LUTを用いてR・G・B信号に変換され、広ダイナミックレンジ画像が生成される(ステップS16)。
【0134】
各感度の画像データの彩度Cに対する彩度調整処理の処理条件の設定及び彩度調整処理の手順や効果については、第1の実施の形態で説明した内容と同様であるので、説明を省略する。
【0135】
第4の実施の形態の画像処理装置200によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができるので、この処理結果に基づいて、色再現性に優れた視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【0136】
また、画像処理装置200が撮像された画像データの画像処理を行うことにより、デジタルカメラ等の撮像装置側の処理負荷を低減させることができるため、撮像装置の小サイズ化・軽量化を図ることができる。
【0137】
なお、図12に示したように、高感度画像データと低感度画像データを、彩度調整処理済みの彩度C’、未処理の色相H・明度Vについて合成し、これをR・G・B信号等に変換処理し、広ダイナミックレンジ画像データを生成する方法は、処理負荷の点で好ましいが、各感度の異なる画像データに施した彩度調整処理の処理結果に基づいて、感度の異なる処理済画像データを生成し、これらを加算合成することにより広ダイナミックレンジ画像を生成してもよい。
【0138】
図13は、画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理4を示すフローチャートである。図13において、図12と同様の処理を示す部分は、同一の符号を付し、説明を省略する。
【0139】
図13に示すように、各感度に対応する処理済み彩度C’と未処理の色相H・明度Vは、ステップS12で用いたLUTの逆LUTを用いてR・G・B信号に変換され、処理済み高感度画像データ、処理済み低感度画像データが生成される(ステップS17−1,S17−2)。
【0140】
さらに、処理済み高感度画像データ、処理済み低感度画像データが合成されることにより、適切な彩度調整処理がなされた広ダイナミックレンジ画像データが生成される(ステップS18)。
【0141】
図13に示した方法は、処理済みの各感度画像データをモニタ等の表示デバイスに出力し、視覚的に確認する等の目的において有効である。
【0142】
また、図12及び図13のステップS14−1,S14−2の処理において生成された各感度の画像データの処理結果(彩度調整処理済みの彩度C’)、未処理の色相H・明度Vを、画像処理装置200とは物理的に独立した別の画像処理装置に出力し、その後の処理を別の画像処理装置において行うこととしてもよい。
【0143】
[第5の実施の形態]
次に、本発明の第5の実施の形態の画像処理装置200について説明する。第5の実施の形態における画像処理装置200の構成及び機能については、第4の実施の形態と同様であるので、第4の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0144】
図14は、画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。図14において、図13と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0145】
図14に示すように、ステップS17−1,S17−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、ネットワークケーブル、ケーブル又は無線LAN等を介して別の画像処理装置に出力される(ステップS19)。
【0146】
第5の実施の形態の画像処理装置200によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像処理装置200内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がる。
【0147】
また、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【0148】
[第6の実施の形態]
次に、本発明の第6の実施の形態の画像処理装置200について説明する。第6の実施の形態における画像処理装置200の構成及び機能については、第4の実施の形態と同様であるので、第4の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0149】
図15は、画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。図15において、図13と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0150】
図15に示すように、ステップS17−1,S17−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される(ステップS20)。記録媒体としては、メモリカード、CD−R、DVD−R等が用いられる。
【0151】
第6の実施の形態の画像処理装置200によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある別の画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【0152】
また、第5の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【0153】
なお、上記の各実施の形態においては、画像撮像装置100により撮像される画像データ又は画像処理装置200により取得される画像データの感度が、高感度画像データと低感度画像データの2つの場合について説明したが、感度の異なる画像データは3つ以上であってもよい。
【0154】
また、上記の各実施の形態においては、感度の異なる画像データから合成される広ダイナミックレンジ画像データが1つの場合について説明したが、感度の異なる複数の画像データのうち、任意の画像データを組み合わせて合成し、複数の広ダイナミックレンジ画像データを生成することとしてもよい。
【0155】
また、上記の各実施の形態において、複数の感度の異なる画像データに対する個々の彩度調整処理の条件の設定にあたっては、同一の彩度調整処理の手法を用いて、その処理強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像が3つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う2つ以上の画像データについて同一の条件を設定してもよい。
【0156】
また、上記の各実施の形態において、画像データ等の取得、記録又は保存に用いられる記録媒体は、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピーディスク、磁気記憶媒体(MO)、CD−R等、いずれであってもよい。また、記録媒体に画像データ等を書き込むユニットは、画像撮像装置100や画像処理装置200と一体であってもよいし、コードを介して有線状態で接続された書き込みユニットであってもよいし、通信やインターネットを介して無線状態で接続された独立のユニットであってもよいし、あるいは遠隔地に設置されたユニット等であってもよい。さらに、画像データのファイル形式は、撮像装置固有の形式ではなく、TIFF、JPEG、Exif等の規格化された汎用のファイル形式で記録媒体に記録されるのが好ましい。
【0157】
【発明の効果】
請求項1、7、13に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができる。したがって、この処理結果に基づいて生成された広ダイナミックレンジ画像は、従来よりも、色再現性に優れた視覚的・感覚的に好ましい画像となる。
【0158】
請求項2、8、14に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた彩度調整処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、色再現性に優れた高画質な広ダイナミックレンジ画像を生成することができる。
【0159】
請求項3、9、15に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がる。
【0160】
請求項4、10、16に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【0161】
請求項5、11、17に記載の発明によれば、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように彩度調整処理の条件を設定することにより、処理結果に基づいて広ダイナミックレンジ画像を生成した際に、シャドウ部からハイライト部まで鮮やかさのバランスがよい画像を得ることができる。
【0162】
請求項6、12、18に記載の発明によれば、感度の異なる画像データに対して個々の条件で施される階調変換処理の条件に応じて、感度の異なる画像データ毎に条件を設定し、彩度を調整することで、全体の彩度のバランスを整えることができる。
【図面の簡単な説明】
【図1】画像撮像装置100のブロック図である。
【図2】画像撮像装置100のCCD3における撮像素子の配置を示す図である。
【図3】低感度撮像素子18、高感度撮像素子19によって得られる画像データのダイナミックレンジの概念図である。
【図4】第1の実施の形態における画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理1を示すフローチャートである。
【図5】彩度調整係数の例を示す図である。
【図6】画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理2を示すフローチャートである。
【図7】第2の実施の形態における画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。
【図8】第3の実施の形態における画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。
【図9】画像処理装置200の概観構成を示す斜視図である。
【図10】画像処理装置200の内部構成を示すブロック図である。
【図11】画像処理装置200の画像処理部270の機能的構成を示すブロック図である。
【図12】第4の実施の形態における画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理3を示すフローチャートである。
【図13】画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理4を示すフローチャートである。
【図14】第5の実施の形態における画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。
【図15】第6の実施の形態における画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。
【符号の説明】
100 画像撮像装置
1 レンズ
2 絞り
3 CCD
4 アナログ処理回路
5 A/D変換器
6 一時記憶メモリ
7 画像処理部
8 出力部
9 記憶デバイス
10 CCD駆動回路
11 制御部
14 操作部
15 表示部
18 低感度撮像素子
19 高感度撮像素子
200 画像処理装置
204 露光処理部
205 プリント作成部
207 制御部
208 CRT
209 フィルムスキャナ部
210 反射原稿入力装置
211 操作部
214 画像読込部
215 画像書込部
230 画像転送手段
231 画像搬送部
232 通信手段(入力)
233 通信手段(出力)
234 外部プリンタ
270 画像処理部
271 データ蓄積手段
701 フィルムスキャンデータ処理部
702 反射原稿スキャンデータ処理部
703 画像データ書式解読処理部
704 画像調整処理部
705 CRT固有処理部
706 プリンタ固有処理部(1)
707 プリンタ固有処理部(2)
708 画像データ書式作成処理部
【発明の属する技術分野】
本発明は、画像撮像装置、画像処理装置及び画像処理プログラムに関し、特に、被写体を撮像して得られた複数の画像データから広ダイナミックレンジ画像データを生成する画像撮像装置、画像処理装置及び画像処理プログラムに関する。
【0002】
【従来の技術】
近年、ユーザが鑑賞する画像の対象が、銀塩写真フィルムから得られた写真プリントに替わって、デジタルカメラで撮像した画像等のデジタル画像に移行しつつある。デジタル画像は、デジタル化されているため、例えば、デジタル画像データに画像処理を施し、加工した画像を出力したり、インターネット上のホームページに掲載したり、ポストカードに印刷して利用したり等、多様に活用されている。こうした銀塩写真からデジタル画像への移行は、一般ユーザだけでなく、カメラマンをはじめとするプロユーザにおいても同様である。
【0003】
デジタル画像の取得方法としては、被写体を電子スチルカメラ(デジタルカメラ)で撮像したり、銀塩カメラで撮像した銀塩フィルム画像をスキャナ等の撮像機器でデジタル画像としたりする方法が一般的である。このような固体撮像デバイスを有する撮像装置では、固体撮像デバイスのダイナミックレンジが銀塩フィルム、特に、一般ユーザに広く用いられている銀塩ネガフィルムに比べて狭い。そのため、被写体の輝度域が広い場合には露出条件によってハイライト部(被写体の高輝度部分)が潰れたり、撮像時の露出条件が適切でなく画像全体の濃度(明るさ)が適切でない場合に補正が困難であったり、広いダイナミックレンジを有する銀塩ネガフィルムを使用した銀塩システムに劣る点があった。
【0004】
このような状況を受けて、特性の異なる固体撮像素子を併用することで広いダイナミックレンジ画像の取得を可能にした撮像装置が種々提案されている。
【0005】
例えば、高感度の第1の受光素子と、低感度の第2の受光素子を半ピッチずらして隣接配置した撮像装置において、個々の受光素子から信号を取得し、第1の受光素子から得られた信号の飽和レベルを調整して、第2の受光素子から得られた信号と合成して広いダイナミックレンジ画像を生成する撮像装置が開示されている(例えば、特許文献1及び特許文献2参照。)。これにより、合成画像の飽和ムラや偽信号の発生を抑制することができる。
【0006】
また、撮像によって、異なる感度特性の受光素子から得られる高感度映像信号と低感度映像信号を生成し、高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択することで広ダイナミックレンジ画像を形成する撮像装置が開示されている(例えば、特許文献3参照。)。この場合、回路構成が簡易であり、また記録媒体に記録する際に必要な記憶領域が少なくてよいという利点がある。
【0007】
また、異なる特性をもつ独立した複数の撮像光学系と、各撮像光学系から独立に受光・撮像する受光感度の異なる撮像デバイスを有し、複数の撮像信号のうちいずれか一つを選択し、予め決められた画像処理を施して出力する撮像装置が提案されている(例えば、特許文献4参照。)。
【0008】
これらの技術は、被写体を複数の異なる特性を有する撮像デバイス等を用いて撮像して、同一被写体を表す、異なる感度の画像を複数生成し、これらを合成又はいずれか1つを選択することにより、広ダイナミックレンジ画像を生成することを特徴としている。
【0009】
【特許文献1】
特開2000−125209号公報
【特許文献2】
特開2000−125311号公報
【特許文献3】
特開2001−8104号公報
【特許文献4】
特開2003−18445号公報
【0010】
【発明が解決しようとする課題】
しかしながら、上記の従来技術はいずれも、複数の感度の異なる画像に対して個々の特性に応じた処理が十分に施されずに合成されているため、昨今、ユーザから要望のある高画質化、特に色再現における品質向上への対応が十分になされていないという問題があった。
【0011】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、感度の異なる複数の画像データに基づいて、色再現性に優れた高画質な広ダイナミックレンジ画像を生成することが可能な画像撮像装置、画像処理装置及び画像処理プログラムを提供することを課題とする。
【0012】
【課題を解決するための手段】
上記の課題を解決するための請求項1に記載の発明は、被写体を撮像し、同一の被写体を表す感度の異なる複数の画像データを生成する撮像手段と、前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定手段と、前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理手段と、を備えることを特徴とする画像撮像装置である。
【0013】
請求項7に記載の発明は、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得手段と、前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定手段と、前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理手段と、を備えることを特徴とする画像処理装置である。
【0014】
請求項13に記載の発明は、画像処理を実行するためのコンピュータに、被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得機能と、前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定機能と、前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理機能と、を実現させるための画像処理プログラムである。
【0015】
請求項1、7、13に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができる。したがって、この処理結果に基づいて生成された広ダイナミックレンジ画像は、従来よりも、色再現性に優れた視覚的・感覚的に好ましい画像となる。
【0016】
請求項2に記載の発明は、請求項1に記載の画像撮像装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像撮像装置である。
【0017】
請求項8に記載の発明は、請求項7に記載の画像処理装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像処理装置である。
【0018】
請求項14に記載の発明は、請求項13に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成機能を実現させることを特徴とする画像処理プログラムである。
【0019】
請求項2、8、14に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた彩度調整処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、色再現性に優れた高画質な広ダイナミックレンジ画像を生成することができる。
【0020】
請求項3に記載の発明は、請求項1に記載の画像撮像装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像撮像装置である。
【0021】
請求項9に記載の発明は、請求項7に記載の画像処理装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて出力する出力手段と、を備えることを特徴とする画像処理装置である。
【0022】
請求項15に記載の発明は、請求項13に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて出力する出力機能と、を実現させることを特徴とする画像処理プログラムである。
【0023】
請求項3、9、15に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がる。
【0024】
請求項4に記載の発明は、請求項1に記載の画像撮像装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像撮像装置である。
【0025】
請求項10に記載の発明は、請求項7に記載の画像処理装置において、さらに、前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、を備えることを特徴とする画像処理装置である。
【0026】
請求項16に記載の発明は、請求項13に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録機能と、を実現させることを特徴とする画像処理プログラムである。
【0027】
請求項4、10、16に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【0028】
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の画像撮像装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像撮像装置である。
【0029】
請求項11に記載の発明は、請求項7〜10のいずれか一項に記載の画像処理装置において、前記条件設定手段は、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像処理装置である。
【0030】
請求項17に記載の発明は、請求項13〜16のいずれか一項に記載の画像処理プログラムにおいて、前記条件設定機能において、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像処理プログラムである。
【0031】
全体の明度が低い、より高感度な画像は、その画像の鮮やかさがユーザの目に感知されにくく、逆に、明度の高い画像、つまり、より低感度な画像については、鮮やかさが鋭敏に感知される。
【0032】
請求項5、11、17に記載の発明によれば、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように彩度調整処理の条件を設定することにより、処理結果に基づいて広ダイナミックレンジ画像を生成した際に、シャドウ部からハイライト部まで鮮やかさのバランスがよい画像を得ることができる。
【0033】
複数の感度の異なる画像データに対する個々の彩度調整処理の条件の設定にあたっては、同一の彩度調整処理の手法を用いて、その処理強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像が3つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う2つ以上の画像データについて同一の条件を設定してもよい。
【0034】
請求項6に記載の発明は、請求項1〜5のいずれか一項に記載の画像撮像装置において、さらに、前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定手段を備え、前記条件設定手段は、前記階調変換条件設定手段により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像撮像装置である。
【0035】
請求項12に記載の発明は、請求項7〜11のいずれか一項に記載の画像処理装置において、さらに、前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定手段を備え、前記条件設定手段は、前記階調変換条件設定手段により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像処理装置である。
【0036】
請求項18に記載の発明は、請求項13〜17のいずれか一項に記載の画像処理プログラムにおいて、前記コンピュータに、さらに、前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定機能を実現させ、前記条件設定機能において、前記階調変換条件設定機能により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像処理プログラムである。
【0037】
感度の異なる画像データをもとに加算合成する等して広ダイナミックレンジ画像を生成するには、例えば、特開2000−125209号公報や特開2000−125311号公報のように、少なくとも1つの画像データの飽和レベルを調整する等の階調変換処理が施される。この階調変換処理において画像の階調が軟調、又は硬調になることにより、見た目の鮮やかさが変化する場合がある。また、選択された階調変換の手法によっては、見た目だけでなく、彩度の強度値が意図せず変化する場合がある。このように、彩度の補正をせずに生成された広ダイナミックレンジ画像は、シャドウ部とハイライト部の鮮やかさのつながりが悪く、全体としてアンバランスな印象を与えてしまう。
【0038】
請求項6、12、18に記載の発明によれば、感度の異なる画像データに対して個々の条件で施される階調変換処理の条件に応じて、感度の異なる画像データ毎に条件を設定し、彩度を調整することで、全体の彩度のバランスを整えることができる。
【0039】
複数の感度の異なる画像データに対する個々の条件の設定にあたっては、同一の手法を用いて、その処理強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像が3つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う2つ以上の画像データについて同一の条件を設定してもよい。
【0040】
次に、本発明において使用される語句について詳細に説明する。
【0041】
本発明の記載における「彩度調整処理」とは、目的に応じて視覚的な鮮やかさを強調、又は抑制する処理をいい、画像を好ましい色、若しくは好ましい色と感じる色にするために、又は、画像全体の色のバランスを好ましいと感じるバランスにするために、鮮やかさを調整することをいう。
【0042】
本発明において、彩度を調整するにあたっては、例えば画像を表すR(Red)・G(Green)・B(Blue)の3色の強度信号を、輝度成分と色差成分に分離し、色差成分における彩度成分の強度を調整することが好ましい。具体的には、当業者間で公知のYIQ基底・HSV基底・YUV基底・YCrCb基底等に変換するか、あるいはsRGBやNTSC等に規格に基づきCIE1931表色系のXYZ基底・CIE1976の勧告するL*a*b*基底・L*u*v*基底等に変換する操作を意味する。本発明における輝度信号と色差信号の分離は色彩学的に完全に緻密な変換でなくても十分な効果を発揮するので、例えば特開昭63−26783号公報の実施例に見られるようなRGBの平均値を輝度信号とし、これに直交する2軸を色差信号とするような変換を行ってもよい。
【0043】
彩度調整処理の具体的な手法については、例えば、画像データの信号値を明度、色相、彩度に変換し、彩度の強度値に所定の係数を乗じることで、明度、色相を変えずに鮮やかさのみを調整する手法の他、RGB信号値に所定のマトリクス係数で定義されるマトリクス演算を適用し彩度を強調させる手法、また原画像から所定の統計量を算出し、これをもとに彩度補正量を求める手法等、当業界で広く知られる種々の手法を選択することができる。こうした公知の彩度調整技法は、例えば「C言語で学ぶ実践画像処理(オーム社,井上誠喜・八木伸行・林正樹・中須英輔・三谷公二・奥井誠人 共著)」等に詳細な解説がなされているが、これらに限定されない。
【0044】
本発明の記載における「画像撮像装置」とは、光電変換機能を有する撮像素子(イメージセンサ)を備えた装置であって、デジタルカメラやスキャナがこれに含まれる。撮像素子としては、CCD(電荷結合素子(Charge Coupled Device))とシフトレジスタと呼ばれる電荷転送機構と、市松模様のカラーフィルタとを組み合わせ、感色性を付与したCCD型撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)型撮像素子が挙げられるが、本発明における撮像素子は、感度の異なる少なくとも2種類の撮像素子を組み合わせて用いることを特徴とする。
【0045】
このような感度の異なる撮像素子を組み合わせた例として、特開2000−125209号公報には、図2に示すように、低感度撮像素子18と、高感度撮像素子19とを、撮像素子の幾何学的な形状の中心が互いに行(水平)方向及び/又は列(垂直)方向に受光素子の間隔を示すピッチの半分、すなわち1/2ピッチずらしてハニカム状に配置された固体撮像素子が記載されている。本発明の撮像素子は、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。
【0046】
本発明の記載における「感度」とは、被写体の明るさ(輝度)に対する応答特性を表す指標であり、より高感度な撮像素子ほど、より暗い被写体に対して応答することができることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光が完全に遮断された状態でも微弱なノイズ信号(暗電流ノイズ、あるいはホワイトノイズと称される。)を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。光が遮断された状態で撮像素子が発するノイズ信号の強度は、受光面積に反比例する特性を有する。
【0047】
したがって、低感度と高感度の2種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、あるいは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性(色弁別能)を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【0048】
本発明の記載における「ダイナミックレンジ」とは、被写体の明るさ(輝度)の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子ほど、より暗い被写体からより明るい被写体に対して応答することができる。一般に、撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることができない。
【0049】
また、高感度の撮像素子ほど、より暗い被写体に対して応答することができるが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度の撮像素子は、より明るい被写体に対しても信号が飽和しにくく、応答することができるが、より暗い被写体に対して感度が不足する。したがって、低感度と高感度の2種類の撮像素子で構成し、よりダイナミックレンジを拡大する場合、各々のダイナミックレンジの重なりを最小にすることが望ましい。
【0050】
請求項6、12、18に記載の発明において、階調変換処理の条件に応じて、彩度調整処理の条件を設定する具体的な手法については、下記に限定されないが、所定の階調の変化量に対する彩度の強調係数を用いて、階調が硬調に変換されれば彩度を抑制し、軟調に変換されれば彩度を強調する手法の他、特開2001−257902号公報に開示されている設定される階調変換処理量に応じて係数が決定されるマトリクスを適用することで、階調変換処理と同時に、階調変換処理量に応じた色彩度変換処理を施す手法、特開2002−51225号公報に開示されている任意の階調変換に対応する彩度補正LUTを作成し適用する手法、特開2001−313839号公報に開示されている天候等の撮影条件を反映した基準補正と、特定色、肌色及び階調変換にともなう肌色の補正の総和に所定の重み係数を乗じて設定される補正、の双方の総和をもって補正値とする3D−LUT色補正方法、特開2002−222413号公報に開示されている元画像又は階調補正画像の輝度や彩度値の統計値等から算出したプレディクタをもとに彩度調整マトリクスの係数を決定する補正方法をはじめ、当業界における公知の手法を用いることができる。
【0051】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【0052】
[第1の実施の形態]
<画像撮像装置100の構成>
まず、本発明の第1の実施の形態の画像撮像装置100について説明する。
図1に、画像撮像装置100のブロック図を示す。
【0053】
画像撮像装置100の光学系は、フォーカスの調節が可能なレンズ1と、光量を調節する絞り2と、被写体情報を電気信号に変換する固体撮像素子(CCD)3と、を備えている。
【0054】
CCD3は、レンズ1及び絞り2を介してCCD3の受光面に結像される被写体情報を、CCD3内のセンサ毎に光の入射光量に応じた量の電気的な信号へと光電変換する。CCD3は、制御部11から出力される信号に従ってCCD駆動回路10から出力されるタイミングパルスに基づいて、CCD3に蓄積された電気的な信号をアナログ処理回路4に順次出力する。
【0055】
CCD3は、図2に示すように、低感度撮像素子18と、高感度撮像素子19とがハニカム状に配置されて構成されている。図3は、低感度撮像素子18、高感度撮像素子19によって得られる画像データのダイナミックレンジの概念図である。具体的には、低感度撮像素子18、高感度撮像素子19が受光する被写体の輝度に対する信号電荷量を各々グラフDL、DHで示している。グラフDHに示すように、高感度撮像素子19は、より暗い被写体に対して反応することができるが、より明るい被写体に対しては信号が飽和してしまう。一方、グラフDLに示すように、低感度撮像素子18は、より明るい被写体に対して応答することができるが、より暗い被写体に対して感度が不足する。
【0056】
アナログ処理回路4は、CCD3によって得られた各画像データのR・G・B信号の増幅やノイズの低減処理を行う。
A/D変換器5は、アナログ処理回路4により処理されたR・G・B信号をデジタルのR・G・B信号に変換して出力する。
一時記憶メモリ6は、A/D変換器5から出力された低感度撮像素子18と高感度撮像素子19からのR・G・B信号を一時的に格納する。
【0057】
制御部11は、ROM(Read Only Memory)等の記憶部(図示略)に記憶されている各種制御プログラムと、CPU(Central Processing Unit)(図示略)との協働により、画像撮像装置100を構成する各部の動作を制御する。具体的には、制御部11は、レンズ1の焦点距離とフォーカス(ピント)を調節するモータ20の制御を行う自動焦点駆動回路13、焦点距離調整回路12、CCD駆動回路10、アナログ処理回路4、一時記憶メモリ6、画像処理部7、出力部8、記憶デバイス9、操作部14、表示部15、ストロボ17を駆動させるストロボ駆動回路16を制御する。
【0058】
操作部14には、図示しないボタン、カーソルキー等が設けられ、設定された操作情報は制御部11に送られる。
【0059】
表示部15はデジタル画像データを表示するとともに、ユーザが撮影に関する設定や条件を確認する用途に用いる。
【0060】
画像処理部7は、一時記憶メモリ6に記憶されたR・G・B信号に画像処理を施す。画像処理部7は、高感度画像データと低感度画像データに対する彩度調整処理の条件設定、彩度調整処理、表示部15に表示されるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。これらの処理結果や、処理済み画像データ又は合成された広ダイナミックレンジ画像は、必要に応じて、記憶デバイス9により記憶メディアに保存されるか、あるいは、続いて処理をするために、出力部8により画像処理装置(図示せず)に出力される。
【0061】
出力部8は、ネットワークケーブル、ケーブル又は無線LAN(Local Area Network)等を介して、画像処理を施した後の画像データを画像処理装置やコンピュータに出力する通信手段である。
【0062】
記憶デバイス9は、デジタル画像データや、画像撮像装置100の制御プログラムの記録及び/又は読み出しを行うことが可能な記憶手段である。記憶デバイス9は、メモリカード、CD−R(Compact Disk−Recordable)、DVD−R(Digital Versatile Disk−Recordable)等の各種記録媒体に画像データを記録する。
【0063】
<画像処理部7の処理>
次に、画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理1について説明する。
【0064】
まず、図4に示すように、画像撮像装置100により、被写体が撮像され、高感度画像データと低感度画像データが生成される(ステップS1)。
【0065】
そして、高感度画像データと低感度画像データは、画像データを構成するR・G・B信号値から、所定のLUT(ルックアップテーブル)を用いてマンセル色票系の色相H・明度V・彩度Cに変換される(ステップS2)。ただし、R・G・B信号値から彩度成分の信号強度を抽出する手法は、この変換方式に限定されるものではなく、当業界で知られる種々の手法を選択することができる。
【0066】
次に、高感度画像データと低感度画像データ各々の画像特性に応じて、彩度調整処理の処理条件が設定される(ステップS3)。そして、設定された条件に従って、高感度画像データと低感度画像データに対応する彩度Cに対して彩度調整処理が施される(ステップS4−1,S4−2)。
【0067】
次に、高感度画像データの彩度調整処理済みの彩度C’と低感度画像データの彩度調整処理済みの彩度C’、高感度画像データの未処理の色相H・明度Vと低感度画像データの未処理の色相H・明度Vが各々合成され、広ダイナミックレンジ画像の彩度C’・色相H・明度Vの各成分が算出される(ステップS5)。
【0068】
そして、合成された彩度C’・色相H・明度Vは、ステップS2で用いたLUTの逆LUTを用いてR・G・B信号に変換され、広ダイナミックレンジ画像が生成される(ステップS6)。
【0069】
次に、図4のステップS3,S4−1,S4−2における各感度の画像データの彩度Cに対する彩度調整処理の処理条件の設定及び彩度調整処理について説明する。
【0070】
彩度調整処理は、Ns個の感度の異なる画像データのうちi番目の彩度をC(i)、彩度調整処理済みの彩度をC’(i)、彩度調整係数をg(S(i))として、下記式(1)に従って行われる。
C’(i)=C(i)×g(S(i)) (1)
ただし、iは1からNsまでの整数である(本実施の形態ではNs=2)。
【0071】
ここで、S(i)はiに対応する画像データの感度である。また、g(S(i))はS(i)に応じて変化する関数で、感度が高いほど大きい値を有するように予め用意されている。図5に、彩度調整係数g(S(i))の例を示す。図5において、g0は所定の係数であり、g0>1.0を満たす。すなわち、彩度調整係数g(S(i))は、彩度を強調するための係数であり、彩度を強調する効果は、対象となる画像データの感度が高いほど強くなる。
【0072】
図4のステップS3では、彩度調整処理の条件を設定する対象の画像データの感度と、可視的に図5に示すLUTを用いて、画像データに対応する彩度調整係数g(S(i))を決定し、図4のステップS4−1,S4−2において、上記式(1)に従って、画像データに彩度調整処理を施す。
ただし、彩度調整処理の手法は上記したものに限らず、当業界で知られる種々の手法を選択することができる。
【0073】
このように、感度に応じて彩度調整処理の条件を設定して、高感度画像データには強く彩度を強調し、低感度画像データには弱く彩度を強調することにより生成された広ダイナミックレンジ画像は、感度によらず同一の条件で彩度を強調して生成した広ダイナミックレンジ画像と比較して、シャドウ部からハイライト部まで鮮やかさのバランスがよく、また、シャドウ部の立体感が増し、観察者に好ましい印象を与えることが確認された。
【0074】
また、上記式(1)に従って、感度に応じて条件を個々に設定した彩度調整処理を施す手法の代わりに、高感度画像データと低感度画像データに階調変換処理を施し、特開2001−257902号公報に開示されている設定される階調変換処理量に応じて係数が決定されるマトリクスを適用することで、階調変換処理と同時に、階調変換処理量に応じた色彩度変換処理を施す手法を用いることもできる。この手法を用いて、各感度の画像データに施す階調変換処理の階調変換処理量に応じて彩度調整処理条件を設定し、彩度調整処理を施し、これに基づいて広ダイナミックレンジ画像を生成する。このように生成された広ダイナミックレンジ画像は、階調変換処理は同様に施し、彩度調整処理は一律の条件で施して生成された広ダイナミックレンジ画像と比較して、シャドウ部からハイライト部までの画像全体の彩度のバランスがよく、同系色のグラデーションの部分に色味がずれる違和感がなく、観察者に好ましい印象を与えることが確認された。
【0075】
第1の実施の形態の画像撮像装置100によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができるので、この処理結果に基づいて、色再現性に優れた視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【0076】
近年、デジタル画像を扱うユーザは増加してきており、さらに、デジタル画像処理に対する習熟度は初心者からプロユーザまで幅広い。初心者にとっては、多岐にわたる選択肢がある画像撮像装置よりも、自動的に高画質な画像が得られることが望ましい。また、撮影を業務で行う場合にも、得られる画像が高画質であれば、その手段は自動化されていることが好ましい。本発明によれば、幅広いユーザが満足することができる高画質な広ダイナミックレンジ画像を簡便に提供することができる。
【0077】
なお、図4に示したように、高感度画像データと低感度画像データを、彩度調整処理済みの彩度C’、未処理の色相H・明度Vについて合成し、これをR・G・B信号等に変換処理し、広ダイナミックレンジ画像データを生成する方法は、処理負荷の点で好ましいが、各感度の異なる画像データに施した彩度調整処理の処理結果に基づいて、感度の異なる処理済画像データを生成し、これらを加算合成することにより広ダイナミックレンジ画像を生成してもよい。
【0078】
図6は、画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理2を示すフローチャートである。図6において、図4と同様の処理を示す部分は、同一の符号を付し、説明を省略する。
【0079】
図6に示すように、各感度に対応する処理済み彩度C’と未処理の色相H・明度Vは、ステップS2で用いたLUTの逆LUTを用いてR・G・B信号に変換され、処理済み高感度画像データ、処理済み低感度画像データが生成される(ステップS7−1,S7−2)。
【0080】
さらに、処理済み高感度画像データ、処理済み低感度画像データが合成されることにより、適切な彩度調整処理がなされた広ダイナミックレンジ画像データが生成される(ステップS8)。
【0081】
図6に示した方法は、処理済みの各感度画像データをモニタ等の表示デバイスに出力し、視覚的に確認する等の目的において有効である。
【0082】
また、図4のステップS5や、図6のステップS8における感度の異なる画像に対応する信号の合成方法は、低感度画像に対応する信号値と、高感度画像に対応する信号値を比較し、所定の閾値に従ってどちらか一方の値を選択すればよい。ただし、合成の方法は、これに限定されるものではなく、例えば、特開2001−8104号公報に記載されている高感度映像信号を高量子化分解能で、低感度映像信号を低量子化分解能で各々量子化し、高量子化データが飽和している場合は感度比で合算し、高量子化データが飽和してい場合は高量子化データを選択する方法、特開2003−18445号公報に記載されている複数の撮像信号のうちいずれか一つを選択する方法、特開200−125209号公報等に記載されている第1の受光素子から得られた信号の飽和レベルを調整して、第2の受光素子から得られた信号と合成する方法をはじめ、いずれかの信号を選択する手法だけでなく、重みを付けて加算する方法等、種々の手法を採用することができる。
【0083】
また、図4及び図6のステップS4−1,S4−2の処理において生成された各感度の画像データの処理結果(彩度調整処理済みの彩度C’)、未処理の色相H・明度Vを、画像撮像装置100とは物理的に独立した画像処理装置に出力し、その後の処理を画像処理装置において行うこととしてもよい。これにより、彩度調整処理の結果に基づいて広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【0084】
画像処理装置に処理結果を出力するには、例えば、画像撮像装置100において処理結果が記録媒体に記録され、記録媒体を介して画像処理装置が処理結果を取得することとしてもよいし、画像撮像装置100が画像処理装置とケーブルを介して有線状態で接続、又は通信やインターネットを介して無線状態で接続され、画像撮像装置100が出力した処理結果を画像処理装置が取得することとしてもよい。この場合、画像処理装置は、画像撮像装置100と離れた場所に設置されていてもよい。
【0085】
[第2の実施の形態]
次に、本発明の第2の実施の形態の画像撮像装置100について説明する。第2の実施の形態における画像撮像装置100の構成及び機能については、第1の実施の形態と同様であるので、第1の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0086】
図7は、画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。図7において、図6と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0087】
図7に示すように、ステップS7−1,S7−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、ネットワークケーブル、ケーブル又は無線LAN等を介して画像処理装置に出力される(ステップS9)。ここで、「関連付ける」とは、同一の被写体から得られたという情報が画像データのタグ情報に記載される等、同一の被写体から同時に得られた画像データの組であることを示すことをいう。
【0088】
第2の実施の形態の画像撮像装置100によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像撮像装置100内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がり、広ダイナミックレンジ画像を生成する処理を終えるのを待たずに次の撮像を開始することが可能となる。
【0089】
また、後に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、各感度の画像データ又は最初に生成した広ダイナミックレンジ画像をモニタ等で確認した時に、処理結果が不満であれば、特定の感度の画像に処理を加えたり、処理条件を変更したりする等、処理の追加や補正を施した後に、広ダイナミックレンジ画像を再生成することが可能になる。
【0090】
また、プロユーザのように、扱う画像データのサイズ容量が大きく、撮影シーンが多い状況では、種々の画像処理の処理負荷が高いため、撮像装置が広ダイナミックレンジ画像を生成する処理を行わず、本実施の形態のように、彩度調整処理済み画像データを生成する処理までを行い、撮像装置とは物理的に異なる画像処理装置によって広ダイナミックレンジ画像の生成が行われることが好ましい。
【0091】
[第3の実施の形態]
次に、本発明の第3の実施の形態の画像撮像装置100について説明する。第3の実施の形態における画像撮像装置100の構成及び機能については、第1の実施の形態と同様であるので、第1の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0092】
図8は、画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。図8において、図6と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0093】
図8に示すように、ステップS7−1,S7−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される(ステップS10)。記録媒体としては、メモリカード、CD−R、DVD−R等が用いられる。
【0094】
第3の実施の形態の画像撮像装置100によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置においても、広ダイナミックレンジ画像の生成が可能となる。
【0095】
また、第2の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【0096】
[第4の実施の形態]
<画像処理装置200の構成>
次に、図9〜図11を参照して、本発明の第4の実施の形態の画像処理装置200について説明する。
図9は、画像処理装置200の概観構成を示す斜視図である。画像処理装置200は、出力デバイスとして画像を形成する画像記録手段と、表示デバイスとしてCRTディスプレイモニタと、を備える。
【0097】
図9に示すように、画像処理装置200には、本体202の一側面にマガジン装填部203が備えられている。本体202の内側には、出力メディアである銀塩印画紙に露光する露光処理部204と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部205が備えられ、作成されたプリントは、本体202の他側面に設けられたトレー206に排出される。
【0098】
また、本体202の上部には、表示装置としてのCRT(Cathode Ray Tube)208、透過原稿を読み込む装置であるフィルムスキャナ部209、反射原稿入力装置210、操作部211が備えられている。このCRT208が、プリントを作成しようとする画像情報の画像を画面に表示する表示手段を構成している。さらに、本体202には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部214、各種デジタル記録媒体に画像信号を書き込み(出力)可能な画像書込部215が備えられている。また、本体202の内部には、これらの各部を集中制御する制御部207が備えられている。
【0099】
画像読込部214には、PCカード用アダプタ214a、フロッピー(登録商標)ディスク用アダプタ214bが備えられ、PCカード213aやフロッピーディスク213bが差し込み可能になっている。PCカード213aは、デジタルカメラで撮像された複数の駒画像データが記録されたメモリを有する。フロッピーディスク213bには、例えば、デジタルカメラで撮像された複数の駒画像データが記録されている。その他、駒画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、MD(Mini Disc)データ、CD−ROM(Compact Disc Read Only Memory)等が挙げられる。
【0100】
画像書込部215には、フロッピーディスク用アダプタ215a、MO用アダプタ215b、光ディスク用アダプタ215cが備えられ、各々、FD216a、MO216b、光ディスク216cが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク216cとしては、CD−R(Compact Disk−Recordable)、DVD−R(Digital Versatile Disk−Recordable)等がある。
【0101】
なお、図9では、操作部211、CRT208、フィルムスキャナ部209、反射原稿入力装置210、画像読込部214が、本体202に一体的に備えられた構造となっているが、これらのいずれか1つ以上を別体として設けるようにしてもよい。
【0102】
なお、図9に示した画像処理装置200では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【0103】
<画像処理装置200の内部構成>
図10は、画像処理装置200の内部構成を示すブロック図である。画像処理装置200は、図10に示すように、制御部207、露光処理部204、プリント作成部205、フィルムスキャナ部209、反射原稿入力装置210、画像読込部214、通信手段(入力)232、画像書込部215、データ蓄積手段271、操作部211、CRT208、通信手段(出力)233から構成される。
【0104】
制御部207は、マイクロコンピュータにより構成され、ROM等の記憶部(図示略)に記憶されている画像処理プログラム等の各種制御プログラムと、CPU(図示略)との協働により、画像処理装置200を構成する各部の動作を制御する。
【0105】
制御部207は、本発明の画像処理装置に係る画像処理部270を有し、操作部211からの入力信号(指令情報)に基づいて、フィルムスキャナ部209や反射原稿入力装置210により取得した画像データ、画像読込部214から読み込まれた画像データ、外部機器から通信手段(入力)232を介して入力された画像データに対して、画像処理を施して出力用画像データ生成し、露光処理部204に出力する。また、画像処理部270は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部270の出力先としては、CRT208、画像書込部215、通信手段(出力)233等がある。
【0106】
露光処理部204は、感光材料に画像の露光を行い、この感光材料をプリント作成部205に出力する。プリント作成部205は、露光された感光材料を現像処理して乾燥し、プリントP1、P2、P3を作成する。プリントP1は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントP2は、A4サイズのプリントであり、プリントP3は、名刺サイズのプリントである。
【0107】
フィルムスキャナ部209は、アナログカメラにより撮像されてネガフィルムを現像して得られる現像済みのネガフィルムNからの駒画像データを読み込む。反射原稿入力装置210は、駒画像を印画紙に焼き付けて現像処理したプリントPからの駒画像データを読み込む。
【0108】
フィルムスキャナ部209や反射原稿入力装置210から読み込まれる原稿としては、写真感光材料があり、この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等がある。この写真感光材料には、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部209のフィルムスキャナにより、デジタル画像データに変換し、駒画像データとすることができる。また、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置210のフラットベットスキャナにより、駒画像データに変換することができる。
【0109】
画像読込部214は、PCカード213aやフロッピーディスク213bに記録された駒画像データを読み出して制御部207に転送する。この画像読込部214は、画像転送手段230として、PCカード用アダプタ214a、フロッピーディスク用アダプタ214b等を有する。画像読込部214は、PCカード用アダプタ214aに差し込まれたPCカード213aや、フロッピーディスク用アダプタ214bに差し込まれたフロッピーディスク213bに記録された駒画像データを読み取り、制御部207に転送する。PCカード用アダプタ214aとしては、例えばPCカードリーダやPCカードスロット等が用いられる。
【0110】
通信手段(入力)232は、画像処理装置200が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【0111】
画像書込部215は、画像搬送部231として、フロッピーディスク用アダプタ215a、MO用アダプタ215b、光ディスク用アダプタ215cを備えている。画像書込部215は、制御部207から入力される書込信号に従って、フロッピーディスク用アダプタ215aに差し込まれたフロッピーディスク216a、MO用アダプタ215bに差し込まれたMO216b、光ディスク用アダプタ215cに差し込まれた光ディスク216cに、生成された画像データを書き込む。
【0112】
データ蓄積手段271は、画像データとそれに対応する注文情報(どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等)とを記憶し、順次蓄積する。
【0113】
操作部211は、情報入力手段212を有する。情報入力手段212は、例えば、タッチパネル等により構成されており、情報入力手段212の押下信号を入力信号として制御部207に出力する。なお、操作部211は、キーボードやマウス等を備えて構成するようにしてもよい。CRT208は、制御部207から入力された表示制御信号に従って、画像データ等を表示する。
【0114】
通信手段(出力)233は、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、画像処理装置200が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【0115】
このように画像処理装置200は、各種デジタルメディアの画像や画像原稿を分割測光して得られた画像情報を取り込む画像入力手段と、複数の感度の異なる画像データに対し、個々に彩度調整処理の条件を設定し、設定された条件に従って画像データに彩度調整処理を施し、さらに、処理結果に基づいて、広ダイナミックレンジ画像データを生成する、又は処理済み画像データを生成する等、本発明の特徴となる画像処理を施す画像処理手段と、広ダイナミックレンジ画像や処理済み画像データ等の処理済みの画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像出力手段と、通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する手段とを有する。
【0116】
<画像処理部270の構成>
図11は、画像処理装置200の画像処理部270の機能的構成を示すブロック図である。画像処理部270は、図11に示すように、フィルムスキャンデータ処理部701、反射原稿スキャンデータ処理部702、画像データ書式解読処理部703、画像調整処理部704、CRT固有処理部705、プリンタ固有処理部(1)706、プリンタ固有処理部(2)707、画像データ書式作成処理部708から構成される。
【0117】
フィルムスキャンデータ処理部701は、フィルムスキャナ部209から入力された画像データに対し、フィルムスキャナ部209固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部704に出力する。また、フィルムスキャンデータ処理部701は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたISO感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報(例えばAPSの記載情報内容)等も併せて画像調整処理部704に出力する。
【0118】
反射原稿スキャンデータ処理部702は、反射原稿入力装置210から入力された画像データに対し、反射原稿入力装置210固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部704に出力する。
【0119】
画像データ書式解読処理部703は、画像転送手段230や通信手段(入力)232から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部270内の演算に適したデータ形式に変換し、画像調整処理部704に出力する。
【0120】
この他、フィルムスキャナ部209、反射原稿入力装置210、画像転送手段230、通信手段(入力)232からの主要被写体に関わる情報及び撮影条件に関する情報を補足・補充する形で、操作部211から該情報を画像調整処理部704に送ることもできる。
【0121】
出力画像の大きさについての指定は操作部211から入力される。この他に、通信手段(入力)232から取得した出力画像の大きさについて指定があった場合や、画像転送手段230が取得した画像データのヘッダ情報やタグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部703が該情報を検出し、画像調整処理部704へ出力する。
【0122】
画像調整処理部704は、操作部211又は制御部207の指令に基づいて、フィルムスキャナ部209、反射原稿入力装置210、画像転送手段230、通信手段(入力)232から受け取った画像情報に対して、複数の感度の異なる彩度調整処理の条件を設定し、設定された条件に従った彩度調整処理を行い、CRT固有処理部705、プリンタ固有処理部(1)706、プリンタ固有処理部(2)707、画像データ書式作成処理部708、データ蓄積手段271へ処理済みの画像信号を送出する。
【0123】
CRT固有処理部705は、画像調整処理部704から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをCRT208に出力する。
【0124】
プリンタ固有処理部(1)706は、画像調整処理部704から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部204に出力する。
【0125】
画像処理装置200に、大判インクジェットプリンタ等の外部プリンタ234が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部(2)707が設けられている。このプリンタ固有処理部(2)707は、画像調整処理部704から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【0126】
画像データ書式作成処理部708は、画像調整処理部704から入力された画像データに対して、必要に応じてJPEG、TIFF(Tagged Image File Format)、Exif(Exchangeable Image File Format)等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部231や通信手段(出力)233に出力する。
【0127】
なお、フィルムスキャンデータ処理部701、反射原稿スキャンデータ処理部702、画像データ書式解読処理部703、画像調整処理部704、CRT固有処理部705、プリンタ固有処理部(1)706、プリンタ固有処理部(2)707、画像データ書式作成処理部708という区分は、画像処理部270の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のCPUにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置200は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【0128】
<画像調整処理部704の処理>
次に、画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理3について説明する。
【0129】
まず、図12に示すように、画像処理装置200により、高感度画像データと低感度画像データが取得される(ステップS11)。画像データの取得方法としては、画像読込部214からデジタル画像データが読み込まれることとしてもよいし、外部機器から通信手段(入力)232を介して入力されてもよい。ここで、同一の被写体から得られた画像データ同士はタグ情報に記載される等の方法により関連付けられている。
【0130】
そして、高感度画像データと低感度画像データは、画像データを構成するR・G・B信号値から、所定のLUTを用いてマンセル色票系の色相H・明度V・彩度Cに変換される(ステップS12)。
【0131】
次に、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に彩度調整処理の条件が設定される(ステップS13)。そして、設定された条件に従って、高感度画像データと低感度画像データに対応する彩度Cに対して彩度調整処理が施される(ステップS14−1,S14−2)。
【0132】
次に、高感度画像データの彩度調整処理済みの彩度C’と低感度画像データの彩度調整処理済みの彩度C’、高感度画像データの未処理の色相H・明度Vと低感度画像データの未処理の色相H・明度Vが各々合成され、広ダイナミックレンジ画像の彩度C’・色相H・明度Vの各成分が算出される(ステップS15)。
【0133】
合成された彩度C’・色相H・明度Vは、ステップS12で用いたLUTの逆LUTを用いてR・G・B信号に変換され、広ダイナミックレンジ画像が生成される(ステップS16)。
【0134】
各感度の画像データの彩度Cに対する彩度調整処理の処理条件の設定及び彩度調整処理の手順や効果については、第1の実施の形態で説明した内容と同様であるので、説明を省略する。
【0135】
第4の実施の形態の画像処理装置200によれば、高感度画像データと低感度画像データ各々の特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができるので、この処理結果に基づいて、色再現性に優れた視覚的・感覚的に高画質な広ダイナミックレンジ画像を生成することができる。
【0136】
また、画像処理装置200が撮像された画像データの画像処理を行うことにより、デジタルカメラ等の撮像装置側の処理負荷を低減させることができるため、撮像装置の小サイズ化・軽量化を図ることができる。
【0137】
なお、図12に示したように、高感度画像データと低感度画像データを、彩度調整処理済みの彩度C’、未処理の色相H・明度Vについて合成し、これをR・G・B信号等に変換処理し、広ダイナミックレンジ画像データを生成する方法は、処理負荷の点で好ましいが、各感度の異なる画像データに施した彩度調整処理の処理結果に基づいて、感度の異なる処理済画像データを生成し、これらを加算合成することにより広ダイナミックレンジ画像を生成してもよい。
【0138】
図13は、画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理4を示すフローチャートである。図13において、図12と同様の処理を示す部分は、同一の符号を付し、説明を省略する。
【0139】
図13に示すように、各感度に対応する処理済み彩度C’と未処理の色相H・明度Vは、ステップS12で用いたLUTの逆LUTを用いてR・G・B信号に変換され、処理済み高感度画像データ、処理済み低感度画像データが生成される(ステップS17−1,S17−2)。
【0140】
さらに、処理済み高感度画像データ、処理済み低感度画像データが合成されることにより、適切な彩度調整処理がなされた広ダイナミックレンジ画像データが生成される(ステップS18)。
【0141】
図13に示した方法は、処理済みの各感度画像データをモニタ等の表示デバイスに出力し、視覚的に確認する等の目的において有効である。
【0142】
また、図12及び図13のステップS14−1,S14−2の処理において生成された各感度の画像データの処理結果(彩度調整処理済みの彩度C’)、未処理の色相H・明度Vを、画像処理装置200とは物理的に独立した別の画像処理装置に出力し、その後の処理を別の画像処理装置において行うこととしてもよい。
【0143】
[第5の実施の形態]
次に、本発明の第5の実施の形態の画像処理装置200について説明する。第5の実施の形態における画像処理装置200の構成及び機能については、第4の実施の形態と同様であるので、第4の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0144】
図14は、画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。図14において、図13と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0145】
図14に示すように、ステップS17−1,S17−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、ネットワークケーブル、ケーブル又は無線LAN等を介して別の画像処理装置に出力される(ステップS19)。
【0146】
第5の実施の形態の画像処理装置200によれば、処理済み高感度画像データと処理済み低感度画像データを生成し、さらに、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて出力することにより、画像処理装置200内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がる。
【0147】
また、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【0148】
[第6の実施の形態]
次に、本発明の第6の実施の形態の画像処理装置200について説明する。第6の実施の形態における画像処理装置200の構成及び機能については、第4の実施の形態と同様であるので、第4の実施の形態と同一の符号を付し、その図示及び説明を省略する。
【0149】
図15は、画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。図15において、図13と同様の処理を示す部分については、同一の符号を付し、その説明を省略する。
【0150】
図15に示すように、ステップS17−1,S17−2において生成された処理済み高感度画像データと処理済み低感度画像データは、同一の被写体から得られた処理済み画像データ同士が関連付けられて、記録媒体に記録される(ステップS20)。記録媒体としては、メモリカード、CD−R、DVD−R等が用いられる。
【0151】
第6の実施の形態の画像処理装置200によれば、同一の被写体から得られた処理済み高感度画像データと処理済み低感度画像データとを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある別の画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【0152】
また、第5の実施の形態と同様に、各処理済み画像データをモニタに表示する等して、ユーザが画像の内容を確認したり管理したりする際に使いやすい。また、特定の感度の画像に対する処理の追加や補正が容易となる。
【0153】
なお、上記の各実施の形態においては、画像撮像装置100により撮像される画像データ又は画像処理装置200により取得される画像データの感度が、高感度画像データと低感度画像データの2つの場合について説明したが、感度の異なる画像データは3つ以上であってもよい。
【0154】
また、上記の各実施の形態においては、感度の異なる画像データから合成される広ダイナミックレンジ画像データが1つの場合について説明したが、感度の異なる複数の画像データのうち、任意の画像データを組み合わせて合成し、複数の広ダイナミックレンジ画像データを生成することとしてもよい。
【0155】
また、上記の各実施の形態において、複数の感度の異なる画像データに対する個々の彩度調整処理の条件の設定にあたっては、同一の彩度調整処理の手法を用いて、その処理強度を変更してもよく、手法そのものを変えてもよい。また、複数の画像が3つ以上ある場合には、複数の画像データの条件を全て異なるものにしてもよいが、複数の画像データのうち、一部の感度レベルが隣り合う2つ以上の画像データについて同一の条件を設定してもよい。
【0156】
また、上記の各実施の形態において、画像データ等の取得、記録又は保存に用いられる記録媒体は、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピーディスク、磁気記憶媒体(MO)、CD−R等、いずれであってもよい。また、記録媒体に画像データ等を書き込むユニットは、画像撮像装置100や画像処理装置200と一体であってもよいし、コードを介して有線状態で接続された書き込みユニットであってもよいし、通信やインターネットを介して無線状態で接続された独立のユニットであってもよいし、あるいは遠隔地に設置されたユニット等であってもよい。さらに、画像データのファイル形式は、撮像装置固有の形式ではなく、TIFF、JPEG、Exif等の規格化された汎用のファイル形式で記録媒体に記録されるのが好ましい。
【0157】
【発明の効果】
請求項1、7、13に記載の発明によれば、感度の異なる複数の画像データの特性に応じて個々に設定した条件に従って彩度調整処理を施すことにより、個々の画像データの彩度を最適に調整することができる。したがって、この処理結果に基づいて生成された広ダイナミックレンジ画像は、従来よりも、色再現性に優れた視覚的・感覚的に好ましい画像となる。
【0158】
請求項2、8、14に記載の発明によれば、感度の異なる複数の画像データに対して、各々の特性に応じた彩度調整処理を施した結果に基づいて、広ダイナミックレンジ画像を生成するので、色再現性に優れた高画質な広ダイナミックレンジ画像を生成することができる。
【0159】
請求項3、9、15に記載の発明によれば、処理済み画像データを生成し、さらに、同一の被写体から得られた複数の処理済み画像データを関連付けて出力することにより、装置内で広ダイナミックレンジ画像を生成する場合と比較して処理速度が上がる。
【0160】
請求項4、10、16に記載の発明によれば、同一の被写体から得られた複数の処理済み画像データを関連付けて記録媒体に記録することにより、ケーブルやネットワーク等でデータ転送が不可能な状況にある画像処理装置において、広ダイナミックレンジ画像の生成が可能となる。
【0161】
請求項5、11、17に記載の発明によれば、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように彩度調整処理の条件を設定することにより、処理結果に基づいて広ダイナミックレンジ画像を生成した際に、シャドウ部からハイライト部まで鮮やかさのバランスがよい画像を得ることができる。
【0162】
請求項6、12、18に記載の発明によれば、感度の異なる画像データに対して個々の条件で施される階調変換処理の条件に応じて、感度の異なる画像データ毎に条件を設定し、彩度を調整することで、全体の彩度のバランスを整えることができる。
【図面の簡単な説明】
【図1】画像撮像装置100のブロック図である。
【図2】画像撮像装置100のCCD3における撮像素子の配置を示す図である。
【図3】低感度撮像素子18、高感度撮像素子19によって得られる画像データのダイナミックレンジの概念図である。
【図4】第1の実施の形態における画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理1を示すフローチャートである。
【図5】彩度調整係数の例を示す図である。
【図6】画像撮像装置100の画像処理部7において実行される広ダイナミックレンジ画像生成処理2を示すフローチャートである。
【図7】第2の実施の形態における画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。
【図8】第3の実施の形態における画像撮像装置100の画像処理部7において実行される処理の概要を示すフローチャートである。
【図9】画像処理装置200の概観構成を示す斜視図である。
【図10】画像処理装置200の内部構成を示すブロック図である。
【図11】画像処理装置200の画像処理部270の機能的構成を示すブロック図である。
【図12】第4の実施の形態における画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理3を示すフローチャートである。
【図13】画像処理装置200の画像調整処理部704において実行される広ダイナミックレンジ画像生成処理4を示すフローチャートである。
【図14】第5の実施の形態における画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。
【図15】第6の実施の形態における画像処理装置200の画像調整処理部704において実行される処理の概要を示すフローチャートである。
【符号の説明】
100 画像撮像装置
1 レンズ
2 絞り
3 CCD
4 アナログ処理回路
5 A/D変換器
6 一時記憶メモリ
7 画像処理部
8 出力部
9 記憶デバイス
10 CCD駆動回路
11 制御部
14 操作部
15 表示部
18 低感度撮像素子
19 高感度撮像素子
200 画像処理装置
204 露光処理部
205 プリント作成部
207 制御部
208 CRT
209 フィルムスキャナ部
210 反射原稿入力装置
211 操作部
214 画像読込部
215 画像書込部
230 画像転送手段
231 画像搬送部
232 通信手段(入力)
233 通信手段(出力)
234 外部プリンタ
270 画像処理部
271 データ蓄積手段
701 フィルムスキャンデータ処理部
702 反射原稿スキャンデータ処理部
703 画像データ書式解読処理部
704 画像調整処理部
705 CRT固有処理部
706 プリンタ固有処理部(1)
707 プリンタ固有処理部(2)
708 画像データ書式作成処理部
Claims (18)
- 被写体を撮像し、同一の被写体を表す感度の異なる複数の画像データを生成する撮像手段と、
前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定手段と、
前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理手段と、
を備えることを特徴とする画像撮像装置。 - 請求項1に記載の画像撮像装置において、さらに、
前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像撮像装置。 - 請求項1に記載の画像撮像装置において、さらに、
前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて出力する出力手段と、
を備えることを特徴とする画像撮像装置。 - 請求項1に記載の画像撮像装置において、さらに、
前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、
を備えることを特徴とする画像撮像装置。 - 請求項1〜4のいずれか一項に記載の画像撮像装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像撮像装置。 - 請求項1〜5のいずれか一項に記載の画像撮像装置において、さらに、
前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定手段を備え、
前記条件設定手段は、前記階調変換条件設定手段により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像撮像装置。 - 被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得手段と、
前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定手段と、
前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理手段と、
を備えることを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、さらに、
前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成手段を備えることを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、さらに、
前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて出力する出力手段と、
を備えることを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、さらに、
前記彩度調整処理手段により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成手段と、
前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録手段と、
を備えることを特徴とする画像処理装置。 - 請求項7〜10のいずれか一項に記載の画像処理装置において、
前記条件設定手段は、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像処理装置。 - 請求項7〜11のいずれか一項に記載の画像処理装置において、さらに、
前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定手段を備え、
前記条件設定手段は、前記階調変換条件設定手段により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像処理装置。 - 画像処理を実行するためのコンピュータに、
被写体を撮像して生成された、同一の被写体を表す感度の異なる複数の画像データを取得する取得機能と、
前記複数の画像データの各々に施す彩度調整処理の条件を個々に設定する条件設定機能と、
前記設定された彩度調整処理条件に従って、前記複数の画像データに彩度調整処理を施す彩度調整処理機能と、
を実現させるための画像処理プログラム。 - 請求項13に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、少なくとも1つの広ダイナミックレンジ画像を生成する画像合成機能を実現させることを特徴とする画像処理プログラム。 - 請求項13に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、
前記複数の処理済み画像データを、関連付けて出力する出力機能と、
を実現させることを特徴とする画像処理プログラム。 - 請求項13に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記彩度調整処理機能により前記複数の画像データに彩度調整処理が施された結果に基づいて、複数の処理済み画像データを生成する処理済み画像データ生成機能と、
前記複数の処理済み画像データを、関連付けて記録媒体に記録する記録機能と、
を実現させることを特徴とする画像処理プログラム。 - 請求項13〜16のいずれか一項に記載の画像処理プログラムにおいて、
前記条件設定機能において、設定の対象となる画像データの感度が高いほど、彩度を強調する効果が高くなるように、前記彩度調整処理の条件を設定することを特徴とする画像処理プログラム。 - 請求項13〜17のいずれか一項に記載の画像処理プログラムにおいて、
前記コンピュータに、さらに、
前記複数の画像データの各々に施す階調変換処理の条件を個々に設定する階調変換条件設定機能を実現させ、
前記条件設定機能において、前記階調変換条件設定機能により設定された階調変換処理の条件に応じて、前記彩度調整処理の条件を設定することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003117085A JP2004328132A (ja) | 2003-04-22 | 2003-04-22 | 画像撮像装置、画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003117085A JP2004328132A (ja) | 2003-04-22 | 2003-04-22 | 画像撮像装置、画像処理装置及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004328132A true JP2004328132A (ja) | 2004-11-18 |
Family
ID=33497096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003117085A Pending JP2004328132A (ja) | 2003-04-22 | 2003-04-22 | 画像撮像装置、画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004328132A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009177782A (ja) * | 2007-12-28 | 2009-08-06 | Sanyo Electric Co Ltd | 画像処理装置および撮影装置 |
WO2010122633A1 (ja) * | 2009-04-20 | 2010-10-28 | Necディスプレイソリューションズ株式会社 | 液晶モニター装置、液晶モニターシステム、液晶モニター装置の制御方法 |
US8325268B2 (en) | 2007-12-28 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image processing apparatus and photographing apparatus |
-
2003
- 2003-04-22 JP JP2003117085A patent/JP2004328132A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009177782A (ja) * | 2007-12-28 | 2009-08-06 | Sanyo Electric Co Ltd | 画像処理装置および撮影装置 |
JP4606486B2 (ja) * | 2007-12-28 | 2011-01-05 | 三洋電機株式会社 | 画像処理装置および撮影装置 |
US8325268B2 (en) | 2007-12-28 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image processing apparatus and photographing apparatus |
WO2010122633A1 (ja) * | 2009-04-20 | 2010-10-28 | Necディスプレイソリューションズ株式会社 | 液晶モニター装置、液晶モニターシステム、液晶モニター装置の制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4131192B2 (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2004173010A (ja) | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 | |
US20040247175A1 (en) | Image processing method, image capturing apparatus, image processing apparatus and image recording apparatus | |
US7924326B2 (en) | Image quality adjustment processing device | |
JPWO2005079056A1 (ja) | 画像処理装置、撮影装置、画像処理システム、画像処理方法及びプログラム | |
JP4600424B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
US20040041920A1 (en) | Image forming method, image processing apparatus, and image recording apparatus | |
US20040041926A1 (en) | Image-capturing apparatus, imager processing apparatus and image recording apparatus | |
US7324702B2 (en) | Image processing method, image processing apparatus, image recording apparatus, program, and recording medium | |
JP2004312387A (ja) | 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム | |
JP2006203566A (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
JP5070921B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
JP2004328132A (ja) | 画像撮像装置、画像処理装置及び画像処理プログラム | |
JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
JP2004328530A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2004096508A (ja) | 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体 | |
JP2006203573A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP4807315B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理を実行するためのコンピュータプログラム | |
JP2005209012A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP3740150B2 (ja) | インデックスプリント作成方法 | |
JP2000217124A (ja) | 撮像装置及び前記撮像装置における画像処理方法 | |
JP2004328137A (ja) | 画像撮像装置、画像処理装置及び画像処理プログラム | |
JP4316467B2 (ja) | 画像処理方法及び画像処理システム | |
JP3579249B2 (ja) | インデックスプリント作成方法及び画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040830 |