JP2007318320A - 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮影装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP2007318320A
JP2007318320A JP2006144239A JP2006144239A JP2007318320A JP 2007318320 A JP2007318320 A JP 2007318320A JP 2006144239 A JP2006144239 A JP 2006144239A JP 2006144239 A JP2006144239 A JP 2006144239A JP 2007318320 A JP2007318320 A JP 2007318320A
Authority
JP
Japan
Prior art keywords
image
index
luminance
image data
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006144239A
Other languages
English (en)
Inventor
Hiroaki Takano
博明 高野
Jo Nakajima
丈 中嶋
Daisuke Sato
大輔 佐藤
Tsukasa Ito
司 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Priority to JP2006144239A priority Critical patent/JP2007318320A/ja
Publication of JP2007318320A publication Critical patent/JP2007318320A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】特別な計測を行うことなく、また特別な専門知識を必要とせず、撮像データから、色の見えモデルに適用可能な画像データを簡単に生成することである。
【解決手段】色の見えモデルに適用可能な鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小したシーン輝度を表す画像データと輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析部５２と、前記算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換部５３と、前記変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット部５４と、を備える。
【選択図】図２

Description

本発明は、画像データを処理する画像処理装置、当該画像処理装置を有する撮影装置、画像処理方法及び画像処理プログラムに関する。
今日、カラー写真フィルムのスキャニング画像や、撮影装置で撮影されたデジタル画像データは、ＣＤ−Ｒ（CD-Recordable）、フレキシブルディスク、メモリカード等の記憶デバイスやインターネット経由で配信され、ＣＲＴ（Cathode Ray Tube）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされるなど、その表示・プリント方法は多種多様化してきている。
ところが、各種の表示・プリント機器は、その原理と内部構成により表示できる色域や階調特性が異なり、同一の画像データに対して、各種の表示・プリント方法で見えが異なることが多く発生してきた。こうした見えの相違を少なくするために、多くの努力が図られてきた。
例えば、デジタルＲＧＢ信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くのデジタル画像データが標準化された色空間として「sRGB」を採用している（例えば、「Multimedia Systems and Equipment-Colour Measurement and Management-Part2-1:Colour Management-Default RGB Colour Space-sRGB）」IEC"61966-2-1参照）。このsRGBの色空間は標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
ところが、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像は、用いられている蛍光体又は色材の構成によって色再現域が異なる。例えばsRGB標準色空間に対応するＣＲＴディスプレイモニタの色再現領域は明るい緑や青の領域が広く銀塩写真プリント・インクジェットプリンタ・印刷等のハードコピーでは再現できない領域があり、逆に印刷・インクジェットのシアン領域や銀塩写真の黄色領域にはsRGB標準色空間に対応するＣＲＴディスプレイモニタでは再現できない領域が存在する（例えば、「ファインイメージングとディジタル写真」，コロナ社，（社）日本写真学会出版委員会編，ｐ．４４４参照）。
こうした問題に対応する方法として、ＩＣＣ( International Color Consortium)が規定するICC Profile Formatも良く用いられている。これは、第１の機器での再生を意図して作成した第１の画像データに、第１の機器の第１の色空間情報を添付しておき、第２の機器で画像を再生する際は、第１の画像データを第１の色空間情報に基づき、特定機器に依存しないＰＣＳ(Profile Connection Space)の色空間での第３の画像データに変換し、次に第２の機器の第２の色空間情報に基づき、第３の画像データを第２の機器での再生に適した第２の画像データへ変換するという方法である。この方法において、測色計で測定される測色値の再生機器間での色再現性は著しく向上した。
しかし、測色値を厳密に再現しても、実際の観察者には色の見えが異なることが多いということが知られている。これは、人間の視覚は、絶対的な測色値を感じている訳でなく、観察条件（周囲・背景の明るさ等）に応じた順応状態で、色の見えが変化している為である。例えば、ＣＲＴのような発光表示機器と、プリントのような反射表示物では、一般的な観察条件や順応状態が異なるので、測色的に一致していても見えが一致しないことが多い。
こうした問題に対応するため、色の見えモデルを用いるカラーマネージメントが知られている。色の見えモデルとは、種々の観察条件下における「色の見え」を予測するモデルである。より具体的には、測色値から、観察条件パラメータに基づく変換をおこない、指定の観察条件下における「色の見え」を表わす値を算出する。このような色の見えモデルとしては、たとえば国際照明委員会（ＣＩＥ）によって標準モデルとして勧告されたCIECAM97sが良く用いられている。さらに、CIECAM97sに改良を加えたCIECAM02が間もなく勧告されようとしている（例えば、非特許文献１参照）。
色の見えモデルには、上記以外にも、納谷モデル、Huntモデル、RLabモデル、LLabモデル等が発表されている。こうしたモデルで計算に用いる観察条件パラメータの具体例としては、順応視野の輝度・順応白色の３刺激値・背景相対輝度・周囲の影響等が挙げられる。図５３に、CIECAM97sの具体的な観察条件パラメータを示す。例えば、図５３に示すようなCIECAM97sの具体的な観察条件パラメータが挙げられる。
こうした色の見えモデルを用いると、例えば第１の観察条件での再生を意図して作成した第１の画像データを、第１の観察条件に対応する第１の観察条件パラメータに基づいて色の見えモデル変換に適用することで、色の見えを表す値に変換し、次に該色の見えを表す値を、第２の観察条件に対応する第２の観察条件パラメータに基づいて色の見えモデル逆変換に適用することで、第２の観察条件での再生を意図した第２の画像データに変換することができる。このような方法で異なる第１及び第２の観察条件での色の見えを一致させることができるのである（例えば、許文献１参照）。
このように、色の見えモデルを用いたカラーマネージメントを実施する為には、画像データと共に、その意図する観察条件に対応する観察条件パラメータを入力することが必要である。
特開平７−２２２１９６号公報 矢口博久著，「色の見えモデル−CIECAM02の概要と課題」，画像電子学会カラーフォーラム２００３予稿集，２００３，ｐ．５７
ところで、例えばデジタルカメラ等による撮像で画像データを作る場合、その画像データを色の見えモデルを用いたカラーマネージメントを適用するためには、該画像データに対応する観察条件パラメータを決定しておく必要がある。この観察条件パラメータをいかに設定するかが問題となる。
撮影シーンに立ち会っていたシーン観察者の観察条件パラメータ（順応視野の輝度・順応白色の３刺激値・背景相対輝度・周囲の影響等）を撮影の都度計測するのは煩雑である。特に明暗の差の大きいシーンでは、観察者がシーンの中のどこに注目していたかにより、観察条件パラメータが変わってくるが、観察者の視線方向を撮影の都度計測するのは困難である。
また鑑賞画像を表す画像データに、観察条件パラメータを添付しようとした場合は、鑑賞画像が意図する観察条件に従ってシーン輝度を鑑賞画像の輝度に変換したうえ、鑑賞画像が意図する観察条件を正確に表現する具体的な観察条件パラメータを算出する必要がある。
このように、画像データに適正な観察条件パラメータを添付する作業は、困難な作業であり、殊に色の見えモデルについて特別な知識を持たない者が適正な観察条件パラメータを算出するのは不可能に近い。
本発明の目的は、特別な計測を行うことなく、また特別な専門知識を必要とせず、デジタルカメラ等による撮像データから、色の見えモデルに適用可能な画像データを簡単に生成することである。
上記の課題を解決するために、請求項１に記載の発明は、撮像データに基づくシーン輝度を表す画像データを、鑑賞画像を表す画像データに変換する画像処理装置において、
鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小した前記シーン輝度を表す画像データと前記輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析部と、
前記データ解析部により算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換部と、
前記画像変換部により変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット部と、を備えることを特徴とする。
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
鑑賞画像が意図する観察条件を選択させる操作部を備え、
前記データ解析部は、前記操作部により選択された観察条件に対応する観察条件パラメータを算出し、
前記フォーマット部は、前記データ解析部により算出された観察条件パラメータを前記鑑賞画像を表す画像データに添付して出力することを特徴とする。
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件を含むことを特徴とする。
請求項４に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件及びホワイトバランス修正条件を含むことを特徴とする。
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置において、
前記データ解析部は、特定の観察条件における仮の階調マッピング条件を算出し、当該仮の階調マッピング条件を鑑賞画像が意図する観察条件に合わせて修正して前記階調マッピング条件を算出することを特徴とする。
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理装置において、
前記データ解析部は、前記シーン輝度を表す画像データの自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする。
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記データ解析部は、
前記シーン輝度を表す画像データについて色情報を取得し、当該取得された色情報に基づいて、前記シーン輝度を表す画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出部と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出部と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出部と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出部と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出部と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度を算出する第４の指標算出部と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出部と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出部と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別部と、を備えることを特徴とする。
請求項８に記載の発明は、請求項６又は７に記載の画像処理装置において、
前記データ解析部は、
前記シーン輝度を表す画像データの明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該シーン輝度を表す画像データに対する複数の第１仮補正量を設定する第１仮補正量設定部と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定部と、
前記第１混合係数設定部により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記シーン輝度を表す画像データに対する第２仮補正量を設定する第２仮補正量設定部と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定部と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出部と、を備え、
前記シーン判別処理による判別結果と、前記階調調整パラメータ算出部により算出された階調調整パラメータとに基づいて、前記シーン輝度を表す画像データに対する画像変換条件を設定することを特徴とする。
請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の画像処理装置において、
前記データ解析部は、前記鑑賞画像を輝度拡張色空間で記載する画像変換条件を算出することを特徴とする。
請求項１０に記載の発明は、請求項１〜９のいずれか一項に記載の画像処理装置において、
前記フォーマット部は、前記データ解析部により算出された画像変換条件を前記鑑賞画像を表す画像データに添付して出力することを特徴とする。
請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の画像処理装置において、
前記鑑賞画像を表す画像データに添付される、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータは、CIE-CAM97s又はCIE-CAM02で使用される観察条件パラメータであることを特徴とする。
請求項１２に記載の発明は、
被写体を撮像して撮像データを出力する撮像部と、
前記撮像部から出力される撮像データから、シーン輝度を表す画像データを生成する画像生成部と、
請求項１〜１１のいずれか一項に記載の画像処理装置と、を備え、
前記データ解析部は、前記画像生成部により生成された前記シーン輝度を表す画像データを解析することを特徴とする。
請求項１３に記載の発明は、撮像データに基づくシーン輝度を表す画像データを、鑑賞画像を表す画像データに変換する画像処理方法において、
鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小した前記シーン輝度を表す画像データと前記輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析工程と、
前記算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換工程と、
前記変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット工程と、を含むことを特徴とする。
請求項１４に記載の発明は、請求項１３に記載の画像処理方法において、
鑑賞画像が意図する観察条件を選択させる工程と、
前記選択された観察条件に対応する観察条件パラメータを算出する工程と、を含み、
前記フォーマット工程において、前記算出された観察条件パラメータを前記鑑賞画像を表す画像データに添付して出力することを特徴とする。
請求項１５に記載の発明は、請求項１３又は１４に記載の画像処理方法において、
前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件を含むことを特徴とする。
請求項１６に記載の発明は、請求項１３又は１４に記載の画像処理方法において、
前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件及びホワイトバランス修正条件を含むことを特徴とする。
請求項１７に記載の発明は、請求項１５又は１６に記載の画像処理方法において、
前記データ解析工程において、特定の観察条件における仮の階調マッピング条件を算出し、当該仮の階調マッピング条件を鑑賞画像が意図する観察条件に合わせて修正して前記階調マッピング条件を算出することを特徴とする。
請求項１８に記載の発明は、請求項１３〜１７のいずれか一項に記載の画像処理方法において、
前記データ解析工程において、前記シーン輝度を表す画像データの自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする。
請求項１９に記載の発明は、請求項１８に記載の画像処理方法において、
前記データ解析工程は、
前記シーン輝度を表す画像データについて色情報を取得し、当該取得された色情報に基づいて、前記シーン輝度を表す画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度を算出する第４の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出工程と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出工程と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別工程と、を含むことを特徴とする。
請求項２０に記載の発明は、請求項１８又は１９に記載の画像処理方法において、
前記データ解析工程は、
前記シーン輝度を表す画像データの明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該シーン輝度を表す画像データに対する複数の第１仮補正量を設定する第１仮補正量設定工程と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定工程と、
前記第１混合係数設定工程により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記シーン輝度を表す画像データに対する第２仮補正量を設定する第２仮補正量設定工程と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定工程と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出工程と、を含み、
前記シーン判別処理による判別結果と、前記階調調整パラメータ算出工程により算出された階調調整パラメータとに基づいて、前記シーン輝度を表す画像データに対する画像変換条件を設定することを特徴とする。
請求項２１に記載の発明は、請求項１３〜２０のいずれか一項に記載の画像処理方法において、
前記データ解析工程において、前記鑑賞画像を輝度拡張色空間で記載する画像変換条件を算出することを特徴とする。
請求項２２に記載の発明は、請求項１３〜２１のいずれか一項に記載の画像処理方法において、
前記フォーマット工程において、前記算出された画像変換条件を前記鑑賞画像を表す画像データに添付して出力することを特徴とする。
請求項２３に記載の発明は、請求項１３〜２２のいずれか一項に記載の画像処理方法において、
前記鑑賞画像を表す画像データに添付される、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータは、CIE-CAM97s又はCIE-CAM02で使用される観察条件パラメータであることを特徴とする。
請求項２４に記載の発明の画像処理プログラムは、
コンピュータを、
鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小した前記シーン輝度を表す画像データと前記輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析部、
前記データ解析部により算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換部、
前記画像変換部により変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット部、
として機能させることを特徴とする。
請求項２５に記載の発明は、請求項２４に記載の画像処理プログラムにおいて、
前記コンピュータを、
鑑賞画像が意図する観察条件を選択させる操作部として機能させ、
前記データ解析部は、前記操作部により選択された観察条件に対応する観察条件パラメータを算出し、
前記フォーマット部は、前記データ解析部により算出された観察条件パラメータを前記鑑賞画像を表す画像データに添付して出力することを特徴とする。
請求項２６に記載の発明は、請求項２４又は２５に記載の画像処理プログラムにおいて、
前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件を含むことを特徴とする。
請求項２７に記載の発明は、請求項２４又は２５に記載の画像処理プログラムにおいて、
前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件及びホワイトバランス修正条件を含むことを特徴とする。
請求項２８に記載の発明は、請求項２６又は２７に記載の画像処理プログラムにおいて、
前記データ解析部は、特定の観察条件における仮の階調マッピング条件を算出し、当該仮の階調マッピング条件を鑑賞画像が意図する観察条件に合わせて修正して前記階調マッピング条件を算出することを特徴とする。
請求項２９に記載の発明は、請求項２４〜２８のいずれか一項に記載の画像処理プログラムにおいて、
前記データ解析部は、前記シーン輝度を表す画像データの自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする。
請求項３０に記載の発明は、請求項２９に記載の画像処理プログラムにおいて、
前記データ解析部は、
前記シーン輝度を表す画像データについて色情報を取得し、当該取得された色情報に基づいて、前記シーン輝度を表す画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出部と、
前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出部と、
前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出部と、
前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出部と、
前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出部と、
少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度を算出する第４の指標算出部と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出部と、
前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出部と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別部と、を備えることを特徴とする。
請求項３１に記載の発明は、請求項２９又は３０に記載の画像処理プログラムにおいて、
前記データ解析部は、
前記シーン輝度を表す画像データの明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該シーン輝度を表す画像データに対する複数の第１仮補正量を設定する第１仮補正量設定部と、
前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定部と、
前記第１混合係数設定部により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記シーン輝度を表す画像データに対する第２仮補正量を設定する第２仮補正量設定部と、
前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係
数を設定する第２混合係数設定部と、
前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出部と、を備え、
前記シーン判別処理による判別結果と、前記階調調整パラメータ算出部により算出された階調調整パラメータとに基づいて、前記シーン輝度を表す画像データに対する画像変換条件を設定することを特徴とする。
請求項３２に記載の発明は、請求項２４〜３１のいずれか一項に記載の画像処理プログラムにおいて、
前記データ解析部は、前記鑑賞画像を輝度拡張色空間で記載する画像変換条件を算出することを特徴とする。
請求項３３に記載の発明は、請求項２４〜３２のいずれか一項に記載の画像処理プログラムにおいて、
前記フォーマット部は、前記算出された画像変換条件を前記鑑賞画像を表す画像データに添付して出力することを特徴とする。
請求項３４に記載の発明は、請求項２４〜３３のいずれか一項に記載の画像処理プログラムにおいて、
前記鑑賞画像を表す画像データに添付される、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータは、CIE-CAM97s又はCIE-CAM02で使用される観察条件パラメータであることを特徴とする。
ここで、本発明の特許請求の範囲及び明細書に記載の用語を説明する。
「シーン輝度を表す画像データ（リニア画像）」、「鑑賞画像を表す画像データ（ノンリニア画像）」について詳述する。
一般撮影シーンは照明のムラが多く、輝度比が1000倍を超える事も稀ではない（例えば、日本色彩学会編 色彩科学ハンドブック第２版, 東京大学出版会, p925-926 (1998)を参照）。これに対して、各種メディアが表示できる輝度比は100倍オーダーである。必然的に写真階調はシーン階調と異なる事になり、100倍オーダーの輝度比のメディア上で、1000倍オーダーの輝度比シーンの印象をいかに適切に演出するかが写真設計の基本である。
このシーン階調から写真階調への変換は、シーンの状態（構図内の輝度比・主要被写体の輝度等）により適切なマッピング条件が異なり、一律に決定する事ができない。そこで銀塩写真の場合には下記のアーキテクチャが採用されている。
[設計１] ネガフィルムは、数千倍オーダーの輝度比に応じてリニアに濃度が変化する軟調設計にする。これにより、シーンの輝度情報は漏れなくネガフィルムに記録される。
[設計２] 上記の軟調なネガフィルム画像を、硬調な印画紙に焼き付ける事で、鑑賞に適した階調とする。焼き付け露光量を調節することで、幅広いシーン輝度のどこを中心に写真階調を再現するかを選択する。
上記設計２では、ネガフィルム画像をプリンタが自動解析することで適切な条件を算出している。この算出結果が撮影意図と合致しなかった場合、ユーザがその旨を指摘して「焼き直し」をすれば、適切な写真を作成する事ができる。たとえば、風景描写を優先したプリントに対して、日陰の人物を重視したいと指摘する等の例が挙げられる。
一方でリバーサルフィルムの場合は、フィルム現像で直接鑑賞用画像を生成する為、上記設計１のような軟調設計ができない。ゆえにリバーサルフィルムは記録できる輝度比の幅が狭く、適正な画像を撮影するためには、撮影時に撮影条件（照明・絞り・シャッター）を慎重に設定する必要があり、もちろん撮影後に「焼き直し」等で修正する事はできない。このため、リバーサルフィルムはプロ・ハイエンドアマチュア専用の商品として販売されている。
このように、銀塩写真におけるネガフィルムとポジフィルムは、ネガ・ポジの階調差以外に、画像の性格が異なるということを指摘することができる。
上記の観点でＤＳＣ（Digital Still Camera）と銀塩写真のアーキテクチャを比較すると、一般用の（sRGBの可視画像ファイルを生成する）ＤＳＣの機構は、リバーサルフィルムの機構に相当する。即ち、幅広いシーン輝度のどこを中心に写真階調を再現するかは露出制御プログラムの精度に依存しており、撮影後に修正する事はできない。一方プロユーザはＲａｗデータ（ＣＣＤが受光した生データ）を記録するＤＳＣを利用し、撮影後に現像ソフトでシーン輝度のどこを中心に写真階調を再現するかを指定している。この方法はネガフィルムの機構に相当する。ここでも一般用ＤＳＣが生成するsRGB画像とＲａｗデータでは、画像データの性格が異なるということを指摘することができる。
このような画像の性格の差は、画像データのレンダリング状態の差異に起因するものであり、この「画像データのレンダリング状態」を示す概念として「Image State」という
用語が用いられている。（Image State の詳細な定義は、例えば下記の文献に示されている。“Requirements for Unambiguous Specification of a Color Encoding ISO 22028-1”, Kevin Spaulding, in Proc. Tenth Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications, IS&T, Springfield, VA, p.106-111 (2002)）．
本発明において、「シーン輝度を表す画像データ」とは、scene-referredのimage stateに属する画像データの一種であり、特に記録された画素の輝度値とシーン輝度の関係が実質的に一次直線の関係にあるものを意味している。
また、本発明における「鑑賞画像を表す画像データ」とは、output-referredのimage stateに属する画像データを意味している。
「Scene-referred」とは、風景シーンの色度評価値を表現した状態を意味する。例えばＤＳＣ（Digital Still Camera）のＲａｗデータに分光感度等の校正のみを施し、意図的な強調を加えていない画像の状態が相当する。たとえば、一般的に用いられているＲａｗデータ（ＣＣＤ（Charge-Coupled Devices）等の受光素子が出力する生データ）は、３色の分光感度を補正するマトリックス演算を施すことでScene-referredの画像データに変換することができる。「シーン輝度を表す画像データ」は、シーンの色度評価値を相対的に表現したものであるが、付加的なスケール情報をも参照することで絶対的な色度評価値に換算する事も可能である。スケール情報としては、OECF（光電変換特性, ISO14524で定義）・絞りのＦナンバー・露光時間が挙げられる。
「Output-referred」とは、特定の出力機器・観察条件に対して適切な表現にレンダリングされた状態を意味する。例えば、一般的なＤＳＣが生成するＪＰＥＧ（Joint Photographic Coding Experts Group）画像はディスプレイ表示に最適化されているのでoutput-referredに該当する。
即ち、「シーン輝度を表す画像データ」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度をRIMM RGB、ERIMM RGB、scRGBなどの色空間（後述の「輝度拡張色空間」）にマッピング済みであり、特定の出力機器・観察条件での画像鑑賞時の効果を向上する為に、データ内容を改変する階調変換・鮮鋭性強調・彩度強調などが省略された状態の画像データを意味する。またシーン輝度を表す画像データは、撮像装置の光電変換特性(ISO1452が定義するopto-electronic conversion function, 例えば、コロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編、479頁参照)の補正を行ったものであることが好ましい。標準化されたシーン輝度を表す画像データの情報量（例えば階調数）は、Ａ/Ｄ変換器の性能に準じ、後述の「鑑賞画像を表す画像データ」で必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像を表す画像データの階調数が１チャンネルあたり8bitである場合、シーン輝度を表す画像データの階調数は12bit以上が好ましく、14bit以上がより好ましく、また16bit以上がさらに好ましい。
「シーン輝度を表す画像データを鑑賞画像を表す画像データに変換する画像変換処理」とは、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得るための「ガンマ補正」処理であり、例えばsRGB規格に準拠したCRTディスプレイモニタに表示することを前提とした場合、sRGB規格の色域内で最適な色再現が得られるように処理される。このときの処理設定は、「ガンマ特性」と称される。
銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、16bitから8bitへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性(ＬＵＴ)への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、グレーバランス調整、彩度調整或いは覆い焼き処理等の階調圧縮処理が行われることは言うまでもない。
「鑑賞画像を表す画像データ」とはＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、或いは銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の「出力媒体」上のハードコピー画像生成に用いるデジタル画像データを意味する。CRT、液晶、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう処理が施されている。撮影により形成された画像データが、「シーン輝度を表す画像データ」であるとき、「出力媒体上での鑑賞に最適化された画像データ」が「鑑賞画像を表す画像データ」に相当する。前記「Rawデータ」、又は「シーン輝度を表す画像データ」から、「鑑賞画像を表す画像データ」を生成することを、「電子現像処理」（又は単に「現像処理」）と称し、このような処理機能を備えたアプリケーションソフトウェアを「電子現像ソフト」（又は単に「現像ソフト」）と称される。
「シーン輝度を表す画像データに対する階調変換処理」とは、前記Ｒａｗデータ（ＣＣＤが受光した生データ）を記録するＤＳＣを利用し、撮影後に現像ソフトでシーン輝度のどこを中心に写真階調を再現するかをユーザ自身が撮影駒毎に指定する煩雑な操作に相当する。本階調変換処理は、露出制御プログラムの作用と同等であるので、処理後の画像データは、特定の出力機器・観察条件に対して適切な表現にレンダリングされた状態ではなく、シーンの色度評価値を相対的に表現された状態であるので、上記のscene-referredのimage stateに属する「シーン輝度を表す画像データ」と定義することができる。
本発明における、「シーン輝度を表す画像データの解析」とは、該シーン輝度を表す画像データのヒストグラム分析を行い、輝度分布の実質的な最大値と最小値、最も出現頻度の高い輝度値等の統計情報を算出し、該ヒストグラムの形状から、通常撮影・逆光シーン・ストロボ近接シーン種別の判別を行うことを意味する。更に、肌色領域や顔形状の検出を行い、該領域の平均（あるいはメジアン・モード）輝度を求めておくことは更に好ましい。
本発明における「解析結果」とは上記の方法で得られた、シーン輝度の統計情報・シーン種別・肌色領域や顔領域の平均輝度等の情報を意味する。
本発明における「鑑賞画像が意図する観察条件」とは、鑑賞画像を表す画像データを作成する際に前提としている標準的な観察条件を意味する。観察条件の種類としては、例えばＣＲＴ観察・プロジェクタ投影観察・プリント観察等が挙げられる。本発明において、鑑賞画像が意図する観察条件は、たとえばユーザに直接指定させるか、画像用途を選択させて該用途における標準的な観察条件を採用することで決定できる。別な態様として、鑑賞画像データ出力用に指定された色空間から鑑賞画像が意図する観察条件を推定することも可能である。たとえばsRGB色空間が指定されている場合は鑑賞画像が意図する観察条件はＣＲＴ観察であり、ＹＭＣＫ色空間が指定されている場合はプリント観察であると推定できる。更に、本発明の画像処理装置に、画像表示装置又はプリント装置等の機器が接続されていて、該機器へ鑑賞画像を表す画像データを出力する場合、該機器の機種情報から鑑賞画像が意図する観察条件を推定することも可能である。例えば、液晶プロジェクタが接続されている場合は、鑑賞画像が意図する観察条件は、薄暗い部屋での投影観察であると推定できる。
本発明における「画像変換条件」とは、シーン輝度を表す画像データを、鑑賞画像を表す画像データに変換する為の条件を意味し、具体的には、ホワイトバランス補正、階調マッピングの項目が含まれる。従来の技術ではシーン輝度を表す画像データの解析結果からこれらの画像変換条件が決定されていた。これに対して本発明では、シーン輝度を表す画像データの解析結果と、鑑賞画像が意図する観察条件の両方を参照して、これらの画像変換条件を決定することを特徴としている。また、本発明の画像処理において、撮影条件に関する情報、例えばシーンタイプ（屋外・屋内・ポートレート・夜景等）・ストロボ有無などExif（Exchangeable Image File Format）等で記載される情報を取得できるときは、該取得情報も加えて参照して画像変換条件を決定する際に利用することが好ましい。
以下、上記各項目について説明する。
従来、ホワイトバランス補正の条件は、基本的にシーン輝度を表す画像データのＲＧＢチャンネル別のヒストグラム解析結果に基づいて決定されてきた。また、特に色相変化が目立ち易い肌色を検出し、肌色の色相が好ましい範囲に入るようにホワイトバランス条件を調整することも行われてきた。この方法は、鑑賞画像を表す画像データを表現する色空間で指定された白色点（例えばsRGB色空間の場合はＤ65）を前提として算出される測色値（例えばCIE L*a*b*）を最適化する技術であったが、鑑賞画像が意図する観察条件の相違については注意が払われていなかった。たとえば、同じsRGB色空間の画像であっても、明るい室内で十分な光量のあるＣＲＴを間近で観察している時はＣＲＴの白色点への順応が高いため適正に見えていた画像が、暗い室内で光量の弱いプロジェクタ投影画像を見ている時には投影画像の白色点への順応が低いために青っぽく見えることがある。これに対して本発明の画像処理では、鑑賞画像が意図する観察条件に基づいて、ホワイトバランス補正の条件を補正することにより、鑑賞画像が意図する観察条件に適した画像を作成する。
次に階調マッピングについて説明する。上記のように、一般に撮影シーンは輝度比が１０００倍を超えることも稀ではないが、各種メディアが表示できる輝度比は１００倍オーダである。必然的に鑑賞画像を表す画像データの階調はシーン輝度を表す画像データの階調と異なることになる。そこで、シーン輝度を表す画像データの階調から鑑賞画像を表す画像データの階調への変換を行う工程を階調マッピングという。この工程は、広範囲のシーン輝度のうち、どの輝度領域を鑑賞画像の中心輝度にマッピングするかを選択する露出補正と、シーン輝度と鑑賞画像の輝度をどのような関係でマッピングするかを選択する階調補正の２工程に分離して考えることができるが、実技的には両者の補正を同時に行うアルゴリズムも存在するので、ここでは階調マッピングと総称している。
この階調マッピング条件は一律でなく、撮影シーンの状況により変化させる必要がある。例えばシーンの７割が明るく、シーンの３割が日陰である場合、通常はシーンの明るい部分、あるいはシーン全体の平均輝度が見やすいように階調マッピングを行うべきである。しかし前記日陰の部分が画面のほぼ中央にあり、そこに人物が映っている場合は、逆光シーンと判断して、前記日陰部分にある人物が見やすいように階調マッピングを変更しなければならない。また、集合写真のように小さな顔が映っている写真ではやや硬調な表現が好まれるのに対して、ポートレートのような顔のクローズアップの写真ではやや軟調な表現が好まれる。そこで、シーン輝度の統計情報・シーン種別・肌色領域や顔領域の平均輝度の解析結果に基づき、マッピング条件を決定する方法が行われている。具体的には例えば特願２００３−４３４６６９号に記載される方法が知られている。こうした従来の技術は、鑑賞画像を表す画像データを表現する色空間で指定された再現ガンマ（例えばsRGB色空間の場合は約２．２）を前提として算出される測色値（例えばCIE L*a*b*）の輝度階調を最適化する技術であった。これに対して、本発明では、意図する観察条件をも加味して該マッピング条件を変化させることが特徴である。例えば同じ輝度の画像を、明るい部屋と薄暗い部屋で観察する場合には、薄暗い部屋で観察した方が明るく硬調に見えるので、鑑賞画像が意図する観察条件において周囲の環境が薄暗い場合は、標準の階調マッピング条件より、やや暗く軟調に調整する方が好ましい。このように、本発明では、鑑賞画像が意図する観察条件に合わせて階調マッピングを調整する。
本発明における「鑑賞画像が意図する観察条件に対応する観察条件パラメータ」とは、前記鑑賞画像が意図する観察条件において想定される、色の見えモデルの計算に用いる具体的な入力数値であり、順応視野の輝度・順応白色の３刺激値・背景相対輝度・周囲の影響などが挙げられる。こうした観察条件パラメータの具体的な値をユーザが直接指定しても良いが、専門家を除く一般的なユーザが観察条件パラメータの具体的数値を設定するのは困難なことが多いので、観察条件の種類と観察条件パラメータの対応を示すテーブルを用意しておいて、ユーザが指定した観察条件の種類に対応して、具体的な観察条件パラメータを設定するのが好ましい。また、前記シーン輝度を表す画像の解析結果に基づいて、前記テーブルに用意されていた観察条件パラメータの数値を必要に応じて修正することが好ましい。例えば背景相対輝度としては、通常は順応白色輝度の２０％程度の値が採用されるが、例えば夜景や花火の写真のように画像全体の背景が前記値より著しく暗い場合は、背景相対輝度の値をより暗めに設定する。
こうした鑑賞画像が意図する観察条件に対応する観察条件パラメータは、鑑賞画像を表す画像データのファイル内にメタ情報（タグ情報）として記録するか、あるいは該ファイルに関連づけられた別ファイル内に記録する形で、鑑賞画像を表す画像データに添付されて出力される。
このように、本発明の画像処理で作成された鑑賞画像を表す画像データは、鑑賞画像が意図する観察条件に適合するように変換されたものであり、かつ鑑賞画像が意図する観察条件に対応する観察条件パラメータが添付されている。そこで、本発明の画像処理で作成された鑑賞画像を表す画像データを受け取った画像表示装置・プリント装置あるいは別の画像処理装置は、鑑賞画像が意図する観察条件とは異なる観察条件においても、色の見えモデルを使って、適正な画像の見えを達成することができるようになる。
また、本発明において、画像処理の演算に用いる色空間と、鑑賞画像を出力する色空間とは、輝度拡張色空間を用いるのが好ましい。この輝度拡張色空間について説明する。現在ＤＳＣ画像で普遍的に用いられているsRGB色空間は、ＩＥＣ(International Electrotechnical Commission)によりIEC61966-2-1として規格定義されている。たとえば８bitの場合、黒色点は8bitの最小値である0、白色点は8bitの最高値である255と規定され、かつ画像データを表示・印刷する時のガンマは2.2と規定されている。ここで白色点とは何を指すのかが問題になる。白色点としては、(i)表示・印刷する際のメディアの白地、(ii)撮影シーンにおける完全拡散反射板の白地、(iii)撮影シーンにおける輝度最大値（鏡面反射や発光部を含む。）の３通りが考えられるが、現在市場にある表示デバイス・プリンタ・画像関連のアプリケーションソフトウエアは、(i)を白色点とみなして稼動する。
ＤＳＣで撮影したＲａｗデータを鑑賞画像参照データ（output-referred）に変換する際には、表示・印刷の際に白色表示したいシーン輝度に白色点に割りつけるが、この場合(ii)や(iii)の領域が該白色点より撮影輝度値が高いことが多く、白色点以上の画素値は記録できないため、該領域を白く塗りつぶすことになる。しかし、ＤＳＣの露光調整は万能ではないので、後で画像を調整する必要が生じる。たとえば、額や鼻で光が反射して、顔の中に白ヌケが発生している場合が例として挙げられる。ところが、sRGB色空間で記録した画像では、該領域は白（8bitの場合255）でクリッピングされており、該領域の撮影情報は失われているので、これを修正することができない。こうした問題を避ける為に、(iii)を白色点としてデータ記録することが考えられるが、表示デバイス・プリンタ・画像関連のアプリケーションソフトウエアは該白色点を(i)として扱うので、こうした画像は暗く軟調に表示・プリントされて鑑賞に適さない。
これに対して、白色点を超える輝度値の記録を可能にした色空間が提案されている。たとえばIEC61966-2-2が規定するscRGB,scRGB-nl,scYCC-nlや、ANSI/I3A IT10.7466が規定するRIMM RGB,ERIMM RGBが例として挙げられる。本明細書ではこうした色空間を「輝度拡張色空間」として総称している。16bitのscRGB色空間を例にとって説明する。CIE 1931 XYZ 空間での測色値を、黒色点を0、白色点を1で規格化した値をX,Y,Zとすると、scRGBのR,G,B値は次式（１）、（２）のように定義される。ここでR',G',B'は、整数に量子化されない浮動少数点での値を示す。
逆に、scRGBのR,G,B値からX,Y,Z値へ次式（３）、（４）のように変換することもできる。
上記の定義により、黒色点の（R',G',B'）は（0,0,0）となり、その16bit表現（R,G,B）は(4096,4096,4096)となる。またＤ65白色点での（R',G',B'）は（1,1,1）となり、その16bit表現（R,G,B）は(12288,12288,12288)となる。16bit表現においては0から4095までが黒色点以下の輝度、4096から12288までが黒色点以上白色点以下の輝度、12289から65535までが白色点を超える輝度に相当し、黒色点を0.0、白色点を1.0で規格化した値において-0.5から7.4999の輝度範囲を表現することができる。
本発明の画像処理の演算に用いる色空間と、鑑賞画像を表す画像データを出力する色空間とに、上記の輝度拡張色空間を用いると、鑑賞画像において白色表示すべき領域よりもシーン輝度が高かった領域のデータを、白色点にクリッピングせず、白色点以上の輝度として記録しておくことができる。こうしておくと、本発明の画像処理において作成した鑑賞画像を表す画像データを、別の表示装置・プリント装置が受け取り、鑑賞画像が意図する観察条件とは異なる観察条件に対応する画像データへ変換する際に、白色点付近の潰れや擬似輪郭の発生を防止することができる。
また、本発明が出力する鑑賞画像を表す画像データを出力する色空間に、上記の輝度拡張色空間を採用し、更に本発明の画像処理において実施した画像変換条件を、鑑賞画像を表す画像データに添付して出力しても良い。このようにしておくと、鑑賞画像ファイルを受けとった別の画像処理装置において、鑑賞画像を表す画像データを作成する時に使用した色の見えモデルとは互換性の無い別の色の見えモデルを使用したい時に、鑑賞画像を表す画像データからシーン輝度を表す画像データを逆算し、改めて別の色の見えモデルに基づく画像変換を行うことができるようになる。
なお、式（２）は色空間を16bitの符号無し整数で表現するための変換であり、画像処理装置で浮動少数点を高速に処理できる場合は、式（１）で定義される浮動少数点値（R',G',B'）を内部演算で用いてもよい。この（R',G',B'）値は輝度に対して比例関係にある為に画像処理の演算式が簡単になり、浮動少数点処理が許される場合の本発明の画像処理の演算としては好ましい態様である。
なお、scRGBは輝度値と一次式の関係にある整数を記録するため、ファイルに記録した時のサイズが大きくなる。そこで、ファイルに記録したり、他の画像処理装置・表示装置・プリンタにデータを送る際には、scRGBより小さいサイズで記録できる輝度拡張色空間にデータを変換してもよい。こうした色空間としては、IEC61966-2-2 Annex Bが規定するscRGB-nl,scYCC-nlや、ANSI/I3A IT10.7466が規定するRIMM RGBが挙げられる。逆にデータサイズが問題にならない場合は、整数値のscRGBの代わりに、前記の浮動少数点表記のデータをファイルに記録したり、他の画像処理装置・表示装置・プリンタにデータ転送する態様も考えられる。このように具体的な輝度拡張色空間の選択は、本発明を応用する装置の仕様に基づき任意に決めることができる。
「自然光」とは、人工的な光源である定常光や閃光（「フラッシュ」、「スピードライト」などと称される。）ではなく、太陽を光源とする光のことである。日中光とも言う。デーライトは、日中光に近い色温度（約5500K）の人工的な光源を示す用語であるため、
「自然光」とは異なる。
「屋外撮影度」（「自然光指標」ともいう。）とは、撮影画像データが「自然光」を用いて撮影されたものであるかどうかを推定し、その結果を定量的に示した数値である。「自然光」を用いて撮影され、明るさ補正を要するシーンには逆光シーンが多く、画面上部に高輝度領域或いは高彩度の空色領域、画面下部に、低輝度領域或いは肌色や緑色が分布する確率が高い。一方、「自然光」を用いないで撮影された屋内撮影或いはオーバー撮影シーンには、画面中央に高輝度領域或いは低彩度の肌色領域、画面周辺には低輝度領域或いは低輝度の肌色や高彩度の肌色が分布する傾向にある。このような経験側を基に、「自然光」を用いて撮影されかどうかを、「屋外撮影度」として定量的に示すことが可能である。画面上部の輝度や空色色相の画素数、画面下部の輝度や肌色色相の画素数など、多くの変量から１つの傾向を導き出す統計処理手法としては、多変量解析を用いることが望ましい。
「ダイナミックレンジの大きさを表す輝度比指標」とは、逆光シーンやオーバー撮影シーンのような、撮影時の光源条件に起因して、主要被写体領域と背景領域の明るさが異なる程度を定量的に示す値のことである。例えば、逆光シーンでは、撮影者がカメラを太陽の方角に向け、人物を撮影することに起因して、人物顔領域が暗く、背景領域である空が明るい画像となっている。即ち、人物顔領域と背景領域との明るさの差分値が得られれば、差分値を指標の１つとすることができる。一般的には、画差撮影画像データのヒストグラムを作図することにより差分値を得ることが知られている。
シーン輝度を表す画像データの「明るさ解析値」とは、画素値の分布状態を調べることで得られる、画像の平均的な明るさを示す数値である。「明るさ解析値」は、撮影画像データで最も重要な被写体（主要被写体）の明るさであることが望ましい。人物顔領域の探索は、色相・彩度・明度を用いた表色系における照合により行う。より高い精度を得るためには、目・鼻・口・顔の輪郭など、顔を構成するパーツを照合する所謂「顔検出」を用いることが好ましい。また、撮影時の露出設定に起因する露出撮影度（アンダー撮影、オーバー撮影）を表す露出撮影度指標を算出し、この露出撮影度指標を明るさ解析値として用いてもよい。更に、明るさ解析値の解析方法は、シーン輝度を表す画像データの解析に限定するものではなく、例えば、撮像装置の自動露出情報や自動露出情報の記録された付加情報を解析して得られた明るさであってもよい。
「再現目標値」とは、例えば、シーン輝度を表す画像データの主要被写体である人物顔領域が、撮影画像データを出力する出力デバイスにおいて最適に再現されるために必要な明るさを示す数値である。即ち、シーン輝度を表す画像データの「明るさ解析値」が「再現目標値」に近似した値であれば、出力デバイスにおいて最適に再現される確率が高いことを意味する。
「第１仮補正量」とは、「明るさ解析値」を「再現目標値」へと近似させるために必要な補正量を、一時的なものとして示した数値である。「第１仮補正量を設定する」とは、予め「明るさ解析値」と「第１仮補正量」、との関係を定義した１次元ＬＵＴ（Look Up Table）などを作成しておき、この１次元ＬＵＴと「明るさ解析値」に基づき、「第１仮補正量」を決定することを意味する。更に、「複数の第１仮補正量を設定する」とは、「明るさ解析値」を条件違いで算出する方法、異なる「再現目標値」を設定する方法（複数の1次元ＬＵＴを定義しておくことと同一）の一方又は双方により、少なくとも２つの「第１仮補正量」を一時的に得ることである。
本発明では、逆光シーンと、主要被写体がオーバーであるオーバー撮影シーンの場合の人物顔領域の明るさ補正を想定した、それぞれ２つの「第１仮補正量」設定用の１次元ＬＵＴを定義する。また、逆光シーンとオーバー撮影シーンの中間的なシーンでは、アンダーとオーバー撮影シーンにおける画像全体の明るさ補正を想定した、少なくとも１つの「第１仮補正量」設定用の１次元ＬＵＴを定義することが望ましい。
本発明の効果を十分に発揮させるために、「第１仮補正量」設定用の１次元ＬＵＴの作成に際しては、明部及び暗部がつぶれたり、高彩度の色が飽和してつぶれたり、色相が変わるなどの現象が実際に発生する逆光シーンやオーバー撮影シーンを予め「学習用画像（「教師データ」とも云う）」として多数用意し、人物顔領域の明るさと、これらの現象の発生を観察しながら行うことが望ましい。
「明るさの再現目標値」と「輝度比指標」に基づいて、「第１仮補正量を設定する」とは、撮影画像データのダイナミックレンジが、撮影画像データを出力する出力デバイスのダイナミックレンジ内に適切に収まるように、主要被写体の明るさに基づいて設定された明るさ補正量を弱め、輝度比指標に基づいて明るさ補正量を設定することを意味する。
自然光指標に基づいて「第１混合係数を設定する」とは、予め「自然光指標」と、各第１仮補正量に乗算する「第１混合係数」との関係を定義した１次元ＬＵＴなどを、第１仮補正量の数だけ作成しておき、この１次元ＬＵＴと「自然光指標」に基づき、各第１仮補正量に乗算する「第１混合係数」を決定することを意味する。なお、輝度比指標に基づいて、第１混合係数を調整するようにしてもよい。
例えば、自然光指標が、高い屋外撮影度の数値を示した場合、逆光シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：肌色平均輝度、出力：第１仮補正量）の「第１混合係数」が高くなるように、１次元ＬＵＴを定義する。
一方、自然光指標が、低い屋外撮影度の数値を示した場合、オーバー撮影シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：肌色平均輝度、出力：第１仮補正量）の「第１混合係数」が高くなるように、１次元ＬＵＴを定義する。
また、自然光指標が、曖昧な屋外撮影度の数値を示した場合、アンダー撮影シーンとオーバー撮影シーンにおける画像全体の明るさ補正を想定した、「第１仮補正量」設定用の1次元ＬＵＴ（入力：全体平均輝度又はアンダー・オーバー撮影指標、出力：第１仮補正量）の「第１混合係数」が高くなるように１次元ＬＵＴを定義する。
撮影画像データが予め逆光画像とわかっている場合には、「輝度比指標」に基づき、明るさ補正量と階調変換曲線を修正することができ、撮影画像データの明部及び暗部がつぶれたり、高彩度の色が飽和してつぶれたり、色相が変化することが抑制される。しかしながら、逆光シーンとオーバー撮影シーンとでは、ダイナミックレンジの大きさが同程度であっても、明るさ補正の方向が全く逆であるため、人物顔領域を適正な明るさに補正する処理を自動化するには、逆光シーンかオーバー撮影シーンあるか否かを定量的に示した予測数値（自然光指標）に応じて、ダイナミックレンジの大きさを表す輝度比指標に基づく第１仮補正量の適用量を定義しなくてはならない。そこで、逆光シーンにおける人物顔領域の明るさ補正を想定した、「第１仮補正量」設定用の１次元ＬＵＴ（入力：輝度比指標、出力：第１仮補正量）の「第１混合係数」が高くなるように、「自然光指標」と「第１混合係数」との関係を定義した１次元ＬＵＴを定義する。
「第２仮補正量」は、第１仮補正量と第１混合係数に基づいて算出されるもので、式（５）のように定義される。式（５）において、第１仮補正量設定部により設定される複数の第１仮補正量のうち、ｍ個の第１仮補正量を計算対象とし、ｉ番目の第１仮補正量をkey_auto[i]、第１仮補正量key_auto[i]に乗算する第１混合係数をwgt[i]としている。
本発明によれば、撮像データに基づくシーン輝度を表す画像データの解析結果と、鑑賞画像が意図する観察条件とから画像変換条件を算出し、当該算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、鑑賞画像を表す画像データに変換し、前記変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するので、撮影時特別な計測を行うことなく、また特別な専門知識を必要とすることもなく、デジタルカメラ等による撮像データから、色の見えモデルに適用可能な鑑賞画像を表す画像データを簡単に生成することができる。
また、出力された鑑賞画像を表す画像データに、鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するので、色の見えモデルに適応した各種の画像表示装置、プリント装置、画像処理装置などの機器に前記鑑賞画像を表す画像データを出力することで、前記機器側において、前記観察パラメータを用いて、鑑賞画像を作成する時に意図していた観察条件とは異なる観察条件においても、鑑賞画像を作成する時に意図していた色の見えを適正に再現することができる。
以下、添付図面を参照して本発明に係る第１及び第２の実施形態を順に説明する。
（第１の実施形態）
本発明に係る第１の実施形態（画像処理装置）における構成について説明する。先ず、図１〜図４を参照して、本実施形態の装置構成を説明する。
図１に、本実施形態に係る画像処理システム１αの要部構成の概要を示す。画像処理システム１αは、画像処理装置１００と、モニタ４１と、操作部４２と、デジタルカメラ４３と、ＣＤ／ＤＶＤ（Digital Versatile Disc）ドライブ４４と、ＬＡＮ（Local Area Network）などのネット回線４５と、プリンタ４６と、プロジェクタ４７とを備える。画像処理装置１００は、制御部１０と、記憶部２０と、入出力Ｉ／Ｆ（インタフェース）と、を備えて構成される。
モニタ４１、操作部４２、デジタルカメラ４３、ＣＤ／ＤＶＤドライブ４４及びネット回線４５は、入出力Ｉ／Ｆ３０に接続される。制御部１０は、各部を中央制御するＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などのメモリ１２と、などを備える。
画像処理システム１αは、パーソナルコンピュータ、モニタ、ユーザなどが各種選択事項を入力する操作部４２を備えており、記憶部２０にアプリケーション２１として記憶されたプログラムを、制御部１０のメモリ１２に読み込み、制御部１０のＣＰＵ１１で実行することで、パーソナルコンピュータなどが画像処理装置１００の一部として機能するようになっている。画像処理装置１００は、入出力Ｉ／Ｆ部３０を介して、デジタルカメラ４３、ＣＤ／ＤＶＤドライブ４４、ネット回線４５と接続可能であり、これらの装置・回線から、画像データを入力し、鑑賞画像を表す画像データを出力することができる。また、パーソナルコンピュータには、プリンタ４６、投影用のプロジェクタ４７等の、画像表示・プリント装置を接続することができ、鑑賞画像を表す画像データにこれらの装置に出力する場合は、前記アプリケーション２１から図示しない画像表示・プリント装置のドライバソフトに鑑賞画像を表す画像データが出力される。
図２に、画像処理装置１００のアプリケーションの機能としての構成を示す。画像処理装置１００は、上記パーソナルコンピュータとしての機能により、Ｒａｗデータ変換部５１と、データ解析部５２と、フォーマット部５４とを備えて構成される。ユーザ操作によりＲａｗデータの入力命令があると、該ＲａｗデータはＲａｗデータ変換部５１へ送られ、センサー分光感度を較正するマトリックス演算・オートホワイトバランス演算・オート露光補正演算といった公知の演算によりシーン輝度を表す画像データに変換され、データ解析部５２へ送られる。また、ユーザ操作によりシーン輝度を表す画像データの入力命令があった場合は、該シーン輝度を表す画像データは直接データ解析部５２へ送られる。
また、入力された画像データの撮影条件情報（シャッタースピード・絞り・シーンタイプ・ストロボ有無など）が、該画像データのファイル内にメタデータとして記録されていたり、該画像データに関連づけて記録された別のファイルから取得可能であった場合は、該撮影条件情報もデータ解析部５２へ送られる。本実施形態においては、特に、撮影条件情報として、輝度情報（Brightness＿Value、以後ＢＶと称する。）が取得されるものとする。輝度情報ＢＶは、撮影時に測光値から算出され、撮影画像がＥｘｉｆ（Exchangeable＿Image＿File＿Format）形式で記録される際に、合わせて記録されたものである。取得した輝度情報ＢＶはメモリ１２に保持されるとともに、データ解析部５２へ送られる。
図３に、鑑賞画像観察条件の選択ダイアログＤＩを示す。また、画像データの入力命令があった際は、モニタ４１に、図３に示す鑑賞画像観察条件の選択ダイアログＤＩを表示し、選択ダイアログＤＩに基づいてユーザが操作部４２を介して選択入力した観察条件の情報がデータ解析部５２へ送られる。
次に、画像処理装置１００におけるデータ解析部５２の内部構成及びその演算について説明する。図４に、データ解析部５２の内部構成及び演算処理の流れを示す。データ解析部５２は、画像内容解析部５２１と、仮画像変換条件修正部５２３と、観察条件テーブル参照部５２４と、観察条件パラメータ修正部５２５と、を備えて構成され、さらに、記憶部２０に記憶されるデータとして、ホワイトバランス修正係数テーブル６１と、階調マッピング修正条件テーブル６２と、観察条件テーブル６３と、観察条件パラメータの修正重みテーブル６４と、を有する。
シーン輝度を表す画像データは、画像内容解析部５２１に送られる。
（画像内容解析部５２１の内部構成）
図５に、画像内容解析部５２１の内部構成を示す。画像内容解析部５２１は、画像処理装置１００に直接入力されたシーン輝度を表す画像データ、又はＲａｗデータ変換部５１により変換されたＲａｗデータが付加されて入力されたシーン輝度を表す画像データに対して、シーン判別に基づく階調の仮画像変換条件の設定動作を制御するものであり、画像取得、シーン判別、階調処理条件設定などの一連の処理を実行する。本実施形態では入力画像が撮影画像データであるとし、図５を用いて、画像内容解析部５２１の内部構成を説明する。
図５に示すように、画像内容解析部５２１は、第１画像取得部１０１、第２画像取得部１０２、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７により構成される。
第１画像取得部１０１は、Ｒａｗデータ変換部５１から入力された又は直接入力されたシーン輝度を表す画像データ（リニア画像。以下、適宜、リニア画像と表現する。）を第１の画像として取得する。画像処理装置１００の入力画像は撮影画像データであるので、例えば撮影画像データが、その画像データのデータ書式に従って、必要に応じて圧縮符号の復元、データの表現方法の変換等の処理が施され、シーン輝度を表す画像データに変換された後、第１画像取得部１０１によって第１の画像として取得される。撮影画像データは通常撮影時にＪＰＥＧ画像形式などの鑑賞画像を表す画像データ（ノンリニア画像。以下、適宜、ノンリニア画像と表現する。）に変換され、記録されている。ここでは、ノンリニア画像に変換前のリニア画像を第１の画像として取得するものとする。
また、第１画像取得部１０１は、例えば撮影時にリニア画像のタグ領域に記録された付加情報などを読み出し、撮影時に算出される輝度情報ＢＶも合わせて取得する。本実施形態で取得する輝度情報ＢＶは輝度値であり、撮影時における測光値から算出され、メタデータとして画像データのタグ領域に付加記録されたものである。取得した第１の画像の画像データ及び輝度情報ＢＶは、メモリ１２に保持される。
第２画像取得部１０２は、取得した第１の画像を、Ｎ×Ｍ個の矩形の領域（垂直方向にＭ個及び水平方向にＮ個に分割された領域）に分割する。図６（ａ）に、第１の画像の一例を示し、図６（ｂ）に、当該第１の画像が２２×１４個の領域に分割された例を示す。なお、分割領域の数は特に限定されない。本実施形態では、分割された各領域を画像データの「画素」と見なし、分割された画像を実質的にサイズが縮小された画像として扱う。この縮小された画像が、第２の画像（縮小されたシーン輝度を表す画像データ）であり、上記操作により第２の画像を取得することになる。
占有率算出部１０３は、第２の画像の画像データ、即ち画像を構成する各画素に対して、色情報を取得する。取得された色情報に基づいて、画像の各画素を、明度と色相の組み合わせからなる所定の階級に分類し（図２３参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。即ち、占有率算出部１０３は、第１の占有率算出部として機能する。
また、占有率算出部１０３は、各画素を、第２の画像の画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し（図２４参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第２の占有率を算出する。即ち、占有率算出部１０３は、第２の占有率算出部としても機能する。
占有率算出部１０３において実行される占有率算出処理については、後に図２２を参照して詳細に説明する。
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標１及び指標２を算出する。即ち、指標算出部１０４は、第１の指標算出部及び第２の指標算出部として機能する。
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標３を算出する。即ち、指標算出部１０４は第３の指標算出部としても機能する。
更に、指標算出部１０４は、第２の画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための露出撮影度指標を算出する。即ち、指標算出部１０４は、第４の指標算出部としても機能する。
また、指標算出部１０４は、第２の画像の画面中央部における肌色領域の平均輝度値（指標７とする）と、指標１及び指標３と、前述の撮影時の輝度情報ＢＶとに、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな自然光指標を算出する。即ち、指標算出部１０４は、第５の指標算出部としても機能する。
また、指標算出部１０４は、前記平均輝度値と、指標２及び指標３と、前述の撮影時の輝度情報ＢＶとに、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな輝度比指標を算出する。即ち、指標算出部１０４は第６の指標算出部としても機能する。
指標算出部１０４において実行される指標算出処理については、後に図２５を参照して詳細に説明する。
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。即ち、シーン判別部１０５は、シーン判別部として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。撮影シーン判別の方法については、後に詳細に説明する。
階調処理条件設定部１０７は、指標算出部１０４で算出された各指標、シーン判別部１０５で判別された撮影シーンに基づいて第１の画像に対する階調処理条件としての仮画像変換条件を設定する。仮画像条件設定処理については、後に図３０を参照して詳細に説明する。
制御部１０は、上記画像内容解析部５２１で行われる処理以外にも、仮画像条件修正等のデータ解析部５２での処理や、Ｒａｗデータ変換部５１での処理や、自動ホワイトバランス処理、階調変換処理、ガンマ変換処理、その他画像処理などの画像変換部５３での処理や、フォーマット部５４での画像フォーマット変換、画像データの記録などの処理動作を制御する機能を有する。
また制御部１０における各部の処理は、記憶部２０に記憶（保存）されているアプリケーション（プログラム）２１をＣＰＵ１１が実行するなどしてソフトウェア処理によって行われるが、少なくとも一部の処理がハードウエア処理によって行われることとしてもよい。
図７に、階調処理条件設定部１０７の内部構成を示す。階調処理条件設定部１０７は、第１仮補正量設定部２０１、第１混合係数設定部２０２、第２仮補正量演算部２０３、第２混合係数設定部２０４、明るさ補正量演算部２０５により構成される。
第１仮補正量設定部２０１は、リニア画像の明るさ解析値と、明るさの再現目標値と、指標算出部１０４で算出された輝度比指標及び露出撮影度指標に基づいて、当該リニア画像に対する第１仮補正量を設定する。ｎ個の明るさ解析値が入力された場合、第１仮補正量設定部２０１は、各明るさ解析値を再現目標値へと近似するために必要な補正量としての第１仮補正量をｎ＋４個設定する。即ち、第１仮補正量設定部２０１は、第１仮補正量設定部として機能する。
図８に、輝度比指標と第１仮補正量key_auto[0]との関係を定義した１次元ＬＵＴ（Look Up Table）を示し、図９に、露出撮影度指標と第１仮補正量key_auto[1]との関係を定義した１次元ＬＵＴを示し、図１０に、肌色平均輝度と第１仮補正量key_auto[2]との関係を定義した１次元ＬＵＴを示し、図１１に、肌色平均輝度又は全体平均輝度と第１仮補正量key_auto[3]との関係を定義した１次元ＬＵＴを示し、図１２に、輝度比指標と第１仮補正量key_auto[4]との関係を定義した１次元ＬＵＴを示し、図１３に、露出撮影度指標と第１仮補正量key_auto[5]との関係を定義した１次元ＬＵＴを示す。
本実施形態では、階調処理条件設定部１０７に入力される明るさ解析値は、肌色平均輝度及び全体平均輝度（即ち、ｎ＝２）とする。この場合、第１仮補正量設定部２０１では、図８〜図１３に示した１次元ＬＵＴを用いて、第１仮補正量として６個の仮補正量（key_auto[0]〜[5]）が設定される。
第１混合係数設定部２０２は、指標算出部１０４で算出された自然光指標に基づいて、第１仮補正量設定部２０１で設定されたｎ＋４個の第１仮補正量のうちのｎ＋２個（key_auto[0]〜[3]）に乗算する重み係数としての第１混合係数をｎ＋２個設定する。即ち、第１混合係数設定部２０２は、第１混合係数設定部として機能する。図１４〜図１７に、自然光指標と第１混合係数wgt[0]〜wgt[3]との関係を定義した１次元ＬＵＴを示す。
なお、図８〜図１３の１次元ＬＵＴと、図１４〜図１７の１次元ＬＵＴは、記憶部２０に格納されている。
第２仮補正量演算部２０３は、ｎ＋２個の第１仮補正量（key_auto[0]〜[3]）と、第１混合係数設定部２０２で設定されたｎ＋２個の第１混合係数wgt[0]〜wgt[3]に基づいて、リニア画像に対する第２仮補正量を設定する。即ち、第２仮補正量演算部２０３は、第２仮補正量設定部として機能する。式（６）に、第２仮補正量の算出式を示す。
第２仮補正量＝key_auto[0]×wgt[0]＋key_auto[1]×wgt[1]＋key_auto[2]×wgt[2]＋key_auto[3]×wgt[3] …（６）
以後、式（６）の第２仮補正量をkey_auto[6]と表記する。
第２混合係数設定部２０４は、指標算出部１０４で算出された自然光指標、輝度比指標、露出撮影度指標の値と、撮影シーンを判別するためのシーン判別マップに基づいて、２個の第１仮補正量key_auto[4]、key_auto[5]と、第２仮補正量key_auto[6]の各々に乗算する重み係数として３個の第２混合係数wgt[4]〜[6]を設定する。即ち、第２混合係数設定部２０４は、第２混合係数設定部として機能する。なお、本実施形態では、第２混合係数設定部２０４における、自然光指標、輝度比指標、露出撮影度指標の値及びシーン判別マップに基づいてシーン判別を行う構成は、シーン判別部１０５と共有の構成とするが、これに限定されるものではなく、別々の構成としてもよい。
図１８（ａ）に、自然光指標及び輝度比指標に基づいてリニア画像の撮影シーン（順光、逆光、主要被写体がオーバー、アンダー、低確度領域）を判別するための判別マップを示し、図１８（ｂ）に自然光指標及び露出撮影度指標に基づいてリニア画像の撮影シーン（順光、逆光、主要被写体がオーバー、アンダー、低確度領域）を判別するための判別マップを示す。図１８において、低確度領域とは、順光、逆光、主要被写体がオーバー、アンダーと判別される確度が（所定値より）低い領域を表している。
図１９は、撮影シーン別に第２混合係数wgt[4]〜[6]の値を表す係数算出テーブルを示している。この係数算出テーブルは、記憶部２０に格納されている。図１９において、撮影シーン項目に示された各数字は、図１８の各撮影シーンに付与された数字である。例えば、図１９において、撮影シーン項目の“３”は、図１８（ａ）の低確度領域(3)を表す
。
明るさ補正量演算部２０５は、２個の第１仮補正量key_auto[4]、key_auto[5]と、第２仮補正量key_auto[6]と、第２混合係数設定部２０４で設定された３個の第２混合係数wgt[4]〜[6]から、式（７）に示すように、階調調整パラメータとしての明るさ補正量を算出する。
明るさ補正量
＝key_auto[4]×wgt[4]＋key_auto[5]×wgt[5]＋key_auto[6]×wgt[6] …（７）
即ち、明るさ補正量演算部２０５は、階調調整パラメータ算出部として機能する。
また、階調処理条件設定部１０７では、後述するように、明るさ補正量演算部２０５により演算された明るさ補正量から、次式（８）に基づいてボタン数を算出し、この算出したボタン数と、シーン判別部１０５によるシーン判別結果とを満足する、特定の観察条件での階調変換曲線が仮画像変換条件として設定される。
ここで、ボタン数について説明する。本実施形態において、図３１の各階調変換曲線に示すように、補正量（明るさ補正量）の単位にボタン数を用いる。ボタン数とは、小規模現像所において銀塩写真プリントを作成するための装置（所謂ミニラボ）に備えられた手動ボタンの操作数に由来するものであり、マイナス値が画像データ、又は写真プリントの低濃度（高明度）化、プラス値が高濃度（低明度）化を表している。なお、ボタン数は次式（８）で算出される。
ボタン数＝補正量÷（キー変化率×キー補正係数） …（８）
補正量（明るさ補正量）とは、例えば人物顔領域の明るさを最適化するために必要な、画像データ値の変化量であり、１６bit、１２bit、あるいは８bitなどの値が用いられる。
キー補正係数とは、銀塩印画紙への露光量変化が０．１％に相当する画像データ値の変化量であり、画像データが１６bitのときのキー補正係数は、２４．７８となる。
キー変化率は、１ボタンあたりの画像データの変化量を規定するものであり、値が大きくなるにつれ変化量が増大する。キー変化率が１５０のときの１ボタンあたりの画像データの変化量は、銀塩印画紙への露光量変化の１５％に相当する。
すなわち、キー変化率が１５０のとき、１ボタンは１６bit値で約３７１７（＝１５０×２４．７８）、１２bit値で約２３２（＝３７１７÷１６）、８bit値で約１５（＝３７１７÷２５７）の変化量を、補正量として画像データに与えることになる。
（画像内容解析部５２１の動作フロー）
次に、本実施形態における画像内容解析部５２１の動作について説明する。
以下では、撮影画像を対象とし、その撮影対象物を「主要被写体」と呼ぶことにする。
まず、図２０のフローチャートを参照して、画像内容解析部５２１において実行される画像内容解析処理の流れを説明する。
まず、外部機器又はＲａｗデータ変換部５１から入力された撮影画像であるシーン輝度を表す画像データとしての第１の画像（リニア画像）が取得される（ステップＳ１）。
その後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、即ち第２の画像（縮小リニア画像）として取得される（ステップＳ２）。分割画像の各分割領域は第２の画像の画素であり、第２の画像は第１の画像のサイズを縮小した画像となる。図６（ａ）に、第１の画像の一例を示し、図６（ｂ）に、当該第１の画像が２２×１４個のセルに分割された例を示す。各セルが第２の画像の一画素に相当する。実際の画像データのサイズ縮小方法は、単純平均やバイリニア法やバイキュービック法など公知の技術を用いることができる。
一方、ステップＳ３では、取得した第１の画像に付加された撮影条件情報としてのＥｘｉｆ情報が読み出され、輝度情報ＢＶの取り込みが行われる。取得される輝度情報ＢＶは、撮影時に測光値から算出され、撮影画像がＥｘｉｆ形式で記録される際に、合わせて記録されたものである。取得した輝度情報ＢＶはメモリ１２に保持される。
次いで、ステップＳ４では、ステップＳ２で取得された第２の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ４におけるシーン判別処理については、後に図２１を参照して説明する。
次いで、ステップＳ５では、ステップＳ４のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な仮画像変換条件を設定する仮画像変換条件設定処理が行われる。ステップＳ５の階調処理条件設定処理については、後に図３０を参照して説明する。
（シーン判別処理１のフロー）
次に、図２１のフローチャートを参照して、画像内容解析部５２１におけるシーン判別処理１（図２０のステップＳ４）について説明する。
シーン判別処理は、図２１に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別工程としてのシーン判別（ステップＳ２３）の各処理により構成される。以下、図２２〜図２９を参照して、図２１に示す各処理について詳細に説明する。
ステップＳ２０の色空間変換処理では、まず、撮影された第１の画像から得られた第２の画像の各画素のＲＧＢ値、輝度値及びホワイトバランスを示す情報が取得される。なお、輝度値としては、ＲＧＢ値を公知の変換式に代入して算出した値を用いてもよい。次いで、取得されたＲＧＢ値がＨＳＶ表色系に変換され、画像の色情報が取得される。ＨＳＶ表色系とは、画像データを色相（Hue）、彩度（Saturation）、明度（Value又はBrightness）の３つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。ＨＳＶ表色系への変換は、ＨＳＶ変換プログラム等を用いて行われ、通常、入力であるＲ、Ｇ、Ｂに対して、算出された色相値Ｈは、スケールを０〜３６０と定義し、彩度値Ｓ、明度値Ｖは、単位を０〜２５５と定義している。
なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意昧である。以下の記載において、ＨＳＶ表色系のＶ（０〜２５５）を「明度」として用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。
また、本実施形態において、「色相」は特に注釈を設けない限り一般に用いられる「色」の意味である。以下の記載において、ＨＳＶ表色系のＨ（０〜３６０）を「色相」として用いるが、例えば赤色差値（Ｃｒ）や青色差値（Ｃｂ）によって表現される色を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。ステップＳ２０では、上記のようにして求められたＨ、Ｓ、Ｖの値が色情報として取得される。
＜占有率算出処理１＞
次に、図２２のフローチャートを参照して、ステップＳ２１の占有率算出処理について説明する。
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第２の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
図２３に、明度と色相の組み合わせからなる階級を示す。ステップＳ３０では、明度（Ｖ）は、図２３に示すように、明度値が０〜２５（ｖ１）、２６〜５０（ｖ２）、５１〜８４（ｖ３）、８５〜１６９（ｖ４）、１７０〜１９９（ｖ５）、２００〜２２４（ｖ６）、２２５〜２５５（ｖ７）の７つの階級に分割される。
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。なお、赤色色相領域（Ｈ５）は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割される。以下、肌色色相領域（Ｈ＝０〜３９、３３０〜３５９）のうち、下記の式（１０）を満たす色相’（Ｈ）を肌色領域（Ｈ１）とし、式（１０）を満たさない領域を（Ｈ２）とする。
１０＜彩度（Ｓ）＜１７５；
色相’（Ｈ）＝色相（Ｈ）＋60 （０≦色相（Ｈ）＜300のとき）；
色相’（Ｈ）＝色相（Ｈ）−300 （300≦色相（Ｈ）＜360のとき）．
輝度（Ｙ）＝Ｒ×0.30＋Ｇ×0.59＋Ｂ×0.11 …（９）
として、
色相’（Ｈ）／輝度（Ｙ）＜3.0×（彩度（Ｓ）／255）＋0.7 …（１０）
従って、第２の画像における階級の数は４×７＝２８個となる。また、最大の明度値（２５５）の１割の値以内に、少なくとも３つの階級（ｖ１、ｖ２、ｖ３）を有する。なお、式（９）及び式（１０）において明度（Ｖ）を用いることも可能である。
ステップＳ３０の後、第２の画像の各画素が、画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３１）。
図２４（ａ）に、ステップＳ３１において、第２の画像の画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり、領域ｎ３が領域ｎ２のさらに内側の領域であり、領域ｎ４が第２の画像の中央部の領域である。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。図２４（ｂ）に、４つの領域ｎ１〜ｎ４と明度の組み合わせからなる階級を示す。図２４（ｂ）に示すように、第２の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は４×７＝２８個となる。また本実施形態においては領域を４つの分割としたがこれに限定されるものではない。
ステップＳ３０において２次元ヒストグラムが作成されると、明度と色相の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数（Ｎ×Ｍ個）に占める割合を示す第１の占有率が算出される（ステップＳ３２）。即ち、ステップＳ３０とステップＳ３２は第１の占有率算出工程に対応する。
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表１のように表される。
ステップＳ３１において２次元ヒストグラムが作成されると、画面の外縁からの距離と明度の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数に占める割合を示す第２の占有率が算出され（ステップＳ３３）、本占有率算出処理が終了する。即ち、ステップＳ３１とステップＳ３３は第２の占有率算出工程に対応する。
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表２のように表される。
なお、各画素を画面の外縁からの距離、明度及び色相からなる階級に分類し、分類された階級毎に累積画素数を算出することによって３次元ヒストグラムを作成してもよい。以下では、２次元ヒストグラムを用いる方式を採用するものとする。
＜指標算出処理１＞
次に、図２５のフローチャートを参照して、指標算出処理（図２１のステップＳ２２）について説明する。
まず、第１の指標算出工程であるステップＳ４０では、占有率算出処理において階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された係数（第１の係数）を乗算して和をとることにより、撮影シーンを特定するための指標１が算出される。指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
次いで、第２の指標算出工程であるステップＳ４１では、同じく階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された第１の係数とは異なる係数（第２の係数）を乗算して和をとることにより、撮影シーンを特定するための指標２が算出される。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
以下、指標１及び指標２の算出方法について説明する。
表３に、指標１を算出するために必要な第１の係数を階級別に示す。表３に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表３によると、高明度（ｖ５、ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図２６は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図２６によると、高明度（Ｖ＝１７０〜２２４）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（１１）のように定義される。
従って、Ｈ１〜Ｈ４領域の和は、下記の式（１１−１）〜（１１−４）のように表される。
Ｈ１領域の和
＝R11×（−44）＋R21×（−16）＋（中略）…＋R71×（−11.3） …（１１−１）
Ｈ２領域の和＝R12×0＋R22×8.6＋（中略）…＋R72×（−11.1） …（１１−２）
Ｈ３領域の和
＝R13×0＋R23×（−6.3）＋（中略）…＋R73×（−10） …（１１−３）
Ｈ４領域の和
＝R14×0＋R24×（−1.8）＋（中略）…＋R74×（−14.6） …（１１−４）
指標１は、式（１１−１）〜（１１−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（１２）のように定義される。
指標１
＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋4.424 …（１２）
表４に、指標２を算出するために必要な第２の係数を階級別に示す。表４に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表４によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には正（＋）の係数が用いられる。図２７は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表４及び図２７によると、肌色色相領域の、明度値が２６〜８４の低明度領域の第２の係数の符号は正（＋）であり、明度値０〜２５の最低明度領域と、明度値８５〜２５５の中間及び高明度領域の第２の係数の符号は負（−）であり、両領域での係数に大きな違いがあることがわかる。
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（１３）のように定義される。
従って、Ｈ１〜Ｈ４領域の和は、下記の式（１３−１）〜（１３−４）のように表される。
Ｈ１領域の和
＝R11×（−27）＋R21×4.5＋（中略）…＋R71×（−24） …（１３−１）
Ｈ２領域の和＝R12×0＋R22×4.7＋（中略）…＋R72×（−8.5） …（１３−２）
Ｈ３領域の和＝R13×0＋R23×0＋（中略）…＋R73×0 …（１３−３）
Ｈ４領域の和＝R14×0＋R24×（−5.1）＋（中略）…＋R74×7.2 …（１３−４）
指標２は、式（１３−１）〜（１３−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（１４）のように定義される。
指標２
＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.554 …（１４）
指標１及び指標２は、第２の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、第２の占有率に、予め設定された第３の係数（第１の係数、第２の係数とは異なる係数）を乗算して和をとることにより、指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
以下、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を階級別に示す。表５に示された各階級の係数は、表２に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
図２８は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（１５）のように定義される。
従って、ｎ１〜ｎ４領域の和は、下記の式（１５−１）〜（１５−４）のように表される。
ｎ１領域の和＝Q11×40.1＋Q21×37＋（中略）…＋Q71×22 …（１５−１）
ｎ２領域の和
＝Q12×（−14.8）＋Q22×（−10.5）＋（中略）…＋Q72×0 …（１５−２）
ｎ３領域の和＝Q13×24.6＋Q23×12.1＋（中略）…＋Q73×10.1 …（１５−３）
ｎ４領域の和
＝Q14×1.5＋Q24×（−32.9）＋（中略）…＋Q74×（−52.2） …（１５−４）
指標３は、式（１５−１）〜（１５−４）で示されたｎ１〜ｎ４領域の和を用いて、式（１６）のように定義される。
指標３
＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋ｎ４領域の和＋12.6201 …（１６）
指標３は、第２の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
また、例えば公知の方法によって検出された焦点検出領域に応じて、画面の外縁からの距離と明度の所定の階級から算出される第２占有率に対して乗算される第３の係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可能である。
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第２の画像の画面中央部における肌色の平均輝度値と、第２の画像の最大輝度植と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための露出撮影度指標が算出される。
以下、図２９のフローチャートを参照して、露出撮影度指標の算出処理について説明する。
まず、第２の画像のＲＧＢ（Red、Green、Blue）値から、式（９）を用いて輝度Ｙが算出される。次いで、第２の画像の画面中央部における肌色領域の平均輝度値ｘ１が算出される（ステップＳ５０）。ここで、画面中央部とは、例えば、図２４（ａ）に示した領域ｎ３及びｎ４により構成される領域である。次いで、第２の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値が算出される（ステップＳ５１）。
次いで、第２の画像の輝度の標準偏差ｘ３が算出され（ステップＳ５２）、画面中央部における平均輝度値ｘ４が算出される（ステップＳ５３）。次いで、第２の画像における肌色領域の最大輝度値Yskin＿maxと最小輝度値Yskin＿minの差分値と、肌色領域の平均輝度値Yskin＿aveとの比較値ｘ５が算出される（ステップＳ５４）。この比較値ｘ５は、下記の式（１７−１）のように表される。
ｘ５＝（Yskin＿max−Yskin＿min）／２−Yskin＿ave …（１７−１）
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、露出撮影度指標が算出され（ステップＳ５５）、露出撮影度指標算出処理が終了する。露出撮影度指標は、下記の式（１７−２）のように定義される。
露出撮影度指標＝0．06×ｘ１＋1.13×ｘ２＋0．02×ｘ３＋（−0．01）×ｘ４＋0．03×ｘ５−6．50 …（１７−２）
この露出撮影度指標は、第２の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
図２５に戻る。露出撮影度指標が算出されると、第５の指標算出工程であるステップＳ４４において、指標１、指標３、輝度情報ＢＶ、及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、自然光指標が算出される。
更に、第６の指標算出工程であるステップＳ４５において、指標２、指標３、輝度情報ＢＶ、及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、輝度比指標が算出され、本指標算出処理が終了する。
以下、自然光指標及び輝度比指標の算出方法について詳細に説明する。
第２の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図２４（ａ）の領域ｎ２、領域ｎ３及び領域ｎ４から構成される領域である。このとき、自然光指標は、指標１、指標３、指標７、及び輝度情報ＢＶを用いて式（１８）のように定義され、輝度比指標は、指標２、指標３、指標７、及び輝度情報ＢＶを用いて式（１９）のように定義される。
自然光指標
＝0.18×指標１＋0.19×指標３＋0.004×指標７−0.68×ＢＶ＋4.39 …（１８）
輝度比指標
＝0.24×指標２＋0.16×指標３＋0.034×指標７−0.05×ＢＶ＋4.61 …（１９）
ここで式（１８）及び式（１９）において各指標に乗算される係数は、撮影条件に応じて予め設定されている。
また輝度情報ＢＶに基づいて、自然光指標、輝度比指標を算出する代わりに、指標１、指標２、指標３を算出するのに輝度情報ＢＶを用いてもよい。その場合、自然光指標、輝度比指標を算出するのに輝度情報ＢＶを用いる必要はない。
なお、図２９における平均輝度値（例えば、全体平均輝度値）の算出方法としては、撮像装置１の各受光部から得られた個別輝度データの単純な加算平均値を求めてもよいし、撮像装置１の測光方式としてよく用いられる中央重点平均測光に類似した、画面中心付近の受光部より得られた輝度データに重み付けを高く、画面の周辺付近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データに重み付けを高くし、焦点検出位置から離れた受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法等を用いてもよい。
＜シーン判別１＞
図２１のステップＳ２３（シーン判別）に戻る。
露出撮影度指標、自然光指標、輝度比指標が算出されると、これらの指標の値に基づいて撮影シーンが判別される（ステップＳ２３）。表６に、露出撮影度指標、自然光指標及び輝度比指標の値による撮影シーンの判別内容を示す。撮影時の輝度情報ＢＶに基づき自然光指標及び輝度比指標は算出されており、輝度情報ＢＶは撮影シーンの判別に間接的に寄与している。
表６に示した判別内容を、自然光指標、輝度比指標及び露出撮影度指標の座標系を用いて表したものが、図１８の判別マップである。なお、表６では、図１８に示した低確度領域については省略している。
次に、図３０のフローチャートを参照して、階調処理条件設定部１０７において実行される仮画像変換条件設定処理について説明する。
まず、図８〜図１３の１次元ＬＵＴから、リニア画像の明るさ解析値（ｎ個：ここでは、肌色平均輝度、全体平均輝度の２個）と、図２５の指標算出処理で算出された自然光指標、輝度比指標、露出撮影度指標に対応する値を抽出することにより、ｎ＋４個（６個）の第１仮補正量key_auto[0]〜[5]が設定される（ステップＳ６１）。
次いで、図１４〜図１７の１次元ＬＵＴから、自然光指標に対応する値を抽出することにより、ｎ＋２個（４個）の第１混合係数wgt[0]〜[3]が設定される（ステップＳ６２）。次いで、４個の第１仮補正量key_auto[0]〜[3]と、４個の第１混合係数wgt[0]〜[3]を用いて、式（６）より第２仮補正量key_auto[6]が算出される（ステップＳ６３）。
次いで、係数算出テーブル（図１９）から、判別マップ（図１８）を用いて判別された撮影シーンに対応する３個の第２混合係数wgt[4]〜[6]が抽出され、設定される（ステップＳ６４）。次いで、２個の第１仮補正量key_auto[4]、key_auto[5]と、第２仮補正量key_auto[6]と、３個の第２混合係数wgt[4]〜[6]を用いて、式（７）により、階調調整パラメータとしての明るさ補正量が算出される（ステップＳ６５）。
次いで、ステップＳ６５で算出された明るさ補正量と、シーン判別処理によって判別された撮影シーンとから、リニア画像に対する階調処理条件としての特定の観察条件での階調変換曲線が、仮画像変換条件として設定され（ステップＳ６６）、仮画像変換条件設定処理が終了する。
また、シーン判別処理によって判別された撮影シーン（シーン種別）と、上記の各処理により算出された各種統計情報（２次元ヒストグラムの各種占有率等）とは、シーン輝度を表す画像データの画像内容解析結果として、画像内容解析部５２１から観察条件パラメータ修正部５２５に出力される。なお、画像内容解析部５２１は、シーン輝度を表す画像データの輝度分布の実質的な最大値と最小値、最も出現頻度の高い輝度値等を算出し、この算出値を画像内容解析結果としての統計情報に含めて出力する構成としてもよい。また、画像内容解析部５２１は、シーン輝度を表す画像データの肌色領域や顔形状の検出を行い、該領域の平均（あるいはメジアン・モード）輝度を算出し、この算出値を画像内容解析結果に含めて出力する構成としてもよい。
図３１（ａ）に、撮影シーンが順光である場合の階調変換曲線を階調調整パラメータ別に示し、図３１（ｂ）に、撮影シーンが逆光である場合の階調変換曲線を階調調整パラメータ別に示す。図３１の各階調変換曲線には、ボタン数が対応付けられている。ステップＳ６６では、ステップＳ６５で算出された階調調整パラメータ（明るさ補正量）に対応する特定の観察条件での階調変換曲線が、仮画像変換条件として設定される。
図３０におけるステップＳ６１〜Ｓ６５の各ステップは、それぞれ、本発明における第１仮補正量設定工程、第１混合係数設定工程、第２仮補正量設定工程、第２混合係数設定工程、階調調整パラメータ算出工程に対応する。
階調変換曲線の設定は、上記のように予め特定の観察条件での階調変換曲線を複数用意しておき、ボタン数等に応じて階調変換曲線を選択し適用する態様であっても良いし、階調変換曲線をその都度作り変える態様であっても良い。
次に、仮画像変換条件修正部５２３の演算内容を説明する。画像処理装置１００の記憶部２０には、指定された観察条件と鑑賞画像のホワイトバランス修正係数との関係を記載したホワイトバランス修正係数テーブル６１と、指定された観察条件と階調マッピング修正条件の関係を記載した階調マッピング修正条件テーブル６２が記憶されており、仮画像変換条件修正部５２３では、ホワイトバランス修正係数テーブル６１及び階調マッピング修正条件テーブル６２を参照して、画像内容解析部５２１から入力された仮画像変換条件を修正し、画像変換条件を算出する。
下記表７にホワイトバランス修正係数テーブル６１の例を示す。
下記表８に階調マッピング修正条件テーブル６２の例を示す。
図３２に、階調マッピング修正前後（後述するガンマ補正を含む）の輝度の変換曲線を示す。階調マッピング修正条件テーブル６２で、Ａ・Ｂ・Ｃと記されているのは、図３２のＡ・Ｂ・Ｃで示す変換曲線を意味する。仮画像変換条件として与えられた階調マッピングテーブルの値を図３２の修正前の輝度として、選択された変換曲線上の修正後の輝度を読み取ることで、修正された階調マッピングテーブルを得ることができる。
以上で、仮画像変換条件修正部５２３により算出された階調マッピングテーブルと、ホワイトバランス修正係数とが、画像変換条件として、データ解析部５２から出力され、画像変換部５３へ送られる。
次に、観察条件テーブル参照部５２４の機能説明を行う。画像処理装置１００の記憶部２０には、指定された観察条件と、色の見えモデルの計算で用いる具体的なパラメータとの関係を記載した観察条件テーブル６３が記憶されている。
下記表９に、色の見えモデルがCIECAM02である場合の観察条件テーブル６３の例を示す。
観察条件テーブル参照部５２４では、入力された観察条件に対応する観察条件パラメータを観察条件テーブル６３から検索し、該当する値を仮観察条件パラメータとして出力する。
観察条件パラメータ修正部５２５では、画像内容解析部５２１から入力される画像内容解析結果に基づき、仮観察条件パラメータを修正する。一般的な色の見えモデルにおいて、背景とはおよそ２度視野の外側かつ１０度視野の内側の領域を意味し、順応視野は１０度視野の外側の領域を意味する。この背景と順応視野が鑑賞画像の外側にある場合、この背景と順応視野の領域の輝度は周囲の観察環境に依存するが、鑑賞画像の表示サイズが大きくこの背景と順応視野の領域が鑑賞画像内にある場合には、この背景と順応視野の領域の輝度は鑑賞画像の状態の影響を受ける。観察条件パラメータ修正部５２５では、このような状況が想定される場合に仮観察条件パラメータの修正を行い、修正済みの値を観察条件パラメータとして出力する。また前記の状況が想定されない場合には、仮観察条件パラメータの値をそのまま観察条件パラメータとして出力する。
具体的には、画像処理装置１００の記憶部２０には、下記表１０の観察条件パラメータの修正重みテーブル６４が記憶されている。
指定された観察条件に従い、各観察条件パラメータの修正重み係数wが上記テーブルから取得される。該係数wに基づき、次式（２１）により、観察条件パラメータが算出される。
Pcorr=Ptemp*(1-w)+Pfig*w …（２１）
Ｐtemp：仮観察条件パラメータ
Ｐfig：鑑賞画像から算出される観察条件パラメータ
Ｐcorr：観察条件パラメータ
ここで、鑑賞画像から算出される観察条件パラメータは、次式（２２）、（２３）で算出される。
LAの場合：
LAfig=(Vavg/100)Yw …（２２）
Vavg：鑑賞画像の平均明度値
Ybの場合：
Ybfig=(Vavg/100)Yw …（２３）
Vavg：鑑賞画像の平均明度値
以上で、観察条件パラメータ修正部５２５により算出された観察条件パラメータが、データ解析部５２から出力され、フォーマット部５４へ送られる。
以上のデータ解析部５２での演算の結果、画像変換条件と、観察条件に対応する観察条件パラメータとが算出される。
データ解析部５２により算出された画像変換条件は、図２に示すように画像変換部５３へ送られ、該画像変換条件に基づいて、シーン輝度を表す画像データは鑑賞画像を表す画像データに変換される。図３３を参照して、画像変換部５３での演算を説明する。図３３に、画像変換処理の流れを示す。
図３３に示す画像変換工程としての画像変換処理において、先ず、ステップＳ１１では、仮画像変換条件修正部５２３により算出された画像変換条件の階調マッピングテーブルに基づいて、シーン輝度を表す画像データ（リニア画像）に対する階調変換処理が行われる。ステップＳ１１の階調変換処理は、シーン輝度のどこを中心に写真階調を再現するか、或いは撮影シーンの光源条件などによる階調への影響を補正するものである。
シーン輝度を表す画像データは、scRGBの浮動小数点表記 R',G',B'で記録されている。これを次式（２４）に従って、輝度Y'と色差Cb',Cr'に変換する。
次に、上記Y'に画像変換条件として与えられた階調マッピングテーブルを適用し、Y’mに変換する。続いて、次式（２５）のように、階調マッピング後の値R'm,G'm,B'mを算出する。
ステップＳ１２では、階調変換処理後のシーン輝度を表す画像データ（リニア画像）に対しガンマ変換処理を施すことによって、当該シーン輝度を表す画像データが鑑賞画像を表す画像データ（ノンリニア画像）に変換される。ガンマ変換処理とは、撮影画像の階調性を出力媒体の特性に適するように変換する処理である。
ガンマ特性とは階調特性のことであり、入力階調に対してどのように出力階調を設定するかを補正値或いは補正曲線などで示すものである。図３４に、入力値に対して、補正した出力値を示す補正曲線の例を示す。ガンマ補正は、この補正値或いは補正曲線などに従い、入力値に対する出力値への変換を行う変換処理となる。出力媒体によってこの階調特性は異なるため、その出力媒体に適した階調とするために、このガンマ特性の補正を行う必要がある。これにより、リニア画像はノンリニア画像に変換されることになる。
出力媒体としてはプリンタ４６や、プロジェクタ４７等のモニタが設定され、出力媒体のガンマ特性に合うように撮影画像のガンマ補正は行われる。
なお、リニア画像に適用されるガンマ特性の一例を図３４に示したが、特定の出力機器・観察条件に応じてガンマ特性を予め複数設定しておき、その複数のガンマ特性の中から選択するようにすることが好ましい。
なお本実施形態では、ステップＳ１１で階調マッピングテーブルに基づく階調変換処理を行う形態としているが、撮影シーンに基づいて上記階調処理以外に他の画像特性、例えば色調整の最適化処理などを行うようにしてもよい。
次いで、ガンマ変換処理後のシーン輝度を表す画像データに対し、その他の画像処理として、仮画像変換条件修正部５２３により算出された画像変換条件のホワイトバランス修正係数テーブルに基づいて、ホワイトバランス修正処理が適宜行われ（ステップＳ１３）、画像変換処理が終了する。
画像変換条件として与えられたホワイトバランス修正係数を用いて、鑑賞画像を表す画像データの値 R'o,G'o,B'oを次式（２６）のように算出する。但し、階調マッピング及びガンマ補正後の値をR'm,G'm,B'mとする。
ここで算出された R'o,G'o,B'oが鑑賞画像を表す画像データとしてフォーマット部５４へ送られる。
なお、ステップＳ１３のその他の画像処理では、ホワイトバランス修正処理を行う構成としたが、これに限定されるものではなく、コントラスト補正処理、覆い焼き処理、ノイズ処理、シャープネス処理等が行われる構成としてもよい。また、階調変換処理後のリニア画像をＲａｗデータとして保存し、現像ソフトウェアを用いてノンリニア画像に変換するようにしてもよい。
フォーマット部５４は、算出された鑑賞画像を表す画像データと前記観察条件パラメータとを受け取り、図示しないダイアログで指定された、生成する鑑賞画像のファイル形式・画像サイズ・色空間等の指示を含む鑑賞画像生成条件に基づき、指定された画像フォーマットにより鑑賞画像ファイルを出力する。
まずフォーマット部５４では、scRGBの浮動小数点表記で記載されたR'o,G'o,B'oを、出力用に指定された色空間表現に変換する。たとえば出力用の色空間がscRGBであるならば、次式（２７）に従い、出力用の画素値Ro,Go,Boを得る。
こうして得られた出力用の画素値Ro,Go,Boは指定された画像フォーマットに従い、データ解析部５２から送られた観察条件を添付して出力する。この時、前記観察条件パラメータは該鑑賞画像ファイル内にメタデータとして記録され、鑑賞画像を表す画像データに添付された形で出力される。該メタデータの形式は任意であるが、たとえばDCF/Exifファイル形式の場合には、メーカーノートを示す領域に記入することができる。なお、前記画像変換条件の内容を併せてメタデータとして記録しておいても良い。
こうして画像処理装置１００より出力された、観察条件パラメータを添付した鑑賞画像ファイルは、モニタ４１、プリンタ４６、プロジェクタ４７等の、種々の画像表示装置、画像プリント装置に読み込まれ、色の見えモデルに従ったカラーマネージメントが行われる。図３５に、カラーマネージメントの概要を示す。
画像表示装置又は画像プリント装置は、ＣＡＭ変換部７１と、ＣＡＭ逆変換部７２と、を含む。画像処理装置１００で作成された画像データ１ａと、該データに添付された観察条件パラメータ２ａは、ＣＡＭ変換部７１に送られ、画像データ１ａは色の見えを表す画像データ１ｃに変換される。次に、画像表示装置又は画像プリント装置に設定されている観察条件パラメータ２ｂと、前記色の見えを表す画像データ１ｃが、ＣＡＭ逆変換部７２へ送られ、観察条件パラメータ２ｂに対応する画像データ１ｂに変換される。
色の見えモデルとして、CIECAM97sが採用されている場合を例にあげ、図３５のカラーマネージメントを更に詳しく説明する。なお、CIECAM02は、基本構造は、CIECAM97sと同じで、部分的な算出式が変更されている程度である。
図３６に、ＣＡＭ変換部７１により実行されるＣＡＭ変換処理を示す。本実施形態では、まずアピアランスモデルとしてCIECAM97sを用いた説明をおこなう。モデルへの入力データとして必要になるのは、以下のデータである。
見えを予測したい色の３刺激値 X,Y,Z
観察条件パラメータ
順応視野における白色の３刺激値 Xw,Yw,Zw
順応視野の平均輝度 LA
背景の相対輝度 Yb
周辺の条件により決定する定数 c,Nc,FLL,F
先ず、入力画像データの各画素のRGB値が、３刺激値XYZに変換される（ステップＳ７１）。ここで、見えを予測したい色の３刺激値は、画像データ１ａの各画素のRGB値から算出される。例えば画像データ１ａがscRGBで記載されている場合は、次式（２８）、（２９）にて色の３刺激値X,Y,Zに変換可能される。
また、ｓRGBの場合は、次式（３０）〜（３３）を使用する。
また、Ｒａｗデータの場合は、デジタルカメラの特性を記述したICCプロファイルをもちいて変換される。具体的には、プロファイル内に記述されている、３×３マトリックス情報を用いて、上記と同様の変換が実行される。
そして、設定された観察条件パラメータから、後の計算で使用する次式（３４）〜（３８）の値k,FL,n,Nbb,zが計算される（ステップＳ７２）。
そして、画像データに対して色順応変換が行われる（ステップＳ７３）。色順応変換は、フォンクリースタイプの色順応変換を改良したもので、観察条件下での白色に対する順応度合いが考慮されている。まず、次式（３９）により、X,Y,ZがRバー,Gバー,Bバーに変換される。
ここで、変換マトリックスMBとして、次式（４０）を使用する。
変換したRバー,Gバー,Bバーから、次式（４１）〜（４３）によって色順応変換した応答、Rc,Gc,Bcが算出される。
ここでRw,Gw,Bwは、順応白色の３刺激値をマトリックスMBによって変換したものである。
そして、色順応処理をおこなった画像データが人間の視覚系のセンサに相当する錐体の応答R',G',B'変換される（ステップＳ７４）。次式（４４）〜（４６）により、まず、先ほどおこなったマトリックスによる変換の逆変換が行われ、それからHunt-Pointer-Estevez変換と呼ばれる３×３マトリックスがかけられる。
そして、錐体応答に変換された画像データに、次式（４７）により、視覚系の非線形応答に対応した変換が行われる（ステップＳ７５）。
最後に、色の見えを予測する数値、色相角：h、明度：J、クロマ：Cがそれぞれ次式（４８）〜（５５）に従って算出され（ステップＳ７６）、ＣＡＭ変換処理が終了される。
式（５５）に用いるh1,h2,e1,e2については、以下の表１１から検索する。
h<h1の場合はh'=h+360、それ以外はh'=hとし、下記表１１でHi≦h'<hi+1を満たすiを求め、h1＝hi,h2＝hi+1,e1＝ei,e2=ei+1として使用する。
また、カラーアピアランスモデルとしてCIECAM02を使用した場合は、ＣＡＭ変換処理のステップＳ７２以後の処理を以下のように入れ替える。
ステップＳ７２において、設定された観察条件パラメータから、次式（３４Ａ）〜（３８Ａ）の値k,FL,n,Nbb,zが計算される。
そして、ステップＳ７３において、画像データに対して色順応変換が行われる。色順応変換は、フォンクリースタイプの色順応変換を改良したもので、観察条件下での白色に対する順応度合いが考慮されている。まず、次式（３９Ａ）により、X,Y,ZがRバー,Gバー,Bバーに変換される。
ここで、変換マトリックスMCAT02として、次式（４０Ａ）を使用する。
変換したRバー,Gバー,Bバーから、次式（４１Ａ）、（４３Ａ）によって色順応変換し
た応答、Rc,Gc,Bcが算出される。
ここでRw,Gw,Bwは、順応白色の３刺激値をマトリックスMCAT02によって変換したものである。
そして、ステップＳ７４において、色順応処理をおこなった画像データが人間の視覚系のセンサに相当する錐体の応答R',G',B'に変換される。次式（４４Ａ）〜（４６Ａ）を用いて、まず、先ほどおこなったマトリックスによる変換の逆変換が行われ、それからHunt-Pointer-Estevez変換と呼ばれる３×３マトリックスがかけられる。
そして、ステップＳ７５において、錐体応答に変換された画像データに視覚系の非線形応答に対応した次式（４７Ａ）の変換が行われる。
最後に、ステップＳ７６において、色の見えを予測する数値、色相角：h、明度：J、クロマ：Cがそれぞれ次式（４８Ａ）〜（５５Ａ）に従って算出される。
以上の変換により、画像データのRGB値は、「色の見え」を表わしたJ,C,hの値となる。
図３７に、ＣＡＭ逆変換部７２により実行されるＣＡＭ逆変換処理を示す。本実施形態では、まずアピアランスモデルとしてCIECAM97sを用いた説明を行う。まず、出力画像に関係した第２の観察条件パラメータ、Xw'、Yw'、Zw'、LA'、Yb'、c'、Nc'、FLL'、F'から、次式（５６）〜（６０）を用いて変数k',FL',N'bb,Z'が算出される（ステップＳ８１）。
また、図３６のＣＡＭ変換処理におけるステップＳ７３〜Ｓ７６の演算をXw'、Yw'、Zw'に適用して、Aw'が算出される。
そして、色の見えを表すパラメータJ,C,hから非線形応答値Ra',Ga',Ba'が算出される（ステップＳ８２）。はじめに、J,Cから、次式（６１）、（６２）によりA,sが求められる。
そして、次式（６３）、（６４）によりa,bが求められる。
式（６５）に用いるh1,h2,e1,e2については、以下の表１２から検索する。h<h1の場合はh'=h+360、それ以外はh'=hとし、下記表１２でhi≦h'<hi+1を満たすiを求め、h1＝hi,h2＝hi+1,e1＝ei,e2=ei+1として使用する。
Ra',Ga',Ba'は、次式（６６）から算出される。
次に、次式（６７）を用いて、非線形応答値Ra',Ga',Ba'が逆変換され錐体応答R',G',B'が求められる（ステップＳ８３）。
ここで、Ra'-1＜0の場合は、次式（６８）を使用する。Ga'、Ba'についても同様である。
そして、次式（６９）、（７０）により、錐体応答が逆変換され、RcY,GcY,BcYが算出される（ステップＳ８４）。
そして、色順応逆変換が行われて測色値にもどされる（ステップＳ８５）。はじめに、次式（７１）によってYcが算出される。
Yc=0.43231-RcY+0.51836-GcY+0.04929-BcY …（７１）
３刺激値X'',Y'',Z''は、次式（７４）によって算出される。
以上で、色の見えを表す値と、第２の観察環境パラメータから、該環境で指定された見えに相当する色の３刺激値X'',Y'',Z''が算出された。
この３刺激値X'',Y'',Z''が、出力機器の色空間（R,G,B）に変換されて出力され（ステップＳ８６）、ＣＡＭ逆変換処理が終了される。具体的には、モニタ・プリンタの特性を記述したICCプロファイルに記述されている３×３マトリックス情報、もしくは、３次元ルックアップテーブルを用いて変換される。
また、カラーアピアランスモデルとしてCIECAM02を用いた場合、ＣＡＭ逆変換処理は、以下のようにとって代わる。まず、ステップＳ８１において、次式（５６Ａ）〜（６０Ａ）により、第２の観察条件パラメータから変数k',FL',N'bb,Z'が算出される。
また、順応視野における白色の３刺激値Xw',Yw',Zw'について第２の観察条件パラメータを用いて、図３６のＣＡＭ変換処理のステップＳ７３〜Ｓ７６の演算を適用して、Aw'が算出される。
そして、ステップＳ８２において、色の見え値からの非線形応答算出が行われる。はじめに色相角hの入力値を下記表１３で検索し、hi≦h<hi+1を満たすiを求める。
上記iと色の見えの色相成分Hの入力値を用いて、次式（７５）が計算される。
ここでh'>360の場合は360を減じた値とする。
そして、色の見えのクロマを表すCと明度を表すJの入力値を用いて、次式（７６）〜（８２）により変数t,e,A,p1,p2,p3,hrが計算される。
そして、次式（６６Ａ）の計算を行う。
そして、ステップＳ８３において、次式（６７Ａ）により非線形応答逆変換の計算が行われる。
ここでsign(x)は、x>0で1、x=0で0、x<0で-1の値をとる関数である。
そして、ステップＳ８４において、次式（６８Ａ）により錐体応答逆変換の計算を行う。
そして、ステップＳ８５において、次式（７２Ａ）、（７４Ａ）により色順応逆変換の計算が行われる。
なお、カラーアピアランスモデルには、本実施形態でもちいたCIECAM97s、CIECAM02以外にも、納谷モデル、Huntモデル、RLabモデル、LLabモデルなど、いくつも発表されている。これらをCIECAM97s、CIECAM02の代わりに用いることも可能である。
このようにして、画像処理装置１００で作成された画像データ１ａは、該データ作成時に意図されていた観察条件（パラメータ２ａ）に基づき、色の見えを表す画像データに変換され、しかる後に観察条件（パラメータ２ｂ）において同じ色の見えを示す画像データ１ｂに変換されるため、画像データ１ａを作成時に意図していた観察条件（パラメータ２ａ）と異なる観察条件（パラメータ２ｂ）においても適正な表示・プリントが可能になるのである。
以上、本実施形態によれば、データ解析部５２により、撮像データに基づくシーン輝度を表す画像データの解析結果と、鑑賞画像が意図する観察条件とから画像変換条件を算出し、画像変換部５３により、前記算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、鑑賞画像を表す画像データに変換し、フォーマット部５４により、前記変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力する。このため、撮影時特別な計測を行うことなく、また特別な専門知識を必要とすることもなく、デジタルカメラ等による撮像データから、色の見えモデルに適用可能な鑑賞画像を表す画像データを簡単に生成することができる。
また、フォーマット部５４により、出力された鑑賞画像を表す画像データに、鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するので、色の見えモデルに適応した各種の画像表示装置、プリント装置、画像処理装置などの機器に前記鑑賞画像を表す画像データを出力することで、前記機器側において、前記観察パラメータを用いて、鑑賞画像を作成する時に意図していた観察条件とは異なる観察条件においても、鑑賞画像を作成する時に意図していた色の見えを適正に再現することができる。
（第２の実施形態）
本発明に係る第２の実施形態（撮像装置）における構成について説明する。
（撮像装置１の構成）
図３８（ａ）に、本発明の実施形態に係る撮像装置１の前面図を示し、図３８（ｂ）に、撮像装置１の背面図を示す。撮影装置としての撮像装置１は、例えば、デジタルカメラであり、金属又は合成樹脂等の材料で構成された筐体２１Ａの内部又は表面に、十字キー２２、撮影光学系２３、フラッシュ２４、ファインダ２５、電源スイッチ２６、表示部２７、レリーズボタン２８が設けられている。
図３９に、撮像装置１の内部構成を示す。撮像装置１は、図３９に示すように、プロセッサ３１、メモリ３２、ＣＣＤ（Charge Coupled Device）等の撮像素子３３、撮影光学系２３、タイミングジェネレータ８１、シャッタユニット８２、絞りユニット８３、フォーカスユニット８４、表示部２７、操作部３８、画像データ出力部３７により構成される。プロセッサ３１は、撮影制御や撮影画像の処理を行う撮影処理部２０Ａと、画像処理を行う画像処理部１０Ａにより構成される。撮像素子３３、撮影光学系２３、タイミングジェネレータ８１、シャッタユニット８２、絞りユニット８３、フォーカスユニット８４、撮影処理部２０Ａ等は、撮像部として機能する。
画像処理部１０Ａは、第１の実施形態と同様に、図２に示すような画像生成部としてのＲａｗデータ変換部５１と、データ解析部５２と、画像変換部５３と、フォーマット部５４とを備えて構成されるものとする。また、データ解析部５２は、第１の実施形態と同様に、図４に示すような画像内容解析部５２１と、仮画像変換条件修正部５２３と、観察条件テーブル参照部５２４と、観察条件パラメータ修正部５２５と、を備えて構成され、さらに、記憶部２０に記憶されるデータとして、ホワイトバランス修正係数テーブル６１と、階調マッピング修正条件テーブル６２と、観察条件テーブル６３と、観察条件パラメータの修正重みテーブル６４と、を有する。このため、画像処理部１０Ａについて、第１の実施形態と同様の構成の説明を簡略化し、第１の実施形態と異なる構成を主として説明するものとする。
十字キー２２は、上下左右の４方向のボタンからなり、ユーザが種々のモードを選択又は設定するためのものである。
撮影光学系２３は、複数のレンズ、鏡胴等によって構成され、ズーム機能を有する。撮影光学系２３は、レンズが受光した光を撮像素子３３に結像させる。フラッシュ２４は、被写体輝度が低い時に、プロセッサ３１からの制御信号により補助光を照射する。
ファインダ２５は、ユーザが接眼して撮影対象及び撮影領域を確認するためのものである。電源スイッチ２６は、撮像装置１における動作のＯＮ／ＯＦＦを操作するためのスイッチである。
表示部２７は、液晶パネルにより構成され、プロセッサ３１から入力される表示制御信号に従って、撮像素子３３に現在写っている画像、過去に撮影した画像、メニュー画面、設定画面等を表示する。
レリーズボタン２８は、筐体２１Ａの上面に設けられており、ユーザによる半押し状態（予備撮影）と全押し状態（本撮影）とを区別して検出可能な２段階押し込みスイッチである。
メモリ３２は、撮影によって得られた画像データを記憶（保存）する。また、メモリ３２は、撮像装置１において実行される各種処理プログラム及び当該処理プログラムで利用されるデータ等を記憶する。
画像データ出力部３７は、保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）にメモリ３２内の画像データを転送、記録する、或いは外部装置へ転送する。画像データ出力部３７はプロセッサ３１により制御される。
撮像素子３３は、結像された光を電荷に変換する。これにより、例えば、図６（ａ）に示すような画像データが得られる。この画像には、撮像範囲（撮影範囲）にある物、即ち、撮影対象物（撮影の目標物）とそれ以外の物（背景）とが含まれている。この全体画像の各画素のＲＧＢ値は、例えば、２５６階調で表される。
シャッタユニット８２は、レリーズボタン２８によって検出された状態（半押し状態又は全押し状態）に基づいて撮像素子３３をリセットするタイミング及び電荷変換を行うタイミングなどを制御する。タイミングの制御はタイミングジェネレータ８１により行われる。シャッタユニット８２による露光量制御については後述する。
撮像素子３３が受光する光量の調節は、絞りユニット８３及び／又はシャッタユニット８２によって行われる。フォーカスユニット８４は、撮影光学系２３を駆動させ撮影被写体に対して焦点を合わせる制御動作を実行する。フォーカスユニット８４による合焦点制御については後述する。
（撮影処理部２０Ａの内部構成）
図４０に、撮影処理部２０Ａの内部構成を示す。撮影処理部２０Ａは、撮影時に撮影条件に関わる制御や、撮影された画像の処理を行う。撮影処理部２０Ａは、図４０に示すように、撮影条件に関わるＡＥ制御部９１、ＡＦ制御部９２、そして撮影された画像に対して画像処理を行う画素補間部９３、ＡＷＢ制御部９４、ガンマ補正部９５などにより構成される。
ＡＥ制御部９１は、画像撮影時にその露光量の自動制御を行う。通常、撮影待機時の露光量制御は、絞り開放でシャッタ速度を制御することによって行われ、撮影時の露光量は絞りとシャッタ速度とで制御される。
ＡＥ制御部９１における撮影待機時の露光量制御は、例えば以下のように行われる（図４１（ａ）のフローチャート参照）。
まず絞りユニット８３により、絞りが開放固定絞りに設定される（ステップＳ１１１）。ＡＥ制御部９１により、撮像素子３３によって得られた画像データから所定の測光エリアのデータが読み出され（ステップＳ１１２）、輝度値に相当する情報が取得される（ステップＳ１１３）。この輝度値に相当する情報は、ＡＥ制御のための情報として用いられ、簡易的にＲＧＢ３色成分のうちのＧ値が用いられることが多い（以下これを輝度情報Ｇと呼ぶ）。この輝度情報Ｇに応じて撮像素子３３の次のフレームにおける電荷蓄積時間が設定され（ステップＳ１１４）、タイミングジェネレータ８１により、所定の輝度レベルとなるように、次のフレームにおける電荷蓄積時間が制御される（ステップＳ１１７）。これがシャッタ速度の制御であり、電荷が蓄積される様子を図４２に示す。即ち、取得した輝度レベルが大きい（明るい）ときは電荷蓄積時間が短くなり、輝度レベルが小さい（暗い）ときは電荷蓄積時間が長くなることで、露光量を安定させる。
このように撮影待機時の露光量制御が行われることで、撮影者は液晶ディスプレイ等の表示部２７で、露光量制御されたライブビュー画像を観察することができる。
ＡＥ制御部９１における実際の撮影時の露光量制御は、上記のシャッタ速度制御に加えて、絞りの制御も行われる（図４１（ｂ）のフローチャート参照）。上記同様（ステップＳ１１２、Ｓ１１３）に得られた測光エリアの輝度情報Ｇに応じて、絞りユニット８３が制御され、絞り値が設定される（ステップＳ１１６）。即ち、取得した輝度レベルが大きい（明るい）ときは絞り値を小さくし、輝度レベルが小さい（暗い）ときは絞り値を大きくすることで、露光量を安定させる。シャッタ速度と組み合わせての調節レベルは、予め定められたプログラム線図のデータに基づき、例えば、撮像素子３３の電荷蓄積時間が絞り値に応じて調整されるなどの制御が行われる（ステップＳ１１５、Ｓ１１７）。
このように撮影時に露光量制御が行われることで、撮影者は任意の、或いは既定の、絞り値とシャッタ速度の組み合わせで、撮影画像に対する露光量設定を自動的に行うことができる。
ＡＦ制御部９２は、画像撮影時に画像の焦点を合わせる自動制御を行う。この合焦点制御は、例えば以下のように撮影光学系を駆動することで合焦点位置を検知し、その位置に合わせて停止させることで行われる（図４３のフローチャート参照）。
撮影光学系２３の駆動が開始されると（ステップＳ１２１）、その駆動に伴い逐次、ＡＦ制御部９２は、撮像素子３３によって得られた画像データから所定の測距エリアのデータを読み出し（ステップＳ１２２）、このデータに応じてコントラスト情報を取得する（ステップＳ１２３）。これは、合焦点位置に達したかどうかを検知するためであり、次のように判定される。即ち、コントラスト情報は、測距エリアのデータの各隣接画素間の差を取ることにより、エッジ部のシャープさに依存するように設定、算出されるものであり、測距エリア全体での総和が最大に達した状態が合焦点と判断される（ステップＳ１２４、Ｓ１２５）。合焦点位置でないと判断された場合は、撮影光学系の移動が継続される（ステップＳ１２６）。
撮影光学系２３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を図４４に示す。上記動作は、光学系を駆動しながら逐次コントラスト情報を取得して、合焦点位置を求めるという測距演算が行われたものであり、その焦点距離に合わせて撮影光学系２３は停止される（ステップＳ１２７）。
このようなＡＦ制御により、撮影時に常に自動的にピントのあった撮影画像を得ることができる。
画素補間部９３は、撮像素子３３におけるＲＧＢ各色成分を分散配置したＣＣＤ配列に対して、各色成分ごとに画素間の補間を行い、同一画素位置で各色成分値が得られるように画像データを処理する（図４５のフローチャート参照）。
画素補間部９３は、撮像素子３３によって得られたＲＧＢ画像データ（ステップＳ１４１）をＲＧＢの各画素フィルタパターンでマスキングし（ステップＳ１４２、Ｓ１４４、Ｓ１４６）、その後で平均補間（画素補間ともいう）を行う（ステップＳ１４３、Ｓ１４５、Ｓ１４７）。このうち、高帯域にまで画素を有するＧの画素フィルタパターンは、周辺４画素の中間２値の平均値に置換して平均補間を行うメディアン（中間値）フィルタであり、ＲとＢの画素フィルタパターンは、周辺９画素から同色に対して平均補間を行うものである。
ＡＷＢ制御部９４は、撮影画像におけるホワイトバランスを自動的に調整する。撮影された画像は、その中にＲＧＢのカラーバランスがとれている（総和すればホワイト）被写体領域があるものという想定で、その領域のホワイトバランスを達成するように、画像のＲＧＢの各成分値に対するレベル調整を行う。このホワイトバランス処理は、例えば以下のように行われる（図４６のフローチャート参照）。
ＡＷＢ制御部９４は、撮像素子３３によって得られた画像データの輝度や彩度のデータから（ステップＳ１３１）、本来ホワイトであると思われる領域を推測する（ステップＳ１３２）。その領域について、ＲＧＢ各成分値の平均強度、及びＧ／Ｒ比、Ｇ／Ｂ比を求め、Ｇ値に対するＲ値、Ｂ値の補正ゲインを算出する（ステップＳ１３３、Ｓ１３４）。これに基づき、画像全体における各色成分に対するゲインの補正を行う（ステップＳ１３５）。
このようなＡＷＢ制御により、撮影時に生ずる画面全体のカラーバランスの崩れを自動的に補正することができ、実際の被写体の照明状態に拘わらず、安定した色調の画像を得ることができる。ＡＷＢ制御部９４は、図４７に示す画像内容解析処理のＡＷＢ処理を実行する。
ガンマ補正部９５は、撮影画像の階調性を出力媒体の特性に適するように変換する処理を行う。ガンマ補正部９５は、第１の実施形態の図３３に示す画像内容解析処理のガンマ変換処理（Ｓ１２）を実行する。
（画像内容解析部５２１の内部構成）
図５に、画像内容解析部５２１の内部構成を示す。画像内容解析部５２１は、撮像装置１で撮影された撮影画像がＲａｗデータ変換部５１により変換されたシーン輝度を表す画像データに対して、シーン判別に基づく階調の仮画像変換条件の設定動作を制御するものであり、撮影処理部２０Ａでの処理後に、或いはその処理とは独立して、画像取得、シーン判別、仮画像変換条件設定などの一連の処理を実行する。
画像内容解析部５２１は、図５に示すように、第１画像取得部１０１、第２画像取得部１０２、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７により構成される。
第１画像取得部１０１は、シーン輝度を表す画像データを第１の画像として取得する。ここで、第１の画像は、本発明のリニア画像としてのシーン輝度を表す画像データに対応する。また、第１画像取得部１０１は、撮影時に算出される輝度情報も合わせて取得する。
第２画像取得部１０２は、第１の実施形態の場合と同様に、第１の画像から、実質的に縮小された第２の画像を取得する。
以下、第１の実施形態の画像処理装置１００と同様の機能を有する構成要素については、説明を簡略にする。
占有率算出部１０３は、第１の占有率算出部として機能し、第２の画像の画像データに対して取得した色情報に基づいて、画像を明度と色相の組み合わせからなる所定の階級に分類し、分類された階級毎に各階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。
また、占有率算出部１０３は、第２の占有率算出部としても機能し、同じく画像を画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、各階級毎に第２の占有率を算出する。
占有率算出部１０３において実行される占有率算出処理において、第１の実施形態と異なる点については、後に図２２を参照して説明する。
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率から指標１及び指標２を算出する。即ち、指標算出部１０４は、第１の指標算出部及び第２の指標算出部として機能する。
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率から指標３を算出する。即ち、指標算出部１０４は、第３の指標算出部としても機能する。
更に、指標算出部１０４は、第２の画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差分値から露出撮影度指標を算出する。即ち、指標算出部１０４は、第４の指標算出部としても機能する。
また、指標算出部１０４は、第２の画像の画面中央部における肌色領域の平均輝度値（指標７）と、指標１及び指標３と、前述の撮影時の輝度情報ＢＶとから、新たな自然光指標を算出する。即ち、指標算出部１０４は、第５の指標算出部としても機能する。
また、指標算出部１０４は、前記平均輝度値と、指標２及び指標３と、前述の撮影時の輝度情報ＢＶとから、新たな輝度比指標を算出する。即ち、指標算出部１０４は、第６の指標算出部としても機能する。
指標算出部１０４において実行される指標算出処理において、第１の実施形態の場合と異なる点については、後に図２５を参照して詳細に説明する。
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。即ち、シーン判別部１０５は、シーン判別部として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。
階調処理条件設定部１０７は、指標算出部１０４で算出された各指標、シーン判別部１０５で判別された撮影シーンに基づいて、第１の画像に対する階調処理条件としての特定の観察条件での階調変換曲線を、仮画像変換条件として設定する。仮画像変換条件の設定方法は、第１の実施形態の場合と同様である。仮画像変換条件設定処理については、後に図３０を参照して詳細に説明する。
（画像内容解析部５２１の動作フロー）
次に、本実施形態における画像内容解析部５２１の動作について説明する。
以下では、撮影対象物を「主要被写体」と呼ぶことにする。
まず、図４７のフローチャートを参照して、画像内容解析部５２１及び撮影処理部２０Ａにおいて実行される画像内容解析処理の流れを説明する。先に、画像内容解析部５２１の前に撮影処理部２０Ａにより実行される撮影動作について説明する。
まず、電源スイッチ２６がＯＮに操作されると（電源が投入されると）、メモリ３２のリセット等の前処理が行われる。ユーザは、主要被写体が撮像装置１の被写界に入るように撮像装置１をその主要被写体の方に向け、撮影のための操作を関始する。次いで、レリーズボタン２８が押されて撮影が行われる。撮影により撮像素子３３に結像した画像は電気信号として取り込まれ、ＣＣＤ配列に基づく補間処理が行われる。
そして、上記補間処理が行われた撮影画像は、Ｒａｗデータ変換部５１により変換されて、シーン輝度を表す画像データとしてデータ解析部５２（画像内容解析部５２１）に入力される。
次いで、図４７に示すように、画像内容解析部５２１において、シーン輝度を表す画像データは、第１の画像（リニア画像）として取得され（ステップＳ１４１）、メモリ３２に保持される。
撮影により取得された第１の画像（リニア画像）には、ＡＷＢ（自動ホワイトバランス）の処理が施される（ステップＳ１４２）。これは、以下に述べる第２の画像（縮小リニア画像）の取得が行われてから、第１の画像と第２の画像とに対して別途処理されてもよい。また、ステップＳ１４２の処理は、ＡＷＢ制御部９４により実行される。
ＡＷＢ処理の後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、即ち第２の画像（縮小リニア画像）として取得される（ステップＳ１４３）。
一方、ステップＳ１４４では、輝度情報ＢＶの取り込みが行われる。ステップＳ１４４で取得される輝度情報ＢＶは、撮影時に測光値から算出され、後で撮影画像がＥｘｉｆ形式で記録される際に、合わせて記録されるものである。取得された輝度情報ＢＶはメモリ３２に保持される。
次いで、ステップＳ１４５では、ステップＳ１４３で取得された第２の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ１４５におけるシーン判別処理については、後に図２１を参照して詳細に説明する。
次いで、ステップＳ１４６では、ステップＳ１４５のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な仮画像変換条件を設定する仮画像変換条件設定処理が行われる。ステップＳ１４６の階調処理条件設定処理については、後に図３０を参照して説明する。
（シーン判別処理２のフロー）
次に、図２１のフローチャートを参照して、画像内容解析部５２１におけるシーン判別処理（図４７のステップＳ１４５）について説明する。以下では、第１の実施形態（画像処理装置１００）と異なる点を説明し、同一内容の部分は適宜省略する。
シーン判別処理は、図２１に示すように、色空間変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。以下、適宜上記図面及び図４８及び図４９を参照して、図２１に示す各処理について詳細に説明する。
まず、図２１のステップＳ２０において、色空間変換処理が行われる。処理内容は第１の実施形態の場合と同様であるため、ここでの説明は省略する。
＜占有率算出処理２＞
次に、図２２のフローチャートを参照して、ステップＳ２１の占有率算出処理について説明する。
まず、色空間変換処理で算出されたＨＳＶ値に基づいて、第２の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
明度の分割については、第１の実施形態の場合と異なる。これはリニア画像とノンリニア画像との違いによるものである。図４８に、明度と色相の組み合わせからなる階級を示す。ステップＳ３０では、明度（Ｖ）は、明度値が０〜５（ｖ１）、６〜１２（ｖ２）、１３〜２４（ｖ３）、２５〜７６（ｖ４）、７７〜１０９（ｖ５）、１１０〜１４９（ｖ６）、１５０〜２５５（ｖ７）の７つの階級に分割される。図４８に示すように、最も低明度の階級における明度の範囲よりも、最も高明度の階級における明度の範囲の方が広い。
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。これらは第１の実施形態の場合と同様である。また、肌色色相領域が、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割されるのも同様である。
ステップＳ３１の２次元ヒストグラム作成も第１の実施形態の場合と同様である。
図４９（ａ）に、ステップＳ３１において、第２の画像の画面の外縁からの距離に応じて分割された３つの領域ｎ１〜ｎ３を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり、領域ｎ３が第２の画像の中央部の領域である。ここでｎ１〜ｎ３は略同等の画素数となるように分割することが好ましい。また、本実施形態においては領域を３つの分割としたがこれに限定されるものではない。また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。図４９（ｂ）に、３つの領域ｎ１〜ｎ３と明度の組み合わせからなる階級を示す。図４９（ｂ）に示すように、第２の画像を画面の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は３×７＝２１個となる。
ステップＳ３２が、ステップＳ３０とともに、第１の占有率算出工程に対応し、第１の占有率が算出されるのは第１の実施形態の場合と同様である。
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表１４のように表される。
ステップＳ３３が、ステップＳ３１とともに、第２の占有率算出工程に対応し、第２の占有率が算出されるのも第１の実施形態の場合と同様である。
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表１５のように表される。
なお、各画素を画面の外縁からの距離、明度及び色相からなる階級に分類し、分類された階級毎に累積画素数を算出することによって３次元ヒストグラムを作成してもよい。以下では、２次元ヒストグラムを用いる方式を採用するものとする。
＜指標算出処理２＞
次に、図２５のフローチャートを参照して、指標算出部１０４において実行される指標算出処理（図２１のステップＳ２２）について説明する。
まず、第１の指標算出工程であるステップＳ４０では、第１の占有率に予め設定された第１の係数を乗算して和をとることにより、指標１が算出され、次いで、第２の指標算出工程であるステップＳ４１では、同じく第１の占有率に予め設定された第２の係数を乗算して和をとることにより、指標２が算出されるのは、第１の実施形態の場合と同様である。
指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。
以下、指標１及び指標２の算出方法について詳細に説明する。
表１６に、指標１を算出するために必要な第１の係数を階級別に示す。表１６に示された各階級の係数は、表１４に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表１６によると、高明度（ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図５０は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表１６及び図５０によると、高明度（Ｖ＝７７〜１５０）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（１１）のように定義される。
従って、Ｈ１〜Ｈ４領域の和は、下記の式（１１−５）〜（１１−８）のように表される。
Ｈ１領域の和＝R11×0＋R21×0＋（中略）…＋R71×（−8） …（１１−５）
Ｈ２領域の和
＝R12×（−2）＋R22×（−1）＋（中略）…＋R72×（−10） …（１１−６）
Ｈ３領域の和＝R13×5＋R23×（−2）＋（中略）…＋R73×（−12） …（１１−７）
Ｈ４領域の和＝R14×0＋R24×（−1）＋（中略）…＋R74×（−12） …（１１−８）
指標１は、式（１１−５）〜（１１−８）で示されたＨ１〜Ｈ４領域の和を用いて、式（８１）のように定義される。
指標１＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.5 …（８１）
表１７に、指標２を算出するために必要な第２の係数を階級別に示す。表１７に示された各階級の係数は、表１４に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表１７によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４、ｖ５）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には係数０が用いられる。図５１は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表１７及び図５１によると、肌色色相領域の、明度値が２５〜１５０の中間明度領域の第２の係数の符号は負（−）であり、明度値６〜２４の低明度（シャドー）領域の第２の係数は０であり、両領域での係数に大きな違いがあることがわかる。
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（１３）のように定義される。
従って、Ｈ１〜Ｈ４領域の和は、下記の式（１３−５）〜（１３−８）のように表される。
Ｈ１領域の和＝R11×0＋R21×0＋（中略）…＋R71×2 …（１３−５）
Ｈ２領域の和＝R12×（−2）＋R22×（−1）＋（中略）…＋R72×2 …（１３−６）
Ｈ３領域の和＝R13×2＋R23×１＋（中略）…＋R73×3 …（１３−７）
Ｈ４領域の和＝R14×0＋R24×（−1）＋（中略）…＋R74×3 …（１３−８）
指標２は、式（１３−５）〜（１３−８）で示されたＨ１〜Ｈ４領域の和を用いて、式（８２）のように定義される。
指標２＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋1.7 …（８２）
指標１及び指標２は、第２の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、占有率算出処理において階級毎に算出された第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算して和をとることにより、撮影シーンを特定するための指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。
以下、指標３の算出方法について説明する。
表１８に、指標３を算出するために必要な第３の係数を階級別に示す。表１８に示された各階級の係数は、表１５に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
図５２は、画面領域ｎ１〜ｎ３における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（１５）のように定義される。
従って、ｎ１〜ｎ３領域の和は、下記の式（１５−５）〜（１５−７）のように表される。
ｎ１領域の和＝Q11×12＋Q21×10＋（中略）…＋Q71×0 …（１５−５）
ｎ２領域の和＝Q12×5＋Q22×3＋（中略）…＋Q72×0 …（１５−６）
ｎ３領域の和
＝Q13×（−1）＋Q23×（−4）＋（中略）…＋Q73×（−8） …（１５−７）
指標３は、式（１５−５）〜（１５−７）で示されたｎ１〜ｎ３領域の和を用いて、式（８３）のように定義される。
指標３＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋0.7 …（８３）
指標３は、第２の画像の明度の分布位置による構図的な特徴（全体画像の画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
また、例えば公知の方法によって検出された焦点検出領域に応じて、画面の外縁からの距離と明度の所定の階級から算出される第２占有率に対して乗算される第３の係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可能である。
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第２の画像の画面中央部における肌色の平均輝度値と、第２の画像の最大輝度植と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための露出撮影度指標が算出される。
以下、図２９のフローチャートを参照して、露出撮影度指標の算出処理について詳細に説明する。
まず、ステップＳ５０からステップＳ５４に至る、第２の画像の画面中央部における肌色領域の平均輝度値ｘ１、第２の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値、第２の画像の輝度の標準偏差ｘ３、画面中央部における平均輝度値ｘ４、そして第２の画像における肌色領域の最大輝度値Yskin＿maxと最小輝度値Yskin＿minの差分値と、肌色領域の平均輝度値Yskin＿aveとの比較値ｘ５を算出する処理については、第１の実施形態の場合と同様であるため、ここでの説明を省略する。
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、露出撮影度指標が算出され（ステップＳ５５）、露出撮影度指標算出処理が終了する。露出撮影度指標は、下記の式（１７−３）のように定義される。
露出撮影度指標＝0．05×ｘ１＋1．41×ｘ２＋（−0．01）×ｘ３＋（−0．01）×ｘ４＋0．01×ｘ５−5．34 …（１７−３）
この露出撮影度指標は、第２の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
図２５に戻る。露出撮影度指標が算出されると、第５の指標算出工程であるステップＳ４４において、指標１、指標３、輝度情報ＢＶ及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第５の係数）を乗算することにより、自然光指標が算出される。
更に、第６の指標算出工程であるステップＳ４５において、指標２、指標３、輝度情報ＢＶ、及び第２の画像の画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数（第６の係数）を乗算することにより、輝度比指標が算出され、本指標算出処理が終了する。
以下、自然光指標及び輝度比指標の算出方法について説明する。
第２の画像の画面中央部における肌色領域の平均輝度値を指標７とする。ここでの画面中央部とは、例えば、図４９（ａ）の領域ｎ２及び領域ｎ３から構成される領域である。このとき、自然光指標は、指標１、指標３、指標７、及び輝度情報ＢＶを用いて式（８４）のように定義され、輝度比指標は、指標２、指標３、指標７、及び輝度情報ＢＶを用いて式（８５）のように定義される。
自然光指標
＝0.45×指標１＋0.16×指標３＋0.003×指標７−0.64×ＢＶ＋4.00 …（８４）
輝度比指標
＝0.74×指標２＋0.08×指標３＋0.011×指標７−0.01×ＢＶ＋1.35 …（８５）
ここで式（８４）及び式（８５）において各指標に乗算される係数は、撮影条件に応じて予め設定されている。
また輝度情報ＢＶに基づいて、自然光指標、輝度比指標を算出する代わりに、指標１、指標２、指標３を算出するのに輝度情報ＢＶを用いてもよい。その場合、自然光指標、輝度比指標を算出するのに輝度情報ＢＶを用いる必要はない。
なお、図２９における平均輝度値（例えば、全体平均輝度値）の算出方法としては、撮像装置１の各受光部から得られた個別輝度データの単純な加算平均値を求めてもよいし、撮像装置１の測光方式としてよく用いられる中央重点平均測光に類似した、画面中心付近の受光部より得られた輝度データに重み付けを高く、画面の周辺付近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データに重み付けを高くし、焦点検出位置から離れた受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法等を用いてもよい。
＜シーン判別２＞
図２１のステップＳ２３（シーン判別）に戻る。
露出撮影度指標、自然光指標、輝度比指標が算出されると、これらの指標の値に基づいて撮影シーンが判別されるが、シーン判別方法は第１の実施形態の場合と同様であるため、ここでの説明は省略する。
（仮画像変換条件設定のフロー）
第１の画像に対する仮画像変換条件設定処理（図４７のステップＳ１４６）は、第１の実施形態の場合と同様であり、図３０のフローチャートを用いて説明したとおりであるため、ここでの説明は省略する。
上記では、データ解析部５２の動作を説明したが、本実施形態における画像変換部５３、フォーマット部５４の動作は、第１の実施形態と同様である。但し、本実施形態において画像変換部５３が、図３３のステップＳ１１の階調変換処理とステップＳ１３のその他の画像処理とを行い、ガンマ補正部９５が、図３３のステップＳ１２のガンマ変換処理を行う。
フォーマット部５４により変換された鑑賞画像を表す画像データは、画像データ出力部３７から出力され、又は保存用の記録媒体（ＳＤメモリカード又はマルチメディアカード（ＭＭＣ）等）（不図示）に記録される。Ｅｘｉｆ形式の画像記録においては、輝度情報ＢＶもＥｘｉｆデータとして付加的に記録される。次の撮影に移るか、或いは電源スイッチ２６がＯＦＦに操作されると、撮像装置１における動作は終了する。
本実施形態によれば、撮像装置１についても、第１の実施形態と同様の効果が得られる。
なお、以上の各実施形態における記述は、本発明に係る好適な画像処理装置及び撮影装置の一例であり、これに限定されるものではない。
また、以上の実施形態における画像処理装置、撮影装置を構成する各部の細部構成及び細部動作に関して本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
例えば、上記第２の実施形態では、データ解析部５２により画像変換条件を設定した後に、画像変換部５３で画像変換処理を行う形態としているが、第１の画像に対する画像処理以外に、例えばその撮影シーンに対する最適な画像を取得するための露出条件をリアルタイムに算出し、撮影操作に反映するといった処理などを行うようにしてもよい。
本発明の第１の実施形態に係る画像処理システム１αの要部構成の概要を示す図である。 画像処理装置１００のアプリケーションの機能としての構成を示す図である。 鑑賞画像観察条件の選択ダイアログＤＩを示す図である。 データ解析部５２の内部構成及び演算処理の流れを示す図である。 画像内容解析部の内部構成を示すブロック図である。 撮影された第１の画像の一例を示す図（ａ）と、第１の画像を分割し、Ｍ×Ｎ画素の縮小画像とした第２の画像の一例を示す図（ｂ）である。 階調処理条件設定部の内部構成を示すブロック図である。 輝度比指標と仮補正量key_auto[0]との関係を示すＬＵＴである。 露出撮影度指標と仮補正量key_auto[1]との関係を示すＬＵＴである。 肌色平均輝度と仮補正量key_auto[2]との関係を示すＬＵＴである。 肌色平均輝度又は全体平均輝度と仮補正量key_auto[3]との関係を示すＬＵＴである。 輝度比指標と仮補正量key_auto[4]との関係を示すＬＵＴである。 露出撮影度指標と仮補正量key_auto[5]との関係を示すＬＵＴである。 自然光指標と混合係数wgt[0]との関係を示すＬＵＴである。 自然光指標と混合係数wgt[1]との関係を示すＬＵＴである。 自然光指標と混合係数wgt[2]との関係を示すＬＵＴである。 自然光指標と混合係数wgt[3]との関係を示すＬＵＴである。 自然光指標、輝度比指標、露出撮影度指標から撮影シーンを判別するための判別マップを示す図である。 撮影シーン別に混合係数wgt[4]〜[6]の値を表す係数算出テーブルを示す図である。 第１の実施形態における画像内容解析処理を示すフローチャートである。 シーン判別処理を示すフローチャートである。 占有率算出処理を示すフローチャートである。 第１の実施形態における明度と色相からなる階級を示す図である。 画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図（ａ）と、領域ｎ１〜ｎ４と明度からなる階級を示す図（ｂ）である。 指標算出処理を示すフローチャートである。 指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。 指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。 指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図である。 露出撮影度指標算出処理を示すフローチャートである。 階調処理条件設定部において実行される仮画像変換条件設定処理を示すフローチャートである。 撮影シーンが順光である場合の階調変換曲線（ａ）と、撮影シーンが逆光である場合の階調変換曲線（ｂ）を示す図である。 階調マッピング修正前後の輝度の変換曲線を示す図である。 第１の実施形態における画像変換処理を示すフローチャートである。 ガンマ補正曲線の一例を示す図である。 カラーマネージメントの概要を示す図である。 ＣＡＭ変換部７１により実行されるＣＡＭ変換処理を示すフローチャートである。 ＣＡＭ逆変換部７２により実行されるＣＡＭ逆変換処理を示すフローチャートである。 本発明の第２の実施形態に係る撮像装置の外観構成例を示す図である。 撮像装置の内部構成を示すブロック図である。 撮影処理部の内部構成を示すブロック図である。 ＡＥ制御部での露光量制御を示すフローチャートである。 シャッタ速度の制御において撮像素子に電荷が蓄積する様子を示す図である。 ＡＦ制御部での画像の焦点を合わせる制御を示すフローチャートである。 撮影光学系の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を示す図である。 画素補間部での、ＲＧＢ各色成分ごとに画素間の補間を行う画像データの処理を示すフローチャートである。 ＡＷＢ制御部での、撮影画像におけるホワイトバランスを自動的に調整する処理を示すフローチャートである。 第２の実施形態における画像内容解析処理を示すフローチャートである。 第２の実施形態における明度と色相からなる階級を示す図である。 画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ３を示す図（ａ）と、領域ｎ１〜ｎ３と明度からなる階級を示す図（ｂ）である。 指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図である。 指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図である。 指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ３）に示す図である。 CIECAM97sの具体的な観察条件パラメータを示す図である。
符号の説明
１α 画像処理システム
１００ 画像処理装置
１０ 制御部
１１ ＣＰＵ
１２ メモリ
２０ 記憶部
２１ アプリケーション
３０ 入出力Ｉ／Ｆ
４１ モニタ
４２ 操作部
４３ デジタルカメラ
４４ ＣＤ／ＤＶＤドライブ
４５ ネット回線
４６ プリンタ
４７ プロジェクタ
５１ Ｒａｗデータ変換部
５２ データ解析部
５２１ 画像内容解析部
５２３ 仮画像変換条件修正部
５２４ 観察条件テーブル参照部
５２５ 観察条件パラメータ修正部
６１ ホワイトバランス修正係数テーブル
６２ 階調マッピング修正条件テーブル
６３ 観察条件テーブル
６４ 観察条件パラメータの修正重みテーブル
５３ 画像変換部
５４ フォーマット部
７１ ＣＡＭ変換部
７２ ＣＡＭ逆変換部
１ 撮像装置
１０Ａ 画像処理部
２０Ａ 撮影処理部
２１Ａ 筐体
２２ 十字キー
２３ 撮影光学系
２４ フラッシュ
２５ ファインダ
２６ 電源スイッチ
２７ 表示部
２８ レリーズボタン
３１ プロセッサ
３２ メモリ
３３ 撮像素子
３７ 画像データ出力部
３８ 操作部
８１ タイミングジェネレータ
８２ シャッタユニット
８３ 絞りユニット
８４ フォーカスユニット
９１ ＡＥ制御部
９２ ＡＦ制御部
９３ 画素補間部
９４ ＡＷＢ制御部
９５ ガンマ補正部
１０１ 第１画像取得部
１０２ 第２画像取得部
１０３ 占有率算出部
１０４ 指標算出部
１０５ シーン判別部
１０７ 階調処理条件設定部
１０８ 階調変換処理部
２０１ 第１仮補正量設定部
２０２ 第１混合係数設定部
２０３ 第２仮補正量演算部
２０４ 第２混合係数設定部
２０５ 明るさ補正量演算部

Claims (34)

  1. 撮像データに基づくシーン輝度を表す画像データを、鑑賞画像を表す画像データに変換する画像処理装置において、
    鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小した前記シーン輝度を表す画像データと前記輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析部と、
    前記データ解析部により算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換部と、
    前記画像変換部により変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット部と、を備えることを特徴とする画像処理装置。
  2. 鑑賞画像が意図する観察条件を選択させる操作部を備え、
    前記データ解析部は、前記操作部により選択された観察条件に対応する観察条件パラメータを算出し、
    前記フォーマット部は、前記データ解析部により算出された観察条件パラメータを前記鑑賞画像を表す画像データに添付して出力することを特徴とする請求項１に記載の画像処理装置。
  3. 前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件を含むことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件及びホワイトバランス修正条件を含むことを特徴とする請求項１又は２に記載の画像処理装置。
  5. 前記データ解析部は、特定の観察条件における仮の階調マッピング条件を算出し、当該仮の階調マッピング条件を鑑賞画像が意図する観察条件に合わせて修正して前記階調マッピング条件を算出することを特徴とする請求項３又は４に記載の画像処理装置。
  6. 前記データ解析部は、前記シーン輝度を表す画像データの自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
  7. 前記データ解析部は、
    前記シーン輝度を表す画像データについて色情報を取得し、当該取得された色情報に基づいて、前記シーン輝度を表す画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出部と、
    前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出部と、
    前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出部と、
    前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出部と、
    前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出部と、
    少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度を算出する第４の指標算出部と、
    前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出部と、
    前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出部と、
    前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別部と、を備えることを特徴とする請求項６に記載の画像処理装置。
  8. 前記データ解析部は、
    前記シーン輝度を表す画像データの明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該シーン輝度を表す画像データに対する複数の第１仮補正量を設定する第１仮補正量設定部と、
    前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定部と、
    前記第１混合係数設定部により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記シーン輝度を表す画像データに対する第２仮補正量を設定する第２仮補正量設定部と、
    前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定部と、
    前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出部と、を備え、
    前記シーン判別処理による判別結果と、前記階調調整パラメータ算出部により算出された階調調整パラメータとに基づいて、前記シーン輝度を表す画像データに対する画像変換条件を設定することを特徴とする請求項６又は７に記載の画像処理装置。
  9. 前記データ解析部は、前記鑑賞画像を輝度拡張色空間で記載する画像変換条件を算出することを特徴とする請求項１〜８のいずれか一項に記載の画像処理装置。
  10. 前記フォーマット部は、前記データ解析部により算出された画像変換条件を前記鑑賞画像を表す画像データに添付して出力することを特徴とする請求項１〜９のいずれか一項に記載の画像処理装置。
  11. 前記鑑賞画像を表す画像データに添付される、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータは、CIE-CAM97s又はCIE-CAM02で使用される観察条件パラメータであることを特徴とする請求項１〜１０のいずれか一項に記載の画像処理装置。
  12. 被写体を撮像して撮像データを出力する撮像部と、
    前記撮像部から出力される撮像データから、シーン輝度を表す画像データを生成する画像生成部と、
    請求項１〜１１のいずれか一項に記載の画像処理装置と、を備え、
    前記データ解析部は、前記画像生成部により生成された前記シーン輝度を表す画像データを解析することを特徴とする撮影装置。
  13. 撮像データに基づくシーン輝度を表す画像データを、鑑賞画像を表す画像データに変換する画像処理方法において、
    鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小した前記シーン輝度を表す画像データと前記輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析工程と、
    前記算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換工程と、
    前記変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット工程と、を含むことを特徴とする画像処理方法。
  14. 鑑賞画像が意図する観察条件を選択させる工程と、
    前記選択された観察条件に対応する観察条件パラメータを算出する工程と、を含み、
    前記フォーマット工程において、前記算出された観察条件パラメータを前記鑑賞画像を表す画像データに添付して出力することを特徴とする請求項１３に記載の画像処理方法。
  15. 前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件を含むことを特徴とする請求項１３又は１４に記載の画像処理方法。
  16. 前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件及びホワイトバランス修正条件を含むことを特徴とする請求項１３又は１４に記載の画像処理方法。
  17. 前記データ解析工程において、特定の観察条件における仮の階調マッピング条件を算出し、当該仮の階調マッピング条件を鑑賞画像が意図する観察条件に合わせて修正して前記階調マッピング条件を算出することを特徴とする請求項１５又は１６に記載の画像処理方法。
  18. 前記データ解析工程において、前記シーン輝度を表す画像データの自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項１３〜１７のいずれか一項に記載の画像処理方法。
  19. 前記データ解析工程は、
    前記シーン輝度を表す画像データについて色情報を取得し、当該取得された色情報に基づいて、前記シーン輝度を表す画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
    前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
    前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、
    前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、
    前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、
    少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度を算出する第４の指標算出工程と、
    前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出工程と、
    前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出工程と、
    前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別工程と、を含むことを特徴とする請求項１８に記載の画像処理方法。
  20. 前記データ解析工程は、
    前記シーン輝度を表す画像データの明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該シーン輝度を表す画像データに対する複数の第１仮補正量を設定する第１仮補正量設定工程と、
    前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定工程と、
    前記第１混合係数設定工程により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記シーン輝度を表す画像データに対する第２仮補正量を設定する第２仮補正量設定工程と、
    前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係数を設定する第２混合係数設定工程と、
    前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出工程と、を含み、
    前記シーン判別処理による判別結果と、前記階調調整パラメータ算出工程により算出された階調調整パラメータとに基づいて、前記シーン輝度を表す画像データに対する画像変換条件を設定することを特徴とする請求項１８又は１９に記載の画像処理方法。
  21. 前記データ解析工程において、前記鑑賞画像を輝度拡張色空間で記載する画像変換条件を算出することを特徴とする請求項１３〜２０のいずれか一項に記載の画像処理方法。
  22. 前記フォーマット工程において、前記算出された画像変換条件を前記鑑賞画像を表す画像データに添付して出力することを特徴とする請求項１３〜２１のいずれか一項に記載の画像処理方法。
  23. 前記鑑賞画像を表す画像データに添付される、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータは、CIE-CAM97s又はCIE-CAM02で使用される観察条件パラメータであることを特徴とする請求項１３〜２２のいずれか一項に記載の画像処理方法。
  24. コンピュータを、
    鑑賞画像が意図する観察条件、及びシーン輝度を表す画像データの撮影時に算出される輝度情報を取得し、画像サイズを縮小した前記シーン輝度を表す画像データと前記輝度情報とに基づいて撮影シーンの判別処理を行い、その判別結果及び前記鑑賞画像が意図する観察条件から画像変換条件を算出するデータ解析部、
    前記データ解析部により算出された画像変換条件に基づいて前記シーン輝度を表す画像データを、前記鑑賞画像を表す画像データに変換する画像変換部、
    前記画像変換部により変換された鑑賞画像を表す画像データに、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータを添付して出力するフォーマット部、
    として機能させるための画像処理プログラム。
  25. 前記コンピュータを、
    鑑賞画像が意図する観察条件を選択させる操作部として機能させ、
    前記データ解析部は、前記操作部により選択された観察条件に対応する観察条件パラメータを算出し、
    前記フォーマット部は、前記データ解析部により算出された観察条件パラメータを前記鑑賞画像を表す画像データに添付して出力することを特徴とする請求項２４に記載の画像処理プログラム。
  26. 前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件を含むことを特徴とする請求項２４又は２５に記載の画像処理プログラム。
  27. 前記画像変換条件は、シーン輝度を鑑賞画像の輝度に変換する階調マッピング条件及びホワイトバランス修正条件を含むことを特徴とする請求項２４又は２５に記載の画像処理プログラム。
  28. 前記データ解析部は、特定の観察条件における仮の階調マッピング条件を算出し、当該仮の階調マッピング条件を鑑賞画像が意図する観察条件に合わせて修正して前記階調マッピング条件を算出することを特徴とする請求項２６又は２７に記載の画像処理プログラム。
  29. 前記データ解析部は、前記シーン輝度を表す画像データの自然光による屋外撮影度を表す自然光指標と、ダイナミックレンジの大きさを表す輝度比指標と、撮影時の露出設定に起因する露出撮影度指標とを算出し、前記算出された各指標に基づいて撮影シーンを判別することを特徴とする請求項２４〜２８のいずれか一項に記載の画像処理プログラム。
  30. 前記データ解析部は、
    前記シーン輝度を表す画像データについて色情報を取得し、当該取得された色情報に基づいて、前記シーン輝度を表す画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出部と、
    前記取得された色情報に基づいて、前記画像データを画面の外縁からの距離と明度の組み合わせからなる階級に分類し、当該分類された階級毎に、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出部と、
    前記第１の占有率に、撮影条件に応じて予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出部と、
    前記第１の占有率に、撮影条件に応じて予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出部と、
    前記第２の占有率に、撮影条件に応じて予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出部と、
    少なくとも前記画像データの画面中央部における肌色の平均輝度に、撮影条件に応じて予め設定された第４の係数を乗算することにより、前記露出撮影度を算出する第４の指標算出部と、
    前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第５の係数を乗算することにより、前記自然光指標を算出する第５の指標算出部と、
    前記指標１、前記指標２、前記指標３のうち少なくとも一つの指標と、前記輝度情報に、撮影条件に応じて予め設定された第６の係数を乗算することにより、前記輝度比指標を算出する第６の指標算出部と、
    前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記画像データの撮影シーンを判別するシーン判別部と、を備えることを特徴とする請求項２９に記載の画像処理プログラム。
  31. 前記データ解析部は、
    前記シーン輝度を表す画像データの明るさ解析値と、明るさの再現目標値と、前記輝度比指標及び前記露出撮影度に基づいて、当該シーン輝度を表す画像データに対する複数の第１仮補正量を設定する第１仮補正量設定部と、
    前記自然光指標に基づいて、前記複数の第１仮補正量の各々に乗算する重み係数としての第１混合係数を設定する第１混合係数設定部と、
    前記第１混合係数設定部により設定された第１混合係数と、前記複数の第１仮補正量に基づいて、前記シーン輝度を表す画像データに対する第２仮補正量を設定する第２仮補正量設定部と、
    前記露出撮影度、前記自然光指標及び前記輝度比指標に基づいて、前記複数の第１仮補正量のうち少なくとも１つと、前記第２仮補正量に乗算する重み係数としての第２混合係
    数を設定する第２混合係数設定部と、
    前記第２混合係数により設定された第２混合係数と、前記少なくとも１つの第１仮補正量と、前記第２仮補正量に基づいて、階調調整パラメータを算出する階調調整パラメータ算出部と、を備え、
    前記シーン判別処理による判別結果と、前記階調調整パラメータ算出部により算出された階調調整パラメータとに基づいて、前記シーン輝度を表す画像データに対する画像変換条件を設定することを特徴とする請求項２９又は３０に記載の画像処理プログラム。
  32. 前記データ解析部は、前記鑑賞画像を輝度拡張色空間で記載する画像変換条件を算出することを特徴とする請求項２４〜３１のいずれか一項に記載の画像処理プログラム。
  33. 前記フォーマット部は、前記算出された画像変換条件を前記鑑賞画像を表す画像データに添付して出力することを特徴とする請求項２４〜３２のいずれか一項に記載の画像処理プログラム。
  34. 前記鑑賞画像を表す画像データに添付される、前記鑑賞画像が意図する観察条件に対応する観察条件パラメータは、CIE-CAM97s又はCIE-CAM02で使用される観察条件パラメータであることを特徴とする請求項２４〜３３のいずれか一項に記載の画像処理プログラム。
JP2006144239A 2006-05-24 2006-05-24 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム Pending JP2007318320A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006144239A JP2007318320A (ja) 2006-05-24 2006-05-24 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006144239A JP2007318320A (ja) 2006-05-24 2006-05-24 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2007318320A true JP2007318320A (ja) 2007-12-06

Family

ID=38851805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006144239A Pending JP2007318320A (ja) 2006-05-24 2006-05-24 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2007318320A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013889A (ja) * 2009-07-01 2011-01-20 Nikon Corp 画像処理装置、画像処理方法及び電子カメラ
EP3864616A4 (en) * 2018-11-21 2022-04-06 Zhejiang Dahua Technology Co., Ltd IMAGE PROCESSING SYSTEMS AND METHODS

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013889A (ja) * 2009-07-01 2011-01-20 Nikon Corp 画像処理装置、画像処理方法及び電子カメラ
EP3864616A4 (en) * 2018-11-21 2022-04-06 Zhejiang Dahua Technology Co., Ltd IMAGE PROCESSING SYSTEMS AND METHODS
US12086968B2 (en) 2018-11-21 2024-09-10 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing

Similar Documents

Publication Publication Date Title
US7436995B2 (en) Image-processing apparatus, image-capturing apparatus, image-processing method and image-processing program
JP4040625B2 (ja) 画像処理装置、プリンタ装置、撮影装置、及びテレビ受像装置
JP4263890B2 (ja) カメラ、シーン、ディスプレイ、及び、人口統計データに基づいて特定の画像欠陥を補正するときを決定するシステム及び方法
JP4006347B2 (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7372597B2 (en) Tonescales for geographically localized digital rendition of people
US20040095478A1 (en) Image-capturing apparatus, image-processing apparatus, image-recording apparatus, image-processing method, program of the same and recording medium of the program
JP2005210526A (ja) 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
US20020140693A1 (en) Output image adjustment method, apparatus and computer program product for graphics files
JP2000013626A (ja) 画像処理方法及び装置及び記憶媒体
JP2005208817A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP2005190435A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP2005210495A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2008017528A (ja) 画像処理装置
JP2004088345A (ja) 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007221678A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007293686A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007312294A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2009070099A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2002368982A (ja) 画像処理装置および画像処理方法および記録媒体
JP2007318320A (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP4006590B2 (ja) 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム
JP4219577B2 (ja) 画像処理装置と画像出力装置と画像処理方法及び記憶媒体
JP4320225B2 (ja) 画像データに対する画像処理
JP2007081550A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070827

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080221