JP2004328534A - 画像形成方法、画像処理装置及び画像記録装置 - Google Patents

Abstract

【課題】撮像装置により得られたデジタル画像データに対し、ディスプレイモニタ、或いは出力デバイスの色再現空間への最適化処理を施す際に、アーティファクトの発生が少なく、効率的な画質向上処理を行う。
【解決手段】本発明に係る画像処理装置１１７によれば、撮像装置２１により記録された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、平滑化処理部１１３により夫々異なる条件で平滑化処理が施され、シーン参照画像データ処理部１０４により合成標準化処理が施され、シーン参照画像データｄ４が生成される。そして、シーン参照画像データｄ４に対して鮮鋭化処理部１１４により鮮鋭化処理が施され、鑑賞画像参照データ処理部１０７により最適化処理が施され、鑑賞画像参照データｄ５が生成され設定入力部１０９により設定されたデバイスに出力される。
【選択図】 図１６

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置により得られたデジタル画像データに対し、出力媒体上に形成される鑑賞画像の画質を最適化なものとするための最適化処理を施す画像処理方法、画像処理装置及び画像記録装置に関する。
【０００２】
【従来の技術】
今日、撮像装置で撮影されたデジタル画像データは、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされるなど、その表示・プリント方法は多種多様化してきている。
【０００３】
また、デジタル画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【０００４】
こうした多様な表示・プリント方法に対応して、撮像装置で撮影されたデジタル画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ（Ｒｅｄ， Ｇｒｅｅｎ， Ｂｌｕｅ）信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くのデジタル画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ ＲＧＢ Ｃｏｌｏｕｒ Ｓｐａｃｅ−ｓＲＧＢ」ＩＥＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は、標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【０００５】
一般的に、デジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせて感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単にＣＣＤと称する）を備えている。デジタルカメラにより出力されるデジタル画像データは、このＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正（例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画像処理）が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【０００６】
撮像素子の光電変換機能の補正としては、例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等がある。また、規格化された所定形式のデータフォーマットとしては、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ ＴＩＦＦ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、ＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【０００７】
Ｅｘｉｆファイルは、ｓＲＧＢに準拠したものであり、撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【０００８】
例えば、どのようなデジタルカメラであっても、Ｅｘｉｆ形式のように、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」と称す）で表示する事を示すタグ情報や、画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報をデジタル画像データのファイルヘッダにメタデータとして書き込む機能及びそのようなデータフォーマット形式を採用してさえいれば、デジタル画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）によりタグ情報を解析して、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処理を施したりすることが出来る。そのため、異なるディスプレイ間の装置特性の差異を低減したり、デジタルカメラで撮影されたデジタル画像データをディスプレイモニタ上で好適な状態で鑑賞することが可能になっている。
【０００９】
また、デジタル画像データのファイルヘッダに書き込まれる付加情報としては、上述した機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報などを示すタグ（コード）が用いられている。画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１０】
ところで、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像は、用いられている蛍光体又は色材の構成によって色再現域が異なる。例えば、ｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタの色再現領域は明るい緑や青の領域が広く銀塩写真プリント・インクジェットプリンタ・印刷等のハードコピーでは再現できない領域があり、逆に印刷・インクジェットのシアン領域や銀塩写真の黄色領域にはｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタでは再現できない領域が存在する（例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４４頁参照）。一方、撮影対象となる被写体シーンの中には、これらのいずれの色再現領域でも再現できない領域色を呈しているものが存在する可能性がある。
【００１１】
このように、特定デバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）には記録可能な色域に制限があるため、撮像装置が取得した情報を記録する際には、記録可能な色域に圧縮してマッピングする調整が必要になる。マッピングの方法としては、記録可能な色域の外にある色度点を最寄の色域境界上へマッピングしてしまうクリッピングが最も簡単であるが、これでは色域外のグラデーションが潰れてしまい、鑑賞時に違和感を覚える画像になってしまう。このため現在では、適当な閾値以上にクロマが高い領域の色度点をクロマの大きさに従って滑らかに圧縮する非線形圧縮が一般に採用されている。この結果、記録可能な色域内部の色度点においてもクロマが圧縮されて記録される事になる。（色域のマッピング方法についての詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４７頁に記載されている。）
【００１２】
ところが、上記のような色域・輝度域の圧縮操作をおこなった場合、離散的数値で記録されるデジタル画像の原理に起因して、圧縮前のグラデーション情報やクリッピング前の情報はその時点で失われてしまい、再び元の状態に戻すことができない。この事が高画質デジタル画像データの汎用性において大きな制約になる。
【００１３】
例えば、ｓＲＧＢの標準色空間において記録された画像をプリントデバイスによりプリントする場合は、ｓＲＧＢの標準色空間とプリントデバイスの色再現域の相違に基づいて再度マッピングが必要になる。しかし、ｓＲＧＢの標準色空間において記録された画像は、記録時に一旦圧縮された領域のグラデーション情報が失われているので、撮像装置が取得した情報を直接プリントデバイスの色再現域にマッピングする場合に比べてグラデーションの滑らかさが悪化する。また記録時の階調圧縮条件が不適切で、絵が白っぽい、顔が暗い、シャドーの潰れやハイライト領域の白飛びが目立つという問題があった場合、階調設定を変更して画像を改善しようとしても、圧縮前のグラデーション情報、潰れや白飛び部分の情報は既に失われているために、撮像デバイスが取得した情報から新たに画像を作り直す場合と比べて、著しく不十分な改善しか行うことができない。
【００１４】
以上に述べてきた問題は、撮像装置が取得した広い色域・輝度域の情報を、鑑賞画像を想定して最適化した状態の鑑賞画像参照データに圧縮して記録する事に起因する。これに対して、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データとして記録すれば不用意な情報の損失を防止する事ができる。このようなシーン参照画像データを記録するのに適した標準色空間としては例えば「ＲＩＭＭ ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）や「ＥＲＩＭＭ ＲＧＢ」（Ｅｘｔｅｎｄｅｄ Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）が提案されている（Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ４５巻 ４１８〜４２６頁（２００１年）参照）。
【００１５】
しかしながら、このような標準色空間で表現されたデータは、直接ディスプレイモニタで表示して鑑賞するには適さない。一般にデジタルカメラにはユーザが撮影前に画角を確認したり撮影後に撮影内容を確認したりするために、ディスプレイモニタが組み込まれているか接続されている。撮影されたデジタル画像データがｓＲＧＢのような鑑賞画像参照データとして記録されている場合は、そのデータを変換せずに直接ディスプレイモニタに表示できる利点があったが、撮影されたデジタル画像データがシーン参照画像データとして記録されている場合には、そのデータを表示する為に鑑賞画像参照データとして再変換する処理が必須になる。また、シーン参照画像データから鑑賞画像データとして再変換する際、平滑化処理、鮮鋭化処理等の画質向上処理も併せて施す必要がある。このようなカメラ内における二重の変換処理や画質向上処理は、処理負荷や消費電力を増大させ、連写性の低下や、バッテリー撮影時の撮影枚数制限を招く。
【００１６】
平滑化処理、鮮鋭化処理等の画質向上処理は夫々弊害もある。
以下、平滑化処理、鮮鋭化処理に伴う弊害について述べる。
平滑化処理としては、メディアンフィルタや、ノイズの多い周波数帯域のデータを削除することによる圧縮処理などが知られているが、ノイズを抑制し過ぎると視覚的に不自然で違和感のあるアーティファクト（偽画像）が生じたり、本来は抑制してはならない被写体情報を表す画像の微細構造をノイズと共に抑制してしまう等の望ましくない欠点を有している。
また、処理の対象となるデジタル画像データの情報量（例えば、階調数、画素数など）が少ない、ノイズ発生の要因が特定出来ていない、或いは平滑化処理手段が適切でないような場合には、アーティファクトの抑制がより困難なものとなる。
【００１７】
一方、鮮鋭化処理としては、アンシャープマスクや、エッジ成分の多い周波数帯域のデータを強調することによる増幅処理などが知られているが、シャープネスを向上させると、逆に画像に含まれているノイズ成分が強調され画質を劣化するといった問題が生じる。
【００１８】
このように、平滑化処理と鮮鋭化処理は、夫々の処理による弊害を有するため、出力デバイスにより作成されるハードコピーのサイズや観察距離などによって、平滑化処理と鮮鋭化処理の適用量（適用の度合い）を考慮して最適な組み合わせが決定されるべきである。しかしながら、最適値を求める演算には、経験による処理条件表の作成や、処理条件表参照にかかる時間が必要であったり、アーティファクトの発生量の推定が困難なため、これを抑制するための適切な手段を取りにくいといった問題があった。
【００１９】
撮影には銀塩写真感光材料やＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等の固体撮像素子やフォトマルチプライヤ等の撮像管等が用いられるが、これらの手段によって撮影された画像には、いずれにも一定のノイズが含まれており、画質を低下させる要因となっている。
また、デジタルカメラの画像データからハードコピーを作成する際には、その大きさに応じてノイズよりもシャープネスを最適化する方がより効果的であるという実験結果も得ている。
【００２０】
ここまで一般的なデジタルカメラについて述べてきたが、撮像デバイス自体がさらに従来のものに比べ、広い色域・輝度域情報を得られるよう改良されることが望ましいことは言うまでもない。固体撮像素子は、入射強度に対するダイナミックレンジが狭いため、特許文献１には、低感度撮像素子部と高感度素子部を備え、それぞれの出力をレベル変換した値を基準電圧と比較していずれかのレベル値の出力を瞬時に切り換えることにより、入射光強度を光電変換して得られる信号のダイナミックレンジを拡大する方法が記載されている。
【００２１】
また、特許文献２には、撮像素子の第１の受光素子（高感度撮像素子）と第２の受光素子（低感度撮像素子）とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置し、第１の受光素子の信号飽和レベルを調整して、第２の信号と合成する方法が記載されている。
【００２２】
特許文献３には、撮像素子が高感度映像信号と低感度映像信号とを生成し、高感度映像信号を高量子化分解能、低感度映像信号を低量子化分解能で量子化後、高量子化データが飽和している場合は感度比で合算し、それ以外は高量子化データを選択することにより広ダイナミックレンジ画像を形成する方法が記載されている。
【００２３】
他にも特許文献４に記載の、露光域によって低感度撮像素子と、高感度撮像素子の出力値を選択する方法や、特許文献５に記載の、低感度撮像素子と、高感度撮像素子でモアレのない出力値を選択する方法などが記載されている。
【００２４】
このような特性の異なる撮像素子を高集積化した撮像部を有するデジタルカメラにおいて、撮像デバイスが取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データ（例えば「ＲＩＭＭ ＲＧＢ」や「ＥＲＩＭＭ ＲＧＢ」）として記録すれば情報の損失を防止する事ができる。
【００２５】
【特許文献１】
特公平８−３４５５８号公報
【特許文献２】
特開２０００−１２５２０９号公報
【特許文献３】
特開２００１−８１０４号公報
【特許文献４】
特開２００３−１８４４５号公報
【特許文献５】
特開２００３−１８４７９号公報
【００２６】
【発明が解決しようとする課題】
しかしながら、このようなカメラ内におけるに変換処理や画質向上処理は、処理負荷や消費電力を一層増大させ、連写性の低下や、バッテリー撮影時の撮影枚数制限を招くばかりか、低感度撮像素子と高感度撮像素子を複合して用いるメリットを画質向上に活かす事が難しいといった新たな課題が生じる。
【００２７】
本発明の課題は、感度の異なる少なくとも２種類の撮像素子を有する広ダイナミックレンジ撮像装置により得られたデジタル画像データに対し、ディスプレイモニタ、或いは出力デバイスの色再現空間への最適化処理を、被写体情報の破棄や圧縮等の情報損失を伴うことなく、何度でも繰り返し実行することが出来、かつ、アーティファクトの発生が少なく、効率的な画質向上処理を行うことが出来る画像形成方法、及びそれを用いる画像処理装置、並びに画像記録装置を提供することである。
【００２８】
【課題を解決するための手段】
請求項１に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、前記シーン参照画像データ生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程において鮮鋭化処理を施すことを特徴としている。
【００２９】
請求項２に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、前記シーン参照画像データ生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程において鑑賞画像参照データを生成した後、鮮鋭化処理を施すことを特徴としている。
【００３０】
請求項３に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置を用いて取得されたシーン参照画像データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、前記画像処理は前記シーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、前記鑑賞画像参照データ生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、次に鮮鋭化処理を施すことを特徴としている。
【００３１】
請求項４に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、前記シーン参照画像データ生成過程で生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程で鮮鋭化処理を施すことを特徴としている。
【００３２】
請求項５に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、前記シーン参照画像データ生成過程で生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程で生成された鑑賞画像参照データに対して鮮鋭化処理を施すことを特徴としている。
【００３３】
請求項６に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を行う平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００３４】
請求項７に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００３５】
請求項８に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置を用いて取得されたシーン参照画像データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、前記画像処理は前記シーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データ生成手段は、当該鑑賞画像参照データ生成手段における鑑賞画像参照データの生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段と、鮮鋭化処理を施す鮮鋭化処理手段とを有することを特徴としている。
【００３６】
請求項９に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記平滑化処理されたシーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００３７】
請求項１０に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００３８】
請求項１１に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を行う平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００３９】
請求項１２に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００４０】
請求項１３に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置を用いて取得されたシーン参照画像データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、前記画像処理は前記シーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備え、前記鑑賞画像参照データ生成手段は、当該鑑賞画像参照データ生成手段における鑑賞画像参照データの生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段と、鮮鋭化処理を施す鮮鋭化処理手段とを有することを特徴としている。
【００４１】
請求項１４に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記平滑化処理されたシーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００４２】
請求項１５に記載の発明は、感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有することを特徴としている。
【００４３】
請求項１６に記載の発明は、請求項１〜５に記載の発明において、前記平滑化処理が、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタにより行われることを特徴としている。
【００４４】
請求項１７に記載の発明は、請求項６〜１０に記載の発明において、前記平滑化処理が、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタにより行われることを特徴としている。
【００４５】
請求項１８に記載の発明は、請求項１１〜１５に記載の発明において、前記平滑化処理が、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタにより行われることを特徴としている。
【００４６】
請求項１９に記載の発明は、請求項１〜５、１６に記載の発明において、前記鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整されることを特徴としている。
【００４７】
請求項２０に記載の発明は、請求項６〜１０、１７に記載の発明において、前記鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整されることを特徴としている。
【００４８】
請求項２１に記載の発明は、請求項１１〜１５、１８に記載の発明において、前記鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整されることを特徴としている。
【００４９】
請求項２２に記載の発明は、請求項１〜１５、１６、１９に記載の発明において、前記鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整されることを特徴としている。
【００５０】
請求項２３に記載の発明は、請求項６〜１０、１７、２０に記載の発明において、前記鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整されることを特徴としている。
【００５１】
請求項２４に記載の発明は、請求項１１〜１５、１８、２１に記載の発明において、前記鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整されることを特徴としている。
【００５２】
請求項２５に記載の発明は、請求項１〜５、１６、１９、２２に記載の発明において、前記鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整されることを特徴としている。
【００５３】
請求項２６に記載の発明は、請求項６〜１０、１７、２０、２３に記載の発明において、前記鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整されることを特徴としている。
【００５４】
請求項２７に記載の発明は、請求項１１〜１５、１８、２１、２４に記載の発明において、前記鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整されることを特徴としている。
【００５５】
請求項２８に記載の発明は、請求項１〜５、１６、１９、２２、２５に記載の発明において、前記鮮鋭化処理の適用量が、撮影シーンに応じて調整されることを特徴としている。
【００５６】
請求項２９に記載の発明は、請求項６〜１０、１７、２０、２３、２６に記載の発明において、前記鮮鋭化処理の適用量が、撮影シーンに応じて調整されることを特徴としている。
【００５７】
請求項３０に記載の発明は、請求項１１〜１５、１８、２１、２４、２７に記載の発明において、前記鮮鋭化処理の適用量が、撮影シーンに応じて調整されることを特徴としている。
【００５８】
請求項３１に記載の発明は、請求項１〜５、１６、１９、２２、２５、２８に記載の発明において、前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００５９】
請求項３２に記載の発明は、請求項６〜１０、１７、２０、２３、２６、２９に記載の発明において、前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００６０】
請求項３３に記載の発明は、請求項１１〜１５、１８、２１、２４、２７、３０に記載の発明において、前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００６１】
請求項３４に記載の発明は、請求項１〜５、１６、１９、２２、２５、２８、３１に記載の発明において、前記撮像装置の低感度撮像素子と高感度撮像素子とが、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴としている。
【００６２】
請求項３５に記載の発明は、請求項６〜１０、１７、２０、２３、２６、２９、３２に記載の発明において、前記撮像装置の低感度撮像素子と高感度撮像素子とが、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴としている。
【００６３】
請求項３６に記載の発明は、請求項１１〜１５、１８、２１、２４、２７、３０、３３に記載の発明において、前記撮像装置の低感度撮像素子と高感度撮像素子とが、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴としている。
【００６４】
請求項３７に記載の発明は、請求項１〜５、１６、１９、２２、２５、２８、３１、３４に記載の発明において、前記平滑化処理の平滑化強度が、前記高感度シーン参照生データより前記低感度シーン参照生データの方が強い処理が行われることを特徴としている。
【００６５】
請求項３８に記載の発明は、請求項６〜１０、１７、２０、２３、２６、２９、３２、３５に記載の発明において、前記平滑化処理の平滑化強度が、前記高感度シーン参照生データより前記低感度シーン参照生データの方が強い処理が行われることを特徴としている。
【００６６】
請求項３９に記載の発明は、請求項１１〜１５、１８、２１、２４、２７、３０、３３、３６に記載の発明において、前記平滑化処理の平滑化強度が、前記高感度シーン参照生データより前記低感度シーン参照生データの方が強い処理が行われることを特徴としている。
【００６７】
次に、上記請求項に記載した本発明の構成について詳しく説明する。
【００６８】
本願明細書の記載において「生成」とは、本発明に係る撮像装置、画像処理装置及び画像記録装置内において作用するプログラムや処理回路が、画像信号やデータを新たに作り出すことである。「作成」を同義語として用いることがある。
【００６９】
また、「出力媒体」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙である。
【００７０】
また、「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスに用いたり、出力デバイスが、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いるデジタル画像データを意味し、出力媒体上において、最適な画像が得られるよう「最適化処理」が施されている状態の画像データを意味する。
【００７１】
また、「最適化する画像処理」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得る為の処理であり、例えばｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合、ｓＲＧＢ規格の色域内で最適な色再現が得られるように処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が行われることは言うまでもない。
【００７２】
「感度」とは、被写体の明るさ（輝度）に対する応答特性を表す指標であり、より高感度な撮像素子程、より暗い被写体に対して応答することが出来ることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光の完全に遮断された状態でも微弱なノイズ信号（暗電流ノイズ、或いはホワイトノイズと称される）を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。前記撮像素子が光の遮断された状態に発するノイズ信号の強度は、受光面積に反比例する特性を有する。
従って、低感度と高感度の２種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、或いは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性（色弁別能）を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【００７３】
「ダイナミックレンジ」とは、被写体の明るさ（輝度）の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子程、より暗い被写体からより明るい被写体に対して応答することが出来ることを意味する。一般に撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることが出来ない。
また、図２に示すように高感度撮像素子３ｂは、暗い被写体に対して応答することが出来るが、明るい被写体に対してはダイナミックレンジが不足し、信号が飽和し易い。一方低感度撮像素子３ａは、明るい被写体に対しても信号が飽和し難く応答することが出来るが、暗い被写体に対して感度が不足する。従って、低感度撮像素子３ａと高感度撮像素子３ｂの２種類の撮像素子で構成し、よりダイナミックレンジを拡大する場合、夫々のダイナミックレンジの重なりを常に最小にすることが望ましい。
【００７４】
例えば、高感度撮像素子３ｂは、輝度情報のみに対して応答する画素であり、低感度撮像素子３ａは、カラー情報のみに対して応答する画素によって構成することができる。
【００７５】
本願明細書の記載において、「撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、所謂デジタルカメラやスキャナがこれに含まれる。前記撮像素子の一例としては、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ型撮像素子が挙げられるが、本発明では感度の異なる少なくとも２種類の撮像素子を組み合わせられた撮像装置を用いることが特徴である。
【００７６】
例えば、前述した特許文献２に感度の異なる撮像素子を組み合わせた撮像素子の例として、低感度撮像素子と、高感度撮像素子とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置する固体差撮像素子が記載されている。本発明で用いられる撮像素子は、図１に示すように画素の面積が高感度撮像素子３ｂより小さくダイナミックレンジが広い低感度撮像素子３ａと、画素の面積が低感度撮像素子３ａより大きく感度が高い高感度撮像素子３ｂとを組み合わせてハニカム状に配置されていることが望ましい。
これらの撮像素子の出力電流はＡ／Ｄ変換器によりデジタル化される。この段階での各色チャンネルの内容は、撮像素子固有の分光感度に基づいた信号強度となっている。
【００７７】
本発明の実施に際し、用いられる「撮像装置」の種類には次の３つのタイプがあり、夫々に異なる「撮像画像データ」が出力される。１つは請求項３、８、１３に記載のように撮像によって「シーン参照画像データ」を生成するタイプ、２つ目は請求項１、２、４〜７、９〜１２、１４、１５に記載のように「シーン参照画像データ」の生成に用いられる、撮像素子（以下、「撮像装置」とも称す。）特性に依存した「シーン参照生データ」である「高感度シーン参照生データ及び低感度シーン参照生データ」を出力するタイプ、そして３つ目は「鑑賞画像参照データ」を生成するタイプである。
【００７８】
「シーン参照生データ」とは、撮像装置から直接出力される生出力データであって、被写体に忠実な情報であり、前記Ａ／Ｄ変換器によりデジタル化されたデータそのものや、該データに固定パターンノイズ・暗電流ノイズ等のノイズ補正を行ったデータを意味し、ＲＡＷデータがこれに含まれる。このシーン参照生データは、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ ＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理が省略されている。
【００７９】
本発明に用いられる撮像装置が、複数の前記「シーン参照生データ」を生成するタイプであるとき、撮像素子の感度毎に「高感度シーン参照生データ及び低感度シーン参照生データ」が生成されることになる。
【００８０】
また、撮像素子の感度毎に「高感度シーン参照生データ及び低感度シーン参照生データ」が生成されるとともに、「高感度シーン参照生データ及び低感度シーン参照生データ」を合成標準化してシーン参照画像データを生成するための「合成補助データ」も生成される。
【００８１】
前記「合成補助データ」とは、少なくとも撮像素子の感度毎に生成された複数のシーン参照生データの識別手段と、撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする事が可能になる情報、すなわち撮像素子固有の分光感度特性かＲＩＭＭ ＲＧＢのような特定の標準色空間に換算する時に使用すべきマトリックス係数が記載されている必要がある。例えば、撮像装置の機種名だけが記載されている場合は、本処理を実施する画像処理装置が機種名と前記マトリックス係数の対応表を保有していない可能性があるので十分なデータとは言えない。また例えば、本処理を実施する際に十分な情報が直接記載されていなくても、該情報のインターネット上での所在個所を示すＵＲＬが記載されている場合は、本処理を行うのに十分なデータとみなすことができる。
【００８２】
この合成標準化するための「合成補助データ」生成することによって、複数の「シーン参照生データ」が存在しても、異なる「画像処理装置］及び「画像記録装置」での信号値の差異が補正された単一の「合成標準化されたシーン参照画像データ」を生成することができる。
【００８３】
本発明において、撮像素子の感度毎に生成される高感度シーン参照生データ及び低感度シーン参照生データの量子化分解能階調数（以下、単に「階調数」と称す。）は、同一であっても良いが、高感度の撮像素子は低感度の撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答特性は図２に示すように直線的であることが望ましいが、感度の大きさ毎に異なっていても良い。さらに低感度の撮像素子は、感色性（色弁別能）の異なる少なくとも３種類で構成されていることが望ましい。
【００８４】
「シーン参照画像データ」とは、撮像素子の感度毎に生成された複数のシーン参照生データを、主要被写体の明るさ（輝度）、ダイナミックレンジ等に基づき、単一の画像データをして保有し得る情報容量の範囲内に最適化する合成処理、ならびに少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を従来技術で述べたＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピング済みであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−Ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｖｅｒｓｉｏｎ ｆｕｎｃｔｉｏｎ， 例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。
【００８５】
本発明に用いられる撮像装置が、「シーン参照画像データ」を生成するタイプであるとき、シーン参照画像データは撮像装置内において、低感度撮像素子により生成された「低感度シーン参照生データ」と高感度撮像素子により生成された「高感度シーン参照生データ」との合成によって生成される。生成された「シーン参照画像データ」の各画素が、前記「高感度シーン参照生データ」由来か、「低感度シーン参照生データ」由来かを識別する手段を備えなくてはならない。
【００８６】
例えば、識別手段としては、「シーン参照画像データ」の画素毎において、「高感度シーン参照生データ」又は「低感度シーン参照生データ」のどちらか一方を選択したかを記録した「合成情報データ」を用いる手段が挙げられる。
【００８７】
前記「合成情報データ」とは、前記「合成補助データ」の情報に加え、合成された「シーン参照画像データ」の画素毎に複数の「シーン参照生データ」のどの「シーン参照生データ」由来か、即ち「高感度シーン参照生データ」由来か、もしくは「低感度シーン参照生データ」由来かを識別する情報を有し、「シーン参照画像データ」に対して、複数の「シーン参照生データ」、即ち「低感度シーン参照生データ」と「高感度シーン参照生データ」とに分離することが可能なデータである。また、この「合成情報データ」は、画像ファイル内のヘッダ部に書き込まれるタグ情報として記録されるのが好ましい。
【００８８】
従って、複数の「シーン参照生データ」が分割して保有する情報量を保持しつつも、異なる「撮像装置」間での信号値の差異が補正された単一の合成標準化された「シーン参照画像データ」が得られる。
【００８９】
合成標準化されたシーン参照画像データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば、鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照生データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００９０】
「シーン参照画像データ」は、撮像装置であるデジタルカメラにより取得されるデジタル画像データ以外に、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等、アナログカメラにより記録された写真感光材料の駒画像情報を入力するフィルムスキャナ、銀塩印画紙であるカラーペーパー上に再現された画像情報を入力するフラットヘッドスキャナを用いて作成された画像データを用いることもできる。
【００９１】
本発明の画像形成方法、画像処理装置及び画像記録装置に用いられる入力データとしては、前述の「シーン参照画像データ」を生成する「撮像装置」を用いて得られる「シーン参照画像データ」が好ましい。しかしながら、撮像装置内における処理負荷や、消費電力を軽減する観点から、前述の「シーン参照画像データ」の生成に用いられる、撮像装置特性に依存した「高感度シーン参照生データ及び低感度シーン参照生データ」及び「合成補助データ」を出力するタイプの「撮像装置」を用いて得られる「高感度シーン参照生データ及び低感度シーン参照生データ」がより好ましい。
【００９２】
しかし、前述の「鑑賞画像参照データ」を生成するタイプの「撮像装置」を用いる場合、「鑑賞画像参照データ」から「シーン参照画像データ」へと変換する処理を要する。シーン参照画像データへ変換するためには、撮像装置がシーン参照画像データと鑑賞画像参照データとの差分データを求め、鑑賞画像参照データと共にメディアに記録する機能を備える必要があり好ましくない。
【００９３】
請求項１、２、４、５記載の本発明の画像処理方法、請求項６、７、９、１０記載の本発明の画像処理装置及び請求項１１、１２、１４、１５記載の本発明の画像記録装置に用いられる入力データは、「高感度シーン参照生データ及び低感度シーン参照生データ」と「合成補助データ」を出力するタイプの撮像装置を用いる。また、請求項３記載の本発明の画像処理方法、請求項８記載の本発明の画像処理装置及び請求項１３記載の本発明の画像記録装置に用いられる入力データは、「シーン参照画像データ」と「合成情報データ」を出力するタイプの画像装置である。
【００９４】
撮像装置内における処理負荷の軽減、シーン参照画像データから高感度シーン参照生データと低感度シーン参照生データに分離に要する手間、或いは高感度シーン参照生データと低感度シーン参照生データ夫々に対する画像処理の精度向上といった観点から、撮像装置としては上記「高感度シーン参照生データ及び低感度シーン参照生データ」と「合成補助データ」を出力するタイプの撮像装置を用いることが好ましい。
【００９５】
画像処理装置及び画像記録装置においては、撮像装置により取得されたデジタル画像データは、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「メディア」に保存されたものを読取手段により読み取ることにより取得することができる。或いはネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得することもできる。
【００９６】
「平滑化処理」とは、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ） などの直交変換やフーリエ変換、或いは直交ウェーブレット変換等の多重解像度変換によって画像データを各周波数領域に分割し、画像の平滑化を周波数領域の低域フィルタを用いて行うものである。具体的には、直交変換による基底画像において、原点を中心とする半径Ｒ以内の成分を完全に保存するとともに、その他の成分を除去することによって、或いは、多重解像度変換によって得た特定の解像度に対し、所定の閾値以下を、例えばゼロにするコアリング処理を行って、画像の平滑化を行う。
【００９７】
請求項１６、１７、及び１８に記載の「画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタ」とは、画像入力媒体のノイズに基づいて、処理に用いる周辺画素を特定するステップと、特定された周辺画素のピクセル値に基づき、前記注目画素のピクセル値を決定するステップとを有することを特徴とする平滑化フィルタである。たとえばノイズの特性に合わせてマスクの大きさを変更することにより、あるいは注目画素と周辺画素のピクセル値の差分と比較する閾値を変更することにより、処理に用いる周辺画素の範囲を変更し、それにより画質の低下を防止すると共に処理の高速化を図ることができる。
【００９８】
また、本発明の平滑化処理はデジタル画像データを輝度情報と色情報に分離し、色情報にのみ平滑化処理を施す方法を用いることができる。この方法により、画像のシャープネスの低下を伴わずに、画像の色ムラを低減することが出来る。
【００９９】
本発明では、前記「ノイズ信号」を低減する又は除去するための画像処理であるため、平滑化処理を高感度の撮像素子により取得された画像データ（高感度シーン参照生データ）に対し、低感度の撮像素子により取得された画像データ（低感度シーン参照生データ）に比べ、より強く施すことが特徴である。
【０１００】
「鮮鋭化処理」とは、ぼけによる画像の劣化を復元させたり、あるいは目的に応じて画像を見やすくするために、画像におけるエッジを強調する処理のことである。鮮鋭化処理の具体的な方法としては、１次微分演算による強調や２次微分演算（ラプラシアン）による強調などがあるが、比較的自然な強調処理を行うことができることから、ラプラシアンによる強調、或いはアンシャープマスクによる処理が広く用いられている。
【０１０１】
ラプラシアンによる処理は、原画像の画像データにおける各画素値から、その画像データの各画素におけるラプラシアンをマイナスすることによってエッジの強調が行われる。原画像の画像データにおける各画素値、すなわち原信号をｆ（ｉ，ｊ）（ｉ，ｊ は座標を表す）、ラプラシアンによる処理が施された後の各画素値、すなわち処理済信号をＦ（ｉ，ｊ）とすると、上記の処理は、次の式で表される。
【０１０２】
【数１】
Ｆ（ｉ，ｊ）＝ｆ（ｉ，ｊ）−∇^２ｆ（ｉ，ｊ）
【０１０３】
請求項１９、２０、２１に記載の「鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整される」とは、出力媒体であるＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙の各種類毎に、前記、例えばアンシャープマスクによるエッジ強調量を調整することである。
出力媒体は勿論、出力デバイスを含めた出力システムの特性により、シャープネスの特性が同じデジタル画像データを出力する場合でも異なる為、本発明によってより主観的に好ましい画質を得られる。
【０１０４】
請求項２２、２３、２４に記載の「鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整される」とは、出力媒体であるＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙のサイズ、より好ましくは各種類毎のサイズに応じて、例えばアンシャープマスクによるエッジ強調量を調整することである。出力媒体は勿論、出力デバイスを含めた出力システムの特性により、シャープネスの特性が同じデジタル画像データを出力する場合でも、その出力サイズ（出力媒体と観察者の観察距離との関係も同様である）によりシャープネスの特性が異なる為、本発明によってより主観的に好ましい画質を得られる。
【０１０５】
請求項２５、２６、２７に記載の「鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整される」とは、主要被写体、例えば人物の顔の大きさに応じて、例えばアンシャープマスクによるエッジ強調量を調整することである。
同じ人物の顔であっても、大きいサイズで出力媒体上に再現した場合、しわなどが目立ち易くなる為、シャープネス強調の度合いは、弱く設定した方が、より主観的に好ましい画質を得ることが出来る。
【０１０６】
上記「主要被写体のサイズに応じて調整される」とは、「出力媒体のサイズ」、並びに「出力画像の大きさ」と、「出力画像における主要被写体の大きさ」とに基づいて出力媒体上で画像を観察する際により好ましい印象を与えるように、撮影画像を表す画像信号に適用する画像処理の内容、特に鮮鋭化処理の適用量を設定する事である。
【０１０７】
上記「主要被写体」とは、撮影者が撮影画像の構図を設定する際に、表現の中心的役割を意図して着目した被写体であり、多くの場合には人物、特に顔領域であることが多い。人物の含まれない風景写真の場合も漠然と構図が設定されることは稀であり、ある場合には近景の花・動物・静物が主要被写体であり、別の場合には背景の山・空・雲が主要被写体であったりする。
【０１０８】
上記「出力画像の大きさ」とは出力媒体上にプリント又は表示された時の撮影画像全域の実寸を意味し、たとえばＡ４サイズの用紙に印刷された場合には、縁取りの余白を除く１９０ｍｍ×２８０ｍｍ程度の領域が出力画像の大きさとなる。従って、本発明においては「出力画像の大きさ」と、「出力画像における主要被写体の大きさ」の他、請求項２２〜２４に記載の「出力媒体のサイズ」もまた調整因子となっている。
【０１０９】
上記「出力画像における主要被写体の大きさ」とは、出力媒体上にプリント又は表示された時の主要被写体領域の実寸を意味し、たとえば同じＡ４サイズの用紙に印刷された場合でも、人物のクローズアップ写真では５０ｍｍ〜１００ｍｍ角の大きさになることが多いし、集合写真や建造物を背景にした人物の記念撮影では１０ｍｍ〜３０ｍｍ角程度の大きさになる事が多い。このように、出力画像の大きさが一定である場合でも、出力画像における主要被写体の大きさは撮影者の意図した構図に依存して１画像毎にサイズが異なるものである。
【０１１０】
上記「出力画像の大きさ」を取得する方法は、本発明の態様が画像記録装置又はプリンタに接続された画像処理装置である場合には、印刷命令の内容から容易に出力画像の大きさを取得する事ができるし、本発明の態様が直接プリンタに接続されずに画像データをファイル又は通信手段に出力する画像処理方法・画像処理装置であった場合でも、想定する出力画像の大きさをユーザが指定することにより、本発明の態様が出力画像の大きさを取得する事が可能になる。
【０１１１】
また、出力画像の大きさを取得する事ができない状況にあっても「出力画像の大きさを推定する」事により、本発明を実施することが可能である。たとえば出力画像の画素数はユーザが意図する出力メディア上のサイズと強く相関する。１万画素程度の画像はサムネイル・インデックス用途であり出力画像の大きさは数センチ角程度を意図していると推定されるし、２００万画素程度の画像はＬ〜２Ｌ版のプリントを意図していると推定される。最も簡単な出力画像の大きさの推定方法は、一般的なカラー画像の印刷条件（例えば３００ＤＰＩ）を仮定して、画像の画素数を出力画像の大きさに換算することにより達成される。
【０１１２】
上記「出力画像における主要被写体の大きさ」を取得する方法は、ユーザが本発明の態様に命令を与える際に指定を受けたり、撮影画像を表す画像信号に添付された付加情報（所謂タグ情報など）を参照したりする事で達成される。こうした付加情報の添付方法は、独自の情報フォーマットや独立の情報ファイル・信号として与えられてもよいが、より好ましい態様としては、ＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットに規定されている既存のタグ情報を利用したり、メーカーノートやユーザノートといった自由に使用できる領域を利用することが挙げられる。
【０１１３】
主要被写体の大きさは、必ずしも出力画像上の実寸で指定される必要はなく、上記「画像内で主要被写体の占める割合」を算出可能にする情報を上記と同様の手段で与えることにしてもよい。たとえば主要被写体の大きさが一辺又は半径の画素数で与えられた場合には、画像全体の画素数と比較することで画像において主要被写体の占める割合が容易に算出され、本発明が前述の方法で取得又は推定した出力画像の大きさを乗じることで出力画像における主要被写体の大きさを容易に算出することができる。
【０１１４】
また主要被写体の大きさが直接的に指定されない状況でも、「出力画像における主要被写体の大きさ」を推定することにより本発明を実施する事ができる。具体的には画像信号から肌色部分を抽出したり、画像中央部で色相・明度が一定の範囲におさまる範囲を抽出する方法があげられるが、より好ましい方法としては、撮影条件に関する情報を取得し、該情報から主要被写体の占める割合を推定する方法が挙げられる。撮影条件に関する情報の具体例としては、被写体領域・撮影シーンタイプ・被写体距離・ストロボ反射光検出等が挙げられ、これらの情報は独自の情報フォーマットや独立の情報ファイル・信号として与えられてもよいが、より好ましい態様としては、ＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フオーマットに規定されている既存のタグ情報を参照したり、メーカーノートやユーザノートといった自由に使用できる領域を利用することが挙げられる。
【０１１５】
撮影条件に関する情報から主要被写体の占める割合を推定する方法について、例を挙げて説明する。
たとえば被写体領域の情報が与えられた場合については、この情報が円形領域の中心座標と半径の画素数、あるいは矩形領域の中心座標と縦・横の画素数のように、領域内の画素数を算出可能な形で提供されていれば画像全体の画素数と比較することで画像において主要被写体の占める割合が容易に算出され、本発明が前述の方法で取得又は推定した出力画像の大きさを乗じることで出力画像における主要被写体の大きさを容易に算出することができる。また被写体領域の情報が領域の中心座標の１点のみで与えられた場合には、指定された座標周辺の数画素の平均色相・平均明度を算出して、指定された中心の座標の周辺で色相・明度が該平均値から一定の範囲（例えば色相角の差が１０度以内で、明度の差がダイナミックレンジの１０％以内）におさまる画素領域を探索することで主要被写体領域の画素数を確定することができる。
【０１１６】
また、撮影シーンタイプの情報が与えられた場合は、たとえば人物や、ポートレートの撮影であれば主要被写体は人物の顔であり、その直径は画像短辺の１／４〜１／２程度であると推定される。概略値として一律画像短辺画素数の１／３程度の直径円の面積相当の画素数を用いて主要被写体の占める割合と推定できるし、画像短辺の１／４〜１／２程度の肌色領域を画像内から探索することで推定精度を向上させることもできる。また撮影シーンタイプが風景である場合は、画像面積の１０％程度を占める主要被写体が存在する場合が多い。また撮影シーンタイプが夜景である場合は、画像全体と比較して明度が高い領域が主要被写体であると推定できる。また、被写体距離の情報が与えられた場合には、主要被写体は人間の顔であると仮定して、一般的なコンパクトカメラのレンズ特性から被写体距離に応じた顔の大きさを算出することによって画像中で主要被写体の占める割合を推定できる。また、ストロボ反射光の情報が与えられた場合は、反射光の有無・強度の情報でおよその被写体距離が推定でき、上記と同様の方法で画像中で主要被写体の占める割合を推定できる。こうした撮影情報が複数与えられた場合には、その組み合わせ判断で推定の精度を向上できることは言うまでもない。
【０１１７】
本発明は上記の方法で取得又は推定した「出力画像の大きさ」と「出力画像における主要被写体の大きさ」とに基づいて、出力メディア上で画像を観察する際により好ましい印象を与えるように、撮影画像を表す画像信号に適用する画像処理の内容を決定する事を特徴としている。この具体的な画像処理の態様について説明する。
【０１１８】
所定の大きさの出力媒体にプリント又は表示された撮影画像を人間が鑑賞するとき、その一般的な鑑賞距離は「出力媒体のサイズ」、及び「出力画像の大きさ」により変化する。画像の大きさが写真のＬ版（８６ｍｍ×１２８ｍｍ）〜２Ｌ版（１２８ｍｍ×１７２ｍｍ）の場合の鑑賞距離は３０ｃｍ程度であり、画像がこれよりも大きくなる場合には視野内に画像全体を収めるために鑑賞距離が遠くなる。この距離は画像の長辺が視野角約３０°におさまる距離になることが多い。逆に画像が小さい場合でも、鑑賞距離が３０ｃｍから大きく近づくことはない。この関係を図３に示す。なおここで言う撮影画像とはフィルムカメラやデジタルカメラなどの手段で撮影されたいわゆる写真画像のことを意味する。たとえば出力媒体に額縁のイラストが書かれており、このイラストをテンプレートとしてその内側に撮影画像がはめ込まれている場合は、一般に鑑賞距離は額縁のイラストの大きさでなく、内側の撮影画像の大きさに支配される。従って本発明における「出力画像の大きさ」とは、テンプレートの内側にある鑑賞対象の撮影画像の大きさを意味する。また、ひとつのテンプレート内に大きさの異なる複数の撮影画像がはめ込まれている場合は、各々の撮影画像について個別に出力画像の大きさが定義される。
【０１１９】
一方、鑑賞者が画像から受ける印象は上記の観察距離における主要被写体の見え方に依存する。一般に人間の視覚において解像度が高いのは視野角１０°の範囲と言われており、例えば鑑賞距離が３０ｃｍの場合には直径約５ｃｍの範囲が視野角１０°の範囲に相当する。視野角は次式で定義される。
【０１２０】
【数２】
θ＝２・ｔａｎ^−１（ｄ／ｒ）
（θ：視野角 ｄ：主要被写体の半径 ｒ：観察距離）
【０１２１】
画像上の主要被写体の大きさが視野角１０°の範囲より小さい場合は、一般にコントラストが強めで、輪郭がくっきりとしたシャープな絵が好まれる。例えば顔が主要被写体で、その直径が５ｃｍ以下で小さければ、目鼻立ちがくっきりした写真が好まれる。特に集合写真のように顔の直径が１ｃｍ〜２ｃｍ程度であれば、人物が見分け易いハイコントラストの絵が好まれる。逆に主要被写体が視野角１０°の範囲より大きい場合は、一般にコントラストが軟調でソフトな印象を与える絵が好まれる。例えば顔が主要被写体でその直径が１０ｃｍあった場合は、顔の一部の肌が視野角１０°の範囲に入ることになる。この状況でコントラストが強すぎたりシャープネスが強すぎたりすると、肌がざらざらした印象を与えたり、目鼻の陰影が強すぎる印象を与えたり、微小部位の彩度変化に違和感を与えたりする。この場合に、コントラストが軟調で鮮鋭度と彩度変化を控えめにすると、肌がなめらかでみずみずしい印象を与える。
【０１２２】
上記経験則に基づき、「出力媒体のサイズ」、並びに「出力画像の大きさ」から鑑賞距離を推定し、この鑑賞距離と「出力画像における主要被写体の大きさ」とから主要被写体全体の視野角を推定し、この主要被写体全体の視野角に応じて、画像のコントラスト設定・鮮鋭性強調度・粒状ノイズ抑制度・彩度強調度を制御するのが、撮影画像を表す画像信号に適用する画像処理の内容を決定する方法の好ましい態様であり、結果として、出力媒体上で画像を観察する際により好ましい印象を与えることが可能となる。なお、平滑化処理の対象として粒状ノイズを例に挙げ、粒状ノイズ抑制と称し、また、その程度を粒状ノイズ抑制度と称す。また、鮮鋭化処理の程度を鮮鋭性強調度と称す。一例を図４〜図７に示す。また鮮鋭性強調及び粒状ノイズ抑制の方法として中周波数成分の抑制と高周波数成分の強調を併用する技術を用いる場合には、前記主要被写体全体の視野角に応じて、中周波数成分の抑制と高周波数成分の強調の設定を制御することが好ましい。一例を図８、図９に示す。中周波数成分は、カラー画像における粒状を含む空間周波数帯域の成分であり、高周波数成分は、カラー画像におけるエッジ又はテクスチャを含む空間周波数帯域の成分である。
【０１２３】
なお、ここでは説明のために、「出力媒体のサイズ」、「出力画像の大きさ」と「出力画像における主要被写体の大きさ」とから、鑑賞距離と主要被写体全体の視野角を算出して画像処理条件を決定したが、実際の態様では、撮影画像を表す画像信号を受け取るたびに上記の計算をする必要はなく、「出力媒体のサイズ」、「出力画像の大きさ」と「出力画像における主要被写体の大きさ」とに応じた画像処理条件が予め記載されたルックアップテーブルや、簡単な近似計算式を参照して画像処理条件を決定するのが好ましい。
【０１２４】
また、本発明においては、上記視野角を算出して画像処理条件を決定すること、並びに画像処理条件が予め記載されたルックアップテーブルや、簡単な近似計算式を参照して画像処理条件を決定する方法は、請求項１９〜２１に記載のように、出力媒体の種類毎に行われることが望ましい。
【０１２５】
さらに、本発明においては、撮影画像を表す画像信号が生成されたときに施された画像処理の傾向を取得し、その情報に基づいて前記画像処理の程度を修正する事が好ましい。具体的には、例えば、撮影画像を表す画像信号が生成されたときに施された、コントラスト処理、鮮鋭化処理、彩度処理等の画像処理傾向を取得し、その情報に基づいて前記画像処理の程度を修正する事が好ましい。こうした画像処理傾向に関する情報の取得方法としては、独自の情報フォーマットや独立の情報ファイル・信号として情報を得るようにしても良いが、より好ましい態様としては、ＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フオーマットに規定されている既存のタグ情報を参照したり、メーカーノートやユーザノートといった自由に使用できる領域を利用することがある。こうした情報をもとに、たとえば撮影時に既にコントラストが硬調に設定されているのであれば、画像上の主要被写体の大きさが視野角１０°の範囲より小さい場合のコントラスト強調を抑制又は廃止し、画像上の主要被写体の大きさが視野角１０°の範囲より大きい場合のコントラスト軟調化の程度を大きくする等、撮影時の画像処理との重複・相反を考慮した形で本発明における画像処理の程度を修正することで、出力画像の画像特性を適正な範囲に収めることができる。
【０１２６】
請求項２８、２９、３０に記載の「鮮鋭化処理の適用量が、撮影シーンに応じて調整される」とは、撮影シーン判別の結果、例えば主要被写体の種類や撮影シーンの構図に応じて、例えばアンシャープマスクによるエッジ強調量を調整することである。建物のように多くの直線で構成され、空との境界が生じ易い人工的な被写体では、よりシャープ感が求められるが、逆に人物や、花などの生物では、シャープネスは弱めの設定が好まれる。撮影シーンに応じて、より好ましくは部分的にシャープネスの適用量を調整することにより、より主観的に好ましい画質を得ることが出来る。
【０１２７】
本発明の実施に際しては、請求項１９〜２１、２２〜２４、２５〜２７、２８〜３０の夫々の処理を複合的に組み合わせて用いることがさらに好ましい。
【０１２８】
また、本発明の鮮鋭化処理はデジタル画像データを輝度情報と色情報に分離し、輝度情報にのみ鮮鋭化処理を施す方法を用いることができる。この方法により、輝度情報にのみ鮮鋭化処理を施すことにより、色情報の劣化を伴わずに、画像のシャープネスを高めることが出来る。
【０１２９】
本発明に係る「画像処理装置」は、撮像装置の出力する、撮像装置の撮像装置特性に依存したシーン参照生データを標準化されたシーン参照画像データ及び鑑賞画像参照データに変換する手段を備えている。
【０１３０】
本発明に係る「画像記録装置」は、画像処理装置が、出力媒体上に鑑賞画像を形成する手段を備えている。
【０１３１】
本発明の画像処理装置及び画像記録装置は、本発明に係る撮像装置により取得されるデジタル画像データに対し、本発明の画像処理を施す機構以外にも、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等、アナログカメラにより記録された写真感光材料の駒画像情報を入力するフィルムスキャナ、銀塩印画紙であるカラーペーパー上に再現された画像情報を入力するフラットヘッドスキャナを備えていても良い。また、本発明の撮像装置以外のデジタルカメラによりより取得され、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「メディア」に保存されたデジタル画像データを読み取る手段、或いはネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙など、公知のあらゆる「記憶媒体」に鑑賞画像を形成する処理手段とを備えていても良い。
【０１３２】
図１０〜１３に、本発明に用いられるデジタル画像データのファイル構造を示す。
図１０、１１に示すように、低感度シーン参照生データ及び高感度シーン参照生データには合成補助データが添付されている。
図１２、１３に示すように、シーン参照画像データには合成情報データが添付されている。
また、図１１、１３に示すように、低感度シーン参照生データ及び高感度シーン参照生データ、シーン参照画像データにはさらに撮影情報データが添付されることが好ましい。
【０１３３】
「撮影情報データ」とは、撮影時の撮影条件設定の記録であり、Ｅｘｉｆファイルのヘッダ部に書き込まれるタグ情報と同じものを含んでも良い。具体的には露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）などである。「撮影情報データ」は独立してメディアに保存する態様をとっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。
【０１３４】
前記「撮影情報データ」は、撮像装置の露出設定や焦点機能の自動化の為に、カメラに備えられたセンサの撮影時に得た値、前記センサの値から加工されたデータ、或いは前記センサの値に基づいて設定されたカメラの撮影条件に分類されるが、これ以外にも撮像装置に備えられた、撮影モードダイヤル（例えばポートレート、スポーツ、マクロ撮影モード等）や、ストロボ強制発光の設定スイッチ等を撮影者がマニュアルで設定した情報も含まれる。
【０１３５】
上記「撮影情報データ」を用いた鑑賞画像参照データの最適化の例を下記に示す。
「被写体構成」情報により、例えば部分的に彩度強調処理を施したり、ダイナミックレンジの広いシーンでは、覆い焼き処理を施すことが可能となる。「撮影シーンタイプ」情報により、例えば夜景撮影では、ホワイトバランス調整の度合いを緩め、カラーバランスを特別に調整することが可能となる。「ストロボ光源の反射光の量」情報によって、撮影者と被写体との距離が推定され、例えば肌の白飛びを抑制する画像処理の条件設定に反映させることが出来る。「被写体の種類」情報により、例えば人物撮影では、シャープネスの度合いを緩め、平滑化処理を強めることにより、肌のしわを目立たないようにすることが出来る。
【０１３６】
また、「撮影情報データ」、「被写体構成」、「撮影シーンタイプ」、「ストロボ光源の反射光の量」、「被写体の種類」情報を補う目的で、「露出時間」、「シャッタースピード」、「絞り値（Ｆナンバー）」、「ＩＳＯ感度」、「輝度値」、「被写体距離範囲」、「光源」、「ストロボ発光の有無」、「被写体領域」、「ホワイトバランス」、「ズーム倍率」等の情報を、補助的に用いることが出来る。さらに、「ＩＳＯ感度」情報からノイズ抑制処理の適用量を調整したり、「光源」情報をホワイトバランスの再調整に用いたりすることが出来る。
【０１３７】
前記「撮影情報データ」が、「低感度シーン参照生データ及び高感度シーン参照生データ」又は「シーン参照画像データ」とは独立してメディアに保存する態様である場合には、「撮影情報データ」又は「低感度シーン参照生データ及び高感度シーン参照生データ」又は「シーン参照画像データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【０１３８】
本発明の画像形成方法、画像処理装置及び画像記録装置において、「階調特性」、「色再現特性」、或いは「周波数特性」の少なくとも一つを補正し、撮像装置毎の差異のない状態を再現し、撮像装置固有の変換特性を補正する第１のステップ、露出制御処理とグレーバランス調整処理とを施す第２のステップ、及び階調変更処理を施す第３のステップの少なくとも３つのステップより構成されることが望ましい。
【０１３９】
前記「ステップ」とは、本発明の画像形成方法の処理フロー（流れ）を規定するものであり、第１ステップから第２ステップへと、順番に処理が進行する。このようにステップに分離したことで、より精度向上と効率化が達せられる。
また前記第３のステップにおける階調変更処理は、非線形補正処理を含むことが望ましく、さらに前記第３のステップは、γを補正するステップと、非線形補正処理を施すステップの２つより構成され、先にγを補正する構成であることが好ましい。
【０１４０】
前記第１のステップは、「低感度シーン参照生データ及び高感度シーン参照生データ」から「シーン参照画像データ」へと変換するプロセスであり、第２のステップは、より撮像装置固有の差異を無くし画像データの共通化を図るシーン参照画像データへの変換プロセスと、出力媒体上でより主観的に好ましい画質とする鑑賞画像参照データへの変換プロセスの両面を併せ持っており、第１と、第３ステップとの橋渡しを行っている。第３のステップは、出力媒体上でより主観的に好ましい画質とする鑑賞画像参照データへの変換プロセスである。
【０１４１】
「露出制御処理」とは、撮像画像データ全体の明るさを補正することである。撮像画像データは、前記第１のステップにより、撮像装置固有の被写体情報の表し方は補正され共通化されているものの、撮像装置の露出制御は、撮像装置の自動露出制御（以下、「ＡＥ」とも称す。）の性能によりバラツキや、撮影者によるマニュアル設定の違いにより明るさが異なっている。
【０１４２】
「グレーバランス調整処理」とは、撮影画像データ全体の色の偏りを補正することである。撮像画像データは、前記第１のステップにより、撮像装置固有の被写体情報の表し方は補正され共通化されているものの、撮像装置のグレーバランス制御（例えば、鑑賞光源の色温度補正。）は、撮像装置の自動グレーバランス制御（以下、「ＡＷＢ」とも称す。）の性能によりバラツキや、撮影者によるマニュアル設定の違いにより色の偏りが異なっている。
【０１４３】
前記第２のステップにおける露出制御（ＡＥ）処理とグレーバランス調整（ＡＷＢ）処理は、ＢＧＲ各色毎に設定された入出力変換テーブル（ルックアップテーブル（以下、「ＬＵＴ」とも称す。））により、同時に調整される態様とすることが望ましい。具体的には、ＢＧＲ各色のＬＵＴを個々に平行移動させることによりグレーバランスが調整され、同時に平行移動させることにより明るさが調整されるようにする。
【０１４４】
「階調変更処理」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上で、より主観的に好ましく階調を調整することである。具体的には、下記、「非線型補正処理」、「γ補正処理」が含まれる。
【０１４５】
「非線形補正処理」とは、画像のハイライト部とシャドー部を非線形に修正することにより、出力媒体の濃度の再現域が狭いことに起因する、画像のハイライト部の白飛び、シャドー部に潰れを抑制することである。前記第２のステップ（ＡＥ／ＡＷＢ処理）によりプリントの濃度が上がるような場合には、ハイライト側の階調を硬調化させると共にシャドー側の階調を軟調化させ、逆にプリントの濃度が下がるような場合には、ハイライト側の濃度を軟調化させると共にシャドー側の階調を硬調化させるように修正量を求め、修正曲線に反映させる。
【０１４６】
「γを補正する」とは、出力媒体上毎に設定された基準階調曲線に修正することである。ここでは、例えば出力媒体が銀塩印画紙の場合、基準階調曲線はＳ字状の曲線となっており、中間部はγ＝１．６に設定されている。階調を硬調化させて、プリンタの出力の見えを良くすること目的とする処理を「γ補正処理」と称する。
【０１４７】
以下、本発明の平滑化処理を施す工程について詳述する。
請求項１、２の記載において「シーン参照画像データ生成過程」とは、前記「第１のステップ」を意味する。また、請求項６、７、１１、１２の記載において「シーン参照画像データ生成手段は、前記撮像画像データに対して平滑化処理を施す」とは、前記「第１のステップ」で平滑化処理を施すことを意味する。
本発明では、「第１のステップ」、すなわち「低感度シーン参照生データ及び高感度シーン参照生データ」から「シーン参照画像データ」へと変換するプロセスにおいて、平滑化処理を施すことを特徴とする。すなわち、ここで平滑化処理の対象となる「ノイズ」は、撮像装置に由来するものである。ノイズは、撮像装置毎に異なる固有のものであり、処理の対象となるデジタル画像データの情報量（例えば、階調数、画素数など）が多く、シーン参照画像データ生成過程においてはノイズ発生の要因がより明確な状態にある為、より適切な平滑化処理手段を用意することが可能となり、結果としてアーティファクトの抑制された平滑化処理を施すことが出来る。
【０１４８】
請求項４、５、９、１０、１４、１５の記載においては、「生成されたシーン参照画像データ」に対して平滑化処理を施す。即ち、前記「第１のステップ」の後、「第２、第３のステップ」の前工程で平滑化処理を施す。
請求項３、８、１３記載においては、撮像によって「シーン参照画像データ」を生成するタイプの撮像装置を用いるため、前記「第１のステップ」は省略されるが、その後で平滑化処理を行うので、本発明により「シーン参照画像データ」を生成するタイプの撮像装置を用いた場合でも、撮像装置において平滑化処理を施しておく必要がないので、撮影装置の処理負荷を軽減出来るメリットを有する。
【０１４９】
以下、本発明の鮮鋭化処理を施す工程について詳述する。
請求項１、４の記載において「鑑賞画像参照データ生成過程」とは、前記「第２、第３のステップ」を意味する。また、請求項６、１１の記載における「鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して鮮鋭化処理を施す」及び請求項９、１４の記載における「鑑賞画像参照データ生成手段は、前記平滑化処理されたシーン参照画像データに対して鮮鋭化処理を施す」とは、前記「第２、第３のステップ」で鮮鋭化処理を施すことを意味する。
本発明では、例えば、出力媒体上でより主観的に好ましい画質とする鑑賞画像参照データへの変換プロセスにおいて、鮮鋭化処理を施すことを特徴とする。すなわち、ここで鮮鋭化処理は、例えば出力デバイス、出力メディアの種類、中でも出力メディアの大きさに応じて最適化されるものであり、結果としてより主観的に好ましい画質が得られることは明らかである。
【０１５０】
請求項２、５、７、１０、１２、１５の記載においては、「生成された鑑賞画像参照データ」に対して鮮鋭化処理を施す。即ち、前記「第２、第３のステップ」のさらに後工程で鮮鋭化処理を施す。
本発明は、例えば同一の出力デバイス、出力メディアの種類を使用した状況において、出力メディアの大きさのみを変えるような場合においては、前記「第２、第３のステップ」の修正が不要であり、このような場合に、「第２、第３のステップ」を省略することができるので、処理負荷を軽減出来るメリットを有する。
【０１５１】
請求項３の記載において、「鑑賞画像参照データ生成過程で、平滑化処理を施し、次に鮮鋭化処理を施す」とは、前記「第２、第３ステップ」において、始めに平滑化処理、次いで鮮鋭化処理を施すことである。また、請求項８、１３の記載の鑑賞画像参照データ生成手段は「鑑賞画像参照データ生成過程」、即ち、前記「第２、第３ステップ」において、始めに平滑化処理、次いで鮮鋭化処理を施す。
撮像によって「シーン参照画像データ」を生成するタイプの撮像装置を用いる場合には、「第１のステップ」は省略されるが、「第２、第３のステップ」において平滑化処理、鮮鋭化処理を施すようにしたので、本発明により「シーン参照画像データ」を生成するタイプの撮像装置を用いた場合でも、撮像装置において平滑化処理を施しておく必要がないので、撮像装置の処理負荷を軽減出来るメリットを有する。さらに、「第２、第３のステップ」中で平滑化処理及び鮮鋭化処理を施すようにした為、より処理の迅速化が計られる。
【０１５２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面に基づいて説明する。
なお、実施の形態では、前述の「シーン参照画像データ」の生成に用いられる、撮像装置特性に依存した「低感度シーン参照生データ及び高感度シーン参照生データ」、「撮像装置特性補正処理を施す際の再現補助データ」（以下、「合成補助データ」と称す）及び「撮影情報データ」を出力するタイプの「撮像装置」を用いた例を示している。
【０１５３】
〔実施の形態１〕
以下、本発明の実施の形態１について、図面に基づいて説明する。
〈撮像装置２１の構成〉
まず、「低感度シーン参照生データ及び高感度シーン参照生データ」、「合成補助データ」及び「撮影情報データ」を出力するタイプの「撮像装置」である撮像装置２１について説明する。
【０１５４】
まず、構成を説明する。
図１４は、本発明に係る撮像装置２１の機能的構成を示すブロック図である。図１４に示すように、撮像装置２１は、レンズ１、絞り２、ＣＣＤ３、アナログ処理回路４、Ａ／Ｄ変換器５、一時記憶メモリ６、画像処理部７、ヘッダ処理部８、記憶デバイス９、ＣＣＤ駆動回路１０、制御部１１、撮影情報データ処理部１２、合成補助データ処理部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成されている。
【０１５５】
ＣＣＤ３の撮像素子は、カラー情報に応答する低感度撮像素子３ａ及び輝度情報に応答する高感度撮像素子３ｂから構成されており、低感度及び高感度の２種類の信号を得ることができ、低感度素子３ａから生成される低感度シーン参照生データは被写体のカラー情報であるカラー画像であり、高感度素子３ｂから生成される高感度シーン参照生データｄ２ｂは被写体の輝度情報であるモノクロ画像である。
また、撮像素子は積層されており、２種類以上の信号を得ることができるものでもよい。
更に、レンズ１からの被写体光を、プリズムなどによって一定周波数毎に分割し、分割された入射光毎にＣＣＤにて電気的な信号（撮像信号）へ光電変換して２種類以上の信号を得ることができるものでもよい。
【０１５６】
撮像装置２１の光学系は、レンズ１、絞り２、低感度撮像素子３ａ及び高感度撮像素子３ｂから形成されるＣＣＤ（固体撮像素子）３を備えて構成されている。
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。ＣＣＤ３は、レンズ１により受光面上に結像された被写体光を、ＣＣＤ３内の各センサ毎に光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、この低感度撮像素子３ａ及び高感度撮像素子３ｂからの撮像信号をアナログ処理回路４へ順次出力する。
【０１５７】
アナログ処理回路４は、ＣＣＤ３から入力された低感度撮像素子３ａ及び高感度撮像素子３ｂからの撮像信号に対して、Ｒ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。このアナログ処理回路４における処理は、操作部１４からの操作信号に応じ制御部１１を介してＯＮ／ＯＦＦが切り替えられるようになっている。
【０１５８】
Ａ／Ｄ変換器５は、アナログ処理回路４から入力された低感度撮像素子３ａ及び高感度撮像素子３ｂからの撮像信号をデジタル画像データに変換して出力する。
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器５から出力された低感度撮像素子３ａ及び高感度撮像素子３ｂからのデジタル画像データを一時格納する。
【０１５９】
画像処理部７は、表示部１５での表示に用いるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。この画像処理部７における処理は、操作部１４からの操作信号に応じ制御部１１を介してＯＮ／ＯＦＦが切り替えられるようになっている。
【０１６０】
ヘッダ情報処理部８は、一時記憶メモリ６に格納された低感度撮像素子３ａ及び高感度撮像素子３ｂからのデジタル画像データに対して、合成補助データ処理部１３により生成された合成補助データｄ１をヘッダ情報として書き込み処理する（図１０参照）。
【０１６１】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影されたデジタル画像データを記録するメモリカード等の記録メディアと、撮像装置２１の制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
【０１６２】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【０１６３】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置２１の制御プログラムを読み出して、読み出したプログラムに従って撮像装置２１全体の制御を行う。具体的には、制御部１１は、操作部１４からの操作信号に応じて、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１９、焦点距離調整回路１８、ＣＣＤ駆動回路１０、アナログ処理回路４、一時記憶メモリ６、画像処理部７、操作部１４、表示部１５、ストロボ駆動回路１６及び合成補助データ処理部１３の制御を行い、撮影を行う。
【０１６４】
制御部１１は、操作部１４により低感度撮像素子３ａ及び高感度撮像素子３ｂから生成された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの出力が指定されると、後述する低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ保存処理を行い、撮影時におけるアナログ処理部４における信号増幅やノイズの低減処理や画像処理部７における処理を省略し、記憶デバイス９の記録メディアに、合成補助データｄ１及び撮影情報データｄ３をヘッダ情報として書き込むとともに、撮影されたデジタル画像データを低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂとして記録する（図１１参照）。
【０１６５】
撮影情報データ処理部１２は、撮影情報データｄ３を生成する。撮影情報データｄ３は、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報等である。
【０１６６】
合成補助データ処理部１３は、操作部１４からの操作信号により、制御部１１の制御下においてアナログ処理回路４及び画像処理部７での処理を行わない低感度撮像素子３ａ及び高感度撮像素子３ｂから生成される低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを記憶デバイス９の記録メディアに記録する場合に、この低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを画像素子の感度毎に生成された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの識別データと撮像素子自体の分光光度に基づく各色チャンネルの信号強度をＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢ等の標準化された色空間のシーン参照画像データｄ４に変換するために必要な情報として合成補助データｄ１を生成し、ヘッダ情報処理部８に出力する。
【０１６７】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。本実施の形態において、操作部１４は、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの出力を指定するための機能ボタンを備えている。
【０１６８】
表示部１５は、制御部１１からの制御信号により、デジタル画像データを表示するとともに、撮像装置２１の使用者が撮影に関する設定や条件を確認するための情報を表示する。
【０１６９】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１７０】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【０１７１】
〈撮像装置２１の動作〉
次に、動作について説明する。
図１５は、操作部１４により、撮影されたデジタル画像データの低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂによる出力が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行される低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ保存処理を示すフローチャートである。以下、図１５を参照して低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ保存処理について説明する。
【０１７２】
制御部１１は、操作部１４のレリーズボタンが押下されると、各部を制御して撮影を行う（ステップＳ１）。低感度撮像素子３ａ及び高感度撮像素子３ｂから形成されるＣＣＤ３から得られた撮像信号は、Ａ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂが生成される（ステップＳ２）。また、合成補助データ処理部１３により合成補助データｄ１が生成され（ステップＳ３）、撮影情報データ処理部１２により撮影情報データｄ３が生成される（ステップＳ４）。
【０１７３】
低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ、合成補助データｄ１及び撮影情報データｄ３の生成後、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂのファイルヘッダに合成補助データｄ１及び撮影情報データｄ３がタグ情報として記録、添付され（ステップＳ５）、添付済みのデータファイルが作成され（ステップＳ６）、この添付済みのデータファイルが撮像装置２１に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ７）。
【０１７４】
図１１は、ステップＳ７で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。図１１に示すように、撮影されたデジタル画像データは、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂとして記録され、そのヘッダ領域に、合成補助データｄ１及び撮影情報データｄ３が記録されている。この記録メディアを撮像装置２１から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ、合成補助データｄ１及び撮影情報データｄ３をこれらの外部装置に出力することができる。
【０１７５】
〈画像処理装置１１７の構成〉
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図１６は本発明に係る画像処理装置１１７の機能的構成を示すブロック図である。図１６に示すように、画像処理装置１１７は、入力部１０１、ヘッダ情報解析部１０２、合成補助データｄ１に基づいて低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに合成標準化処理を施してシーン参照画像データｄ４を生成するシーン参照画像データ生成部１１５、シーン参照画像データ生成部１１５により生成されたシーン参照画像データｄ４に最適化処理を施して鑑賞画像参照データｄ５を生成する鑑賞画像参照データ生成部１１６により構成されている。シーン参照画像データ生成部１１５と、鑑賞画像参照データ生成部１１６にはヘッダ情報解析部１０２が夫々接続されており、さらに鑑賞画像参照データ生成部１１６には、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２が夫々接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１１８の統括的な制御下において動作する。
【０１７６】
入力部１０１は、記録メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置２１により撮影されたデジタル画像データ（撮像画像データ）のファイル（図１１参照）が記録された記録メディアが装着されると、入力部１０１は、記録されたデータファイルを読み出して、ヘッダ情報解析部１０２へ出力する。なお、本実施の形態においては、入力部１０１は、装着された記録メディアからデータを読み出すこととして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１７７】
ヘッダ情報解析部１０２は、入力部１０１から入力されたデータを解析し、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに添付された合成補助データｄ１と、撮影情報データｄ３とに分け、合成補助データｄ１を合成標準化処理部１０３ａへ、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを平滑化処理部１１３へ、撮影情報データｄ３を撮影情報データ処理部１０６へ出力する。
【０１７８】
シーン参照画像データ生成部１１５は、図１６に示すように、合成標準化処理部１０３ａ、処理条件テーブル１０３ｂ、平滑化処理部１１３、シーン参照画像データ処理部１０４及び一時記憶メモリ１０５を有して構成されている。シーン参照画像データ生成部１１５は、本発明の請求項に記載の画像処理装置のシーン参照画像データ生成手段としての機能を有する。
【０１７９】
合成標準化処理部１０３ａは、ヘッダ情報解析部１０２から合成補助データｄ１が入力されると、処理条件テーブル１０３ｂの参照により、シーン参照画像データｄ４の生成条件を決定する。処理条件テーブル１０３ｂは、撮像装置の特性毎に、シーン参照画像データｄ４を生成するための処理条件を対応付けて記憶するテーブルである。
【０１８０】
平滑化処理部１１３は、ヘッダ情報処理部１０２から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換やフーリエ変換、或いは直交ウェーブレット変換等の多重解像度変換を行って各周波数領域に分割し、周波数領域の低減フィルタを用いて画像の平滑化を行い、シーン参照画像データ生成部１０４に出力する。平滑化処理は、ノイズの特性に基づいて、マスクの大きさ、マスク形状、注目画素と周辺画素のピクセル値の差分と比較する閾値を変更するフィルタを用いて行う。平滑化処理部１１３は、本発明の請求項に記載の画像処理装置の平滑化処理手段としての機能を有する。
また、平滑化処理を高感度の撮像素子により取得された画像データ（高感度シーン参照生データ）に対し、低感度の撮像素子により取得された画像データ（低感度シーン参照生データ）に比べ、より強く施すことが望ましい。
【０１８１】
シーン参照画像データ処理部１０４は、平滑化処理部１１３から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、合成標準化処理部１０３ａにより決定された生成条件により合成標準化処理を施して撮像装置特性に依存しない標準化されたシーン参照画像データｄ４を生成し、一時記憶メモリ１０５に出力する。具体的には、合成標準化処理には、少なくとも低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを生成した撮像装置の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。合成方法として、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの信号値とを比較し、閾値等の基準に従ってどちらか一方の信号値を選択する。選択された信号値情報は、合成補助データに記録される。
【０１８２】
一時記憶メモリ１０５は、バッファメモリ等により構成され、シーン参照画像データ生成部１０４により生成されたシーン参照画像データｄ４を一時的に記憶する。
【０１８３】
鑑賞画像参照データ生成部１１６は、図１６に示すように、撮影情報データ処理部１０６、鑑賞画像参照データ処理部１０７、一時記憶メモリ１０８、設定入力部１０９、及び鮮鋭化処理部１１４を有して構成されている。鑑賞画像参照データ生成部１１６は、本発明の請求項に記載の画像処理装置の鑑賞画像参照データ生成手段としての機能を有する。
【０１８４】
撮影情報データ処理部１０６は、ヘッダ情報処理部１０２から入力された撮影情報データｄ３に基づいて、撮影条件に応じた鑑賞画像参照データｄ５を生成するための生成条件を決定する。
【０１８５】
設定入力部１０９は、本画像処理装置１１７にて生成したデジタル画像データを出力する出力媒体の種類や大きさ、具体的には記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類や出力メディアの大きさに関する操作情報が入力されると、この操作情報を鑑賞画像参照データ処理部１０７に出力する。
【０１８６】
鑑賞画像参照データ処理部１０７は、一時記憶メモリ１０５からシーン参照画像データｄ４を読み出して鮮鋭化処理部１１４に出力し、鮮鋭化処理部１１４によりシーン参照画像データｄ４に対して鮮鋭化処理が施されると、この画像データに対して撮影情報データ処理部１０６で決定された鑑賞画像参照データｄ５の生成条件及び設定入力部１０９から入力された操作情報に基づき、出力先において最適な画像を得るための最適化処理を施して鑑賞画像参照データｄ５を生成し、操作情報とともに一時記憶メモリ１０８へ出力する。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０１８７】
鮮鋭化処理部１１４は、ラプラシアンによる強調或いはアンシャープマスクによる処理により、入力されたシーン参照画像データｄ４のエッジ強調を行う。エッジ強調量は、設定入力部１０９により指定された出力媒体の種類及びサイズに応じて調整することにより、出力媒体に適した鮮鋭化処理を施す。更に、鮮鋭化処理部１１４は、出力画像における主要被写体のサイズを判別し、このサイズに応じてエッジ強調量を調整する。また、デジタル画像データにおける撮影シーンを判別し、撮影シーンに応じてエッジ強調量を調整する。鮮鋭化処理部１１４は、本発明の請求項に記載の画像処理装置の鮮鋭化処理手段としての機能を有する。
【０１８８】
一時記憶メモリ１０８は、バッファメモリ等であり鑑賞画像参照データ処理部１０７から入力された鑑賞画像参照データｄ５を一時的に記憶する。
【０１８９】
〈画像処理装置１１７の動作〉
図１７は、画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ａを示すフロー図である。以下、図を参照して画像処理装置１１７の動作について説明する。
【０１９０】
図１１に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップＳ２１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ２２）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ２３）、合成補助データｄ１（ステップＳ２４）、撮影情報データｄ３（ステップＳ２５）に分けられ、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ及び合成補助データｄ１はシーン参照画像データ生成部１１５へ、撮像情報データｄ３は鑑賞画像参照データ生成部１１６へ出力される。
【０１９１】
合成補助データｄ１がシーン参照画像データ生成部１１５へ入力されると、合成標準化処理部１０３ａにより処理条件テーブル１０３ｂが参照され、シーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部１０３ａで決定された処理条件に基づいて、平滑化処理部１１３により夫々異なる条件で平滑化処理が施され（ステップＳ２６）、シーン参照画像データ処理部１０４により合成標準化処理が施され（ステップＳ２７）、シーン参照画像データｄ４が生成されて一時記憶メモリ１０５に記憶される（ステップＳ２８）。
【０１９２】
撮影情報データｄ３が鑑賞画像参照データ生成部１１６へ入力されると、撮影情報データ処理部１０６により撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。シーン参照画像データｄ４は、シーン参照画像データ生成部１１５の一時記憶メモリ１０５から読み出され、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された操作情報に基づき、鮮鋭化処理部１１４により鮮鋭化処理が施され（ステップＳ２９）、鑑賞画像参照データ処理部１０７により最適化処理が施され（ステップＳ３０）、鑑賞画像参照データｄ５が生成されて、設定入力部１０９により設定されたデバイスに出力される（ステップＳ３１）。
【０１９３】
なお、図１６に示すブロック図及び図１７に示すフローチャートは一例であり、平滑化処理部１１３による処理は低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４を生成する過程で施せばよく、また、鮮鋭化処理部１１４による処理はシーン参照画像データｄ４から鑑賞画像参照画像データｄ５を生成する過程で施せばよく、図１６に示すブロック図及び図１７で示したフローチャートに限定されない。例えば、ヘッダ情報処理部１０２から低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂをシーン参照画像データ処理部１０４に出力し、いくつかの合成標準化処理を施した後に平滑化処理部１１３において平滑化処理を施すのであってもよい。また、鑑賞画像参照データ処理部１０７により一時記憶メモリ１０５からシーン参照画像データｄ４を読み出していくつかの最適化処理を施した後に鮮鋭化処理部１１４において鮮鋭化処理を施すのであってもよい。
【０１９４】
以上説明したように、画像処理装置１１７によれば、撮像装置２１から入力されたデジタル画像データに対して、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４の生成過程で夫々異なった条件で平滑化処理を施す。シーン参照画像データｄ４の生成過程は撮像画像データの合成及び撮像装置特性を補正する過程であり、処理対象となるデジタル画像データの情報量（例えば、階調数、画素数）が多く、撮像装置毎に固有のものであるノイズ発生の原因がより明確な状態であるため、より適切な平滑化処理を施すことができる。
【０１９５】
また、画像処理装置１１７によれば、シーン参照画像データｄ４に対して、鑑賞画像参照データｄ５の生成過程で鮮鋭化処理を施す。鑑賞画像参照データｄ５の生成過程は出力デバイス、出力メディアに応じてデジタル画像データを最適化する画像処理を施す過程であり、出力デバイス、出力メディアに応じて鮮鋭化処理を施すことで出力媒体上で主観的に好ましい画像を得ることができる。
【０１９６】
〈画像記録装置２０１の構成〉
次に、本発明に係る画像記録装置の好ましい実施の形態について説明する。
なお、本実施の形態１における画像記録装置２０１は、本発明の請求項１１に記載の画像記録装置に対応するものであり、撮像合成標準化処理部３０３ａ、シーン参照画像データ生成部３０４及び平滑化処理部３１３を合わせて、本発明の請求項１１に記載のシーン参照画像データ生成手段としての機能を有し、撮影情報データ処理部３０６、鑑賞画像参照データ生成部３０７、鮮鋭化処理部３１４を合わせて、本発明の請求項１１に記載の鑑賞画像参照データ生成手段としての機能を有する。また、平滑化処理部３１３は、本発明の請求項１１に記載の平滑化処理手段としての機能を有し、鮮鋭化処理部３１４は、鮮鋭化処理手段としての機能を有する。
【０１９７】
図１８は本発明に係る画像記録装置２０１の外観構成を示す斜視図である。この実施の形態における画像記録装置２０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力メディアとして用いる出力デバイスとを備えた例である。
【０１９８】
画像記録装置２０１において、本体２０２の左側面にマガジン装填部２０３が設けられ、本体２０２内には出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられている。作成されたプリントは本体２０２の右側面に設けられたトレー２０６に排出される。さらに、本体２０２の内部には、露光処理部２０４の上方位置に制御部２０７が備えられている。
【０１９９】
また、本体２０２の上部には、ＣＲＴ２０８が配置されている。このＣＲＴ２０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ２０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部２０９が配置され、右側に反射原稿入力装置２１０が配置されている。
【０２００】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットヘッドスキャナで駒画像データに変換することができる。
【０２０１】
本体２０２の制御部２０７の配置位置には、画像読込部２１４が設けられている。画像読込部２１４はＰＣカード用アダプタ２１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ２１４ｂを備え、ＰＣカード２１３ａやＦＤ（フロッピー（登録商標）ディスク）２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像して複数の駒画像データが記憶されたメモリを有する。ＦＤ２１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０２０２】
ＣＲＴ２０８の前方には、操作部２１１が配置され、この操作部２１１は情報入力手段２１２を備える。情報入力手段２１２は、例えばタッチパネル等で構成される。
【０２０３】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４は、本体２０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０２０４】
更に、本体２０２の制御部２０７の配置位置には、画像書込部２１５が設けられている。画像書込部２１５にはＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。
【０２０５】
更に、制御部２０７は図示しない通信手段を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像出力装置として機能することが可能になっている。
【０２０６】
〈画像記録装置２０１の内部構成〉
次に、画像記録装置２０１の内部構成について説明する。
図１９は画像記録装置２０１の内部構成を示すブロック図である。
【０２０７】
画像記録装置２０１の制御部２０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置２０１を構成する各部の動作を集中制御する。
【０２０８】
また、制御部２０７は、画像処理部２７０を有し、操作部２１１の情報入力手段２１２からの入力信号に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部２１４から読み込まれた画像データ、及び通信手段（入力）２４０（図２０に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部２７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、プリントＰ１、Ｐ２、Ｐ３として、或いはモニタ２０８、画像書込部２１５、通信手段（出力）２４１（図２０に図示）等により出力する。
【０２０９】
操作部２１１には、情報入力手段２１２が設けられている。情報入力手段２１２は、例えばタッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。また、操作部２１１は、キーボードやマウスを備えて構成するようにしてもよい。
【０２１０】
フィルムスキャナ部２０９は、アナログカメラＱにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置２１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０２１１】
画像読込部２１４は、デジタルカメラＱ２により撮像して記憶されたＰＣカード２１３ａやＦＤ２１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部２１４は、画像転送手段２３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ２１４ａに装着されたＰＣカード２１３ａや、ＦＤ用アダプタ２１４ｂに装着されたＦＤ２１３ｂに記録された駒画像データを読み取り、制御部２０７へ転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０２１２】
データ蓄積手段２７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０２１３】
テンプレート記憶手段２７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段２７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部２０７は、駒画像情報と当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択してサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０２１４】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部２１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０２１５】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０２１６】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０２１７】
露光処理部２０４は、画像処理部２７０で画像データを画像処理して生成された出力用画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に送る。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０２１８】
モニタ２０８は、ＣＲＴやＬＣＤ等により構成され、制御部２０７から入力される画像情報を表示する。
【０２１９】
画像書込部２１５は、画像搬送部２３１としてＦＤ用アダプタ１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像データを画像記録メディアに書き込むことができるようになっている。
【０２２０】
更に、画像処理部２７０は、通信手段（入力）２４０（図２０に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成することも可能になっている。
【０２２１】
また、画像処理部２７０は、通信手段（出力）２４１（図２０に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０２２２】
このように画像記録装置２０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報を「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力メディア上で画像を観察する際に好ましい印象を与える画像となるように処理を行う画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像出力手段、及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（送信）とを有する。
【０２２３】
〈画像処理部２７０の構成〉
図２０は、本発明に係る画像処理部２７０の機能的構成を示すブロック図である。フィルムスキャナ部２０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０２２４】
反射原稿入力装置２１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０２２５】
画像転送手段２３０及び通信手段（入力）２４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等を行い、画像処理部２７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４は、上述した撮像装置２１による形式の画像データが画像転送手段２３０手段及び通信手段（入力）２４０から入力されたか否かを判別し、画像転送手段２３０手段及び通信手段（入力）２４０から入力されたと判断した場合には、入力された画像データをヘッダ情報解析部３０２に出力する。ヘッダ情報解析部３０２においては、入力された画像データを解析し、合成補助データｄ１と、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと、撮影情報データｄ３とに分ける。
【０２２６】
出力画像の大きさについての指定は操作部２１１から入力されるが、この他に通信手段（入力）２４０に送信された出力画像の大きさについての指定や、画像転送手段２３０により取得された画像データのヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０２２７】
ヘッダ情報解析部３０２により解析された合成補助データｄ１は、合成標準化処理部３０３ａに出力され、処理条件テーブル３０３ｂに基づき、画像処理条件が決定される。
【０２２８】
平滑化処理部３１３は、ヘッダ情報解析部３０２から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換やフーリエ変換、或いは直交ウェーブレット変換等の多重解像度変換を行って各周波数領域に分割し、周波数領域の低域フィルタを用いて画像の平滑化を行い、シーン参照画像データ生成部３０４に出力する。平滑化処理は、ノイズの特性に基づいて、マスクの大きさ、マスク形状、注目画素と周辺画素のピクセル値の差分と比較する閾値を変更する低減フィルタを用いて行う。
また、平滑化処理を高感度の撮像素子により取得された画像データ（高感度シーン参照生データ）に対し、低感度の撮像素子により取得された画像データ（低感度シーン参照生データ）に比べ、より強く施すことが望ましい。
【０２２９】
シーン参照画像データ生成部３０４は、平滑化処理部３１３から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、合成標準化処理部３０３ａにより決定された生成条件により合成標準化処理を施して撮像装置特性に依存しない標準化されたシーン参照画像データｄ４を生成し、鑑賞画像参照データ生成部３０７に出力する。具体的には、合成標準化処理には、少なくとも低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを生成した撮像装置の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。
合成方法として、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの信号値とを比較し、閾値等の基準に従ってどちらか一方の信号値を選択する。選択された信号値情報は、合成補助データに記録される。
【０２３０】
ヘッダ情報解析部３０２により解析された撮影情報データｄ３は、撮影情報データ処理部３０６に出力され、鑑賞画像参照データｄ５の生成に関わる画像処理条件が決定される。
操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１は、出力媒体に適合された鑑賞画像参照データｄ５を作成するための画像処理条件を、鑑賞画像参照データ生成部３０７へと転送する。
【０２３１】
鮮鋭化処理部３１４は、ラプラシアンによる強調或いはアンシャープマスクによる処理により、入力されたシーン参照画像データｄ４のエッジ強調を行う。エッジ強調量を、操作部２１１により指定された出力媒体の種類及びサイズに応じて調整することにより、出力媒体に適した鮮鋭化処理を施す。更に、鮮鋭化処理部３１４は、出力画像における主要被写体のサイズを判別し、このサイズに応じてエッジ強調量を調整する。また、出力画像における撮影シーンを判別し、撮影シーンに応じてエッジ強調量を調整する。
【０２３２】
鑑賞画像参照データ生成部３０７は、撮影情報データ処理部３０６で作成された画像処理条件及び画像調整処理部７０１から送信された画像処理条件に基づき、入力されたシーン参照画像データｄ４に最適化処理を施して鑑賞画像参照データｄ５を生成し、操作情報とともに画像調整処理部７０１へ出力する。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０２３３】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段２７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部２１１又は制御部２０７の指令に基づき、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２４０、テンプレート処理部７０５から受け取った画像データに対して、後述する方法により出力メディア上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行い出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段２７１へ送出する。
【０２３４】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ２０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部に画像データを送出する。本発明の画像記録装置２０１に、さらに大判インクジェットプリンタなど、外部プリンタ２５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０２３５】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、データの圧縮や、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２４１へ画像データを転送する。
【０２３６】
なお、鑑賞画像参照データ生成部３０７において生成される鑑賞画像参照データｄ５は、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ作成処理部７０９における処理を前提としたものであり、画像データ作成処理部７０９においては、鑑賞画像参照データｄ５の書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０２３７】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２３８】
また、ヘッダ情報解析部３０２、合成標準化処理部３０３ａ、撮影情報データ処理部３０６、シーン参照画像データ生成部３０４、鑑賞画像参照データ生成部３０７、平滑化処理部３１３、鮮鋭化処理部３１４という区分は、画像処理部２７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２３９】
〈画像処理部２７０の動作〉
図２１は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理Ａを示すフロー図である。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０２４０】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ４１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１によるデジタル画像データファイルである判別されると（ステップＳ４２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ４３）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ４４）、合成補助データｄ１（ステップＳ４５）、撮影情報データｄ３（ステップＳ４６）に分けられる。
【０２４１】
合成補助データｄ１は合成標準化処理部３０３ａに出力され、合成標準化処理部３０３ａによる処理条件テーブル３０３ｂの参照によりシーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部３０３ａで決定された処理条件に基づいて、夫々異なる条件で平滑化処理部３１３により平滑化処理が施され（ステップＳ４７）、シーン参照画像データ生成部３０４により合成標準化処理が施され（ステップＳ４８）、シーン参照画像データｄ４が生成されて鑑賞画像参照データ生成部３０７に出力される（ステップＳ４９）。
【０２４２】
撮影情報データｄ３が撮影情報データ処理部３０６へ入力されると、撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力先のデバイスや出力メディアの種類や大きさに適合された鑑賞画像参照データｄ５を作成するための画像処理条件が決定される。シーン参照画像データｄ４は、撮影情報データ処理部３０６により決定された処理条件及び画像調整処理部７０１により決定された画像処理条件に基づき、鮮鋭化処理部３１４により鮮鋭化処理が施され（ステップＳ５０）、鑑賞画像参照データ生成部３０７により最適化処理が施される（ステップＳ５１）。そして、鑑賞画像参照データｄ５が生成され、出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される（ステップＳ５２）。鑑賞画像参照データｄ５は、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ５３）、操作部２１１により指定された出力先から出力される（ステップＳ５４）。
【０２４３】
なお、図２１に示すフローチャートは一例であり、平滑化処理部３１３による処理は低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４を生成する過程で施せばよく、また、鮮鋭化処理部３１４による処理はシーン参照画像データｄ４から鑑賞画像参照画像データｄ５を生成する過程で施せばよく、図２１に示すフローチャートに限定されない。例えば、ヘッダ情報処理部３０２から低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂをシーン参照画像データ生成部３０４に出力し、シーン参照画像データ生成部３０４においていくつかの合成標準化処理を施した後に平滑化処理部３１３において平滑化処理を施すのであってもよい。また、鑑賞画像参照データ生成部３０７によりいくつかの最適化処理を施した後に鮮鋭化処理部３１４において鮮鋭化処理を施すのであってもよい。
【０２４４】
以上説明したように、画像記録装置２０１によれば、撮像装置２１から入力されたデジタル画像データに対して低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４の生成過程で夫々異なった条件で平滑化処理を施す。シーン参照画像データｄ４の生成過程は撮像画像データの合成及び撮像装置特性を補正する過程であり、処理対象となるデジタル画像データの情報量（例えば、階調数、画素数）が多く、撮像装置毎に固有のものであるノイズ発生の原因がより明確な状態であるため、より適切な平滑化処理を施すことができる。
【０２４５】
また、画像記録装置２０１によれば、撮像装置２１から入力されたデジタル画像データに対して鑑賞画像参照データｄ５の生成過程で鮮鋭化処理を施す。鑑賞画像参照データｄ５の生成過程は出力媒体に応じてデジタル画像データを最適化する画像処理を施す過程であり、出力媒体に応じて鮮鋭化処理を施すことにより出力媒体上で主観的に好ましい画像を得ることができる。
【０２４６】
本実施の形態１の構成により低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ、平滑化処理の施されたシーン参照画像データ、及び平滑化処理及び鮮鋭化処理の施された鑑賞画像参照データを得ることができる。
【０２４７】
本実施の形態１の画像処理装置１１７、画像記録装置２０１は、平滑化処理は処理時間低減のため、比較的ノイズが大きい入力データに対し平滑化処理が施される。本実施の形態１においては平滑化処理部を画像処理装置内に設けたが、平滑化処理部は撮像装置内に設けることもできる。本実施の形態１において鮮鋭化処理部が鑑賞画像参照データを生成する過程にあるため、データの圧縮が施される前に鮮鋭化が施される。このことから画像の色域、階調とのトータルバランス的に優れた鮮鋭化が施され、多くの出力媒体において良好な画像が得られることがわかった。
【０２４８】
〔実施の形態２〕
以下、本発明に係る実施の形態２について図面に基づいて説明する。
なお、実施の形態２は、上記実施の形態１で説明したのと同様に撮像装置２１で記録されたデジタル画像データを用いた例を示している。
【０２４９】
〈画像処理部２７０の構成〉
図２２は本実施の形態２における画像処理装置１１７の機能的構成を示すブロック図である。図２２に示すように、本実施の形態においては、図１６で示した実施の形態１の画像処理装置１１７の鮮鋭化処理部１１４の配置が異なっている。即ち、一時記憶メモリ１０５に記憶されたシーン参照画像データｄ４は、鑑賞画像参照データ生成部１１６の鑑賞画像参照データ処理部１０７により読み出され、鑑賞画像参照データ処理部１０７により出力先に応じた最適化処理が施されて鑑賞画像参照データｄ５が生成される。その後、鮮鋭化処理部１１４により鑑賞画像参照データｄ５に対して鮮鋭化処理が施され、鮮鋭化鑑賞画像参照データｄ６が生成される。
【０２５０】
なお、その他の本実施の形態２における画像処理装置１１７の構成は、上述した実施の形態１と同様であるので、各構成要素には同一の符号を付し、その構成の説明は省略する。
【０２５１】
〈画像処理装置１１７の動作〉
図２３は、画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ｂを示すフロー図である。以下、図を参照して画像処理装置１１７の動作について説明する。
【０２５２】
図１１に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップＳ６１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ６２）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ６３）、合成補助データｄ１（ステップＳ６４）、撮影情報データｄ３（ステップＳ６５）に分けられ、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと合成補助データｄ１はシーン参照画像データ生成部１１５へ、撮像情報データｄ３は鑑賞画像参照データ生成部１１６へ出力される。
【０２５３】
合成補助データｄ１がシーン参照画像データ生成部１１５へ入力されると、合成標準化処理部１０３ａにより処理条件テーブル１０３ｂが参照され、シーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部１０３ａで決定された処理条件に基づいて、平滑化処理部１１３により夫々異なる条件で平滑化処理が施され（ステップＳ６６）、シーン参照画像データ処理部１０４により合成標準化処理が施され（ステップＳ６７）、シーン参照画像データｄ４が生成されて一時記憶メモリ１０５に記憶される（ステップＳ６８）。
【０２５４】
撮影情報データｄ３が鑑賞画像参照データ生成部１１６へ入力されると、撮影情報データ処理部１０６により撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。シーン参照画像データｄ４は一時記憶メモリ１０５から読み出され、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された操作情報に基づき、出力先のデバイスや出力メディアの大きさに応じて、鑑賞画像参照データ処理部１０７により最適化処理が施され（ステップＳ６９）、鑑賞画像参照データｄ５が生成される（ステップＳ７０）。生成された鑑賞画像参照データｄ５は、鮮鋭化処理部１１４で鮮鋭化処理が施され（ステップＳ７１）、鮮鋭化鑑賞画像参照データｄ６が生成され、設定入力部１０９により設定されたデバイスに出力される（ステップＳ７２）。
【０２５５】
なお、図２２に示すブロック図及び図２３に示すフローチャートは一例であり、平滑化処理部１１３による処理は低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４を生成する過程で施せばよく、図２２に示すブロック図及び図２３に示すフローチャートに限定されない。例えば、ヘッダ情報処理部１０２から低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂをシーン参照画像データ処理部１０４に出力し、シーン参照画像データ処理部１０４においていくつかの合成標準化処理を施した後に平滑化処理部１１３において夫々異なる条件で平滑化処理を施すのであってもよい。
【０２５６】
以上説明したように、画像処理装置１１７によれば、撮像装置２１から入力されたデジタル画像データに対して、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４の生成過程で夫々異なる条件で平滑化処理を施す。シーン参照画像データｄ４の生成過程は撮像画像データの合成及び撮像装置特性を補正する過程であり、処理対象となるデジタル画像データの情報量（例えば、階調数、画素数）が多く、撮像装置毎に固有のものであるノイズ発生の原因がより明確な状態であるため、より適切な平滑化処理を施すことができる。
【０２５７】
また、画像処理装置１１７によれば、シーン参照画像データｄ４に対して鑑賞画像参照データｄ５の生成後に鮮鋭化処理を施す。そのため、特定の出力デバイス、出力メディアの種類に基づいて最適化処理が施されて生成された鑑賞画像参照データｄ５について、同一種類の出力デバイス、出力メディアの種類に出力メディアの大きさを変えて出力するような場合において、最適化処理が不要となるので、処理負荷を軽減することができる。
【０２５８】
〈画像記録装置２０１の構成〉
次に、本実施の形態２における画像記録装置２０１の構成及び動作について説明する。
なお、本実施の形態２における画像記録装置２０１の外観構成、内部構成及び画像処理部２７０の構成は、データの処理順序が異なる他は上述した実施の形態１と同様であるので、動作説明においてその特徴を説明することとし、各構成要素には同一の符号を付し、その構成の図示及び説明は省略する。
また、本実施の形態２における画像記録装置２０１は、本発明の請求項１２に記載の画像記録装置に対応するものであり、撮像合成標準化処理部３０３ａ、シーン参照画像データ生成部３０４及び平滑化処理部３１３を合わせて、本発明の請求項１２に記載のシーン参照画像データ生成手段としての機能を有し、撮影情報データ処理部３０６、鑑賞画像参照データ生成部３０７、鮮鋭化処理部３１４を合わせて、本発明の請求項１２に記載の鑑賞画像参照データ生成手段としての機能を有する。また、平滑化処理部３１３は、本発明の請求項１２に記載の平滑化処理手段としての機能を有し、鮮鋭化処理部３１４は、鮮鋭化処理手段としての機能を有する。
【０２５９】
〈画像記録装置２０１の動作〉
図２４は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理Ｂを示すフロー図である。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０２６０】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ８１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１によるデジタル画像データファイルである判別されると（ステップＳ８２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ８３）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ８４）、合成補助データｄ１（ステップＳ８５）、撮影情報データｄ３（ステップＳ８６）に分けられる。
【０２６１】
合成補助データｄ１は合成標準化処理部３０３ａに出力され、合成標準化処理部３０３ａによる処理条件テーブル３０３ｂの参照によりシーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部３０３ａで決定された処理条件に基づいて、夫々異なる条件で平滑化処理部３１３により平滑化処理が施され（ステップＳ８７）、シーン参照画像データ生成部３０４により合成標準化処理が施され（ステップＳ８８）、シーン参照画像データｄ４が生成されて鑑賞画像参照データ生成部３０７に出力される（ステップＳ８９）。
【０２６２】
撮影情報データｄ３が撮影情報データ処理部３０６へ入力されると、撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力デバイス及び出力メディアに適合された鑑賞画像参照データｄ５を作成するための画像処理条件が決定される。シーン参照画像データｄ４は、撮影情報データ処理部３０６により決定された処理条件及び画像調整処理部７０１により決定された画像処理条件に基づき、出力先のデバイスや出力メディアの大きさに応じて、鑑賞画像参照データ生成部３０７により最適化処理が施され（ステップＳ９０）、鑑賞画像参照データｄ５が生成される（ステップＳ９１）。
【０２６３】
生成された鑑賞画像参照データｄ５は、鮮鋭化処理部３１４で鮮鋭化処理が施され（ステップＳ９２）、鮮鋭化鑑賞画像参照データｄ６が生成され、操作部２１１の操作に基づく出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される（ステップＳ９３）。鮮鋭化鑑賞画像参照データｄ６は、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ９４）、操作部２１１により指定された出力先から出力される（ステップＳ９５）。
【０２６４】
なお、図２４に示すフローチャートは一例であり、平滑化処理部３１３による処理は低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４を生成する過程で施せばよく、図２４に示すフローチャートに限定されない。例えば、ヘッダ情報処理部３０２により低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂをシーン参照画像データ生成部３０４に出力し、シーン参照画像データ生成部３０４においていくつかの撮像装置特性処理を施した後に平滑化処理部３１３において夫々異なる条件で平滑化処理を施すのであってもよい。
【０２６５】
以上説明したように、画像記録装置２０１によれば、撮像装置２１から入力されたデジタル画像データに対して、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂからシーン参照画像データｄ４の生成過程で夫々異なる条件で平滑化処理を施す。シーン参照画像データｄ４の生成過程は撮像画像データの合成及び撮像装置特性を補正する過程であり、処理対象となるデジタル画像データの情報量（例えば、階調数、画素数）が多く、撮像装置毎に固有のものであるノイズ発生の原因がより明確な状態であるため、より適切な平滑化処理を施すことができる。
【０２６６】
また、画像記録装置２０１によれば、シーン参照画像データｄ４に対して鑑賞画像参照データｄ５の生成後に鮮鋭化処理を施す。そのため、特定の出力デバイス、出力メディアの種類に基づいて最適化処理が施されて生成された鑑賞画像参照データｄ５について、同一種類の出力デバイス、出力メディアの種類に出力メディアの大きさを変えて出力するような場合において、最適化処理が不要となるので、処理負荷を軽減することができる。
【０２６７】
このように、本実施の形態２の構成により低感度シーン参照生データ及び高感度シーン参照生データ、平滑化処理の施されたシーン参照画像データ、及び平滑化処理及び鮮鋭化処理の施された鑑賞画像参照データを得ることができる。
【０２６８】
本実施の形態２の平滑化処理は処理時間低減のため、比較的ノイズが大きい入力データに対し平滑化処理が施される。本実施の形態２においては平滑化処理部を画像処理装置内に設けたが、平滑化処理部は撮影装置内に設けることもできる。本実施の形態２において鮮鋭化処理部が鑑賞画像参照データ作成部より後の工程にあるため、出力情報を基に鮮鋭化処理が施される。このことから特定の出力媒体において非常に鮮鋭性に優れた画像が得られることがわかった。また、比較的画像サイズの小さい鑑賞画像参照データに対して鮮鋭化処理を行うため、処理時間の短縮化が図れることがわかった。
【０２６９】
〔実施の形態３〕
以下、本発明の実施の形態３について図面に基づいて説明する。
なお、実施の形態３は、上記実施の形態１で説明したの撮像装置２１とは異なり、「シーン参照画像データ」を出力するタイプを用いる。
〈撮像装置２１ｃの構成〉
「シーン参照画像データ」、「合成情報データ」及び「撮影情報データ」を出力するタイプの「撮像装置」である撮像装置２１ｃについて説明する。
【０２７０】
まず、構成を説明する。
図２５は、本発明の請求項３、８、１３記載に係る撮像装置２１ｃの機能的構成を示すブロック図である。図２５に示すように、撮像装置２１は、レンズ１、絞り２、ＣＣＤ３、アナログ処理回路４、Ａ／Ｄ変換器５、一時記憶メモリ６、画像処理部７、ヘッダ処理部８、記憶デバイス９、ＣＣＤ駆動回路１０、制御部１１、撮影情報データ処理部１２、合成情報データ処理部１３ｃ、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成されている。
【０２７１】
ＣＣＤ３の撮像素子は、カラー情報に応答する低感度撮像素子３ａ及び輝度情報に応答する高感度撮像素子３ｂから構成されており、低感度及び高感度の２種類の信号を得ることができ、低感度素子３ａから生成される低感度シーン参照生データは被写体のカラー情報であるカラー画像であり、高感度素子３ｂから生成される高感度シーン参照生データｄ２ｂは被写体の輝度情報であるモノクロ画像である。
また、撮像素子は積層されており、２種類以上の信号を得ることができるものでもよい。
更に、レンズ１からの被写体光を、プリズムなどによって一定周波数毎に分割し、分割された入射光毎にＣＣＤにて電気的な信号（撮像信号）へ光電変換して２種類以上の信号を得ることができるものでもよい。
【０２７２】
撮像装置２１の光学系は、レンズ１、絞り２、低感度撮像素子３ａ及び高感度撮像素子３ｂから形成されるＣＣＤ（固体撮像素子）３を備えて構成されている。
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。ＣＣＤ３は、レンズ１により受光面上に結像された被写体光を、ＣＣＤ３内の各センサ毎に光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、この低感度撮像素子３ａ及び高感度撮像素子３ｂからの撮像信号をアナログ処理回路４へ順次出力する。
【０２７３】
アナログ処理回路４は、ＣＣＤ３から入力された低感度撮像素子３ａ及び高感度撮像素子３ｂからの撮像信号に対して、Ｒ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。このアナログ処理回路４における処理は、操作部１４からの操作信号に応じ制御部１１を介してＯＮ／ＯＦＦが切り替えられるようになっている。
【０２７４】
Ａ／Ｄ変換器５は、アナログ処理回路４から入力された低感度撮像素子３ａ及び高感度撮像素子３ｂからの撮像信号をデジタル画像データに変換して出力する。
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器５から出力された低感度撮像素子３ａ及び高感度撮像素子３ｂからのデジタル画像データを一時格納する。
【０２７５】
画像処理部７は、表示部１５での表示に用いるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。この画像処理部７における処理は、操作部１４からの操作信号に応じ制御部１１を介してＯＮ／ＯＦＦが切り替えられるようになっている。
【０２７６】
ヘッダ情報処理部８は、一時記憶メモリ６に格納された低感度撮像素子３ａ及び高感度撮像素子３ｂからのデジタル画像データに対して、合成情報データ処理部１３ｃにより生成された合成情報データｄ１ｃをヘッダ情報として書き込み処理する（図１２参照）。
【０２７７】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影されたデジタル画像データを記録するメモリカード等の記録メディアと、撮像装置２１ｃの制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
【０２７８】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【０２７９】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置２１ｃの制御プログラムを読み出して、読み出したプログラムに従って撮像装置２１ｃ全体の制御を行う。具体的には、制御部１１は、操作部１４からの操作信号に応じて、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１９、焦点距離調整回路１８、ＣＣＤ駆動回路１０、アナログ処理回路４、一時記憶メモリ６、画像処理部７、操作部１４、表示部１５、ストロボ駆動回路１６及び合成情報データ処理部１３ｃの制御を行い、撮影を行う。
【０２８０】
制御部１１は、操作部１４により低感度撮像素子３ａ及び高感度撮像素子３ｂから生成された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの合成データであるシーン参照画像データｄ４の出力が指定されると、後述するシーン参照画像データｄ４保存処理を行い、撮影時におけるアナログ処理部４における信号増幅やノイズの低減処理や画像処理部７における処理を行い、記憶デバイス９の記録メディアに、合成情報データｄ１ｃ及び撮影情報データｄ３をヘッダ情報として書き込むとともに、撮影されたデジタル画像データを低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの合成データとしてのシーン参照画像データとして記録する（図１３参照）。
【０２８１】
撮影情報データ処理部１２は、撮影情報データｄ３を生成する。撮影情報データｄ３は、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報等である。
【０２８２】
合成情報データ処理部１３ｃは、操作部１４からの操作信号により、制御部１１の制御下においてアナログ処理回路４及び画像処理部７での処理を行った低感度撮像素子３ａ及び高感度撮像素子３ｂから生成される低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを合成し、記憶デバイス９の記録メディアにシーン参照画像データｄ４として記録する場合に、この低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを撮像素子の感度毎に生成された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの識別情報と、画像素子自体の分光感度に基づく各色チャンネルの信号強度をＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢ等の標準化された色空間のシーン参照画像データｄ４に変換し、シーン参照画像データの各画素について、低感度画素由来か又は高感度画素由来かを特定するために必要な情報として合成情報データｄ１ｃを生成し、ヘッダ情報処理部８に出力する。
【０２８３】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。本実施の形態において、操作部１４は、シーン参照画像データｄ４の出力を指定するための機能ボタンを備えている。
【０２８４】
表示部１５は、制御部１１からの制御信号により、デジタル画像データを表示するとともに、撮像装置２１ｃの使用者が撮影に関する設定や条件を確認するための情報を表示する。
【０２８５】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０２８６】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【０２８７】
〈撮像装置２１ｃの動作〉
次に、動作について説明する。
図２６は、操作部１４により、撮影されたデジタル画像データのシーン参照画像データｄ４による出力が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行されるシーン参照画像データｄ４保存処理を示すフローチャートである。以下、図２６を参照してシーン参照画像データｄ４保存処理について説明する。
【０２８８】
制御部１１は、操作部１４のレリーズボタンが押下されると、各部を制御して撮影を行う（ステップＳ１１）。低感度撮像素子３ａ及び高感度撮像素子３ｂから形成されるＣＣＤ３から得られた撮像信号は、Ａ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂが生成される（ステップＳ１２）。
【０２８９】
制御部１１により、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの信号値を比較し、閾値等の基準に従ってどちらか一方の信号値を選択し画像データを合成する（ステップＳ１３）。選択された信号値によってシーン参照画像データが生成される（ステップ１４）。
【０２９０】
選択された信号値が低感度シーン参照生データｄ２ａ由来か、又は高感度シーン参照生データｄ２ｂ由来かを特定するデータとして、合成情報データｄ１ｃが生成される（ステップＳ１５）。
【０２９１】
合成情報データｄ１ｃは、画素毎に低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂを関連付けるデータを有しており、信号値を比較して閾値等の基準に従ってどちらか一方の信号値を選択し画像データを合成し、撮像装置固有の分光感度特性が特定の標準空間に換算する時に使用する係数を保持する合成補助データｄ１の特性を備え、更に合成されたシーン参照画像データの各画素について、低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂ由来かを特定する選択情報を保持している。
【０２９２】
また、撮影情報データ処理部１２により撮影情報データｄ３が生成される（ステップＳ１６）。
【０２９３】
シーン参照画像データｄ４、合成情報データｄ１ｃ及び撮影情報データｄ３の生成後、シーン参照画像データｄ４のファイルヘッダに合成情報データｄ１ｃ及び撮影情報データｄ３がタグ情報として記録、添付され（ステップＳ１７）、添付済みのデータファイルが作成され（ステップＳ１８）、この添付済みのデータファイルが撮像装置２１ｃに着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ１９）。
【０２９４】
図１３は、ステップＳ３９で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。図１３に示すように、撮影されたデジタル画像データは、シーン参照画像データｄ４として記録され、そのヘッダ領域に、合成情報データｄ１ｃ及び撮影情報データｄ３が記録されている。この記録メディアを撮像装置２１ｃから取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、シーン参照画像データｄ４、合成情報データｄ１ｃ及び撮影情報データｄ３をこれらの外部装置に出力することができる。
【０２９５】
〈画像処理装置１１７ｃの構成〉
図２７は本実施の形態３における画像処理装置１１７ｃの機能的構成を示すブロック図である。図２７に示すように、本実施の形態においては、図１６で示した実施の形態１の画像処理装置１１７の平滑化処理部１１３及び鮮鋭化処理部１１４の配置が異なっている。即ち、シーン参照画像データｄ４は一時記憶メモリ１０５に記憶され、鑑賞画像参照データ生成部１１６の平滑化処理部１１３により読み出されて平滑化処理が施され、鮮鋭化処理部１１４により鮮鋭化処理が施され、鑑賞画像参照データ処理部１０７により出力先に応じた最適化処理が施されて鑑賞画像参照データｄ５が生成される。更に、シーン参照データ処理部１０４から低感度シーン参照生データ・高感度シーン参照生データ生成部１０６により、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂが生成される。
【０２９６】
〈画像処理装置１１７ｃの構成〉
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図２７は本発明に係る画像処理装置１１７ｃの機能的構成を示すブロック図である。図２７に示すように、画像処理装置１１７は、入力部１０１、ヘッダ情報解析部１０２、合成情報データｄ１ｃに基づいて合成標準化処理を施してシーン参照画像データｄ４を生成するシーン参照画像データ生成部１１５、シーン参照画像データ生成部１１５により生成されたシーン参照画像データｄ４に最適化処理を施して鑑賞画像参照データｄ５を生成する鑑賞画像参照データ生成部１１６により構成されている。シーン参照画像データ生成部１１５と、鑑賞画像参照データ生成部１１６にはヘッダ情報解析部１０２が夫々接続されており、さらに鑑賞画像参照データ生成部１１６には、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２が夫々接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１１８の統括的な制御下において動作する。
【０２９７】
入力部１０１は、記録メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置２１ｃにより撮影されたデジタル画像データ（撮像画像データ）のファイル（図１３参照）が記録された記録メディアが装着されると、入力部１０１は、記録されたデータファイルを読み出して、ヘッダ情報解析部１０２へ出力する。なお、本実施の形態においては、入力部１０１は、装着された記録メディアからデータを読み出すこととして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０２９８】
ヘッダ情報解析部１０２は、入力部１０１から入力されたデータを解析し、シーン参照画像データｄ４と、シーン参照画像データｄ４に添付された合成情報データｄ１ｃと、撮影情報データｄ３とに分け、合成情報データｄ１ｃを合成情報データ処理部１０３ｃへ、シーン参照画像データｄ４をシーン参照画像データ処理部１０４へ、撮影情報データｄ３を撮影情報データ処理部１０６へ出力する。
【０２９９】
シーン参照画像データ生成部１１５は、図２７に示すように、合成情報データ処理部１０３ｃ、シーン参照画像データ処理部１０４、低感度シーン参照生データ・高感度シーン参照生データ生成部１１９及び一時記憶メモリ１０５を有して構成されている。シーン参照画像データ生成部１１５は、本発明の請求項に記載の画像処理装置のシーン参照画像データ生成手段としての機能を有する。
【０３００】
合成情報データ処理部１０３ｃは、ヘッダ情報解析部１０２から合成情報データｄ１ｃが入力されると、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの生成条件と、シーン参照画像データｄ４の生成条件を決定する。
【０３０１】
シーン参照画像データ処理部１０４は、ヘッダ情報解析部１０２から入力されたシーン参照画像データｄ４と、合成情報データ処理部１０３ｃから入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの生成条件を低感度シーン参照生データ・高感度シーン参照生データ生成部１１９に出力する。
また、平滑化処理部１１３から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、合成情報データ処理部１０３ｃにより決定されたシーン参照画像データｄ４の生成条件により合成標準化処理を施して撮像装置特性に依存しない標準化された平滑化シーン参照画像データｄ７を生成し、一次記憶メモリ１０５に出力する。具体的には、合成標準化処理には、少なくとも低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを生成した撮像装置の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。合成方法として、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの信号値とを比較し、閾値等の基準に従ってどちらか一方の信号値を選択する。
【０３０２】
一時記憶メモリ１０５は、バッファメモリ等により構成され、低感度シーン参照生データ・高感度シーン参照生データ生成部１１９により生成された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを一次的に記憶し、また、シーン参照画像データ生成部１０４により生成された平滑化シーン参照画像データｄ７を一時的に記憶する。
【０３０３】
低感度シーン参照生データ・高感度シーン参照生データ生成部１１９は、シーン参照画像データ処理部１０４から入力されたシーン参照画像データｄ４と低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの生成条件に基づいて、シーン参照画像データｄ４に対して、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに分離する。分離された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、一次記憶メモリ１０５に出力される。
【０３０４】
鑑賞画像参照データ生成部１１６は、図２７に示すように、撮影情報データ処理部１０６、鑑賞画像参照データ処理部１０７、一時記憶メモリ１０８、設定入力部１０９、平滑化処理部１１３及び鮮鋭化処理部１１４を有して構成されている。鑑賞画像参照データ生成部１１６は、本発明の請求項に記載の画像処理装置の鑑賞画像参照データ生成手段としての機能を有する。
【０３０５】
撮影情報データ処理部１０６は、ヘッダ情報処理部１０２から入力された撮影情報データｄ３に基づいて、撮影条件に応じた鑑賞画像参照データｄ５を生成するための生成条件を決定する。
【０３０６】
設定入力部１０９は、本画像処理装置１１７にて生成したデジタル画像データを出力する出力媒体の種類や大きさ、具体的には記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類や出力メディアの大きさに関する操作情報が入力されると、この操作情報を鑑賞画像参照データ処理部１０７に出力する。
【０３０７】
平滑化処理部１１３は、一時記憶メモリ１０５から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換やフーリエ変換、或いは直交ウェーブレット変換等の多重解像度変換を行って各周波数領域に分割し、周波数領域の低減フィルタを用いて画像の平滑化を行い、シーン参照画像データ生成部１０４に出力する。平滑化処理は、ノイズの特性に基づいて、マスクの大きさ、マスク形状、注目画素と周辺画素のピクセル値の差分と比較する閾値を変更するフィルタを用いて行う。平滑化処理部１１３は、本発明の請求項に記載の画像処理装置の平滑化処理手段としての機能を有する。
また、平滑化処理を高感度の撮像素子により取得された画像データ（高感度シーン参照生データ）に対し、低感度の撮像素子により取得された画像データ（低感度シーン参照生データ）に比べ、より強く施すことが望ましい。
【０３０８】
鮮鋭化処理部１１４は、ラプラシアンによる強調或いはアンシャープマスクによる処理により、入力された平滑化シーン参照画像データｄ７のエッジ強調を行う。エッジ強調量は、設定入力部１０９により指定された出力媒体の種類及びサイズに応じて調整することにより、出力媒体に適した鮮鋭化処理を施す。更に、鮮鋭化処理部１１４は、出力画像における主要被写体のサイズを判別し、このサイズに応じてエッジ強調量を調整する。また、デジタル画像データにおける撮影シーンを判別し、撮影シーンに応じてエッジ強調量を調整する。鮮鋭化処理部１１４は、本発明の請求項に記載の画像処理装置の鮮鋭化処理手段としての機能を有する。
【０３０９】
鑑賞画像参照データ処理部１０７は、平滑化シーン参照画像データｄ７に対して鮮鋭化処理が施されると、この画像データに対して撮影情報データ処理部１０６で決定された鑑賞画像参照データｄ５の生成条件及び設定入力部１０９から入力された操作情報に基づき、出力先において最適な画像を得るための最適化処理を施して鑑賞画像参照データｄ５を生成し、操作情報とともに一時記憶メモリ１０８へ出力する。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０３１０】
一時記憶メモリ１０８は、バッファメモリ等であり鑑賞画像参照データ処理部１０７から入力された鑑賞画像参照データｄ５を一時的に記憶する。
【０３１１】
〈画像処理装置１１７ｃの動作〉
図２８は、画像処理装置１１７ｃの各部が連携することにより実行される画像データ生成処理Ｃを示すフロー図である。以下、図を参照して画像処理装置１１７ｃの動作について説明する。
【０３１２】
図１３に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップＳ１０１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ１０２）、合成情報データｄ１ｃ（ステップＳ１０３）、シーン参照画像データｄ４（ステップＳ１０４）、撮影情報データｄ３（ステップＳ１０５）に分けられ、シーン参照画像データｄ４及び合成情報データｄ１ｃはシーン参照画像データ生成部１１５へ、撮像情報データｄ３は鑑賞画像参照データ生成部１１６へ出力される。
【０３１３】
合成情報データｄ１ｃがシーン参照画像データ生成部１１５へ入力されると、合成情報データ処理部１０３ｃによりシーン参照画像データｄ４を分離及び合成するための処理条件が決定される。シーン参照画像データｄ４は、合成情報データ処理部１０３ｃで決定された処理条件に基づいて、低感度シーン参照生データ・高感度シーン参照生データ生成部１１９により低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂに分離される（ステップＳ１０６）。
分離された低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂは、一次記憶メモリ１０５に記憶される（ステップＳ１０７）。
【０３１４】
撮影情報データｄ３が鑑賞画像参照データ生成部１１６へ入力されると、撮影情報データ処理部１０６により撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂは一時記憶メモリ１０５から読み出され、平滑化処理部１１３により夫々異なる条件で平滑化処理が施される（ステップＳ１０８）。平滑化された低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂは、シーン参照画像データ処理部１０４にて再合成され、平滑化シーン参照画像データｄ７が生成される（ステップＳ１０９）平滑化シーン参照画像データｄ７は一次記憶メモリ１０５に記憶される（ステップＳ１１０）。
次に鮮鋭化処理部１１４で平滑化シーン参照画像データｄ７が鮮鋭化処理を施され（ステップＳ１１１）、更に鑑賞画像参照データ生成部１０７において、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された操作情報に基づき、出力先のデバイスや出力メディアの大きさに応じて、鑑賞画像参照データ生成部１０７により最適化処理が施され（ステップＳ１１２）、鑑賞画像参照データｄ５が生成され、設定入力部１０９により設定されたデバイスに出力される（ステップＳ１１３）。
【０３１５】
なお、図２７に示すブロック図及び図２８に示すフローチャートは一例であり、平滑化処理部１１３による処理はシーン参照画像データｄ４から鑑賞画像参照データｄ５を生成する過程で施せばよく、また、鮮鋭化処理部１１４による処理は平滑化処理部１１３による処理の後に施されればよく、図２７に示すブロック図及び図２８に示すフローチャートに限定されない。例えば、シーン参照画像データｄ４に対して鑑賞画像参照データ生成部１０７においていくつかの最適化処理を施した後に平滑化処理部１１３において平滑化処理を施し、その後鮮鋭化処理部１１４において鮮鋭化処理を施すのであってもよい。
【０３１６】
以上説明したように、画像処理装置１１７によれば、撮像装置２１から入力されたデジタル画像データに対して、鑑賞画像参照データｄ５の生成過程で平滑化処理及び鮮鋭化処理を施す。そのため、入力データとしてシーン参照画像データｄ４が入力された際にも適切かつ迅速な平滑化処理、鮮鋭化処理を行うことができる。
【０３１７】
〈画像記録装置２０１の構成〉
次に、本実施の形態３における画像記録装置２０１の構成及び動作について説明する。なお、本実施の形態３における画像記録装置２０１の外観構成、内部構成は、データの処理順序が異なる他は上述した実施の形態１と同様であるので、画像処理部２７０ｃの構成及び動作説明においてその特徴を説明することとし、各構成要素には同一の符号を付し、その構成の図示及び説明は省略する。
【０３１８】
なお、本実施の形態３における画像記録装置２０１は、本発明の請求項１３に記載の画像記録装置に対応するものであり、合成情報データ処理部３０３ｃ、シーン参照画像データ生成部３０４を合わせて、本発明の請求項１３に記載のシーン参照画像データ生成手段としての機能を有し、撮影情報データ処理部３０６、鑑賞画像参照データ生成部３０７、平滑化処理部３１３、鮮鋭化処理部３１４を合わせて、本発明の請求項１３に記載の鑑賞画像参照データ生成手段としての機能を有する。また、平滑化処理部３１３は、本発明の請求項１３に記載の平滑化処理手段としての機能を有し、鮮鋭化処理部３１４は、鮮鋭化処理手段としての機能を有する。
【０３１９】
〈画像処理部２７０ｃの構成〉
図２９は、本発明に係る画像処理部２７０ｃの機能的構成を示すブロック図である。フィルムスキャナ部２０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０３２０】
反射原稿入力装置２１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０３２１】
画像転送手段２３０及び通信手段（入力）２４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等を行い、画像処理部２７０ｃ内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４は、上述した撮像装置２１による形式の画像データが画像転送手段２３０手段及び通信手段（入力）２４０から入力されたか否かを判別し、画像転送手段２３０手段及び通信手段（入力）２４０から入力されたと判断した場合には、入力された画像データをヘッダ情報解析部３０２に出力する。ヘッダ情報解析部３０２においては、入力された画像データを解析し、合成情報データｄ１ｃと、シーン参照画像データｄ４と、撮影情報データｄ３とに分ける。
【０３２２】
出力画像の大きさについての指定は操作部２１１から入力されるが、この他に通信手段（入力）２４０に送信された出力画像の大きさについての指定や、画像転送手段２３０により取得された画像データのヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０３２３】
ヘッダ情報解析部３０２により解析された合成情報データｄ１ｃは、合成情報データ処理部３０３ｃに出力され、画像処理条件が決定される。
【０３２４】
合成情報データ処理部３０３ｃは、ヘッダ情報解析部３０２から合成情報データｄ１ｃが入力されると、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの生成条件と、シーン参照画像データｄ４の生成条件を決定する。
【０３２５】
シーン参照画像データ生成部３０４は、ヘッダ情報解析部１０２から入力されたシーン参照画像データｄ４と、合成情報データ処理部１０３ｃから入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの生成条件を低感度シーン参照生データ・高感度シーン参照生データ生成部３１９に出力する。
また、平滑化処理部３１３から入力された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、合成情報データ処理部３０３ｃにより決定された生成条件により合成標準化処理を施して撮像装置特性に依存しない標準化された平滑化シーン参照画像データｄ７を生成し、鑑賞画像参照データ生成部３０７に出力する。具体的には、合成標準化処理には、少なくとも低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂを生成した撮像装置の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。
合成方法として、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの信号値とを比較し、閾値等の基準に従ってどちらか一方の信号値を選択する。
【０３２６】
低感度シーン参照生データ・高感度シーン参照生データ生成部３１９は、シーン参照画像データ処理部３０４から入力されたシーン参照画像データｄ４と低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂの生成条件に基づいて、シーン参照画像データｄ４に対して、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに分離する。分離された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、データ蓄積手段２７１に出力される。
【０３２７】
ヘッダ情報解析部３０２により解析された撮影情報データｄ３は、撮影情報データ処理部３０６に出力され、鑑賞画像参照データｄ５の生成に関わる画像処理条件が決定される。
操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１は、出力媒体に適合された鑑賞画像参照データｄ５を作成するための画像処理条件を、鑑賞画像参照データ生成部３０７へと転送する。
【０３２８】
平滑化処理部３１３は、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換やフーリエ変換、或いは直交ウェーブレット変換等の多重解像度変換を行って各周波数領域に分割し、周波数領域の低域フィルタを用いて画像の平滑化を行い、シーン参照画像データ生成部３０４に出力する。平滑化処理は、ノイズの特性に基づいて、マスクの大きさ、マスク形状、注目画素と周辺画素のピクセル値の差分と比較する閾値を変更する低減フィルタを用いて行う。
また、平滑化処理を高感度の撮像素子により取得された画像データ（高感度シーン参照生データ）に対し、低感度の撮像素子により取得された画像データ（低感度シーン参照生データ）に比べ、より強く施すことが望ましい。
【０３２９】
鮮鋭化処理部３１４は、ラプラシアンによる強調或いはアンシャープマスクによる処理により、入力された平滑化シーン参照画像データｄ７のエッジ強調を行う。エッジ強調量を、操作部２１１により指定された出力媒体の種類及びサイズに応じて調整することにより、出力媒体に適した鮮鋭化処理を施す。更に、鮮鋭化処理部３１４は、出力画像における主要被写体のサイズを判別し、このサイズに応じてエッジ強調量を調整する。また、出力画像における撮影シーンを判別し、撮影シーンに応じてエッジ強調量を調整する。
【０３３０】
鑑賞画像参照データ生成部３０７は、撮影情報データ処理部３０６で作成された画像処理条件及び画像調整処理部７０１から送信された画像処理条件に基づき、入力された平滑化シーン参照画像データｄ７に最適化処理を施して鑑賞画像参照データｄ５を生成し、操作情報とともに画像調整処理部７０１へ出力する。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０３３１】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段２７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部２１１又は制御部２０７の指令に基づき、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２４０、テンプレート処理部７０５から受け取った画像データに対して、後述する方法で出力メディア上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行い出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段２７１へ送出する。
【０３３２】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ２０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部に画像データを送出する。本発明の画像記録装置２０１に、さらに大判インクジェットプリンタなど、外部プリンタ２５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０３３３】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、データの圧縮や、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２４１へ画像データを転送する。
【０３３４】
なお、鑑賞画像参照データ生成部３０７において生成される鑑賞画像参照データｄ５は、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ作成処理部７０９における処理を前提としたものであり、画像データ作成処理部７０９においては、鑑賞画像参照データｄ５の書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０３３５】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０３３６】
また、ヘッダ情報解析部３０２、合成情報データ処理部３０３ｃ、撮影情報データ処理部３０６、シーン参照画像データ生成部３０４、鑑賞画像参照データ生成部３０７、平滑化処理部３１３、鮮鋭化処理部３１４、低感度シーン参照生データ・高感度シーン参照生データ生成部３１９という区分は、画像処理部２７０ｃにおける本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０３３７】
〈画像記録装置２０１の動作〉
図３０は、画像処理部２７０ｃの各部が連携することにより実行される画像データ形成処理Ｃを示すフロー図である。以下、図を参照して画像処理部２７０ｃ各部の動作について説明する。
【０３３８】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ１２１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１ｃによるデジタル画像データファイルである判別されると（ステップＳ１２２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ１２３）、合成情報データｄ１ｃ（ステップＳ１２４）、シーン参照画像データｄ４（ステップＳ１２５）、撮影情報データｄ３（ステップＳ１２６）に分けられる。
【０３３９】
合成情報データｄ１ｃは合成情報データ処理部３０３ｃに出力され、合成情報データ処理部３０３ｃにより、シーン参照画像データｄ４を及び合成するための処理条件が決定される。シーン参照画像データｄ４は、合成情報データ処理部３０３ｃで決定された処理条件に基づいて、低感度シーン参照生データ・高感度シーン参照生データ生成部３１９により低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂに分離される（ステップＳ１２７）。
分離された低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂは、データ蓄積手段２７１に記憶される（ステップＳ１２８）。
【０３４０】
低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂは、データ蓄積手段２７１から読み出され、平滑化処理部３１３において、夫々異なる条件で平滑化処理が施される（ステップＳ１２９）。平滑化された低感度シーン参照生データｄ２ａと高感度シーン参照生データｄ２ｂは、シーン参照画像データ生成部３０４にて再合成され、平滑化シーン参照画像データｄ７が生成され（ステップＳ１３０）、平滑化シーン参照画像データｄ７はデータ蓄積手段２７１に記憶される（ステップＳ１３１）。
次に鮮鋭化処理部３１４により平滑化シーン参照画像データｄ７に対して鮮鋭化処理が施され（ステップＳ１３２）、鑑賞画像参照データ生成部３０７に出力される。
【０３４１】
撮影情報データｄ３が撮影情報データ処理部３０６へ入力されると、撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力デバイス及び出力メディアに適合された鑑賞画像参照データｄ５を作成するための画像処理条件が決定される。平滑化処理及び鮮鋭化処理が施されたシーン参照画像データｄ４は、撮影情報データ処理部３０６により決定された処理条件及び画像調整処理部７０１により決定された画像処理条件に基づき、出力先のデバイスや出力メディアの大きさに応じて、鑑賞画像参照データ生成部３０７により最適化処理が施され（ステップＳ１３３）、鑑賞画像参照データｄ５が生成され、操作部２１１の操作に基づく出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される（ステップＳ１３４）。鑑賞画像参照データｄ５は、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ１３５）、操作部２１１により指定された出力先から出力される（ステップＳ１３６）。
【０３４２】
なお、図３０に示すフローチャートは一例であり、平滑化処理部３１３による処理はシーン参照画像データｄ４から鑑賞画像参照データｄ５を生成する過程で施せばよく、また、鮮鋭化処理部３１４による処理は平滑化処理部３１３による処理の後に施されればよく、図３０に示すフローチャートに限定されない。例えば、シーン参照画像データｄ４に対して鑑賞画像参照データ生成部３０７においていくつかの最適化処理を施した後に平滑化処理部３１３において平滑化処理を施し、その後鮮鋭化処理部３１４において鮮鋭化処理を施すのであってもよい。
【０３４３】
以上説明したように、画像記録装置２０１によれば、撮像装置２１ｃから入力されたデジタル画像データに対して、鑑賞画像参照データｄ５の生成過程で平滑化処理及び鮮鋭化処理を施す。そのため、入力データとしてシーン参照画像データｄ４が入力された際にも適切かつ迅速な平滑化処理、鮮鋭化処理を行うことができる。
【０３４４】
上記説明した本実施の形態３の構成により低感度シーン参照生データ及び高感度シーン参照生データ、シーン参照画像データ、及び平滑化処理及び鮮鋭化処理の施された鑑賞画像参照データを得ることができる。
【０３４５】
本実施の形態３の平滑化処理は処理時間低減のため、比較的ノイズが大きい入力データに対し平滑化処理が施される。本実施の形態３においては装置特性補正データによる補正処理が行われた後に平滑化処理が行われるため、最適にノイズ除去が施されることがわかった。また、処理時間の短縮化が図れることがわかった。
【０３４６】
〔実施の形態４〕
以下、本発明に係る実施の形態４について図面に基づいて説明する。
なお、実施の形態４は、上記実施の形態１で説明したのと同様に撮像装置２１で記録されたデジタル画像データを用いた例を示している。
【０３４７】
〈画像処理装置１１７の構成〉
図３１は本実施の形態４における画像処理装置１１７の機能的構成を示すブロック図である。図３１に示すように、本実施の形態４においては、図１６で示した実施の形態１の画像処理装置１１７の平滑化処理部１１３の配置が異なっている。即ち、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して合成標準化処理が行われて生成されたシーン参照画像データｄ４は平滑化処理部１１３で平滑化処理が施され、平滑化シーン参照画像データｄ７が生成されて一時記憶メモリ１０５に記憶される。
【０３４８】
なお、その他の本実施の形態４における画像処理装置１１７の構成は、上述した実施の形態１と同様であるので、各構成要素には同一の符号を付し、その構成の説明は省略する。
【０３４９】
〈画像処理装置１１７の動作〉
図３２は、画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ｄを示すフロー図である。以下、図を参照して画像処理装置１１７の動作について説明する。
【０３５０】
図１１に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップＳ１４１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ１４２）、合成補助データｄ１（ステップＳ１４３）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ１４４）、撮影情報データｄ３（ステップＳ１４５）に分けられ、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと合成補助データｄ１はシーン参照画像データ生成部１１５へ、撮像情報データｄ３は鑑賞画像参照データ生成部１１６へ出力される。
【０３５１】
合成補助データｄ１がシーン参照画像データ生成部１１５へ入力されると、合成標準化処理部１０３ａにより処理条件テーブル１０３ｂが参照され、シーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部１０３ａで決定された処理条件に基づいて、シーン参照画像データ生成部１０４により合成標準化処理が施され（ステップＳ１４６）、シーン参照画像データｄ４が生成される（ステップＳ１４７）。
【０３５２】
シーン参照画像データｄ４を生成する際、画素毎に低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂのどちらか一方を選択した情報を合成補助データｄ１に書き込み、この選択情報が書き込まれた合成補助データｄ１を合成情報データｄ１ｃとして、一次記憶メモリ１０５に記録する（ステップＳ１４８）。
【０３５３】
合成情報データｄ１ｃは、合成補助データｄ１の情報と低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを合成した際の画素毎の選択情報を保持しているため、後述するシーン参照画像データｄ４を低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離及び、分離された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを再合成するためのデータである。
【０３５４】
シーン参照画像データ処理部１０４において生成されたシーン参照画像データｄ４は、合成情報データｄ１ｃに基づいて低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離される（ステップＳ１５０）。
分離された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは（ステップＳ１５０）、平滑化処理部１１３により夫々異なる条件で平滑化処理が施される（ステップＳ１５１）。
平滑化処理された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂは、シーン参照画像データ処理部１０４において、合成情報データｄ１ｃに基づいて再度合成処理が行われ（ステップＳ１５２）平滑化シーン参照画像データｄ７が生成され、一時記憶メモリ１０５に記憶される（ステップＳ１５３）。
【０３５５】
撮影情報データｄ３が鑑賞画像参照データ生成部１１６へ入力されると、撮影情報データ処理部１０６により撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。平滑化シーン参照画像データｄ７は一時記憶メモリ１０５から読み出され、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された操作情報に基づき、出力先のデバイスや出力メディアの大きさに応じて、鮮鋭化処理部１１４により鮮鋭化処理が施され（ステップＳ１５４）、鑑賞画像参照データ処理部１０７により最適化処理が施され（ステップＳ１５５）、鑑賞画像参照データｄ５が生成されて設定入力部１０９により設定されたデバイスに出力される（ステップＳ１５６）。
【０３５６】
なお、図３１に示すブロック図及び図３２に示すフローチャートは一例であり、鮮鋭化処理部１１４による処理は平滑化シーン参照画像データｄ７から鑑賞画像参照データｄ５が生成される過程で施されればよく、図３１に示すブロック図及び図３２に示すフローチャートに限定されない。例えば、シーン参照画像データｄ４に対して鑑賞画像参照データ処理部１０７においていくつかの最適化処理を施した後に鮮鋭化処理部１１４において鮮鋭化処理を施すのであってもよい。
【０３５７】
以上説明したように、画像処理装置１１７によれば、シーン参照画像データｄ４に対して平滑化処理を行っても、入力データとして低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと合成補助データが入力さるので適切なノイズ除去を行うことができる。
【０３５８】
また、画像処理装置１１７によれば、シーン参照画像データｄ４に対して鑑賞画像参照データｄ５の生成過程で鮮鋭化処理を施す。鑑賞画像参照データｄ５の生成過程は出力デバイス、出力メディアに応じてデジタル画像データを最適化する画像処理を施す過程であり、出力デバイス、出力メディアに応じて鮮鋭化処理を施すことにより出力媒体上で主観的に好ましい画像を得ることができる。
【０３５９】
〈画像記録装置２０１の構成〉
次に、本実施の形態４における画像記録装置２０１の構成及び動作について説明する。なお、本実施の形態４における画像記録装置２０１の外観構成、内部構成及び画像処理部２７０の構成は、データの処理順序が異なる他は上述した実施の形態１と同様であるので、動作説明においてその特徴を説明することとし、各構成要素には同一の符号を付し、その構成の図示及び説明は省略する。
【０３６０】
なお、本実施の形態４における画像記録装置２０１は、本発明の請求項１４に記載の画像記録装置に対応するものであり、撮像合成標準化処理部３０３ａ、シーン参照画像データ生成部３０４、平滑化処理部１１３を合わせて、本発明の請求項１４に記載のシーン参照画像データ生成手段としての機能を有し、撮影情報データ処理部３０６、鑑賞画像参照データ生成部３０７、鮮鋭化処理部３１４を合わせて、本発明の請求項１４に記載の鑑賞画像参照データ生成手段としての機能を有する。また、平滑化処理部３１３は、本発明の請求項１４に記載の平滑化処理手段としての機能を有し、鮮鋭化処理部３１４は、鮮鋭化処理手段としての機能を有する。
【０３６１】
〈画像記録装置２０１の動作〉
図３３は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理Ｅを示すフロー図である。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０３６２】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ１６１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１によるデジタル画像データファイルである判別されると（ステップＳ１６２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ１６３）、合成補助データｄ１（ステップＳ１６４）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ１６５）、撮影情報データｄ３（ステップＳ１６６）に分けられる。
【０３６３】
合成補助データｄ１は合成標準化処理部３０３ａに出力され、合成標準化処理部３０３ａによる処理条件テーブル３０３ｂの参照によりシーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部３０３ａで決定された処理条件に基づいて、シーン参照画像データ生成部３０４により合成標準化処理が施され（ステップＳ１６７）、シーン参照画像データｄ４が生成される（ステップＳ１６８）。
【０３６４】
シーン参照画像データｄ４を生成する際、画素毎に低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂのどちらか一方を選択した情報を合成補助データｄ１に書き込み、この選択情報が書き込まれた合成補助データｄ１を合成情報データｄ１ｃとして、データ蓄積手段２７１に記録する（ステップＳ１６９）。
【０３６５】
合成情報データｄ１ｃは、合成補助データｄ１の情報と低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを合成した際の画素毎の選択情報を保持しているため、後述するシーン参照画像データｄ４を低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離及び、分離された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを再合成するためのデータである。
【０３６６】
シーン参照画像データ生成部３０４において生成されたシーン参照画像データｄ４は、合成情報データｄ１ｃに基づいて低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離される（ステップＳ１７０）。
分離された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは（ステップＳ１７１）、平滑化処理部３１３により夫々異なる条件で平滑化処理が施される（ステップＳ１７２）。
平滑化処理された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂは、シーン参照画像データ生成部３０４において、合成情報データｄ１ｃに基づいて再度合成処理が行われ（ステップＳ１７３）平滑化シーン参照画像データｄ７が生成され、鑑賞画像参照データ生成部３０７へ出力される（ステップＳ１７４）。
【０３６７】
撮影情報データｄ３が撮影情報データ処理部３０６へ入力されると、撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力デバイス及び出力メディアに適合された鑑賞画像参照データｄ５を作成するための画像処理条件が決定される。平滑化処理が施された平滑化シーン参照画像データｄ７は、撮影情報データ処理部３０６により決定された処理条件及び画像調整処理部７０１により決定された画像処理条件に基づき、出力先のデバイスや出力メディアの大きさに応じて、鮮鋭化処理部３１４により鮮鋭化処理が施され（ステップＳ１７５）、鑑賞画像参照データ生成部３０７により最適化処理が施され（ステップＳ１７６）、鑑賞画像参照データｄ５が生成される（ステップＳ１７７）。
【０３６８】
生成された鑑賞画像参照データｄ５は、操作部２１１の操作に基づく出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力され、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ１７８）、操作部２１１により指定された出力先から出力される（ステップＳ１７９）。
【０３６９】
なお、図３３に示すフローチャートは一例であり、鮮鋭化処理部３１４による処理は平滑化シーン参照画像データｄ７から鑑賞画像参照データｄ５が生成される過程で施されればよく、図３３に示すフローチャートに限定されない。例えば、平滑化シーン参照画像データｄ７に対して鑑賞画像参照データ生成部３０７においていくつかの最適化処理を施した後に鮮鋭化処理部３１４において鮮鋭化処理を施すのであってもよい。
【０３７０】
以上説明したように、画像記録装置２０１によれば、シーン参照画像データｄ４に対して平滑化処理を行っても、入力データとして低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと合成補助データが入力されるので、適切なノイズ除去を行うことができる。
【０３７１】
また、画像記録装置２０１によれば、平滑化シーン参照画像データｄ７に対して鑑賞画像参照データｄ５の生成過程で鮮鋭化処理を施す。鑑賞画像参照データｄ５の生成過程は出力デバイス、出力メディアに応じてデジタル画像データを最適化する画像処理を施す過程であり、出力デバイス、出力メディアに応じて鮮鋭化処理を施すことにより出力媒体上で主観的に好ましい画像を得ることができる。
【０３７２】
本実施の形態４の構成により低感度シーン参照生データ及び高感度シーン参照生データ、平滑化処理の施されたシーン参照画像データ、及び平滑化処理及び鮮鋭化処理の施された鑑賞画像参照データを得ることができる。
【０３７３】
本実施の形態４の平滑化処理は処理時間低減のため、比較的ノイズが大きい入力データに対し平滑化処理が施される。本実施の形態４においては合成補助データによる補正処理が行われた後に平滑化処理が行われるため、最適にノイズ除去が施されることがわかった。本実施の形態４において鮮鋭化処理部が鑑賞画像参照データを生成する過程にあるため、データの圧縮が施される前に鮮鋭化が施される。このことから画像の色域、階調とのトータルバランス的に優れた鮮鋭化が施され、多くの出力媒体において良好な画像が得られることがわかった。
【０３７４】
〔実施の形態５〕
以下、本発明に係る実施の形態５について図面に基づいて説明する。
なお、実施の形態５は、上記実施の形態１で説明したのと同様に撮像装置２１で記録されたデジタル画像データを用いた例を示している。
【０３７５】
〈画像処理装置１１７の構成〉
図３４は本実施の形態５における画像処理装置１１７の機能的構成を示すブロック図である。図３４に示すように、本実施の形態５においては、図１６で示した実施の形態１の画像処理装置１１７の平滑化処理部１１３及び鮮鋭化処理部１１４の配置が異なっている。即ち、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂに対して合成標準化処理が行われて生成されたシーン参照画像データｄ４は平滑化処理部１１３で平滑化処理が施され、平滑化シーン参照画像データｄ７が生成されて一時記憶メモリ１０５に記憶される。平滑化シーン参照画像データｄ７は、鑑賞画像参照データ生成部１０７により読み出され、出力先に応じた最適化処理が施されて鑑賞画像参照データｄ５が生成される。その後、鮮鋭化処理部１１４により鑑賞画像参照データｄ５に対して鮮鋭化処理が施され、鮮鋭化鑑賞画像参照データｄ６が生成される。
【０３７６】
なお、その他の本実施の形態５における画像処理装置１１７の構成は、上述した実施の形態１と同様であるので、各構成要素には同一の符号を付し、その構成の説明は省略する。
【０３７７】
〈画像処理装置１１７の動作〉
図３５は、画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ｅを示すフロー図である。以下、図を参照して画像処理装置１１７の動作について説明する。
【０３７８】
図１１に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップＳ１８１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ１８２）、合成補助データｄ１（ステップＳ１８３）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ１８４）、撮影情報データｄ３（ステップＳ１８５）に分けられ、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ及び合成補助データｄ１はシーン参照画像データ生成部１１５へ、撮像情報データｄ３は鑑賞画像参照データ生成部１１６へ出力される。
【０３７９】
合成補助データｄ１がシーン参照画像データ生成部１１５へ入力されると、合成標準化処理部１０３ａにより処理条件テーブル１０３ｂが参照され、シーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部１０３ａで決定された処理条件に基づいて、シーン参照画像データ処理部１０４により合成標準化処理が施され（ステップＳ１８６）、シーン参照画像データｄ４が生成される（ステップＳ１８７）。
【０３８０】
シーン参照画像データｄ４を生成する際、画素毎に低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂのどちらか一方を選択した情報を合成補助データｄ１に書き込み、この選択情報が書き込まれた合成補助データｄ１を合成情報データｄ１ｃとして、一次記憶メモリ１０５に記録する（ステップＳ１８８）。
【０３８１】
合成情報データｄ１ｃは、合成補助データｄ１の情報と低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを合成した際の画素毎の選択情報を保持しているため、後述するシーン参照画像データｄ４を低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離及び、分離された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを再合成するためのデータである。
【０３８２】
シーン参照画像データ処理部１０４において生成されたシーン参照画像データｄ４は、合成情報データｄ１ｃに基づいて低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離される（ステップＳ１８９）。
分離された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは（ステップＳ１９０）、平滑化処理部１１３により夫々異なる条件で平滑化処理が施される（ステップＳ１９１）。
平滑化処理された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂは、シーン参照画像データ処理部１０４において、合成情報データｄ１ｃに基づいて再度合成処理が行われ（ステップＳ１９２）平滑化シーン参照画像データｄ７が生成され、一時記憶メモリ１０５に記憶される（ステップＳ１９３）。
【０３８３】
撮影情報データｄ３が鑑賞画像参照データ生成部１１６へ入力されると、撮影情報データ処理部１０６により撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。平滑化シーン参照画像データｄ７は、鑑賞画像参照データ生成部１１６の鑑賞画像参照データ処理部１０７に読み出され、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された操作情報に基づき、出力先のデバイスや出力メディアの大きさに応じて最適化処理が施され（ステップＳ１９４）、鑑賞画像参照データｄ５が生成される（ステップＳ１９５）。生成された鑑賞画像参照データｄ５には、鮮鋭化処理部１１４で鮮鋭化処理が施され（ステップＳ１９６）、鮮鋭化鑑賞画像参照データｄ６が生成されて設定入力部１０９により設定されたデバイスに出力される（ステップＳ１９７）。
【０３８４】
以上説明したように、画像処理装置１１７によれば、シーン参照画像データｄ４に対して平滑化処理を行っても、入力データとして低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂと合成補助データが入力されるので、適切なノイズ除去を行うことができる。
【０３８５】
また、画像処理装置１１７によれば、鑑賞画像参照データｄ５の生成後に鮮鋭化処理を施す。そのため、特定の出力デバイス、出力メディアの種類に基づいて最適化処理が施されて生成された鑑賞画像参照データｄ５について、同一種類の出力デバイス、出力メディアの種類に出力メディアの大きさを変えて出力するような場合において、最適化処理が不要となり処理負荷を軽減することができる。
【０３８６】
〈画像記録装置２０１の構成〉
次に、本実施の形態５における画像記録装置２０１の構成及び動作について説明する。なお、本実施の形態５における画像記録装置２０１の外観構成、内部構成及び画像処理部２７０の構成は、データの処理順序が異なる他は上述した実施の形態１と同様であるので、動作説明においてその特徴を説明することとし、各構成要素には同一の符号を付し、その構成の図示及び説明は省略する。
【０３８７】
なお、本実施の形態５における画像記録装置２０１は、本発明の請求項１５に記載の画像記録装置に対応するものであり、撮像合成標準化処理部３０３ａ、シーン参照画像データ生成部３０４、平滑化処理部３１３を合わせて、本発明の請求項１５に記載のシーン参照画像データ生成手段としての機能を有し、撮影情報データ処理部３０６、鑑賞画像参照データ生成部３０７、鮮鋭化処理部３１４を合わせて、本発明の請求項１５に記載の鑑賞画像参照データ生成手段としての機能を有する。また、平滑化処理部３１３は、本発明の請求項１５に記載の平滑化処理手段としての機能を有し、鮮鋭化処理部３１４は、鮮鋭化処理手段としての機能を有する。
【０３８８】
〈画像記録装置２０１の動作〉
図３６は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理Ｅを示すフロー図である。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０３８９】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ２０１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１によるデジタル画像データファイルである判別されると（ステップＳ２０２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ２０３）、合成補助データｄ１（ステップＳ２０４）、低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂ（ステップＳ２０５）、撮影情報データｄ３（ステップＳ２０６）に分けられる。
【０３９０】
合成補助データｄ１は合成標準化処理部３０３ａに出力され、合成標準化処理部３０３ａによる処理条件テーブル３０３ｂの参照によりシーン参照画像データｄ４を生成するための処理条件が決定される。低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは、合成標準化処理部３０３ａで決定された処理条件に基づいて、シーン参照画像データ生成部３０４により合成標準化処理が施され（ステップＳ２０７）、シーン参照画像データｄ４が生成される（ステップＳ２０８）。
【０３９１】
シーン参照画像データｄ４を生成する際、画素毎に低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂのどちらか一方を選択した情報を合成補助データｄ１に書き込み、この選択情報が書き込まれた合成補助データｄ１を合成情報データｄ１ｃとして、データ蓄積手段２７１に記録する（ステップＳ２０９）。
【０３９２】
合成情報データｄ１ｃは、合成補助データｄ１の情報と低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを合成した際の画素毎の選択情報を保持しているため、後述するシーン参照画像データｄ４を低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離及び、分離された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂを再合成するためのデータである。
【０３９３】
シーン参照画像データ生成部３０４において生成されたシーン参照画像データｄ４は、合成情報データｄ１ｃに基づいて低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂに分離される（ステップＳ２１０）。
分離された低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂは（ステップＳ２１１）、平滑化処理部３１３により夫々異なる条件で平滑化処理が施される（ステップＳ２１２）。
平滑化処理された低感度シーン参照生データｄ２ａ又は高感度シーン参照生データｄ２ｂは、シーン参照画像データ生成部３０４において、合成情報データｄ１ｃに基づいて再度合成処理が行われ（ステップＳ２１３）平滑化シーン参照画像データｄ７が生成され、鑑賞画像参照データ生成部３０７へ出力される（ステップＳ２１４）。
【０３９４】
撮影情報データｄ３が撮影情報データ処理部３０６へ入力されると、撮影情報データｄ３に基づいて撮影条件に応じた鑑賞画像参照データｄ５を生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力デバイス及び出力メディアに適合された鑑賞画像参照データｄ５を作成するための画像処理条件が決定される。平滑化処理が施された平滑化シーン参照画像データｄ７は、撮影情報データ処理部３０６により決定された処理条件及び画像調整処理部７０１により決定された画像処理条件に基づき、出力先のデバイスや出力メディアの大きさに応じて、鑑賞画像参照データ生成部３０７により最適化処理が施され（ステップＳ２１５）、鑑賞画像参照データｄ５が生成される（ステップＳ２１６）。
【０３９５】
生成された鑑賞画像参照データｄ５は、鮮鋭化処理部３１４で鮮鋭化処理が施され（ステップＳ２１７）、鮮鋭化鑑賞画像参照データｄ６が生成され、操作部２１１の操作に基づく出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される（ステップＳ２１８）。鮮鋭化鑑賞画像参照データｄ６は、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ２１９）、操作部２１１により指定された出力先から出力される（ステップＳ２２０）。
【０３９６】
以上説明したように、画像処理装置２０１によれば、シーン参照画像データｄ４に対して平滑化処理を行うので、入力データとして低感度シーン参照生データｄ２ａ及び高感度シーン参照生データｄ２ｂが入力された場合は勿論のこと、シーン参照画像データｄ４が入力された際にも適切なノイズ除去を行うことができる。
【０３９７】
また、画像記録装置２０１によれば、鑑賞画像参照データｄ５の生成後に鮮鋭化処理を施す。そのため、特定の出力デバイス、出力メディアの種類に基づいて最適化処理が施されて生成された鑑賞画像参照データｄ５について、同一種類の出力デバイス、出力メディアの種類に出力メディアの大きさを変えて出力するような場合において、最適化処理が不要となり処理負荷を軽減することができる。
【０３９８】
このように、本実施の形態５の構成により低感度シーン参照生データ及び高感度シーン参照生データ、平滑化処理の施されたシーン参照画像データ、及び平滑化処理及び鮮鋭化処理の施された鑑賞画像参照データを得ることができる。
【０３９９】
本実施の形態５の平滑化処理は処理時間低減のため、比較的ノイズが大きい入力データに対し平滑化処理が施される。本実施の形態５においては装置特性補正データ及び撮影情報データによる補正処理が行われた後に平滑化処理が行われるため、最適にノイズ除去が施されることがわかった。本実施の形態５において鮮鋭化処理部が鑑賞画像参照データ作成部より後の工程にあるため、出力情報を基に鮮鋭化処理が施される。このことから特定の出力媒体において非常に鮮鋭性に優れた画像が得られることがわかった。また、比較的画像サイズの小さい鑑賞画像参照データに対して鮮鋭化処理を行うため、処理時間の短縮化が図れることがわかった。
【０４００】
更に、実施の形態１〜５において、ノイズの特性に基づいて、マスクサイズ、マスク形状、閾値が変化する低減フィルタを用いて平滑化処理を施すので、画質の低下を防止するとともに処理の高速化を図ることができる。また、出力媒体の種類、大きさや画像データの主要被写体のサイズ、撮影シーンにより鮮鋭化処理におけるエッジ強調量が調整されるので、より主観的に好ましい画質を得ることができる。
【０４０１】
なお、本発明を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【０４０２】
【発明の効果】
以上述べたように、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ ＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理が加えられていない被写体に忠実な情報を記録した直接の生出力信号である複数のシーン参照生データ、該シーン参照生データシーンに撮像素子の光電変換機能の特性毎に補正パラメータを予め設定しておき、対象となる全ての撮像素子の生出力信号に対し補正処理を施したシーン参照画像データを入力情報とする画像形成方法において、ノイズが非常に少なく、鮮鋭性に優れる画質を、迅速に得られる画像形成方法、画像処理装置及び画像記録装置を得ることが出来た。
【図面の簡単な説明】
【図１】ハニカム状配置のＣＣＤの概念略図
【図２】ダイナミックレンジの概念図
【図３】観察距離と画像の長辺の長さとの相関を示すグラフである。
【図４】コントラスト比と主要被写体の視野角との相関を示すグラフである。
【図５】鮮鋭性強調度と主要被写体の視野角との相関を示すグラフである。
【図６】粒状抑制度と主要被写体の視野角との相関を示すグラフである。
【図７】彩度強調度と主要被写体の視野角との相関を示すグラフである。
【図８】中周波数成分のゲインと主要被写体の視野角との相関を示すグラフである。
【図９】高周波数成分のゲインと主要被写体の視野角との相関を示すグラフである。
【図１０】本発明に用いられるデジタル画像データのファイル構造を示す図である。
【図１１】本発明に用いられるデジタル画像データのファイル構造を示す図である。
【図１２】本発明に用いられるデジタル画像データのファイル構造を示す図である。
【図１３】本発明に用いられるデジタル画像データのファイル構造を示す図である。
【図１４】本発明に係る撮像装置２１の機能的構成を示すブロック図である。
【図１５】図１４の制御部１１の制御により実行される低感度シーン参照生データ及び高感度シーン参照生データ保存処理を示すフローチャートである。
【図１６】本発明の実施の形態１に係る画像処理装置１１７の機能的構成を示すブロック図である。
【図１７】図１６の画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ａを示すフロー図である。
【図１８】本発明に係る画像記録装置２０１の外観構成を示す斜視図である。
【図１９】本発明に係る画像記録装置２０１の内部構成を示すブロック図である。
【図２０】図１９の画像処理部２７０の機能的構成を示すブロック図である。
【図２１】図２０の画像記録装置２１０の各部が連携することにより実行される画像データ形成処理Ａを示すフロー図である。
【図２２】本発明の実施の形態２に係る画像処理装置１１７の機能的構成を示すブロック図である。
【図２３】図２２の画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ｂを示すフロー図である。
【図２４】図２０の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理Ｂを示すフロー図である。
【図２５】本発明の実施の形態３に係る撮像装置２１ｃの機能的構成を示すブロック図である。
【図２６】図２５の制御部１１の制御により実行されるシーン参照画像データ保存処理を示すフローチャートである。
【図２７】本発明の実施の形態３に係る画像処理装置１１７ｃの機能的構成を示すブロック図である。
【図２８】図２７の画像処理装置１１７ｃの各部が連携することにより実行される画像データ生成処理Ｃを示すフロー図である。
【図２９】本発明の実施の形態３に係る画像処理部２７０ｃの機能的構成を示すブロック図である。
【図３０】図２９の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理Ｃを示すフロー図である。
【図３１】本発明の実施の形態４に係る画像処理装置１１７の機能的構成を示すブロック図である。
【図３２】図３１の画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ｄを示すフロー図である。
【図３３】図２０の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理Ｄを示すフロー図である。
【図３４】本発明の実施の形態５に係る画像処理装置１１７の機能的構成を示すブロック図である。
【図３５】図３４の画像処理装置１１７の各部が連携することにより実行される画像データ生成処理Ｅを示すフロー図である。
【図３６】図２０の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理Ｅを示すフロー図である。
【符号の説明】
１ レンズ
２ 絞り
３ ＣＣＤ
３ａ 低感度撮像素子
３ｂ 高感度撮像素子
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ ヘッダ情報処理部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１２ 撮影情報データ処理部
１３ 合成補助データ処理部
１３ｃ 合成情報データ処理部
１４ 操作部
１５ 表示部
１６ ストロボ駆動回路
１７ ストロボ
１８ 焦点距離調整回路
１９ 自動焦点駆動回路
２０ モータ
２１ 撮像装置
２１ｃ 撮像装置
１０１ 入力部
１０２ ヘッダ情報解析部
１０３ａ 合成標準化処理部
１０３ｂ 処理条件テーブル
１０４ シーン参照画像データ処理部
１０５ 一時記憶メモリ
１０６ 撮影情報データ処理部
１０７ 鑑賞画像参照データ処理部
１０８ 一時記憶メモリ
１０９ 設定入力部
１１０ 記憶デバイス
１１１ 出力デバイス
１１２ 表示デバイス
１１３ 平滑化処理部
１１４ 鮮鋭化処理部
１１５ シーン参照画像データ生成部
１１６ 鑑賞画像参照データ生成部
１１７ 画像処理装置
１１７ｃ 画像処理装置
１１８ 制御部
１１９ 低感度シーン参照生データ・高感度シーン参照生データ生成部
２０１ 画像記録装置
２０２ 本体
２０３ マガジン装填部
２０４ 露光処理部
２０５ プリント作成部
２０６ トレー
２０７ 制御部
２０８ ＣＲＴ
２０９ フィルムスキャナ部
２１０ 反射原稿入力装置
２１１ 操作部
２１２ 情報入力手段
２１３ａ ＰＣカード
２１３ｂ ＦＤ
２１４ 画像読込部
２１４ａ ＰＣカード用アダプタ
２１４ｂ ＦＤ用アダプタ
２１５ 画像書込部
２１５ａ ＦＤ用アダプタ
２１５ｂ ＭＯ用アダプタ
２１５ｃ 光ディスク用アダプタ
２１６ａ ＦＤ
２１６ｂ ＭＯ
２１６ｃ 光ディスク
２３０ 画像転送手段
２３１ 画像搬送部
２４０ 通信手段（入力）
２４１ 通信手段（出力）
２５１ 外部プリンタ
２７０ 画像処理部
２７１ データ蓄積手段
２７２ テンプレート記憶手段
３０２ ヘッダ情報解析部
３０３ａ 合成標準化処理部
３０３ｂ 処理条件テーブル
３０３ｃ 合成情報データ処理部
３０４ シーン参照画像データ生成部
３０６ 撮影情報データ処理部
３０７ 鑑賞画像参照データ生成部
３１３ 平滑化処理部
３１４ 鮮鋭化処理部
７０１ 画像調整処理部
７０２ フィルムスキャンデータ処理部
７０３ 反射原稿スキャンデータ処理部
７０４ 画像データ書式解読処理部
７０５ テンプレート処理部
７０６ ＣＲＴ固有処理部
７０７ プリンタ固有処理部（１）
７０８ プリンタ固有処理部（２）
７０９ 画像データ書式作成処理部
ｄ１ 合成補助データ
ｄ１ｃ 合成情報データ
ｄ２ａ 低感度シーン参照生データ
ｄ２ｂ 高感度シーン参照生データ
ｄ３ 撮影情報データ
ｄ４ シーン参照画像データ
ｄ５ 鑑賞画像参照データ
ｄ６ 鮮鋭化鑑賞画像参照データ
ｄ７ 平滑化シーン参照画像データ
Ｄ１、Ｄ２、Ｄ３ サンプル識別情報
Ｎ ネガフィルム
Ｐ、Ｐ１、Ｐ２、Ｐ３ プリント
Ｑ アナログカメラ
Ｑ２ デジタルカメラ

Claims (39)

1. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、
   前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、
   前記シーン参照画像データ生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程において鮮鋭化処理を施すこと
   を特徴とする画像形成方法。
2. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、
   前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、
   前記シーン参照画像データ生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程において鑑賞画像参照データを生成した後、鮮鋭化処理を施すこと
   を特徴とする画像形成方法。
3. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置を用いて取得されたシーン参照画像データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、
   前記画像処理は前記シーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、
   前記鑑賞画像参照データ生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、次に鮮鋭化処理を施すこと
   を特徴とする画像形成方法。
4. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、
   前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、
   前記シーン参照画像データ生成過程で生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程で鮮鋭化処理を施すこと
   を特徴とする画像形成方法。
5. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像形成方法において、
   前記画像処理は前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成過程及び前記生成されたシーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成過程を含み、
   前記シーン参照画像データ生成過程で生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施し、前記鑑賞画像参照データ生成過程で生成された鑑賞画像参照データに対して鮮鋭化処理を施すこと
   を特徴とする画像形成方法。
6. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、
   前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
   前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
   前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を行う平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
   を特徴とする画像処理装置。
7. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、
   前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
   前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
   前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
   を特徴とする画像処理装置。
8. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置を用いて取得されたシーン参照画像データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、
   前記画像処理は前記シーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備え、
   前記鑑賞画像参照データ生成手段は、当該鑑賞画像参照データ生成手段における鑑賞画像参照データの生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段と、鮮鋭化処理を施す鮮鋭化処理手段とを有すること
   を特徴とする画像処理装置。
9. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、
   前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
   前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
   前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記平滑化処理されたシーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
   を特徴とする画像処理装置。
10. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施す画像処理装置において、
    前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
    前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
    前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
    を特徴とする画像処理装置。
11. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、
    前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
    前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
    前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を行う平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
    を特徴とする画像記録装置。
12. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、
    前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
    前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
    前記シーン参照画像データ生成手段は、前記高感度シーン参照生データ及び前記低感度シーン参照生データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
    を特徴とする画像記録装置。
13. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置を用いて取得されたシーン参照画像データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、
    前記画像処理は前記シーン参照画像データに基づいて鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備え、
    前記鑑賞画像参照データ生成手段は、当該鑑賞画像参照データ生成手段における鑑賞画像参照データの生成過程において前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段と、鮮鋭化処理を施す鮮鋭化処理手段とを有すること
    を特徴とする画像記録装置。
14. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、
    前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
    前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
    前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記平滑化処理されたシーン参照画像データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
    を特徴とする画像記録装置。
15. 感度の異なる少なくとも２種類の撮像素子を有する撮像装置から出力される高感度シーン参照生データ及び低感度シーン参照生データに対して、出力媒体上に最適鑑賞画像を形成するための画像処理を施して出力する画像記録装置において、
    前記高感度シーン参照生データ及び前記低感度シーン参照生データに基づいてシーン参照画像データを生成するシーン参照画像データ生成手段と、
    前記シーン参照画像データを最適化する画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、を備え、
    前記シーン参照画像データ生成手段は、前記生成されたシーン参照画像データに対して前記高感度シーン参照生データと前記低感度シーン参照生データとに夫々異なる条件で平滑化処理を施す平滑化処理手段を有し、前記鑑賞画像参照データ生成手段は、前記生成された鑑賞画像参照データに対して鮮鋭化処理を施す鮮鋭化処理手段を有すること
    を特徴とする画像記録装置。
16. 前記平滑化処理が、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタにより行われることを特徴とする請求項１〜５のいずれか一項に記載の画像形成方法。
17. 前記平滑化処理が、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタにより行われることを特徴とする請求項６〜１０のいずれか一項に記載の画像処理装置。
18. 前記平滑化処理が、画像データのノイズ特性に基づいて、マスクサイズ、マスク形状及び闘値を変更するフィルタにより行われることを特徴とする請求項１１〜１５のいずれか一項に記載の画像記録装置。
19. 前記鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整されることを特徴とする請求項１〜５又は１６のいずれか一項に記載の画像形成方法。
20. 前記鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整されることを特徴とする請求項６〜１０又は１７のいずれか一項に記載の画像処理装置。
21. 前記鮮鋭化処理の適用量が、前記出力媒体の種類に応じて調整されることを特徴とする請求項１１〜１５又は１８のいずれか一項に記載の画像記録装置。
22. 前記鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整されることを特徴とする請求項１〜５、１６又は１９のいずれか一項に記載の画像形成方法。
23. 前記鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整されることを特徴とする請求項６〜１０、１７又は２０のいずれか一項に記載の画像処理装置。
24. 前記鮮鋭化処理の適用量が、前記出力媒体のサイズに応じて調整されることを特徴とする請求項１１〜１５、１８又は２１のいずれか一項に記載の画像記録装置。
25. 前記鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整されることを特徴とする請求項１〜５、１６、１９又は２２のいずれか一項に記載の画像形成方法。
26. 前記鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整されることを特徴とする請求項６〜１０、１７、２０又は２３のいずれか一項に記載の画像処理装置。
27. 前記鮮鋭化処理の適用量が、主要被写体のサイズに応じて調整されることを特徴とする請求項１１〜１５、１８、２１又は２４のいずれか一項に記載の画像記録装置。
28. 前記鮮鋭化処理の適用量が、撮影シーンに応じて調整されることを特徴とする請求項１〜５、１６、１９、２２又は２５のいずれか一項に記載の画像形成方法。
29. 前記鮮鋭化処理の適用量が、撮影シーンに応じて調整されることを特徴とする請求項６〜１０、１７、２０、２３又は２６のいずれか一項に記載の画像処理装置。
30. 前記鮮鋭化処理の適用量が、撮影シーンに応じて調整されることを特徴とする請求項１１〜１５、１８、２１、２４又は２７のいずれか一項に記載の画像記録装置。
31. 前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴とする請求項１〜５、１６、１９、２２、２５又は２８のいずれか一項に記載の画像形成方法。
32. 前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴とする請求項６〜１０、１７、２０、２３、２６又は２９のいずれか一項に記載の画像処理装置。
33. 前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴とする請求項１１〜１５、１８、２１、２４、２７又は３０のいずれか一項に記載の画像記録装置。
34. 前記撮像装置の低感度撮像素子と高感度撮像素子とが、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴とする請求項１〜５、１６、１９、２２、２５、２８又は３１のいずれか一項に記載の画像形成方法。
35. 前記撮像装置の低感度撮像素子と高感度撮像素子とが、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴とする請求項６〜１０、１７、２０、２３、２６、２９又は３２のいずれか一項に記載の画像記録装置。
36. 前記撮像装置の低感度撮像素子と高感度撮像素子とが、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に受光素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴とする請求項１１〜１５、１８、２１、２４、２７、３０又は３３のいずれか一項に記載の画像記録装置。
37. 前記平滑化処理の平滑化強度が、前記高感度シーン参照生データより前記低感度シーン参照生データの方が強い処理が行われることを特徴とする請求項１〜５、１６、１９、２２、２５、２８、３１又は３４のいずれか一項に記載の画像形成方法。
38. 前記平滑化処理の平滑化強度が、前記高感度シーン参照生データより前記低感度シーン参照生データの方が強い処理が行われることを特徴とする請求項６〜１０、１７、２０、２３、２６、２９、３２又は３５のいずれか一項に記載の画像処理装置。
39. 前記平滑化処理の平滑化強度が、前記高感度シーン参照生データより前記低感度シーン参照生データの方が強い処理が行われることを特徴とする請求項１１〜１５、１８、２１、２４、２７、３０、３３又は３６のいずれか一項に記載の画像記録装置。

Images