JP2004328532A - 撮像装置、画像処理装置及び画像記録装置 - Google Patents
撮像装置、画像処理装置及び画像記録装置 Download PDFInfo
- Publication number
- JP2004328532A JP2004328532A JP2003122663A JP2003122663A JP2004328532A JP 2004328532 A JP2004328532 A JP 2004328532A JP 2003122663 A JP2003122663 A JP 2003122663A JP 2003122663 A JP2003122663 A JP 2003122663A JP 2004328532 A JP2004328532 A JP 2004328532A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- scene
- scene reference
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
【課題】情報損失のない広いダイナミックレンジの撮像画像情報を汎用的な方法で記録すること、ならびにディスプレイモニタへの撮影画像の迅速な表示が出来る撮像装置と、撮像装置により記録された広ダイナミックレンジの撮像画像情報を、容易に編集・加工することが出来る画像処理装置、及び画像記録装置を提供する。
【解決手段】本発明に係る撮像装置２１によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データからシーン参照画像データの生成を経て鑑賞画像参照データを生成し、シーン参照画像データと鑑賞画像参照データとの差分データ及びシーン参照画像データをシーン参照生データに分離するための合成情報データを添付してメディアに記録する。画像処理装置、画像記録装置は、撮像装置２１から出力されるデータを用いて出力先に応じて最適化処理を施した鑑賞画像参照データを生成する。
【選択図】 図１
【解決手段】本発明に係る撮像装置２１によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データからシーン参照画像データの生成を経て鑑賞画像参照データを生成し、シーン参照画像データと鑑賞画像参照データとの差分データ及びシーン参照画像データをシーン参照生データに分離するための合成情報データを添付してメディアに記録する。画像処理装置、画像記録装置は、撮像装置２１から出力されるデータを用いて出力先に応じて最適化処理を施した鑑賞画像参照データを生成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像により広ダイナミックレンジ画像データを記録する撮像装置、斯かる撮像装置により得られた広ダイナミックレンジ画像データに対し、出力媒体上での鑑賞画像形成用に最適化処理を施す画像処理装置及び画像記録装置に関する。
【０００２】
【従来の技術】
今日、撮像装置で撮影されたデジタル画像データは、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされたりするなど、その表示・プリント方法は多種多様化してきている。
【０００３】
また、デジタル画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【０００４】
こうした多様な表示・プリント方法に対応して、撮像装置で撮影されたデジタル画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ（Ｒｅｄ， Ｇｒｅｅｎ， Ｂｌｕｅ）信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くのデジタル画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ ＲＧＢ Ｃｏｌｏｕｒ Ｓｐａｃｅ−ｓＲＧＢ」ＩＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は、標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【０００５】
一般的に、デジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせて感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単にＣＣＤと称する）を備えている。デジタルカメラにより出力されるデジタル画像データは、このＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【０００６】
撮像素子の光電変換機能の補正としては、例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等がある。また、規格化された所定形式のデータフォーマットとしては、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ Ｔｉｆｆ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、ＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【０００７】
Ｅｘｉｆファイルは、ｓＲＧＢに準拠したものであり、撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【０００８】
例えば、どのようなデジタルカメラであっても、Ｅｘｉｆ形式のように、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」とも称す）で表示する事を示すタグ情報や、画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報をデジタル画像データのファイルヘッダにメタデータとして書き込む機能及びそのようなデータフォーマット形式を採用してさえいれば、デジタル画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）によりタグ情報を解析して、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処理を施したりすることが出来る。そのため、異なるディスプレイ間の装置特性の差異を低減したり、デジタルカメラで撮影されたデジタル画像データをディスプレイモニタ上で好適な状態で鑑賞したりすることが可能になっている。
【０００９】
また、デジタル画像データのファイルヘッダに書き込まれる付加情報としては、上述した機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報などを示すタグ（コード）が用いられている。画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１０】
ところで、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像は、用いられている蛍光体又は色材の構成によって色再現域が異なる。例えば、ｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタの色再現領域は明るい緑や青の領域が広く銀塩写真プリント・インクジェットプリンタ・印刷等のハードコピーでは再現できない領域があり、逆に印刷・インクジェットのシアン領域や銀塩写真の黄色領域にはｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタでは再現できない領域が存在する（例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４４頁参照）。一方、撮影対象となる被写体シーンの中には、これらのいずれの色再現領域でも再現できない領域色を呈しているものが存在する可能性がある。
【００１１】
このように、特定デバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）には記録可能な色域に制限があるため、撮像装置が取得した情報を記録する際には、記録可能な色域に圧縮してマッピングする調整が必要になる。マッピングの方法としては、記録可能な色域の外にある色度点を最寄の色域境界上へマッピングしてしまうクリッピングが最も簡単であるが、これでは色域外のグラデーションが潰れてしまい、鑑賞時に違和感を覚える画像になってしまう。このため現在では、適当な閾値以上にクロマが高い領域の色度点をクロマの大きさに従って滑らかに圧縮する非線形圧縮が一般に採用されている。この結果、記録可能な色域内部の色度点においてもクロマが圧縮されて記録される事になる。（色域のマッピング方法についての詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４７頁に記載されている。）
【００１２】
また、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像、またこれらのデバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）は、記録・再現可能な輝度域が約１００：１オーダーに限定されている。これに対して撮影対象となる被写体シーンは輝度域が広く、屋外では数千：１のオーダーに至ることもしばしば発生する（例えば東京大学出版会「新編色彩科学ハンドブック第２版」日本色彩学会編９２６頁参照）。従って、撮像装置が取得した情報を記録する際には輝度についても同様に圧縮が必要になる。この圧縮処理は撮影シーンのダイナミックレンジや、撮影シーン内における主要被写体の輝度レンジに応じて、１画像毎に適切な条件を設定する必要がある。
【００１３】
ところが、上記のような色域・輝度域の圧縮操作をおこなった場合、離散的数値で記録されるデジタル画像の原理に起因して、圧縮前のグラデーション情報やクリッピング前の情報はその時点で失われてしまい、再び元の状態に戻すことができない。この事が高画質デジタル画像データの汎用性において大きな制約になる。
【００１４】
例えば、ｓＲＧＢの標準色空間において記録された画像をプリントデバイスによりプリントする場合は、ｓＲＧＢの標準色空間とプリントデバイスの色再現域の相違に基づいて再度マッピングが必要になる。しかし、ｓＲＧＢの標準色空間において記録された画像は、記録時に一旦圧縮された領域のグラデーション情報が失われているので、撮像装置が取得した情報を直接プリントデバイスの色再現域にマッピングする場合に比べてグラデーションの滑らかさが悪化する。また記録時の階調圧縮条件が不適切で、絵が白っぽい・顔が暗い・シャドーの潰れやハイライト領域の白飛びが目立つという問題があった場合、階調設定を変更して画像を改善しようとしても、圧縮前のグラデーション情報や潰れ・白飛び部分の情報は既に失われているために、撮像装置が取得した情報から新たに画像を作り直す場合と比べて、著しく不十分な改善しか行うことができない。
【００１５】
このような問題を解決するものとして、画像編集の過程をバックアップとして保存し、必要に応じて編集前の状態に戻す技術は古くから知られている。例えば、特許文献１には、デジタル画像データに対し、画像処理により局所的な変更を施した場合、画像処理前後のデジタル画像データとの差分画像データをバックアップデータとして保存するバックアップ装置が記載されている。また、特許文献２には、画像処理前後のデジタル画像データの差分画像データを取り保存しておくことにより、編集前のデジタル画像データを復元可能にする方法が記載されている。しかしながら、こうした技術は情報損失防止の観点では有効であるが、メディアに記録すべきデータ量の増大を伴い、その結果カメラの撮影可能枚数が減少する。
【００１６】
以上に述べてきた問題は、撮像装置が取得した広い色域・輝度域の情報を、鑑賞画像を想定して最適化した状態の鑑賞画像参照データに圧縮して記録する事に起因する。これに対して、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データとして記録すれば不用意な情報の損失を防止する事ができる。このようなシーン参照画像データを記録するのに適した標準色空間としては例えば「ｓｃＲＧＢ」（ｒｅｌａｔｉｖｅ ｓｃｅｎｅ ＲＧＢ ｃｏｌｏｒ ｓｐａｃｅ）、「ＲＩＭＭ ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）や「ＥＲＩＭＭ ＲＧＢ」（Ｅｘｔｅｎｄｅｄ Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）が提案されている（Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ４５巻 ４１８〜４２６頁（２００１年）参照）。
【００１７】
しかし、このような標準色空間で表現されたデータは、直接ディスプレイモニタで表示して鑑賞するには適さない。一般的に、デジタルカメラにはユーザが撮影前に画角を確認したり撮影後に撮影内容を確認したりするために、ディスプレイモニタが組み込まれているか接続されている。撮影されたデジタル画像データがｓＲＧＢのような鑑賞画像参照データとして記録されている場合は、そのデータを変換せずに直接ディスプレイモニタに表示できる利点があったが、撮影されたデジタル画像データがシーン参照画像データとして記録されている場合には、そのデータを表示する為に鑑賞画像参照データとして再変換する処理が必須になる。
【００１８】
一方、特許文献３には、表示手段に表示した画像信号形態で記録するモードと、撮像した画像信号形態で記録するモードを有する事を特徴とする画像処理装置が開示されている。後者の画像信号形態は一般にＲＡＷデータと呼ばれ、このようなデジタル画像データは、専用のアプリケーションソフト（「現像ソフト」と称される）を用いて、前記Ｅｘｉｆファイルなどの表示・印刷用の鑑賞画像参照データに変換する（「電子現像」、又は単に「現像」と称される）ことができる。ＲＡＷデータは撮影時の全情報を保存している為、鑑賞画像参照データの作り直しが可能であり、ＣＭＹＫ等の他の表色系ファイルを直接作れば、ディスプレイモニタ（ｓＲＧＢ）との色域の相違に起因して不用意に色が変更される事もない。しかしながらＲＡＷデータは撮影機種固有の分光感度特性に基づいた色空間と、撮影機種固有のファイルフォーマットに基づいて記録されているため、撮影機種固有の専用現像ソフトを用いなければ表示・印刷に適した画像を得ることができない。
【００１９】
ここまで一般的なデジタルカメラについて述べてきたが、撮像装置自体がさらに従来のものに比べ、広い色域・輝度域情報を得られるよう改良されることが望ましいことは言うまでもない。固体撮像素子は、入射強度に対するダイナミックレンジが狭いため、特許文献４には、低感度撮像素子部と高感度撮像素子部を備え、それぞれの出力をレベル変換した値を基準電圧と比較していずれかのレベル値の出力を瞬時に切り換えることにより、入射光強度を光電変換して得られる信号のダイナミックレンジを拡大する方法が記載されている。
【００２０】
また、特許文献５には、撮像素子の第１の受光素子（高感度撮像素子）と第２の受光素子（低感度撮像素子）とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向および／または列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置し、第１の受光素子の信号飽和レベルを調整して、第２の信号と合成する方法が記載されている。
【００２１】
特許文献６には、撮像素子が高感度映像信号と低感度映像信号とを生成し、高感度映像信号を高量子化分解能、低感度映像信号を低量子化分解能で量子化後、高量子化データが飽和している場合は感度比で合算し、それ以外は高量子化データを選択することにより広ダイナミックレンジ画像を形成する方法が記載されている。
【００２２】
他にも特許文献７に記載の、露光域によって低感度撮像素子と、高感度撮像素子の出力値を選択する方法や、特許文献８に記載の、低感度撮像素子と、高感度撮像素子でモアレのない出力値を選択する方法などが記載されている。
【００２３】
【特許文献１】
特開平７−５７０７４号公報
【特許文献２】
特開２００１−９４７７８号公報
【特許文献３】
特開平１１−２６１９３３号公報
【特許文献４】
特公平８−３４５５８号公報
【特許文献５】
特開２０００−１２５２０９号公報
【特許文献６】
特開２００１−８１０４号公報
【特許文献７】
特開２００３−１８４４５号公報
【特許文献８】
特開２００３−１８４７９号公報
【００２４】
【発明が解決しようとする課題】
このような特性の異なる撮像素子を高集積化した撮像部を有するデジタルカメラにおいて、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データ（例えば「ｓｃＲＧＢ」、「ＲＩＭＭ ＲＧＢ」、「ＥＲＩＭＭ ＲＧＢ」等）として記録すれば情報の損失を防止することができる。しかしながら前述のカメラのディスプレイモニタで表示して鑑賞することが出来ない問題や、ＲＡＷデータと同様に、撮影機種固有の特性による画質のばらつき、あるいは表示・印刷用途に画質を最適化することが難しいといった問題がある。
【００２５】
本発明の課題は、情報損失のない広いダイナミックレンジの撮像画像情報を汎用的な方法で記録すること、ならびにディスプレイモニタへの撮影画像の迅速な表示が出来る撮像装置と、撮像装置により記録された広ダイナミックレンジの撮像画像情報を、容易に編集・加工することが出来る画像処理装置、及び画像記録装置を提供することである。
【００２６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成された少なくとも２つのシーン参照生データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成する合成情報データ生成手段と、
前記生成されたシーン参照画像データに対して、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記生成されたシーン参照画像データと前記生成された鑑賞画像参照データとの差分データを生成する差分データ生成手段と、
前記鑑賞画像参照データに前記差分データと前記合成情報データとを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００２７】
請求項１に記載の発明の撮像装置によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データを生成し、生成された少なくとも２つのシーン参照生データから合成標準化されたシーン参照画像データを生成するとともに、生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成し、生成されたシーン参照画像データに対して、カメラモニタ等の出力媒体上での鑑賞画像形成のために最適化する画像処理を施して鑑賞画像参照データを生成し、生成されたシーン参照画像データと生成された鑑賞画像参照データとの差分データを生成し、鑑賞画像参照データに差分データと合成情報データとを添付してメディアに記録する。
【００２８】
従って、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経てカメラモニタ等の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、撮影された画像の迅速な表示が可能となる。更に、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。
【００２９】
ここで、本願明細書の記載において「生成」とは、本発明に係る撮像装置、画像処理装置、及び画像記録装置内において作用するプログラム、及び処理回路が、画像信号やデータを新たに作り出すことである。なお「作成」を同義語として用いることもある。
【００３０】
また、「撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、所謂デジタルカメラやスキャナがこれに含まれる。前記撮像素子の一例としては、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ型撮像素子が挙げられるが、本発明では感度の異なる少なくとも２種類の撮像素子を組み合わせて用いることが特徴である。このような感度の異なる撮像素子を組み合わせた例として、特開２０００−１２５２０９には、低感度撮像素子と、高感度撮像素子とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向および／または列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置する固体差撮像素子が記載されている。本発明の撮像素子は、図２に示すように、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。これらの撮像素子の出力電流はＡ／Ｄ変換器によりデジタル化される。この段階での各色チャンネルの内容は、撮像素子固有の分光感度に基づいた信号強度となっている。
【００３１】
また、「シーン参照生データ」とは、被写体に忠実な情報を記録した撮像装置直接の生出力信号であり、Ａ／Ｄ変換器によりデジタル化されたデータそのものや、該データに固定パターンノイズ・暗電流ノイズ等のノイズ補正を行ったデータを意味し、前述したＲＡＷデータが含まれる。このシーン参照生データは、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ｓＲＧＢ等の標準化された色空間にマッピングする処理を省略したことを特徴とする。シーン参照生データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照生データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３２】
本発明の撮像装置における第１の特徴は、感度の異なる撮像素子の種類毎に前述した「シーン参照生データ」が生成されることにより、広ダイナミックレンジ画像を取得出来ることである。
【００３３】
ここで、「感度」とは、被写体の明るさ（輝度）に対する応答特性を表す指標であり、より高感度な撮像素子程、より暗い被写体に対して応答することが出来ることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光の完全に遮断された状態でも微弱なノイズ信号（暗電流ノイズ、或いはホワイトノイズと称される）を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。前記撮像素子が光の遮断された状態に発するノイズ信号の強度は、受光面積に反比例する特性を有する。従って、低感度と高感度の２種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、或いは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性（色弁別能）を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【００３４】
「ダイナミックレンジ」とは、被写体の明るさ（輝度）の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子程、より暗い被写体からより明るい被写体に対して応答することが出来ることを意味する。一般に撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることが出来ない。また高感度な撮像素子程、より暗い被写体に対して応答することが出来るが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和し易い。一方低感度な撮像素子は、より明るい被写体に対しても信号が飽和し難く応答することが出来るが、より暗い被写体に対して感度が不足する。従って、少なくとも低感度と高感度の２種類の撮像素子で構成し、よりダイナミックレンジを拡大する為には、夫々のダイナミックレンジの重なりを常に最小にすることが望ましい。
【００３５】
本発明において、撮像素子の感度毎に生成されるシーン参照生データの量子化分解能（以下、単に「階調数」と称する。）は、同一であっても良いが、高感度の撮像素子は低感度の撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答特性は、図３に示すように、直線的であることが望ましいが、感度の大きさ毎に異なっていても良い。さらに低感度の撮像素子は、感色性（色弁別能）の異なる少なくとも３種類で構成されることが望ましい。
【００３６】
また、本願明細書の記載において、「合成標準化されたシーン参照画像データ」とは、撮像素子の感度毎に生成された複数のシーン参照生データに、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理を施し、主要被写体の明るさ（輝度）、ダイナミックレンジ等に基づき、単一の画像データとして保有し得る情報容量の範囲内に最適化する合成処理を施して得られた画像データであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｖｅｒｓｉｏｎ ｆｕｎｃｔｉｏｎ， 例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。この処理の結果、複数の「シーン参照生データ」が分割して保有する情報量を保持しつつも、異なる「撮像装置」間での信号値の差異が補正された単一の「合成標準化されたシーン参照画像データ」が得られる。
【００３７】
合成標準化されたシーン参照画像データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、後述する鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３８】
本発明では、シーン参照生データに対し「撮像素子特性補正処理」を施すようにしてもよい。
本願明細書の記載において、「撮像素子特性補正処理」とは、撮像素子特性に依存したシーン参照生データを用いて「合成標準化されたシーン参照画像データ」に変換する為に必要な前処理を意味する。この前処理の内容は、少なくとも撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。たとえば、撮像素子特性に依存したシーン参照生データが、カラーフィルタ配列に基づく補間処理を行っていない場合には、該処理の実施が加えて必要になる。（カラーフィルタ配列に基づく補間処理の詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編５１頁に記載されている。）上記以外にも、階調変換処理、平滑化処理、鮮鋭化処理、或いはノイズ除去やモアレ除去等の周波数処理演算等、あらゆる処理を適用することが出来る。
【００３９】
また、「出力媒体」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙である。
【００４０】
「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスに用いたり、出力デバイスが、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いたりするデジタル画像データを意味する。ＣＲＴ、液晶、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう「最適化処理」が施されている。例えば、カメラモニタの表示に最適化された鑑賞画像参照データの色空間は、ｓＲＧＢであることが望ましい。
【００４１】
「最適化処理」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得る為の処理であり、例えばｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合、ｓＲＧＢ規格の色域内で最適な色再現が得られるように処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が行われることは言うまでもない。
【００４２】
「メディア」とは、撮像装置の出力する「鑑賞画像参照データ」、「差分データ」等の保存に用いる記憶媒体であって、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピーディスク、磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど何れであっても良い。また、記憶媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で接続された書き込みユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置されたユニットなどの何れの態様であっても良い。さらに、撮像装置と記憶媒体への書き込みユニットが接続状態にあるとき、画像処理装置や画像記録装置が、撮像装置から直接、「合成補助データ」及び「必要なデータ」を読み出すことの出来る機能を併せ持つ態様であっても良い。「メデイアに記録する」時のファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧ、Ｅｘｉｆなどの規格化された汎用のファイル形式で記録されるのが好ましい。
【００４３】
請求項２に記載の発明の画像処理装置は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
を備えたことを特徴としている。
【００４４】
請求項２に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに最適化処理を施すことにより、新たに鑑賞画像参照データを生成する。従って、請求項１に記載の撮像装置の出力する広ダイナミックレンジの画像データを、容易に編集、加工することができ、家庭や職場環境でのプリント出力用途に利用することが可能となる。
【００４５】
ここで、請求項２に記載の「入力する」とは、撮像装置の出力する「鑑賞画像参照データ」、「差分データ」、「合成情報データ」を、これらが保存された「メディア」を介して、撮像装置から本発明の画像処理装置に伝達することを意味する。
【００４６】
撮像装置と上述した記憶媒体への書き込みユニットが接続状態にあり、本発明の画像処理装置が、撮像装置から直接、「鑑賞画像参照データ」、「差分データ」及び「合成情報データ」を読み出せる機能を併せ持つ態様であるとき、本発明に係る画像処理装置は撮像装置との接続手段を有し、この接続手段が、本発明の入力手段に相当する。また、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、可搬式の「メディア」を用いた場合には、本発明の画像処理装置は対応する読み取り手段を有し、この読み取り手段が、本発明の入力手段に相当する。さらに、書き込みユニットが通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置された態様であるとき、本発明の画像処理装置は、通信やインターネットに接続する通信手段を有し、この通信手段が、本発明の入力手段に相当する。
【００４７】
請求項３に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成された少なくとも２つのシーン参照生データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成する合成情報データ生成手段と、
前記生成されたシーン参照画像データに対して、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記シーン参照画像データと前記鑑賞画像参照データとの差分データを生成する差分データ生成手段と、
前記鑑賞画像参照データに前記差分データと、前記合成情報データ、ならびに撮影条件に関する撮影情報データとを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００４８】
請求項３に記載の発明の撮像装置によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データを生成し、生成された少なくとも２つのシーン参照生データから合成標準化されたシーン参照画像データを生成するとともに、生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成し、生成されたシーン参照画像データに対して、カメラモニタ等の出力媒体上での鑑賞画像形成のために最適化する画像処理を施して鑑賞画像参照データを生成し、生成されたシーン参照画像データと生成された鑑賞画像参照データとの差分データを生成し、鑑賞画像参照データに差分データ、合成情報データ及び撮影条件に関する撮影情報データを添付してメディアに記録する。
【００４９】
従って、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経てカメラモニタ等の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、撮影された画像の迅速な表示が可能となる。また、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。更に、撮影情報データを出力するようにしたことで、外部の装置において、鑑賞画像参照データから再度画像を作成する場合に、撮影状況に応じた鑑賞画像参照データの生成が可能となる。
【００５０】
本願明細書の記載における「撮影情報データ」とは、撮影時の撮影条件設定の記録であり、Ｅｘｉｆファイルのヘッダ部に書き込まれるタグ情報と同じものを含んでも良い。具体的には露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）などである。
【００５１】
前記「撮影情報データ」は、撮像装置の露出設定や焦点機能の自動化の為に、カメラに備えられたセンサーの撮影時に得た値、前記センサーの値から加工されたデータ、或いは前記センサーの値に基づいて設定されたカメラの撮影条件に分類されるが、これ以外にも撮像装置に備えられた、撮影モードダイヤル（例えばポートレート、スポーツ、マクロ撮影モード等）や、ストロボ強制発光の設定スイッチ等を撮影者がマニュアルで設定した情報も含まれる。
【００５２】
なお、「撮影情報データ」は独立してメディアに保存する態様とっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。前記「撮影情報データ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「撮影情報データ」、「シーン参照生データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００５３】
請求項４に記載の発明の画像処理装置は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データと、撮影条件に関する撮影情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、前記撮影情報データを用いて出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
を備えたことを特徴としている。
【００５４】
請求項４に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに、入力された撮影情報データを用いて最適化処理を施すことにより、新たに鑑賞画像参照データを生成する。従って、請求項３に記載の撮像装置の出力する広ダイナミックレンジ画像データを、容易に編集、加工することができ、家庭や職場環境でのプリント出力用途に利用することが可能となる。
【００５５】
「撮影情報データ」を用いた鑑賞画像参照データの最適化の例を下記に示す。
撮影情報データ中の「被写体構成」情報により、例えば部分的に彩度強調処理を施したり、ダイナミックレンジの広いシーンでは、覆い焼き処理を施したりすることが可能となる。「撮影シーンタイプ」情報により、例えば夜景撮影では、ホワイトバランス調整の度合いを緩め、カラーバランスを特別に調整することが可能となる。「ストロボ光源の反射光の量」情報により、撮影者と被写体との距離が推定され、例えば肌の白飛びを抑制する画像処理の条件設定に反映させることが出来る。「被写体の種類」情報により、例えば人物撮影では、シャープネスの度合いを緩め、平滑化処理を強めることにより、肌のしわを目立たないようにすることが出来る。
【００５６】
また、上述した「被写体構成」、「撮影シーンタイプ」、「ストロボ光源の反射光の量」、「被写体の種類」情報を補う目的で、「露出時間」、「シャッタースピード」、「絞り値（Ｆナンバー）」、「ＩＳＯ感度」、「輝度値」、「被写体距離範囲」、「光源」、「ストロボ発光の有無」、「被写体領域」、「ホワイトバランス」、「ズーム倍率」等の情報を、補助的に用いることが出来る。さらに、「ＩＳＯ感度」情報からノイズ抑制処理の適用量を調整したり、「光源」情報をホワイトバランスの再調整に用いたりすることが出来る。
【００５７】
請求項５に記載の画像記録装置は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記新たに生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００５８】
請求項５に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに最適化処理を施すことにより、新たに鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、請求項１に記載の撮像装置によって出力される広ダイナミックレンジ画像データを容易に編集、加工することができ、撮像により得られた画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【００５９】
請求項６に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データと、撮影条件に関する撮影情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、前記撮影情報データを用いて出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記新たに生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００６０】
請求項６に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに、入力された撮影情報データを用いて最適化処理を施すことにより、新たに鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、請求項３に記載の撮像装置によって出力される広ダイナミックレンジ画像データを容易に編集、加工することができ、撮像により得られた画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【００６１】
ここで、本発明の画像記録装置は、本発明の撮像装置により取得されるデジタル画像データに対し、本発明の画像処理を施す機構以外にも、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等、アナログカメラにより記録された写真感光材料の駒画像情報を入力するフィルムスキャナ、銀塩印画紙であるカラーペーパー上に再現された画像情報を入力するフラットベッドスキャナを備えていても良い。また本発明の撮像装置以外のデジタルカメラにより取得され、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、フロッピーディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「メディア」に保存されたデジタル画像データを読み取る手段、或いはネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙など、公知のあらゆる「出力媒体」に鑑賞画像を形成する処理手段とを備えていても良い。
【００６２】
請求項７に記載の発明は、請求項１又は３に記載の発明において、
前記撮像装置は、高感度撮像素子と低感度撮像素子の２種類の撮像素子を備え、
前記シーン参照生データ生成手段は、撮像により前記高感度撮像素子から高感度シーン参照生データを、前記低感度撮像素子から低感度シーン参照生データを生成することを特徴としている。
【００６３】
請求項８に記載の発明は、請求項７に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００６４】
請求項９に記載の発明は、請求項７又は８に記載の発明において、
前記低感度撮像素子と前記高感度撮像素子とが、その幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴としている。
【００６５】
請求項７〜９に記載の発明によれば、撮像により、広いダイナミックレンジの画像データを得ることができる。
【００６６】
請求項１０に記載の発明は、請求項１、３、７、８、９の何れか一項に記載の発明において、
前記シーン参照画像データ生成手段は、前記撮像素子の種類毎に生成されたシーン参照生データのうち少なくとも２つのシーン参照生データに撮像素子特性補正処理を施して合成することにより、合成標準化されたシーン参照画像データを生成し、
前記シーン参照画像データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴している。
【００６７】
請求項１０に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザ自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００６８】
請求項１１に記載の発明は、請求項２又は４に記載の発明において、
前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴としている。
【００６９】
請求項１２に記載の発明は、請求項１１に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００７０】
請求項１１、１２に記載の発明によれば、撮像により得られた広いダイナミックレンジの画像データを利用することができる。
【００７１】
請求項１３に記載の発明は、請求項２、４、１１、１２の何れか一項に記載の発明において、
前記鑑賞画像参照データ生成手段は、前記生成されたシーン参照生データに撮像素子特性補正処理を施して合成し、さらに出力媒体上での鑑賞画像の形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成し、
前記鑑賞画像参照データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００７２】
請求項１３に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザ自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００７３】
請求項１４に記載の発明は、請求項５又は６の何れか一項に記載の発明において、
前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴としている。
【００７４】
請求項１５に記載の発明は、請求項１４に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００７５】
請求項１４、１５に記載の発明によれば、撮像装置から得られた広いダイナミックレンジの画像データを利用することができる。
【００７６】
請求項１６に記載の発明は、請求項５、６、１４、１５の何れか一項に記載の発明において、
前記鑑賞画像参照データ生成手段は、前記生成されたシーン参照生データに撮像素子特性補正処理を施して合成し、さらに出力媒体上での鑑賞画像の形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成し、
前記鑑賞画像参照データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００７７】
請求項１６に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザ自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００７８】
請求項１７に記載の発明は、請求項１、３、７〜１０の何れか一項に記載の発明において、
前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴としている。
【００７９】
請求項１８に記載の発明は、請求項２、４、１１〜１３の何れか一項に記載の発明において、
前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴としている。
【００８０】
請求項１９に記載の発明は、請求項５、６、１４〜１６の何れか一項に記載の発明において、
前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴としている。
【００８１】
請求項１７〜１９に記載の発明によれば、シーン参照画像データ、鑑賞画像参照データは標準的な色空間であるので、汎用的に利用することができる。
【００８２】
【発明の実施の形態】
以下、本発明に係る撮像装置の好ましい実施形態ついて、図面に基づいて説明する。
＜撮像装置２１の構成＞
まず、構成を説明する。
【００８３】
図１は、本発明に係る撮像装置２１の機能的構成を示すブロック図である。図１に示すように、撮像装置２１は、レンズ１、絞り２、低感度撮像素子ＳＬ及び高感度撮像素子ＳＨを有するＣＣＤ（固体撮像素子）３、アナログ処理回路４、Ａ／Ｄ変換器５、一時記憶メモリ６、画像処理部７、ヘッダ情報処理部８、記憶デバイス９、ＣＣＤ駆動回路１０、制御部１１、合成情報データ処理部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成されている。
【００８４】
撮像装置２１の光学系は、レンズ１、絞り２、ＣＣＤ３を備えて構成されている。
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。
ＣＣＤ３は、低感度撮像素子ＳＬ、高感度撮像素子ＳＨの感度の異なる２種類の撮像素子を有して構成されている。ＣＣＤ３は、レンズ１により受光面上に結像された被写体情報を、ＣＣＤ３内の各センサの光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号をそれぞれアナログ処理回路４へ順次出力する。
【００８５】
ここで、図２に、ＣＣＤ３における低感度撮像素子ＳＬと高感度撮像素子ＳＨの配置例を示す。図２に示すように、低感度撮像素子ＳＬと高感度撮像素子ＳＨは、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの半分、即ち１／２ピッチずらしてハニカム状に配置されている。高感度撮像素子ＳＨは、低感度撮像素子ＳＬに比べ受光面積が大きい。高感度撮像素子ＳＨは、感色性（色弁別能）を有さず、被写体の輝度のみに応答するモノクロ素子により構成され、低感度撮像素子ＳＬは、Ｂ、Ｇ、Ｒのそれぞれの感色性（色弁別能）を有するカラー素子により構成されている。
【００８６】
図３に、低感度撮像素子ＳＬにおける被写体輝度と信号電荷量の関係ＤＬ及び高感度撮像素子ＳＨにおける被写体輝度と信号電荷量の関係ＤＨを示す。図３に示すように、一般的に、高感度撮像素子ＳＨほど、より暗い（輝度の低い）被写体に対して応答することができるが、より明るい（輝度の高い）被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度撮像素子ＳＬは、より明るい被写体に対しても信号が飽和し難く応答することができるが、より暗い被写体に対して感度が不足するとともに、ノイズの影響を受けやすい。そのため、ＣＣＤ３は、低感度撮像素子ＳＬと高感度撮像素子ＳＨの２種類の撮像素子で構成し、ノイズの影響が少なく、ダイナミックレンジの広い画像を取得できるようになっている。よりダイナミックレンジを拡大するには、それぞれのダイナミックレンジの重なりを常に最小にすることが望ましい。
【００８７】
アナログ処理回路４は、ＣＣＤ３から入力された低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号に対して、それぞれＲ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。
【００８８】
Ａ／Ｄ変換器５は、アナログ処理回路４から入力された低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号をそれぞれデジタル画像データに変換し、低感度シーン参照生データ、高感度シーン参照生データとして出力する。
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器５から出力された低感度シーン参照生データ、高感度シーン参照生データをそれぞれ一時的に格納する。
【００８９】
画像処理部７は、シーン参照画像データ生成手段として、低感度シーン参照生データ、高感度シーン参照生データにそれぞれ撮像素子特性補正処理を施して合成し、合成標準化されたシーン参照画像データを生成する。撮像素子特性補正処理には、少なくとも低感度シーン参照生データ及び高感度シーン参照生データを生成した撮像素子の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。その他、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去及びモアレ除去等の周波数処理演算等を施す。
【００９０】
低感度シーン参照生データ、高感度シーン参照生データの合成方法としては、同じ位置の画素毎に、低感度シーン参照生データと高感度シーン参照生データの信号値を比較し、何れか一方の信号値を選択する方法がある。例えば、低感度画素の信号値に閾値を設け、低感度画素の信号値が当該閾値を下回った場合に、高感度画素を選択する。また、低感度シーン参照生データの信号値と高感度シーン参照生データの信号値をブレンド（例えば低感度４０％、高感度６０％）したり、３＊３画素領域で信号値を選択したり、ブレンドしたりすることにより合成する方法もある。
【００９１】
また、本実施の形態においては、低感度撮像素子ＳＬがカラー素子、高感度撮像素子ＳＨがモノクロ素子であるので、同じ位置（或いは領域）の画素毎に低感度シーン参照生データと高感度シーン参照生データの輝度値を合成する。即ち、低感度シーン参照生データの各画素のＲＧＢ信号を輝度値Ｌと色成分ａ、ｂに変換し、輝度値のみを高感度シーン参照生データの輝度値Ｌと合成し、Ｌ´とする。そして、生成されたＬ´ａｂをＲＧＢ´に変換する。
低感度ＲＧＢ→Ｌａｂ
低感度Ｌ＋高感度Ｌ→Ｌ´
Ｌ´ａｂ→ＲＧＢ´
【００９２】
また、画像処理部７は、鑑賞画像参照データ生成手段として、生成されたシーン参照画像データに対して、表示部１５において最適な画像を得るための最適化処理を施して鑑賞画像参照データを生成するとともに、差分データ生成手段として、シーン参照画像データと生成された鑑賞画像参照データの差分データを生成し、両者を対応付けてヘッダ処理部８へ出力する。最適化処理には、例えば、ｓＲＧＢ，
ＲＯＭＭ ＲＧＢ（Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）等、表示部１５に適した色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、表示部１５の出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【００９３】
ヘッダ情報処理部８は、画像処理部７で生成された鑑賞画像参照データに対して、差分データ及び合成情報データ処理部１３により生成された合成情報データをヘッダ情報として書き込み処理する。
【００９４】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影により生成された鑑賞画像参照データ等を記録するメモリカード等の記録メディアと、撮像装置２１の制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
【００９５】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【００９６】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置２１の制御プログラム、各種処理プログラムを読み出して、読み出したプログラムに従って、後述する撮影記録処理を始めとする各種処理を実行する。即ち、制御部１１は、操作部１４からの操作信号に応じて、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１９、焦点距離調整回路１８、ＣＣＤ駆動回路１０、アナログ処理回路４、ストロボ駆動回路１６を制御して撮影を行い、シーン参照生データ生成手段として、低感度シーン参照生データ、高感度シーン参照生データを生成する。そして、画像処理部７、合成情報データ処理部１３、ヘッダ処理部８を制御して、各シーン参照生データからシーン参照画像データを生成し、生成されたシーン参照画像データから鑑賞画像参照データを生成し、記録制御手段として、鑑賞画像参照データにシーン参照画像データと鑑賞画像参照データの差分データ及び合成情報データを添付して記憶デバイス９の記録メディアに記録する。
【００９７】
合成情報データ処理部１３は、合成情報データ生成手段であり、生成されたシーン参照画像データの各画素について、低感度撮像素子ＳＬ由来か或いは高感度撮像素子ＳＨ由来か、即ち、各画素が低感度シーン参照生データ、高感度シーン参照生データの何れの信号値によるものかの情報（高感度と低感度の信号値をブレンドして合成した場合には、低感度、高感度の信号値の割合を示す情報、画素領域毎に信号値の選択やブレンドを行って合成した場合には画素領域毎の情報）を記録して合成情報データを生成し、ヘッダ情報処理部８に出力する。
【００９８】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。また、操作部１４は、表示部１５の表示画面上を覆うタッチパネルを有し、手指やタッチペン等で押下された表示画面上の力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部１１に出力する。
【００９９】
図４に、低感度シーン参照生データ及び高感度シーン参照生データからシーン参照画像データを生成する際に施す画像処理の内容を入力するための入力画面１４１の一例を示す。図４に示すように、入力画面１４１は、指示入力手段であり、タッチパネルにより、「平滑化レベル（なめらかさ）、鮮鋭化レベル（シャープネス）、階調変換レベル・・・」等の各種画像処理の処理レベルが入力できるようになっている。例えば、ユーザがこの入力画面１４１で強めの平滑化レベルを入力した場合、高感度撮像素子由来の成分に、より多くの平滑化処理が施される。
【０１００】
表示部１５は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されるモニタであり、制御部１１からの制御信号により、撮影されたデジタル画像データを表示するとともに、撮像装置２１の使用者が撮影に関する設定や条件を確認するための情報や設定や条件を入力するための表示画面を表示する。例えば、表示部１５は、撮像により生成された低感度シーン参照生データ及び高感度シーン参照生データに施す画像処理の内容をユーザが指示するための入力画面を表示する。
【０１０１】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１０２】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【０１０３】
＜撮像装置２１の動作＞
次に、動作について説明する。
図５は、操作部１４によりレリーズスイッチが押下された際に、制御部１１の制御により実行される撮影記録処理Ａを示すフローチャートである。以下、図５を参照して撮影記録処理Ａについて説明する。
【０１０４】
操作部１４のレリーズボタンが押下されると、撮影が行われる（ステップＳ１）。ここで、ステップ１における１回の撮影には、オートブランケット機能による撮影も含まれる。ＣＣＤ３の低感度撮像素子ＳＬ及び高感度撮像素子ＳＨから得られた撮像信号は、それぞれＡ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ２、３）。生成された低感度シーン参照生データ及び高感度シーン参照生データは、画像処理部７によりそれぞれ撮像素子特性補正処理が施されて色空間が標準化され（ステップＳ４）、その後合成されることにより（ステップＳ５）、合成標準化されたシーン参照画像データが生成される（ステップＳ６）。また、合成情報データ処理部１３により、生成されたシーン参照画像データの各画素について、低感度撮像素子ＳＬ由来の画素か高感度撮像素子ＳＨ由来の画素かが記録され、合成情報データが生成される（ステップＳ７）。
【０１０５】
次いで、生成されたシーン参照画像データに対して、表示部１５で表示画像を形成するために最適化する最適化処理が施され（ステップＳ８）、鑑賞画像参照データが生成される（ステップＳ９）。鑑賞画像参照データが生成されると、画像処理部７において、最適化処理前のシーン参照画像データから、最適化された鑑賞画像参照データが差分され、差分データが生成される（ステップＳ１０）。そして、生成された鑑賞画像参照データのファイルが生成され、このファイルのヘッダに合成情報データ及び差分データがタグ情報として添付され（ステップＳ１１）、撮影装置２１に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ１２）。
【０１０６】
図６は、ステップＳ１２で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。図６に示すように、記録メディアには、鑑賞画像参照データ、シーン参照画像データから鑑賞画像参照データを生成した際の差分データ及び合成情報データが関連付けて記録されている。この記録メディアを撮像装置２１から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、外部の装置に、撮影時の情報を出力することができる。
【０１０７】
ここで、鑑賞画像参照データへの差分データ、合成情報データの「添付」とは、必ずしも差分データ、合成情報データそのものを鑑賞画像参照データのファイルのヘッダとして記録メディアに記録する必要はなく、鑑賞画像参照データ、差分データ及び合成情報データが、これらを互いに関連付ける情報とともに記録メディアに記録されればよい。また、ここでは、記憶デバイス９の記録メディアにデータを記録することとしたが、撮像装置２１に通信Ｉ／Ｆを設け、通信ケーブルやネットワーク等の通信手段を介してサーバ等の備えるメディアに記録するようにしてもよい。
【０１０８】
以上説明したように、図１に示した撮像装置２１によれば、ＣＣＤ３は、低感度撮像素子ＳＬ、高感度撮像素子ＳＨという感度の異なる撮像素子を有し、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経て表示部１５の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、表示部１５における表示が可能となる。更に、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。
【０１０９】
なお、撮像装置２１において低感度撮像素子ＳＬと高感度撮像素子ＳＨにより生成されるシーン参照生データの階調数は、同一であってもよいが、高感度撮像素子ＳＨは低感度撮像素子ＳＬに撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答性能は図３に示すように直線的であることが望ましいが、感度の大きさ毎に異なっていてもよい。
【０１１０】
また、ＣＣＤ３は、低感度と高感度の２種類の撮像素子を備える構成としたが、更に中間度の撮像素子を備える構成としてもよい。
【０１１１】
また、図７に示すように、ＣＣＤ３を、ＣＣＤ３ａ〜３ｃを有する３ＣＣＤにより構成し、レンズ１を通過した被写体光を分光器Ｐで青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色光に分光し、Ｂ信号をＣＣＤ３ａが、Ｇ信号をＣＣＤ３ｂが、Ｒ信号をＣＣＤ３ｃがそれぞれ結像、受光するようにしてもよい。このとき、少なくとも、一つのＣＣＤ、例えば輝度について最も寄与率の高いＧ信号を受光するＣＣＤ３ｂが、低感度撮像素子ＳＬ、高感度撮像素子ＳＨにより構成されるようにする。これにより、精度が高く、色再現性のよいシーン参照生データを生成することができる。
【０１１２】
＜撮像装置２２の構成＞
次に、デジタル画像データの出力先においてより一層好ましい画像を得るために、撮像装置２１の構成に撮影情報データ処理部１２を追加して構成される撮像装置２２について説明する。図８に、撮像装置２２の機能的構成を示すブロック図を示す。
【０１１３】
撮影情報データ処理部１２は、撮影情報データを生成する。撮影情報データは、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報等である。
【０１１４】
その他の撮像装置２２の構成は撮像装置２１と同様であるので、説明を省略する。
【０１１５】
＜撮像装置２２の動作＞
図９は、図８に示す撮像装置２２において、操作部１４のレリーズスイッチが押下された際に、制御部１１の制御により実行される撮影記録処理Ｂを示すフローチャートである。以下、図９を参照して撮影記録処理Ｂについて説明する。
【０１１６】
操作部１４のレリーズボタンが押下されると、撮影が行われる（ステップＳ２１）。ここで、ステップ２１における１回の撮影には、オートブランケット機能による撮影も含まれる。ＣＣＤ３の低感度撮像素子ＳＬ及び高感度撮像素子ＳＨから得られた撮像信号は、それぞれＡ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ２２、２３）。また、撮影情報データ処理部１２において撮影情報データが生成される（ステップＳ２４）。
【０１１７】
生成された低感度シーン参照生データ及び高感度シーン参照生データは、画像処理部７によりそれぞれ撮像素子特性補正処理が施されて色空間が標準化され（ステップＳ２５）、その後合成されることにより（ステップＳ２６）、合成標準化されたシーン参照画像データが生成される（ステップＳ２７）。また、合成情報データ処理部１３により、生成されたシーン参照画像データの各画素について、低感度撮像素子ＳＬ由来の画素か高感度撮像素子ＳＨ由来の画素かが記録され、合成情報データが生成される（ステップＳ２８）。
【０１１８】
次いで、生成されたシーン参照画像データに対して、表示部１５の表示画面上で鑑賞画像を形成するために最適化する最適化処理が施され（ステップＳ２９）、鑑賞画像参照データが生成される（ステップＳ３０）。鑑賞画像参照データが生成されると、画像処理部７において、最適化処理前のシーン参照画像データから、最適化された鑑賞画像参照データが差分され、差分データが生成される（ステップＳ３１）。そして、生成された鑑賞画像参照データのファイルが生成され、このファイルのヘッダに差分データ、合成情報データ及び撮影情報データがタグ情報として添付され（ステップＳ３２）、撮影装置２２に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ３３）。
【０１１９】
図１０は、ステップＳ３３で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。図１０に示すように、記録メディアには、鑑賞画像参照データ、シーン参照画像データから鑑賞画像参照データを生成した際の差分データ、合成情報データ及び撮影情報データが関連付けて記録されている。この記録メディアを撮像装置２２から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、撮影により得られた情報を保持したまま外部の装置に出力することができる。更に、撮影における撮影条件設定等の撮影状況も併せて出力することができる。
【０１２０】
ここで、鑑賞画像参照データへの差分データ、合成情報データ、撮影情報データの「添付」とは、必ずしも差分データ、合成情報データ、撮影情報データそのものを鑑賞画像参照データ及び差分データのファイルのヘッダとして記録メディアに記録する必要はなく、鑑賞画像参照データ、差分データ、合成情報データ、撮影情報データが、これらを互いに関連付ける情報とともに記録メディアに記録されればよい。また、ここでは、記憶デバイス９の記録メディアにデータを記録することとしたが、撮像装置２２に通信Ｉ／Ｆを設け、通信ケーブルやネットワーク等の通信手段を介してサーバ等の備えるメディアに記録するようにしてもよい。
【０１２１】
以上説明したように、図８に示す撮像装置２２によれば、図１に示す撮像装置２１の効果に加え、更に、外部の出力装置において、撮影状況に応じた鑑賞画像参照データの生成が可能なデータを出力することができる。
【０１２２】
＜画像処理装置１１５の構成＞
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図１１は本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。図１１に示すように、画像処理装置１１５は、入力部１０１、ヘッダ情報解析部１０２、鑑賞画像参照データ及び差分データからシーン参照画像データを生成し、更に、合成情報データに基づいて、シーン参照画像データを低感度シーン参照生データと高感度シーン参照生データに分離、生成する第一処理部１１３、第一処理部１１３により生成された低感度シーン参照生データ及び高感度シーン参照生データに最適化処理を施して鑑賞画像参照データを生成する第二処理部１１４により構成されている。第一処理部１１３と、第二処理部１１４にはヘッダ情報解析部１０２が夫々接続されており、さらに第二処理部１１４には、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２が夫々接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１１６の統括的な制御下において動作する。
【０１２３】
入力部１０１は、記録メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置２１、２２により記録された広ダイナミックレンジ画像データのファイル（図６、図１０参照）が記録された記録メディアが装着されると、入力手段としての入力部１０１は、記録されたデータファイルを読み出して、ヘッダ情報解析部１０２へ出力する。なお、本実施の形態においては、入力部１０１は、装着された記録メディアからデータを読み出すこととして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１２４】
ヘッダ情報解析部１０２は、入力部１０１から入力されたデータを解析し、鑑賞画像参照データ、差分データ、合成情報データ、撮影情報データとに分け、合成情報データを合成情報データ処理部１０３へ、鑑賞画像参照データ及び差分データをシーン参照画像データ生成部１０４ａへ、撮影情報データを撮影情報データ処理部１０６へ出力する。
【０１２５】
第一処理部１１３は、図１１に示すように、合成情報データ処理部１０３、シーン参照画像データ生成部１０４ａ、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂ及び一時記憶メモリ１０５を有して構成されている。
【０１２６】
合成情報データ処理部１０３は、ヘッダ情報解析部１０２から合成情報データが入力されると、この合成情報データを一時的に保存する。
【０１２７】
シーン参照画像データ生成部１０４ａは、シーン参照画像データ生成手段として、ヘッダ情報解析部１０２から入力された鑑賞画像参照データと差分データを合成してシーン参照画像データを生成し、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂに出力する。
【０１２８】
低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂは、シーン参照生データ生成手段として、合成情報データ処理部１０３に記憶されている合成情報データを参照して、シーン参照画像データ生成部１０４ａから入力されたシーン参照画像データの各画素を低感度撮像素子由来成分と高感度撮像素子由来成分に分離することにより、低感度シーン参照生データ、高感度シーン参照生データを生成する。
【０１２９】
ここで、例えば、ある画素が低感度撮像素子由来成分の場合、シーン参照画像データの当該画素には高感度撮像素子由来成分の情報は保持されていない。即ち、分離により生成された低感度シーン参照生データ、高感度シーン参照生データは撮像装置２１、２２で得られた低感度シーン参照生データ、高感度シーン参照生データを完全に復元したものではなく、それぞれ情報の欠落した画素が存在する。しかしながら、ここで低感度シーン参照生データ、高感度シーン参照生データに分離することにより、鑑賞画像参照データ生成部１０７において、低感度撮像素子由来成分、高感度撮像素子由来成分のそれぞれに対して異なる画像処理を施すことができる。また、分離の際、欠落した画素の周辺画素が情報を保持している場合には、周辺画素から欠落した画素の情報を推定してもよい。
【０１３０】
一時記憶メモリ１０５は、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂにより生成された低感度シーン参照画像データ、高感度シーン参照画像データを一時的に記憶する。
【０１３１】
第二処理部１１４は、図１１に示すように、撮影情報データ処理部１０６、鑑賞画像参照データ生成部１０７、一時記憶メモリ１０８を有して構成されている。
【０１３２】
撮影情報データ処理部１０６は、ヘッダ情報処理部１０２から入力された撮影情報データに基づいて、撮影条件に応じた鑑賞画像参照データを生成するための生成条件を決定する。
【０１３３】
鑑賞画像参照データ生成部１０７は、鑑賞画像参照データ生成手段として、一時記憶メモリ１０５から低感度シーン参照生データ、高感度シーン参照生データを読み出し、設定入力部１０９から入力された撮像素子特性補正処理の内容に基づいて、低感度シーン参照生データ及び高感度シーン参照生データに撮像素子特性補正処理を施して合成し、更に撮影情報データ処理部１０６で決定された鑑賞画像参照データの生成条件及び設定入力部１０９から入力された記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の出力先に関する情報に基づいて、出力先において最適な画像を得るための最適化処理を施して鑑賞画像参照データを生成し、出力先に関する情報とともに一時記憶メモリ１０８へ出力する。最適化処理には、例えば、ｓＲＧＢ 、ＲＯＭＭ ＲＧＢ等の出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０１３４】
一時記憶メモリ１０８は、制御部１１６からの制御により鑑賞画像参照データ生成部１０７から入力された鑑賞画像参照データを設定入力部１０９からの出力先の情報に従い、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の何れかに出力する。
【０１３５】
設定入力部１０９は、キーボード等により構成され、本画像処理装置１１５にて生成されたデジタル画像データを出力する記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類に関する情報が入力されると、この情報を鑑賞画像参照データ生成部１０７に出力する。また、設定入力部１０９は、図４に示すのと同様のユーザインターフェースを備え、指示入力手段として、低感度シーン参照生データと高感度シーン参照生データに施す画像処理の内容を指示する情報、例えば、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去やモアレ除去等の周波数演算処理等、各種画像処理の程度を調整するためのパラメータ等が入力可能であり、入力された情報を鑑賞画像参照データ生成部１０７に出力する。
【０１３６】
以上の、ヘッダ情報解析部１０２、合成情報データ処理部１０３、シーン参照画像データ生成部１０４ａ、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂ、撮影情報データ処理部１０６、鑑賞画像参照データ生成部１０７という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１３７】
＜画像処理装置１１５の動作＞
図１２は、画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフローチャートである。以下、図を参照して画像処理装置１１５の動作について説明する。
【０１３８】
図６又は図１０に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップ４１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ４２）、鑑賞画像参照データ（ステップＳ４３）、合成情報データ（ステップＳ４４）、撮影情報データ（ステップＳ４５）、差分データ（ステップＳ４６）に分けられ、鑑賞画像参照データ、差分データ及び合成情報データは第一処理部１１３へ、撮影情報データは第二処理部１１４へ出力される。
【０１３９】
合成情報データが第一処理部１１３へ入力されると、合成情報データ処理部１０３に一時的に保存される。鑑賞画像参照データ及び差分データは、シーン参照画像データ生成部１０４ａに出力されて合成され（ステップＳ４７）、シーン参照画像データが生成される（ステップＳ４８）。次いで、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂにおいて、合成情報データ処理部１０３に記憶されている合成情報データに基づいて、シーン参照画像データの各画素が低感度撮像素子由来か高感度撮像素子由来かにより分離され（ステップＳ４９）、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ５０、５１）。
【０１４０】
次いで、低感度シーン参照生データ、高感度シーン参照生データは第二処理部１１４に出力され、鑑賞画像参照データ生成部１０７において、設定入力部１０９からの入力内容に基づいて、低感度シーン参照生データ、高感度シーン参照生データに撮像素子特性補正処理が施され、合成が行われる（ステップＳ５２）。
【０１４１】
次いで、鑑賞画像参照データ生成部１０７により、合成されたデータは、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された出力先の情報に基づいて、出力先に応じた最適化処理が施され（ステップＳ５３）、鑑賞画像参照データが生成される（ステップＳ５４）。更に、ステップＳ４８で生成されたシーン参照画像データと、今回生成された鑑賞画像参照データとの差分データが生成され（ステップＳ５５）、鑑賞画像参照データに添付されて（ステップＳ５６）、設定入力部１０９により設定されたデバイスに出力される。
【０１４２】
なお、鑑賞画像参照データには差分データのみでなく、合成情報データ、撮影情報データを添付するようにすることが望ましい。このようにすると、出力先において、低感度シーン参照生データ、高感度シーン参照生データから再度鑑賞画像参照データを作り変えることができる。
【０１４３】
以上説明したように、本発明の画像処理装置１１５によれば、上述した撮像装置２１、２２の出力する鑑賞画像参照データ、差分データ、合成情報データ、撮影データ（撮像装置２２からのデータを利用する場合）から、再度ダイナミックレンジの広い低感度シーン参照生データ及び高感度シーン参照生データを生成し、これらの広いダイナミックレンジの画像データに対して所望の撮像素子特性補正処理を施して合成し、出力先に応じた最適化処理を施して、鑑賞画像参照データを生成すことができる。従って、撮像装置２１、２２で得られた広いダイナミックレンジの画像データを家庭や職場環境でのプリント出力用途に利用することが可能となる。
【０１４４】
＜画像記録装置２０１の構成＞
次に、本発明に係る画像記録装置の好ましい実施の形態について説明する。
図１３は本発明に係る画像記録装置２０１の外観構成を示す斜視図である。この実施の形態における画像記録装置２０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力メディアとして用いる出力デバイスとを備えた例である。
【０１４５】
画像記録装置２０１において、本体２０２の左側面にマガジン装填部２０３が設けられ、本体２０２内には出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられている。作成されたプリントは本体２０２の右側面に設けられたトレー２０６に排出される。さらに、本体２０２の内部には、露光処理部２０４の上方位置に制御部２０７が備えられている。
【０１４６】
また、本体２０２の上部には、ＣＲＴ２０８が配置されている。このＣＲＴ２０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ２０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部２０９が配置され、右側に反射原稿入力装置２１０が配置されている。
【０１４７】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットベッドスキャナで駒画像データに変換することができる。
【０１４８】
本体２０２の制御部２０７の配置位置には、画像読込部２１４が設けられている。画像読込部２１４はＰＣカード用アダプタ２１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ２１４ｂを備え、ＰＣカード２１３ａやＦＤ（フロッピー（登録商標）ディスク）２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像して複数の駒画像データが記憶されたメモリを有する。ＦＤ２１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０１４９】
ＣＲＴ２０８の前方には、操作部２１１が配置され、この操作部２１１は情報入力手段２１２を備える。情報入力手段２１２は、例えばタッチパネル等で構成される。
【０１５０】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリスティック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４は、本体２０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０１５１】
更に、本体２０２の制御部２０７の配置位置には、画像書込部２１５が設けられている。画像書込部２１５にはＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。
【０１５２】
更に、制御部２０７は図示しない通信手段を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像記録装置として機能することが可能になっている。
【０１５３】
＜画像記録装置２０１の内部構成＞
次に、画像記録装置２０１の内部構成について説明する。
図１４は画像記録装置２０１の内部構成を示すブロック図である。
【０１５４】
画像記録装置２０１の制御部２０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置２０１を構成する各部の動作を集中制御する。
【０１５５】
また、制御部２０７は、画像処理部２７０を有し、操作部２１１の情報入力手段１２からの入力信号に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部２１４から読み込まれた画像データ、及び通信手段（入力）２４０（図１５に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部２７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、プリントＰ１、Ｐ２、Ｐ３として、或いはＣＲＴ２０８、画像書込部２１５、通信手段（出力）２４１等により出力する。
【０１５６】
操作部２１１には、情報入力手段２１２が設けられている。情報入力手段２１２は、例えばタッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。また、操作部２１１は、キーボードやマウスを備えて構成するようにしてもよい。操作部２１１は、指示入力手段として、図４に示したような入力画面から、低感度シーン参照生データ及び高感度シーン参照生データに施す撮像素子特性補正処理の内容を指示入力できるようになっている。
【０１５７】
フィルムスキャナ部２０９は、アナログカメラにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置２１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０１５８】
画像読込部２１４は、デジタルカメラにより撮像して記録されたＰＣカード２１３ａやＦＤ２１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部２１４は、画像転送手段２３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ２１４ａに装着されたＰＣカード２１３ａや、ＦＤ用アダプタ２１４ｂに装着されたＦＤ２１３ｂに記録された駒画像データを読み取り、制御部２０７へ転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０１５９】
データ蓄積手段２７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０１６０】
テンプレート記憶手段２７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段２７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部２０７は、駒画像情報と当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択してサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０１６１】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部２１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０１６２】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０１６３】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０１６４】
露光処理部２０４は、画像処理部２７０で画像データを画像処理して生成された出力用画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に送る。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０１６５】
ＣＲＴ２０８は、制御部２０７から入力される画像情報を表示する。
【０１６６】
画像書込部２１５は、画像搬送部２３１としてＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像データを画像記録メディアに書き込むことができるようになっている。
【０１６７】
更に、画像処理部２７０は、通信手段（入力）２４０（図１５に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成したりすることも可能になっている。
【０１６８】
また、画像処理部２７０は、通信手段２４１（出力）（図１５に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０１６９】
このように画像記録装置２０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報を「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力メディア上で画像を観察する際に好ましい印象を与える画像となるように処理を行う画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像形成手段及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（出力）とを有する。
【０１７０】
＜画像処理部２７０の構成＞
図１５は、本発明に係る画像処理部２７０の機能的構成を示すブロック図である。フィルムスキャナ部２０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０１７１】
反射原稿入力装置２１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０１７２】
画像転送手段２３０及び通信手段（入力）２４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等を行い、画像処理部２７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４は、本発明に係る撮像装置２１、２２による形式の画像データが画像転送手段２３０及び通信手段（入力）２４０から入力されたか否かを判別し、入力された画像データをヘッダ情報解析部３０２に出力する。ヘッダ情報解析部３０２においては、入力されたデータを解析し、鑑賞画像参照データ及び差分データをシーン参照画像データ生成部３０４へ、合成情報データを合成情報データ処理部３０３へ、撮影情報データを撮影情報データ処理部へそれぞれ出力する。
【０１７３】
出力画像の大きさについての指定は操作部２１１から入力されるが、この他に通信手段（入力）２４０に送信された出力画像の大きさについての指定や、画像転送手段２３０により取得された画像データのヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０１７４】
ヘッダ情報解析部３０２により解析された合成情報データは、合成情報データ処理部３０３に出力され、一時的に保存される。ヘッダ情報解析部３０２により解析された鑑賞参照データ及び差分データは、シーン参照画像データ生成手段としてのシーン参照画像データ生成部３０４へ出力され、合成されてシーン参照画像データが生成される。生成されたシーン参照画像データは、シーン参照生データ生成手段としての低感度シーン参照生データ・高感度シーン参照生データ生成部３０５により、合成情報データ３０３に記憶された合成情報データに基づいて低感度撮像素子由来成分と高感度撮像素子由来成分とに分離され、低感度シーン参照生データ及び高感度シーン参照生データが生成され、データ蓄積手段２７１へ出力される。
【０１７５】
ヘッダ解析部３０２により解析された撮影情報データは、撮影情報データ処理部３０６に出力され、鑑賞画像参照データの生成に関わる画像処理条件が決定される。
操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１は、低感度シーン参照生データ・高感度シーン参照生データ生成部３０５により生成された低感度シーン参照生データ、高感度シーン参照生データから、出力先のデバイス及び出力メディアに適合された鑑賞画像参照データを作成するための画像処理条件を、鑑賞画像参照データ生成部３０７へと転送する。
【０１７６】
鑑賞画像参照データ生成部３０７は、鑑賞画像参照データとして、撮影情報データ処理部３０６で作成された画像処理条件及び画像調整処理部７０１から送信された画像処理条件に基づき、低感度シーン参照生データ、高感度シーン参照生データを合成標準化し、更に最適化することにより鑑賞画像参照データを生成する。
【０１７７】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段２７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部２１１又は制御部２０７の指令に基づき、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２４０、テンプレート処理部７０５から受け取った画像データに対して、出力メディア上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行って出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段２７１へ送出する。
【０１７８】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データを画像形成手段としてのＣＲＴ２０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、画像形成手段としての露光処理部２０４に画像データを送出する。本発明の画像記録装置２０１に、画像形成手段として、さらに大判インクジェットプリンタなど、外部プリンタ装置２５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０１７９】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２４１へ画像データを転送する。
【０１８０】
なお、鑑賞画像参照データ生成部３０７において作成される画像データは、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９における処理を前提としたものであり、画像データ書式作成処理部７０９においては、鑑賞画像参照データの書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０１８１】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１８２】
また、ヘッダ情報解析部３０２、合成情報データ処理部３０３、撮影情報データ処理部３０６、シーン参照画像データ生成部３０４、低感度シーン参照生データ・高感度シーン参照生データ生成部３０５、鑑賞画像参照データ生成部３０７、という区分は、画像処理部２７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１８３】
＜画像処理部２７０の動作＞
図１６は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理を示すフローチャートである。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０１８４】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ６１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１又は２２によるデジタル画像データファイルであると判別されると（ステップＳ６２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ６３）、鑑賞画像参照データ（ステップＳ６４）、合成情報データ（ステップＳ６５）、撮影情報データ（ステップＳ６６）、差分データ（ステップＳ６７）に分けられ、鑑賞画像参照データ及び差分データはシーン参照画像データ生成部３０４へ、合成情報データは合成情報データ処理部３０３へ、撮影情報データは撮影情報データ処理部３０６へそれぞれ出力される。
【０１８５】
合成情報データは、合成情報データ処理部３０３に一時的に保存される。鑑賞画像参照データ及び差分データは、シーン参照画像データ生成部３０４において合成され（ステップＳ６８）、シーン参照画像データが生成される（ステップＳ６９）。次いで、低感度シーン参照生データ・高感度シーン参照生データ生成部３０５において、合成情報データ処理部３０３に記憶されている合成情報データに基づいて、シーン参照画像データの各画素が低感度撮像素子由来か高感度撮像素子由来かにより分離され（ステップＳ７０）、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ７１、７２）。
【０１８６】
撮影情報データは、撮影情報データ処理部３０６に出力され、撮影情報データ処理部３０６により撮影情報データに基づいて撮影条件に応じた鑑賞画像参照データを生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、低感度シーン参照生データ及び高感度シーン参照生データに施す撮像素子特性補正処理の処理条件、出力デバイス及び出力メディアに適合された鑑賞画像参照データを作成するための画像処理条件、例えば、出力デバイスに応じてｓＲＧＢ、ＲＯＭＭ ＲＧＢ等の色空間に変換するための画像処理条件が決定される。生成された低感度シーン参照生データ及び高感度シーン参照生データは鑑賞画像参照データ生成部３０７に出力され、画像調整処理部７０１において生成された撮像素子特性補正処理の処理条件に基づいて撮像素子特性補正処理が施され、合成が行われる（ステップＳ７３）。
【０１８７】
次いで、鑑賞画像参照データ生成部３０７により、合成されたデータは、画像調整処理部７０１からの画像処理条件に基づいて最適化処理が施され（ステップＳ７４）、鑑賞画像参照データが生成される（ステップＳ７５）。そして、出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される。鑑賞画像参照データは、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ７６）、操作部２１１により指定された出力先から出力される（ステップＳ７７）。
【０１８８】
以上説明したように、本発明の画像記録装置２０１によれば、上述した撮像装置２１、２２の出力する鑑賞画像参照データ、差分データ、合成情報データ、撮影データ（撮像装置２２からのデータを利用する場合）から、再度ダイナミックレンジの広い低感度シーン参照生データ及び高感度シーン参照生データを生成し、これらの広いダイナミックレンジの画像データに対して所望の撮像素子特性補正処理を施して合成し、出力先に応じた最適化処理を施して、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、迅速に鑑賞画像を形成することができる。従って、撮像装置２１、２２で撮影により得られた画像データの情報損失を伴うことなく、最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【０１８９】
【発明の効果】
以上述べたように、本発明の撮像装置によれば、感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経てカメラモニタ等の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、撮影された画像の迅速な表示が可能となる。また、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。更に、撮影情報データを出力するようにしたことで、外部の装置において、鑑賞画像参照データから再度画像を作成する場合に、撮影状況に応じた鑑賞画像参照データの生成が可能となる。
【０１９０】
また、本発明の画像処理装置によれば、前記撮像装置の出力する鑑賞画像参照データと差分データから、シーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離された感度毎のシーン参照生データに、出力先に応じた最適化処理を施す。従って、前記撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等、公知のあらゆる「出力媒体」への出力用に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを生成することができ、前記撮像装置の出力する広ダイナミックレンジ画像データを家庭や職場環境でのプリント出力用途に利用することが可能となる。
【０１９１】
本発明の画像記録装置によれば、前記撮像装置の出力する鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離された感度毎のシーン参照生データに、出力先に応じた最適化処理を施すことにより、新たに鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、前記撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙上に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを生成し、迅速に鑑賞画像を形成することが達成される。
【０１９２】
また、予想外であったが、本発明を適用したデジタルカメラからの取得画像データから、本発明の画像処理装置により銀塩プリントの作成を試みた結果、ハイライト側の飛びやシャドー側の潰れを著しく抑制出来、銀塩プリントの画質を大幅に向上しうることがわかった。
【０１９３】
さらに驚くべきことに、フィルムスキャナに本発明を適用し、本発明の画像処理装置により銀塩プリントの作成を試みた結果、ハイライト側の飛びやシャドー側の潰れ以外にも、フィルムに起因する粒状ノイズを効果的に抑制することに効果があることもわかった。
【図面の簡単な説明】
【図１】本発明に係る撮像装置２１の機能的構成を示すブロック図である。
【図２】図１のＣＣＤ３における低感度撮像素子ＳＬと高感度撮像素子ＳＨの配置例を示す模式図である。
【図３】図１の低感度撮像素子ＳＬにおける被写体輝度と信号電荷量の関係ＤＬ及び高感度撮像素子ＳＨにおける被写体輝度と信号電荷量の関係ＤＨを示すグラフである。
【図４】図１の表示部１５に表示される入力画面１４１の一例を示す図である。
【図５】図１の制御部１１により実行される撮影記録処理Ａを示すフローチャートである。
【図６】図５のステップＳ１２で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。
【図７】図１のＣＣＤ３を、ＣＣＤ３ａ〜３ｃを有する３ＣＣＤにより構成した例を示す図である。
【図８】本発明に係る撮像装置２２の機能的構成を示すブロック図である。
【図９】図８の撮像装置２２において、制御部１１の制御により実行される撮影記録処理Ｂを示すフローチャートである。
【図１０】図９のステップＳ３３で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。
【図１１】本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。
【図１２】画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフローチャートである。
【図１３】本発明に係る画像記録装置２０１の外観斜視図である。
【図１４】図１１の画像記録装置２０１の内部構成を示す図である。
【図１５】図１２の画像処理部２７０の機能的構成を示すブロック図である。
【図１６】図１１の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理を示すフローチャートである。
【符号の説明】
１ レンズ
２ 絞り
３ ＣＣＤ
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ ヘッダ情報処理部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１２ 撮影情報データ処理部
１３ 合成情報データ処理部
１４ 操作部
１５ 表示部
１６ ストロボ駆動回路
１７ ストロボ
１８ 焦点距離調整回路
１９ 自動焦点駆動回路
２０ モータ
２１ 撮像装置
２２ 撮像装置
１０１ 入力部
１０２ ヘッダ情報解析部
１０３ 合成情報データ処理部
１０４ａ シーン参照画像データ生成部
１０４ｂ 低感度シーン参照生データ・高感度シーン参照生データ生成部
１０５ 一時記憶メモリ
１０６ 撮影情報データ処理部
１０７ 鑑賞画像参照データ生成部
１０８ 一時記憶メモリ
１０９ 設定入力部
１１０ 記憶デバイス
１１１ 出力デバイス
１１２ 表示デバイス
１１３ 第一処理部
１１４ 第二処理部
１１５ 画像処理装置
２０１ 画像記録装置
２０２ 本体
２０３ マガジン装填部
２０４ 露光処理部
２０５ プリント作成部
２０６ トレー
２０７ 制御部
２０８ ＣＲＴ
２０９ フィルムスキャナ部
２１０ 反射原稿入力装置
２１１ 操作部
２１２ 情報入力手段
２１３ａ ＰＣカード
２１３ｂ ＦＤ
２１４ 画像読込部
２１４ａ ＰＣカード用アダプタ
２１４ｂ ＦＤ用アダプタ
２１５ 画像書込部
２１５ａ ＦＤ用アダプタ
２１５ｂ ＭＯ用アダプタ
２１５ｃ 光ディスク用アダプタ
２１６ａ ＦＤ
２１６ｂ ＭＯ
２１６ｃ 光ディスク
２３０ 画像転送手段
２３１ 画像搬送部
２４０ 通信手段（入力）
２４１ 通信手段（出力）
２５１ 外部プリンタ
２７０ 画像処理部
７０１ 画像調整処理部
７０２ フィルムスキャンデータ処理部
７０３ 反射原稿スキャンデータ処理部
７０４ 画像データ書式解読処理部
７０５ テンプレート処理部
７０６ ＣＲＴ固有処理部
７０７ プリンタ固有処理部１
７０８ プリンタ固有処理部２
７０９ 画像データ書式作成処理部
３０２ ヘッダ情報解析部
３０３ 合成情報データ処理部
３０４ シーン参照画像データ生成部
３０５ 低感度シーン参照生データ・高感度シーン参照生データ生成部
３０６ 撮影情報データ処理部
３０７ 鑑賞画像参照データ生成部
２７１ データ蓄積手段
２７２ テンプレート記憶手段
【発明の属する技術分野】
本発明は、撮像により広ダイナミックレンジ画像データを記録する撮像装置、斯かる撮像装置により得られた広ダイナミックレンジ画像データに対し、出力媒体上での鑑賞画像形成用に最適化処理を施す画像処理装置及び画像記録装置に関する。
【０００２】
【従来の技術】
今日、撮像装置で撮影されたデジタル画像データは、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされたりするなど、その表示・プリント方法は多種多様化してきている。
【０００３】
また、デジタル画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【０００４】
こうした多様な表示・プリント方法に対応して、撮像装置で撮影されたデジタル画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ（Ｒｅｄ， Ｇｒｅｅｎ， Ｂｌｕｅ）信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くのデジタル画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ ＲＧＢ Ｃｏｌｏｕｒ Ｓｐａｃｅ−ｓＲＧＢ」ＩＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は、標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【０００５】
一般的に、デジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせて感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単にＣＣＤと称する）を備えている。デジタルカメラにより出力されるデジタル画像データは、このＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【０００６】
撮像素子の光電変換機能の補正としては、例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等がある。また、規格化された所定形式のデータフォーマットとしては、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ Ｔｉｆｆ Ｒｅｖ．６．０ＲＧＢ Ｆｕｌｌ Ｃｏｌｏｒ Ｉｍａｇｅ」、ＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【０００７】
Ｅｘｉｆファイルは、ｓＲＧＢに準拠したものであり、撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【０００８】
例えば、どのようなデジタルカメラであっても、Ｅｘｉｆ形式のように、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」とも称す）で表示する事を示すタグ情報や、画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報をデジタル画像データのファイルヘッダにメタデータとして書き込む機能及びそのようなデータフォーマット形式を採用してさえいれば、デジタル画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）によりタグ情報を解析して、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処理を施したりすることが出来る。そのため、異なるディスプレイ間の装置特性の差異を低減したり、デジタルカメラで撮影されたデジタル画像データをディスプレイモニタ上で好適な状態で鑑賞したりすることが可能になっている。
【０００９】
また、デジタル画像データのファイルヘッダに書き込まれる付加情報としては、上述した機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報などを示すタグ（コード）が用いられている。画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１０】
ところで、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像は、用いられている蛍光体又は色材の構成によって色再現域が異なる。例えば、ｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタの色再現領域は明るい緑や青の領域が広く銀塩写真プリント・インクジェットプリンタ・印刷等のハードコピーでは再現できない領域があり、逆に印刷・インクジェットのシアン領域や銀塩写真の黄色領域にはｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタでは再現できない領域が存在する（例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４４頁参照）。一方、撮影対象となる被写体シーンの中には、これらのいずれの色再現領域でも再現できない領域色を呈しているものが存在する可能性がある。
【００１１】
このように、特定デバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）には記録可能な色域に制限があるため、撮像装置が取得した情報を記録する際には、記録可能な色域に圧縮してマッピングする調整が必要になる。マッピングの方法としては、記録可能な色域の外にある色度点を最寄の色域境界上へマッピングしてしまうクリッピングが最も簡単であるが、これでは色域外のグラデーションが潰れてしまい、鑑賞時に違和感を覚える画像になってしまう。このため現在では、適当な閾値以上にクロマが高い領域の色度点をクロマの大きさに従って滑らかに圧縮する非線形圧縮が一般に採用されている。この結果、記録可能な色域内部の色度点においてもクロマが圧縮されて記録される事になる。（色域のマッピング方法についての詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４７頁に記載されている。）
【００１２】
また、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像、またこれらのデバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）は、記録・再現可能な輝度域が約１００：１オーダーに限定されている。これに対して撮影対象となる被写体シーンは輝度域が広く、屋外では数千：１のオーダーに至ることもしばしば発生する（例えば東京大学出版会「新編色彩科学ハンドブック第２版」日本色彩学会編９２６頁参照）。従って、撮像装置が取得した情報を記録する際には輝度についても同様に圧縮が必要になる。この圧縮処理は撮影シーンのダイナミックレンジや、撮影シーン内における主要被写体の輝度レンジに応じて、１画像毎に適切な条件を設定する必要がある。
【００１３】
ところが、上記のような色域・輝度域の圧縮操作をおこなった場合、離散的数値で記録されるデジタル画像の原理に起因して、圧縮前のグラデーション情報やクリッピング前の情報はその時点で失われてしまい、再び元の状態に戻すことができない。この事が高画質デジタル画像データの汎用性において大きな制約になる。
【００１４】
例えば、ｓＲＧＢの標準色空間において記録された画像をプリントデバイスによりプリントする場合は、ｓＲＧＢの標準色空間とプリントデバイスの色再現域の相違に基づいて再度マッピングが必要になる。しかし、ｓＲＧＢの標準色空間において記録された画像は、記録時に一旦圧縮された領域のグラデーション情報が失われているので、撮像装置が取得した情報を直接プリントデバイスの色再現域にマッピングする場合に比べてグラデーションの滑らかさが悪化する。また記録時の階調圧縮条件が不適切で、絵が白っぽい・顔が暗い・シャドーの潰れやハイライト領域の白飛びが目立つという問題があった場合、階調設定を変更して画像を改善しようとしても、圧縮前のグラデーション情報や潰れ・白飛び部分の情報は既に失われているために、撮像装置が取得した情報から新たに画像を作り直す場合と比べて、著しく不十分な改善しか行うことができない。
【００１５】
このような問題を解決するものとして、画像編集の過程をバックアップとして保存し、必要に応じて編集前の状態に戻す技術は古くから知られている。例えば、特許文献１には、デジタル画像データに対し、画像処理により局所的な変更を施した場合、画像処理前後のデジタル画像データとの差分画像データをバックアップデータとして保存するバックアップ装置が記載されている。また、特許文献２には、画像処理前後のデジタル画像データの差分画像データを取り保存しておくことにより、編集前のデジタル画像データを復元可能にする方法が記載されている。しかしながら、こうした技術は情報損失防止の観点では有効であるが、メディアに記録すべきデータ量の増大を伴い、その結果カメラの撮影可能枚数が減少する。
【００１６】
以上に述べてきた問題は、撮像装置が取得した広い色域・輝度域の情報を、鑑賞画像を想定して最適化した状態の鑑賞画像参照データに圧縮して記録する事に起因する。これに対して、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データとして記録すれば不用意な情報の損失を防止する事ができる。このようなシーン参照画像データを記録するのに適した標準色空間としては例えば「ｓｃＲＧＢ」（ｒｅｌａｔｉｖｅ ｓｃｅｎｅ ＲＧＢ ｃｏｌｏｒ ｓｐａｃｅ）、「ＲＩＭＭ ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）や「ＥＲＩＭＭ ＲＧＢ」（Ｅｘｔｅｎｄｅｄ Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）が提案されている（Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ４５巻 ４１８〜４２６頁（２００１年）参照）。
【００１７】
しかし、このような標準色空間で表現されたデータは、直接ディスプレイモニタで表示して鑑賞するには適さない。一般的に、デジタルカメラにはユーザが撮影前に画角を確認したり撮影後に撮影内容を確認したりするために、ディスプレイモニタが組み込まれているか接続されている。撮影されたデジタル画像データがｓＲＧＢのような鑑賞画像参照データとして記録されている場合は、そのデータを変換せずに直接ディスプレイモニタに表示できる利点があったが、撮影されたデジタル画像データがシーン参照画像データとして記録されている場合には、そのデータを表示する為に鑑賞画像参照データとして再変換する処理が必須になる。
【００１８】
一方、特許文献３には、表示手段に表示した画像信号形態で記録するモードと、撮像した画像信号形態で記録するモードを有する事を特徴とする画像処理装置が開示されている。後者の画像信号形態は一般にＲＡＷデータと呼ばれ、このようなデジタル画像データは、専用のアプリケーションソフト（「現像ソフト」と称される）を用いて、前記Ｅｘｉｆファイルなどの表示・印刷用の鑑賞画像参照データに変換する（「電子現像」、又は単に「現像」と称される）ことができる。ＲＡＷデータは撮影時の全情報を保存している為、鑑賞画像参照データの作り直しが可能であり、ＣＭＹＫ等の他の表色系ファイルを直接作れば、ディスプレイモニタ（ｓＲＧＢ）との色域の相違に起因して不用意に色が変更される事もない。しかしながらＲＡＷデータは撮影機種固有の分光感度特性に基づいた色空間と、撮影機種固有のファイルフォーマットに基づいて記録されているため、撮影機種固有の専用現像ソフトを用いなければ表示・印刷に適した画像を得ることができない。
【００１９】
ここまで一般的なデジタルカメラについて述べてきたが、撮像装置自体がさらに従来のものに比べ、広い色域・輝度域情報を得られるよう改良されることが望ましいことは言うまでもない。固体撮像素子は、入射強度に対するダイナミックレンジが狭いため、特許文献４には、低感度撮像素子部と高感度撮像素子部を備え、それぞれの出力をレベル変換した値を基準電圧と比較していずれかのレベル値の出力を瞬時に切り換えることにより、入射光強度を光電変換して得られる信号のダイナミックレンジを拡大する方法が記載されている。
【００２０】
また、特許文献５には、撮像素子の第１の受光素子（高感度撮像素子）と第２の受光素子（低感度撮像素子）とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向および／または列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置し、第１の受光素子の信号飽和レベルを調整して、第２の信号と合成する方法が記載されている。
【００２１】
特許文献６には、撮像素子が高感度映像信号と低感度映像信号とを生成し、高感度映像信号を高量子化分解能、低感度映像信号を低量子化分解能で量子化後、高量子化データが飽和している場合は感度比で合算し、それ以外は高量子化データを選択することにより広ダイナミックレンジ画像を形成する方法が記載されている。
【００２２】
他にも特許文献７に記載の、露光域によって低感度撮像素子と、高感度撮像素子の出力値を選択する方法や、特許文献８に記載の、低感度撮像素子と、高感度撮像素子でモアレのない出力値を選択する方法などが記載されている。
【００２３】
【特許文献１】
特開平７−５７０７４号公報
【特許文献２】
特開２００１−９４７７８号公報
【特許文献３】
特開平１１−２６１９３３号公報
【特許文献４】
特公平８−３４５５８号公報
【特許文献５】
特開２０００−１２５２０９号公報
【特許文献６】
特開２００１−８１０４号公報
【特許文献７】
特開２００３−１８４４５号公報
【特許文献８】
特開２００３−１８４７９号公報
【００２４】
【発明が解決しようとする課題】
このような特性の異なる撮像素子を高集積化した撮像部を有するデジタルカメラにおいて、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データ（例えば「ｓｃＲＧＢ」、「ＲＩＭＭ ＲＧＢ」、「ＥＲＩＭＭ ＲＧＢ」等）として記録すれば情報の損失を防止することができる。しかしながら前述のカメラのディスプレイモニタで表示して鑑賞することが出来ない問題や、ＲＡＷデータと同様に、撮影機種固有の特性による画質のばらつき、あるいは表示・印刷用途に画質を最適化することが難しいといった問題がある。
【００２５】
本発明の課題は、情報損失のない広いダイナミックレンジの撮像画像情報を汎用的な方法で記録すること、ならびにディスプレイモニタへの撮影画像の迅速な表示が出来る撮像装置と、撮像装置により記録された広ダイナミックレンジの撮像画像情報を、容易に編集・加工することが出来る画像処理装置、及び画像記録装置を提供することである。
【００２６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成された少なくとも２つのシーン参照生データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成する合成情報データ生成手段と、
前記生成されたシーン参照画像データに対して、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記生成されたシーン参照画像データと前記生成された鑑賞画像参照データとの差分データを生成する差分データ生成手段と、
前記鑑賞画像参照データに前記差分データと前記合成情報データとを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００２７】
請求項１に記載の発明の撮像装置によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データを生成し、生成された少なくとも２つのシーン参照生データから合成標準化されたシーン参照画像データを生成するとともに、生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成し、生成されたシーン参照画像データに対して、カメラモニタ等の出力媒体上での鑑賞画像形成のために最適化する画像処理を施して鑑賞画像参照データを生成し、生成されたシーン参照画像データと生成された鑑賞画像参照データとの差分データを生成し、鑑賞画像参照データに差分データと合成情報データとを添付してメディアに記録する。
【００２８】
従って、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経てカメラモニタ等の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、撮影された画像の迅速な表示が可能となる。更に、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。
【００２９】
ここで、本願明細書の記載において「生成」とは、本発明に係る撮像装置、画像処理装置、及び画像記録装置内において作用するプログラム、及び処理回路が、画像信号やデータを新たに作り出すことである。なお「作成」を同義語として用いることもある。
【００３０】
また、「撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、所謂デジタルカメラやスキャナがこれに含まれる。前記撮像素子の一例としては、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ型撮像素子が挙げられるが、本発明では感度の異なる少なくとも２種類の撮像素子を組み合わせて用いることが特徴である。このような感度の異なる撮像素子を組み合わせた例として、特開２０００−１２５２０９には、低感度撮像素子と、高感度撮像素子とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向および／または列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置する固体差撮像素子が記載されている。本発明の撮像素子は、図２に示すように、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。これらの撮像素子の出力電流はＡ／Ｄ変換器によりデジタル化される。この段階での各色チャンネルの内容は、撮像素子固有の分光感度に基づいた信号強度となっている。
【００３１】
また、「シーン参照生データ」とは、被写体に忠実な情報を記録した撮像装置直接の生出力信号であり、Ａ／Ｄ変換器によりデジタル化されたデータそのものや、該データに固定パターンノイズ・暗電流ノイズ等のノイズ補正を行ったデータを意味し、前述したＲＡＷデータが含まれる。このシーン参照生データは、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ｓＲＧＢ等の標準化された色空間にマッピングする処理を省略したことを特徴とする。シーン参照生データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照生データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３２】
本発明の撮像装置における第１の特徴は、感度の異なる撮像素子の種類毎に前述した「シーン参照生データ」が生成されることにより、広ダイナミックレンジ画像を取得出来ることである。
【００３３】
ここで、「感度」とは、被写体の明るさ（輝度）に対する応答特性を表す指標であり、より高感度な撮像素子程、より暗い被写体に対して応答することが出来ることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光の完全に遮断された状態でも微弱なノイズ信号（暗電流ノイズ、或いはホワイトノイズと称される）を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。前記撮像素子が光の遮断された状態に発するノイズ信号の強度は、受光面積に反比例する特性を有する。従って、低感度と高感度の２種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、或いは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性（色弁別能）を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【００３４】
「ダイナミックレンジ」とは、被写体の明るさ（輝度）の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子程、より暗い被写体からより明るい被写体に対して応答することが出来ることを意味する。一般に撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることが出来ない。また高感度な撮像素子程、より暗い被写体に対して応答することが出来るが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和し易い。一方低感度な撮像素子は、より明るい被写体に対しても信号が飽和し難く応答することが出来るが、より暗い被写体に対して感度が不足する。従って、少なくとも低感度と高感度の２種類の撮像素子で構成し、よりダイナミックレンジを拡大する為には、夫々のダイナミックレンジの重なりを常に最小にすることが望ましい。
【００３５】
本発明において、撮像素子の感度毎に生成されるシーン参照生データの量子化分解能（以下、単に「階調数」と称する。）は、同一であっても良いが、高感度の撮像素子は低感度の撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答特性は、図３に示すように、直線的であることが望ましいが、感度の大きさ毎に異なっていても良い。さらに低感度の撮像素子は、感色性（色弁別能）の異なる少なくとも３種類で構成されることが望ましい。
【００３６】
また、本願明細書の記載において、「合成標準化されたシーン参照画像データ」とは、撮像素子の感度毎に生成された複数のシーン参照生データに、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理を施し、主要被写体の明るさ（輝度）、ダイナミックレンジ等に基づき、単一の画像データとして保有し得る情報容量の範囲内に最適化する合成処理を施して得られた画像データであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｖｅｒｓｉｏｎ ｆｕｎｃｔｉｏｎ， 例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。この処理の結果、複数の「シーン参照生データ」が分割して保有する情報量を保持しつつも、異なる「撮像装置」間での信号値の差異が補正された単一の「合成標準化されたシーン参照画像データ」が得られる。
【００３７】
合成標準化されたシーン参照画像データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、後述する鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３８】
本発明では、シーン参照生データに対し「撮像素子特性補正処理」を施すようにしてもよい。
本願明細書の記載において、「撮像素子特性補正処理」とは、撮像素子特性に依存したシーン参照生データを用いて「合成標準化されたシーン参照画像データ」に変換する為に必要な前処理を意味する。この前処理の内容は、少なくとも撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。たとえば、撮像素子特性に依存したシーン参照生データが、カラーフィルタ配列に基づく補間処理を行っていない場合には、該処理の実施が加えて必要になる。（カラーフィルタ配列に基づく補間処理の詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編５１頁に記載されている。）上記以外にも、階調変換処理、平滑化処理、鮮鋭化処理、或いはノイズ除去やモアレ除去等の周波数処理演算等、あらゆる処理を適用することが出来る。
【００３９】
また、「出力媒体」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙である。
【００４０】
「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスに用いたり、出力デバイスが、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いたりするデジタル画像データを意味する。ＣＲＴ、液晶、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう「最適化処理」が施されている。例えば、カメラモニタの表示に最適化された鑑賞画像参照データの色空間は、ｓＲＧＢであることが望ましい。
【００４１】
「最適化処理」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得る為の処理であり、例えばｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合、ｓＲＧＢ規格の色域内で最適な色再現が得られるように処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が行われることは言うまでもない。
【００４２】
「メディア」とは、撮像装置の出力する「鑑賞画像参照データ」、「差分データ」等の保存に用いる記憶媒体であって、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピーディスク、磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど何れであっても良い。また、記憶媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で接続された書き込みユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置されたユニットなどの何れの態様であっても良い。さらに、撮像装置と記憶媒体への書き込みユニットが接続状態にあるとき、画像処理装置や画像記録装置が、撮像装置から直接、「合成補助データ」及び「必要なデータ」を読み出すことの出来る機能を併せ持つ態様であっても良い。「メデイアに記録する」時のファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧ、Ｅｘｉｆなどの規格化された汎用のファイル形式で記録されるのが好ましい。
【００４３】
請求項２に記載の発明の画像処理装置は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
を備えたことを特徴としている。
【００４４】
請求項２に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに最適化処理を施すことにより、新たに鑑賞画像参照データを生成する。従って、請求項１に記載の撮像装置の出力する広ダイナミックレンジの画像データを、容易に編集、加工することができ、家庭や職場環境でのプリント出力用途に利用することが可能となる。
【００４５】
ここで、請求項２に記載の「入力する」とは、撮像装置の出力する「鑑賞画像参照データ」、「差分データ」、「合成情報データ」を、これらが保存された「メディア」を介して、撮像装置から本発明の画像処理装置に伝達することを意味する。
【００４６】
撮像装置と上述した記憶媒体への書き込みユニットが接続状態にあり、本発明の画像処理装置が、撮像装置から直接、「鑑賞画像参照データ」、「差分データ」及び「合成情報データ」を読み出せる機能を併せ持つ態様であるとき、本発明に係る画像処理装置は撮像装置との接続手段を有し、この接続手段が、本発明の入力手段に相当する。また、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、可搬式の「メディア」を用いた場合には、本発明の画像処理装置は対応する読み取り手段を有し、この読み取り手段が、本発明の入力手段に相当する。さらに、書き込みユニットが通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置された態様であるとき、本発明の画像処理装置は、通信やインターネットに接続する通信手段を有し、この通信手段が、本発明の入力手段に相当する。
【００４７】
請求項３に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成された少なくとも２つのシーン参照生データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成する合成情報データ生成手段と、
前記生成されたシーン参照画像データに対して、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記シーン参照画像データと前記鑑賞画像参照データとの差分データを生成する差分データ生成手段と、
前記鑑賞画像参照データに前記差分データと、前記合成情報データ、ならびに撮影条件に関する撮影情報データとを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００４８】
請求項３に記載の発明の撮像装置によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データを生成し、生成された少なくとも２つのシーン参照生データから合成標準化されたシーン参照画像データを生成するとともに、生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成し、生成されたシーン参照画像データに対して、カメラモニタ等の出力媒体上での鑑賞画像形成のために最適化する画像処理を施して鑑賞画像参照データを生成し、生成されたシーン参照画像データと生成された鑑賞画像参照データとの差分データを生成し、鑑賞画像参照データに差分データ、合成情報データ及び撮影条件に関する撮影情報データを添付してメディアに記録する。
【００４９】
従って、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経てカメラモニタ等の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、撮影された画像の迅速な表示が可能となる。また、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。更に、撮影情報データを出力するようにしたことで、外部の装置において、鑑賞画像参照データから再度画像を作成する場合に、撮影状況に応じた鑑賞画像参照データの生成が可能となる。
【００５０】
本願明細書の記載における「撮影情報データ」とは、撮影時の撮影条件設定の記録であり、Ｅｘｉｆファイルのヘッダ部に書き込まれるタグ情報と同じものを含んでも良い。具体的には露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）などである。
【００５１】
前記「撮影情報データ」は、撮像装置の露出設定や焦点機能の自動化の為に、カメラに備えられたセンサーの撮影時に得た値、前記センサーの値から加工されたデータ、或いは前記センサーの値に基づいて設定されたカメラの撮影条件に分類されるが、これ以外にも撮像装置に備えられた、撮影モードダイヤル（例えばポートレート、スポーツ、マクロ撮影モード等）や、ストロボ強制発光の設定スイッチ等を撮影者がマニュアルで設定した情報も含まれる。
【００５２】
なお、「撮影情報データ」は独立してメディアに保存する態様とっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。前記「撮影情報データ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「撮影情報データ」、「シーン参照生データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００５３】
請求項４に記載の発明の画像処理装置は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データと、撮影条件に関する撮影情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、前記撮影情報データを用いて出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
を備えたことを特徴としている。
【００５４】
請求項４に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに、入力された撮影情報データを用いて最適化処理を施すことにより、新たに鑑賞画像参照データを生成する。従って、請求項３に記載の撮像装置の出力する広ダイナミックレンジ画像データを、容易に編集、加工することができ、家庭や職場環境でのプリント出力用途に利用することが可能となる。
【００５５】
「撮影情報データ」を用いた鑑賞画像参照データの最適化の例を下記に示す。
撮影情報データ中の「被写体構成」情報により、例えば部分的に彩度強調処理を施したり、ダイナミックレンジの広いシーンでは、覆い焼き処理を施したりすることが可能となる。「撮影シーンタイプ」情報により、例えば夜景撮影では、ホワイトバランス調整の度合いを緩め、カラーバランスを特別に調整することが可能となる。「ストロボ光源の反射光の量」情報により、撮影者と被写体との距離が推定され、例えば肌の白飛びを抑制する画像処理の条件設定に反映させることが出来る。「被写体の種類」情報により、例えば人物撮影では、シャープネスの度合いを緩め、平滑化処理を強めることにより、肌のしわを目立たないようにすることが出来る。
【００５６】
また、上述した「被写体構成」、「撮影シーンタイプ」、「ストロボ光源の反射光の量」、「被写体の種類」情報を補う目的で、「露出時間」、「シャッタースピード」、「絞り値（Ｆナンバー）」、「ＩＳＯ感度」、「輝度値」、「被写体距離範囲」、「光源」、「ストロボ発光の有無」、「被写体領域」、「ホワイトバランス」、「ズーム倍率」等の情報を、補助的に用いることが出来る。さらに、「ＩＳＯ感度」情報からノイズ抑制処理の適用量を調整したり、「光源」情報をホワイトバランスの再調整に用いたりすることが出来る。
【００５７】
請求項５に記載の画像記録装置は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記新たに生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００５８】
請求項５に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに最適化処理を施すことにより、新たに鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、請求項１に記載の撮像装置によって出力される広ダイナミックレンジ画像データを容易に編集、加工することができ、撮像により得られた画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【００５９】
請求項６に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データと、撮影条件に関する撮影情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、前記撮影情報データを用いて出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記新たに生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００６０】
請求項６に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離されたシーン参照生データに、入力された撮影情報データを用いて最適化処理を施すことにより、新たに鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、請求項３に記載の撮像装置によって出力される広ダイナミックレンジ画像データを容易に編集、加工することができ、撮像により得られた画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【００６１】
ここで、本発明の画像記録装置は、本発明の撮像装置により取得されるデジタル画像データに対し、本発明の画像処理を施す機構以外にも、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等、アナログカメラにより記録された写真感光材料の駒画像情報を入力するフィルムスキャナ、銀塩印画紙であるカラーペーパー上に再現された画像情報を入力するフラットベッドスキャナを備えていても良い。また本発明の撮像装置以外のデジタルカメラにより取得され、コンパクトフラッシュ、メモリースティック、スマートメディア、マルチメディアカード、フロッピーディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「メディア」に保存されたデジタル画像データを読み取る手段、或いはネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙など、公知のあらゆる「出力媒体」に鑑賞画像を形成する処理手段とを備えていても良い。
【００６２】
請求項７に記載の発明は、請求項１又は３に記載の発明において、
前記撮像装置は、高感度撮像素子と低感度撮像素子の２種類の撮像素子を備え、
前記シーン参照生データ生成手段は、撮像により前記高感度撮像素子から高感度シーン参照生データを、前記低感度撮像素子から低感度シーン参照生データを生成することを特徴としている。
【００６３】
請求項８に記載の発明は、請求項７に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００６４】
請求項９に記載の発明は、請求項７又は８に記載の発明において、
前記低感度撮像素子と前記高感度撮像素子とが、その幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴としている。
【００６５】
請求項７〜９に記載の発明によれば、撮像により、広いダイナミックレンジの画像データを得ることができる。
【００６６】
請求項１０に記載の発明は、請求項１、３、７、８、９の何れか一項に記載の発明において、
前記シーン参照画像データ生成手段は、前記撮像素子の種類毎に生成されたシーン参照生データのうち少なくとも２つのシーン参照生データに撮像素子特性補正処理を施して合成することにより、合成標準化されたシーン参照画像データを生成し、
前記シーン参照画像データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴している。
【００６７】
請求項１０に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザ自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００６８】
請求項１１に記載の発明は、請求項２又は４に記載の発明において、
前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴としている。
【００６９】
請求項１２に記載の発明は、請求項１１に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００７０】
請求項１１、１２に記載の発明によれば、撮像により得られた広いダイナミックレンジの画像データを利用することができる。
【００７１】
請求項１３に記載の発明は、請求項２、４、１１、１２の何れか一項に記載の発明において、
前記鑑賞画像参照データ生成手段は、前記生成されたシーン参照生データに撮像素子特性補正処理を施して合成し、さらに出力媒体上での鑑賞画像の形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成し、
前記鑑賞画像参照データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００７２】
請求項１３に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザ自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００７３】
請求項１４に記載の発明は、請求項５又は６の何れか一項に記載の発明において、
前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴としている。
【００７４】
請求項１５に記載の発明は、請求項１４に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００７５】
請求項１４、１５に記載の発明によれば、撮像装置から得られた広いダイナミックレンジの画像データを利用することができる。
【００７６】
請求項１６に記載の発明は、請求項５、６、１４、１５の何れか一項に記載の発明において、
前記鑑賞画像参照データ生成手段は、前記生成されたシーン参照生データに撮像素子特性補正処理を施して合成し、さらに出力媒体上での鑑賞画像の形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成し、
前記鑑賞画像参照データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００７７】
請求項１６に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザ自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００７８】
請求項１７に記載の発明は、請求項１、３、７〜１０の何れか一項に記載の発明において、
前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴としている。
【００７９】
請求項１８に記載の発明は、請求項２、４、１１〜１３の何れか一項に記載の発明において、
前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴としている。
【００８０】
請求項１９に記載の発明は、請求項５、６、１４〜１６の何れか一項に記載の発明において、
前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴としている。
【００８１】
請求項１７〜１９に記載の発明によれば、シーン参照画像データ、鑑賞画像参照データは標準的な色空間であるので、汎用的に利用することができる。
【００８２】
【発明の実施の形態】
以下、本発明に係る撮像装置の好ましい実施形態ついて、図面に基づいて説明する。
＜撮像装置２１の構成＞
まず、構成を説明する。
【００８３】
図１は、本発明に係る撮像装置２１の機能的構成を示すブロック図である。図１に示すように、撮像装置２１は、レンズ１、絞り２、低感度撮像素子ＳＬ及び高感度撮像素子ＳＨを有するＣＣＤ（固体撮像素子）３、アナログ処理回路４、Ａ／Ｄ変換器５、一時記憶メモリ６、画像処理部７、ヘッダ情報処理部８、記憶デバイス９、ＣＣＤ駆動回路１０、制御部１１、合成情報データ処理部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成されている。
【００８４】
撮像装置２１の光学系は、レンズ１、絞り２、ＣＣＤ３を備えて構成されている。
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。
ＣＣＤ３は、低感度撮像素子ＳＬ、高感度撮像素子ＳＨの感度の異なる２種類の撮像素子を有して構成されている。ＣＣＤ３は、レンズ１により受光面上に結像された被写体情報を、ＣＣＤ３内の各センサの光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号をそれぞれアナログ処理回路４へ順次出力する。
【００８５】
ここで、図２に、ＣＣＤ３における低感度撮像素子ＳＬと高感度撮像素子ＳＨの配置例を示す。図２に示すように、低感度撮像素子ＳＬと高感度撮像素子ＳＨは、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの半分、即ち１／２ピッチずらしてハニカム状に配置されている。高感度撮像素子ＳＨは、低感度撮像素子ＳＬに比べ受光面積が大きい。高感度撮像素子ＳＨは、感色性（色弁別能）を有さず、被写体の輝度のみに応答するモノクロ素子により構成され、低感度撮像素子ＳＬは、Ｂ、Ｇ、Ｒのそれぞれの感色性（色弁別能）を有するカラー素子により構成されている。
【００８６】
図３に、低感度撮像素子ＳＬにおける被写体輝度と信号電荷量の関係ＤＬ及び高感度撮像素子ＳＨにおける被写体輝度と信号電荷量の関係ＤＨを示す。図３に示すように、一般的に、高感度撮像素子ＳＨほど、より暗い（輝度の低い）被写体に対して応答することができるが、より明るい（輝度の高い）被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度撮像素子ＳＬは、より明るい被写体に対しても信号が飽和し難く応答することができるが、より暗い被写体に対して感度が不足するとともに、ノイズの影響を受けやすい。そのため、ＣＣＤ３は、低感度撮像素子ＳＬと高感度撮像素子ＳＨの２種類の撮像素子で構成し、ノイズの影響が少なく、ダイナミックレンジの広い画像を取得できるようになっている。よりダイナミックレンジを拡大するには、それぞれのダイナミックレンジの重なりを常に最小にすることが望ましい。
【００８７】
アナログ処理回路４は、ＣＣＤ３から入力された低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号に対して、それぞれＲ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。
【００８８】
Ａ／Ｄ変換器５は、アナログ処理回路４から入力された低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号をそれぞれデジタル画像データに変換し、低感度シーン参照生データ、高感度シーン参照生データとして出力する。
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器５から出力された低感度シーン参照生データ、高感度シーン参照生データをそれぞれ一時的に格納する。
【００８９】
画像処理部７は、シーン参照画像データ生成手段として、低感度シーン参照生データ、高感度シーン参照生データにそれぞれ撮像素子特性補正処理を施して合成し、合成標準化されたシーン参照画像データを生成する。撮像素子特性補正処理には、少なくとも低感度シーン参照生データ及び高感度シーン参照生データを生成した撮像素子の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のｓｃＲＧＢ、ＲＩＭＭ ＲＧＢやＥＲＩＭＭ ＲＧＢなどの標準色空間にマッピングする処理が含まれる。その他、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去及びモアレ除去等の周波数処理演算等を施す。
【００９０】
低感度シーン参照生データ、高感度シーン参照生データの合成方法としては、同じ位置の画素毎に、低感度シーン参照生データと高感度シーン参照生データの信号値を比較し、何れか一方の信号値を選択する方法がある。例えば、低感度画素の信号値に閾値を設け、低感度画素の信号値が当該閾値を下回った場合に、高感度画素を選択する。また、低感度シーン参照生データの信号値と高感度シーン参照生データの信号値をブレンド（例えば低感度４０％、高感度６０％）したり、３＊３画素領域で信号値を選択したり、ブレンドしたりすることにより合成する方法もある。
【００９１】
また、本実施の形態においては、低感度撮像素子ＳＬがカラー素子、高感度撮像素子ＳＨがモノクロ素子であるので、同じ位置（或いは領域）の画素毎に低感度シーン参照生データと高感度シーン参照生データの輝度値を合成する。即ち、低感度シーン参照生データの各画素のＲＧＢ信号を輝度値Ｌと色成分ａ、ｂに変換し、輝度値のみを高感度シーン参照生データの輝度値Ｌと合成し、Ｌ´とする。そして、生成されたＬ´ａｂをＲＧＢ´に変換する。
低感度ＲＧＢ→Ｌａｂ
低感度Ｌ＋高感度Ｌ→Ｌ´
Ｌ´ａｂ→ＲＧＢ´
【００９２】
また、画像処理部７は、鑑賞画像参照データ生成手段として、生成されたシーン参照画像データに対して、表示部１５において最適な画像を得るための最適化処理を施して鑑賞画像参照データを生成するとともに、差分データ生成手段として、シーン参照画像データと生成された鑑賞画像参照データの差分データを生成し、両者を対応付けてヘッダ処理部８へ出力する。最適化処理には、例えば、ｓＲＧＢ，
ＲＯＭＭ ＲＧＢ（Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ ＲＧＢ）等、表示部１５に適した色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、表示部１５の出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【００９３】
ヘッダ情報処理部８は、画像処理部７で生成された鑑賞画像参照データに対して、差分データ及び合成情報データ処理部１３により生成された合成情報データをヘッダ情報として書き込み処理する。
【００９４】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影により生成された鑑賞画像参照データ等を記録するメモリカード等の記録メディアと、撮像装置２１の制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
【００９５】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【００９６】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置２１の制御プログラム、各種処理プログラムを読み出して、読み出したプログラムに従って、後述する撮影記録処理を始めとする各種処理を実行する。即ち、制御部１１は、操作部１４からの操作信号に応じて、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１９、焦点距離調整回路１８、ＣＣＤ駆動回路１０、アナログ処理回路４、ストロボ駆動回路１６を制御して撮影を行い、シーン参照生データ生成手段として、低感度シーン参照生データ、高感度シーン参照生データを生成する。そして、画像処理部７、合成情報データ処理部１３、ヘッダ処理部８を制御して、各シーン参照生データからシーン参照画像データを生成し、生成されたシーン参照画像データから鑑賞画像参照データを生成し、記録制御手段として、鑑賞画像参照データにシーン参照画像データと鑑賞画像参照データの差分データ及び合成情報データを添付して記憶デバイス９の記録メディアに記録する。
【００９７】
合成情報データ処理部１３は、合成情報データ生成手段であり、生成されたシーン参照画像データの各画素について、低感度撮像素子ＳＬ由来か或いは高感度撮像素子ＳＨ由来か、即ち、各画素が低感度シーン参照生データ、高感度シーン参照生データの何れの信号値によるものかの情報（高感度と低感度の信号値をブレンドして合成した場合には、低感度、高感度の信号値の割合を示す情報、画素領域毎に信号値の選択やブレンドを行って合成した場合には画素領域毎の情報）を記録して合成情報データを生成し、ヘッダ情報処理部８に出力する。
【００９８】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。また、操作部１４は、表示部１５の表示画面上を覆うタッチパネルを有し、手指やタッチペン等で押下された表示画面上の力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部１１に出力する。
【００９９】
図４に、低感度シーン参照生データ及び高感度シーン参照生データからシーン参照画像データを生成する際に施す画像処理の内容を入力するための入力画面１４１の一例を示す。図４に示すように、入力画面１４１は、指示入力手段であり、タッチパネルにより、「平滑化レベル（なめらかさ）、鮮鋭化レベル（シャープネス）、階調変換レベル・・・」等の各種画像処理の処理レベルが入力できるようになっている。例えば、ユーザがこの入力画面１４１で強めの平滑化レベルを入力した場合、高感度撮像素子由来の成分に、より多くの平滑化処理が施される。
【０１００】
表示部１５は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されるモニタであり、制御部１１からの制御信号により、撮影されたデジタル画像データを表示するとともに、撮像装置２１の使用者が撮影に関する設定や条件を確認するための情報や設定や条件を入力するための表示画面を表示する。例えば、表示部１５は、撮像により生成された低感度シーン参照生データ及び高感度シーン参照生データに施す画像処理の内容をユーザが指示するための入力画面を表示する。
【０１０１】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１０２】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【０１０３】
＜撮像装置２１の動作＞
次に、動作について説明する。
図５は、操作部１４によりレリーズスイッチが押下された際に、制御部１１の制御により実行される撮影記録処理Ａを示すフローチャートである。以下、図５を参照して撮影記録処理Ａについて説明する。
【０１０４】
操作部１４のレリーズボタンが押下されると、撮影が行われる（ステップＳ１）。ここで、ステップ１における１回の撮影には、オートブランケット機能による撮影も含まれる。ＣＣＤ３の低感度撮像素子ＳＬ及び高感度撮像素子ＳＨから得られた撮像信号は、それぞれＡ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ２、３）。生成された低感度シーン参照生データ及び高感度シーン参照生データは、画像処理部７によりそれぞれ撮像素子特性補正処理が施されて色空間が標準化され（ステップＳ４）、その後合成されることにより（ステップＳ５）、合成標準化されたシーン参照画像データが生成される（ステップＳ６）。また、合成情報データ処理部１３により、生成されたシーン参照画像データの各画素について、低感度撮像素子ＳＬ由来の画素か高感度撮像素子ＳＨ由来の画素かが記録され、合成情報データが生成される（ステップＳ７）。
【０１０５】
次いで、生成されたシーン参照画像データに対して、表示部１５で表示画像を形成するために最適化する最適化処理が施され（ステップＳ８）、鑑賞画像参照データが生成される（ステップＳ９）。鑑賞画像参照データが生成されると、画像処理部７において、最適化処理前のシーン参照画像データから、最適化された鑑賞画像参照データが差分され、差分データが生成される（ステップＳ１０）。そして、生成された鑑賞画像参照データのファイルが生成され、このファイルのヘッダに合成情報データ及び差分データがタグ情報として添付され（ステップＳ１１）、撮影装置２１に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ１２）。
【０１０６】
図６は、ステップＳ１２で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。図６に示すように、記録メディアには、鑑賞画像参照データ、シーン参照画像データから鑑賞画像参照データを生成した際の差分データ及び合成情報データが関連付けて記録されている。この記録メディアを撮像装置２１から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、外部の装置に、撮影時の情報を出力することができる。
【０１０７】
ここで、鑑賞画像参照データへの差分データ、合成情報データの「添付」とは、必ずしも差分データ、合成情報データそのものを鑑賞画像参照データのファイルのヘッダとして記録メディアに記録する必要はなく、鑑賞画像参照データ、差分データ及び合成情報データが、これらを互いに関連付ける情報とともに記録メディアに記録されればよい。また、ここでは、記憶デバイス９の記録メディアにデータを記録することとしたが、撮像装置２１に通信Ｉ／Ｆを設け、通信ケーブルやネットワーク等の通信手段を介してサーバ等の備えるメディアに記録するようにしてもよい。
【０１０８】
以上説明したように、図１に示した撮像装置２１によれば、ＣＣＤ３は、低感度撮像素子ＳＬ、高感度撮像素子ＳＨという感度の異なる撮像素子を有し、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経て表示部１５の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、表示部１５における表示が可能となる。更に、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。
【０１０９】
なお、撮像装置２１において低感度撮像素子ＳＬと高感度撮像素子ＳＨにより生成されるシーン参照生データの階調数は、同一であってもよいが、高感度撮像素子ＳＨは低感度撮像素子ＳＬに撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答性能は図３に示すように直線的であることが望ましいが、感度の大きさ毎に異なっていてもよい。
【０１１０】
また、ＣＣＤ３は、低感度と高感度の２種類の撮像素子を備える構成としたが、更に中間度の撮像素子を備える構成としてもよい。
【０１１１】
また、図７に示すように、ＣＣＤ３を、ＣＣＤ３ａ〜３ｃを有する３ＣＣＤにより構成し、レンズ１を通過した被写体光を分光器Ｐで青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色光に分光し、Ｂ信号をＣＣＤ３ａが、Ｇ信号をＣＣＤ３ｂが、Ｒ信号をＣＣＤ３ｃがそれぞれ結像、受光するようにしてもよい。このとき、少なくとも、一つのＣＣＤ、例えば輝度について最も寄与率の高いＧ信号を受光するＣＣＤ３ｂが、低感度撮像素子ＳＬ、高感度撮像素子ＳＨにより構成されるようにする。これにより、精度が高く、色再現性のよいシーン参照生データを生成することができる。
【０１１２】
＜撮像装置２２の構成＞
次に、デジタル画像データの出力先においてより一層好ましい画像を得るために、撮像装置２１の構成に撮影情報データ処理部１２を追加して構成される撮像装置２２について説明する。図８に、撮像装置２２の機能的構成を示すブロック図を示す。
【０１１３】
撮影情報データ処理部１２は、撮影情報データを生成する。撮影情報データは、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報等である。
【０１１４】
その他の撮像装置２２の構成は撮像装置２１と同様であるので、説明を省略する。
【０１１５】
＜撮像装置２２の動作＞
図９は、図８に示す撮像装置２２において、操作部１４のレリーズスイッチが押下された際に、制御部１１の制御により実行される撮影記録処理Ｂを示すフローチャートである。以下、図９を参照して撮影記録処理Ｂについて説明する。
【０１１６】
操作部１４のレリーズボタンが押下されると、撮影が行われる（ステップＳ２１）。ここで、ステップ２１における１回の撮影には、オートブランケット機能による撮影も含まれる。ＣＣＤ３の低感度撮像素子ＳＬ及び高感度撮像素子ＳＨから得られた撮像信号は、それぞれＡ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ２２、２３）。また、撮影情報データ処理部１２において撮影情報データが生成される（ステップＳ２４）。
【０１１７】
生成された低感度シーン参照生データ及び高感度シーン参照生データは、画像処理部７によりそれぞれ撮像素子特性補正処理が施されて色空間が標準化され（ステップＳ２５）、その後合成されることにより（ステップＳ２６）、合成標準化されたシーン参照画像データが生成される（ステップＳ２７）。また、合成情報データ処理部１３により、生成されたシーン参照画像データの各画素について、低感度撮像素子ＳＬ由来の画素か高感度撮像素子ＳＨ由来の画素かが記録され、合成情報データが生成される（ステップＳ２８）。
【０１１８】
次いで、生成されたシーン参照画像データに対して、表示部１５の表示画面上で鑑賞画像を形成するために最適化する最適化処理が施され（ステップＳ２９）、鑑賞画像参照データが生成される（ステップＳ３０）。鑑賞画像参照データが生成されると、画像処理部７において、最適化処理前のシーン参照画像データから、最適化された鑑賞画像参照データが差分され、差分データが生成される（ステップＳ３１）。そして、生成された鑑賞画像参照データのファイルが生成され、このファイルのヘッダに差分データ、合成情報データ及び撮影情報データがタグ情報として添付され（ステップＳ３２）、撮影装置２２に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ３３）。
【０１１９】
図１０は、ステップＳ３３で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。図１０に示すように、記録メディアには、鑑賞画像参照データ、シーン参照画像データから鑑賞画像参照データを生成した際の差分データ、合成情報データ及び撮影情報データが関連付けて記録されている。この記録メディアを撮像装置２２から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、撮影により得られた情報を保持したまま外部の装置に出力することができる。更に、撮影における撮影条件設定等の撮影状況も併せて出力することができる。
【０１２０】
ここで、鑑賞画像参照データへの差分データ、合成情報データ、撮影情報データの「添付」とは、必ずしも差分データ、合成情報データ、撮影情報データそのものを鑑賞画像参照データ及び差分データのファイルのヘッダとして記録メディアに記録する必要はなく、鑑賞画像参照データ、差分データ、合成情報データ、撮影情報データが、これらを互いに関連付ける情報とともに記録メディアに記録されればよい。また、ここでは、記憶デバイス９の記録メディアにデータを記録することとしたが、撮像装置２２に通信Ｉ／Ｆを設け、通信ケーブルやネットワーク等の通信手段を介してサーバ等の備えるメディアに記録するようにしてもよい。
【０１２１】
以上説明したように、図８に示す撮像装置２２によれば、図１に示す撮像装置２１の効果に加え、更に、外部の出力装置において、撮影状況に応じた鑑賞画像参照データの生成が可能なデータを出力することができる。
【０１２２】
＜画像処理装置１１５の構成＞
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図１１は本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。図１１に示すように、画像処理装置１１５は、入力部１０１、ヘッダ情報解析部１０２、鑑賞画像参照データ及び差分データからシーン参照画像データを生成し、更に、合成情報データに基づいて、シーン参照画像データを低感度シーン参照生データと高感度シーン参照生データに分離、生成する第一処理部１１３、第一処理部１１３により生成された低感度シーン参照生データ及び高感度シーン参照生データに最適化処理を施して鑑賞画像参照データを生成する第二処理部１１４により構成されている。第一処理部１１３と、第二処理部１１４にはヘッダ情報解析部１０２が夫々接続されており、さらに第二処理部１１４には、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２が夫々接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１１６の統括的な制御下において動作する。
【０１２３】
入力部１０１は、記録メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置２１、２２により記録された広ダイナミックレンジ画像データのファイル（図６、図１０参照）が記録された記録メディアが装着されると、入力手段としての入力部１０１は、記録されたデータファイルを読み出して、ヘッダ情報解析部１０２へ出力する。なお、本実施の形態においては、入力部１０１は、装着された記録メディアからデータを読み出すこととして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１２４】
ヘッダ情報解析部１０２は、入力部１０１から入力されたデータを解析し、鑑賞画像参照データ、差分データ、合成情報データ、撮影情報データとに分け、合成情報データを合成情報データ処理部１０３へ、鑑賞画像参照データ及び差分データをシーン参照画像データ生成部１０４ａへ、撮影情報データを撮影情報データ処理部１０６へ出力する。
【０１２５】
第一処理部１１３は、図１１に示すように、合成情報データ処理部１０３、シーン参照画像データ生成部１０４ａ、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂ及び一時記憶メモリ１０５を有して構成されている。
【０１２６】
合成情報データ処理部１０３は、ヘッダ情報解析部１０２から合成情報データが入力されると、この合成情報データを一時的に保存する。
【０１２７】
シーン参照画像データ生成部１０４ａは、シーン参照画像データ生成手段として、ヘッダ情報解析部１０２から入力された鑑賞画像参照データと差分データを合成してシーン参照画像データを生成し、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂに出力する。
【０１２８】
低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂは、シーン参照生データ生成手段として、合成情報データ処理部１０３に記憶されている合成情報データを参照して、シーン参照画像データ生成部１０４ａから入力されたシーン参照画像データの各画素を低感度撮像素子由来成分と高感度撮像素子由来成分に分離することにより、低感度シーン参照生データ、高感度シーン参照生データを生成する。
【０１２９】
ここで、例えば、ある画素が低感度撮像素子由来成分の場合、シーン参照画像データの当該画素には高感度撮像素子由来成分の情報は保持されていない。即ち、分離により生成された低感度シーン参照生データ、高感度シーン参照生データは撮像装置２１、２２で得られた低感度シーン参照生データ、高感度シーン参照生データを完全に復元したものではなく、それぞれ情報の欠落した画素が存在する。しかしながら、ここで低感度シーン参照生データ、高感度シーン参照生データに分離することにより、鑑賞画像参照データ生成部１０７において、低感度撮像素子由来成分、高感度撮像素子由来成分のそれぞれに対して異なる画像処理を施すことができる。また、分離の際、欠落した画素の周辺画素が情報を保持している場合には、周辺画素から欠落した画素の情報を推定してもよい。
【０１３０】
一時記憶メモリ１０５は、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂにより生成された低感度シーン参照画像データ、高感度シーン参照画像データを一時的に記憶する。
【０１３１】
第二処理部１１４は、図１１に示すように、撮影情報データ処理部１０６、鑑賞画像参照データ生成部１０７、一時記憶メモリ１０８を有して構成されている。
【０１３２】
撮影情報データ処理部１０６は、ヘッダ情報処理部１０２から入力された撮影情報データに基づいて、撮影条件に応じた鑑賞画像参照データを生成するための生成条件を決定する。
【０１３３】
鑑賞画像参照データ生成部１０７は、鑑賞画像参照データ生成手段として、一時記憶メモリ１０５から低感度シーン参照生データ、高感度シーン参照生データを読み出し、設定入力部１０９から入力された撮像素子特性補正処理の内容に基づいて、低感度シーン参照生データ及び高感度シーン参照生データに撮像素子特性補正処理を施して合成し、更に撮影情報データ処理部１０６で決定された鑑賞画像参照データの生成条件及び設定入力部１０９から入力された記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の出力先に関する情報に基づいて、出力先において最適な画像を得るための最適化処理を施して鑑賞画像参照データを生成し、出力先に関する情報とともに一時記憶メモリ１０８へ出力する。最適化処理には、例えば、ｓＲＧＢ 、ＲＯＭＭ ＲＧＢ等の出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０１３４】
一時記憶メモリ１０８は、制御部１１６からの制御により鑑賞画像参照データ生成部１０７から入力された鑑賞画像参照データを設定入力部１０９からの出力先の情報に従い、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の何れかに出力する。
【０１３５】
設定入力部１０９は、キーボード等により構成され、本画像処理装置１１５にて生成されたデジタル画像データを出力する記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類に関する情報が入力されると、この情報を鑑賞画像参照データ生成部１０７に出力する。また、設定入力部１０９は、図４に示すのと同様のユーザインターフェースを備え、指示入力手段として、低感度シーン参照生データと高感度シーン参照生データに施す画像処理の内容を指示する情報、例えば、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去やモアレ除去等の周波数演算処理等、各種画像処理の程度を調整するためのパラメータ等が入力可能であり、入力された情報を鑑賞画像参照データ生成部１０７に出力する。
【０１３６】
以上の、ヘッダ情報解析部１０２、合成情報データ処理部１０３、シーン参照画像データ生成部１０４ａ、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂ、撮影情報データ処理部１０６、鑑賞画像参照データ生成部１０７という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１３７】
＜画像処理装置１１５の動作＞
図１２は、画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフローチャートである。以下、図を参照して画像処理装置１１５の動作について説明する。
【０１３８】
図６又は図１０に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップ４１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ４２）、鑑賞画像参照データ（ステップＳ４３）、合成情報データ（ステップＳ４４）、撮影情報データ（ステップＳ４５）、差分データ（ステップＳ４６）に分けられ、鑑賞画像参照データ、差分データ及び合成情報データは第一処理部１１３へ、撮影情報データは第二処理部１１４へ出力される。
【０１３９】
合成情報データが第一処理部１１３へ入力されると、合成情報データ処理部１０３に一時的に保存される。鑑賞画像参照データ及び差分データは、シーン参照画像データ生成部１０４ａに出力されて合成され（ステップＳ４７）、シーン参照画像データが生成される（ステップＳ４８）。次いで、低感度シーン参照生データ・高感度シーン参照生データ生成部１０４ｂにおいて、合成情報データ処理部１０３に記憶されている合成情報データに基づいて、シーン参照画像データの各画素が低感度撮像素子由来か高感度撮像素子由来かにより分離され（ステップＳ４９）、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ５０、５１）。
【０１４０】
次いで、低感度シーン参照生データ、高感度シーン参照生データは第二処理部１１４に出力され、鑑賞画像参照データ生成部１０７において、設定入力部１０９からの入力内容に基づいて、低感度シーン参照生データ、高感度シーン参照生データに撮像素子特性補正処理が施され、合成が行われる（ステップＳ５２）。
【０１４１】
次いで、鑑賞画像参照データ生成部１０７により、合成されたデータは、撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された出力先の情報に基づいて、出力先に応じた最適化処理が施され（ステップＳ５３）、鑑賞画像参照データが生成される（ステップＳ５４）。更に、ステップＳ４８で生成されたシーン参照画像データと、今回生成された鑑賞画像参照データとの差分データが生成され（ステップＳ５５）、鑑賞画像参照データに添付されて（ステップＳ５６）、設定入力部１０９により設定されたデバイスに出力される。
【０１４２】
なお、鑑賞画像参照データには差分データのみでなく、合成情報データ、撮影情報データを添付するようにすることが望ましい。このようにすると、出力先において、低感度シーン参照生データ、高感度シーン参照生データから再度鑑賞画像参照データを作り変えることができる。
【０１４３】
以上説明したように、本発明の画像処理装置１１５によれば、上述した撮像装置２１、２２の出力する鑑賞画像参照データ、差分データ、合成情報データ、撮影データ（撮像装置２２からのデータを利用する場合）から、再度ダイナミックレンジの広い低感度シーン参照生データ及び高感度シーン参照生データを生成し、これらの広いダイナミックレンジの画像データに対して所望の撮像素子特性補正処理を施して合成し、出力先に応じた最適化処理を施して、鑑賞画像参照データを生成すことができる。従って、撮像装置２１、２２で得られた広いダイナミックレンジの画像データを家庭や職場環境でのプリント出力用途に利用することが可能となる。
【０１４４】
＜画像記録装置２０１の構成＞
次に、本発明に係る画像記録装置の好ましい実施の形態について説明する。
図１３は本発明に係る画像記録装置２０１の外観構成を示す斜視図である。この実施の形態における画像記録装置２０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力メディアとして用いる出力デバイスとを備えた例である。
【０１４５】
画像記録装置２０１において、本体２０２の左側面にマガジン装填部２０３が設けられ、本体２０２内には出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられている。作成されたプリントは本体２０２の右側面に設けられたトレー２０６に排出される。さらに、本体２０２の内部には、露光処理部２０４の上方位置に制御部２０７が備えられている。
【０１４６】
また、本体２０２の上部には、ＣＲＴ２０８が配置されている。このＣＲＴ２０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ２０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部２０９が配置され、右側に反射原稿入力装置２１０が配置されている。
【０１４７】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットベッドスキャナで駒画像データに変換することができる。
【０１４８】
本体２０２の制御部２０７の配置位置には、画像読込部２１４が設けられている。画像読込部２１４はＰＣカード用アダプタ２１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ２１４ｂを備え、ＰＣカード２１３ａやＦＤ（フロッピー（登録商標）ディスク）２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像して複数の駒画像データが記憶されたメモリを有する。ＦＤ２１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０１４９】
ＣＲＴ２０８の前方には、操作部２１１が配置され、この操作部２１１は情報入力手段２１２を備える。情報入力手段２１２は、例えばタッチパネル等で構成される。
【０１５０】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリスティック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４は、本体２０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０１５１】
更に、本体２０２の制御部２０７の配置位置には、画像書込部２１５が設けられている。画像書込部２１５にはＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。
【０１５２】
更に、制御部２０７は図示しない通信手段を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像記録装置として機能することが可能になっている。
【０１５３】
＜画像記録装置２０１の内部構成＞
次に、画像記録装置２０１の内部構成について説明する。
図１４は画像記録装置２０１の内部構成を示すブロック図である。
【０１５４】
画像記録装置２０１の制御部２０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置２０１を構成する各部の動作を集中制御する。
【０１５５】
また、制御部２０７は、画像処理部２７０を有し、操作部２１１の情報入力手段１２からの入力信号に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部２１４から読み込まれた画像データ、及び通信手段（入力）２４０（図１５に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部２７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、プリントＰ１、Ｐ２、Ｐ３として、或いはＣＲＴ２０８、画像書込部２１５、通信手段（出力）２４１等により出力する。
【０１５６】
操作部２１１には、情報入力手段２１２が設けられている。情報入力手段２１２は、例えばタッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。また、操作部２１１は、キーボードやマウスを備えて構成するようにしてもよい。操作部２１１は、指示入力手段として、図４に示したような入力画面から、低感度シーン参照生データ及び高感度シーン参照生データに施す撮像素子特性補正処理の内容を指示入力できるようになっている。
【０１５７】
フィルムスキャナ部２０９は、アナログカメラにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置２１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０１５８】
画像読込部２１４は、デジタルカメラにより撮像して記録されたＰＣカード２１３ａやＦＤ２１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部２１４は、画像転送手段２３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ２１４ａに装着されたＰＣカード２１３ａや、ＦＤ用アダプタ２１４ｂに装着されたＦＤ２１３ｂに記録された駒画像データを読み取り、制御部２０７へ転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０１５９】
データ蓄積手段２７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０１６０】
テンプレート記憶手段２７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段２７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部２０７は、駒画像情報と当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択してサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０１６１】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部２１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０１６２】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０１６３】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０１６４】
露光処理部２０４は、画像処理部２７０で画像データを画像処理して生成された出力用画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に送る。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０１６５】
ＣＲＴ２０８は、制御部２０７から入力される画像情報を表示する。
【０１６６】
画像書込部２１５は、画像搬送部２３１としてＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像データを画像記録メディアに書き込むことができるようになっている。
【０１６７】
更に、画像処理部２７０は、通信手段（入力）２４０（図１５に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成したりすることも可能になっている。
【０１６８】
また、画像処理部２７０は、通信手段２４１（出力）（図１５に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０１６９】
このように画像記録装置２０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報を「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力メディア上で画像を観察する際に好ましい印象を与える画像となるように処理を行う画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像形成手段及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（出力）とを有する。
【０１７０】
＜画像処理部２７０の構成＞
図１５は、本発明に係る画像処理部２７０の機能的構成を示すブロック図である。フィルムスキャナ部２０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０１７１】
反射原稿入力装置２１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０１７２】
画像転送手段２３０及び通信手段（入力）２４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等を行い、画像処理部２７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４は、本発明に係る撮像装置２１、２２による形式の画像データが画像転送手段２３０及び通信手段（入力）２４０から入力されたか否かを判別し、入力された画像データをヘッダ情報解析部３０２に出力する。ヘッダ情報解析部３０２においては、入力されたデータを解析し、鑑賞画像参照データ及び差分データをシーン参照画像データ生成部３０４へ、合成情報データを合成情報データ処理部３０３へ、撮影情報データを撮影情報データ処理部へそれぞれ出力する。
【０１７３】
出力画像の大きさについての指定は操作部２１１から入力されるが、この他に通信手段（入力）２４０に送信された出力画像の大きさについての指定や、画像転送手段２３０により取得された画像データのヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０１７４】
ヘッダ情報解析部３０２により解析された合成情報データは、合成情報データ処理部３０３に出力され、一時的に保存される。ヘッダ情報解析部３０２により解析された鑑賞参照データ及び差分データは、シーン参照画像データ生成手段としてのシーン参照画像データ生成部３０４へ出力され、合成されてシーン参照画像データが生成される。生成されたシーン参照画像データは、シーン参照生データ生成手段としての低感度シーン参照生データ・高感度シーン参照生データ生成部３０５により、合成情報データ３０３に記憶された合成情報データに基づいて低感度撮像素子由来成分と高感度撮像素子由来成分とに分離され、低感度シーン参照生データ及び高感度シーン参照生データが生成され、データ蓄積手段２７１へ出力される。
【０１７５】
ヘッダ解析部３０２により解析された撮影情報データは、撮影情報データ処理部３０６に出力され、鑑賞画像参照データの生成に関わる画像処理条件が決定される。
操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１は、低感度シーン参照生データ・高感度シーン参照生データ生成部３０５により生成された低感度シーン参照生データ、高感度シーン参照生データから、出力先のデバイス及び出力メディアに適合された鑑賞画像参照データを作成するための画像処理条件を、鑑賞画像参照データ生成部３０７へと転送する。
【０１７６】
鑑賞画像参照データ生成部３０７は、鑑賞画像参照データとして、撮影情報データ処理部３０６で作成された画像処理条件及び画像調整処理部７０１から送信された画像処理条件に基づき、低感度シーン参照生データ、高感度シーン参照生データを合成標準化し、更に最適化することにより鑑賞画像参照データを生成する。
【０１７７】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段２７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部２１１又は制御部２０７の指令に基づき、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２４０、テンプレート処理部７０５から受け取った画像データに対して、出力メディア上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行って出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段２７１へ送出する。
【０１７８】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データを画像形成手段としてのＣＲＴ２０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、画像形成手段としての露光処理部２０４に画像データを送出する。本発明の画像記録装置２０１に、画像形成手段として、さらに大判インクジェットプリンタなど、外部プリンタ装置２５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０１７９】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２４１へ画像データを転送する。
【０１８０】
なお、鑑賞画像参照データ生成部３０７において作成される画像データは、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９における処理を前提としたものであり、画像データ書式作成処理部７０９においては、鑑賞画像参照データの書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０１８１】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１８２】
また、ヘッダ情報解析部３０２、合成情報データ処理部３０３、撮影情報データ処理部３０６、シーン参照画像データ生成部３０４、低感度シーン参照生データ・高感度シーン参照生データ生成部３０５、鑑賞画像参照データ生成部３０７、という区分は、画像処理部２７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１８３】
＜画像処理部２７０の動作＞
図１６は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理を示すフローチャートである。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０１８４】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ６１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１又は２２によるデジタル画像データファイルであると判別されると（ステップＳ６２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ６３）、鑑賞画像参照データ（ステップＳ６４）、合成情報データ（ステップＳ６５）、撮影情報データ（ステップＳ６６）、差分データ（ステップＳ６７）に分けられ、鑑賞画像参照データ及び差分データはシーン参照画像データ生成部３０４へ、合成情報データは合成情報データ処理部３０３へ、撮影情報データは撮影情報データ処理部３０６へそれぞれ出力される。
【０１８５】
合成情報データは、合成情報データ処理部３０３に一時的に保存される。鑑賞画像参照データ及び差分データは、シーン参照画像データ生成部３０４において合成され（ステップＳ６８）、シーン参照画像データが生成される（ステップＳ６９）。次いで、低感度シーン参照生データ・高感度シーン参照生データ生成部３０５において、合成情報データ処理部３０３に記憶されている合成情報データに基づいて、シーン参照画像データの各画素が低感度撮像素子由来か高感度撮像素子由来かにより分離され（ステップＳ７０）、低感度シーン参照生データ、高感度シーン参照生データが生成される（ステップＳ７１、７２）。
【０１８６】
撮影情報データは、撮影情報データ処理部３０６に出力され、撮影情報データ処理部３０６により撮影情報データに基づいて撮影条件に応じた鑑賞画像参照データを生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、低感度シーン参照生データ及び高感度シーン参照生データに施す撮像素子特性補正処理の処理条件、出力デバイス及び出力メディアに適合された鑑賞画像参照データを作成するための画像処理条件、例えば、出力デバイスに応じてｓＲＧＢ、ＲＯＭＭ ＲＧＢ等の色空間に変換するための画像処理条件が決定される。生成された低感度シーン参照生データ及び高感度シーン参照生データは鑑賞画像参照データ生成部３０７に出力され、画像調整処理部７０１において生成された撮像素子特性補正処理の処理条件に基づいて撮像素子特性補正処理が施され、合成が行われる（ステップＳ７３）。
【０１８７】
次いで、鑑賞画像参照データ生成部３０７により、合成されたデータは、画像調整処理部７０１からの画像処理条件に基づいて最適化処理が施され（ステップＳ７４）、鑑賞画像参照データが生成される（ステップＳ７５）。そして、出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される。鑑賞画像参照データは、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ７６）、操作部２１１により指定された出力先から出力される（ステップＳ７７）。
【０１８８】
以上説明したように、本発明の画像記録装置２０１によれば、上述した撮像装置２１、２２の出力する鑑賞画像参照データ、差分データ、合成情報データ、撮影データ（撮像装置２２からのデータを利用する場合）から、再度ダイナミックレンジの広い低感度シーン参照生データ及び高感度シーン参照生データを生成し、これらの広いダイナミックレンジの画像データに対して所望の撮像素子特性補正処理を施して合成し、出力先に応じた最適化処理を施して、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、迅速に鑑賞画像を形成することができる。従って、撮像装置２１、２２で撮影により得られた画像データの情報損失を伴うことなく、最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【０１８９】
【発明の効果】
以上述べたように、本発明の撮像装置によれば、感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データから合成標準化されたシーン参照画像データの生成を経てカメラモニタ等の出力媒体上での鑑賞に最適化された鑑賞画像参照データを生成するようにしたことにより、撮影された画像の迅速な表示が可能となる。また、シーン参照画像データの各画素が低感度由来か高感度由来かを示す情報を記録するとともに、シーン参照画像データと鑑賞画像参照データとの差分を求め、これらの情報を鑑賞画像参照データに関連付けて記録するので、撮影時の情報を保持することができる。更に、撮影情報データを出力するようにしたことで、外部の装置において、鑑賞画像参照データから再度画像を作成する場合に、撮影状況に応じた鑑賞画像参照データの生成が可能となる。
【０１９０】
また、本発明の画像処理装置によれば、前記撮像装置の出力する鑑賞画像参照データと差分データから、シーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離された感度毎のシーン参照生データに、出力先に応じた最適化処理を施す。従って、前記撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等、公知のあらゆる「出力媒体」への出力用に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを生成することができ、前記撮像装置の出力する広ダイナミックレンジ画像データを家庭や職場環境でのプリント出力用途に利用することが可能となる。
【０１９１】
本発明の画像記録装置によれば、前記撮像装置の出力する鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成し、更にこのシーン参照画像データを、入力された合成情報データに基づいて分離し、分離された感度毎のシーン参照生データに、出力先に応じた最適化処理を施すことにより、新たに鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、前記撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙上に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを生成し、迅速に鑑賞画像を形成することが達成される。
【０１９２】
また、予想外であったが、本発明を適用したデジタルカメラからの取得画像データから、本発明の画像処理装置により銀塩プリントの作成を試みた結果、ハイライト側の飛びやシャドー側の潰れを著しく抑制出来、銀塩プリントの画質を大幅に向上しうることがわかった。
【０１９３】
さらに驚くべきことに、フィルムスキャナに本発明を適用し、本発明の画像処理装置により銀塩プリントの作成を試みた結果、ハイライト側の飛びやシャドー側の潰れ以外にも、フィルムに起因する粒状ノイズを効果的に抑制することに効果があることもわかった。
【図面の簡単な説明】
【図１】本発明に係る撮像装置２１の機能的構成を示すブロック図である。
【図２】図１のＣＣＤ３における低感度撮像素子ＳＬと高感度撮像素子ＳＨの配置例を示す模式図である。
【図３】図１の低感度撮像素子ＳＬにおける被写体輝度と信号電荷量の関係ＤＬ及び高感度撮像素子ＳＨにおける被写体輝度と信号電荷量の関係ＤＨを示すグラフである。
【図４】図１の表示部１５に表示される入力画面１４１の一例を示す図である。
【図５】図１の制御部１１により実行される撮影記録処理Ａを示すフローチャートである。
【図６】図５のステップＳ１２で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。
【図７】図１のＣＣＤ３を、ＣＣＤ３ａ〜３ｃを有する３ＣＣＤにより構成した例を示す図である。
【図８】本発明に係る撮像装置２２の機能的構成を示すブロック図である。
【図９】図８の撮像装置２２において、制御部１１の制御により実行される撮影記録処理Ｂを示すフローチャートである。
【図１０】図９のステップＳ３３で記憶デバイス９の記録メディアに記録されるデジタル画像ファイルのデータ構造を示す図である。
【図１１】本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。
【図１２】画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフローチャートである。
【図１３】本発明に係る画像記録装置２０１の外観斜視図である。
【図１４】図１１の画像記録装置２０１の内部構成を示す図である。
【図１５】図１２の画像処理部２７０の機能的構成を示すブロック図である。
【図１６】図１１の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理を示すフローチャートである。
【符号の説明】
１ レンズ
２ 絞り
３ ＣＣＤ
４ アナログ処理回路
５ Ａ／Ｄ変換器
６ 一時記憶メモリ
７ 画像処理部
８ ヘッダ情報処理部
９ 記憶デバイス
１０ ＣＣＤ駆動回路
１１ 制御部
１２ 撮影情報データ処理部
１３ 合成情報データ処理部
１４ 操作部
１５ 表示部
１６ ストロボ駆動回路
１７ ストロボ
１８ 焦点距離調整回路
１９ 自動焦点駆動回路
２０ モータ
２１ 撮像装置
２２ 撮像装置
１０１ 入力部
１０２ ヘッダ情報解析部
１０３ 合成情報データ処理部
１０４ａ シーン参照画像データ生成部
１０４ｂ 低感度シーン参照生データ・高感度シーン参照生データ生成部
１０５ 一時記憶メモリ
１０６ 撮影情報データ処理部
１０７ 鑑賞画像参照データ生成部
１０８ 一時記憶メモリ
１０９ 設定入力部
１１０ 記憶デバイス
１１１ 出力デバイス
１１２ 表示デバイス
１１３ 第一処理部
１１４ 第二処理部
１１５ 画像処理装置
２０１ 画像記録装置
２０２ 本体
２０３ マガジン装填部
２０４ 露光処理部
２０５ プリント作成部
２０６ トレー
２０７ 制御部
２０８ ＣＲＴ
２０９ フィルムスキャナ部
２１０ 反射原稿入力装置
２１１ 操作部
２１２ 情報入力手段
２１３ａ ＰＣカード
２１３ｂ ＦＤ
２１４ 画像読込部
２１４ａ ＰＣカード用アダプタ
２１４ｂ ＦＤ用アダプタ
２１５ 画像書込部
２１５ａ ＦＤ用アダプタ
２１５ｂ ＭＯ用アダプタ
２１５ｃ 光ディスク用アダプタ
２１６ａ ＦＤ
２１６ｂ ＭＯ
２１６ｃ 光ディスク
２３０ 画像転送手段
２３１ 画像搬送部
２４０ 通信手段（入力）
２４１ 通信手段（出力）
２５１ 外部プリンタ
２７０ 画像処理部
７０１ 画像調整処理部
７０２ フィルムスキャンデータ処理部
７０３ 反射原稿スキャンデータ処理部
７０４ 画像データ書式解読処理部
７０５ テンプレート処理部
７０６ ＣＲＴ固有処理部
７０７ プリンタ固有処理部１
７０８ プリンタ固有処理部２
７０９ 画像データ書式作成処理部
３０２ ヘッダ情報解析部
３０３ 合成情報データ処理部
３０４ シーン参照画像データ生成部
３０５ 低感度シーン参照生データ・高感度シーン参照生データ生成部
３０６ 撮影情報データ処理部
３０７ 鑑賞画像参照データ生成部
２７１ データ蓄積手段
２７２ テンプレート記憶手段
Claims (19)
- 感度の異なる少なくとも２種類の撮像素子を有する撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成された少なくとも２つのシーン参照生データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成する合成情報データ生成手段と、
前記生成されたシーン参照画像データに対して、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記生成されたシーン参照画像データと前記生成された鑑賞画像参照データとの差分データを生成する差分データ生成手段と、
前記鑑賞画像参照データに前記差分データと前記合成情報データとを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴とする撮像装置。 - 感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
を備えたことを特徴とする画像処理装置。 - 感度の異なる少なくとも２種類の撮像素子を有する撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成された少なくとも２つのシーン参照生データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データをシーン参照生データに分離するための合成情報データを生成する合成情報データ生成手段と、
前記生成されたシーン参照画像データに対して、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記シーン参照画像データと前記鑑賞画像参照データとの差分データを生成する差分データ生成手段と、
前記鑑賞画像参照データに前記差分データと、前記合成情報データ、ならびに撮影条件に関する撮影情報データとを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴とする撮像装置。 - 感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データと、撮影条件に関する撮影情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、前記撮影情報データを用いて出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
を備えたことを特徴とする画像処理装置。 - 感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記新たに生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴とする画像記録装置。 - 感度の異なる少なくとも２種類の撮像素子を有する撮像装置によって生成された鑑賞画像参照データと、当該鑑賞画像参照データに添付された差分データと、前記鑑賞画像参照データと前記差分データとにより生成されるシーン参照画像データをシーン参照生データに分離するための合成情報データと、撮影条件に関する撮影情報データとを入力する入力手段と、
前記入力された鑑賞画像参照データと差分データから、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記合成情報データに基づいて前記生成されたシーン参照画像データを分離することによりシーン参照生データを生成するシーン参照生データ生成手段と、
前記生成されたシーン参照生データに対し、前記撮影情報データを用いて出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記新たに生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴とする画像記録装置。 - 前記撮像装置は、高感度撮像素子と低感度撮像素子の２種類の撮像素子を備え、
前記シーン参照生データ生成手段は、撮像により前記高感度撮像素子から高感度シーン参照生データを、前記低感度撮像素子から低感度シーン参照生データを生成することを特徴とする請求項１又は３に記載の撮像装置。 - 前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴とする請求項７に記載の撮像装置。
- 前記低感度撮像素子と前記高感度撮像素子とが、その幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴とする請求項７又は８に記載の撮像装置。
- 前記シーン参照画像データ生成手段は、前記撮像素子の種類毎に生成されたシーン参照生データのうち少なくとも２つのシーン参照生データに撮像素子特性補正処理を施して合成することにより、合成標準化されたシーン参照画像データを生成し、
前記シーン参照画像データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴とする請求項１、３、７、８、９の何れか一項に記載の撮像装置。 - 前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴とする、請求項２又は４に記載の画像処理装置。
- 前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴とする請求項１１に記載の画像処理装置。
- 前記鑑賞画像参照データ生成手段は、前記生成されたシーン参照生データに撮像素子特性補正処理を施して合成し、さらに出力媒体上での鑑賞画像の形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成し、
前記鑑賞画像参照データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴とする請求項２、４、１１、１２の何れか一項に記載の画像処理装置。 - 前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴とする、請求項５又は６に記載の画像記録装置。
- 前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴とする請求項１４に記載の画像記録装置。
- 前記鑑賞画像参照データ生成手段は、前記生成されたシーン参照生データに撮像素子特性補正処理を施して合成し、さらに出力媒体上での鑑賞画像の形成のために最適化する画像処理を施して、新たな鑑賞画像参照データを生成し、
前記鑑賞画像参照データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴とする請求項５、６、１４、１５の何れか一項に記載の画像記録装置。 - 前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴とする請求項１、３、７〜１０の何れか一項に記載の撮像装置。
- 前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴とする請求項２、４、１１〜１３の何れか一項に記載の画像処理装置。
- 前記シーン参照画像データの色空間が、ｓｃＲＧＢ、ＲＩＭＭ ＲＧＢ、ＥＲＩＭＭ ＲＧＢの何れかであり、前記鑑賞画像参照データの色空間にｓＲＧＢ、ＲＯＭＭ ＲＧＢが含まれることを特徴とする請求項５、６、１４〜１６の何れか一項に記載の画像記録装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122663A JP4131192B2 (ja) | 2003-04-25 | 2003-04-25 | 撮像装置、画像処理装置及び画像記録装置 |
| US10/829,142 US7312824B2 (en) | 2003-04-25 | 2004-04-21 | Image-capturing apparatus, image processing apparatus and image recording apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122663A JP4131192B2 (ja) | 2003-04-25 | 2003-04-25 | 撮像装置、画像処理装置及び画像記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004328532A true JP2004328532A (ja) | 2004-11-18 |
| JP4131192B2 JP4131192B2 (ja) | 2008-08-13 |
Family
ID=33296610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003122663A Expired - Fee Related JP4131192B2 (ja) | 2003-04-25 | 2003-04-25 | 撮像装置、画像処理装置及び画像記録装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7312824B2 (ja) |
| JP (1) | JP4131192B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013141071A1 (ja) * | 2012-03-22 | 2013-09-26 | 富士フイルム株式会社 | 画像表示装置及び方法 |
| JP2017534229A (ja) * | 2014-11-05 | 2017-11-16 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| JP2020140392A (ja) * | 2019-02-27 | 2020-09-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US10868970B2 (en) | 2018-08-07 | 2020-12-15 | Canon Kabushiki Kaisha | Image processing apparatus outputting display environment, image processing method, and storage medium |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7299985B2 (en) * | 2004-08-31 | 2007-11-27 | Symbol Technologies, Inc. | Transmitting enhanced scanner signals on a single channel |
| TWI246031B (en) * | 2004-09-17 | 2005-12-21 | Ulead Systems Inc | System and method for synthesizing multi-exposed image |
| US8239352B1 (en) | 2004-11-19 | 2012-08-07 | Adobe Systems Incorporated | Method and apparatus for determining whether a private data area is safe to preserve |
| US7321504B2 (en) * | 2005-04-21 | 2008-01-22 | Micron Technology, Inc | Static random access memory cell |
| JP4706466B2 (ja) * | 2005-12-16 | 2011-06-22 | 株式会社日立製作所 | 撮像装置 |
| JP5100066B2 (ja) * | 2006-09-06 | 2012-12-19 | パナソニック株式会社 | 撮像装置および撮像方法 |
| KR20090010803A (ko) * | 2007-07-24 | 2009-01-30 | 삼성전자주식회사 | 카메라에서 획득된 영상데이터를 표시하는 방법 및휴대단말기 |
| CN101355659A (zh) * | 2007-07-27 | 2009-01-28 | 鸿富锦精密工业（深圳）有限公司 | 固态图像感测器 |
| EP2267654A1 (en) * | 2009-06-23 | 2010-12-29 | Research in Motion Limited | Adjustment of sharpness during digital zoom in digital photography |
| US8665351B2 (en) * | 2009-07-23 | 2014-03-04 | Nikon Corporation | Image processing device, electronic camera, and storage medium storing image processing program |
| JP2013057824A (ja) * | 2011-09-08 | 2013-03-28 | Sony Corp | 表示装置、表示方法、および電子機器 |
| GB201119405D0 (en) * | 2011-11-10 | 2011-12-21 | Univ East Anglia | Spectral estimation method,system and reference target design system |
| JP2017108309A (ja) * | 2015-12-10 | 2017-06-15 | オリンパス株式会社 | 撮像装置および撮像方法 |
| US10165194B1 (en) * | 2016-12-16 | 2018-12-25 | Amazon Technologies, Inc. | Multi-sensor camera system |
| KR102648747B1 (ko) | 2019-01-18 | 2024-03-20 | 삼성전자주식회사 | Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법 |
| US11176643B1 (en) * | 2020-05-04 | 2021-11-16 | Apple Inc. | Circuit for correcting chromatic aberration through sharpening |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001008104A (ja) * | 1999-06-23 | 2001-01-12 | Fuji Photo Film Co Ltd | 広ダイナミックレンジ撮像装置 |
| JP2001008092A (ja) * | 1999-06-22 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像データ形成装置および画像データ処理方法 |
| JP2002040321A (ja) * | 2000-07-24 | 2002-02-06 | Olympus Optical Co Ltd | 電子カメラ |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4212134B2 (ja) * | 1997-12-25 | 2009-01-21 | 三洋電機株式会社 | 画像信号処理装置 |
| JP4018820B2 (ja) * | 1998-10-12 | 2007-12-05 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
| JP3678941B2 (ja) * | 1999-05-28 | 2005-08-03 | シャープ株式会社 | 画像処理装置及びそれを備えた画像形成装置 |
| JP3611487B2 (ja) * | 1999-08-02 | 2005-01-19 | シャープ株式会社 | カラー画像形成方法およびカラー画像形成装置 |
| JP4088959B2 (ja) * | 2001-01-09 | 2008-05-21 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US6924841B2 (en) * | 2001-05-02 | 2005-08-02 | Agilent Technologies, Inc. | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels |
| JP4532800B2 (ja) * | 2001-11-08 | 2010-08-25 | キヤノン株式会社 | 撮像装置及びシステム |
| JP2004112675A (ja) * | 2002-09-20 | 2004-04-08 | Konica Minolta Holdings Inc | 画像データ提供方法、記録装置及びプログラム |
| JP3988189B2 (ja) * | 2002-11-20 | 2007-10-10 | ソニー株式会社 | 固体撮像装置 |
| US7598986B2 (en) * | 2003-01-10 | 2009-10-06 | Fujifilm Corporation | Image pick-up apparatus and white balance control method |
| US7274393B2 (en) * | 2003-02-28 | 2007-09-25 | Intel Corporation | Four-color mosaic pattern for depth and image capture |
-
2003
- 2003-04-25 JP JP2003122663A patent/JP4131192B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-21 US US10/829,142 patent/US7312824B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001008092A (ja) * | 1999-06-22 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像データ形成装置および画像データ処理方法 |
| JP2001008104A (ja) * | 1999-06-23 | 2001-01-12 | Fuji Photo Film Co Ltd | 広ダイナミックレンジ撮像装置 |
| JP2002040321A (ja) * | 2000-07-24 | 2002-02-06 | Olympus Optical Co Ltd | 電子カメラ |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205204A (zh) * | 2012-03-22 | 2014-12-10 | 富士胶片株式会社 | 图像显示装置及方法 |
| US9117410B2 (en) | 2012-03-22 | 2015-08-25 | Fujifilm Corporation | Image display device and method |
| US9536479B2 (en) | 2012-03-22 | 2017-01-03 | Fujifilm Corporation | Image display device and method |
| WO2013141071A1 (ja) * | 2012-03-22 | 2013-09-26 | 富士フイルム株式会社 | 画像表示装置及び方法 |
| US12003864B2 (en) | 2012-09-04 | 2024-06-04 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US11025831B2 (en) | 2012-09-04 | 2021-06-01 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| JP2017534229A (ja) * | 2014-11-05 | 2017-11-16 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
| JP2022008508A (ja) * | 2014-11-05 | 2022-01-13 | デューライト・リミテッド・ライアビリティ・カンパニー | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
| JP7000157B2 (ja) | 2014-11-05 | 2022-01-19 | デューライト・リミテッド・ライアビリティ・カンパニー | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
| US11394894B2 (en) | 2014-11-06 | 2022-07-19 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US11356647B2 (en) | 2015-05-01 | 2022-06-07 | Duelight Llc | Systems and methods for generating a digital image |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US12003853B2 (en) | 2016-09-01 | 2024-06-04 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US11455829B2 (en) | 2017-10-05 | 2022-09-27 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10586097B2 (en) | 2017-10-05 | 2020-03-10 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11699219B2 (en) | 2017-10-05 | 2023-07-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10868970B2 (en) | 2018-08-07 | 2020-12-15 | Canon Kabushiki Kaisha | Image processing apparatus outputting display environment, image processing method, and storage medium |
| JP2020140392A (ja) * | 2019-02-27 | 2020-09-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP7329932B2 (ja) | 2019-02-27 | 2023-08-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7312824B2 (en) | 2007-12-25 |
| US20040212688A1 (en) | 2004-10-28 |
| JP4131192B2 (ja) | 2008-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4131192B2 (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP2004173010A (ja) | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 | |
| JP4406195B2 (ja) | 画像データの出力画像調整 | |
| US20040247175A1 (en) | Image processing method, image capturing apparatus, image processing apparatus and image recording apparatus | |
| JPWO2005079056A1 (ja) | 画像処理装置、撮影装置、画像処理システム、画像処理方法及びプログラム | |
| JP2005026800A (ja) | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 | |
| JP2004096500A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| US20040041920A1 (en) | Image forming method, image processing apparatus, and image recording apparatus | |
| US7324702B2 (en) | Image processing method, image processing apparatus, image recording apparatus, program, and recording medium | |
| JP2006203566A (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
| JP2004088345A (ja) | 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体 | |
| JP2004336521A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
| JP2004328530A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| US7609425B2 (en) | Image data processing apparatus, method, storage medium and program | |
| JP2004096508A (ja) | 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体 | |
| JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| WO2006077703A1 (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP4623024B2 (ja) | 電子カメラ | |
| JP2002300405A (ja) | 画像圧縮方法 | |
| JP4292873B2 (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
| JP2005039313A (ja) | 画像処理装置 | |
| JP2004328132A (ja) | 画像撮像装置、画像処理装置及び画像処理プログラム | |
| JP2006222612A (ja) | Ｒａｗデータ出力装置、ｒａｗデータ構造及びｒａｗデータ出力方法 | |
| JP2006203565A (ja) | 画像処理装置、画像記録装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040830 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060421 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080430 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080513 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |