JP2004328530A

JP2004328530A - Imaging apparatus, image processing apparatus, and image recording apparatus

Info

Publication number: JP2004328530A
Application number: JP2003122639A
Authority: JP
Inventors: Hiroaki Takano; 博明高野; Tsukasa Ito; 司伊藤
Original assignee: Konica Minolta Photo Imaging Inc
Current assignee: Konica Minolta Photo Imaging Inc
Priority date: 2003-04-25
Filing date: 2003-04-25
Publication date: 2004-11-18

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of recording picked-up image information of a wide dynamic range having no information loss by a general-purpose method having reduced processing load, and an image processing apparatus and an image recording apparatus capable of easily editing and processing the picked-up image information of the wide dynamic range which is recorded by this imaging apparatus. <P>SOLUTION: This imaging apparatus 21 generates low sensitivity scene reference raw data and high sensitivity scene reference raw data which are generated by imaging and composite auxiliary data as information required for generating scene reference image data synthesized and standardized from each of the reference raw data. The apparatus 21 adds the composite auxiliary data as header information to the low sensitivity scene reference raw data and high sensitivity scene reference raw data, and records the data in the recording medium of a storage device 9. The image processing apparatus and the image recording apparatus generate appreciation image reference data on the basis of the data outputted from the imaging apparatus 21. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、情報損失のない広いダイナミックレンジの撮像画像情報を汎用的な方法で記録するデジタルカメラ等の撮像装置、斯かる撮像装置により得られた広ダイナミックレンジ画像情報に対して出力媒体上での鑑賞画像形成用に最適化処理を施す画像処理装置及び画像記録装置に関する。
【０００２】
【従来の技術】
今日、撮像装置で撮影されたデジタル画像データは、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｃＲｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされたりするなど、その表示・プリント方法は多種多様化してきている。
【０００３】
また、デジタル画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【０００４】
こうした多様な表示・プリント方法に対応して、撮像装置で撮影されたデジタル画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くのデジタル画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「ＭｕｌｔｉｍｅｄｉａＳｙｓｔｅｍｓａｎｄＥｑｕｉｐｍｅｎｔ−ＣｏｌｏｕｒＭｅａｓｕｒｅｍｅｎｔａｎｄＭａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：ＣｏｌｏｕｒＭａｎａｇｅｍｅｎｔ−ＤｅｆａｕｌｔＲＧＢＣｏｌｏｕｒＳｐａｃｅ−ｓＲＧＢ」ＩＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は、標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【０００５】
一般的に、デジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせて感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単にＣＣＤと称する）を備えている。デジタルカメラにより出力されるデジタル画像データは、このＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【０００６】
撮像素子の光電変換機能の補正としては、例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等がある。また、規格化された所定形式のデータフォーマットとしては、例えばＥｘｉｆ（ＥｘｃｈａｎｇｅａｂｌｅＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）ファイルの非圧縮ファイルとして採用されている「ＢａｓｅｌｉｎｅＴｉｆｆＲｅｖ．６．０ＲＧＢＦｕｌｌＣｏｌｏｒＩｍａｇｅ」、ＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【０００７】
Ｅｘｉｆファイルは、ｓＲＧＢに準拠したものであり、撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【０００８】
例えば、どのようなデジタルカメラであっても、Ｅｘｉｆ形式のように、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」とも称す）で表示する事を示すタグ情報や、画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報をデジタル画像データのファイルヘッダにメタデータとして書き込む機能及びそのようなデータフォーマット形式を採用してさえいれば、デジタル画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）によりタグ情報を解析して、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処理を施したりすることが出来る。そのため、異なるディスプレイ間の装置特性の差異を低減したり、デジタルカメラで撮影されたデジタル画像データをディスプレイモニタ上で好適な状態で鑑賞したりすることが可能になっている。
【０００９】
また、デジタル画像データのファイルヘッダに書き込まれる付加情報としては、上述した機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報などを示すタグ（コード）が用いられている。画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１０】
ところで、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像は、用いられている蛍光体又は色材の構成によって色再現域が異なる。例えば、ｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタの色再現領域は明るい緑や青の領域が広く銀塩写真プリント・インクジェットプリンタ・印刷等のハードコピーでは再現できない領域があり、逆に印刷・インクジェットのシアン領域や銀塩写真の黄色領域にはｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニタでは再現できない領域が存在する（例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４４頁参照）。一方、撮影対象となる被写体シーンの中には、これらのいずれの色再現領域でも再現できない領域色を呈しているものが存在する可能性がある。
【００１１】
このように、特定デバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）には記録可能な色域に制限があるため、撮像装置が取得した情報を記録する際には、記録可能な色域に圧縮してマッピングする調整が必要になる。マッピングの方法としては、記録可能な色域の外にある色度点を最寄の色域境界上へマッピングしてしまうクリッピングが最も簡単であるが、これでは色域外のグラデーションが潰れてしまい、鑑賞時に違和感を覚える画像になってしまう。このため現在では、適当な閾値以上にクロマが高い領域の色度点をクロマの大きさに従って滑らかに圧縮する非線形圧縮が一般に採用されている。この結果、記録可能な色域内部の色度点においてもクロマが圧縮されて記録される事になる。（色域のマッピング方法についての詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４７頁に記載されている。）
【００１２】
また、ＣＲＴディスプレイモニタ等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像、またこれらのデバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）は、記録・再現可能な輝度域が約１００：１オーダーに限定されている。これに対して撮影対象となる被写体シーンは輝度域が広く、屋外では数千：１のオーダーに至ることもしばしば発生する（例えば東京大学出版会「新編色彩科学ハンドブック第２版」日本色彩学会編９２６頁参照）。従って、撮像装置が取得した情報を記録する際には輝度についても同様に圧縮が必要になる。この圧縮処理は撮影シーンのダイナミックレンジや、撮影シーン内における主要被写体の輝度レンジに応じて、１画像毎に適切な条件を設定する必要がある。
【００１３】
ところが、上記のような色域・輝度域の圧縮操作をおこなった場合、離散的数値で記録されるデジタル画像の原理に起因して、圧縮前のグラデーション情報やクリッピング前の情報はその時点で失われてしまい、再び元の状態に戻すことができない。この事が高画質デジタル画像データの汎用性において大きな制約になる。
【００１４】
例えば、ｓＲＧＢの標準色空間において記録された画像をプリントデバイスによりプリントする場合は、ｓＲＧＢの標準色空間とプリントデバイスの色再現域の相違に基づいて再度マッピングが必要になる。しかし、ｓＲＧＢの標準色空間において記録された画像は、記録時に一旦圧縮された領域のグラデーション情報が失われているので、撮像装置が取得した情報を直接プリントデバイスの色再現域にマッピングする場合に比べてグラデーションの滑らかさが悪化する。また記録時の階調圧縮条件が不適切で、絵が白っぽい・顔が暗い・シャドーの潰れやハイライト領域の白飛びが目立つという問題があった場合、階調設定を変更して画像を改善しようとしても、圧縮前のグラデーション情報や潰れ・白飛び部分の情報は既に失われているために、撮像装置が取得した情報から新たに画像を作り直す場合と比べて、著しく不十分な改善しか行うことができない。
【００１５】
このような問題を解決するものとして、画像編集の過程をバックアップとして保存し、必要に応じて編集前の状態に戻す技術は古くから知られている。例えば、特許文献１には、デジタル画像データに対し、画像処理により局所的な変更を施した場合、画像処理前後のデジタル画像データとの差分画像データをバックアップデータとして保存するバックアップ装置が記載されている。また、特許文献２には、画像処理前後のデジタル画像データの差分画像データを取り保存しておくことにより、編集前のデジタル画像データを復元可能にする方法が記載されている。しかしながら、こうした技術は情報損失防止の観点では有効であるが、メディアに記録すべきデータ量の増大を伴い、その結果カメラの撮影可能枚数が減少する。
【００１６】
以上に述べてきた問題は、撮像装置が取得した広い色域・輝度域の情報を、鑑賞画像を想定して最適化した状態の鑑賞画像参照データに圧縮して記録する事に起因する。これに対して、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データとして記録すれば不用意な情報の損失を防止する事ができる。このようなシーン参照画像データを記録するのに適した標準色空間としては例えば「ｓｃＲＧＢ」（ｒｅｌａｔｉｖｅｓｃｅｎｅＲＧＢｃｏｌｏｒｓｐａｃｅ）、「ＲＩＭＭＲＧＢ」（ＲｅｆｅｒｅｎｃｅＩｎｐｕｔＭｅｄｉｕｍＭｅｔｒｉｃＲＧＢ）や「ＥＲＩＭＭＲＧＢ」（ＥｘｔｅｎｄｅｄＲｅｆｅｒｅｎｃｅＩｎｐｕｔＭｅｄｉｕｍＭｅｔｒｉｃＲＧＢ）が提案されている（ＪｏｕｒｎａｌｏｆＩｍａｇｉｎｇＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ４５巻４１８〜４２６頁（２００１年）参照）。
【００１７】
しかし、このような標準色空間で表現されたデータは、直接ディスプレイモニタで表示して鑑賞するには適さない。一般的に、デジタルカメラにはユーザが撮影前に画角を確認したり撮影後に撮影内容を確認したりするために、ディスプレイモニタが組み込まれているか接続されている。撮影されたデジタル画像データがｓＲＧＢのような鑑賞画像参照データとして記録されている場合は、そのデータを変換せずに直接ディスプレイモニタに表示できる利点があったが、撮影されたデジタル画像データがシーン参照画像データとして記録されている場合には、そのデータを表示する為に鑑賞画像参照データとして再変換する処理が必須になる。このようなカメラ内における二重の変換処理は、処理負荷や消費電力を増大させ、連写性の低下や、バッテリー撮影時の撮影枚数制限を招く。
【００１８】
一方、特許文献３には、表示手段に表示した画像信号形態で記録するモードと、撮像した画像信号形態で記録するモードを有する事を特徴とする画像処理装置が開示されている。後者の画像信号形態は一般にＲＡＷデータと呼ばれ、このようなデジタル画像データは、専用のアプリケーションソフト（「現像ソフト」と称される）を用いて、前記Ｅｘｉｆファイルなどの表示・印刷用の鑑賞画像参照データに変換する（「電子現像」、又は単に「現像」と称される）ことができる。ＲＡＷデータは撮影時の全情報を保存している為、鑑賞画像参照データの作り直しが可能であり、ＣＭＹＫ等の他の表色系ファイルを直接作れば、ディスプレイモニタ（ｓＲＧＢ）との色域の相違に起因して不用意に色が変更される事もない。しかしながらＲＡＷデータは撮影機種固有の分光感度特性に基づいた色空間と、撮影機種固有のファイルフォーマットに基づいて記録されているため、撮影機種固有の専用現像ソフトを用いなければ表示・印刷に適した画像を得ることができない。
【００１９】
ここまで一般的なデジタルカメラについて述べてきたが、撮像装置自体がさらに従来のものに比べ、広い色域・輝度域情報を得られるよう改良されることが望ましいことは言うまでもない。固体撮像素子は、入射強度に対するダイナミックレンジが狭いため、特許文献４には、低感度撮像素子部と高感度撮像素子部を備え、それぞれの出力をレベル変換した値を基準電圧と比較していずれかのレベル値の出力を瞬時に切り換えることにより、入射光強度を光電変換して得られる信号のダイナミックレンジを拡大する方法が記載されている。
【００２０】
また、特許文献５には、撮像素子の第１の受光素子（高感度撮像素子）と第２の受光素子（低感度撮像素子）とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向および／または列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置し、第１の受光素子の信号飽和レベルを調整して、第２の信号と合成する方法が記載されている。
【００２１】
特許文献６には、撮像素子が高感度映像信号と低感度映像信号とを生成し、高感度映像信号を高量子化分解能、低感度映像信号を低量子化分解能で量子化後、高量子化データが飽和している場合は感度比で合算し、それ以外は高量子化データを選択することにより広ダイナミックレンジ画像を形成する方法が記載されている。
【００２２】
他にも特許文献７に記載の、露光域によって低感度撮像素子と、高感度撮像素子の出力値を選択する方法や、特許文献８に記載の、低感度撮像素子と、高感度撮像素子でモアレのない出力値を選択する方法などが記載されている。
【００２３】
【特許文献１】
特開平７−５７０７４号公報
【特許文献２】
特開２００１−９４７７８号公報
【特許文献３】
特開平１１−２６１９３３号公報
【特許文献４】
特公平８−３４５５８号公報
【特許文献５】
特開２０００−１２５２０９号公報
【特許文献６】
特開２００１−８１０４号公報
【特許文献７】
特開２００３−１８４４５号公報
【特許文献８】
特開２００３−１８４７９号公報
【００２４】
【発明が解決しようとする課題】
このような特性の異なる撮像素子を高集積化した撮像部を有するデジタルカメラにおいて、撮像部が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データ（例えば「ｓｃＲＧＢ」、「ＲＩＭＭＲＧＢ」や「ＥＲＩＭＭＲＧＢ」）として記録すれば情報の損失を防止する事ができる。しかしながら前述のカメラ内処理負荷がさらに増大する問題や、ＲＡＷデータと同様に、撮像装置の機種固有の特性による画質のばらつき、あるいは表示・印刷用途に画質を最適化することが難しいといった問題がある。
【００２５】
本発明の課題は、情報損失のない広いダイナミックレンジの撮像画像情報を、汎用的かつ処理負荷の軽減された方法で記録することが出来る撮像装置、この撮像装置により記録された広ダイナミックレンジの撮影画像情報を、容易に編集・加工することが可能な画像処理装置及び画像記録装置を提供することである。
【００２６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を備えた撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記撮像素子の種類毎のシーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データを生成する合成補助データ生成手段と、
前記撮像素子の種類毎のシーン参照生データに前記合成補助データを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００２７】
請求項１に記載の発明の撮像装置によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データを生成し、撮像素子の種類毎のシーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データを生成し、撮像素子の種類毎のシーン参照生データに合成補助データを添付し、さらにメディアに記録する。従って、感度の異なる撮像素子の種類毎の、撮像素子特性に依存したシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データのシーン参照画像データへの撮像装置内による変換処理を省略したことにより、撮像装置の処理負荷や消費電力が低減され、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加が可能となる。さらに、生成されたシーン参照生データに合成補助データを添付することにより、複数のシーン参照生データから、撮像装置毎の固体差、撮像素子特性の補正処理を施して合成し、合成標準化された単一のシーン参照画像データの生成を容易にすることが出来る。
【００２８】
ここで、本願明細書の記載において「生成」とは、本発明に係る撮像装置、画像処理装置、及び画像記録装置内において作用するプログラム、及び処理回路が、画像信号やデータを新たに作り出すことである。なお「作成」を同義語として用いることもある。
【００２９】
また、「撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、所謂デジタルカメラやスキャナがこれに含まれる。前記撮像素子の一例としては、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ型撮像素子が挙げられるが、本発明では感度の異なる少なくとも２種類の撮像素子を組み合わせて用いることが特徴である。このような感度の異なる撮像素子を組み合わせた例として、特開２０００−１２５２０９には、低感度撮像素子と、高感度撮像素子とを、撮像素子の幾何学的な形状の中心が互いに行（水平）方向および／または列（垂直）方向に受光素子の間隔を示すピッチの半分、すなわち１／２ピッチずらしてハニカム状に配置する固体差撮像素子が記載されている。本発明の撮像素子は、図２に示すように、低感度撮像素子と高感度撮像素子とをハニカム状に配置することが望ましい。これらの撮像素子の出力電流はＡ／Ｄ変換器によりデジタル化される。この段階での各色チャンネルの内容は、撮像素子固有の分光感度に基づいた信号強度となっている。
【００３０】
また、「シーン参照生データ」とは、被写体に忠実な情報を記録した撮像装置直接の生出力信号であり、Ａ／Ｄ変換器によりデジタル化されたデータそのものや、該データに固定パターンノイズ・暗電流ノイズ等のノイズ補正を行ったデータを意味し、前述したＲＡＷデータが含まれる。このシーン参照生データは、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭＲＧＢ、ｓＲＧＢ等の標準化された色空間にマッピングする処理を省略したことを特徴とする。シーン参照生データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照生データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３１】
本発明の撮像装置における第１の特徴は、感度の異なる撮像素子の種類毎に前述した「シーン参照生データ」が生成されることにより、広ダイナミックレンジ画像を取得出来ることである。
【００３２】
ここで、「感度」とは、被写体の明るさ（輝度）に対する応答特性を表す指標であり、より高感度な撮像素子程、より暗い被写体に対して応答することが出来ることを意味する。一般に撮像素子の感度は、撮像素子の受光面積に比例して増大する。また撮像素子は、光の完全に遮断された状態でも微弱なノイズ信号（暗電流ノイズ、或いはホワイトノイズと称される）を発し、このノイズ信号は撮像素子の感度利得を調整するゲイン値に比例して増大する。前記撮像素子が光の遮断された状態に発するノイズ信号の強度は、受光面積に反比例する特性を有する。従って、低感度と高感度の２種類の撮像素子で構成する場合、高感度の撮像素子は、低感度の撮像素子に比べ受光面積が大きい、或いは単位面積当りに配置される数が多いことが望ましい。また、高感度の撮像素子は感色性（色弁別能）を有さず、被写体の輝度にのみ応答するモノクロの素子であることが望ましい。
【００３３】
「ダイナミックレンジ」とは、被写体の明るさ（輝度）の範囲に対する応答特性を表す指標であり、より広ダイナミックレンジな撮像素子程、より暗い被写体からより明るい被写体に対して応答することが出来ることを意味する。一般に撮像素子のダイナミックレンジは、撮像素子の受光部の材質や構造に依存し、フォトダイオード等の半導体を用いた素子では十分なダイナミックレンジを得ることが出来ない。また高感度な撮像素子程、より暗い被写体に対して応答することが出来るが、より明るい被写体に対してはダイナミックレンジが不足し、信号が飽和し易い。一方低感度な撮像素子は、より明るい被写体に対しても信号が飽和し難く応答することが出来るが、より暗い被写体に対して感度が不足する。従って、少なくとも２種類の撮像素子で構成し、よりダイナミックレンジを拡大する為には、夫々のダイナミックレンジの重なりを常に最小にすることが望ましい。
【００３４】
本発明において、撮像素子の感度毎に生成されるシーン参照生データの量子化分解能（以下、単に「階調数」と称する。）は、同一であっても良いが、高感度の撮像素子は低感度の撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答特性は、図３に示すように、直線的であることが望ましいが、感度の大きさ毎に異なっていても良い。さらに低感度の撮像素子は、感色性（色弁別能）の異なる少なくとも３種類で構成されることが望ましい。
【００３５】
また、本願明細書の記載において、「合成標準化されたシーン参照画像データ」とは、撮像素子の感度毎に生成された複数のシーン参照生データに、後述する撮像素子特性補正処理により少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭＲＧＢ、ＥＲＩＭＭＲＧＢなどの標準色空間にマッピングする処理を施し、主要被写体の明るさ（輝度）、ダイナミックレンジ等に基づき、単一の画像データとして保有し得る情報容量の範囲内に最適化する合成処理を施して得られた画像データであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃｃｏｎｖｅｒｓｉｏｎｆｕｎｃｔｉｏｎ，例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。この処理の結果、複数の「シーン参照生データ」が分割して保有する情報量を保持しつつも、異なる「撮像装置」間での信号値の差異が補正された単一の「合成標準化されたシーン参照画像データ」が得られる。
【００３６】
合成標準化されたシーン参照画像データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、後述する鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３７】
「撮像素子特性補正処理」とは、撮像素子特性に依存したシーン参照生データを用いて「合成標準化されたシーン参照画像データ」に変換する為に必要な前処理を意味する。この前処理の内容は、少なくとも撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭＲＧＢ、ＥＲＩＭＭＲＧＢなどの標準色空間にマッピングする処理が含まれる。たとえば撮像素子特性に依存したシーン参照生データが、カラーフィルタ配列に基づく補間処理を行っていない場合には、該処理の実施が加えて必要になる。（カラーフィルタ配列に基づく補間処理の詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編５１頁に記載されている。）上記以外にも、階調変換処理、平滑化処理、鮮鋭化処理、或いはノイズ除去やモアレ除去等の周波数処理演算等、あらゆる処理を適用することが出来る。
【００３８】
本発明の撮像装置における第２の特徴は、「合成補助データ」を「シーン参照生データ」に付与することにより、前述した「撮像素子特性補正処理」、「合成標準化されたシーン参照画像データ」の生成を、撮像装置外で実行出来ることである。
【００３９】
「合成補助データ」とは、少なくとも撮像素子の感度毎に生成された複数のシーン参照生データを識別する情報と、撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭＲＧＢやＥＲＩＭＭＲＧＢなどの標準色空間にマッピングする事が可能になる情報、すなわち撮像素子固有の分光感度特性かＲＩＭＭＲＧＢのような特定の標準色空間に換算する時に使用すべきマトリックス係数が記載されている必要がある。例えば、撮像装置の機種名だけが記載されている場合は、本処理を実施する画像処理装置が機種名と前記マトリックス係数の対応表を保有していない可能性があるので十分なデータとは言えない。また例えば、本処理を実施する際に十分な情報が直接記載されていなくても、該情報のインターネット上での所在個所を示すＵＲＬが記載されている場合は、本処理を行うのに十分なデータとみなすことができる。これらの「合成補助データ」は、画像ファイル内のヘッダ部に書き込まれるタグ情報として記録されるのが好ましい。
【００４０】
前記「合成補助データ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「合成補助データ」、「シーン参照生データ」の何れか、又は両方に対し、両者を関連付ける為の情報の付与、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００４１】
「メディア」とは、撮像装置の出力する「シーン参照生データ」、及び「合成補助データ」の保存に用いる記憶媒体であって、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピー（登録商標）ディスク、磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど何れであっても良い。また、記憶媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で接続された書き込みユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置されたユニットなどの何れの態様であっても良い。さらに、撮像装置と記憶媒体への書き込みユニットが接続状態にあるとき、画像処理装置や画像記録装置が、撮像装置から直接、「合成補助データ」及び「必要なデータ」を読み出すことの出来る機能を併せ持つ態様であっても良い。「メディアに記録する」時のファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧ、Ｅｘｉｆなどの規格化された汎用のファイル形式で記録されるのが好ましい。
【００４２】
請求項２に記載の発明の画像処理装置は、
感度の異なる少なくとも２種類の撮像素子を備えた撮像装置によって生成された撮像素子の種類毎のシーン参照生データと、前記各シーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データとを入力する入力手段と、
前記入力された合成補助データに基づいて、前記各シーン参照生データに対して撮像素子特性補正処理を施し、該撮像素子特性補正処理の施された少なくとも２つのシーン参照生データを合成して、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
を備えたことを特徴としている。
【００４３】
請求項２に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、撮像装置の撮像素子特性に依存したシーン参照生データと合成補助データから、合成標準化されたシーン参照画像データを生成する。従って、請求項１に記載の撮像装置の出力する広ダイナミックレンジ画像データを、家庭や職場環境でのプリント出力用途に利用することが可能となる。
【００４４】
ここで、請求項２に記載の「入力する」とは、撮像装置の出力する「シーン参照生データ」、及び「合成補助データ」を、これらが保存された「メディア」を介して、撮像装置から本発明の画像処理装置に伝達することを意味する。
【００４５】
撮像装置と上述した記憶媒体への書き込みユニットが接続状態にあり、本発明の画像処理装置が、撮像装置から直接、「シーン参照生データ」、及び「合成補助データ」を読み出せる機能を併せ持つ態様であるとき、本発明に係る画像処理装置は撮像装置との接続手段を有し、この接続手段が、本発明の入力手段に相当する。また、メモリカード、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、可搬式の「メディア」を用いた場合には、本発明の画像処理装置は対応する読み取り手段を有し、この読み取り手段が、本発明の入力手段に相当する。さらに、書き込みユニットが通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置された態様であるとき、本発明の画像処理装置は、通信やインターネットに接続する通信手段を有し、この通信手段が、本発明の入力手段に相当する。
【００４６】
請求項３に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を備えた撮像装置において、
撮像により前記撮像素子の種類毎のシーン参照生データを生成するシーン参照生データ生成手段と、
前記撮像素子の種類毎のシーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データを生成する合成補助データ生成手段と、
撮影時の撮影条件設定である撮影情報データを生成する撮影情報データ生成手段と、
前記撮像素子の種類毎のシーン参照生データに、前記合成補助データ及び前記撮影情報データを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００４７】
請求項３に記載の発明の撮像装置によれば、撮像により感度の異なる撮像素子の種類毎のシーン参照生データを生成し、撮像素子の種類毎のシーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データ及び撮影時の撮影条件設定である撮影情報データを生成して、撮像素子の種類毎のシーン参照生データに添付し、さらにメディアに記録する。従って、感度の異なる撮像素子の種類毎の、撮像素子特性に依存したシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照画像データへの撮像装置内による変換処理を省略したことにより、撮像装置の処理負荷や消費電力が低減され、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加が可能となる。また、生成されたシーン参照生データに合成補助データを添付することにより、外部の画像処理装置や画像記録装置において、複数のシーン参照生データに撮像装置毎の固体差、撮像素子特性の補正処理を施して合成し、合成標準化された単一のシーン参照画像データの生成を容易にすることが出来るとともに、さらに撮影情報データを添付することにより「合成標準化されたシーン参照画像データ」の生成の精度向上、あるいは撮影状況に応じた鑑賞画像参照データの生成が可能となる。
【００４８】
本願明細書の記載における「撮影情報データ」とは、撮影時の撮影条件設定の記録であり、Ｅｘｉｆファイルのヘッダ部に書き込まれるタグ情報と同じものを含んでも良い。具体的には露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）などである。
【００４９】
前記「撮影情報データ」は、撮像装置の露出設定や焦点機能の自動化の為に、カメラに備えられたセンサーの撮影時に得た値、前記センサーの値から加工されたデータ、或いは前記センサーの値に基づいて設定されたカメラの撮影条件に分類されるが、これ以外にも撮像装置に備えられた、撮影モードダイヤル（例えばポートレート、スポーツ、マクロ撮影モード等）や、ストロボ強制発光の設定スイッチ等を撮影者がマニュアルで設定した情報も含まれる。
【００５０】
なお、「撮影情報データ」は独立してメディアに保存する態様とっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。前記「撮影情報データ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「撮影情報データ」、「シーン参照生データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００５１】
請求項４に記載の発明の画像処理装置は、
感度の異なる少なくとも２種類の撮像素子を備えた撮像装置によって生成された撮像素子の種類毎のシーン参照生データと、前記各シーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データと、撮影時の撮影条件設定である撮影情報データと、を入力する入力手段と、
前記入力された合成補助データに基づいて、前記各シーン参照生データに対して撮像素子特性補正処理を施し、前記撮像素子特性補正処理の施された少なくとも２つのシーン参照生データを合成して、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記入力された撮影情報データを、前記生成されたシーン参照画像データに添付するデータ添付手段と、
を備えたことを特徴としている。
【００５２】
請求項４に記載の発明によれば、感度の異なる複数の撮像素子を備えた撮像装置から入力された、撮像装置の撮像素子特性に依存したシーン参照生データと合成補助データから、合成標準化されたシーン参照画像データを生成し、入力された撮影情報データを生成されたシーン参照画像データに添付する。従って、本発明の画像処理装置の提供により、請求項３に記載の撮像装置の出力する広ダイナミックレンジ画像データを、家庭や職場環境でのプリント出力用途に利用することが可能となる。
【００５３】
請求項５に記載の発明は、請求項２に記載の発明において、
前記生成された合成標準化されたシーン参照画像データに、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備えたことを特徴としている。
【００５４】
請求項５に記載の発明によれば、請求項２に記載の発明において、生成された合成標準化されたシーン参照画像データに、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する。従って、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを提供するサービスを、店舗に出向くことなく利用することが出来るようになる。
【００５５】
ここで、本願明細書の記載において「出力媒体」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙である。
【００５６】
また、「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスに用いたり、出力デバイスが、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いたりするデジタル画像データを意味する。ＣＲＴ、液晶、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう「最適化処理」が施されていることが前記「シーン参照生データ」とは異なっている。
【００５７】
また、「最適化処理」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得る為の処理であり、例えばｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合、ｓＲＧＢ規格の色域内で最適な色再現が得られるように処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が行われることは言うまでもない。
【００５８】
請求項６に記載の発明は、請求項４に記載の発明において、
前記生成された、合成標準化されたシーン参照画像データに、前記撮影情報データに基づいて内容が決定された、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備えたことを特徴としている。
【００５９】
請求項６に記載の発明によれば、生成された、合成標準化されたシーン参照画像データに、撮影情報データに基づいて内容が決定された、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する。従って、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを提供するサービスを、店舗に出向くことなく利用することが出来るようになる。
【００６０】
「撮影情報データ」を用いた鑑賞画像参照データの最適化の例を下記に示す。
撮影情報データ中の「被写体構成」情報により、例えば部分的に彩度強調処理を施したり、ダイナミックレンジの広いシーンでは、覆い焼き処理を施したりすることが可能となる。「撮影シーンタイプ」情報により、例えば夜景撮影では、ホワイトバランス調整の度合いを緩め、カラーバランスを特別に調整することが可能となる。「ストロボ光源の反射光の量」情報により、撮影者と被写体との距離が推定され、例えば肌の白飛びを抑制する画像処理の条件設定に反映させることが出来る。「被写体の種類」情報により、例えば人物撮影では、シャープネスの度合いを緩め、平滑化処理を強めることにより、肌のしわを目立たないようにすることが出来る。
【００６１】
また、上述した「被写体構成」、「撮影シーンタイプ」、「ストロボ光源の反射光の量」、「被写体の種類」情報を補う目的で、「露出時間」、「シャッタースピード」、「絞り値（Ｆナンバー）」、「ＩＳＯ感度」、「輝度値」、「被写体距離範囲」、「光源」、「ストロボ発光の有無」、「被写体領域」、「ホワイトバランス」、「ズーム倍率」等の情報を、補助的に用いることが出来る。さらに、「ＩＳＯ感度」情報からノイズ抑制処理の適用量を調整したり、「光源」情報をホワイトバランスの再調整に用いたりすることが出来る。
【００６２】
請求項７に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を備えた撮像装置によって生成された撮像素子の種類毎のシーン参照生データと、前記各シーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データとを入力する入力手段と、
前記入力された合成補助データに基づいて、前記各シーン参照生データに対して撮像素子特性補正処理を施し、該撮像素子特性補正処理の施された少なくとも２つのシーン参照生データを合成して、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成された、合成標準化されたシーン参照画像データに、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００６３】
請求項８に記載の発明は、
感度の異なる少なくとも２種類の撮像素子を備えた撮像装置によって生成された撮像素子の種類毎のシーン参照生データと、前記各シーン参照生データに撮像素子特性補正処理を施して合成することにより合成標準化されたシーン参照画像データを生成する際に必要な情報である合成補助データと、撮影時の撮影条件設定である撮影情報データと、を入力する入力手段と、
前記入力された合成補助データに基づいて、前記各シーン参照生データに対して撮像素子特性補正処理を施し、該撮像素子特性補正処理の施された少なくとも２つのシーン参照生データを合成して、合成標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成された、合成標準化されたシーン参照画像データに、前記撮影情報データに基づいて内容が決定された、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００６４】
請求項７に記載の発明によれば、入力された合成補助データに基づいて、撮像装置から入力された撮像素子の種類毎のシーン参照生データに対して撮像素子特性補正処理を施し、撮像素子特性補正処理の施された少なくとも２つのシーン参照生データを合成して、合成標準化されたシーン参照画像データを生成し、生成された、合成標準化されたシーン参照画像データに、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、請求項１に記載の撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工することができ、撮像により得られた撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することができる。
【００６５】
請求項８に記載の発明によれば、入力された合成補助データに基づいて、撮像装置から入力された撮像素子の種類毎のシーン参照生データに対して撮像素子特性補正処理を施し、撮像素子特性補正処理の施された少なくとも２つのシーン参照生データを合成して、合成標準化されたシーン参照画像データを生成し、生成された、合成標準化されたシーン参照画像データに、入力された撮影情報データに基づいて、出力媒体上での鑑賞画像形成のために最適化する画像処理を施して、鑑賞画像参照データを生成し、生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する。従って、請求項３に記載の撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工することができ、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データとプリントを提供するサービスを、従来のデジタルミニラボを用いたサービスと同様に展開することが可能となる。
【００６６】
ここで、本発明の画像記録装置は、本発明の撮像装置により取得されるデジタル画像データに対し、本発明の画像処理を施す機構以外にも、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等、アナログカメラにより記録された写真感光材料の駒画像情報を入力するフィルムスキャナ、銀塩印画紙であるカラーペーパー上に再現された画像情報を入力するフラットベッドスキャナを備えていても良い。また本発明の撮像装置以外のデジタルカメラにより取得され、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「メディア」に保存されたデジタル画像データを読み取る手段、或いはネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙など、公知のあらゆる「出力媒体」に鑑賞画像を形成する処理手段とを備えていても良い。
【００６７】
請求項９に記載の発明は、請求項１又は３に記載の発明において、
前記撮像装置は、高感度撮像素子と低感度撮像素子の２種類の撮像素子を備え、
前記シーン参照生データ生成手段は、撮像により前記高感度撮像素子から高感度シーン参照生データを、前記低感度撮像素子から低感度シーン参照生データを生成することを特徴としている。
【００６８】
請求項１０に記載の発明は、請求項９に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００６９】
請求項１１に記載の発明は、請求項９又は１０に記載の発明において、
前記低感度撮像素子と前記高感度撮像素子とが、その幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの１／２ピッチ分ずらしてハニカム状に配置されていることを特徴としている。
【００７０】
請求項９〜１１に記載の発明によれば、広いダイナミックレンジの画像データを得ることができる。
【００７１】
請求項１２に記載の発明は、請求項１、３、９、１０、１１の何れか一項に記載の発明において、前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００７２】
請求項１２に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザー自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００７３】
請求項１３に記載の発明は、請求項２、４、５、６の何れか一項に記載の発明において、
前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴としている。
【００７４】
請求項１４に記載の発明は、請求項１３に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００７５】
請求項１３、１４に記載の発明によれば、撮像装置から得られた広いダイナミックレンジの画像データを利用することができる。
【００７６】
請求項１５に記載の発明は、請求項２、４、５、６、１３、１４の何れか一項に記載の発明において、
前記シーン参照画像データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００７７】
請求項１５に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザー自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００７８】
請求項１６に記載の発明は、請求項７又は８に記載の発明において、
前記シーン参照生データは、高感度撮像素子により生成された高感度シーン参照生データと、低感度撮像素子により生成された低感度シーン参照生データの２つであることを特徴としている。
【００７９】
請求項１７に記載の発明は、請求項１６に記載の発明において、
前記高感度シーン参照生データが被写体の輝度情報のみを記録したモノクロ画像であり、前記低感度シーン参照生データがカラー画像であることを特徴としている。
【００８０】
請求項１６、１７に記載の発明によれば、撮像装置から得られた広いダイナミックレンジの画像データを利用することができる。
【００８１】
請求項１８に記載の発明は、請求項７、８、１６、１７の何れか一項に記載の発明において、
前記シーン参照画像データ生成手段が前記シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えたことを特徴としている。
【００８２】
請求項１８に記載の発明によれば、シーン参照生データに施す撮像素子特性補正処理の内容を指示入力する指示入力手段を備えている。従って、ユーザー自らが、感度毎のシーン参照生データの夫々に施す撮像素子特性補正処理の内容の選択や個別のパラメータ調整が出来る。
【００８３】
請求項１９に記載の発明は、請求項１、３、９〜１２の何れか一項に記載の発明において、
前記合成補助データが、前記シーン参照生データの識別情報及び前記撮像素子の特性を特定する情報を含むことを特徴としている。
【００８４】
請求項２０に記載の発明は、請求項２、４、５、６、１３〜１５の何れか一項に記載の発明において、
前記合成補助データが、前記シーン参照生データの識別情報及び前記撮像素子の特性を特定する情報を含むことを特徴としている。
【００８５】
請求項２１に記載の発明は、請求項７、８、１６〜１８の何れか一項に記載の発明において、
前記合成補助データが、前記シーン参照生データの識別情報及び前記撮像素子の特性を特定する情報を含むことを特徴としている。
【００８６】
請求項１９、２０、２１に記載の発明によれば、合成補助データにより各シーン参照生データの識別や、各シーン参照生データにおける撮像素子特性を特定することができる。
【００８７】
請求項２２に記載の発明は、請求項２、４、５、６、１３〜１５、２０の何れか一項に記載の発明において、
前記シーン参照画像データ生成手段は、前記撮像素子の種類毎のシーン参照生データの情報を同じ位置の画素毎に比較し、何れか一方の情報を選択することにより合成して一つのシーン参照画像データを生成し、
前記画素毎に何れの種類の撮像素子の情報が選択されたかの情報を記録する画素情報記録手段を備えたことを特徴としている。
【００８８】
請求項２３に記載の発明は、請求項２２に記載の発明において、
前記画素情報記録手段は、前記画素毎に何れの種類の撮像素子情報が選択されたかの情報を合成補助データとして記録することを特徴としている。
【００８９】
請求項２２、２３に記載の発明によれば、撮像素子の種類毎のシーン参照生データの情報を同じ位置の画素毎に比較し、何れか一方の情報を選択することにより合成して一つのシーン参照画像データを生成し、画素毎に何れの種類の撮像素子の情報が選択されたかの情報を画素毎に記録する。従って、シーン参照画像データから再度画像を作り変える場合に、撮像素子の種類に応じて各画素を分離して、夫々異なる画像処理を施すことができる。
【００９０】
【発明の実施の形態】
以下、本発明に係る撮像装置の好ましい実施形態ついて、図面に基づいて説明する。
＜撮像装置２１の構成＞
まず、構成を説明する。
【００９１】
図１は、本発明に係る撮像装置２１の機能的構成を示すブロック図である。図１に示すように、撮像装置２１は、レンズ１、絞り２、低感度撮像素子ＳＬ及び高感度撮像素子ＳＨを有するＣＣＤ（固体撮像素子）３、アナログ処理回路４、Ａ／Ｄ変換器５、一時記憶メモリ６、画像処理部７、ヘッダ情報処理部８、記憶デバイス９、ＣＣＤ駆動回路１０、制御部１１、合成補助データ処理部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成されている。
【００９２】
撮像装置２１の光学系は、レンズ１、絞り２、ＣＣＤ３を備えて構成されている。
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。
ＣＣＤ３は、低感度撮像素子ＳＬ、高感度撮像素子ＳＨの感度の異なる２種類の撮像素子を有して構成されている。ＣＣＤ３は、レンズ１により受光面上に結像された被写体情報を、ＣＣＤ３内の各センサの光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号をそれぞれアナログ処理回路４へ順次出力する。
【００９３】
ここで、図２に、ＣＣＤ３における低感度撮像素子ＳＬと高感度撮像素子ＳＨの配置例を示す。図２に示すように、低感度撮像素子ＳＬと高感度撮像素子ＳＨは、撮像素子の幾何学的な形状の中心が互いに行（水平）方向及び／又は列（垂直）方向に撮像素子の間隔を示すピッチの半分、即ち１／２ピッチずらしてハニカム状に配置されている。高感度撮像素子ＳＨは、低感度撮像素子ＳＬに比べ受光面積が大きい構成となっている。高感度撮像素子ＳＨは、感色性（色弁別能）を有さず、被写体の輝度のみに応答するモノクロ素子により構成されている。低感度撮像素子ＳＬは、Ｂ、Ｇ、Ｒのそれぞれの感色性（色弁別能）を有するカラー素子により構成されている。
【００９４】
図３に、低感度撮像素子ＳＬにおける被写体輝度と信号電荷量の関係ＤＬ及び高感度撮像素子ＳＨにおける被写体輝度と信号電荷量の関係ＤＨを示す。図３に示すように、一般的に、高感度撮像素子ＳＨほど、より暗い（輝度の低い）被写体に対して応答することができるが、より明るい（輝度の高い）被写体に対してはダイナミックレンジが不足し、信号が飽和しやすい。一方、低感度撮像素子ＳＬは、より明るい被写体に対しても信号が飽和し難く応答することができるが、より暗い被写体に対して感度が不足するとともに、ノイズの影響を受けやすい。そのため、ＣＣＤ３は、低感度撮像素子ＳＬと高感度撮像素子ＳＨの２種類の撮像素子で構成し、ノイズの影響が少なく、ダイナミックレンジの広い画像を取得できるようになっている。よりダイナミックレンジを拡大するには、それぞれのダイナミックレンジの重なりを常に最小にすることが望ましい。
【００９５】
アナログ処理回路４は、ＣＣＤ３から入力された低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号に対して、それぞれＲ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行ってＡ／Ｄ変換器５に出力する。このアナログ処理回路４における処理は、操作部１４からの操作信号に応じ制御部１１を介してＯＮ／ＯＦＦが切り替えられるようになっており、ＯＦＦに切り替えられた場合は、アナログ処理回路４は処理を省略し、入力された撮像信号をそのままＡ／Ｄ変換器５に出力する。
【００９６】
Ａ／Ｄ変換器５は、アナログ処理回路４から入力された低感度撮像素子ＳＬ、高感度撮像素子ＳＨからの撮像信号をそれぞれデジタル画像データに変換し、一時記憶メモリ６に出力する。ここで、Ａ／Ｄ変換器５を介して、低感度撮像素子ＳＬから直接得られたデジタル画像データは低感度シーン参照生データｄ２であり、高感度撮像素子ＳＨから直接得られたデジタル画像データは高感度シーン参照生データｄ３である。これらの低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３は、アナログ処理回路４、後述する画像処理部７における処理が省略されたデジタル画像データである。
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器５から出力されたデジタル画像データをそれぞれ一時的に格納する。
【００９７】
画像処理部７は、一時記憶メモリ６に記憶された低感度撮像素子ＳＬからのデジタル画像データと高感度撮像素子ＳＨからのデジタルデジタル画像データに階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化等の処理を施して合成し、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。この画像処理部７における処理は、操作部１４からの操作信号に応じ制御部１１を介してＯＮ／ＯＦＦが切り替えられるようになっている。
【００９８】
ヘッダ情報処理部８は、一時記憶メモリ６に格納された低感度シーン参照生データｄ２、高感度シーン参照生データｄ３に対して、合成補助データ処理部１３により生成された合成補助データｄ１をヘッダ情報として書き込み処理する。
【００９９】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影されたデジタル画像データを記録するメモリカード等の記録メディアと、撮像装置２１の制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
【０１００】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【０１０１】
制御部１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置２１の制御プログラムを読み出して、読み出したプログラムに従って撮像装置２１全体の制御を行う。具体的には、制御部１１は、操作部１４からの操作信号に応じて、レンズ１の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１９、焦点距離調整回路１８、ＣＣＤ駆動回路１０、アナログ処理回路４、一時記憶メモリ６、画像処理部７、操作部１４、表示部１５、ストロボ駆動回路１６及び合成補助データ処理部１３の制御を行い、撮影を行う。
【０１０２】
制御部１１は、操作部１４によりシーン参照生データの出力が指定されると、後述するシーン参照生データ保存処理Ａを行い、シーン参照生データ生成手段として、撮影時におけるアナログ処理部４における信号増幅やノイズの低減処理や画像処理部７における処理を省略して低感度シーン参照生データｄ２、高感度シーン参照生データｄ３を生成し、記録制御手段として、記憶デバイス９の記録メディアに、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３に合成補助データｄ１を添付して記録する。
【０１０３】
合成補助データ処理部１３は、合成補助データ生成手段であり、撮像により生成された低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３を識別する情報、撮像素子の分光感度特性を示す情報を含む合成補助データｄ１を生成し、ヘッダ情報処理部８に出力する。
【０１０４】
撮像により生成された低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３を識別する情報とは、合成補助データｄ１と低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３とを関連付けるための情報及び／又は各シーン参照生データのデータ領域を識別可能とするための情報である。例えば、前者は、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３に付加された画像ＩＤ等の識別番号等であり、後者は、画像データ中で各シーン参照生データのデータ領域を識別するために用いられている識別コード等である。
【０１０５】
撮像素子の分光感度特性を示す情報は、撮像素子の分光感度特性に基づく各色チャンネルの信号強度をｓｃＲＧＢ、ＲＩＭＭＲＯＭ、ＥＲＩＭＭＲＯＭＭ等の標準化された色空間にマッピングすることが可能になる情報であり、例えば、撮像素子の分光感度特性情報そのものであってもよいし、撮像素子の分光感度特性に基づく各色チャンネルの信号強度をｓｃＲＧＢ、ＲＩＭＭＲＯＭ、ＥＲＩＭＭＲＯＭＭ等の標準化された色空間に換算する時に使用すべきマトリックス係数等であってもよい。即ち、合成補助データｄ１は、少なくとも低感度シーン参照生データｄ２と高感度シーン参照生データｄ３を合成して、標準化された色空間を有する１枚の画像データ（シーン参照画像データｄ５）を生成する、合成標準化の際に必要となる情報が含まれる。
【０１０６】
また、合成補助データ処理部１３は、操作部１４から低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３に施す後述する画像処理装置１１５等において行われる撮像素子特性処理等の画像処理の内容を指示する情報、例えば、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去やモアレ除去等の周波数処理演算等、撮像素子特性補正のための各種画像処理の程度を調整するためのパラメータ等が入力された場合には、入力された内容を含む合成補助データｄ１を生成する。
【０１０７】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。また、操作部１４は、表示部１５の表示画面上を覆うタッチパネルを有し、手指やタッチペン等で押下された表示画面上の力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部１１に出力する。
【０１０８】
図４に、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３に施す画像処理の内容を入力するための入力画面１４１の一例を示す。入力画面１４１は、図４に示すように、「平滑化レベル（なめらかさ）、鮮鋭化レベル（シャープネス）、階調変換レベル・・・」等の各種画像処理の処理レベルがタッチパネルにより入力できるようになっている。即ち、入力画面１４１は、指示入力手段である。例えば、ユーザがこの入力画面１４１で強めの平滑化レベルを入力した場合、高感度撮像素子由来の成分に、より多くの平滑化処理を施す指示を含む合成補助データｄ１が生成される。
【０１０９】
表示部１５は、制御部１１からの制御信号により、デジタル画像データを表示するとともに、撮像装置２１の使用者が撮影に関する設定や条件を確認するための情報や設定や条件を入力するための表示画面を表示する。例えば、表示部１５は、撮像により生成された低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３に施す画像処理の内容をユーザが指示するための入力画面１４１を表示する。
【０１１０】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１１１】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【０１１２】
＜撮像装置２１の動作＞
次に、動作について説明する。
図５は、操作部１４により、撮影されたデジタル画像データのシーン参照生データによる出力が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行されるシーン参照生データ保存処理Ａを示すフローチャートである。以下、図５を参照してシーン参照生データ保存処理Ａについて説明する。
【０１１３】
操作部１４のレリーズボタンが押下されると、撮影が行われる（ステップＳ１）。ここで、ステップ１における撮影には、オートブランケット機能による撮影も含まれる。ＣＣＤ３の低感度撮像素子ＳＬ及び高感度撮像素子ＳＨから得られた撮像信号は、それぞれＡ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３が生成される（ステップＳ２）。また、合成補助データ処理部１３により、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３を識別するための情報、撮像素子固有の分光感度特性を示す情報、また、操作部１４から入力された画像処理の内容を指示する情報が入力された場合には、その指示情報を含む、合成補助データｄ１が生成される（ステップＳ３）。
【０１１４】
低感度シーン参照生データｄ２、高感度シーン参照生データｄ３及び合成補助データｄ１の生成後、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３からなるファイルが生成され、ヘッダ情報処理部８により、このファイルのヘッダに合成補助データｄ１がタグ情報として添付され（ステップＳ４）、添付済みのデータファイルが作成される（ステップＳ５）。この添付済みのデータファイルは、撮影装置２１に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ６）。
【０１１５】
図６は、ステップＳ６で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。図６に示すように、撮影されたデジタル画像データは、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３として記録され、そのヘッダ領域に、合成補助データｄ１が記録されている。この記録メディアを撮像装置２１から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３及び合成補助データｄ１をこれらの外部装置に出力することができる。
【０１１６】
ここで、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３への合成補助データｄ１の「添付」とは、必ずしも合成補助データｄ１そのものを低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３のファイルのヘッダとして記録メディアに記録する必要はなく、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３と合成補助データｄ１を関連付ける情報とともに記録メディアに記録されればよい。また、ここでは、記憶デバイス９の記録メディアにデータを記録することとしたが、撮像装置２１に通信Ｉ／Ｆを設け、通信ケーブルやネットワーク等の通信手段を介してサーバ等の備えるメディアに記録するようにしてもよい。
【０１１７】
以上説明したように、図１に示した撮像装置２１によれば、ＣＣＤ３は、低感度撮像素子ＳＬ、高感度撮像素子ＳＨという感度の異なる撮像素子を有し、それぞれの感度の異なる撮像素子毎の、被写体に忠実な情報を記録した撮像素子直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データからシーン参照画像データｄ５への撮像装置内による変換処理、即ち、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為に意図的にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のｓｃＲＧＢ、ＲＩＭＭＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理等を省略したことにより、撮像装置の処理負荷や消費電力が低減され、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加が可能となる。さらに、複数のシーン参照生データに対して合成補助データｄ１を添付することにより、外部の画像処理装置等において、この撮影装置２１から取得された複数のシーン参照生データに撮像装置毎の固体差や撮像素子特性の補正処理、汎用的なフォーマットへの合成標準化処理を施して単一のシーン参照画像データｄ５を生成することを容易にすることが出来る。
【０１１８】
なお、撮像装置２１において低感度撮像素子ＳＬと高感度撮像素子ＳＨにより生成されるシーン参照生データの階調数は、同一であってもよいが、高感度撮像素子ＳＨは低感度撮像素子ＳＬに撮像素子に比べより階調数が多いことが望ましい。また、撮像素子の被写体輝度に対する応答性能は図３に示すように直線的であることが望ましいが、感度の大きさ毎に異なっていてもよい。
【０１１９】
また、ＣＣＤ３は、低感度と高感度の２種類の撮像素子を備える構成としたが、更に中間度の撮像素子を備える構成としてもよい。
【０１２０】
また、図７に示すように、ＣＣＤ３を、ＣＣＤ３ａ〜３ｃを有する３ＣＣＤにより構成し、レンズ１を通過した被写体光を分光器Ｐで青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色光に分光し、Ｂ信号をＣＣＤ３ａが、Ｇ信号をＣＣＤ３ｂが、Ｒ信号をＣＣＤ３ｃがそれぞれ結像、受光するようにしてもよい。このとき、少なくとも１つのＣＣＤ、例えば輝度について最も寄与率の高いＧ信号を受光するＣＣＤ３ｂが、低感度撮像素子ＳＬ、高感度撮像素子ＳＨにより構成されるようにする。これにより、精度が高く、色再現性のよいシーン参照生データを生成することができる。
【０１２１】
＜撮像装置２２の構成＞
次に、デジタル画像データの出力先においてより一層好ましい画像を得るために、撮像装置２１の構成に撮影情報データ処理部１２を追加して構成される撮像装置２２について説明する。図８に、撮像装置２２の機能的構成を示すブロック図を示す。
【０１２２】
制御部１１は、操作部１４によりシーン参照生データの出力が指定されると、後述するシーン参照生データ保存処理Ｂを行い、シーン参照生データ生成手段として、撮影時におけるアナログ処理部４における信号増幅やノイズの低減処理や画像処理部７における処理を省略して低感度シーン参照生データｄ２、高感度シーン参照生データｄ３を生成し、記録制御手段として、記憶デバイス９の記録メディアに、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３に合成補助データｄ１、撮影情報データｄ４を添付して記録する。
【０１２３】
撮影情報データ処理部１２は、撮影情報データ生成手段であり、撮影情報データｄ４を生成する。撮影情報データｄ４は、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報等である。
【０１２４】
その他の撮像装置２２の構成は撮像装置２１と同様であるので、説明を省略する。
【０１２５】
＜撮像装置２２の動作＞
図９は、図８に示す撮像装置２２において、操作部１４により、撮影されたデジタル画像データのシーン参照生データによる出力が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行されるシーン参照生データ保存処理Ｂを示すフローチャートである。以下、図９を参照してシーン参照データ保存処理Ｂについて説明する。
【０１２６】
操作部１４のレリーズボタンが押下されると、撮影が行われる（ステップＳ１１）。ＣＣＤ３の低感度撮像素子ＳＬ及び高感度撮像素子ＳＨから得られた撮像信号は、Ａ／Ｄ変換器５によりデジタル画像データに変換され、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３が生成される（ステップＳ１２）。また、合成補助データ処理部１３により合成補助データｄ１が生成され（ステップＳ１３）、撮影情報データ処理部１２により撮影情報データｄ４が生成される（ステップＳ１４）。
【０１２７】
低感度シーン参照生データｄ２、高感度シーン参照生データｄ３、合成補助データｄ１及び撮影情報データｄ４の生成後、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３からなるファイルが生成され、このファイルのヘッダに合成補助データｄ１及び撮影情報データｄ４がタグ情報として記録、添付され（ステップＳ１５）、添付済みのデータファイルが作成され（ステップＳ１６）、この添付済みのデータファイルが撮影装置２２に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ１７）。
【０１２８】
図１０は、ステップＳ１７で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。図１０に示すように、撮影されたデジタル画像データは、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３として記録され、そのヘッダ領域に、合成補助データｄ１及び撮影情報データｄ４が記録されている。この記録メディアを撮像装置２２から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３、合成補助データｄ１及び撮影情報データｄ４をこれらの外部装置に出力することができる。
【０１２９】
ここで、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３への合成補助データｄ１の「添付」とは、必ずしも合成補助データｄ１及び撮影情報データｄ４そのものを低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３のヘッダ領域に記録する必要はなく、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３と合成補助データｄ１、撮影情報データｄ４を関連付ける情報とともに記録メディアに記録されればよい。また、ここでは、記憶デバイス９の記録メディアにデータを記録することとしたが、撮像装置２１に通信Ｉ／Ｆを設け、ネットワーク等の通信手段を介してサーバ等の備えるメディアに記録するようにしてもよい。
【０１３０】
以上説明したように、図８に示す撮像装置２２によれば、図１に示す撮像装置２１の効果に加え、更に、外部の出力装置において、撮影状況に応じた鑑賞画像参照データの生成が可能なデータを出力することができる。
【０１３１】
＜画像処理装置１１５の構成＞
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図１１は本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。図１１に示すように、画像処理装置１１５は、入力部１０１、ヘッダ情報解析部１０２、合成補助データｄ１に基づいて低感度シーン参照生データｄ２と高感度シーン参照生データｄ３のそれぞれに撮像素子特性補正処理を施すとともに、低感度シーン参照生データｄ２と高感度シーン参照生データｄ３を合成して、合成標準化されたシーン参照画像データｄ５を生成する第一処理部１１３、第一処理部１１３により生成されたシーン参照画像データｄ５に最適化処理を施して鑑賞画像参照データｄ６を生成する第２処理部１１４により構成されている。第一処理部１１３と、第二処理部１１４にはヘッダ情報解析部１０２が夫々接続されており、さらに第二処理部１１４には、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２が夫々接続可能な状態となっている。以上の各構成要素はＣＰＵ等により構成される制御部１１６の統括的な制御下において動作する。
【０１３２】
入力部１０１は、記録メディア装着部（図示せず）を備えている。この装着部に、上述した撮像装置２１、２２により記録された広ダイナミックレンジ画像データのファイル（図６、図１０参照）が記録された記録メディアが装着されると、入力部１０１は、入力手段として、記録されたデータファイルを読み出して、ヘッダ情報解析部１０２へ入力する。なお、本実施の形態においては、入力部１０１は、装着された記録メディアからデータを読み出して入力することとして説明するが、データ通信ケーブルや、無線又は有線の通信手段を備え、これらの通信手段を介してデータを入力するようにしてもよい。
【０１３３】
ヘッダ情報解析部１０２は、入力部１０１から入力されたデータを解析し、低感度シーン参照生データｄ２と、高感度シーン参照生データｄ３と、これらのシーン参照生データに添付された合成補助データｄ１と、撮影情報データｄ４とに分け、合成補助データｄ１を合成標準化処理部１０３ａへ、シーン参照生データｄ２をシーン参照画像データ生成部１０４へ、撮影情報データｄ４を撮影情報データ処理部１０６へ出力する。
【０１３４】
第一処理部１１３は、図１１に示すように、合成標準化処理部１０３ａ、処理条件テーブル１０３ｂ、シーン参照画像データ生成部１０４及び一時記憶メモリ１０５を有して構成されている。
【０１３５】
合成標準化処理部１０３ａは、ヘッダ情報解析部１０２から合成補助データｄ１が入力されると、この合成補助データｄ１及び処理条件テーブル１０３ｂにより、合成標準化されたシーン参照画像データｄ５の生成条件を決定する。処理条件テーブル１０３ｂは、撮像素子の特性毎に、シーン参照画像データｄ５を生成するための処理条件を対応付けて記憶するテーブルである。また、設定入力部１０９から低感度シーン参照生データｄ２と高感度シーン参照生データｄ３に施す画像処理の内容を指示する情報、例えば、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去やモアレ除去等の周波数演算処理等、撮像素子特性補正のための各種画像処理の程度を調整するためのパラメータ等が入力された場合には、合成補助データｄ１、処理条件テーブル１０３ｂ及び入力された内容に基づいてシーン参照画像データｄ５の生成条件を決定する。なお、設定入力部１０９により入力された画像処理の内容が合成補助データｄ１の内容と異なる場合には、設定入力部１０９からの指示入力に基づいて優先させる内容を決定する。
【０１３６】
シーン参照画像データ生成部１０４は、シーン参照画像データ生成手段として、ヘッダ情報解析部１０２から入力された低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３に対して、合成標準化処理部１０３ａにより決定された生成条件により撮像素子特性補正処理を施すとともに、低感度シーン参照生データｄ２と高感度シーン参照生データｄ３を合成して、撮像素子特性に依存しない、合成標準化されたシーン参照画像データｄ５を生成し、一時記憶メモリ１０５に出力する。
【０１３７】
具体的には、撮像素子特性補正処理には、少なくとも低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３を生成した撮像素子の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のｓｃＲＧＢ、ＲＩＭＭＲＧＢやＥＲＩＭＭＲＧＢなどの標準色空間にマッピングする処理が含まれる。その他、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去及びモアレ除去等の周波数処理演算等を施す。
【０１３８】
合成方法としては、同じ位置の画素毎に、低感度シーン参照生データｄ２と高感度シーン参照生データｄ３の信号値を比較し、何れか一方の信号値を選択する方法がある。例えば、低感度画素の信号値に閾値を設け、低感度画素の信号値が当該閾値を下回った場合に、高感度画素を選択する。また、低感度シーン参照生データｄ２の信号値と高感度シーン参照生データｄ３の信号値をブレンド（例えば低感度４０％、高感度６０％）したり、３＊３画素領域で信号値を選択したり、ブレンドしたりすることにより合成する方法もある。
【０１３９】
また、本実施の形態においては、低感度撮像素子ＳＬがカラー素子、高感度撮像素子ＳＨがモノクロ素子であるので、同じ位置（或いは領域）の画素毎に低感度シーン参照生データｄ２と高感度シーン参照生データｄ３の輝度値を合成する。即ち、低感度シーン参照生データｄ２の各画素のＲＧＢ信号を輝度値Ｌと色成分ａ、ｂに変換し、輝度値のみを高感度シーン参照生データｄ３の輝度値Ｌと合成し、Ｌ´とする。そして、生成されたＬ´ａｂをＲＧＢ´に変換する。
低感度ＲＧＢ→Ｌａｂ
低感度Ｌ＋高感度Ｌ→Ｌ´
Ｌ´ａｂ→ＲＧＢ´
【０１４０】
シーン参照画像データ生成部１０４において、画素毎の、低感度と高感度の信号値の何れを選択したかの合成情報（高感度と低感度の信号値をブレンドして合成した場合には、その割合を示す情報、画素領域毎に信号値の選択やブレンドを行って合成した場合には画素領域毎の情報）は、一時記憶メモリ１０５に出力され、記録される。
【０１４１】
一時記憶メモリ１０５は、シーン参照画像データ生成部１０４により生成されたシーン参照画像データｄ５及び低感度と高感度の画素の合成情報を一時的に記録する。
【０１４２】
第二処理部１１４は、図１１に示すように、撮影情報データ処理部１０６、鑑賞画像参照データ生成部１０７、一時記憶メモリ１０８を有して構成されている。
【０１４３】
撮影情報データ処理部１０６は、ヘッダ情報処理部１０２から入力された撮影情報データｄ４に基づいて、撮影条件に応じた鑑賞画像参照データｄ６を生成するための生成条件を決定する。
【０１４４】
鑑賞画像参照データ生成部１０７は、鑑賞画像参照データ生成手段として、一時記憶メモリ１０５からシーン参照画像データｄ５を読み出し、撮影情報データ処理部１０６で決定された鑑賞画像参照データｄ６の生成条件及び設定入力部１０９から入力された記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類に関する操作情報に基づき、出力先において最適な画像を得るための最適化処理を施して鑑賞画像参照データｄ６を生成し、操作情報とともに一時記憶メモリ１０８へ出力する。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０１４５】
一時記憶メモリ１０８は、制御部１１６からの制御により鑑賞画像参照データ生成部１０７から入力された鑑賞画像参照データｄ６を設定入力部１０９からの操作情報に従い、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の何れかに出力する。
【０１４６】
設定入力部１０９は、キーボードやＬＣＤ上に構成されたタッチパネル等のユーザインターフェースにより構成され、本画像処理装置１１５にて生成されたデジタル画像データを出力する記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類に関する情報が入力されると、この情報を鑑賞画像参照データ生成部１０７に出力する。また、設定入力部１０９は、指示入力手段として、図４に示すのと同様のユーザインターフェースから低感度シーン参照生データｄ２と高感度シーン参照生データｄ３に施す画像処理の内容を指示する情報、例えば、階調変換処理、平滑化処理、鮮鋭化処理、ノイズ除去やモアレ除去等の周波数演算処理等、各種画像処理の程度を調整するためのパラメータ等が入力できるようになっており、これらの情報が入力されると、この情報を合成標準化処理部１０３ａに出力する。
【０１４７】
以上の、ヘッダ情報解析部１０２、合成標準化処理部１０３ａ、シーン参照画像データ生成部１０４、撮影情報データ処理部１０６、鑑賞画像参照データ生成部１０７という区分は、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１４８】
＜画像処理装置１１５の動作＞
図１２は、画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフロー図である。以下、図を参照して画像処理装置１１５の動作について説明する。
【０１４９】
図６又は図１０に示したデータ構造の記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップ２１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ２２）、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３（ステップＳ２３）、合成補助データｄ１（ステップＳ２４）、撮影情報データｄ４（ステップＳ２５）に分けられ、低感度シーン参照生データｄ２、高感度シーン参照生データｄ３、合成補助データｄ１は第一処理部１１３へ、撮影情報データｄ４は第二処理部１１４へ出力される。
【０１５０】
合成補助データｄ１が第一処理部１１３へ入力されると、合成標準化処理部１０３ａにより、合成補助データｄ１及び処理条件テーブル１０３ｂに基づいてシーン参照画像データｄ５を生成するための処理条件が決定される。設定入力部１０９から低感度シーン参照生データｄ２と高感度シーン参照生データｄ３に施す画像処理の内容を指示する情報が入力された場合は、合成補助データｄ１、処理条件テーブル１０３ｂ及び入力された内容に基づいてシーン参照画像データｄ５の生成条件が決定される。シーン参照画像データ生成部１０４により、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３は、この処理条件に基づいて撮像素子特性補正処理が施され（ステップＳ２６）、合成処理や各種画像処理が施されてシーン参照画像データｄ５が生成され、一時記憶メモリ１０９を介して第二処理部１１４に出力されるとともに、画素情報記録手段として、合成処理における低感度と高感度の画素の合成情報が生成されて一時記憶メモリ１０９に記録される（ステップＳ２７）。
【０１５１】
撮影情報データｄ４が第二処理部１１４へ入力されると、撮影情報データ処理部１０６により撮影情報データｄ４に基づいて撮影条件に応じた鑑賞画像参照データを生成するための処理条件が決定される。第一処理部１１３から入力されたシーン参照画像データｄ５は、鑑賞画像参照データ生成部１０７により撮影情報データ処理部１０６で決定された処理条件及び設定入力部１０９から入力された情報に基づいて出力先に応じた最適化処理が施され（ステップＳ２８）、鑑賞画像参照データｄ６が生成されて、設定入力部１０９により設定されたデバイスに出力される（ステップＳ２９）。
【０１５２】
なお、設定入力部１０９は、シーン参照画像データｄ５の出力を設定する機能を備え、設定入力部１０９によりシーン参照画像データｄ５の出力が設定されると、制御部１１６の制御により、第二処理部１１４による最適化処理を省略し、データ添付手段として、第一処理部１１３により生成されたシーン参照画像データｄ５と、そのヘッダ領域に合成補助データｄ１及び撮影情報データｄ４を添付したものをデータファイルとして作成し、記憶デバイス１１０に出力するようにしてもよい。このとき、一時記憶メモリ１０５に記憶された低感度と高感度の画素の合成情報が合成補助データｄ１に追加され、記録される。これにより、シーン参照画像データに再度画像処理を施す場合に、高感度撮像素子ＳＨ由来の成分と低感度撮像素子ＳＬ由来の成分とを分離して、夫々異なる画像処理を施すことができる。
【０１５３】
図１３は、図６で示したデータ構造のファイルが入力部１０１から入力された場合に、シーン参照画像データｄ５を生成して記憶デバイス１１０に出力する際の出力データ構造を示す図である。また、図１４は、図１０で示したデータ構造のファイルが入力部１０１から入力された場合に、シーン参照画像データｄ５を生成して記憶デバイス１１０に出力する際の出力データ構造を示す図である。これらの記憶デバイス１１０を表示デバイス、画像記録装置等の外部装置に装着することにより、シーン参照画像データｄ５、合成補助データｄ１（及び撮影情報データｄ４）を外部装置に出力することができ、外部装置にて、その装置に応じた最適化処理を行うことができる。なお、シーン参照画像データｄ５に添付するデータは、合成補助データｄ１と撮影情報データｄ４の双方が好ましいが、撮影情報データｄ４のみであっても、外部装置にて撮影条件に応じた好適な最適化処理を施すことができる。
【０１５４】
以上説明した様に、本発明の画像処理装置１１５によれば、上述した撮像装置２１、２２の出力する低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３、即ち、ダイナミックレンジの広い撮像画像データから、合成標準化されたシーン参照画像データｄ５の生成及びこのシーン参照画像データｄ５に対して出力先に応じた最適化処理を施した鑑賞画像参照データｄ６の生成を行うので、撮像装置２１、２２で得られた広いダイナミックレンジの画像データを家庭や職場環境でのプリント出力用途に利用することが可能となる。また、ユーザが低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３に施す画像処理の内容を指示することができる。
【０１５５】
＜画像記録装置２０１の構成＞
次に、本発明に係る画像記録装置の好ましい実施の形態について説明する。
図１５は本発明に係る画像記録装置２０１の外観構成を示す斜視図である。この実施の形態における画像記録装置２０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力メディアとして用いる出力デバイスとを備えた例である。
【０１５６】
画像記録装置２０１において、本体２０２の左側面にマガジン装填部２０３が設けられ、本体２０２内には出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられている。作成されたプリントは本体２０２の右側面に設けられたトレー２０６に排出される。さらに、本体２０２の内部には、露光処理部２０４の上方位置に制御部２０７が備えられている。
【０１５７】
また、本体２０２の上部には、ＣＲＴ２０８が配置されている。このＣＲＴ２０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ２０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部２０９が配置され、右側に反射原稿入力装置２１０が配置されている。
【０１５８】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットベッドスキャナで駒画像データに変換することができる。
【０１５９】
本体２０２の制御部２０７の配置位置には、画像読込部２１４が設けられている。画像読込部２１４はＰＣカード用アダプタ２１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ２１４ｂを備え、ＰＣカード２１３ａやＦＤ（フロッピー（登録商標）ディスク）２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像して複数の駒画像データが記憶されたメモリを有する。ＦＤ２１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０１６０】
ＣＲＴ２０８の前方には、操作部２１１が配置され、この操作部２１１は情報入力手段２１２を備える。情報入力手段２１２は、例えばタッチパネル等で構成される。
【０１６１】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリスティック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４は、本体２０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０１６２】
更に、本体２０２の制御部２０７の配置位置には、画像書込部２１５が設けられている。画像書込部２１５にはＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。
【０１６３】
更に、制御部２０７は図示しない通信手段を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像記録装置として機能することが可能になっている。
【０１６４】
＜画像記録装置２０１の内部構成＞
次に、画像記録装置２０１の内部構成について説明する。
図１６は画像記録装置２０１の内部構成を示すブロック図である。
【０１６５】
画像記録装置２０１の制御部２０７は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置２０１を構成する各部の動作を集中制御する。
【０１６６】
また、制御部２０７は、画像処理部２７０を有し、操作部２１１の情報入力手段１２からの入力信号に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部２１４から読み込まれた画像データ、及び通信手段（入力）２４０（図１７に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部２７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、プリントＰ１、Ｐ２、Ｐ３として、或いはＣＲＴ２０８、画像書込部２１５、通信手段（出力）２４１等により出力する。
【０１６７】
操作部２１１には、情報入力手段２１２が設けられている。情報入力手段２１２は、例えばタッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。また、操作部２１１は、キーボードやマウスを備えて構成するようにしてもよい。
【０１６８】
フィルムスキャナ部２０９は、アナログカメラにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置２１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０１６９】
画像読込部２１４は、デジタルカメラにより撮像して記録されたＰＣカード２１３ａやＦＤ２１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部２１４は、画像転送手段２３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ２１４ａに装着されたＰＣカード２１３ａや、ＦＤ用アダプタ２１４ｂに装着されたＦＤ２１３ｂに記録された駒画像データを読み取り、制御部２０７へ転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０１７０】
データ蓄積手段２７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０１７１】
テンプレート記憶手段２７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段２７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部２０７は、駒画像情報と当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択してサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０１７２】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部２１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０１７３】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０１７４】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０１７５】
露光処理部２０４は、画像処理部２７０で画像データを画像処理して生成された出力用画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に送る。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０１７６】
ＣＲＴ２０８は、制御部２０７から入力される画像情報を表示する。
【０１７７】
画像書込部２１５は、画像搬送部２３１としてＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像データを画像記録メディアに書き込むことができるようになっている。
【０１７８】
更に、画像処理部２７０は、通信手段（入力）２４０（図１７に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成したりすることも可能になっている。
【０１７９】
また、画像処理部２７０は、通信手段２４１（出力）（図１７に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０１８０】
このように画像記録装置２０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報を「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力メディア上で画像を観察する際に好ましい印象を与える画像となるように処理を行なう画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像形成手段、及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（出力）とを有する。
【０１８１】
＜画像処理部２７０の構成＞
図１７は、本発明に係る画像処理部２７０の機能的構成を示すブロック図である。フィルムスキャナ部２０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０１８２】
反射原稿入力装置２１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０１８３】
画像転送手段２３０及び通信手段（入力）２４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等を行い、画像処理部２７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４は、本発明に係る撮像装置２１、２２による形式の画像データが、画像転送手段２３０及び通信手段（入力）２４０から入力されたか否かを判別し、入力された画像データをヘッダ情報解析部３０２に出力する。ヘッダ情報解析部３０２においては、入力された画像データから合成補助データｄ１及び撮影情報データｄ４が解析される。
【０１８４】
出力画像の大きさについての指定は操作部２１１から入力されるが、この他に通信手段（入力）２４０に送信された出力画像の大きさについての指定や、画像転送手段２３０により取得された画像データのヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０１８５】
ヘッダ情報解析部３０２により解析された合成補助データｄ１は、合成標準化処理部３０３ａに出力され、この合成補助データｄ１及び処理条件テーブル３０３ｂに基づき、画像処理条件が決定される。指示入力手段としての操作部２１１から、例えば、図４に示したのと同様の入力画面から低感度シーン参照生データｄ２と高感度シーン参照生データｄ３に施す画像処理の内容を指示する情報が入力された場合は、合成補助データｄ１、処理条件テーブル３０３ｂ及び入力された内容に基づいて画像処理条件が決定される。決定された画像処理条件は、シーン参照画像データ生成手段としてのシーン参照画像データ生成部３０４において、画像データに対し適用され、シーン参照画像データｄ５が生成される。
【０１８６】
ヘッダ情報解析部３０２により解析された撮影情報データｄ４は、撮影情報データ処理部３０６に出力され、鑑賞画像参照データｄ６の生成に関わる画像処理条件が決定される。
操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１は、出力先のデバイス及び出力メディアに適合された鑑賞画像参照データｄ６を作成するための画像処理条件を、鑑賞画像参照データ生成部３０７へと転送する。
【０１８７】
鑑賞画像参照データ生成部３０７は、鑑賞画像参照データ生成手段であり、撮影情報データ処理部３０６で作成された画像処理条件及び画像調整処理部７０１から送信された画像処理条件に基づき、シーン参照画像データｄ５から鑑賞画像参照データｄ６を生成する。
【０１８８】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段２７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部２１１又は制御部２０７の指令に基づき、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２４０、テンプレート処理部７０５から受け取った画像データに対して、出力メディア上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行って出力用のデジタル画像データを生成し、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段２７１へ送出する。
【０１８９】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行い、制御情報等表示が必要な情報と合成した表示用の画像データを画像形成手段としてのＣＲＴ２０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、画像形成手段としての露光処理部２５１に画像データを送出する。本発明の画像記録装置２０１に、さらに、画像形成手段としての大判インクジェットプリンタなど、外部プリンタ装置２５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行うようにする。
【０１９０】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部２３１や通信手段（出力）２４１へ画像データを転送する。
【０１９１】
なお、鑑賞画像参照データ生成部３０７において作成される画像データは、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９における処理を前提としたものであり、画像データ書式作成処理部７０９においては、鑑賞画像参照データｄ６の書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０１９２】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１９３】
また、ヘッダ情報解析部３０２、合成標準化処理部３０３ａ、撮影情報データ処理部３０６、シーン参照画像データ生成部３０４、鑑賞画像参照データ生成部３０７、という区分は、画像処理部２７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０１９４】
＜画像処理部２７０の動作＞
図１８は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理を示すフロー図である。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０１９５】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ３１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２１又は２２によるデジタル画像データファイルであると判別されると（ステップＳ３２）、入力されたデジタル画像データファイルはヘッダ情報解析部３０２によりその内容が解析され（ステップＳ３３）、低感度シーン参照生データｄ２及び高感度シーン参照生データｄ３（ステップＳ３４）、合成補助データ（ステップＳ３５）、撮影情報データｄ４（ステップＳ３６）に分けられる。
【０１９６】
合成補助データｄ１は、合成標準化処理部３０３ａに出力され、合成標準化処理部３０３ａにより、合成補助データｄ１及び処理条件テーブル３０３ｂに基づいてシーン参照画像データｄ５を生成するための処理条件が決定される。操作部２１１から、低感度シーン参照生データｄ２と高感度シーン参照生データｄ３に施す画像処理の内容を指示する情報が入力された場合は、合成補助データｄ１、処理条件テーブル３０３ｂ及び入力された内容に基づいて画像処理条件が決定される。低感度シーン参照生データｄ２及び高感度シーン参照画像データｄ３は、シーン参照画像データ生成部３０４に出力され、合成標準化処理部３０３ａで決定された処理条件に基づいて撮像素子特性補正処理が施され（ステップＳ３７）、合成されることによりシーン参照画像データｄ５が生成されて鑑賞画像データ生成部３０７に出力される（ステップＳ３８）。
【０１９７】
撮影情報データｄ４は、撮影情報データ処理部３０６に出力され、撮影情報データ処理部３０６により撮影情報データｄ４に基づいて撮影条件に応じた鑑賞画像参照データｄ６を生成するための処理条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力デバイス及び出力メディアに適合された鑑賞画像参照データｄ６を作成するための画像処理条件が決定される。シーン参照画像データ生成部３０４から入力されたシーン参照画像データｄ５は、鑑賞画像参照データ生成部３０７により撮影情報データ処理部３０６により決定された処理条件及び画像調整処理部７０１により決定された画像処理条件に基づいて最適化処理が施され（ステップＳ３９）、鑑賞画像参照データｄ６が生成されて出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される（ステップＳ４０）。鑑賞画像参照データｄ６は、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ４１）、操作部２１１により指定された出力先から出力される（ステップＳ４２）。
【０１９８】
以上説明した様に、本発明の画像記録装置２０１によれば、撮像装置２１、２２により記録された広ダイナミックレンジの画像データから、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データｄ６を生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、迅速に鑑賞画像を形成することができる。
【０１９９】
【発明の効果】
本発明の撮像装置によれば、感度の異なる撮像素子の種類毎の、撮像素子特性に依存した、被写体に忠実な情報記録した撮像装置直接の生出力信号であるシーン参照生データを生成することにより、情報損失のない広ダイナミックレンジ画像の記録が可能となる。また、シーン参照生データのシーン参照画像データへの撮像装置内による変換処理を省略したことにより、撮像装置の処理負荷や消費電力が低減され、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加が可能となる。さらに、生成されたシーン参照生データに合成補助データを添付することにより、複数のシーン参照生データから、撮像装置毎の固体差、撮像素子特性の補正処理を施して合成し、合成標準化された単一のシーン参照画像データの生成を容易にすることが出来る。
【０２００】
本発明の画像処理装置によれば、本発明の撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等、公知のあらゆる「出力媒体」への出力用に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを生成することができ、本発明の撮像装置の出力する広ダイナミックレンジ画像データを家庭や職場環境でのプリント出力用途に利用することが可能となる。
【０２０１】
本発明の画像記録装置によれば、本発明の撮像装置の出力する広ダイナミックレンジ画像データを容易に編集、加工することができ、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙上に、撮像画像情報の情報損失を伴うことなく、出力先に応じて最適化された鑑賞画像を迅速に形成することが達成される。
【０２０２】
また、予想外であったが、本発明を適用したデジタルカメラからの取得画像データから、本発明の画像処理装置により銀塩プリントの作成を試みた結果、ハイライト側の飛びやシャドー側の潰れを著しく抑制出来、銀塩プリントの画質を大幅に向上しうることがわかった。
【０２０３】
さらに驚くべきことに、フィルムスキャナに本発明を適用し、本発明の画像処理装置により銀塩プリントの作成を試みた結果、ハイライト側の飛びやシャドー側の潰れ以外にも、フィルムに起因する粒状ノイズを効果的に抑制することに効果があることもわかった。
【図面の簡単な説明】
【図１】本発明に係る撮像装置２１の機能的構成を示すブロック図である。
【図２】図１のＣＣＤ３における低感度撮像素子ＳＬと高感度撮像素子ＳＨの配置例を示す模式図である。
【図３】図１の低感度撮像素子ＳＬにおける被写体輝度と信号電荷量の関係ＤＬ及び高感度撮像素子ＳＨにおける被写体輝度と信号電荷量の関係ＤＨを示すグラフである。
【図４】図１の表示部１５に表示される入力画面１４１の一例を示す図である。
【図５】図１の制御部１１により実行されるシーン参照生データ保存処理Ａを示すフローチャートである。
【図６】図２のステップＳ６で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。
【図７】図１のＣＣＤ３を、ＣＣＤ３ａ〜３ｃを有する３ＣＣＤにより構成した例を示す図である。
【図８】本発明に係る撮像装置２２の機能的構成を示すブロック図である。
【図９】図８の制御部１１により実行されるシーン参照生データ保存処理Ｂを示すフローチャートである。
【図１０】図９のステップＳ１７で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。
【図１１】本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。
【図１２】図１１の画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフロー図である。
【図１３】図１１の画像処理装置１１５において、図６のデータ構造のファイルが入力部１０１から入力された場合に、シーン参照画像データｄ５を生成して記憶デバイス１１０に出力する際の出力データ構造を示す図である。
【図１４】図１１の画像処理装置１１５において、図１０のデータ構造のファイルが入力部１０１から入力された場合に、シーン参照画像データｄ５を生成して記憶デバイス１１０に出力する際の出力データ構造を示す図である。
【図１５】本発明に係る画像記録装置２０１の外観斜視図である。
【図１６】図１５の画像記録装置２０１の内部構成を示す図である。
【図１７】図１６の画像処理部２７０の機能的構成を示すブロック図である。
【図１８】図１７の画像記録装置２０１の各部が連携することにより実行される画像データ形成処理を示すフロー図である。
【符号の説明】
１レンズ
２絞り
３ＣＣＤ
４アナログ処理回路
５Ａ／Ｄ変換器
６一時記憶メモリ
７画像処理部
８ヘッダ情報処理部
９記憶デバイス
１０ＣＣＤ駆動回路
１１制御部
１２撮影情報データ処理部
１３合成補助データ処理部
１４操作部
１５表示部
１６ストロボ駆動回路
１７ストロボ
１８焦点距離調整回路
１９自動焦点駆動回路
２０モータ
２１撮像装置
２２撮像装置
１０１入力部
１０２ヘッダ情報解析部
１０３ａ合成標準化処理部
１０３ｂ処理条件テーブル
１０４シーン参照画像データ生成部
１０５一時記憶メモリ
１０６撮影情報データ処理部
１０７鑑賞画像参照データ生成部
１０８一時記憶メモリ
１０９設定入力部
１１０記憶デバイス
１１１出力デバイス
１１２表示デバイス
１１３第一処理部
１１４第二処理部
１１５画像処理装置
２０１画像記録装置
２０２本体
２０３マガジン装填部
２０４露光処理部
２０５プリント作成部
２０６トレー
２０７制御部
２０８ＣＲＴ
２０９フィルムスキャナ部
２１０反射原稿入力装置
２１１操作部
２１２情報入力手段
２１３ａＰＣカード
２１３ｂＦＤ
２１４画像読込部
２１４ａＰＣカード用アダプタ
２１４ｂＦＤ用アダプタ
２１５画像書込部
２１５ａＦＤ用アダプタ
２１５ｂＭＯ用アダプタ
２１５ｃ光ディスク用アダプタ
２１６ａＦＤ
２１６ｂＭＯ
２１６ｃ光ディスク
２３０画像転送手段
２３１画像搬送部
２４０通信手段（入力）
２４１通信手段（出力）
２５１外部プリンタ
２７０画像処理部
７０１画像調整処理部
７０２フィルムスキャンデータ処理部
７０３反射原稿スキャンデータ処理部
７０４画像データ書式解読処理部
７０５テンプレート処理部
７０６ＣＲＴ固有処理部
７０７プリンタ固有処理部１
７０８プリンタ固有処理部２
７０９画像データ書式作成処理部
３０２ヘッダ情報解析部
３０３ａ合成標準化処理部
３０３ｂ処理条件テーブル
３０４シーン参照画像データ生成部
３０６撮影情報データ処理部
３０７鑑賞画像参照データ生成部
２７１データ蓄積手段
２７２テンプレート記憶手段
ｄ１合成補助データ
ｄ２低感度シーン参照生データ
ｄ３高感度シーン参照生データ
ｄ４撮影情報データ
ｄ５シーン参照画像データ
ｄ６鑑賞画像参照データ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device such as a digital camera that records captured image information of a wide dynamic range without loss of information by a general-purpose method, and a wide dynamic range image information obtained by the imaging device on an output medium. The present invention relates to an image processing apparatus and an image recording apparatus for performing an optimization process for forming a viewing image.
[0002]
[Prior art]
Today, digital image data captured by an imaging device is distributed via a storage device such as a CD-R (Compact Disc Recordable), a floppy (registered trademark) disk, a memory card, or the Internet, and a CRT (Cathode Ray Tube) or a liquid crystal. Display / printing, such as display on a display monitor such as a plasma monitor or a small LCD monitor of a mobile phone, or printing as a hard copy image using an output device such as a digital printer, an ink jet printer, or a thermal printer. Methods are becoming increasingly diverse.
[0003]
When digital image data is displayed and output for viewing purposes, gradation adjustment, brightness adjustment, color balance adjustment, and sharpness are performed so that desired image quality can be obtained on a display monitor used for viewing or on a hard copy. Generally, various image processes represented by gender emphasis are performed.
[0004]
Efforts have been made to increase the versatility of digital image data captured by an imaging device in response to such various display and print methods. As part of this, there is an attempt to standardize the color space represented by digital RGB (Red, Green, Blue) signals into a color space that does not depend on the characteristics of the imaging device. At present, many digital image data have been standardized as " sRGB ”(“ Multimedia Systems and Equipment-Color Measurement and Management and Part-Part 2-1: Refer to Color Management-Default RGB Color-1 Space R-G36-R1 G66-R1 Color-Color-Management-Management-Part 2-1. Are set corresponding to the color reproduction area of a standard CRT display monitor.
[0005]
2. Description of the Related Art In general, a digital camera is an imaging device having a photoelectric conversion function, which has a color sensitivity by combining a CCD (charge coupled device), a charge transfer mechanism, and a checkered color filter. A CCD type image pickup device, hereinafter simply referred to as a CCD). Digital image data output by a digital camera is subjected to correction of a photoelectric conversion function of an image sensor to an electric original signal converted through the CCD, so that the image can be read and displayed by image editing software. The file has been subjected to a file conversion / compression process into a data format of a predetermined format standardized as follows.
[0006]
Examples of the correction of the photoelectric conversion function of the image sensor include gradation correction, crosstalk correction of spectral sensitivity, dark current noise suppression, sharpening, white balance adjustment, and saturation adjustment. Further, as a standardized data format of a predetermined format, for example, “Baseline Tiff Rev. 6.0RGB Full Color Image”, which is adopted as an uncompressed file of an Exif (Exchangeable Image File Format) file, a JPEG format is used. Compressed data file formats are known.
[0007]
The Exif file conforms to sRGB, and the correction of the photoelectric conversion function of the image sensor is set to be the most suitable image quality on a display monitor conforming to sRGB.
[0008]
For example, tag information indicating that any digital camera is displayed in a standard color space (hereinafter, also referred to as a “monitor profile”) of a display monitor conforming to an sRGB signal, such as Exif format, As long as a function of writing additional information indicating model-dependent information such as the number, pixel arrangement, and the number of bits per pixel as metadata in a file header of digital image data and such a data format are adopted, digital Tag information is analyzed by image editing software (for example, Photoshop manufactured by Adobe) that displays image data on a display monitor, and it is possible to prompt a change of the monitor profile to sRGB or to perform an automatic change process. . Therefore, it is possible to reduce the difference in device characteristics between different displays, and to view digital image data captured by a digital camera in a suitable state on a display monitor.
[0009]
The additional information written in the file header of the digital image data includes, in addition to the above-described model-dependent information, information directly related to the camera type (model) such as a camera name and a code number, or an exposure time and a shutter speed. , Aperture value (F number), ISO sensitivity, brightness value, subject distance range, light source, presence or absence of strobe emission, subject area, white balance, zoom magnification, subject configuration, shooting scene type, amount of reflected light from strobe light source, shooting Tags (codes) indicating shooting condition settings such as saturation, information on the type of subject, and the like are used. The image editing software and the output device have a function of reading the additional information and making the image quality of the hard copy image more suitable.
[0010]
By the way, an image displayed on a display device such as a CRT display monitor or a hard copy image printed by various printing devices has a different color reproduction range depending on a configuration of a phosphor or a coloring material used. For example, the color reproduction area of a CRT display monitor corresponding to the sRGB standard color space has a wide area of bright green and blue, and there are areas that cannot be reproduced by hard copy such as a silver halide photographic print, an ink jet printer, and printing. There is an area which cannot be reproduced by a CRT display monitor corresponding to the sRGB standard color space in a cyan area or a yellow area of a silver halide photograph (for example, Corona "Fine Imaging and Digital Photography" (published by the Photographic Society of Japan) See page 444). On the other hand, there is a possibility that some of the subject scenes to be photographed have an area color that cannot be reproduced in any of these color reproduction areas.
[0011]
As described above, the color space (including sRGB) optimized on the premise of display / printing by a specific device has a limit on the recordable color gamut. Therefore, when recording information acquired by the imaging device, An adjustment for compressing and mapping to a recordable color gamut is required. The simplest mapping method is clipping, which maps chromaticity points outside the recordable color gamut onto the nearest gamut boundary, but this will collapse out-of-color gamut, The image becomes uncomfortable when watching. For this reason, currently, non-linear compression is generally employed in which chromaticity points in a region where the chroma is higher than an appropriate threshold value are smoothly compressed according to the size of the chroma. As a result, the chroma is compressed and recorded even at the chromaticity points inside the recordable color gamut. (Details of the color gamut mapping method are described in, for example, Corona Co., Ltd., "Fine Imaging and Digital Photography", Japan Photographic Society Publishing Committee, p. 447).
[0012]
In addition, images displayed on a display device such as a CRT display monitor, hard copy images printed by various printing devices, and a color space (including sRGB) optimized on the premise of display and printing by these devices are: The luminance range in which recording and reproduction can be performed is limited to about 100: 1 order. On the other hand, the subject scene to be photographed has a wide luminance range, and often reaches the order of several thousand to 1 outdoors (for example, the University of Tokyo Press, “New Color Science Handbook, 2nd Edition”, edited by the Japan Society of Color Science) 926). Therefore, when recording the information acquired by the imaging device, it is necessary to similarly compress the luminance. In this compression process, it is necessary to set appropriate conditions for each image in accordance with the dynamic range of the shooting scene and the luminance range of the main subject in the shooting scene.
[0013]
However, when the above-described compression operation of the color gamut and the luminance gamut is performed, gradation information before compression and information before clipping are lost at that time due to the principle of digital images recorded by discrete numerical values. It cannot be returned to its original state again. This greatly restricts the versatility of high-quality digital image data.
[0014]
For example, when an image recorded in the sRGB standard color space is printed by a printing device, it is necessary to perform mapping again based on the difference between the sRGB standard color space and the color gamut of the printing device. However, in an image recorded in the standard color space of sRGB, gradation information of a region once compressed at the time of recording is lost, so that information acquired by the imaging device is directly mapped to the color reproduction range of the printing device. Gradation smoothness is worse than that. Also, if the gradation compression condition during recording is inappropriate and there is a problem that the picture is whitish, the face is dark, the shadow is crushed, or the highlight area is overexposed, the image is improved by changing the gradation setting Even if it is attempted, since the gradation information before compression and the information of the crushed and overexposed portions have already been lost, only an extremely insufficient improvement is made as compared with the case where a new image is recreated from the information obtained by the imaging device. I can't.
[0015]
As a solution to such a problem, a technique of saving an image editing process as a backup and returning the image to a state before editing as necessary has been known for a long time. For example, Patent Literature 1 describes a backup device that saves, as backup data, difference image data from digital image data before and after image processing when digital image data is locally changed by image processing. I have. Patent Document 2 discloses a method of restoring digital image data before editing by obtaining and storing difference image data of digital image data before and after image processing. However, such a technique is effective from the viewpoint of preventing information loss, but involves an increase in the amount of data to be recorded on a medium, and as a result, the number of images that can be captured by a camera decreases.
[0016]
The above-described problem is caused by compressing and recording information of a wide color gamut and a luminance gamut acquired by the imaging device into viewing image reference data optimized in consideration of a viewing image. On the other hand, if information of a wide color gamut and luminance range acquired by the imaging device is recorded as uncompressed scene reference image data, careless loss of information can be prevented. As a standard color space suitable for recording such scene reference image data, for example, “scRGB” (relative scene RGB color space), “RIMM RGB” (Reference Input Medium Metric RGB), and “ERIMM RGB” (Extended) Input Medium Metric RGB has been proposed (see Journal of Imaging Science and Technology 45, 418-426 (2001)).
[0017]
However, data represented in such a standard color space is not suitable for being directly displayed and viewed on a display monitor. 2. Description of the Related Art In general, a display monitor is built in or connected to a digital camera so that a user can confirm an angle of view before photographing or confirm photographed contents after photographing. When photographed digital image data is recorded as viewing image reference data such as sRGB, there is an advantage that the data can be directly displayed on a display monitor without conversion, but the photographed digital image data is stored in a scene monitor. When the data is recorded as reference image data, a process of re-converting the data as viewing image reference data to display the data is indispensable. Such double conversion processing in the camera increases the processing load and power consumption, lowers the continuous shooting performance, and limits the number of shots during battery shooting.
[0018]
On the other hand, Patent Document 3 discloses an image processing apparatus characterized by having a mode for recording in the form of an image signal displayed on a display unit and a mode for recording in the form of a captured image signal. The latter image signal form is generally called RAW data, and such digital image data can be viewed and displayed on the Exif file or the like by using dedicated application software (referred to as “developing software”). It can be converted to image reference data (referred to as "electronic development" or simply "development"). Since the RAW data stores all information at the time of shooting, it is possible to recreate the viewing image reference data. If another color system file such as CMYK is directly created, the color gamut of the display monitor (sRGB) can be obtained. The color is not inadvertently changed due to the difference. However, since the RAW data is recorded based on the color space based on the spectral sensitivity characteristic specific to the shooting model and the file format specific to the shooting model, it is suitable for display and printing unless dedicated developing software specific to the shooting model is used. I can't get an image.
[0019]
Although a general digital camera has been described so far, it is needless to say that it is desirable that the imaging apparatus itself be further improved so as to obtain wider color gamut / luminance gamut information than conventional ones. Since the solid-state image sensor has a narrow dynamic range with respect to the incident intensity, Patent Document 4 includes a low-sensitivity image sensor unit and a high-sensitivity image sensor unit, and compares the value obtained by level-converting each output with a reference voltage. A method of instantaneously switching the output of the level value to expand the dynamic range of a signal obtained by photoelectrically converting the incident light intensity is described.
[0020]
Further, in Patent Document 5, the first light receiving element (high-sensitivity imaging element) and the second light receiving element (low-sensitivity imaging element) of the imaging element are arranged such that the centers of the geometric shapes of the imaging elements are aligned with each other. A half of the pitch indicating the interval between the light receiving elements in the (horizontal) direction and / or the column (vertical) direction, that is, a half pitch, that is, a half pitch, is arranged in a honeycomb shape, and the signal saturation level of the first light receiving element is adjusted. A method for combining with the second signal is described.
[0021]
Patent Document 6 discloses that an image sensor generates a high-sensitivity video signal and a low-sensitivity video signal, quantizes a high-sensitivity video signal with a high quantization resolution, and a low-sensitivity video signal with a low quantization resolution, and then performs high-quantization. There is described a method of forming a wide dynamic range image by summing the data based on the sensitivity ratio when the data is saturated, and otherwise selecting high quantization data.
[0022]
In addition, a method for selecting an output value of a low-sensitivity image sensor and a high-sensitivity image sensor according to an exposure area described in Patent Document 7 and a method of selecting a low-sensitivity image sensor and a high-sensitivity image sensor described in Patent Document 8 It describes how to select output values without moiré.
[0023]
[Patent Document 1]
JP-A-7-57074
[Patent Document 2]
JP 2001-94778 A
[Patent Document 3]
JP-A-11-261933
[Patent Document 4]
Japanese Patent Publication No. 8-34558
[Patent Document 5]
JP 2000-125209 A
[Patent Document 6]
JP 2001-8104 A
[Patent Document 7]
JP 2003-18445 A
[Patent Document 8]
JP 2003-18479 A
[0024]
[Problems to be solved by the invention]
In a digital camera having an image pickup unit in which image pickup devices having different characteristics are highly integrated, scene reference image data (for example, “scRGB”, “RIMM RGB”) that does not compress information of a wide color gamut and luminance range acquired by the image pickup unit Or "ERIMM RGB"), it is possible to prevent loss of information. However, there is a problem that the processing load in the camera is further increased, there is a problem that the image quality varies due to characteristics inherent to the model of the imaging apparatus, or it is difficult to optimize the image quality for display and printing purposes, as with the RAW data. .
[0025]
An object of the present invention is to provide an imaging apparatus capable of recording captured image information of a wide dynamic range without information loss by a general-purpose and processing load-reduced method, and imaging of a wide dynamic range recorded by the imaging apparatus. An object of the present invention is to provide an image processing device and an image recording device that can easily edit and process image information.
[0026]
[Means for Solving the Problems]
In order to solve the above problems, the invention described in claim 1 is
In an imaging apparatus including at least two types of imaging elements having different sensitivities,
A scene reference raw data generating means for generating scene reference raw data for each type of the image sensor by imaging;
A synthesis assistant that generates synthesis auxiliary data, which is information necessary when generating scene standardized image reference data that is synthesized and standardized by performing image sensor characteristic correction processing on the scene reference raw data for each type of the image sensor and synthesizing them. Data generation means;
Recording control means for attaching the synthesis auxiliary data to scene reference raw data for each type of the image sensor, and further recording the data on a medium;
It is characterized by having.
[0027]
According to the imaging apparatus of the first aspect of the present invention, raw scene reference data for each type of image sensor having different sensitivity due to imaging is generated, and an image sensor characteristic correction process is performed on the raw scene reference data for each type of image sensor. By generating the composite reference data, which is information necessary for generating the standardized scene reference image data by performing the synthesis, and attaching the composite auxiliary data to the scene reference raw data for each type of the imaging device, and Record on media. Therefore, by generating the scene reference raw data depending on the image sensor characteristics for each type of image sensor having different sensitivities, it is possible to record a wide dynamic range image without information loss. Further, by omitting the conversion processing of the raw scene reference data into the scene reference image data in the imaging device, the processing load and power consumption of the imaging device are reduced, the processing (photographing) capability is improved, and the battery driving time is reduced. The number of processed (photographed) images can be increased. Furthermore, by attaching the synthesis auxiliary data to the generated scene reference raw data, the processing is performed by correcting the individual differences and the imaging device characteristics of each imaging device from a plurality of scene reference raw data, and the synthesis is standardized. Generation of single scene reference image data can be facilitated.
[0028]
Here, in the description of the present specification, “generation” means that a program and a processing circuit that operate in the imaging apparatus, the image processing apparatus, and the image recording apparatus according to the present invention newly generate image signals and data. It is. “Creation” may be used as a synonym.
[0029]
Further, the “imaging device” is a device provided with an imaging element (image sensor) having a photoelectric conversion function, and includes a so-called digital camera or scanner. Examples of the image pickup device include a CCD (charge coupled device), a charge transfer mechanism, and a checkerboard color filter, which are combined with a CCD type image pickup device or a CMOS type image pickup device. However, the present invention is characterized in that at least two types of image sensors having different sensitivities are used in combination. As an example of combining such image sensors having different sensitivities, Japanese Patent Application Laid-Open No. 2000-125209 discloses a low-sensitivity image sensor and a high-sensitivity image sensor in which the centers of the geometric shapes of the image sensors are aligned with each other (horizontal). 1) and / or a column (vertical) direction, a solid-state difference imaging device is described which is arranged in a honeycomb shape by being shifted by a half of the pitch indicating the interval of the light-receiving devices, that is, １／ pitch. As shown in FIG. 2, in the image sensor of the present invention, it is desirable that a low-sensitivity image sensor and a high-sensitivity image sensor are arranged in a honeycomb shape. Output currents of these image sensors are digitized by an A / D converter. At this stage, the content of each color channel has a signal intensity based on the spectral sensitivity unique to the image sensor.
[0030]
The “scene-referred raw data” is a raw output signal directly recorded by the imaging apparatus in which information faithful to the subject is recorded. The data itself is digitized by the A / D converter, and the data itself has a fixed pattern noise, This means data on which noise correction such as dark current noise has been performed, and includes the above-described RAW data. The raw scene reference data is processed by image processing that modifies the data contents to improve the effects at the time of image appreciation such as gradation conversion, sharpness enhancement, and saturation enhancement, and for each color channel based on the spectral sensitivity unique to the image sensor. Is characterized by omitting the processing of mapping the signal strength of the above-mentioned signal into a standardized color space such as the aforementioned scRGB, RIMM RGB, and sRGB. The information amount (for example, the number of tones) of the scene reference raw data is preferably equal to or more than the information amount (for example, the number of tones) required for the viewing image reference data in accordance with the performance of the A / D converter. . For example, when the gradation number of the viewing image reference data is 8 bits per channel, the gradation number of the scene reference raw data is preferably 12 bits or more, more preferably 14 bits or more, and further preferably 16 bits or more.
[0031]
A first feature of the imaging apparatus of the present invention is that a wide dynamic range image can be obtained by generating the above-mentioned "scene-reference raw data" for each type of imaging element having a different sensitivity.
[0032]
Here, the “sensitivity” is an index indicating a response characteristic to the brightness (luminance) of the subject, and means that a higher sensitivity imaging device can respond to a darker subject. Generally, the sensitivity of an image sensor increases in proportion to the light receiving area of the image sensor. Further, the image sensor emits a weak noise signal (also called dark current noise or white noise) even when the light is completely blocked, and this noise signal is proportional to a gain value for adjusting the sensitivity gain of the image sensor. And increase. The intensity of the noise signal generated when the image sensor is blocked from light has a characteristic that is inversely proportional to the light receiving area. Therefore, when the image sensor is composed of two types of low-sensitivity and high-sensitivity image sensors, the high-sensitivity image sensor has a larger light receiving area or a larger number of units per unit area than the low-sensitivity image sensor. desirable. Further, it is desirable that the high-sensitivity imaging device is a monochrome device having no color sensitivity (color discrimination ability) and responding only to the luminance of the subject.
[0033]
"Dynamic range" is an index indicating response characteristics to a range of brightness (luminance) of a subject. An image sensor having a wider dynamic range can respond from a darker subject to a brighter subject. Means In general, the dynamic range of an image sensor depends on the material and structure of a light receiving section of the image sensor, and a device using a semiconductor such as a photodiode cannot provide a sufficient dynamic range. In addition, the higher the sensitivity of the imaging device, the higher the response to a darker subject. However, for a brighter subject, the dynamic range is insufficient and the signal is likely to be saturated. On the other hand, a low-sensitivity image sensor can respond to a brighter subject with less signal saturation, but lacks sensitivity for a darker subject. Therefore, in order to further configure the dynamic range with at least two types of image sensors, it is desirable to always minimize the overlap of the respective dynamic ranges.
[0034]
In the present invention, the quantization resolution of the scene reference raw data generated for each sensitivity of the image sensor (hereinafter, simply referred to as “gradation number”) may be the same, but the high-sensitivity image sensor has It is desirable that the number of gradations be larger than that of a low-sensitivity image sensor. The response characteristic of the image sensor with respect to the subject luminance is preferably linear as shown in FIG. 3, but may be different for each magnitude of sensitivity. Further, it is desirable that the low-sensitivity imaging device is composed of at least three types having different color sensitivity (color discrimination ability).
[0035]
Further, in the description of the present specification, “synthesized standardized scene reference image data” refers to a plurality of scene reference raw data generated for each sensitivity of the image sensor, at least an image sensor element correction process performed by an image sensor characteristic correction process described later. The signal intensity of each color channel based on its own spectral sensitivity is mapped to a standard color space such as the aforementioned scRGB, RIMM RGB, and ERIMM RGB, and the signal intensity is determined based on the brightness (luminance) of the main subject, the dynamic range, and the like. Image data obtained by performing synthesis processing to optimize within the range of the information capacity that can be held as image data, and improving image viewing effects such as gradation conversion, sharpness enhancement, and saturation enhancement Image data in which image processing for altering the data content is omitted. Further, the scene reference image data is used to correct the photoelectric conversion characteristics of the imaging apparatus (opto-electronic conversion function defined by ISO 1452, for example, see “Fine Imaging and Digital Photography” by Corona Co., Ltd., page 449 of the Japan Society of Photographic Society Press). It is preferable that this is performed. As a result of this processing, a single “synthesized standardized data” in which the difference in signal value between different “imaging devices” is corrected while retaining the amount of information divided and held by a plurality of “scene reference raw data”. Scene reference image data ".
[0036]
The information amount (for example, the number of tones) of the synthesized standardized scene reference image data is equivalent to the information amount (for example, the number of tones) required for the viewing image reference data described later according to the performance of the A / D converter. It is preferable that it is above. For example, when the gradation number of the viewing image reference data is 8 bits per channel, the gradation number of the scene reference image data is preferably 12 bits or more, more preferably 14 bits or more, and further preferably 16 bits or more.
[0037]
“Imaging element characteristic correction processing” means preprocessing necessary to convert “synthesized standardized scene reference image data” using raw scene reference data depending on the imaging element characteristics. The contents of the pre-processing include a process of mapping the signal intensity of each color channel based on at least the spectral sensitivity unique to the imaging device to the above-described standard color space such as scRGB, RIMM RGB, and ERIMM RGB. For example, in the case where the raw scene reference data depending on the image sensor characteristics has not been subjected to the interpolation processing based on the color filter array, it is necessary to additionally execute the processing. (Details of the interpolation processing based on the color filter array are described in, for example, Corona Co., Ltd. “Fine Imaging and Digital Photography” (published by The Photographic Society of Japan, page 51). Any processing such as smoothing processing, sharpening processing, or frequency processing calculation such as noise removal or moiré removal can be applied.
[0038]
The second feature of the image pickup apparatus of the present invention is that the “synthesis auxiliary data” is added to the “scene reference raw data” to thereby perform the “imaging element characteristic correction processing” and the “synthesis standardized scene reference image data”. Can be executed outside the imaging device.
[0039]
The “synthesis auxiliary data” refers to at least information for identifying a plurality of scene reference raw data generated for each sensitivity of the image sensor, and the signal intensity of each color channel based on the spectral sensitivity of the image sensor itself, as described above in scRGB, RIMMRGB. And information that can be mapped to a standard color space such as ERIMM RGB, that is, the spectral sensitivity characteristic of the image sensor or a matrix coefficient to be used when converting to a specific standard color space such as RIMM RGB. Need to be. For example, if only the model name of the imaging device is described, it can be said that the data is sufficient data because the image processing device that performs this processing may not have a correspondence table between the model name and the matrix coefficient. Absent. Further, for example, even if sufficient information is not directly described when performing this processing, if a URL indicating the location of the information on the Internet is described, it is not sufficient to perform this processing. Can be considered as data. These “synthesis auxiliary data” are preferably recorded as tag information to be written in a header section in the image file.
[0040]
If the “synthesis auxiliary data” is stored in the media independently of the “scene reference raw data”, any one of “synthesis auxiliary data” and “scene reference raw data” or both It is necessary to add information for associating the two or attach a status information file separately describing related information.
[0041]
The “media” is a storage medium used for storing “scene reference raw data” and “synthesis auxiliary data” output from the imaging device, and includes a compact flash (registered trademark), a memory stick, a smart media, a multimedia card, Any of a hard disk, a floppy (registered trademark) disk, a magnetic storage medium (MO), and a CD-R may be used. In addition, the unit for writing to the storage medium may be integrated with the image capturing device, or may be installed in a wired or wirelessly connected state via a code or the Internet. It may be any mode such as a unit performed. Further, when the imaging device and the writing unit for the storage medium are in a connected state, the image processing device or the image recording device has a function capable of reading “synthesis auxiliary data” and “necessary data” directly from the imaging device. It may be a mode having both. It is preferable that the file format at the time of “recording on a medium” is not a format unique to the imaging device, but is recorded in a standardized general-purpose file format such as TIFF, JPEG, and Exif.
[0042]
The image processing apparatus according to the second aspect of the present invention
Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
It is characterized by having.
[0043]
According to the second aspect of the present invention, synthesis standardization is performed based on scene reference raw data and synthesis auxiliary data that are input from an imaging device having a plurality of imaging devices having different sensitivities and depend on the imaging device characteristics of the imaging device. Generated scene reference image data. Therefore, the wide dynamic range image data output by the imaging device according to the first aspect can be used for print output in a home or work environment.
[0044]
Here, “input” according to claim 2 means that “scene reference raw data” and “synthesis auxiliary data” output by the imaging device are output to the imaging device via “media” in which these are stored. To the image processing apparatus of the present invention.
[0045]
An aspect in which the imaging device and the above-described writing unit for the storage medium are in a connected state, and the image processing device of the present invention has a function of directly reading “scene reference raw data” and “synthesis auxiliary data” directly from the imaging device. In this case, the image processing apparatus according to the present invention has a connection unit with the imaging device, and this connection unit corresponds to the input unit of the present invention. Also, portable "media" such as a memory card, a compact flash (registered trademark), a memory stick, a smart media, a multimedia card, a floppy (registered trademark) disk, a magneto-optical storage medium (MO), or a CD-R are used. If so, the image processing apparatus of the present invention has a corresponding reading means, and this reading means corresponds to the input means of the present invention. Further, when the writing unit is in an independent or remote location connected wirelessly via communication or the Internet, the image processing apparatus of the present invention has communication means for connecting to the communication or the Internet. This communication means corresponds to the input means of the present invention.
[0046]
The invention according to claim 3 is:
In an imaging apparatus including at least two types of imaging elements having different sensitivities,
A scene reference raw data generating means for generating scene reference raw data for each type of the image sensor by imaging;
A synthesis assistant that generates synthesis auxiliary data, which is information necessary when generating scene standardized image reference data that is synthesized and standardized by performing image sensor characteristic correction processing on the scene reference raw data for each type of the image sensor and synthesizing them. Data generation means;
Photographing information data generating means for generating photographing information data which is a photographing condition setting at the time of photographing,
Recording control means for attaching the synthesis auxiliary data and the shooting information data to the scene reference raw data for each type of the imaging element, and further recording the data on a medium;
It is characterized by having.
[0047]
According to the imaging device of the third aspect of the present invention, raw scene reference data for each type of image sensor having different sensitivity due to imaging is generated, and image sensor characteristic correction processing is performed on the raw scene reference data for each type of image sensor. By generating and synthesizing the scene reference image data, which is information necessary for generating scene standardized scene reference image data, and photographing information data which is a photographing condition setting at the time of photographing, the photographing information data is generated for each type of image sensor. Attached to the scene reference raw data and further recorded on the media. Therefore, by generating the scene reference raw data depending on the image sensor characteristics for each type of image sensor having different sensitivities, it is possible to record a wide dynamic range image without information loss. In addition, by omitting the conversion processing to the scene reference image data in the imaging device, the processing load and power consumption of the imaging device are reduced, the processing (photographing) capability is improved, and the number of processes (photographing) when the battery is driven is performed. Can be increased. Also, by adding the synthesis auxiliary data to the generated scene reference raw data, the external image processing device or the image recording device can correct the individual differences and the image sensor characteristics of the plurality of scene reference raw data for each imaging device. And can be combined to facilitate the generation of a single scene standardized image reference image data, and by adding shooting information data, the generation of the "synthesized standardized scene reference image data" can be performed. It is possible to improve the accuracy or generate the viewing image reference data according to the shooting situation.
[0048]
“Shooting information data” in the description of the present application is a record of shooting condition settings at the time of shooting, and may include the same tag information written in the header section of the Exif file. Specifically, exposure time, shutter speed, aperture value (F number), ISO sensitivity, luminance value, subject distance range, light source, presence or absence of flash emission, subject area, white balance, zoom magnification, subject configuration, shooting scene type, The tag (code) indicates information related to the amount of reflected light from the strobe light source, the photographing saturation, the type of the subject, and the like.
[0049]
The “photographing information data” is a value obtained at the time of photographing of a sensor provided in a camera, data processed from the value of the sensor, or a value of the sensor for automating an exposure setting and a focus function of an imaging device. The camera is classified into the shooting conditions set based on the camera. In addition, a shooting mode dial (for example, portrait, sports, macro shooting mode, etc.) provided with the imaging device, and a setting switch for strobe forced emission are provided. And the like are manually set by the photographer.
[0050]
Note that the “shooting information data” may be stored independently in the medium, but it is particularly preferable that the “shooting information data” is recorded in the image file in the form of tag information written in the header portion. When the “shooting information data” is stored in the media independently of the “scene-referred raw data”, the “shooting information data”, “scene-referred raw data”, or both On the other hand, it is necessary to add information for associating the two or to attach a status information file separately describing related information.
[0051]
The image processing apparatus according to the fourth aspect of the present invention
Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data, and shooting information data, which is a shooting condition setting at the time of shooting,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, and synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
Data attaching means for attaching the input shooting information data to the generated scene reference image data,
It is characterized by having.
[0052]
According to the fourth aspect of the present invention, synthesis standardization is performed based on raw scene reference data and synthesis auxiliary data that are input from an imaging device having a plurality of imaging devices having different sensitivities and depend on the imaging device characteristics of the imaging device. The generated scene reference image data is generated, and the input photographing information data is attached to the generated scene reference image data. Therefore, the provision of the image processing device of the present invention makes it possible to use the wide dynamic range image data output by the imaging device according to claim 3 for print output in a home or work environment.
[0053]
The invention according to claim 5 is the invention according to claim 2,
Appearance image reference data generation means for performing image processing for optimizing the generated synthetic standardized scene reference image data for the formation of an appreciation image on an output medium to generate appreciation image reference data. It is characterized by:
[0054]
According to the fifth aspect of the present invention, in the second aspect of the present invention, the image processing for optimizing the generated synthesized standardized scene reference image data for forming an appreciation image on an output medium is performed. To generate the viewing image reference data. Therefore, it is possible to use a service that provides optimized viewing image reference data without loss of captured image information without going to a store.
[0055]
Here, in the description of the present specification, the “output medium” is a display device such as a CRT, a liquid crystal display, and a plasma display, and a paper for generating a hard copy image such as a silver halide printing paper, an inkjet paper, and a thermal printer paper. is there.
[0056]
"Appreciation image reference data" is used for a display device such as a CRT, a liquid crystal display, and a plasma display, or when the output device is a hard copy image on an output medium such as silver halide printing paper, inkjet paper, or thermal printer paper. Digital image data used for generation. On a display device such as a CRT, a liquid crystal, a plasma display, and the like, and on an output medium such as a silver halide printing paper, an ink jet paper, a thermal printer paper, etc., it is necessary that the “optimization processing” is performed so that an optimum image is obtained. This is different from “scene reference raw data”.
[0057]
The “optimization process” is a process for obtaining an optimum image on a display device such as a CRT, a liquid crystal display, and a plasma display, and on an output medium such as a silver halide printing paper, an inkjet paper, and a thermal printer paper. For example, if it is assumed that the image is displayed on a CRT display monitor compliant with the sRGB standard, the processing is performed so that the optimum color reproduction is obtained within the color gamut of the sRGB standard. Assuming output to silver halide photographic paper, processing is performed so as to obtain optimal color reproduction within the color gamut of silver halide photographic paper. In addition to the above-described color gamut compression, it also includes gradation compression from 16 bits to 8 bits, reduction of the number of output pixels, processing corresponding to the output characteristics (LUT) of the output device, and the like. Further, it goes without saying that image processing such as noise suppression, sharpening, color balance adjustment, saturation adjustment, or dodging processing is performed.
[0058]
The invention according to claim 6 is the invention according to claim 4,
The generated, synthesized and standardized scene reference image data is subjected to image processing optimized for forming a viewing image on an output medium, the content of which has been determined based on the shooting information data, and a viewing image It is characterized by including a viewing image reference data generating means for generating reference data.
[0059]
According to the sixth aspect of the present invention, the generated synthesized standardized scene reference image data is optimized for the formation of a viewing image on an output medium, the content of which is determined based on the shooting information data. To generate the viewing image reference data. Therefore, it is possible to use a service that provides optimized viewing image reference data without loss of captured image information without going to a store.
[0060]
An example of optimization of the viewing image reference data using the “photographing information data” will be described below.
According to the “subject configuration” information in the shooting information data, for example, it is possible to partially apply the saturation emphasis processing, or to apply dodging processing to a scene having a wide dynamic range. With the “shooting scene type” information, for example, in night scene shooting, the degree of white balance adjustment can be reduced and the color balance can be specially adjusted. The distance between the photographer and the subject is estimated from the “amount of reflected light from the strobe light source” information, and can be reflected in, for example, image processing condition settings for suppressing skin whiteout. For example, in the case of portrait photography, by reducing the degree of sharpness and strengthening the smoothing process based on the “subject type” information, skin wrinkles can be made inconspicuous.
[0061]
Also, in order to supplement the above-mentioned “subject configuration”, “shooting scene type”, “amount of reflected light of the strobe light source”, and “subject type” information, “exposure time”, “shutter speed”, “aperture value ( F number), “ISO sensitivity”, “brightness value”, “subject distance range”, “light source”, “presence of strobe light emission”, “subject area”, “white balance”, “zoom magnification”, etc. , And can be used supplementarily. Further, the application amount of the noise suppression processing can be adjusted from the “ISO sensitivity” information, and the “light source” information can be used for readjustment of the white balance.
[0062]
The invention according to claim 7 is
Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
The generated, synthesized and standardized scene reference image data is subjected to image processing for optimizing for the formation of a viewing image on an output medium, and a viewing image reference data generating unit that generates viewing image reference data,
Image forming means for forming a viewing image on an output medium using the generated viewing image reference data,
It is characterized by having.
[0063]
The invention according to claim 8 is
Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data, and shooting information data, which is a shooting condition setting at the time of shooting,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
The generated, synthesized and standardized scene reference image data is subjected to image processing optimized for forming a viewing image on an output medium, the content of which has been determined based on the shooting information data, and a viewing image Viewing image reference data generation means for generating reference data,
Image forming means for forming a viewing image on an output medium using the generated viewing image reference data,
It is characterized by having.
[0064]
According to the invention described in claim 7, based on the input synthesis auxiliary data, the image sensor characteristic correction processing is performed on the scene reference raw data for each type of image sensor input from the image pickup device, At least two pieces of scene reference raw data subjected to the characteristic correction processing are combined to generate combined standardized scene reference image data, and the generated combined standardized scene reference image data is output to an output medium. Image processing for optimizing for formation of a viewing image is performed to generate viewing image reference data, and a viewing image is formed on an output medium using the generated viewing image reference data. Therefore, the wide dynamic range image data output by the imaging device according to claim 1 can be easily edited and processed, and the viewing image optimized without loss of the captured image information obtained by the imaging. Services that provide reference data and prints can be developed in the same way as services using conventional digital minilabs.
[0065]
According to the invention described in claim 8, the image sensor characteristic correction processing is performed on the scene reference raw data for each type of the image sensor input from the image pickup apparatus based on the input synthesis auxiliary data, At least two pieces of the scene reference raw data subjected to the characteristic correction processing are combined to generate combined standardized scene reference image data, and the generated combined standardized scene reference image data is input to the shooting information. Based on the data, perform image processing that optimizes for the formation of the viewing image on the output medium, generate viewing image reference data, and use the generated viewing image reference data to generate the viewing image on the output medium. Form. Therefore, it is possible to easily edit and process the wide dynamic range image data output by the imaging apparatus according to the third aspect, and to optimize the viewing image reference data and print without losing information of the captured image information. The service to be provided can be developed in the same manner as a service using a conventional digital minilab.
[0066]
Here, the image recording apparatus of the present invention includes a color negative film, a color reversal film, a black-and-white negative film, a black-and-white negative film, in addition to a mechanism for performing the image processing of the present invention on digital image data obtained by the imaging apparatus of the present invention. A film scanner for inputting frame image information of a photographic photosensitive material recorded by an analog camera such as a reversal film or a flatbed scanner for inputting image information reproduced on color paper as silver halide photographic paper may be provided. Also obtained by a digital camera other than the imaging device of the present invention, such as a compact flash (registered trademark), a memory stick, a smart media, a multimedia card, a floppy (registered trademark) disk, a magneto-optical storage medium (MO), or a CD-R Means for reading digital image data stored in any known portable "media", or acquiring digital image data from a remote location via communication means such as a network, and displaying the image on a CRT, liquid crystal display, plasma display, etc. The apparatus may include a device and processing means for forming an appreciable image on any known "output medium" such as paper for generating a hard copy image such as silver halide printing paper, inkjet paper, or thermal printer paper.
[0067]
The invention according to claim 9 is the invention according to claim 1 or 3,
The imaging device includes two types of imaging devices, a high-sensitivity imaging device and a low-sensitivity imaging device,
The scene reference raw data generating means is characterized by generating high-sensitivity scene reference raw data from the high-sensitivity image sensor and low-sensitivity scene reference raw data from the low-sensitivity image sensor by imaging.
[0068]
The invention according to claim 10 is the invention according to claim 9, wherein
The high-sensitivity scene reference raw data is a monochrome image in which only luminance information of a subject is recorded, and the low-sensitivity scene reference raw data is a color image.
[0069]
The invention according to claim 11 is the invention according to claim 9 or 10,
The low-sensitivity image sensor and the high-sensitivity image sensor are arranged such that the centers of their geometric shapes are 互いに of the pitch indicating the distance between the image sensors in the row (horizontal) direction and / or the column (vertical) direction. It is characterized in that it is arranged in a honeycomb shape by being shifted.
[0070]
According to the ninth to eleventh aspects, image data having a wide dynamic range can be obtained.
[0071]
According to a twelfth aspect of the present invention, in the first aspect of the present invention, there is provided an instruction for instructing and inputting a content of an image sensor characteristic correction process to be performed on the raw scene reference data. It is characterized by having input means.
[0072]
According to the twelfth aspect of the present invention, there is provided an instruction input means for inputting an instruction for the content of the image sensor characteristic correction processing to be performed on the scene reference raw data. Therefore, the user himself can select the contents of the image sensor characteristic correction processing to be applied to each of the scene reference raw data for each sensitivity and adjust individual parameters.
[0073]
The invention according to claim 13 is the invention according to any one of claims 2, 4, 5, and 6,
The raw scene reference data is characterized by two types of raw high-sensitivity scene reference data generated by a high-sensitivity imaging device and low-sensitivity scene reference raw data generated by a low-sensitivity imaging device.
[0074]
The invention according to claim 14 is the invention according to claim 13,
The high-sensitivity scene reference raw data is a monochrome image in which only luminance information of a subject is recorded, and the low-sensitivity scene reference raw data is a color image.
[0075]
According to the inventions described in the thirteenth and fourteenth aspects, it is possible to use image data of a wide dynamic range obtained from an imaging device.
[0076]
The invention according to claim 15 is the invention according to any one of claims 2, 4, 5, 6, 13, and 14,
The scene reference image data generating means is provided with an instruction input means for inputting an instruction for the content of an image sensor characteristic correction process to be performed on the scene reference raw data.
[0077]
According to the fifteenth aspect of the present invention, there is provided an instruction input means for inputting an instruction for the content of the image sensor characteristic correction processing to be performed on the scene reference raw data. Therefore, the user himself can select the contents of the image sensor characteristic correction processing to be applied to each of the scene reference raw data for each sensitivity and adjust individual parameters.
[0078]
The invention according to claim 16 is the invention according to claim 7 or 8,
The raw scene reference data is characterized by two types of raw high-sensitivity scene reference data generated by a high-sensitivity imaging device and low-sensitivity scene reference raw data generated by a low-sensitivity imaging device.
[0079]
The invention according to claim 17 is the invention according to claim 16, wherein
The high-sensitivity scene reference raw data is a monochrome image in which only luminance information of a subject is recorded, and the low-sensitivity scene reference raw data is a color image.
[0080]
According to the inventions of claims 16 and 17, image data of a wide dynamic range obtained from the imaging device can be used.
[0081]
The invention according to claim 18 is the invention according to any one of claims 7, 8, 16, and 17,
The scene reference image data generating means is provided with an instruction input means for inputting an instruction for the content of an image sensor characteristic correction process to be performed on the scene reference raw data.
[0082]
According to the eighteenth aspect of the present invention, there is provided an instruction input means for inputting an instruction for the content of the image sensor characteristic correction processing to be performed on the raw scene reference data. Therefore, the user himself can select the contents of the image sensor characteristic correction processing to be applied to each of the scene reference raw data for each sensitivity and adjust individual parameters.
[0083]
The invention according to claim 19 is the invention according to any one of claims 1, 3, and 9 to 12,
The synthesis auxiliary data includes identification information of the scene reference raw data and information for specifying characteristics of the image sensor.
[0084]
The invention according to claim 20 is the invention according to any one of claims 2, 4, 5, 6, and 13 to 15,
The synthesis auxiliary data includes identification information of the scene reference raw data and information for specifying characteristics of the image sensor.
[0085]
The invention according to claim 21 is the invention according to any one of claims 7, 8, 16 to 18,
The synthesis auxiliary data includes identification information of the scene reference raw data and information for specifying characteristics of the image sensor.
[0086]
According to the invention described in claims 19, 20, and 21, it is possible to identify each scene reference raw data and to specify the image pickup device characteristics in each scene reference raw data by using the synthesis auxiliary data.
[0087]
The invention according to claim 22 is the invention according to any one of claims 2, 4, 5, 6, 13 to 15, and 20,
The scene reference image data generation means compares the information of the scene reference raw data for each type of the imaging element for each pixel at the same position, and synthesizes by selecting any one of the information to form one scene reference image. Generate data,
A pixel information recording means for recording information on which type of image sensor information is selected for each pixel is provided.
[0088]
The invention according to claim 23 is the invention according to claim 22, wherein
The pixel information recording means records information as to which type of image sensor information is selected for each pixel as synthesis auxiliary data.
[0089]
According to the invention as set forth in claims 22 and 23, the information of the scene reference raw data for each type of image sensor is compared for each pixel at the same position, and one of the information is selected to synthesize one of the information. Scene reference image data is generated, and information on which type of image sensor information is selected for each pixel is recorded for each pixel. Therefore, when recreating an image from the scene reference image data, it is possible to separate each pixel according to the type of the imaging element and perform different image processing.
[0090]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of an imaging device according to the present invention will be described with reference to the drawings.
<Configuration of imaging device 21>
First, the configuration will be described.
[0091]
FIG. 1 is a block diagram showing a functional configuration of an imaging device 21 according to the present invention. As shown in FIG. 1, the imaging device 21 includes a lens 1, an aperture 2, a CCD (solid-state imaging device) 3 having a low-sensitivity imaging device SL and a high-sensitivity imaging device SH, an analog processing circuit 4, and an A / D converter 5. , A temporary storage memory 6, an image processing section 7, a header information processing section 8, a storage device 9, a CCD drive circuit 10, a control section 11, a synthesis auxiliary data processing section 13, an operation section 14, a display section 15, a strobe drive circuit 16, It comprises a strobe 17, a focal length adjustment circuit 18, an automatic focus drive circuit 19, a motor 20, and the like.
[0092]
The optical system of the imaging device 21 includes a lens 1, an aperture 2, and a CCD 3.
The lens 1 adjusts the focus and forms a light image of the subject. The diaphragm 2 adjusts the amount of light flux transmitted through the lens 1.
The CCD 3 is configured to include two types of image sensors having different sensitivities of a low-sensitivity image sensor SL and a high-sensitivity image sensor SH. The CCD 3 photoelectrically converts the subject information formed on the light receiving surface by the lens 1 into an electrical signal (imaging signal) of an amount corresponding to the amount of incident light of each sensor in the CCD 3. The CCD 3 is sequentially controlled by timing pulses output from the CCD drive circuit 10 to sequentially output image signals from the low-sensitivity image sensor SL and the high-sensitivity image sensor SH to the analog processing circuit 4.
[0093]
Here, FIG. 2 shows an arrangement example of the low-sensitivity image sensor SL and the high-sensitivity image sensor SH in the CCD 3. As shown in FIG. 2, in the low-sensitivity image sensor SL and the high-sensitivity image sensor SH, the centers of the geometric shapes of the image sensors are spaced from each other in the row (horizontal) direction and / or the column (vertical) direction. Are arranged in a honeycomb shape with a shift of half the pitch, that is, 1/2 pitch. The high-sensitivity image sensor SH has a larger light receiving area than the low-sensitivity image sensor SL. The high-sensitivity imaging element SH is configured by a monochrome element having no color sensitivity (color discrimination ability) and responding only to the luminance of the subject. The low-sensitivity image sensor SL is composed of color elements having respective color sensitivity (color discrimination ability) of B, G, and R.
[0094]
FIG. 3 shows a relationship DL between the subject luminance and the signal charge amount in the low-sensitivity image sensor SL and a relationship DH between the subject luminance and the signal charge amount in the high-sensitivity image sensor SH. As shown in FIG. 3, in general, the higher the sensitivity of the image sensor SH, the faster the response to a darker (lower luminance) subject, but the higher the dynamic range for a brighter (higher luminance) subject. Is insufficient and the signal is easily saturated. On the other hand, the low-sensitivity image sensor SL can respond to a brighter subject with less signal saturation, but lacks sensitivity for a darker subject and is susceptible to noise. Therefore, the CCD 3 is configured by two types of image sensors, that is, a low-sensitivity image sensor SL and a high-sensitivity image sensor SH, so that an image with a small dynamic influence and a wide dynamic range can be obtained. In order to further expand the dynamic range, it is desirable to always minimize the overlap between the dynamic ranges.
[0095]
The analog processing circuit 4 amplifies the R, G, and B signals and performs noise reduction processing on the imaging signals from the low-sensitivity imaging device SL and the high-sensitivity imaging device SH input from the CCD 3 to perform A / A / A processing. Output to the D converter 5. The processing in the analog processing circuit 4 is switched ON / OFF via the control unit 11 in response to an operation signal from the operation unit 14. When the processing is switched to OFF, the analog processing circuit 4 performs the processing. Is omitted, and the input imaging signal is output to the A / D converter 5 as it is.
[0096]
The A / D converter 5 converts the imaging signals from the low-sensitivity image sensor SL and the high-sensitivity image sensor SH input from the analog processing circuit 4 into digital image data, respectively, and outputs the digital image data to the temporary storage memory 6. Here, the digital image data directly obtained from the low-sensitivity image sensor SL via the A / D converter 5 is the low-sensitivity scene reference raw data d2, and the digital image data directly obtained from the high-sensitivity image sensor SH. Is high-sensitivity scene reference raw data d3. The low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 are digital image data in which the analog processing circuit 4 and the image processing unit 7 described later have been omitted.
The temporary storage memory 6 is a buffer memory or the like, and temporarily stores digital image data output from the A / D converter 5, respectively.
[0097]
The image processing section 7 performs gradation correction, spectral sensitivity crosstalk correction, and dark current correction on the digital image data from the low-sensitivity image sensor SL and the digital digital image data from the high-sensitivity image sensor SH stored in the temporary storage memory 6. The image is synthesized by performing processes such as noise suppression and sharpening, and performs image quality improvement processes such as white balance adjustment and saturation adjustment, as well as image size change, trimming, and aspect conversion. The processing in the image processing unit 7 is turned on / off via the control unit 11 according to an operation signal from the operation unit 14.
[0098]
The header information processing unit 8 headers the combined auxiliary data d1 generated by the combined auxiliary data processing unit 13 with respect to the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 stored in the temporary storage memory 6. Write processing as information.
[0099]
The storage device 9 is configured by a nonvolatile semiconductor memory or the like, and includes a recording medium such as a memory card for recording photographed digital image data, and a readable memory in which a control program of the imaging device 21 is stored. It is configured.
[0100]
The CCD drive circuit 10 outputs a timing pulse based on a control signal output from the control unit 11 and controls driving of the CCD 3.
[0101]
The control unit 11 is configured by a CPU (Central Processing Unit) or the like, reads a control program of the imaging device 21 stored in the storage device 9, and controls the entire imaging device 21 according to the read program. Specifically, the control unit 11 controls the motor 20 that adjusts the focal length and the focus (focus) of the lens 1 in response to an operation signal from the operation unit 14, and the focal length adjustment circuit. The control unit 18 controls the CCD drive circuit 10, the analog processing circuit 4, the temporary storage memory 6, the image processing unit 7, the operation unit 14, the display unit 15, the strobe drive circuit 16, and the synthesis auxiliary data processing unit 13 to perform photographing.
[0102]
When the output of the scene reference raw data is designated by the operation unit 14, the control unit 11 performs a scene reference raw data storage process A, which will be described later. The low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 are generated by omitting the amplification and noise reduction processing and the processing in the image processing unit 7, and the low-sensitivity scene reference raw data d3 is recorded on the recording medium of the storage device 9 as recording control means. The raw auxiliary data d1 is attached to the raw scene reference raw data d2 and the raw high sensitivity scene reference data d3 and recorded.
[0103]
The synthesis auxiliary data processing unit 13 is a synthesis auxiliary data generation unit, and identifies the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 generated by imaging, and information indicating the spectral sensitivity characteristics of the image sensor. Is generated and output to the header information processing unit 8.
[0104]
The information for identifying the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 generated by imaging associates the synthesis auxiliary data d1 with the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3. And / or information for enabling identification of the data area of each scene reference raw data. For example, the former is an identification number such as an image ID added to the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3, and the latter is a data area of each scene reference raw data in the image data. An identification code or the like used for identification.
[0105]
The information indicating the spectral sensitivity characteristic of the image sensor is information that enables the signal intensity of each color channel based on the spectral sensitivity characteristic of the image sensor to be mapped to a standardized color space such as scRGB, RIMM ROM, and ERIMM ROMM. For example, it may be the spectral sensitivity characteristic information of the image sensor itself, or when converting the signal intensity of each color channel based on the spectral sensitivity characteristic of the image sensor into a standardized color space such as scRGB, RIMM ROM, and ERIMM ROMM. It may be a matrix coefficient or the like to be used. That is, the combination auxiliary data d1 combines at least the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 to generate one piece of image data (scene reference image data d5) having a standardized color space. Information necessary for standardization of synthesis.
[0106]
In addition, the synthesis auxiliary data processing unit 13 performs image processing such as image sensor characteristic processing performed in the image processing device 115 and the like, which will be described later, which is performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 from the operation unit 14. Information indicating the contents, for example, for adjusting the degree of various image processing for correcting the image sensor characteristics, such as gradation conversion processing, smoothing processing, sharpening processing, frequency processing calculation such as noise removal and moire removal, etc. When a parameter or the like is input, it generates synthesis auxiliary data d1 including the input content.
[0107]
The operation unit 14 is provided with various function buttons such as a release button, a power ON / OFF button, a zoom button and the like, a cursor key, and the like, which are not shown, and an operation signal corresponding to each button or key is input to the control unit 11 as an input signal. Output. Further, the operation unit 14 has a touch panel that covers the display screen of the display unit 15, detects the XY coordinates of the force point on the display screen pressed by a finger or a touch pen or the like with a voltage value, and outputs the detected position signal. Output to the control unit 11 as an operation signal.
[0108]
FIG. 4 shows an example of an input screen 141 for inputting the contents of image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3. As shown in FIG. 4, the input screen 141 allows input of processing levels of various image processing such as “smoothing level (smoothness), sharpening level (sharpness), gradation conversion level. It has become. That is, the input screen 141 is an instruction input unit. For example, when the user inputs a stronger smoothing level on the input screen 141, the combined auxiliary data d1 including an instruction to perform more smoothing processing on the component derived from the high-sensitivity image sensor is generated.
[0109]
The display unit 15 displays digital image data in response to a control signal from the control unit 11 and displays information for the user of the imaging device 21 to check settings and conditions related to shooting, and to input settings and conditions. Display the screen. For example, the display unit 15 displays an input screen 141 for the user to specify the contents of image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 generated by imaging.
[0110]
The strobe drive circuit 16 drives and controls the strobe 17 to emit light when the subject brightness is low, based on a control signal from the control unit 11.
The strobe 17 boosts the battery voltage to a predetermined high voltage and stores the charge in a capacitor. Then, by being driven by the strobe drive circuit 16, the X tube is illuminated by the electric charge stored in the capacitor, and the subject is irradiated with auxiliary light.
[0111]
The focal length adjustment circuit 18 controls a motor 20 for adjusting the focal length by moving the lens 1 based on a control signal from the control unit 11.
The automatic focus drive circuit 19 controls the motor 20 for adjusting the focus by moving the lens 1 based on a control signal from the control unit 11.
[0112]
<Operation of imaging device 21>
Next, the operation will be described.
FIG. 5 shows a scene reference raw data storage process executed by the control of the control unit 11 when the output of the photographed digital image data by the scene reference raw data is set by the operation unit 14 and the release switch is pressed. 6 is a flowchart showing A. Hereinafter, the scene reference raw data storage processing A will be described with reference to FIG.
[0113]
When the release button of the operation unit 14 is pressed, shooting is performed (step S1). Here, the photographing in step 1 includes photographing using the auto blanket function. The imaging signals obtained from the low-sensitivity image sensor SL and the high-sensitivity image sensor SH of the CCD 3 are converted into digital image data by the A / D converter 5, respectively, and the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 is generated (step S2). Further, the information for identifying the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3, information indicating the spectral sensitivity characteristic unique to the image sensor, and input from the operation unit 14 are output by the synthesis auxiliary data processing unit 13. When information indicating the content of the performed image processing is input, the combined auxiliary data d1 including the instruction information is generated (step S3).
[0114]
After generation of the low-sensitivity scene reference raw data d2, the high-sensitivity scene reference raw data d3, and the synthesis auxiliary data d1, a file including the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 is generated, and a header information processing unit As a result, the auxiliary data d1 is attached to the header of this file as tag information (step S4), and an attached data file is created (step S5). The attached data file is recorded and stored in the recording medium of the storage device 9 which is detachably attached to the photographing device 21 (step S6).
[0115]
FIG. 6 is a diagram showing a data structure of digital image data recorded on the recording medium of the storage device 9 in step S6. As shown in FIG. 6, the photographed digital image data is recorded as low-sensitivity scene reference raw data d2 and high-sensitivity scene reference raw data d3, and the synthesis auxiliary data d1 is recorded in its header area. The recording medium is taken out of the imaging device 21 and attached to an external device such as an image processing device or an image recording device, so that the low-sensitivity scene reference raw data d2, the high-sensitivity scene reference raw data d3, and the synthesis auxiliary data d1 are converted to these. Can be output to an external device.
[0116]
Here, “attaching” the synthetic auxiliary data d1 to the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 does not necessarily mean that the synthetic auxiliary data d1 itself refers to the low-sensitivity scene reference raw data d2 and the high-sensitivity scene. It is not necessary to record the raw data d3 on the recording medium as a header of the file, and it is sufficient if the raw data d3 is recorded on the recording medium together with information relating the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 to the synthesis auxiliary data d1. Although the data is recorded on the recording medium of the storage device 9 here, a communication I / F is provided in the imaging device 21 and recorded on a medium provided in a server or the like via communication means such as a communication cable or a network. You may make it.
[0117]
As described above, according to the imaging device 21 illustrated in FIG. 1, the CCD 3 includes the imaging devices having different sensitivities, that is, the low-sensitivity imaging device SL and the high-sensitivity imaging device SH. By generating the scene reference raw data which is a raw output signal directly from the image pickup device in which information faithful to the subject is recorded, a wide dynamic range image without information loss can be recorded. In addition, in order to improve the effect of image conversion such as gradation conversion, sharpness enhancement, and saturation enhancement in the image processing, the conversion processing from the scene reference raw data to the scene reference image data d5 in the imaging device is intentionally performed. Image processing is performed by omitting image processing for modifying data contents and processing for mapping the signal intensity of each color channel based on the spectral sensitivity unique to the image sensor to a standardized color space such as the aforementioned scRGB, RIMM RGB, and sRGB. The processing load and power consumption of the device are reduced, and the processing (photographing) capability can be improved, and the number of processes (photographing) when the battery is driven can be increased. Further, by attaching the composite auxiliary data d1 to the plurality of scene reference raw data, an external image processing device or the like can add individual differences between the plurality of scene reference raw data acquired from the photographing device 21 for each imaging device. In addition, it is possible to easily generate single scene reference image data d5 by performing a correction process of image sensor characteristics and a synthesis standardization process into a general-purpose format.
[0118]
Note that the number of tones of the raw scene reference data generated by the low-sensitivity image sensor SL and the high-sensitivity image sensor SH in the imaging device 21 may be the same, but the high-sensitivity image sensor SH is It is desirable that the number of gradations be larger than that of the image sensor. Further, it is desirable that the response performance of the image sensor with respect to the subject brightness is linear as shown in FIG. 3, but it may be different for each magnitude of sensitivity.
[0119]
Further, the CCD 3 has a configuration including two types of image sensors of low sensitivity and high sensitivity, but may have a configuration further including an image sensor of intermediate degree.
[0120]
As shown in FIG. 7, the CCD 3 is constituted by three CCDs having CCDs 3a to 3c, and the subject light passing through the lens 1 is separated by the spectroscope P into blue (B), green (G), and red (R) colors. The light may be separated into light, and the B signal may be imaged and received by the CCD 3a, the G signal by the CCD 3b, and the R signal by the CCD 3c. At this time, at least one CCD, for example, the CCD 3b that receives the G signal having the highest contribution rate with respect to luminance is configured by the low-sensitivity image sensor SL and the high-sensitivity image sensor SH. This makes it possible to generate scene reference raw data with high accuracy and good color reproducibility.
[0121]
<Configuration of imaging device 22>
Next, an imaging device 22 configured by adding the imaging information data processing unit 12 to the configuration of the imaging device 21 in order to obtain a more preferable image at the output destination of digital image data will be described. FIG. 8 is a block diagram illustrating a functional configuration of the imaging device 22.
[0122]
When the output of the scene reference raw data is specified by the operation unit 14, the control unit 11 performs a scene reference raw data storage process B, which will be described later. The low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 are generated by omitting the amplification and noise reduction processing and the processing in the image processing unit 7, and the low-sensitivity scene reference raw data d3 is recorded on the recording medium of the storage device 9 as recording control means. The raw auxiliary data d1 and the photographing information data d4 are attached to the raw sensitivity scene reference data d2 and the high sensitivity scene reference raw data d3 and recorded.
[0123]
The photographing information data processing unit 12 is a photographing information data generating unit, and generates photographing information data d4. The shooting information data d4 includes information directly related to the camera type (model) such as a camera name and a code number, or an exposure time, a shutter speed, an aperture value (F number), an ISO sensitivity, a brightness value, a subject distance range, and a light source. , Setting of shooting conditions such as the presence or absence of strobe emission, subject area, white balance, zoom magnification, subject configuration, shooting scene type, amount of reflected light from the strobe light source, shooting saturation, and information on the type of subject.
[0124]
The other configuration of the imaging device 22 is the same as that of the imaging device 21, and thus the description is omitted.
[0125]
<Operation of imaging device 22>
FIG. 9 shows an operation of the imaging device 22 shown in FIG. 8 in which the output of the captured digital image data by the scene reference raw data is set by the operation unit 14, and the control of the control unit 11 is performed when the release switch is pressed. 9 is a flowchart showing a scene reference raw data storage process B to be executed. Hereinafter, the scene reference data storage processing B will be described with reference to FIG.
[0126]
When the release button of the operation unit 14 is pressed, shooting is performed (step S11). The imaging signals obtained from the low-sensitivity image sensor SL and the high-sensitivity image sensor SH of the CCD 3 are converted into digital image data by the A / D converter 5, and the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 Is generated (step S12). Further, the composition auxiliary data processing unit 13 generates the composition auxiliary data d1 (step S13), and the photography information data processing unit 12 generates the photography information data d4 (step S14).
[0127]
After generation of the low-sensitivity scene reference raw data d2, the high-sensitivity scene reference raw data d3, the synthesis auxiliary data d1, and the shooting information data d4, a file including the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 is generated. The combined auxiliary data d1 and the photographing information data d4 are recorded and attached as tag information to the header of this file (step S15), and an attached data file is created (step S16). The data is recorded and stored on the recording medium of the storage device 9 which is detachably attached to the storage device 22 (step S17).
[0128]
FIG. 10 is a diagram showing the data structure of digital image data recorded on the recording medium of the storage device 9 in step S17. As shown in FIG. 10, photographed digital image data is recorded as low-sensitivity scene-reference raw data d2 and high-sensitivity scene-reference raw data d3, and in its header area, synthesis auxiliary data d1 and photographing information data d4 are recorded. Have been. The recording medium is taken out of the imaging device 22 and attached to an external device such as an image processing device or an image recording device, so that the low-sensitivity scene reference raw data d2, the high-sensitivity scene reference raw data d3, the synthesis auxiliary data d1, and the shooting The information data d4 can be output to these external devices.
[0129]
Here, the "attachment" of the composite auxiliary data d1 to the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 does not necessarily mean that the composite auxiliary data d1 and the shooting information data d4 themselves are the low-sensitivity scene reference raw data d2. It is not necessary to record in the header area of the high-sensitivity scene reference raw data d3. The low-sensitivity scene reference raw data d2, the high-sensitivity scene reference raw data d3, the synthesis auxiliary data d1, and the information for associating the shooting information data d4 with the recording medium. It only has to be recorded. Here, the data is recorded on the recording medium of the storage device 9, but a communication I / F is provided in the imaging device 21, and the data is recorded on a medium provided in a server or the like via communication means such as a network. You may.
[0130]
As described above, according to the imaging device 22 illustrated in FIG. 8, in addition to the effects of the imaging device 21 illustrated in FIG. 1, it is possible to generate the viewing image reference data according to the shooting situation in an external output device. Data can be output.
[0131]
<Configuration of Image Processing Device 115>
Next, an embodiment of the image processing apparatus of the present invention will be described.
First, the configuration will be described.
FIG. 11 is a block diagram showing a functional configuration of the image processing device 115 according to the present invention. As illustrated in FIG. 11, the image processing apparatus 115 includes an image sensor on each of the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 based on the input unit 101, the header information analysis unit 102, and the synthesis auxiliary data d1. The first processing unit 113 and the first processing unit 113 that perform the characteristic correction process and combine the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 to generate composite standardized scene reference image data d5. And a second processing unit 114 that performs optimization processing on the scene reference image data d5 generated by the above to generate the viewing image reference data d6. The header information analysis unit 102 is connected to each of the first processing unit 113 and the second processing unit 114, and the storage device 110, the output device 111, and the display device 112 can be connected to the second processing unit 114, respectively. It is in a state. The components described above operate under the overall control of the control unit 116 including a CPU and the like.
[0132]
The input unit 101 includes a recording medium mounting unit (not shown). When a recording medium on which a file of wide dynamic range image data recorded by the above-described imaging devices 21 and 22 (see FIGS. 6 and 10) is recorded is mounted on the mounting section, the input section 101 operates as input means. Then, the recorded data file is read and input to the header information analysis unit 102. In the present embodiment, the input unit 101 is described as reading and inputting data from a mounted recording medium. However, the input unit 101 includes a data communication cable and a wireless or wired communication unit. The data may be input via the.
[0133]
The header information analysis unit 102 analyzes the data input from the input unit 101, and outputs low-sensitivity scene reference raw data d2, high-sensitivity scene reference raw data d3, and synthetic auxiliary data attached to these scene reference raw data. d1 and shooting information data d4, the synthesis auxiliary data d1 to the synthesis standardization processing unit 103a, the scene reference raw data d2 to the scene reference image data generation unit 104, and the shooting information data d4 to the shooting information data processing unit 106. Output.
[0134]
As shown in FIG. 11, the first processing unit 113 includes a synthesis standardization processing unit 103a, a processing condition table 103b, a scene reference image data generation unit 104, and a temporary storage memory 105.
[0135]
When the synthesis auxiliary data d1 is input from the header information analysis unit 102, the synthesis standardization processing unit 103a determines the generation conditions of the synthesis standardized scene reference image data d5 based on the synthesis auxiliary data d1 and the processing condition table 103b. . The processing condition table 103b is a table that stores processing conditions for generating the scene reference image data d5 in association with each characteristic of the image sensor. Information for instructing the contents of image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 from the setting input unit 109, for example, gradation conversion processing, smoothing processing, sharpening processing, and noise removal. When parameters for adjusting the degree of various types of image processing for image sensor characteristic correction, such as frequency calculation processing such as moire removal and the like, are input, the synthesis auxiliary data d1, the processing condition table 103b, and the input The conditions for generating the scene reference image data d5 are determined based on the content. If the content of the image processing input by the setting input unit 109 is different from the content of the synthesis auxiliary data d1, the content to be prioritized is determined based on the instruction input from the setting input unit 109.
[0136]
The scene reference image data generation unit 104 serves as a scene reference image data generation unit, and performs a synthesis standardization processing unit 103a on the low sensitivity scene reference raw data d2 and the high sensitivity scene reference raw data d3 input from the header information analysis unit 102. The image pickup device characteristic correction process is performed according to the generation conditions determined by the above, and the low-sensitivity scene reference raw data d2 and the high sensitivity scene reference raw data d3 are synthesized to provide a synthesized standardized scene reference image independent of the image sensor characteristics. The data d5 is generated and output to the temporary storage memory 105.
[0137]
Specifically, in the image sensor characteristic correction processing, at least the signal intensity of each color channel based on the image sensor-specific spectral sensitivity of the image sensor that has generated the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3, For example, the processing includes mapping to a standard color space such as the aforementioned scRGB, RIMM RGB, and ERIMM RGB. In addition, frequency conversion calculations and the like such as gradation conversion processing, smoothing processing, sharpening processing, noise removal and moiré removal are performed.
[0138]
As a combination method, there is a method of comparing the signal values of the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 for each pixel at the same position, and selecting one of the signal values. For example, a threshold value is provided for the signal value of the low-sensitivity pixel, and when the signal value of the low-sensitivity pixel falls below the threshold value, the high-sensitivity pixel is selected. In addition, the signal value of the low-sensitivity scene reference raw data d2 and the signal value of the high-sensitivity scene reference raw data d3 are blended (for example, low sensitivity 40% and high sensitivity 60%), or a signal value is selected in a 3 * 3 pixel area. There is also a method of synthesizing by blending or blending.
[0139]
Further, in this embodiment, since the low-sensitivity image sensor SL is a color element and the high-sensitivity image sensor SH is a monochrome element, the low-sensitivity scene reference raw data d2 and the high-sensitivity image data are obtained for each pixel at the same position (or area). The luminance value of the scene reference raw data d3 is synthesized. That is, the RGB signal of each pixel of the low-sensitivity scene reference raw data d2 is converted into a luminance value L and color components a and b, and only the luminance value is combined with the luminance value L of the high-sensitivity scene reference raw data d3, and L ′ And Then, the generated L'ab is converted into RGB '.
Low sensitivity RGB → Lab
Low sensitivity L + High sensitivity L → L '
L'ab → RGB '
[0140]
In the scene reference image data generation unit 104, synthesis information indicating which of the low-sensitivity and high-sensitivity signal values has been selected for each pixel (when the high-sensitivity and low-sensitivity signal values are blended and synthesized, The information indicating the ratio, or the information of each pixel area when the signal values are selected or blended for each pixel area, are output to the temporary storage memory 105 and recorded.
[0141]
The temporary storage memory 105 temporarily records the scene reference image data d5 generated by the scene reference image data generation unit 104 and synthesis information of low-sensitivity and high-sensitivity pixels.
[0142]
As shown in FIG. 11, the second processing unit 114 includes a shooting information data processing unit 106, an appreciation image reference data generation unit 107, and a temporary storage memory 108.
[0143]
The shooting information data processing unit 106 determines a generation condition for generating the viewing image reference data d6 according to the shooting condition based on the shooting information data d4 input from the header information processing unit 102.
[0144]
The viewing image reference data generation unit 107 reads the scene reference image data d5 from the temporary storage memory 105 as the viewing image reference data generation unit, and sets the generation condition and setting of the viewing image reference data d6 determined by the shooting information data processing unit 106. Based on the operation information on the types of the storage device 110, the output device 111, and the display device 112 input from the input unit 109, optimization processing for obtaining an optimal image at an output destination is performed to generate viewing image reference data d6. , Together with the operation information. The optimization processing includes, for example, compression to a color gamut of an output destination, gradation compression from 16 bits to 8 bits, reduction of the number of output pixels, processing corresponding to output characteristics (LUT) of an output device or a display device, and the like. It is. Further, image processing such as noise suppression, sharpening, color balance adjustment, saturation adjustment, and dodging processing is included.
[0145]
The temporary storage memory 108 stores the viewing image reference data d6 input from the viewing image reference data generation unit 107 under the control of the control unit 116 in accordance with the operation information from the setting input unit 109, in the storage device 110, the output device 111, and the display device. 112.
[0146]
The setting input unit 109 is configured by a user interface such as a keyboard and a touch panel formed on an LCD, and outputs a digital image data generated by the image processing apparatus 115. The storage device 110, the output device 111, and the display device 112. When information on the type of is input, the information is output to the viewing image reference data generation unit 107. The setting input unit 109 also includes, as an instruction input unit, information indicating the content of image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 from the same user interface as shown in FIG. For example, parameters for adjusting the degree of various types of image processing, such as gradation conversion processing, smoothing processing, sharpening processing, frequency calculation processing such as noise removal and moire removal, and the like can be input. When the information is input, the information is output to the synthesis standardization processing unit 103a.
[0147]
The above-described divisions of the header information analysis unit 102, the synthesis standardization processing unit 103a, the scene reference image data generation unit 104, the shooting information data processing unit 106, and the appreciation image reference data generation unit 107 are not necessarily realized as physically independent devices. For example, it may be realized as a classification of the type of software processing in a single CPU.
[0148]
<Operation of Image Processing Device 115>
FIG. 12 is a flowchart illustrating an image data generation process performed by the units of the image processing apparatus 115 cooperating with each other. Hereinafter, the operation of the image processing apparatus 115 will be described with reference to the drawings.
[0149]
When a recording medium having the data structure shown in FIG. 6 or FIG. 10 is mounted, a digital image data file recorded on the recording medium is input by the input unit 101 (step 21). The content of the input digital image data is analyzed by the header information analysis unit 102 (step S22), the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 (step S23), and the synthesis auxiliary data d1 (step S23). S24), divided into shooting information data d4 (step S25), the low-sensitivity scene reference raw data d2, the high-sensitivity scene reference raw data d3, and the synthesis auxiliary data d1 are sent to the first processing unit 113, and the imaging information data d4 is sent to the second processing unit 113. Output to the processing unit 114.
[0150]
When the synthesis auxiliary data d1 is input to the first processing unit 113, the processing condition for generating the scene reference image data d5 is determined by the synthesis standardization processing unit 103a based on the synthesis auxiliary data d1 and the processing condition table 103b. You. When information indicating the content of image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 is input from the setting input unit 109, the synthesis auxiliary data d1, the processing condition table 103b, and the input The generation condition of the scene reference image data d5 is determined based on the content. The low-sensitivity scene-reference raw data d2 and the high-sensitivity scene-reference raw data d3 are subjected to image sensor characteristic correction processing based on the processing conditions by the scene reference image data generation unit 104 (step S26), and are subjected to synthesis processing and various images. The processing is performed to generate scene reference image data d5, which is output to the second processing unit 114 via the temporary storage memory 109, and is used as a pixel information recording unit to combine low-sensitivity and high-sensitivity pixels in the combination processing. Information is generated and recorded in the temporary storage memory 109 (step S27).
[0151]
When the shooting information data d4 is input to the second processing unit 114, the shooting information data processing unit 106 determines processing conditions for generating the viewing image reference data according to the shooting conditions based on the shooting information data d4. . The scene reference image data d5 input from the first processing unit 113 is output based on the processing conditions determined by the appreciation image reference data generation unit 107 in the shooting information data processing unit 106 and the information input from the setting input unit 109. Optimization processing according to the above is performed (step S28), and the viewing image reference data d6 is generated and output to the device set by the setting input unit 109 (step S29).
[0152]
The setting input unit 109 has a function of setting the output of the scene reference image data d5. When the output of the scene reference image data d5 is set by the setting input unit 109, the second processing is performed by the control of the control unit 116. The optimizing process by the unit 114 is omitted, and the data obtained by attaching the scene reference image data d5 generated by the first processing unit 113 and the synthesis auxiliary data d1 and the photographing information data d4 to the header area are used as data attaching means. The file may be created and output to the storage device 110. At this time, the combination information of the low-sensitivity and high-sensitivity pixels stored in the temporary storage memory 105 is added to the combination auxiliary data d1 and recorded. Thus, when the image processing is performed again on the scene reference image data, the components derived from the high-sensitivity image sensor SH and the components derived from the low-sensitivity image sensor SL can be separated and subjected to different image processing.
[0153]
FIG. 13 is a diagram illustrating an output data structure when the scene reference image data d5 is generated and output to the storage device 110 when the file having the data structure illustrated in FIG. FIG. 14 is a diagram illustrating an output data structure when the scene reference image data d5 is generated and output to the storage device 110 when a file having the data structure illustrated in FIG. 10 is input from the input unit 101. is there. By attaching these storage devices 110 to an external device such as a display device or an image recording device, the scene reference image data d5 and the synthesis auxiliary data d1 (and the shooting information data d4) can be output to the external device. The device can perform an optimization process according to the device. The data attached to the scene reference image data d5 is preferably both the combination auxiliary data d1 and the photographing information data d4. Treatment can be performed.
[0154]
As described above, according to the image processing apparatus 115 of the present invention, the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 output from the imaging devices 21 and 22 described above, that is, imaging with a wide dynamic range From the image data, the generation of the synthesized standardized scene reference image data d5 and the generation of the viewing image reference data d6 obtained by performing an optimization process on the scene reference image data d5 according to the output destination are performed. , 22 can be used for print output in a home or work environment. Further, the user can instruct the contents of the image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3.
[0155]
<Configuration of Image Recording Apparatus 201>
Next, a preferred embodiment of the image recording apparatus according to the present invention will be described.
FIG. 15 is a perspective view showing an external configuration of the image recording apparatus 201 according to the present invention. The image recording apparatus 201 in this embodiment is an example including a CRT display monitor as a display device and an output device using silver halide photographic paper as an output medium.
[0156]
In the image recording apparatus 201, a magazine loading section 203 is provided on the left side of the main body 202, and an exposure processing section 204 for exposing a silver halide photographic paper as an output medium in the main body 202, A print forming unit 205 that develops, dries, and forms a print is provided. The created print is discharged to a tray 206 provided on the right side of the main body 202. Further, a control unit 207 is provided inside the main body 202 at a position above the exposure processing unit 204.
[0157]
In addition, a CRT 208 is arranged on an upper part of the main body 202. The CRT 208 has a function as display means for displaying an image of image information to be printed on a screen. On the left side of the CRT 208, a film scanner unit 209 serving as a transparent original reading device is arranged, and on the right side, a reflective original input device 210 is arranged.
[0158]
Documents read from the film scanner unit 209 or the reflection document input device 210 include photographic photosensitive materials. Examples of the photographic light-sensitive material include a color negative film, a color reversal film, a black-and-white negative film, a black-and-white reversal film, and the like, in which frame image information captured by an analog camera is recorded. The film scanner of the film scanner unit 209 converts the recorded frame image information into digital image data, and can convert it into frame image data. When the photographic photosensitive material is color paper which is silver halide photographic paper, it can be converted into frame image data by the flatbed scanner of the reflection original input device 210.
[0159]
An image reading unit 214 is provided at a position where the control unit 207 of the main body 202 is arranged. The image reading unit 214 includes a PC card adapter 214a and an FD (floppy (registered trademark) disk) adapter 214b, and a PC card 213a and an FD (floppy (registered trademark) disk) 213b can be inserted. The PC card 213a has a memory in which a plurality of frame image data is captured by a digital camera and stored. The FD 213b stores, for example, a plurality of frame image data captured by a digital camera.
[0160]
An operation unit 211 is provided in front of the CRT 208, and the operation unit 211 includes an information input unit 212. The information input means 212 is constituted by, for example, a touch panel or the like.
[0161]
Other recording media having the frame image data according to the present invention include a multimedia card, a memory stick, MD data, a CD-ROM, and the like. The operation unit 211, the CRT 208, the film scanner unit 209, the reflection document input device 210, and the image reading unit 214 are provided integrally with the main body 202 to form an apparatus. It may be provided as a body.
[0162]
Further, an image writing unit 215 is provided at a position where the control unit 207 of the main body 202 is arranged. The image writing unit 215 includes an FD adapter 215a, an MO adapter 215b, and an optical disk adapter 215c. The FD 216a, the MO 216b, and the optical disk 216c can be inserted, and image information can be written to an image recording medium. It has become.
[0163]
Further, the control unit 207 includes communication means (not shown), receives image data representing a captured image and a print command directly from another computer in the facility or a distant computer via the Internet or the like, and operates as a so-called network image recording device. It is possible to function.
[0164]
<Internal Configuration of Image Recording Apparatus 201>
Next, the internal configuration of the image recording apparatus 201 will be described.
FIG. 16 is a block diagram showing the internal configuration of the image recording apparatus 201.
[0165]
The control unit 207 of the image recording apparatus 201 includes a CPU (Central Processing Unit), a storage unit, and the like. The CPU reads various control programs stored in the storage unit, and centrally controls the operation of each unit configuring the image recording apparatus 201 according to the control programs.
[0166]
Further, the control unit 207 has an image processing unit 270 and, based on an input signal from the information input unit 12 of the operation unit 211, causes the film scanner unit 209 and the reflection document input device 210 to read a document image. Image processing is performed on the acquired image data, the image data read from the image reading unit 214, and the image data input from an external device via the communication unit (input) 240 (shown in FIG. 17). Further, the image processing unit 270 performs a conversion process on the image data subjected to the image processing in accordance with the output form, to obtain prints P1, P2, and P3, or a CRT 208, an image writing unit 215, and a communication unit (output). 241 and the like.
[0167]
The operation unit 211 is provided with information input means 212. The information input unit 212 is configured by, for example, a touch panel, and outputs a press signal of the information input unit 212 to the control unit 207 as an input signal. The operation unit 211 may include a keyboard and a mouse.
[0168]
The film scanner unit 209 reads the frame image data from the developed negative film N obtained by developing the negative film captured by the analog camera, and converts the frame image from the reflection original input device 210 into a color film of silver halide photographic paper. The frame image data from the print P printed and developed on paper is read.
[0169]
The image reading unit 214 has a function of reading and transferring frame image data of the PC card 213a or the FD 213b captured and recorded by a digital camera. That is, the image reading unit 214 includes a PC card adapter, an FD adapter, and the like as the image transfer unit 230, and records the image on the PC card 213a attached to the PC card adapter 214a and the FD 213b attached to the FD adapter 214b. The read frame image data is read and transferred to the control unit 207. As the PC card adapter 214a, for example, a PC card reader, a PC card slot, or the like is used.
[0170]
The data storage means 271 stores and sequentially stores image information and order information corresponding thereto (information on how many prints are to be made from which frame image, print size information, etc.).
[0171]
The template storage unit 272 stores sample image data (data indicating a background image, an illustration image, and the like) corresponding to the sample identification information D1, D2, and D3, and stores a template for setting a synthesis area with the sample image data. At least one data is stored. Here, when a predetermined template is selected from a plurality of templates stored in the template storage unit 272 in advance by an operator's operation (this operator's operation is based on an instruction from the client), the control unit 207 sets the frame image information And the selected template, and when the sample identification information D1, D2, D3 is designated by the operation of the operator (the operation of the operator is based on the instruction of the client), the designated sample identification is performed. The sample image data is selected based on the information D1, D2, and D3, the selected sample image data is combined with the image data and / or character data ordered by the client, and as a result, the sample desired by the client is obtained. Create a print based on image data. The synthesis using this template is performed by the well-known chroma key method.
[0172]
Note that the sample identification information is not limited to three types of sample identification information D1, D2, and D3, and may be more or less than three types.
Also, the sample identification information D1, D2, D3 designating the print sample is configured to be input from the operation unit 211, but the sample identification information D1, D2, D3 is used as the print sample or order sheet. And can be read by reading means such as OCR. Alternatively, the operator can input from a keyboard.
[0173]
As described above, the sample image data is recorded corresponding to the sample identification information D1 for specifying the print sample, the sample identification information D1 for specifying the print sample is input, and based on the input sample identification information D1. Various full-size samples are selected by the user to select the sample image data, combine the selected sample image data with the image data and / or character data based on the order, and create a print based on the designated sample. Can actually order a print by hand, and can respond to various requests from a wide range of users.
[0174]
Also, the first sample identification information D2 designating the first sample and the image data of the first sample are stored, and the second sample identification information D3 designating the second sample and the image of the second sample are stored. The data is stored, the sample image data selected based on the specified first and second sample identification information D2, D3, and the image data and / or character data based on the order are combined, and the sample according to the specification is synthesized. Therefore, a variety of images can be synthesized, and a print can be created that meets a wider range of users' various requirements.
[0175]
The exposure processing unit 204 exposes the photosensitive material to an image according to the output image data generated by performing image processing on the image data in the image processing unit 270, and sends the photosensitive material to the print creation unit 205. The print creating unit 205 develops and exposes the exposed photosensitive material to create prints P1, P2, and P3. The print P1 is a service size, a high definition size, a panorama size, etc., the print P2 is an A4 size print, and the print P3 is a business card size print.
The print size is not limited to the prints P1, P2, and P3, and may be a print of another size.
[0176]
The CRT 208 displays image information input from the control unit 207.
[0177]
The image writing unit 215 includes an FD adapter 215a, an MO adapter 215b, and an optical disk adapter 215c as the image transport unit 231. The FD 216a, the MO 216b, and the optical disk 216c can be inserted into the image writing unit 215. Can be written to.
[0178]
Further, the image processing unit 270 uses the communication means (input) 240 (shown in FIG. 17) to directly print image data representing a captured image and print data from another computer in the facility or a distant computer via the Internet or the like. It is also possible to receive image processing instructions and perform image processing and create prints by remote control.
[0179]
In addition, the image processing unit 270 uses the communication unit 241 (output) (shown in FIG. 17) to store the image data representing the captured image subjected to the image processing of the present invention and accompanying order information in the facility. It is also possible to send it to another computer or a distant computer via the Internet or the like.
[0180]
As described above, the image recording apparatus 201 includes an input unit that captures images of various digital media and image information obtained by dividing and metering an image document, and the image information of the input image that is input from the input unit as “output image Image processing means for acquiring or estimating information of “size” and “size of main subject in output image” and performing processing to obtain an image that gives a favorable impression when observing the image on an output medium; Image forming means for displaying or printing the completed image, or writing it on an image recording medium, and an order accompanying the image data to another computer in the facility via a communication line or to a distant computer via the Internet or the like. Communication means (output) for transmitting information.
[0181]
<Configuration of Image Processing Unit 270>
FIG. 17 is a block diagram illustrating a functional configuration of the image processing unit 270 according to the present invention. The image data input from the film scanner unit 209 is processed by a film scan data processing unit 702 to perform a calibration operation unique to the film scanner unit, negative / positive inversion for a negative document, dust / flaw removal, gray balance adjustment, contrast adjustment, granular noise removal, The image is subjected to sharpening enhancement and the like, and sent to the image adjustment processing unit 701. In addition, information on the main subject recorded optically or magnetically on the film, information on the photographing conditions (eg, information content of the APS), etc., are also output to the image adjustment processing unit 701. You.
[0182]
The image data input from the reflection document input device 210 is processed by the reflection document scan data processing unit 703 in a calibration operation unique to the reflection document input device, negative / positive inversion for a negative document, dust / flaw removal, gray balance adjustment, contrast adjustment, and noise. The image is subjected to removal, sharpening enhancement, and the like, and output to the image adjustment processing unit 701.
[0183]
The image data input from the image transfer means 230 and the communication means (input) 240 is subjected to image data format decoding processing section 704 to decompress the compression code and to convert the color data expression method as necessary according to the data format of the data. The data is converted into a data format suitable for the calculation in the image processing unit 270 and output to the image adjustment processing unit 701. Further, the image data format decryption processing unit 704 determines whether or not the image data in the format by the imaging devices 21 and 22 according to the present invention has been input from the image transfer unit 230 and the communication unit (input) 240, and receives the input. The output image data is output to the header information analysis unit 302. In the header information analysis unit 302, the synthesis auxiliary data d1 and the imaging information data d4 are analyzed from the input image data.
[0184]
The designation of the size of the output image is input from the operation unit 211. In addition, the designation of the size of the output image transmitted to the communication unit (input) 240 and the image acquired by the image transfer unit 230 When the size of the output image embedded in the header information / tag information of the data is specified, the image data format decryption processing unit 704 detects the information and transfers it to the image adjustment processing unit 701.
[0185]
The synthesis auxiliary data d1 analyzed by the header information analysis unit 302 is output to the synthesis standardization processing unit 303a, and image processing conditions are determined based on the synthesis auxiliary data d1 and the processing condition table 303b. From the operation unit 211 as an instruction input unit, for example, information indicating the contents of image processing to be applied to the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 from the same input screen as shown in FIG. When input, the image processing conditions are determined based on the combination auxiliary data d1, the processing condition table 303b, and the input contents. The determined image processing conditions are applied to the image data in the scene reference image data generation unit 304 as a scene reference image data generation unit, and the scene reference image data d5 is generated.
[0186]
The photographing information data d4 analyzed by the header information analyzing unit 302 is output to the photographing information data processing unit 306, and image processing conditions related to generation of the viewing image reference data d6 are determined.
Based on commands from the operation unit 211 and the control unit 207, the image adjustment processing unit 701 sets the image processing conditions for creating the viewing image reference data d6 adapted to the output destination device and the output medium to the viewing image reference data. The data is transferred to the generation unit 307.
[0187]
The viewing image reference data generation unit 307 is a viewing image reference data generation unit, and based on the image processing conditions created by the shooting information data processing unit 306 and the image processing conditions transmitted from the image adjustment processing unit 701, a scene reference image Appreciation image reference data d6 is generated from data d5.
[0188]
The image adjustment processing unit 701 calls predetermined image data (template) from the template storage unit 272 when template processing is required. The image data is transferred to the template processing unit 705, combined with the template, and the template-processed image data is received again. Further, the image adjustment processing unit 701 receives from the film scanner unit 209, the reflection original input device 210, the image transfer unit 230, the communication unit (input) 240, and the template processing unit 705 based on an instruction from the operation unit 211 or the control unit 207. The image data is subjected to image processing so as to generate an image giving a favorable impression when the image is observed on an output medium to generate digital image data for output, and the CRT specific processing unit 706 and the printer specific processing Section (1) 707, image data format creation processing section 709, and data storage section 271.
[0189]
The CRT-specific processing unit 706 performs processing such as changing the number of pixels and color matching on the image data received from the image adjustment processing unit 701 as necessary, and combines the image data with information that needs to be displayed, such as control information. Is transmitted to the CRT 208 as an image forming means. The printer-specific processing unit (1) 707 performs printer-specific calibration processing, color matching, pixel number change, and the like as necessary, and sends image data to the exposure processing unit 251 as an image forming unit. When an external printer 251 such as a large-format inkjet printer as an image forming unit is connected to the image recording apparatus 201 of the present invention, a printer-specific processing unit (2) 708 is provided for each printer to be connected. Such as printer-specific calibration processing, color matching, and changing the number of pixels.
[0190]
The image data format creation processing unit 709 converts the image data received from the image adjustment processing unit 701 into various general-purpose image formats represented by JPEG, TIFF, Exif, etc. The image data is transferred to the transport unit 231 or the communication unit (output) 241.
[0191]
The image data created in the viewing image reference data generation unit 307 is sent to the CRT unique processing unit 706, the printer unique processing unit (1) 707, the printer unique processing unit (2) 708, and the image data format creation processing unit 709. In the image data format creation processing unit 709, based on the format of the viewing image reference data d6, the image data format creation processing unit 709 optimizes the CRT, the exposure output unit, the external printer, the communication unit (output), etc. After attaching a status file indicating that the image data is coded image data, the image data can be individually transmitted to the image transport unit and stored.
[0192]
The above-described film scan data processing unit 702, reflection original scan data processing unit 703, image data format decoding processing unit 704, image adjustment processing 701, CRT specific processing unit 706, printer specific processing unit (1) 707, printer specific processing unit (2) The section 708 and the image data format creation processing section 709 are sections provided to help understanding of the function of the image processing section 270, and need not necessarily be realized as physically independent devices. For example, it may be realized as a classification of the type of software processing in a single CPU.
[0193]
The classification of the header information analysis unit 302, the synthesis standardization processing unit 303a, the photographing information data processing unit 306, the scene reference image data generation unit 304, and the viewing image reference data generation unit 307 is a function of the present invention in the image processing unit 270. This is a section provided to facilitate understanding of the present invention, and does not necessarily have to be implemented as a physically independent device, and may be implemented as a section of a type of software processing in a single CPU, for example.
[0194]
<Operation of Image Processing Unit 270>
FIG. 18 is a flowchart illustrating an image data forming process executed by the units of the image processing unit 270 cooperating with each other. Hereinafter, the operation of each unit of the image processing unit 270 will be described with reference to the drawings.
[0195]
Data is input from the image transfer unit 230 or the communication unit (input) 240 to the image processing unit 270 (step S31), and the input data is converted into a digital image data file by the above-described imaging device 21 or 22 by the image data format decoding processing unit 704. (Step S32), the contents of the input digital image data file are analyzed by the header information analysis unit 302 (step S33), and the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 (step S34), synthesis auxiliary data (step S35), and photographing information data d4 (step S36).
[0196]
The synthesis auxiliary data d1 is output to the synthesis standardization processing unit 303a, and the synthesis standardization processing unit 303a determines processing conditions for generating the scene reference image data d5 based on the synthesis auxiliary data d1 and the processing condition table 303b. . When information indicating the content of image processing to be performed on the low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference raw data d3 is input from the operation unit 211, the synthesis auxiliary data d1, the processing condition table 303b, and the input Image processing conditions are determined based on the content. The low-sensitivity scene reference raw data d2 and the high-sensitivity scene reference image data d3 are output to the scene reference image data generation unit 304, and subjected to image sensor characteristic correction processing based on the processing conditions determined by the synthesis standardization processing unit 303a. (Step S37), by being combined, the scene reference image data d5 is generated and output to the viewing image data generation unit 307 (Step S38).
[0197]
The photographing information data d4 is output to the photographing information data processing unit 306, and the photographing information data processing unit 306 determines processing conditions for generating the viewing image reference data d6 according to the photographing conditions based on the photographing information data d4. You. Further, based on commands from the operation unit 211 and the control unit 207, the image adjustment processing unit 701 determines image processing conditions for creating the viewing image reference data d6 adapted to the output device and the output medium. The scene reference image data d5 input from the scene reference image data generation unit 304 is processed by the viewing image reference data generation unit 307 by the processing conditions determined by the shooting information data processing unit 306 and the image processing determined by the image adjustment processing unit 701. An optimization process is performed based on the conditions (step S39), and the viewing image reference data d6 is generated, and the CRT-specific processing unit 706, the printer-specific processing unit 707, the printer-specific processing unit 708, the image data format The data is output to one of the processing units of the creation processing unit 709 (step S40). The viewing image reference data d6 is subjected to unique processing in accordance with the output destination in the output processing unit (step S41), and is output from the output destination specified by the operation unit 211 (step S42).
[0198]
As described above, according to the image recording device 201 of the present invention, the viewing image optimized from the wide dynamic range image data recorded by the imaging devices 21 and 22 without any information loss of the captured image information. The reference data d6 is generated and quickly viewed on a display device such as a CRT, a liquid crystal display, or a plasma display, and on an output medium such as a paper for generating a hard copy image such as a silver halide photographic paper, an inkjet paper, or a thermal printer paper. An image can be formed.
[0199]
【The invention's effect】
According to the image pickup apparatus of the present invention, for each type of image pickup element having a different sensitivity, scene reference raw data that is a raw output signal directly from the image pickup apparatus that records information faithful to the subject and depends on the image pickup element characteristics is generated. Accordingly, it is possible to record a wide dynamic range image without information loss. Further, by omitting the conversion processing of the raw scene reference data into the scene reference image data in the imaging device, the processing load and power consumption of the imaging device are reduced, the processing (photographing) capability is improved, and the battery driving time is reduced. The number of processed (photographed) images can be increased. Furthermore, by attaching the synthesis auxiliary data to the generated scene reference raw data, the processing is performed by correcting the individual differences and the imaging device characteristics of each imaging device from a plurality of scene reference raw data, and the synthesis is standardized. Generation of single scene reference image data can be facilitated.
[0200]
According to the image processing apparatus of the present invention, wide dynamic range image data output from the imaging apparatus of the present invention is easily edited and processed, and display devices such as CRTs, liquid crystal displays, and plasma displays, silver halide photographic paper, and inkjet paper Generating optimized image reference data without loss of captured image information for output to any known “output medium”, such as paper for generating a hard copy image such as thermal printer paper, etc. Thus, the wide dynamic range image data output by the imaging device of the present invention can be used for print output in a home or work environment.
[0201]
According to the image recording apparatus of the present invention, wide dynamic range image data output by the imaging apparatus of the present invention can be easily edited and processed, and display devices such as CRTs, liquid crystal displays, and plasma displays, and silver halide printing Achieved the rapid formation of a viewing image optimized for the output destination without loss of captured image information on paper such as paper, inkjet paper, thermal printer paper, etc. for hard copy image generation Is done.
[0202]
In addition, although unexpected, as a result of trying to create a silver halide print from the image data obtained from the digital camera to which the present invention is applied by the image processing apparatus of the present invention, the highlight side jumps and the shadow side collapses. Was significantly suppressed, and it was found that the image quality of the silver halide print could be greatly improved.
[0203]
Even more surprisingly, as a result of applying the present invention to a film scanner, and attempting to create a silver halide print using the image processing apparatus of the present invention, it was found that, besides skipping on the highlight side and crushing on the shadow side, it was caused by the film. It was also found that it was effective to effectively suppress the granular noise.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an imaging device 21 according to the present invention.
FIG. 2 is a schematic diagram showing an example of the arrangement of a low-sensitivity image sensor SL and a high-sensitivity image sensor SH in the CCD 3 of FIG.
3 is a graph showing a relationship DL between a subject luminance and a signal charge amount in the low-sensitivity image sensor SL of FIG. 1 and a relationship DH between a subject luminance and a signal charge amount in the high-sensitivity image sensor SH.
FIG. 4 is a diagram showing an example of an input screen 141 displayed on the display unit 15 of FIG.
FIG. 5 is a flowchart showing a scene reference raw data storage process A executed by the control unit 11 of FIG. 1;
FIG. 6 is a diagram showing a data structure of digital image data recorded on a recording medium of a storage device 9 in step S6 of FIG.
FIG. 7 is a diagram showing an example in which the CCD 3 of FIG. 1 is configured by three CCDs having CCDs 3a to 3c.
FIG. 8 is a block diagram showing a functional configuration of an imaging device 22 according to the present invention.
9 is a flowchart showing a scene reference raw data storage process B executed by the control unit 11 of FIG. 8;
10 is a diagram showing a data structure of digital image data recorded on a recording medium of a storage device 9 in step S17 of FIG.
FIG. 11 is a block diagram showing a functional configuration of an image processing device 115 according to the present invention.
FIG. 12 is a flowchart showing an image data generation process executed by the units of the image processing apparatus 115 of FIG. 11 cooperating with each other.
13 is output data for generating and outputting the scene reference image data d5 to the storage device 110 when the file having the data structure of FIG. 6 is input from the input unit 101 in the image processing apparatus 115 of FIG. It is a figure showing a structure.
14 is a diagram illustrating output data when generating and outputting to the storage device 110 scene generation image data d5 when a file having the data structure of FIG. 10 is input from the input unit 101 in the image processing apparatus 115 of FIG. It is a figure showing a structure.
FIG. 15 is an external perspective view of an image recording apparatus 201 according to the present invention.
FIG. 16 is a diagram showing an internal configuration of the image recording apparatus 201 of FIG.
17 is a block diagram illustrating a functional configuration of an image processing unit 270 of FIG.
18 is a flowchart showing an image data forming process executed by the units of the image recording apparatus 201 shown in FIG. 17 cooperating with each other.
[Explanation of symbols]
1 lens
2 Aperture
3 CCD
4 Analog processing circuit
5 A / D converter
6. Temporary storage memory
7 Image processing unit
8 Header information processing section
9 Storage device
10 CCD drive circuit
11 Control part
12 shooting information data processing unit
13 Compositing auxiliary data processing unit
14 Operation unit
15 Display
16 Strobe drive circuit
17 Strobe
18 Focal length adjustment circuit
19 Auto focus drive circuit
20 motor
21 Imaging device
22 Imaging device
101 Input unit
102 Header information analysis unit
103a synthesis standardization processing unit
103b Processing condition table
104 Scene Reference Image Data Generation Unit
105 Temporary storage memory
106 shooting information data processing unit
107 Appreciation image reference data generation unit
108 Temporary storage memory
109 Setting input section
110 storage device
111 output device
112 Display device
113 First Processing Unit
114 Second processing unit
115 Image processing device
201 Image recording device
202 body
203 Magazine loading section
204 Exposure processing section
205 Print creation unit
206 trays
207 control unit
208 CRT
209 Film scanner unit
210 Reflective Document Input Device
211 Operation unit
212 Information input means
213a PC card
213b FD
214 Image reading unit
214a Adapter for PC card
214b FD Adapter
215 Image writing unit
215a FD Adapter
215b MO Adapter
215c Optical Disk Adapter
216a FD
216b MO
216c optical disk
230 Image transfer means
231 Image transport unit
240 communication means (input)
241 Communication means (output)
251 External printer
270 Image processing unit
701 Image adjustment processing unit
702 Film scan data processing unit
703 Reflected original scan data processing unit
704 Image data format decryption processing unit
705 Template processing unit
706 CRT specific processing unit
707 Printer-specific processing unit 1
708 Printer-specific processing unit 2
709 Image data format creation processing unit
302 Header information analysis unit
303a synthesis standardization processing unit
303b Processing condition table
304 Scene reference image data generation unit
306 shooting information data processing unit
307 Appreciation image reference data generation unit
271 Data storage means
272 template storage means
d1 Synthesis auxiliary data
d2 Raw data with low sensitivity scene reference
d3 High sensitivity scene reference raw data
d4 Shooting information data
d5 Scene reference image data
d6 Appreciation image reference data

Claims

In an imaging apparatus including at least two types of imaging elements having different sensitivities,
A scene reference raw data generating means for generating scene reference raw data for each type of the image sensor by imaging;
A synthesis assistant that generates synthesis auxiliary data, which is information necessary when generating scene standardized image reference data that is synthesized and standardized by performing image sensor characteristic correction processing on the scene reference raw data for each type of the image sensor and synthesizing them. Data generation means;
Recording control means for attaching the synthesis auxiliary data to scene reference raw data for each type of the image sensor, and further recording the data on a medium;
An imaging device comprising:

Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
An image processing apparatus comprising:

In an imaging apparatus including at least two types of imaging elements having different sensitivities,
A scene reference raw data generating means for generating scene reference raw data for each type of the image sensor by imaging;
A synthesis assistant that generates synthesis auxiliary data, which is information necessary when generating scene standardized image reference data that is synthesized and standardized by performing image sensor characteristic correction processing on the scene reference raw data for each type of the image sensor and synthesizing them. Data generation means;
Photographing information data generating means for generating photographing information data which is a photographing condition setting at the time of photographing,
Recording control means for attaching the synthesis auxiliary data and the shooting information data to the scene reference raw data for each type of the imaging element, and further recording the data on a medium;
An imaging device comprising:

Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data, and shooting information data, which is a shooting condition setting at the time of shooting,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, and synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
Data attaching means for attaching the input shooting information data to the generated scene reference image data,
An image processing apparatus comprising:

The image processing apparatus further includes a viewing image reference data generating unit configured to perform an image process for optimizing the generated synthesis standardized scene reference image data to form a viewing image on an output medium to generate viewing image reference data. The image processing apparatus according to claim 2, wherein:

The generated, synthesized and standardized scene reference image data is subjected to image processing optimized for forming a viewing image on an output medium, the content of which has been determined based on the shooting information data, and a viewing image The image processing apparatus according to claim 4, further comprising a viewing image reference data generation unit that generates reference data.

Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
The generated, synthesized and standardized scene reference image data is subjected to image processing for optimizing for the formation of a viewing image on an output medium, and a viewing image reference data generating unit that generates viewing image reference data,
Image forming means for forming a viewing image on an output medium using the generated viewing image reference data,
An image recording apparatus comprising:

Combining by performing image sensor characteristic correction processing on the scene reference raw data for each type of image sensor generated by the imaging apparatus having at least two types of image sensors having different sensitivities, and synthesizing them. Input means for inputting synthesis auxiliary data, which is information necessary when generating standardized scene reference image data, and shooting information data, which is a shooting condition setting at the time of shooting,
Based on the input synthesis auxiliary data, perform an image sensor characteristic correction process on each of the scene reference raw data, synthesize at least two scene reference raw data subjected to the image sensor characteristic correction process, Scene reference image data generating means for generating synthetic standardized scene reference image data,
The generated, synthesized and standardized scene reference image data is subjected to image processing optimized for forming a viewing image on an output medium, the content of which has been determined based on the shooting information data, and a viewing image Viewing image reference data generation means for generating reference data,
Image forming means for forming a viewing image on an output medium using the generated viewing image reference data,
An image recording apparatus comprising:

The imaging device includes two types of imaging devices, a high-sensitivity imaging device and a low-sensitivity imaging device,
The raw scene reference data generating means generates high-sensitivity scene reference raw data from the high-sensitivity image sensor and low-sensitivity scene reference raw data from the low-sensitivity image sensor by imaging. An imaging device according to item 1.

10. The imaging device according to claim 9, wherein the high-sensitivity scene reference raw data is a monochrome image in which only luminance information of a subject is recorded, and the low-sensitivity scene reference raw data is a color image.

The low-sensitivity image sensor and the high-sensitivity image sensor are arranged such that the centers of their geometric shapes are 互いに of the pitch indicating the distance between the image sensors in the row (horizontal) direction and / or the column (vertical) direction. The imaging device according to claim 9, wherein the imaging devices are arranged in a honeycomb shape with a shift.

The imaging apparatus according to claim 1, further comprising an instruction input unit configured to input an instruction of a content of an image sensor characteristic correction process performed on the scene reference raw data. .

The said scene reference raw data is two pieces of high sensitivity scene reference raw data produced | generated by the high-sensitivity image sensor, and low-sensitivity scene reference raw data produced | generated by the low-sensitivity image sensor. The image processing device according to any one of 2, 4, 5, and 6.

14. The image processing apparatus according to claim 13, wherein the high-sensitivity scene reference raw data is a monochrome image in which only luminance information of a subject is recorded, and the low-sensitivity scene reference raw data is a color image.

15. The apparatus according to claim 2, wherein said scene reference image data generating means includes an instruction inputting means for instructing and inputting details of an image sensor characteristic correction process to be applied to said scene reference raw data. The image processing device according to claim 1.

The said scene reference raw data is two pieces of high sensitivity scene reference raw data produced | generated by the high-sensitivity image sensor, and low-sensitivity scene reference raw data produced | generated by the low-sensitivity image sensor. 9. The image recording device according to 7 or 8.

17. The image recording apparatus according to claim 16, wherein the high-sensitivity scene reference raw data is a monochrome image in which only luminance information of a subject is recorded, and the low-sensitivity scene reference raw data is a color image.

18. The image processing apparatus according to claim 7, further comprising an instruction input unit configured to input an instruction of a content of an image sensor characteristic correction process performed on the raw scene reference data by the scene reference image data generating unit. Item 10. The image recording apparatus according to Item 1.

The imaging apparatus according to claim 1, wherein the synthesis auxiliary data includes identification information of the scene reference raw data and information specifying characteristics of the imaging device. .

16. The image forming apparatus according to claim 2, wherein the synthesis auxiliary data includes identification information of the scene reference raw data and information for specifying characteristics of the image sensor. The image processing apparatus according to claim 1.

19. The image recording according to claim 7, wherein the synthesis auxiliary data includes identification information of the scene reference raw data and information for specifying characteristics of the image sensor. apparatus.

The scene reference image data generation means compares the information of the scene reference raw data for each type of the imaging element for each pixel at the same position, and synthesizes by selecting any one of the information to form one scene reference image. Generate data,
21. A device according to claim 2, further comprising pixel information recording means for recording information of which type of image sensor information is selected for each pixel. The image processing device according to claim 1.

23. The image processing apparatus according to claim 22, wherein the pixel information recording unit records information as to which type of image sensor information is selected for each pixel as synthesis auxiliary data.