JP2004289450A - 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体 - Google Patents

Abstract

【課題】撮像素子から得られた生データの記述を含むデータに対して適切な画像処理を適用可能とする。
【解決手段】ＣＣＤから得られたＣＣＤ信号（生データ）の記述を含むファイルを処理して、標準形式の画像データファイルを生成する情報処理方法が提供される。まず、ファイルが解析され、そのタグ情報に含まれるプロダクト名、或いはファイルの拡張子から、当該ファイルに記述されているＣＣＤ信号の色配列（色情報や配列情報）、例えば原色ＣＣＤ信号か補色ＣＣＤ信号かが特定され、処理選択情報が生成される。輝度信号生成系では、この処理選択情報に基づいて原色輝度信号作成処理部３０９を用いるか補色輝度信号作成処理部３１０を用いるかが決定される。決定された輝度信号作成処理部によって輝度信号への変換が行なわれ、高域強調処理部３１１、ガンマ処理部３１２を経て、標準形式の画像データで用いられる輝度信号が生成される。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子から出力される信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データ（ｒａｗ ｄａｔａ）の記述を含むデータから標準形式の画像データを作成（現像）する技術に関する。
【０００２】
【従来の技術】
一般にＣＣＤ、あるいはＣＭＯＳ等の撮像素子を含む撮像装置によって得られた画像データは、その撮像装置内で画像処理が施され、例えば、ＴＩＦＦ形式等の可逆圧縮、あるいは非圧縮の標準の画像データ形式に変換（現像）される。可逆圧縮、あるいは非圧縮形式としているのは、撮像した時の画像データそのものが損なわれない形にしておくためである。例えば、図１４の撮像装置１０１における動作１に示したように、ＣＣＤ等の撮像素子から得られた信号を他機器で再生可能な標準の画像データに変換（画像処理）し、これを記録媒体へ書き込むという一連の処理を撮像装置自身がすべて行うのが一般的である。しかしながらこのようなシステムにおいては、ユーザが撮影後にホワイトバランスやガンマ変換等の画像処理パラメータを変更して画像データを再生することができない。
【０００３】
上記の課題に対処するために、撮像操作によって得られた例えばＣＣＤ信号等のデジタル画像データ（ｒａｗ ｄａｔａ）をそのまま外部装置に供給可能とするしくみが存在する。これによれば、ユーザは、例えばパソコン上において、撮像装置によって得られた画像データのホワイトバランス、ガンマ変換等の画像処理パラメータを変更して画像データを作成することが可能となる。この構成では、図１４の撮像装置１０１における動作２に示したように、撮像結果として得られたデジタル画像データをそのまま記録媒体に記録し、当該記録媒体をパソコンに装着して読み出す、或いは通信によって撮像装置から直接パソコン上にデジタル画像データを転送するといった構成が存在する。これにより、デジタル画像データはパソコン上でソフトウエアにより撮像装置内部と同様の処理が施され、標準の画像データへと変換し、現像される。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の動作２を実現する構成において、従来は複数種類の輝度信号生成処理及びまたは、色信号生成処理を、例えば、原色フィルタを有するＣＣＤ（原色ＣＣＤ）を使用した製品Ａや補色フィルタを有するＣＣＤ（補色ＣＣＤ）を使用した製品Ｂでは、現像処理等が異なるため、ユーザが手動で各製品に対応した信号処理ソフトを選択しなければならなかった。また、パソコン等に転送し、これを処理しようとする場合に、各製品（プロダクト）毎に全く異なるファイル内前述の撮像素子から出力されたｒａｗ ｄａｔａに対して、原色フィルタ用の信号処理を行うべきか、補色フィルタ用の信号処理を行うべきかといったような、対応する信号処理方法がわからず、間違って信号処理を行ってしまう可能性もあった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、撮像素子から出力される信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを含むデータに対して適切な画像処理を適用可能とすることを目的とする。
【０００６】
【発明が解決するための手段】
上記の目的を達成するための本発明の情報処理方法は、
撮像素子から出力された信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを含むファイルを処理する情報処理方法であって、
前記ファイルに含まれるデジタル画像データを所定の形式のデータへ変換するための複数種類の輝度信号生成処理方法及び／又は複数種類の色信号生成処理方法の少なくともいずれかを用いることにより複数種類の信号処理を選択的に実行する変換工程と、
前記ファイルに含まれる情報に基づいて前記複数種類の信号処理のうちの使用すべき信号処理を選択する選択工程と、
前記選択工程で選択された信号処理を用いて前記変換工程を実行させ、前記ファイルに含まれる前記デジタル画像データデータを前記所定の形式のデータへ変換する実行工程とを備える。
【０００７】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【０００８】
［第１実施形態］
第１実施形態によるシステムは、撮像素子にＣＣＤを用いたＣＣＤ撮像部を備え、ＣＣＤ ｒａｗ ｄａｔａ（以下、ＣＣＤ信号という）を含むファイルを出力可能な撮像装置と、撮像装置より供給されたＣＣＤ信号を処理可能な情報処理装置とで構成されるシステムを説明する。撮像素子は、前述の通り、ＣＭＯＳセンサや多層構造の光電変換部により色を分離するタイプの撮像素子であっても良い。
【０００９】
図１は、第１実施形態による画像処理システムの概略を示す図である。図１において、１１は撮像装置であり、撮像部１１１、ファイル生成部１１２、記録部１１３、出力部１１４を有する。撮像部１１１は、ＣＣＤを有し、ＣＣＤより得られた撮像信号をデジタル変換し、非圧縮あるいは、可逆圧縮処理をしたＣＣＤ信号（デジタル画像データ）として出力する。本実施形態では、補色ＣＣＤ或いは原色ＣＣＤのいずれかが用いられるものとする。１１２はファイル生成部であり、撮像部１１１より出力されたＣＣＤ信号を記述するファイルを生成する。この際、当該撮像装置を特定するためのメーカ名やプロダクト名等の撮像装置の属性情報を記述したタグ情報を付与し、図７或いは図８に示すようなファイルを生成する。なお、ファイルの構成の詳細は図７或いは図８により後述する。なお、このタグ情報は、撮像した画像に個々に付与されるので、フラッシュの有無等の撮像条件に関する情報が含まれれていても良い。
【００１０】
記録部１１３はファイル生成部１１２で生成されたファイルを所定のメディアに記録する。メディアとしては、フロッピーディスク（登録商標）、ＭＯ、ＭＤ、ＣＤ、コンパクトフラッシュ（登録商標）、スマートメディア（登録商標）等、いかなるものでもよい。出力部１１４は、例えばＵＳＢインターフェースを有し、外部機器にファイルを出力することができる。
【００１１】
また、１２は情報処理装置であり、ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、Ｉ／Ｆ１２４、操作入力部１２５、ディスプレイ１２６、外部記憶装置１２７、メディアドライブ１２８、及びこれらを接続するバス１２９を有する。
【００１２】
ＣＰＵ１２１はＲＯＭ１２２又はＲＡＭ１２３に格納された制御プログラムを実行することにより、後述する画像処理を含む各種処理を実行する。Ｉ／Ｆ１２４は外部装置との通信を行なうためのインターフェースであり、例えばＵＳＢインターフェースが用いられる。本実施形態では、このＩ／Ｆ１２４を介して撮像装置１１からファイルを受信する。操作入力部１２５はポインティングデバイスやキーボード等を含み、ユーザの操作指示を取り込む。１２６はディスプレイであり、ＣＰＵ１２１の制御下で各種表示を行なう。１２７は外部記憶装置であり、各種アプリケーションプログラムやデータを格納する。外部記憶装置１２７としてはハードディスクが一般的である。１２８はメディアドライブであり、所定の記録メディアとバス１２９との間のデータ通信を制御する。
【００１３】
図１３は本実施形態の信号処理方法を用いた情報処理装置１２における画像処理の概略を説明するフローチャートである。図１３においてステップＳ１０１〜Ｓ１０３は撮像装置１１の動作を、ステップＳ２０１〜Ｓ２０４は情報処理装置１２の動作を示す。まずステップＳ１０１において、撮像部１１１にて撮影が実行され、ＣＣＤ信号が取得される。ステップＳ１０２では、ファイル生成部１１２が、撮像部１１１より取得したＣＣＤ信号を記述するデータに、後述のタグ情報を付加してファイルを生成する。ステップＳ１０３では、ステップＳ１０２で生成したファイルを記録部１１３に提供して所定の記録メディアに記録する。或いは、出力部１１４が、外部装置（本実施形態では情報処理装置１２）からの要求に応じて記録部１１３に記録されたファイルを出力する。
【００１４】
さて、以上のようにして生成されたファイルを受け取った情報処理装置１２は、一旦ファイルを外部記憶装置１２７或いはＲＡＭ１２３に格納する。本実施形態の画像処理を実現するための制御プログラムは外部記憶装置に格納されており、必要に応じてＲＡＭ１２３にロードされ、ＣＰＵ１２１によって実行される。
【００１５】
本実施形態の画像処理が実行されると、まずステップＳ２０１において、処理対象のファイルを外部記憶装置１２７よりＲＡＭ１２３へ取り込む。なお、ファイルの取り込みは、メディアドライブ１２８から行なってもよいし、Ｉ／Ｆ１２４を介して撮像装置１１から行なってもよい。次に、ステップＳ２０２において、当該ファイルを解析し、ＣＣＤ信号の色構成や配列（本例では、原色ＣＣＤ信号か補色ＣＣＤ信号か）を判別する。そして、ステップＳ２０３において、ステップＳ２０２で判別されたＣＣＤ信号の色構成及び配列に従って適切な画像処理を選択し、当該ＣＣＤ信号を処理し、一般的な画像データへのフォーマットへ変換する。ステップＳ２４では、フォーマット変換されたデータを記録媒体（外部記憶装置１２７或いはメディアドライブ１２８）に格納する。
【００１６】
図２は第１実施形態の情報処理装置１２における上述の画像処理（ステップＳ２０２〜Ｓ２０４）を実現する概略の機能構成を説明するブロック図である。以下、図２を参照して本実施形態の画像処理におけるデータの流れを説明する。
【００１７】
ＣＣＤ信号を記述したファイルデータはフォーマット解析部２０１にて解析される。具体的には、当該ＣＣＤ信号を生成したＣＣＤの画素数情報、撮影条件、製品を識別するためのプロダクト情報（タグ情報中のプロダクト名）等が読み出される。
【００１８】
図７は本実施形態で用いられるファイルのデータ構造例を示した図である。フォーマット解析部２０１では、タグ情報７０２内に格納されているプロダクト名がプロダクト情報として読み出される。読み出されたプロダクト名はフォーマット解析部２０１によってプロダクトリストと照合され、そのプロダクトが原色ＣＣＤを用いたカメラなのか、補色ＣＣＤを用いたカメラなのかを判別する。なお、本実施形態では、プロダクト名をプロダクト情報とするが、プロダクト名＋メーカ名をプロダクト情報としてもよい。なお、プロダクトリストはあらかじめ外部記憶装置１２７等に用意され、必要に応じてＲＡＭ１２３にロードされて参照される。画像データ７０３にはＣＣＤ信号が記述される。
【００１９】
ＣＣＤ信号読取部２０２は、フォーマット解析部２０１にて読み出された情報をもとにファイルデータよりＣＣＤ信号を読み出す。例えば、ＣＣＤ信号読み取り部２０２はフォーマット解析部２０１にて得られたファイル内のタグ情報から圧縮形式情報を読み出し、その圧縮形式情報に従って解凍方式を決定して、ＣＣＤ信号を読み出し、解凍する。
【００２０】
フォーマット解析部２０１にてプロダクト情報をもとになされた、原色ＣＣＤを用いたカメラか、補色ＣＣＤを用いたカメラかの判別結果は、ＣＣＤ信号読取部２０２によって読み出されたＣＣＤ信号が原色ＣＣＤ信号であるか補色ＣＣＤ信号であるかを示す。よって、処理方法決定部２０３は、フォーマット解析部２０１による上記判別結果に基づいて、後段の画像処理部２０４において用いるべき画像処理を決定し、処理選択情報として画像処理部２０４に供給する。これにより、ＣＣＤ信号の種別（本実施形態では原色ＣＣＤ信号であるか、補色ＣＣＤ信号であるか）に基づいて画像処理を切り替えることができる。
【００２１】
さて、ＣＣＤ信号読み取り部２０２にて読み取られたＣＣＤ信号は画像処理部２０４へと送られる。画像処理部２０４は、パラメータ設定部２０７により設定されたパラメータを基に、処理方法決定部２０３で選択された処理をＣＣＤ信号に施す。パラメータ設定部２０７のパラメータはユーザの好みに応じて設定することができるもので、ホワイトバランス、色の濃さ、色相、エッジ強調の強度、コントラスト等のパラメータが設定可能となっている。画像処理部２０４にて処理された出力画像信号はフォーマット変換部２０５にてＪＰＥＧフォーマット、ＴＩＦＦフォーマット、ＢＭＰフォーマット等へのフォーマット変換が行われ、出力部２０６により記録媒体へと書き込まれる。
【００２２】
次に、画像処理部２０４について更に詳しく述べる。図３は画像処理部２０４の中に含まれる処理を詳細に説明するブロック図である。以下に図３のブロック図を用いて第１実施形態の画像処理部２０４における画像処理の流れを説明する。
【００２３】
ＣＣＤ信号読み取り部２０２より入力されたＣＣＤ信号は、まずホワイトバランス処理部３０１へ送られ、画像中の白が白信号となるようなホワイトバラス係数および光源の色温度が求められる。また、ホワイトバランス係数がＣＣＤ信号にかけられ画像中の白が白信号になるようにホワイトバランス処理される。ホワイトバランス処理が施されたＣＣＤ信号はＵ，Ｖ信号（色差信号）生成系（補間処理部３０２〜色差信号変換処理部３０７）およびＹ信号（輝度信号）生成系（輝度信号作成選択部３０８〜ガンマ処理部３１２）へと送られる。
【００２４】
まず、Ｕ，Ｖ信号生成系について説明する。補間処理部３０２では単板ＣＣＤの画素配列から、それぞれＡ、Ｂ、Ｃ、Ｄ位置の画素それぞれを用いて、補間演算よりＡ、Ｂ、Ｃ、Ｄ信号の面データを作成する。マトリクス演算部３０３では式（１）を用いて画素ごとに色変換を行う。なお、式（１）の各行列要素Ｍ１１〜Ｍ４３は、処理方法決定部で決定された処理方法（原色ＣＣＤ信号用の処理か、補色ＣＣＤ信号用の処理か）に応じて変更される。
【００２５】

【００２６】
マトリクス演算処理部３０３でＲｍ、Ｇｍ、Ｂｍに色変換されたＣＣＤ信号は色差ゲイン演算処理部３０４に入力される。色差ゲイン演算信号３０４は、入力されたＣＣＤ信号より輝度信号Ｙと色差信号Ｃｒ、Ｃｂを取得し、これらのうちの色差信号にゲインをかけてＣｒ’、Ｃｂ’を生成し、更にＹ、Ｃｒ’、Ｃｂ’を再びＲＧＢ空間の信号に変換する。具体的には、まず、式（２）によりＲｍ、Ｇｍ、Ｂｍ信号をＹ、Ｃｒ、Ｃｂ信号へ変換し、さらに式（３）によりＣｒ、Ｃｂ信号にゲインをかけ、得られたＹ、Ｃｒ’、Ｃｂ’を式（４）（式（２）の逆行列演算）により、Ｒｇ、Ｇｇ、Ｂｇ信号へ変換する。なお、式（３）のゲイン係数Ｇ１は処理方法決定部で決定された原色ＣＣＤ信号用の処理あるいは、補色信号用の処理の各処理方法に応じて変更される。
【００２７】

【００２８】

【００２９】

【００３０】
色差ゲイン演算処理部３０４によって得られたＣＣＤ信号はガンマ処理部３０５へと送られる。ガンマ処理部３０５では以下の式（５）〜（７）、
Ｒｔ ＝ ＧａｍｍａＴａｂｌｅ［Ｒｇ］ ．．．（５）
Ｇｔ ＝ ＧａｍｍａＴａｂｌｅ［Ｇｇ］ ．．．（６）
Ｂｔ ＝ ＧａｍｍａＴａｂｌｅ［Ｂｇ］ ．．．（７）
を用いて入力されたＣＣＤ信号をデータ変換する。ただし、上記においてＧａｍｍａＴａｂｌｅは１次元ルックアップテーブル（すなわち、ガンマテーブル）を表す。ガンマ処理部３０５は色信号用のガンマ処理部である。
【００３１】
次に、ガンマ処理されたＣＣＤ信号は色相補正演算処理部３０６へと送られる。色相補正演算処理部３０６は、まず、ガンマ処理部３０５で得られたＲｔ、Ｇｔ、Ｂｔ信号を式（８）によりＹ、Ｃｒ、Ｃｂ信号へと変換する。そして、式（９）によりＣｒ、Ｃｂを信号を補正し、式（１０）（式（９）の逆行列演算）により、Ｒｔ、Ｇｔ、Ｂｔ信号へと変換する。なお、式（９）の各行列要素Ｈ１１〜Ｈ２２（Ｈは色相を表すＨｕｅの意）は、処理方法決定部で決定された処理方法（原色ＣＣＤ信号用の処理か、補色ＣＣＤ信号用の処理か）に応じて変更される。
【００３２】

【００３３】

【００３４】

【００３５】
色相補正演算処理部３０６から出力されたＣＣＤ信号（Ｒｔ、Ｇｔ、Ｂｔ）は色差信号変換処理部３０７へ送られる。色差信号変換処理部３０７においては、式（１１）を用いて、Ｒｔ、Ｇｔ、ＢｔよりＵＶ信号が作成される。以上のようにして色さ信号Ｕ，Ｖが生成される。
【００３６】

【００３７】
一方、輝度信号生成系では以下の処理が実行される。ホワイトバランス処理されたＣＣＤ信号は、輝度信号作成選択部３０８により、原色輝度信号作成処理部３０９か補色輝度信号作成処理部３１０のいずれかに入力される。すなわち、輝度信号作成選択部３０８は処理方法決定部２０３より入力される処理選択情報に従ってＣＣＤ信号の供給先を決定する。これにより、原色ＣＣＤ信号であれば原色輝度信号作成処理部３０９により輝度信号が作成され、補色ＣＣＤ信号であれば補色輝度信号作成処理部３１０により輝度信号が作成される。
【００３８】
より具体的に説明すると、図４に示すような原色ＣＣＤ信号は原色輝度信号作成処理部３０９に供給される。原色輝度信号作成処理部３０９は、ＣＣＤ信号に対し、Ｒ、Ｂの信号をすべて０にして、図１５に示す係数を持つ２次元フィルタ処理を施し、これを輝度信号とする。ここで、図１５は、Ｇ信号を補間するための補間フィルタである。一方、図５に示すような補色ＣＣＤ信号は補色輝度信号作成処理部３１０に供給される。補色輝度信号作成処理部３１０は、ＣＣＤ信号に対して、そのまま図６に示す係数を持つ２次元フィルタ処理を施し、これを輝度信号とする。図６は、ローパスフィルタの一種である。
【００３９】
原色輝度信号作成処理部３０９または補色輝度信号作成処理部３１０で作成された輝度信号は高域強調処理部３１１にてエッジ強調処理される。そして、ガンマ処理部３１２によりガンマ変換処理されて最終的なＹ信号が作成される。ガンマ処理部３１２は輝度信号用のガンマ処理部である。
【００４０】
なお、パラメータ設定部２０７でのユーザの設定により変更されるパラメータは式（３）のＧ１と式（５）〜（７）のテーブルデータ、本実施形態では説明を省略しているが高域強調処理部３１１のエッジ強調の強度、ガンマ処理部３１２で用いられるテーブル等である。ユーザが設定したパラメータは、ＣＣＤ信号とともに不図示の情報処理装置の内部メモリや外部記憶装置、記録媒体等に保存しておき、信号作成時の初期値としても良いし、適宜読み出し用いるようにしてもよい。また、式（３）のＧ１や式（９）のＨ１１〜Ｈ２２のように、補色ＣＣＤ信号と原色ＣＣＤ信号とによって切り替わるパラメータは、原色フィルタや補色フィルタに対応したデフォルト値に対してユーザ設定が加えられたものとなる。
【００４１】
以上が第１実施形態による画像処理の流れである。なお、図３の各処理部には図示はされていないが、プロダクト情報に基づいてパラメータを決定するパラメータ決定部があり、そこでプロダクト情報に基づいて決定されたパラメータがおのおの設定される。
【００４２】
また、本実施形態においては、図２中のフォーマット解析部２０１にてファイル中のタグ情報を解析し、得られたプロダクト情報をもとに画像処理部２０４における処理方法の選択を行った。しかしながら、図８に示したようにファイル内のタグ情報８０２にＣＣＤ信号（カラーフィルタ）の色情報及び色配列を示すＣＣＤフィルタ情報が含まれている場合には、そのＣＣＤフィルタ情報を元に画像処理部２０４の処理方法を切り換えるようにしてもよい。また、輝度信号作成処理部として、原色輝度信号作成処理部３０９と補色輝度信号作成処理部３１０を備えた構成を示したが、３種類以上の輝度信号作成処理部を有する構成としてもよい。例えば、配列の異なる原色フィルタ、補色フィルタのそれぞれに対応した輝度信号作成処理や、第４実施形態で説明するような３板式ＣＣＤ信号に対応した輝度信号作成処理部、多層構造の光電変換部により色を分離するタイプの撮像素子からの出力信号に対応した輝度信号作成処理部等を加えて複数種類の信号処理を保持ししてもよいことは、上記実施形態の説明から明らかであろう。
【００４３】
以上のように第１実施形態によれば、カメラ独自の信号フォーマットでＣＣＤからの出力信号が記述されたファイルからＣＣＤ信号を読み出し、標準信号へと変換する信号処理方法において、ファイル内のタグ情報を参照することにより、少なくとも２つのあらかじめ用意された輝度信号作成処理から一つの輝度信号作成処理を自動的に選択し、選択された輝度信号作成処理によって作成された輝度信号を用いてＣＣＤ信号から標準信号への変換が行われる。ここで、ＣＣＤ信号の判別はタグ情報中のプロダクト名或いはＣＣＤフィルタ情報等を参照して行うことができる。このため、ＣＣＤ信号の種類（例えば、補色ＣＣＤ信号や原色ＣＣＤ信号といったような、ＣＣＤ信号中の色や配列の種類）に応じて適切な画像処理が自動的に適用され、正しく標準信号への変換が行なわれることになる。
【００４４】
［第２実施形態］
次に第２実施形態について、図９を用いて以下に説明する。なお、第２実施形態のシステム構成、撮像装置１１及び情報処理装置１２における処理概要は第１実施形態（図１、図２及び図１３）と同様である。以下、第２実施形態による画像処理部２０４について、その構成と動作について図９を用いて説明する。
【００４５】
図９は第２実施形態による画像処理部２０４の構成を説明するブロック図である。図９において、ホワイトバランス処理部９０１と、Ｕ，Ｖ信号生成系（補間処理部９０２から色差信号変換処理部９０７）の構成は第１実施形態（補間処理部３０２から色差信号変換処理部３０７）と同様である。
【００４６】
以下、第２実施形態によるＹ信号生成処理について説明する。第１実施形態では、輝度信号作成系における輝度信号作成処理部をＣＣＤ信号の種類に応じて切り換えたが、第２実施形態では輝度信号作成系におけるエッジ強調等のための高域強調処理をＣＣＤ信号の種類に応じて切り換える。
【００４７】
図９において、ホワイトバランス処理されたＣＣＤ信号は輝度信号作成処理部９０８へ送られ、図６のフィルタ係数を用いて帯域を落とす処理が行われる。ここで作成された輝度信号は、後段の高域信号強度調整処理部９１２まで送られる。次に、高域信号作成選択部９０９は、輝度信号作成処理部９０８から入力されＣＣＤ信号を、処理方法決定部２０３からの処理選択情報に従って、原色高域信号作成処理部９１０か補色高域信号作成処理部９１１のいずれかが選択される。すなわち、プロダクト情報をもとに決定された処理選択情報より、ＣＣＤ信号に対する高域信号作成の処理方法が選択される。この結果、原色ＣＣＤ信号（図４）であった場合は原色高域信号作成処理部９１０を用いて、補色ＣＣＤ信号（図５）であった場合は補色高域信号作成処理部９１１を用いて高域信号が作成される。
【００４８】
原色高域信号処理部９１０ではホワイトバランス処理部９０１で行われたホワイトバランス処理後のＣＣＤ信号を新たにＲ、Ｂの信号の画素位置の値を０とし、Ｇ１、Ｇ２の信号より図１５に示したフィルタを用いてフィルタ処理を行い、Ｇ補間信号を作成する。さらに、このＧ補間信号に対して、水平方向に［−１，０，２，０，−１］のフィルタ処理を、垂直方向に［−１，０，２，０，−１］のフィルタ処理を行うことにより高域信号が作成される。
【００４９】
また、補色高域信号処理部９１１では、輝度信号作成処理部９０８から送られてきた輝度信号に対して、水平方向に［−１，０，２，０，−１］のフィルタ処理を、垂直方向に［−１，０，２，０，−１］のフィルタ処理を行うことにより高域信号が作成される。
【００５０】
原色高域信号作成部、あるいは補色高域信号作成部によって作成された高域の輝度信号は高域信号強度調整処理部９１２により強度をゲイン演算により調整され、輝度信号作成処理部９０８で作成された輝度信号に加算される。高域信号が加算された輝度信号はガンマ処理部９１３においてガンマ変換されＹ信号が作成される。
【００５１】
以上のように第２実施形態によれば、ＣＣＤ信号の種類（色や配列）に応じて、少なくとも２つのあらかじめ用意された高域強調信号作成処理から一つの高域強調信号作成処理を自動的に選択し、選択された高域強調信号作成処理を付加した輝度信号を生成することができる。これにより、ＣＣＤ信号の種類に応じて適切な画像処理が自動的に適用され、正しく標準信号への変換が行なわれることになる。
【００５２】
［第３実施形態］
第１実施形態においては、原色ＣＣＤ信号か補色ＣＣＤ信号かによって輝度信号作成処理部の信号処理を異なるものとした。また、第２実施形態においては、原色ＣＣＤ信号と補色ＣＣＤ信号で高域強調信号処理部による信号処理を異なるものとした。第３実施形態では、図１０に示すように原色ＣＣＤ信号と補色ＣＣＤ信号とで輝度信号作成および高域強調処理の両方を切り換える。
【００５３】
図１０は第３実施形態による画像処理部２０４の構成を説明するブロック図である。なお、図１０において、ホワイトバランス処理部１００１と、Ｕ，Ｖ信号生成系（補間処理部１００２から色差信号変換処理部１００７）の構成は第１実施形態（補間処理部３０２から色差信号変換処理部３０７）と同様である。
【００５４】
また、輝度信号作成選択部１００８、原色輝度信号作成処理部１００９、補色輝度信号作成処理部１０１１は夫々第１実施形態の輝度信号作成選択部３０８、原色輝度信号作成処理部３０９、補色輝度信号作成処理部３１０と同じ機能を有する。
【００５５】
原色輝度信号作成処理部１００９で生成された輝度信号は原色高域強調処理部１０１０で高域強調される。（この処理は？？）一方、補色輝度信号作成処理部１０１１で生成された輝度信号は、補色高域強調処理部１０１２で高域強調される。
【００５６】
以上のようにして高域が強調された輝度信号はガンマ処理部１０１３においてガンマ変換され、Ｙ信号が作成される。
【００５７】
［第４実施形態］
第４実施形態では、図４に示すような単板ベイヤー配列の原色カラーフィルタを介して得られたＣＣＤ信号（本実施形態ではベイヤーＣＣＤ信号という）と、図１２に示すような３板式のＣＣＤによって得られたＣＣＤ信号（本実施形態では３板ＣＣＤ信号という）を適切に処理可能とする。
【００５８】
なお、第４実施形態のシステム構成、撮像装置１１及び情報処理装置１２における処理概要は第１実施形態（図１、図２及び図１３）と同様である。以下、第４実施形態による画像処理部２０４について、その構成と動作について図１１を用いて説明する。
【００５９】
ファイルデータがフォーマット解析部２０１に供給されると、ファイルに格納されているタグ情報の解析が行われる。具体的にはＣＣＤの画素数情報、撮影条件、製品を識別するためのプロダクト情報、ＣＣＤのフィルタ色情報、ＣＣＤのフィルタ配列情報等が読み出される。フォーマット解析部２０１にて読み出された情報をもとにＣＣＤ信号読み取り部２０２にてＣＣＤ信号が読み出される。次に、処理方法決定部２０３にてフォーマット解析部２０１にて読み出されたＣＣＤのフィルタ配列情報をもとに、ＣＣＤ信号読み取り部２０２にて読み出されたＣＣＤ信号がベイヤーＣＣＤ信号であるか、３板ＣＣＤ信号であるかを判別し、画像処理部２０４内の処理を決定するための処理選択情報を生成する。
【００６０】
図１１は第４実施形態による画像処理部２０４の構成を説明するブロック図である。図１１において、ホワイトバランス処理部１１０１と、Ｕ，Ｖ信号生成系（補間処理部１１０２から色差信号変換処理部１１０７）の構成は第１実施形態（補間処理部３０２から色差信号変換処理部３０７）と同様である。
【００６１】
輝度信号作成選択部１１０８は、ホワイトバランス処理されたＣＣＤ信号を、処理選択情報に基づいて単板ベイヤー輝度信号作成処理部１１０９か３板ＣＣＤ輝度信号作成処理部１１１０のいずれかに供給する。すなわち、ベイヤーＣＣＤ信号は単板ベイヤー輝度信号作成処理部１１０９に送られ、輝度信号が作成される。一方、３板ＣＣＤ信号は３板ＣＣＤ輝度信号作成処理部１１１０にＣＣＤ信号が送られて輝度信号が作成される。
【００６２】
ベイヤーＣＣＤ信号は第１実施形態の原色ＣＣＤ信号と同じである。よって、単板ベイヤー輝度信号作成処理も第１実施形態の原色輝度信号作成処理部で用いたものと同じであるため、ここでは説明を省略する。
【００６３】
３板ＣＣＤ輝度信号作成処理部１１１０では、図１２に示すような３板ＣＣＤ信号の輝度信号を、以下の式（１２）
Ｙ＝０．３３×Ｒ＋０．６９×Ｇ＋０．１１Ｂ 式（１２）
により作成する。
【００６４】
単板ベイヤー輝度信号作成処理部１１０９、もしくは３板ＣＣＤ輝度信号作成部１１１０により作成された輝度信号は高域強調処理部１１１１にてエッジ成分を強調され、さらにガンマ処理部１１１２にてガンマ変換処理されて最終的なＹ信号が作成される。
【００６５】
以上のように、第４実施形態によれば、単板式の原色ＣＣＤ信号と３板式の原色ＣＣＤ信号を区別して輝度信号作成処理を切り換えることができる。なお、第４実施形態の輝度信号作成処理の切り換えを第１実施形態或いは第３実施形態と組み合わせてもよい。なお、第３実施形態に適用した場合、３板ＣＣＤ信号及び原色ＣＣＤ信号（レイヤーＣＣＤ信号）はともに現職高域強調処理部１０１０にて処理されるものとする。
【００６６】
［第５実施形態］
第１実施形態では、ファイルデータはフォーマット解析部２０１にて、ファイルに格納されている情報の解析が行われる。具体的にはＣＣＤの画素数情報、撮影条件、製品を識別するためのプロダクト情報等が読み出される。そして、フォーマット解析部２０１にて読み出された情報をもとにＣＣＤ信号読み取り部２０２にてＣＣＤ信号が読み出される。第５実施形態では、フォーマット解析部２０１でファイルの拡張子を読み出し、ＣＣＤ信号読取部２０２ではその拡張子に応じて画像処理部２０４における輝度信号生成処理（原色ＣＣＤ信号か、補色ＣＣＤ信号等に応じた輝度信号処理）や圧縮ファイルの解凍処理等が判別される。
【００６７】
ファイルデータの拡張子に応じて処理を自動的に切り替えるようにするためには、ファイルデータの複数種類の拡張子に各々対応する信号処理をテーブルとして保持しておけばよい。また、処理の対応が可能な各ファイルの拡張子を記憶した拡張子リスト（テーブル）を保持し、このテーブルを参照することによって、入力されたファイルデータが処理可能かどうかを判別するようにしても良い。
【００６８】
ファイルデータの拡張子に加えて、さらにタグ情報の組合せによって、細かい信号処理を判別するような構成にしても良い。あるいは、処理の対応が可能な各ファイルの拡張子を保存したテーブルに存在しない拡張子のファイルが入力された場合は、ファイルデータが保持しているタグ情報を用いて信号処理の切り換えを行うようにしてもよい。また、圧縮データの解凍処理をタグ情報（プロダクト名等）から決定するようにしてもよいことは明らかであろう。
【００６９】
また、ここでは撮像されたデジタル画像データとタグ情報は一体となった実施形態について説明したが、デジタル画像データとタグ情報がリンクするような状態であれば、各々別ファイルとして保存されていても構わない。
【００７０】
以上説明したように、上記各実施形態によれば、メーカ独自のフォーマットのデータを標準データに変更するために画像処理が必要な場合において、画像処理方法を間違えることなく、自動に最適な標準データに変更することが可能となる。
【００７１】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、初心者であっても、、撮像素子から出力される信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを含むデータに対して適切な画像処理を適用することが可能となり、ユーザの操作性を向上させることが可能となる。
【図面の簡単な説明】
【図１】第１実施形態による画像処理システムの概略を示す図である。
【図２】第１実施形態の情報処理装置による画像処理の概略の構成を示すブロック図である。
【図３】第１実施形態における画像処理部の構成を示すブロック図である。
【図４】原色フィルタＣＣＤの画素データを示した図である。
【図５】補色フィルタＣＣＤの画素データを示した図である。
【図６】補色ＣＣＤ信号から輝度信号を作成するためのフィルタ演算の係数を示した図である。
【図７】第１実施形態によるファイル構造を示す図である。
【図８】第１実施形態によるファイル構造を示す図である。
【図９】第２実施形態における画像処理部の構成を示すブロック図である。
【図１０】第３実施形態における画像処理部の構成を示すブロック図である。
【図１１】第４実施形態における画像処理部の構成を示すブロック図である。
【図１２】３板ＣＣＤの画素データを示した図である。
【図１３】第１実施形態による撮像装置及び情報処理装置の動作を示すフローチャートである。
【図１４】従来のＣＣＤデータ再生画像処理の概念図である。
【図１５】原色ＣＣＤ信号から輝度信号を作成するためのフィルタ演算の係数を示した図である。

Claims (17)

1. 撮像素子から出力された信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを含むファイルを処理する情報処理方法であって、
   前記ファイルに含まれるデジタル画像データを所定の形式のデータへ変換するための複数種類の輝度信号生成処理方法及び／又は複数種類の色信号生成処理方法の少なくともいずれかを用いることにより複数種類の信号処理を選択的に実行する変換工程と、
   前記ファイルに含まれる情報に基づいて前記複数種類の信号処理のうちの使用すべき信号処理を選択する選択工程と、
   前記選択工程で選択された信号処理を用いて前記変換工程を実行させ、前記ファイルに含まれる前記デジタル画像データデータを前記所定の形式のデータへ変換する実行工程とを備えることを特徴とする情報処理方法。
2. 前記選択工程は、前記輝度信号生成処理系における、輝度信号の高域強調処理の選択を含むことを特徴とする請求項１に記載の情報処理方法。
3. 前記ファイルに記述された前記デジタル画像データを解凍するための複数種類の解凍処理を有する解凍工程を更に備え、
   前記選択工程は、更に、前記ファイルに含まれる情報に基づいて前記解凍工程で用いられる解凍処理を選択することを特徴とする請求項１又は２に記載の情報処理方法。
4. 前記変換工程では、さらにユーザが設定した画像処理パラメータを用いて前記信号処理を行うことを特徴とする請求項１に記載の情報処理方法。
5. 前記選択工程は、当該ファイルの生成元の装置を特定するプロダクト情報、当該ファイルの生成元の装置における撮像素子が使用しているカラーフィルタを特定するカラーフィルタ情報、或いは当該ファイルの拡張子の少なくとも何れかに基づいて使用すべき信号処理を選択することを特徴とする請求項１乃至４のいずれかに記載の情報処理方法。
6. 前記変換工程における複数種類の信号処理は、前記デジタル画像データに含まれる全色の色信号を用いて輝度信号を生成する第１処理と、前記デジタル画像データに含まれる特定色の色信号を用いて輝度信号を生成する第２処理とを含み、
   前記選択工程は、前記変換工程で実行させる処理を前記第１処理と第２処理のいずれかに切り換えることを特徴とする請求項１に記載の情報処理方法。
7. 前記変換工程における複数種類の信号処理は、前記デジタル画像データに含まれる全色の色信号を用いて高域強調信号を生成する第１処理と、前記デジタル画像データに含まれる特定色の色信号を用いて高域強調信号を生成する第２処理のいずれかによって得られた高域強調信号を前記デジタル画像データより変換された輝度信号に作用させる高域強調処理を含み、
   前記選択工程は、前記第１処理と第２処理のいずれかに切り換えることを特徴とする請求項１に記載の情報処理方法。
8. 撮像素子から出力された信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを含むファイルを処理し、所定の形式のデータに変換する情報処理方法であって、
   あらかじめ用意された複数種類の輝度信号生成処理方法及び／又は複数種類の色信号生成処理方法を切り換えて信号処理を実行する処理工程と、
   処理対象のファイルの拡張子に基づいて前記処理工程で用いる信号処理を切り換え、該ファイルに含まれる前記デジタル画像データを前記所定の形式のデータへ変換する変換工程とを備えることを特徴とする情報処理方法。
9. 前記拡張子に応じて、圧縮ファイルの解凍処理方法を切り替える切換工程を更に備えることを特徴とする請求項８に記載の情報処理方法。
10. 前記拡張子に応じて前記信号処理を切り換えるためのテーブルを有することを特徴とする請求項８に記載の情報処理方法。
11. 前記拡張子に応じて前記信号処理を切り換えるとともに、さらに前記デジタル画像データに関連付けられたタグ情報を参照して前記信号処理を切り換えることを特徴とする請求項８に記載の情報処理方法。
12. 前記変換工程では、さらにユーザが設定した画像処理パラメータを用いて前記信号処理を行うことを特徴とする請求項８に記載の情報処理方法。
13. 撮像素子から出力された信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを含むファイルを処理する情報処理装置であって、
    前記ファイルに含まれる前記撮像素子から出力された信号をデジタル変換して得られる可逆圧縮あるいは非圧縮のデジタル画像データを所定の形式のデータへ変換するための複数種類の輝度信号生成処理及び／又は複数種類の色信号生成処理の少なくともいずれかを用いることにより複数種類の信号処理を選択的に実行する変換手段と、
    前記ファイルに含まれる情報に基づいて前記複数種類の信号処理のうちの使用すべき変換処理を選択する選択手段と、
    前記選択手段で選択された変換処理を用いて前記変換手段を実行させ、前記ファイルに含まれる前記デジタル画像データを前記所定の形式のデータへ変換する実行手段とを備えることを特徴とする情報処理装置。
14. 前記拡張子に応じて前記信号処理を切り換えるとともに、さらに前記デジタル画像データに関連付けられたタグ情報を参照して前記変換処理を切り換えることを特徴とする請求項１３に記載の情報処理装置。
15. 前記変換手段では、さらにユーザが設定した画像処理パラメータを用いて前記信号処理を行うことを特徴とする請求項１３に記載の情報処理装置。
16. 請求項１乃至１２のいずれかに記載の情報処理方法をコンピュータによって実現するための制御プログラムを格納する記憶媒体。
17. 請求項１乃至１２のいずれかに記載の情報処理方法をコンピュータによって実現するための制御プログラム。

Images