JP2004304712A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】ＲＡＷ画像を汎用形式の画像データに変換するにおいて、ＲＡＷ画像の利点を維持しつつ、属性情報や画像情報本体のデータ形式を統一した画像データを提供する。
【解決手段】撮像素子から出力された信号をデジタル変換して得られた非圧縮或いは可逆圧縮状態のＲＡＷ画像データを含む画像ファイルより汎用形式の画像データを生成する画像処理において、ＲＡＷ画像に関連付けられた画像属性情報に基づいて複数種類の処理モジュールより使用すべき処理モジュールを選択し、選択された処理モジュールを用いて、ＲＡＷ画像データを上記汎用形式とは異なる中間形式の画像データに変換する。そして、この中間形式の画像データに基づいて汎用形式の画像データを生成する。
【選択図】 図９

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルスチルカメラやデジタルビデオカメラなどのＣＣＤ、ＣＭＯＳ等の光学センサから入力され、（圧縮以外の）画像処理をせずに媒体に記録された画像情報を、媒体から読み出して再生（現像）または画像処理する画像処理技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラなどで撮像して得られた画像情報として、光学センサから入力され圧縮処理以外の画像処理（画像加工処理という）をほとんどせずに記録されたデジタル画像情報を利用する技術が知られている（以下、このようなほとんど画像加工処理を施されていないデジタル画像情報をＲＡＷ画像と称する）。このようなＲＡＷ画像を用いれば、再生（現像）処理は、常にＲＡＷ画像に対して行われるため、例えば、外部、あるいは撮像装置内等の画像処理装置によって、ユーザが設定したパラメータより高度な画像加工を加えることができ、輝度信号と色信号を有する画像データとしてより高画質に再生（現像）することができる。また、ユーザの好みに応じて画質劣化や画像加工処理に依存しない再生（現像）画像データを何回でも生成することができる。
【０００３】
画像処理装置においてＲＡＷ画像を画像処理及び／又は再生する場合、ＲＡＷ画像に関連付けられて記録された属性情報や画像情報本体の特性に基づき、画素の補間処理、ホワイトバランス処理、輝度調整処理、色調整処理、シャープネス処理などの画像処理を行い、再生する。例えば、圧縮形式に応じて解凍処理を行い、画像情報本体の属性、即ち光電変換色フィルタ特性（以降、色フィルタ特性と記す）と撮像時の光源情報に応じて画素の補間処理とホワイトバランス処理を行い、露出時間やシャッタースピードやズーム位置などに応じて、輝度調整処理、色調整処理、シャープネス処理などの画像処理を行い、再生する（例えば、特許文献１の２頁〜５頁、第２図参照）。
また、再生した画像情報に対して、更に色調整などの画像処理を行う場合も、属性情報とユーザが設定した情報に基づいて画像処理及び／又は再生が行われる。なお、上記色フィルタ特性とは、画素配列、色フィルタ配列、画素毎の感度特性（分光感度など）少なくとも１つを含む特性を意味する。
【０００４】
【特許文献１】
特開平３−４９４８３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、ＲＡＷ画像はデジタルスチルカメラやビデオカメラの製造メーカおよび機種ごとに、画像処理及び／又は再生に必要な属性情報の統一がされていない上、ＣＣＤの色フィルタ特性（色フィルタ配列／補色フィルタ・原色フィルタ／深さ方向に色分離特性を有するのセンサか単色感光層特性のセンサか／ｂｉｔ深さ／画素のアスペクト比）の違いや圧縮形式の違いがあるため、それぞれのＲＡＷ画像の特性ごとに画像処理方法を変えなければならず、画像処理装置が異なっている。したがって、このようなＲＡＷ画像を共通の画像処理装置で操作するには、汎用画像データフォーマット、たとえばビットマップやＪＰＥＧに変換し、保存した後の画像データを用いている。
【０００６】
しかしながら、汎用画像データフォーマットに変換した後の画像データを用いる場合、以下のような課題が生じる。
（１）光学センサのダイナミックレンジが広くなりｂｉｔ深さが深くなった場合にも、汎用画像データフォーマットに変換しなければ、共通の画像処理装置によって画像処理／再生できないため、汎用画像データフォーマットへの変換時にｂｉｔ深さが制限されてしまう可能性がある。
（２）汎用画像データフォーマットに変換時に不可逆圧縮された場合、画像データが劣化してしまう。
（３）汎用データフォーマット変換時に画像処理に用いたい撮像装置の状態（たとえば、ＩＳＯ感度や露出時間など）が削除されてしまう可能性がある。
（４）上記（３）の問題が解決できたとしても、即ち、汎用データフォーマット変換時に画像処理に用いた撮像装置の状態（たとえば、ＩＳＯ感度や露出時間など）が画像情報本体に関連付けられて記録されたとしても、画像処理装置の方で画像処理に用いない、もしくは、そのような情報を解析しない場合が多い。
【０００７】
一方、ＲＡＷ画像を利用すべく複数種類の画像処理装置を用いる場合は以下のような課題が生じる。
（１）ＲＡＷ画像の撮像装置のメーカや機種によって画像処理装置を切り替えることは、ユーザにとって煩雑である。
（２）より優れた画像処理のアルゴリズムが開発された場合に、機種ごとに画像処理装置が異なると、開発者の変更箇所が多くなり、開発コストがかかる。
（３）より優れた画像処理のアルゴリズムが開発された場合に、ユーザは優れたアルゴリズム処理を採用していないメーカの撮像装置で撮像したＲＡＷ画像を、優れたアルゴリズム処理を採用したメーカの画像処理装置で画質調整や再生が行えない。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、ＲＡＷ画像の利点を維持しつつ、属性情報や画像情報本体のデータ形式を統一した画像データを提供することにより、例えばＲＡＷ画像を汎用形式のファイルに変換するに際しての画像加工処理を統一可能とすることを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理方法は、
撮像素子から出力された信号をデジタル変換して得られた非圧縮或いは可逆圧縮状態の画像データを含む第１形式の画像データより、第２形式の画像データを生成する画像処理方法であって、
前記第１形式の画像データに関連付けられた画像属性情報に基づいて複数種類の処理モジュールより使用すべき処理モジュールを選択する選択工程と、
前記選択工程により選択された処理モジュールを用いて、前記第１形式の画像データを前記第２形式とは異なる第３形式の画像データに変換する変換工程と、
前記第３形式の画像データに基づいて前記第２形式の画像データを生成する生成工程とを備える。
【００１０】
また、上記の目的を達成するための本発明による画像処理装置は、
撮像素子から出力された信号をデジタル変換して得られた非圧縮或いは可逆圧縮状態の画像データを含む第１形式の画像データより、第２形式の画像データを生成する画像処理装置であって、
前記第１形式の画像データに関連付けられた画像属性情報に基づいて複数種類の処理モジュールより使用すべき処理モジュールを選択する選択手段と、
前記選択手段により選択された処理モジュールを用いて、前記第１形式の画像データを前記第２形式とは異なる第３形式の画像データに変換する変換手段と、
前記第３形式の画像データに基づいて前記第２形式の画像データを生成する生成手段とを備える。
【００１１】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。なお、以下の実施形態では、デジタルスチルカメラなどの電子カメラを例に挙げて説明する。
【００１２】
図１は本実施形態による画像入力装置としてのデジタルスチルカメラの構成を示すブロック図である。図１において、１０１は撮影レンズ、１０２はシャッター絞りである。以上の撮影レンズ１０１及びシャッター絞り１０２等により撮影光学系が形成される。１０３は光電変換機（以下ＣＣＤと記す）であり、撮影光学系（１０１、１０２）によって結像した被写体の光学的信号を電気信号に変換する。
【００１３】
１０４はアナログデジタル変換器であり、ＣＣＤ１０３の出力（アナログ信号）をデジタル信号に変換する。１０５はデジタルプロセッサであり、アナログデジタル変換器１０４でデジタル化された信号を処理する。１０６はＣＰＵであり、当該デジタルスチルカメラにおける各種カメラ制御と信号処理を実行する。１０７は内部メモリである。内部メモリ１０７は、読み出し専用メモリと読み書き可能なメモリを含み、読み出し専用メモリには制御プログラムが格納され、読み書き可能なメモリはＣＰＵ１０６での処理の際に一時記憶メモリとして利用される。１０８は圧縮回路であり、記録すべきデジタル信号の圧縮処理を行う。１０９は着脱可能な記憶媒体と接続するためのインターフェイス、１１０はパーソナルコンピュータなどと接続するためのインターフェイスである。以上のアナログデジタル変換器１０４からインターフェイス１１０等によって、本実施形態のデジタルスチルカメラにおける信号処理回路が形成される。１１１は当該デジタルスチルカメラに着脱可能な記録媒体である。
【００１４】
図２は本実施形態のデジタルスチルカメラによる画像データ処理を示すフローチャートである。なお、本処理はＣＰＵ１０６が内部メモリ１０７に格納された制御プログラムを実行することにより実行される。
【００１５】
ステップＳ２０１では、画像データがメモリへ入力される。本実施形態では、ＣＣＤ１０３において光学系を電気信号に変換された後、アナログデジタル変換機１０４においてデジタル変換されたデジタル信号を示す。ステップＳ２０２では、画像データに対して画像処理を施して汎用の画像データ形式（ＪＰＥＧ等）で記録するか否かの判定を行う。本実施形態では、撮影時に撮影者がＣＣＤ１０３からの出力データに処理を加えずに記録するモード（ＲＡＷ画像出力モード）を選択しているか否かで判定を行う。ＲＡＷ画像出力モードが選択されていればステップＳ２０４へそうでなければステップＳ２０３へ進む。
【００１６】
ステップＳ２０３では、画像処理が行われる。本実施形態ではフィルタ処理やホワイトバランスやオートフォーカス等の情報に基づいた色調整などの処理を示す。次に、ステップＳ２０４では、圧縮記録を行なうか否かの判定を行う。本実施形態では、撮影時に撮影者が圧縮記録モードを選択しているか否かで判定を行う。圧縮記録モードが選択されている場合はステップＳ２０５に進み、圧縮回路１０８による画像の圧縮処理を行う。圧縮方法は、可逆圧縮もしくは不可逆圧縮である。ステップＳ２０６では属性情報が画像データに付加される。本実施形態では、属性情報とは撮影日時、撮影機種、フラッシュオン／オフ、記録形式などの撮影条件の情報を示す。ステップＳ２０７では着脱式の記録媒体１１１に記録する。本実施形態では、記憶媒体１１１とはたとえばコンパクトフラッシュ（登録商標）などの着脱式の記録媒体を示す。
【００１７】
本実施形態では、ステップＳ２０２で画像処理をせず、ステップＳ２０６で非圧縮記録された画像情報、もしくはステップＳ２０５で可逆圧縮されて記録された画像情報、即ちＲＡＷ画像を処理の対象にする。
【００１８】
図３は本実施形態の画像記録方式により作成される画像ファイルの概略構成図である。図３において、３０１は属性情報領域であり、画像データサイズ、撮影日時、撮影機種、圧縮方法、フラッシュオン／オフ、等の撮影時の情報および画像の読み出しや再生、選択に必要な情報を記憶する領域である。また、光学像を光電変換する際の撮像情報として、例えば、露光時間、開口絞り、被写体を照明している光源の色温度、光電変換素子、ＩＳＯ感度、レンズ焦点距離等に光学像を照射する光学系の情報等を含んでもよい。３０２は縮小画像データ領域で、一覧表示の際に表示する縮小画像データを記憶する領域である。３０３は画像データ領域であり、当該画像ファイルとして格納すべき全ての画像データを記憶する領域である。ＲＡＷ画像出力モードが指定された場合、本該画像データ領域３０３にはＲＡＷ画像データ或いはその可逆圧縮データが格納される。
【００１９】
以上のようなＲＡＷ画像はその提供元のハードウエア構成等により異なったデータ構造を有することになる。本実施形態の画像処理装置はこのようなＲＡＷ画像データを含む画像データファイルを汎用形式の画像データファイルへ変換する際に、中間形式の画像データに変換する。この中間形式の画像データはＲＡＷ画像の利点を損なわずに、機種に依存しない統一されたデータ形態を有する。以下、ＲＡＷ画像のバリエーションと統一形態への変換例を説明する。
【００２０】
［１．画像情報本体］
１−１．撮像装置の特性の違いの吸収について
図４は、画像信号の画素配列の例を示す図である。アナログデジタル変換機１０５によってデジタル化されて保存されたデータは、原色フィルタで且つ単色感光層の場合、図４（ａ）のようなブロックに分割される。ただし各ブロックは図４（ｂ）のように色信号赤・青・緑（ＲＧＢ）を含む４画素で構成される。補色フィルタの場合は、色信号シアン、マゼンタ、イエロー（ＣＭＹ）で構成される。この場合、画素配列の並び順は、ＣＣＤの色フィルタ特性によって異なる。また、画素の形は、ＣＣＤの色フィルタ特性によって、図６に示すように縦横比が１：１ではない（２：１など）場合がある。また、画像を構成する各画素のビットの深さもＣＣＤの色フィルタ特性によって異なる場合がある。
【００２１】
以上のように、本体画像データ領域３０３に格納されたＲＡＷ画像の画像データの記録状態は機種によって異なる場合がある。以下では、その例と変換例を以下に示す。
【００２２】
１−２．ビット深さの統一
画像を構成する画素のビットの深さが、共通の画像処理をするための任意のビット深さと異なる場合、後者のビット深さに揃える必要がある。たとえば、８ｂｉｔ（画像を構成する画素のビットの深さ）を１２ｂｉｔ（共通の画像処理を行うためのビットの深さ）に変換したい場合は、全画素に対して、４ｂｉｔ左シフトを行う。
【００２３】

【００２４】
一般に、特定のビットの深さｘ（ｂｉｔ）を共通の画像処理をするためのビットの深さａ（ｂｉｔ）に変換する場合には、ａ＞ｘであればａ−ｘ（ｂｉｔ）だけ左シフトすることにより算出できる。
【００２５】
１−３．色フィルタ特性に応じたデータの変換
本実施形態では各画素のＲＧＢ値から構成されるＲＡＷ画像を統一形態とする。したがって、ＣＣＤの色フィルタが原色フィルタであり、単色感光層（例えば図４）の場合は、得られたＲＡＷ画像データに対して後述の補間処理を施すことで共通の画像処理を行なうための中間形式の画像データを得る。
【００２６】
一方、ＣＣＤの色フィルタが補色フィルタである場合には、入力された画像情報を補間処理して各画素のＣＭＹ値を求める。画像を構成する画素の色信号シアン・マゼンタ・イエロー（ＣＭＹ値）を、共通の画像処理を行うための色信号赤・緑・青（ＲＧＢ）、すなわち中間形式の画像データに変換する。この場合、以下の計算式を用いて変換する。
【００２７】

【００２８】
また、図５に示すように複色感光層のＣＣＤより得られたＲＡＷ画像である場合には次のような変換処理を施す。図５は単色感光層において色信号が入力される様子を表した概念図である。図５の複色感光層では、１画素に１つの色信号ではなく、１層目に色信号赤と緑と青を加算した値（Ｒ＋Ｇ＋Ｂ）、２層目に色信号赤と緑を加算した値（Ｒ＋Ｇ）、３層目に色信号赤の値（Ｒ）を持つ。１層目の色信号をｃｏｌ１、２層目の色信号をｃｏｌ２、３層目の色信号をｃｏｌ３とすると、色信号ｃｏｌ１・ｃｏｌ２・ｃｏｌ３を、共通の画像処理を行うための色信号赤・緑・青（ＲＧＢ）、すなわち中間形式の画像データに変換する場合、以下の計算式を用いて変換する。
【００２９】

【００３０】
例えば図４に示すような、所謂Ｂｅｙａｒ配列のようなカラーフィルタ配列の撮像素子において、原色ＣＣＤより得られたＲＡＷ画像ではすべての画素にすべての色情報が存在しない。このように元々存在しない色信号赤・青・緑（ｃｏｌＲ（ｘ，ｙ） ，ｃｏｌＧ（ｘ，ｙ）， ｃｏｌＢ（ｘ，ｙ））を生成（補間）するには例えば以下の計算式を用いる。
【００３１】

【００３２】
さらに、撮像素子の読み出しの為の回路などの都合によって水平方向と垂直方向の画素の間隔（アスペクト比）が同じでない場合（正方格子でない場合（図６参照））には、補間処理を行ってＣＣＤの画素の配列を正方格子にする。
【００３３】
たとえば、水平方向の画素間隔（サンプリングの中心点の間隔）と垂直方向の画素間隔の比が１：２の場合（水平方向の画素間隔が垂直方向の画素間隔の半分）の撮像素子の出力信号を正方格子に変換する為に、例えば、ここでは輝度信号で考えると、以下のような演算（この演算もあくまでも一例である）をする。以下では、ＲＡＷ画像の横３列×縦３行の画素を横６列×縦１２列に変換して、正方格子の画像データを生成する。
【００３４】
横方向の３画素のデータｉｎ（ｘ−１，ｙ），ｉｎ（ｘ，ｙ）， ｉｎ（ｘ＋１，ｙ）から、６画素のデータｏｕｔ（ｘ−２，ｙ）， ｏｕｔ（ｘ−１，ｙ），ｏｕｔ（ｘ，ｙ），ｏｕｔ（ｘ＋１，ｙ） ，ｏｕｔ（ｘ＋２，ｙ），ｏｕｔ（ｘ＋３，ｙ）を作るには例えば以下の計算式を用いる。
【００３５】

【００３６】
縦方向の３画素のデータｉｎ（ｘ，ｙ−１），ｉｎ（ｘ，ｙ）， ｉｎ（ｘ，ｙ＋１）から、１２画素のデータｏｕｔ（ｘ，ｙ−５），ｏｕｔ（ｘ，ｙ−４），ｏｕｔ（ｘ，ｙ−３），ｏｕｔ（ｘ，ｙ−２），ｏｕｔ（ｘ，ｙ−１），ｏｕｔ（ｘ，ｙ），ｏｕｔ（ｘ，ｙ＋１），ｏｕｔ（ｘ，ｙ＋２），ｏｕｔ（ｘ，ｙ＋３），ｏｕｔ（ｘ，ｙ＋４），ｏｕｔ（ｘ，ｙ＋５），ｏｕｔ（ｘ，ｙ＋６）を作るには例えば以下の計算式を用いる。
【００３７】

【００３８】
以上のようにして、図６の如き特性のＲＡＷ画像の横３列×縦３行の画素が横６列×縦１２列に変換され、正方格子の画像データとなる。つまり、アスペクト比が補正される。
【００３９】
［属性情報の形態の統一］
ＲＡＷ画像の画像処理で用いる可能性のある属性情報の中で、表記方法（単位など）によって違いがありうる情報の例とその変換例を以下に示す。本例では、各種の属性値をＡＰＥＸ単位に変換することで属性情報の形態を統一する。
【００４０】
●シャッタースピード Ｓｅｃｏｎｄ→ＡＰＥＸ：
Ｓｅｃｏｎｄから、共通の画像処理をするためのシャッタースピード単位ＡＰＥＸに以下の計算式を用いて変換する。

●絞り値 Ｆ−Ｎｕｍｂｅｒ→ＡＰＥＸ：
Ｆ−Ｎｕｍｂｅｒから、共通の画像処理をするための絞り値単位ＡＰＥＸに以下の計算式を用いて変換する。

●輝度値 Ｂ／ＮＫ→ＡＰＥＸ：
Ｂ／ＮＫから、共通の画像処理をするための輝度値単位ＡＰＥＸに以下の計算式を用いて変換する。

【００４１】
以上のような処理を実現する本実施形態の画像処理装置について説明する。図８は本実施形態による情報処理装置であり、所定の制御プログラムを実行することにより以下に説明する画像処理を実現し、画像処理装置として機能する。
【００４２】
図８において、８０１は本装置全体の制御を司るＣＰＵである。８０２はＣＰＵ８０１の動作処理手順（例えばコンピュータの立ち上げ処理や基本入出力処理等のプログラム）を記憶しているＲＯＭである。８０３はＲＡＭであり、ＣＰＵ８０２のメインメモリとして機能する。ＲＡＭ８０３には後述の画像処理を実現するための制御プログラムを含む各種プログラムがハードディスクドライブ８０４等からロードされＣＰＵ８０１によって実行される。また、ＲＡＭ８０３はＣＰＵ８０１が各種処理を実行する際のワークエリアを提供する。
【００４３】
８０４はハードディスクドライブ（以下、ＨＤＤ）、８０５はフレキシブルディスクドライプ（以下、ＦＤＤ）をそれぞれ示し、それぞれのディスクはアプリケーションプログラムやデータ、ライプラリなどの保存及び読み込み用に用いられる。また、ＦＤＤの替わりに、あるいは追加してＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の光（磁気）ディスクドライブや、テープストリーマ、ＤＤＳなどの磁気テープドライブ等を設けてもよい。
【００４４】
８０６はキーボードやポインティングデバイス等の入力装置である。８０７はディスプレイでありＣＰＵ８０１の制御下で各種表示を行なう。
【００４５】
８０８はインターフェイスであり、図１に示したスチルデジタルカメラのインターフェイス１１０より画像データを受信可能である。インターフェイス８０８、１１０としてはＵＳＢが一般的である。８０９は記憶媒体装着ユニット（メディアドライブ）であり、図１に示したスチルデジタルカメラから抜き取られた記憶媒体１１１を装着し、記憶されたデータを読み出すことを可能とする。８１０は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。
【００４６】
以上の構成を備えた情報処理装置による本実施形態の画像処理について、図７Ａ，Ｂ及び図９を参照して詳細に説明する。
【００４７】
図７Ａ，Ｂは本実施形態による、ＲＡＷ画像を記録装置から読み込み、出力装置に表示（或いは記憶媒体等へのデータ出力、記録媒体上への可視画像出力）するまでの処理を示すフローチャートである。また、図９は本実施形態による中間形式の画像データへの変換処理のための機能ブロックを示す図である。
【００４８】
ステップＳ７０１で、記録媒体からＲＡＷ画像ファイルを読み込む。記録媒体としては、たとえばパーソナルコンピュータのハードディスク８０４や、記憶媒体１１１である。
【００４９】
ステップＳ７０２では、ＲＡＷ画像ファイルの属性情報領域３０１に記録されている属性情報を読み込む。属性情報とは、たとえばビットの深さ、ＣＣＤの色フィルタ特性、圧縮形式、露出時間、シャッタースピード、絞り値、輝度値、露光補正値、レンズ最小Ｆ値、被写体距離、測光方式、光源、フラッシュオン／オフ、レンズ焦点距離、Ｆナンバー、露出プログラム、ＩＳＯスピードレート、フラッシュ強度などである。
【００５０】
ステップＳ７０３では、属性情報変換処理ユニット９０２が、表記方法（単位など）が異なる属性情報を、共通の型（本実施形態ではＡＰＥＸ単位を用いる）へ上述の計算式によって変換する（以下、共通の型へ変換した属性情報を汎用属性情報と称する）。例えば、シャッタースピードの変換例は式７、絞り値の変換例は式８、輝度値の変換例は式９に示した通りである。
【００５１】
ステップＳ７０４で、本体画像データ領域３０３のＲＡＷ画像データが圧縮されているか否かの判定を行う。圧縮されていた場合は、ステップＳ７０５で、汎用属性情報の圧縮形式に基づき解凍処理を行う。すなわち、セレクタ９０３により圧縮形式に対応した解凍処理ユニット９０４へＲＡＷ画像が送られ、解凍処理が施される。なお、図９では一つの解凍ユニットしか示していないが、複数種類の圧縮処理に対応して複数種類の解凍ユニットが用意され、セレクタ９０３により選択される。また、非圧縮状態であれば、ＲＡＷ画像はセレクタ９０３からそのままビット深さ変換処理ユニット９０５へ提供されることになる。
【００５２】
ステップＳ７０６では、ビット深さ変換処理ユニット９０５が汎用属性情報のビットの深さ情報に基づき、ＲＡＷ画像データのビット調整処理を行う。ビット調整処理は、式１に示した方法にて行えばよい。
【００５３】
ステップＳ７０７では、汎用属性情報の色フィルタ特性から、深さ方向に色分離特性を有する撮像素子か否かの判定を行う。深さ方向の色分離特性ではなかった場合（単色感光層であった場合）、ステップＳ７０８で、色補間処理を行う。ＲＡＷ画像は図４に示したブロックで構成されるため、各画素に色信号が一色分しかない。そのため、色補間処理を行う。ここで補間処理としてはたとえば線形補間を用いることができ、補間処理の例としては上述の式４が挙げられる。これは、図９において、セレクタ９０６によって補間処理ユニット９０７が選択された場合の処理である。
【００５４】
一方、色フィルタ特性が図５で示した深さ方向の色分離特性を示す場合、ステップＳ７０９で色信号ｃｏｌ１・ｃｏｌ２・ｃｏｌ３から色信号赤・緑・青（ＲＧＢ）へ変換する。色信号ｃｏｌ１・ｃｏｌ２・ｃｏｌ３から色信号赤・緑・青（ＲＧＢ）への変換例は式３に示したとおりである。これは、セレクタ９０６によって複色感光層データ変換処理ユニット９０９が選択された場合の処理である。
【００５５】
また、単色感光層で、色補間処理を終えたならば（ステップＳ７０７、Ｓ７０８）、ステップＳ７１０で汎用属性情報の色フィルタ特性から、補色フィルタか否かの判定を行う。補色フィルタであった場合は、ステップＳ７１１で色信号シアン・マゼンタ・イエロー（ＣＭＹ）から色信号赤・緑・青（ＲＧＢ）へ変換する。色信号シアン・マゼンタ・イエロー（ＣＭＹ）から色信号赤・緑・青（ＲＧＢ）への変換例は式２に示したとおりである。これは、セレクタ９０６によって補間処理ユニット９０７’とＹＭＣ変換処理ユニット９０８が選択された場合の処理に相当する。なお、補間処理ユニット９０７’は補間処理ユニット９０７と同様の補間処理（式４）を実行する。
【００５６】
更に、ステップＳ７１２で、ＣＣＤを構成する画素の縦横の比率が１：１であるか判定を行う。ＣＣＤを構成する画素の縦横比率が１：１でない場合は、ステップＳ７１３で画素が縦横比率１：１になるように変換する。画素の縦横比率１：１への変換例は式５および式６で示したとおりである。これは、図９のセレクタ９１０及びアスペクト比変換ユニット９１１による処理である。
【００５７】
以上のように、撮像素子から出力された信号をデジタル変換して得られた非圧縮或いは可逆圧縮状態のＲＡＷ形式の画像データは、それに関連付けられた画像属性情報に基づいて複数種類の処理モジュールより選択された処理モジュールを用いることにより、汎用形式とは異なる、中間形式の画像データへ変換される。この処理により、ＲＡＷ画像データとしての利点を維持しながら共通の画像処理ができる画像情報（中間形式の画像データ９１２）が得られる。したがって、以下のステップＳ７１４からＳ７２１の各処理はメーカや撮像装置の種類に依存しない処理とすることができる。
【００５８】
ステップＳ７１４で、ユーザが画質調整のために設定した情報（以下、ユーザ設定情報とする）を読み込む。ユーザ設定情報とは、たとえば、シャープネス、コントラスト、カラーマトリックス、トーンカーブ、明度、彩度、色相、ホワイトバランスなどである。
【００５９】
ステップＳ７１５では、ユーザ設定情報及び／又は汎用属性情報に基づきホワイトバランス処理を行う。ホワイトバランス処理に必要な汎用属性情報とは、たとえば光源情報、フラッシュオン／オフやフラッシュ強度などである。
【００６０】
ステップＳ７１６では、赤・緑・青の色信号（ＲＧＢ）を、輝度（Ｙ）・赤み（Ｃｒ）・青み（Ｃｂ）の信号（Ｙ Ｃｒ Ｃｂ）に変換する。そして、ステップＳ７１７で、ユーザ設定情報及び／又は汎用属性情報に基づき輝度調整処理を行う。ここで輝度調整処理に必要な汎用属性情報とは、たとえば露出時間、シャッタースピード、絞り値、輝度値、露光補正値、被写体距離、測光方式、Ｆナンバー、露出プログラムやなどである。更に、ステップＳ７１８で、ユーザ設定情報及び／又は汎用属性情報に基づき色調整処理を行う。
【００６１】
ステップＳ７１９で、ユーザ設定情報及び／又は汎用属性情報に基づきシャープネス調整処理を行う。シャープネス処理に必要な汎用属性情報とは、たとえば露出時間、シャッタースピード、絞り値、輝度値、露光補正値、被写体距離、測光方式、Ｆナンバー、露出プログラム、レンズの歪み情報、レンズ焦点距離、レンズ最小Ｆ値やＩＳＯスピードレートや絞り値などである。
【００６２】
ステップＳ７２０で、輝度・赤み・青みの信号（Ｙ Ｃｒ Ｃｂ）を赤・緑・青の色信号（ＲＧＢ）に変換する。
【００６３】
ステップＳ７２１で、汎用フォーマットに変換保存する。ここで汎用フォーマットとはビットマップやＪＰＥＧ形式などである。
【００６４】
尚、本実施形態におけるＳ７０３〜Ｓ７１３の処理によってメーカや機種による相違を吸収できるため、Ｓ７１４〜Ｓ７２１はあらゆるＲＡＷ画像について共通の画像処理（画像加工処理）とすることが可能である。よって、優れたアルゴリズム処理が開発された場合には、ステップＳ７１４〜Ｓ７２１の該当する処理のみを変更するか、もしくは処理を追加すればよい。
【００６５】
また、新たな特性を持つＣＣＤの色フィルタが用いられるようになった場合には、ステップＳ７０６〜Ｓ７１３の処理に追加処理や変更処理を入れることよって本実施形態における共通の画像処理を行うための色信号赤・青・緑（ＲＧＢ）に変換すればよい。
【００６６】
なお、本実施形態における属性情報はファイルに付属して記録されていることを例に挙げたが、画像情報と関連づけられて保存されていれば、別ファイルで記録されていても、保存されているメディアなどが違ったとしても画像処理装置が読み込める条件が整っていれば、利用することが可能である。
【００６７】
以上説明したように、上記実施形態によれば、光学センサから入力されて画像処理をせずに記録された画像情報を読み出して再生する画像処理装置において、画像処理及び／又は再生に必要な属性情報、及び／又は画像情報本体の特性が異なる場合でも、共通の画像処理方法で画像処理及び／又は再生ができるようになり、使用者はその違いを意識する必要がなくなる。このとき、オリジナルのＲＡＷ画像が有する利点を損なわずに、すなわちオリジナルのＲＡＷ画像から実質的に損失のない共通形式の画像データに変換するので、画質もほとんど低下しない。また、画像処理の開発においては、ＲＡＷ画像の相違による画像処理ソースコードの変更箇所が少なくて済み、開発コストを削減できる。
【００６８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、実施例では、撮像素子としてＣＣＤについて説明したが、ＣＭＯＳ等の撮像素子であってもよい。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、ＲＡＷ画像の利点を維持しつつ、属性情報や画像情報本体のデータ形式を統一した画像データが提供される。このため、ＲＡＷ画像を汎用形式のファイルに変換するに際しての画像加工処理等をあらゆるＲＡＷ画像に対して統一することができる。
【図面の簡単な説明】
【図１】画像入力装置としてのデジタルスチルカメラの構成を示すブロック図である。
【図２】画像入力装置の画像記録までの行程を示すフローチャートである。
【図３】画像ファイル概念構成図である。
【図４】画像信号の画素配列図である。
【図５】複色感光層の特性がある光電変換機によって色信号が入力される様子を表した概念図である。
【図６】画素の縦横比１：１でない特性をもつ光電変換機から入力された画像信号の概念図である。
【図７Ａ】ＲＡＷ画像を表示出力する処理を示すフローチャートである。
【図７Ｂ】ＲＡＷ画像を表示出力する処理を示すフローチャートである。
【図８】本実施形態による画像処理を実行する情報処理装置の構成を示すブロック図である。
【図９】本実施形態による画像処理の機能構成を示すブロック図である。

Claims (11)

1. 撮像素子から出力された信号をデジタル変換して得られた非圧縮或いは実質的に可逆圧縮状態の画像データを含む第１形式の画像データより、輝度信号と色信号を有する第２形式の画像データを生成する画像処理方法であって、
   前記第１形式の画像データに関連付けられた画像属性情報に基づいて複数種類の処理モジュールより使用すべき処理モジュールを選択する選択工程と、
   前記選択工程により選択された処理モジュールを用いて、前記第１形式の画像データを前記第２形式とは異なる第３形式の画像データに変換する変換工程と、
   前記第３形式の画像データに基づいて前記第２形式の画像データを生成する生成工程とを備えることを特徴とする画像処理方法。
2. 前記選択工程は、前記画像属性情報に基づき前記第１形式の画像データのビットの深さを所定の深さに揃える処理モジュールの選択を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記選択工程は、前記画像属性情報に基づき前記第１形式の画像データを出力した撮像素子が原色フィルタか補色フィルタかに応じて、画像データを所定形式に変換するための処理モジュールを選択することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記選択工程は、前記画像属性情報に基づき前記第１形式の画像データを出力した撮像素子の画素のアスペクト比に応じて、画像データを所定のアスペクト比に変換するための処理モジュールを選択することを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
5. 前記選択工程は、前記画像属性情報に基づき前記第１形式の画像データを出力した撮像素子のカラーフィルタの配列に応じて、画像データを所定形式に変換するための処理モジュールを選択することを特徴とする請求項１乃至４のいずれかに記載の画像処理方法。
6. 前記変換工程は、前記画像属性情報に基づき前記第１形式の画像データに関連付けられた属性情報のパラメータの単位を所定の単位に変換する処理を含むことを特徴とする請求項１乃至５のいずれかに記載の画像処理方法。
7. 前記選択工程は、前記画像属性情報に基づき前記第１の形式の画像データの解凍を行う解凍モジュールを選択することを特徴とする請求項１乃至６のいずれかに記載の画像処理方法。
8. 前記第３形式の画像データは、撮像装置のハードウエア特性に依存しない画像データであることを特徴とする請求項１乃至７のいずれかに記載の画像処理方法。
9. 撮像素子から出力された信号をデジタル変換して得られた非圧縮或いは実質的に可逆圧縮状態の画像データを含む第１形式の画像データより、輝度信号と色信号を有する第２形式の画像データを生成する画像処理装置であって、
   前記第１形式の画像データに関連付けられた画像属性情報に基づいて複数種類の処理モジュールより使用すべき処理モジュールを選択する選択手段と、
   前記選択手段により選択された処理モジュールを用いて、前記第１形式の画像データを前記第２形式とは異なる第３形式の画像データに変換する変換手段と、
   前記第３形式の画像データに基づいて前記第２形式の画像データを生成する生成手段とを備えることを特徴とする画像処理装置。
10. 請求項１乃至８のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
11. 請求項１乃至８のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラムを格納する記憶媒体。

Images