JP2005130280A

JP2005130280A - 画像処理システム、画像処理方法及びプログラム

Info

Publication number: JP2005130280A
Application number: JP2003365014A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-10-24
Filing date: 2003-10-24
Publication date: 2005-05-19

Abstract

【課題】色空間の異なる画像データを合成する場合においても、色再現の不具合なく容易に合成できる画像処理システムを提供することを課題とする。
【解決手段】色空間の異なる複数の画像データを色空間情報と共に入力する入力手段と、色空間情報を基に複数の画像データを共通の色空間の画像データに変換する変換手段と、変換された複数の画像データを合成する合成手段とを有することを特徴とする画像処理システムが提供される。
【選択図】図１

Description

本発明は、画像処理技術に関し、複数の画像データを合成する技術に関する。

従来、複数の画像データを合成する画像処理システムが知られている。このような画像処理システムにおいては、例えば、デジタルカメラで撮影した人物画像の人物の部分のみを切り出し、別に撮影した風景画像に合成することによって風景の前に人物を立たせたような画像を合成することができ、ユーザの目的に応じて非常に効果的な画像を提供できる。

一方、このようにして合成される画像データの色は撮影された元の画像データの色空間に基づいて決定されるが、元の画像データの色空間が異なる場合には合成する際の色をいかにして決めるかは公知の方式がない。

ここで色空間とは画像データをRGBなど複数チャンネルのデジタルデータとして表現する際に表現できる色の範囲であり、比較的広い色空間に基づいた画像データと狭い色空間に基づいた画像データとを比較すると、比較的広い色空間に基づいた画像データは広い色の範囲で再現性良く色を再生できるが、彩度の低い色の範囲においては狭い色空間に基づいた画像データに比べて再現性が劣る。また、比較的狭い色空間に基づいた画像データは色空間の範囲を超える彩度の高い色の区別が付かないといったトレードオフがある。このような色空間の性質に従い、例えば、人物画像の場合には肌色の再現性を重視するために比較的狭い色空間に基づいて画像を記録し、風景画像として非常に鮮やかな花などを含むようなシーンの場合には比較的広い色空間に基づいて画像を記録した方がよい。しかしながら、このように異なる色空間で記録された画像を色空間を考慮することなく合成すると同じ色でも異なる画像データで記録されているので異なった色として合成されてしまう。

このような問題点を解決するためには、ICCプロファイル等を用いて合成する元の画像データに対応する色空間をそれぞれ共通の色空間に変換を行い、別の画像データとして保存し、所望の合成を行う必要がある。

しかしながら、以上の処理はユーザにとって非常にわずらわしいだけでなく、元の画像データの色空間をユーザが画像データごとに把握しておく必要があり、実際に画像データを記録した色空間と処理で対応付けた色空間とが食い違うと所望の合成画像が得られないという問題がある。また、画像合成を行う際に、色の不具合なく画像データを合成するために、元の画像データの色空間を変換して一旦保存する際の共通の色空間を適切に定める必要があるが、このような処理を行うには色の管理に関するハイレベルの知識、経験が要求される。

本発明の目的は、色空間の異なる画像データを合成する場合においても、色再現の不具合なく容易に合成できる画像処理技術を提供することである。

本発明の画像処理システムは、色空間の異なる複数の画像データを色空間情報と共に入力する入力手段と、前記色空間情報を基に前記複数の画像データを共通の色空間の画像データに変換する変換手段と、前記変換された複数の画像データを合成する合成手段とを有することを特徴とする。
また、本発明の画像処理方法は、色空間の異なる複数の画像データを色空間情報と共に入力する入力ステップと、前記色空間情報を基に前記複数の画像データを共通の色空間の画像データに変換する変換ステップと、前記変換された複数の画像データを合成する合成ステップとを有することを特徴とする。
また、本発明のプログラムは、色空間の異なる複数の画像データを色空間情報と共に入力する入力ステップと、前記色空間情報を基に前記複数の画像データを共通の色空間の画像データに変換する変換ステップと、前記変換された複数の画像データを合成する合成ステップとをコンピュータに実行させるためのプログラムである。

色空間の異なる複数の画像データを共通の色空間の画像データに変換して合成するようにしたので、色再現の不具合なく複数の画像データを容易に合成できる。

図２は、本発明の実施形態による画像処理システムの構成例を示す。１００はデジタルカメラ、２００は記録媒体、３００は汎用のコンピュータ（PersonalComputer、以下、ＰＣと称す）である。デジタルカメラ１００は被写体を撮影して取得したデジタル画像データ（以下、画像データと称す）を記録媒体２００に記録する。なお、本実施形態においては、デジタルカメラ１００は画像データを記録する際の色空間を複数の色空間から選択可能である。記録媒体２００はデジタルカメラ１００、ＰＣ３００に装着、脱着可能なコンパクトフラッシュ（Ｒ）カード、光ディスク等の記録媒体である。ＰＣ３００は不図示の処理部、ＣＲＴ、液晶ディスプレイなどの表示部、キーボード、マウスなどの入力部、ハードディスク、ＲＡＭなどの記憶部よりなり、記憶部に記憶されたアプリケーションプログラムを実行することにより所望のアプリケーションを実行する。ＰＣ３００は記録媒体２００を装着した状態で記録媒体２００に記録された画像データをＰＣ３００の記憶部に読み込み可能となる。以後、本実施形態では以上のような構成を前提にアプリケーションプログラムにおいて実行される画像処理システムについて説明する。また、本実施形態ではデジタルカメラ１００で撮影した異なる色空間の画像データを合成して一つの画像データを生成する場合について説明する。

まず、本実施形態のアプリケーションプログラムで合成される画像データをデジタルカメラで撮影、記録する方法について説明する。

図３は、デジタルカメラ１００の構成例を示す。
１０１は撮像手段であり、撮像レンズ、CCD等の撮像素子、撮像素子の出力信号のゲインを調整するゲイン調整回路、ゲイン調整後の撮像素子の出力信号をデジタル信号に変換するＡ/Ｄ変換回路、出力されたデジタル信号を一時記憶するメモリ等より構成され、撮像素子からの信号をデジタル画像データとして出力する。

１０２は露出調整手段であり、撮像手段１０１で出力された画像データの所定部分の輝度に基づき、画像データが適正な明るさになるように所定のプログラム線図に従いシャッター速度と絞り値を決定し、撮像手段１０１の撮像素子の露光時間と撮影レンズの絞りを制御する。

１０３は白バランス補正手段であり、撮像手段１０１で出力された画像データの白バランスの調整を行う。

１０４は画素補間手段であり、撮像素子の各画素に対してＲＧＢ３つの各チャンネルの画素値を撮像素子の色フィルタ配列に応じて補間し、カラー画像データを出力する。

１０５は色補正手段であり、画素補間手段１０４で出力されたカラー画像データを色再現特性が所望の特性になるように色補正を行う。

１０６は色空間符号化手段であり、RGB成分からなる画像データを所定の色空間の画像データに変換する。
１０７は画像圧縮手段であり、ＪＰＥＧ等の所定の方式により画像データを圧縮する。

１０８は記録再生手段であり、圧縮された画像データに対し、所定の付帯情報を追加し、所定の形式に従った画像データとし、記録媒体２００に記録したり、記録された画像データから不図示の液晶モニタ等への表示用の画像の再生等を行う。

以下、撮像時の画像記録の動作を説明する。
ユーザが被写体を撮影するためにデジタルカメラ１００の不図示のシャッターボタンを押すと、撮像手段１０１の出力により露出調整手段１０２で撮像手段１０１の撮像素子の露光時間と撮影レンズの絞りが制御され、撮像手段１０１からデジタル画像データが出力される。

白バランス補正手段１０３は撮像手段１０１から出力された画像データに対して平均値の計算等の統計的な解析を行い、画像データから算出された所定の統計量が所定の値になるように白バランスの調整を行うための係数を求める。このとき、デジタルカメラの白バランスのモードが複数の光源に対応するために複数設定可能な場合は、各モードに応じて統計量の目標値があり、それぞれのモードに最適な係数が求まる。これらの係数はＲＧＢ各チャンネルに対して求める。

画素補間手段１０４は白バランス補正手段１０３で求まった係数を用いて撮像手段１０１から出力されるデジタル画像データからＲＧＢ３チャンネルのカラー画像データを補間する。本実施形態における撮像手段１０１の撮像素子の色フィルタの配列を図４に示す。図４に示すように各画素位置においては、実際にはＲＧＢの内、1つのチャンネルの画素値しか得られないので、フィルタの色と異なるチャンネルの画素値は補間により求める必要がある。このとき、フィルタの色がＧの画素位置においては、Ｇチャンネルの画素値を求める場合には、画素値にＧチャンネルに対応した係数を積算した値が出力値となる。また、ＲまたはＢチャンネルの画素値を求める場合には、隣接する２つの画素の画素値に各チャンネルに対応した係数を積算し、平均した値が出力値となる。また、フィルタの色がＲまたはＢの画素位置においては、フィルタと同色のチャンネルの画素値を求める場合には、画素値に各チャンネルに対応した係数を積算した値が出力値となる。また、フィルタと異なる色のチャンネルの画素値を求める場合には、隣接する４つの画素の画素値に各チャンネルに対応した係数を積算し、平均した値が出力値となる。

色補正手段１０５では画素補間手段１０４の出力であるカラー画像データに対して、以下の（式１）に示すマトリクス演算により色補正の処理を行う。

Ｃ’＝ＡＣ（式１）

ここで、Ｃ=（R,G,B）^t、Ｃ’＝（R',G',B'）^t（ｔは転置を表す）で、それぞれ色補正前後のRGB値を表す。また、Ａは３行３列のマトリクスであり、主に画像データの色相の補正を行う。本色補正手段１０５においては、デジタルカメラ１００が用意した複数の色空間の中から一つの色空間（以後、基本色空間とする）で所望の色再現特性が得られるものとする。

次に、色空間符号化手段１０６は入力のRGB値に対し、ユーザがデジタルカメラ１００の不図示のボタンにより指定した所定の色空間にRGB値を符号化する。例えば基本色空間をIEC 61966-2-1に記載されているsRGB色空間と想定し、基本色空間に画像データを符号化する場合は、IEC 61966-2-1の記載に従いRGB値を出力する。ここで、入力RGB値の（0,0,0）、（1,1,1）、（1,0,0）、（0,1,0）、（0,0,1）がそれぞれ黒、白、赤、緑、青を表すものとすると、RGB各チャンネルに対して画像データをディスプレイの電圧-輝度特性（γ特性）に合わせることを主目的としたγ変換を行い、さらに0〜１の範囲外のものに対しては0〜１に収まるようにクリッピング（0以下の値を0に、1以上の値を1にする）し、出力bit数（sRGBの場合8bit）に合せて正規化し、出力する。また、基本色空間以外の色空間、例えば基本色空間に対して赤、緑、青の色度座標の異なる色空間に符号化する場合は、まず、入力RGB値を基本色空間から別の色空間に以下の（式２）に示すマトリクス演算により変換を行う。

Ｃ’’＝ A’Ｃ’ （式２）

ここで、Ｃ’＝（R',G',B'）^t、Ｃ’’＝（R'',G'',B''）^t（ｔは転置を表す）で、それぞれ色空間変換前後のRGB値を表す。また、Ａ’は３行３列のマトリクスであり、基本色空間からユーザが指定した別の色空間への対応を表す変換マトリクスである。そして、基本色空間への符号化処理と同様にしてRGB各チャンネルに対して画像データをディスプレイの電圧-輝度特性（γ特性）に合わせることを主目的としたγ変換を行い、さらに0〜１の範囲外のものに対しては0〜１に収まるようにクリッピング（0以下の値を0に、1以上の値を1にする）し、出力bit数（sRGBの場合8bit）に合せて正規化し、出力する。

色空間符号化手段１０６から出力された画像データは画像圧縮手段１０７により所望の画質、圧縮率に応じて圧縮され、記録再生手段１０８に出力される。記録再生手段１０８は、圧縮された画像データとともに画像データの色空間の情報を付帯情報として所定の画像フォーマットに従い１つの画像データとして記録媒体２００に記録する。例えば色空間の情報としては、基本色空間に対して赤、緑、青の色度座標の異なる色空間に符号化する場合は、基本色空間からユーザが指定した別の色空間への対応を表す変換マトリクス（（式２）のA’）が記録される。

以上説明したようなデジタルカメラ１００においては、事前に画像合成を意識して画像を撮影する場合は、色空間を同一にして撮影することが好ましい。しかしながら、撮影する被写体に対して最適な色空間で撮影を行うことにより、より好適な画像を得ることができる。例えば、花など彩度の高い被写体を含むシーンを撮影する場合は画像データを比較的広い色空間で記録し、人物などを撮影する場合は画像データを比較的狭い色空間で記録するのがより好ましい。以下、このような２つの画像データを合成する方法について説明する。

図１は、本発明の実施形態の画像処理システムを実行するアプリケーションプログラムのアルゴリズムを示す。以後、図１に示したアルゴリズムを基に、第１の画像データを背景として、第１の画像データと異なる色空間で記録された第２の画像データの一部の領域を切り出し、第１の画像データの所定の位置に第２の画像データの切り出した領域を書き換えて合成する場合の動作を説明する。

まず、アプリケーションプログラムが起動するとユーザはアプリケーションプログラムの不図示のファイル読み込みステップから合成したい第１の画像データに相当するファイル名を不図示の入力部から入力し、第１の画像データをＰＣ３００の記憶部に読み込む。画像データがＪＰＥＧ等の方式により圧縮されている場合は画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各３チャンネルからなる画像データとする。また、この際、付帯情報として記録されている色空間の情報をＰＣ３００の記憶部に読み込む。そして、第１の画像データは色空間の情報に基づき所定の色空間（以後、共通色空間）に変換される。（Ｓ３０１）

ここで、色空間の変換の詳細について説明する。変換ではまず、RGB各チャンネルに対して出力値を0〜1に正規化し、ディスプレイの電圧-輝度特性（γ特性）に合せられた画像データを元の特性に戻すために逆γ変換を行う。そして、第１の画像データとともに記録された色空間の情報を用いて基本色空間へRGB値を変換する。例えば、色空間の情報が３行３列のマトリクスの場合には以下の式３のように行われる。

Ｃ1＝（A1）^-1Ｃ0 （式３）

ここで、Ｃ0＝（R0,G0,B0）^t、Ｃ1＝（R1,G1,B1）^t（ｔは転置を表す）で、それぞれ色空間変換前後のRGB値を表す。また、Ａ1は第１の画像データとともに記録された３行３列のマトリクスであり、式３で-1は逆行列を表す。さらに、基本色空間から共通色空間への変換が以下の式４のように行われる。

Ｃ2＝ A2Ｃ1 （式４）

ここで、Ｃ1＝（R1,G1,B1）^t、Ｃ2＝（R2,G2,B2）^t（ｔは転置を表す）で、それぞれ色空間変換前後のRGB値を表す。また、Ａ2は基本色空間から共通色空間に変換する３行３列のマトリクスである。なお、以上の変換において、説明のために２つの変換を行うように分けたが、式３、式４ともに線形変換であるので、（A1）^-1 A2なる合成行列を事前に計算しておき、第１の画像データを１つのマトリクス演算で共通色空間に変換してもよいことはいうまでもない。また、デジタルカメラ１００の基本色空間を共通色空間とする場合は式４の変換は必要でないことはいうまでもない。

次に、変換された第１の画像データを不図示の表示部に出力するために表示部の色再現特性を補正して所望の色が確認できるよう色変換が行われ、変換後の画像データが表示部に表示される。（S３０２）

例えば、表示部に表示する画像データへの色補正は以下の式５のように行われる。

Ｃ3＝ A3Ｃ2 （式５）

ここで、Ｃ2＝（R2,G2,B2）^t、Ｃ3＝（R3,G3,B3）^t（ｔは転置を表す）で、それぞれ色補正前後のRGB値を表す。また、Ａ3は共通色空間の画像データを表示部に表示する色に補正するための３行３列のマトリクスである。そして、RGB各チャンネルに対して画像データをディスプレイの電圧-輝度特性（γ特性）に合わせることを主目的としたγ変換を行い、さらに0〜１の範囲外のものに対しては0〜１に収まるようにクリッピング（0以下の値を0に、1以上の値を1にする）し、出力bit数（例えば8bit）に合せて正規化し、出力する。表示部では出力された画像データに従い色の補正された画像が表示される。なお、ここでの色の補正は共通色空間の各色データが表示部で忠実に再現出力されるように補正されることが望ましい。

次に、ユーザはアプリケーションプログラムの不図示のファイル読み込みステップから合成したい第２の画像データに相当するファイル名を不図示の入力部から入力し、第２の画像データをＰＣ３００の記憶部に読み込む。画像データがＪＰＥＧ等の方式により圧縮されている場合は画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各３チャンネルからなる画像データとする。また、この際、付帯情報として記録されている色空間の情報をＰＣ３００の記憶部に読み込む。そして、第２の画像データは色空間の情報に基づき共通色空間に変換される。変換の詳細に関してはS３０１のステップと同様の処理が行われる。（S３０３）

次に、変換された第２の画像データを不図示の表示部に出力するために表示部の色再現特性を補正して所望の色が確認できるよう色変換が行われ、変換後の画像データが表示部に表示される。変換の詳細に関してはS３０２のステップと同様の処理が行われる。これで表示部にユーザの指定した２つの画像データが表示された。複数の画像データの表示部への表示の制御等に関しては周知の技術によって行われる。（S３０４）

次に、ユーザが第２の画像データの一部を切り出して第１の画像データに合成する場合に、ユーザは表示部に表示された第２の画像データの所望の領域をＰＣ３００の不図示の入力部であるマウス等によって指定する。そして、指定された画像領域がマスクデータとしてＰＣ３００の記憶部に保持される。（S３０５）

次に、ユーザは第１の画像データにおける第２の画像データの切り出した画像領域の合成すべき位置座標をＰＣ３００の不図示の入力部であるマウス等によって指定する。（S３０６）

次に、共通の色空間に変換された２つの画像データはＳ３０６で指定された第１の画像の位置座標とＳ３０５で保持された第２の画像のマスクデータを用いて合成される。（S３０７）

すなわち、合成する画像データの各画素位置においてＳ３０６で指定された第１の画像の位置座標とＳ３０５で保持された第２の画像のマスクデータからその画素が第２の画像の指定された領域内か外かを判定し、領域外の場合には、合成する画像データの画素位置に対応する共通色空間に変換後の第１の画像データの画素値を取り出し、その画素値を書き込む。一方、領域内の場合には、合成する画像データの画素位置とＳ３０６で指定された第１の画像の位置座標から第２の画像データの対応する画素位置を算出し、共通色空間に変換後の第２の画像データの画素値を取り出し、その画素値を書き込む。

次に、合成された画像データを不図示の表示部に出力するために表示部の色再現特性を補正して所望の色が確認できるよう色変換が行われ、変換後の画像データが表示部の第１の画像データに代わり表示される。変換の詳細に関してはS３０２のステップと同様の処理が行われる。ここで表示色への変換とは別に変換前の合成画像データはそのままＰＣ３００の記憶部に保持されている。これでユーザは合成された画像データを確認することができ、合成位置が所望の位置になるまでＳ３０６のステップに戻り、合成位置の修正をＰＣ３００の不図示の入力部であるマウス等によって行う。（S３０８）

次に、ユーザが保存するファイル名を指定すると、Ｓ３０７で合成された共通の色空間での画像データは所定の出力用の色空間に変換され、指定したファイル名に従いＰＣ３００の記憶部または記録媒体２００に記録、保存される。（S３０９）

例えば、保存する画像データへの色空間への変換は以下の式６のように行われる。

Ｃ５＝ A５Ｃ４（式６）

ここで、Ｃ４＝（R4,G4,B4）^t、Ｃ５＝（R5,G5,B5）^t（ｔは転置を表す）で、それぞれ色変換前後のRGB値を表す。また、Ａ５は共通色空間の画像データを保存する色空間に変換するための３行３列のマトリクスである。そして、RGB各チャンネルに対して画像データをディスプレイの電圧-輝度特性（γ特性）に合わせることを主目的としたγ変換を行い、さらに0〜１の範囲外のものに対しては0〜１に収まるようにクリッピング（0以下の値を0に、1以上の値を1にする）し、出力bit数（例えば8bit）に合せて正規化し、出力する。

なお、保存する画像データの色空間としては第１ないし第２の画像データの色空間の両方の色再現範囲を包含するような色空間がより好ましい。例えば、第１の画像データの色空間の色再現範囲は第２の画像データの色空間の色再現範囲を完全に包含するような色空間の場合には第１の画像データの色空間としてもよい。また、保存する画像データの色空間として共通色空間とする場合には出力用の色空間への変換（式６の変換）が必要でないことはいうまでもない。

以上説明したように、本実施形態では、被写体をデジタルカメラで撮影、記録する際に画像データとともに付帯情報として色空間の情報も記録し、複数の画像データの合成を行う際にそれぞれの画像データをその色空間の情報を用いて共通の色空間の画像データに変換し、合成するようにしたので、異なる色空間の画像データの合成においても色の不具合が生じることなく合成画像データが得られる。

以上説明したアプリケーションプログラムの動作において、合成を行う元の画像データを共通色空間の画像データへ変換する際、式３、式４に従い、0〜1で正規化された値で行った。従って、色空間変換の処理は浮動小数点演算が前提となる。しかしながら、処理速度を考慮すると整数演算での変換がより好ましい。以下にその場合の撮影時の色空間から共通色空間への変換を整数演算で行う場合の処理（Ｓ３０１、Ｓ３０３での処理）について説明する。

まず、アプリケーションプログラムによってＰＣ３００の記憶部にＲＧＢ各３チャンネルで画像データが読み込まれる。このとき、画像データは例えばＲＧＢ各８bitの整数型データで0〜255の値を保持しているものとする。そして、ディスプレイの電圧-輝度特性（γ特性）に合った画像データを元の特性に戻すために逆γ変換をテーブル参照により行う。このとき用いるテーブルはＲＧＢ各チャンネルで同一のものであり、0〜255の各入力値に対して所望の変換を行うための出力値が用意されている。但し、γ変換での変換精度を維持するため、出力値は0〜1023の10bitのＲＧＢ値として出力するようにする。すなわち、（0,0,0）、（1023,1023,1023）、（1023,0,0）、（0,1023,0）、（0,0,1023）がそれぞれ黒、白、赤、緑、青を表すものとする。次に共通色空間への変換を式７のように行う。

Ｃ７＝ A７Ｃ６（式７）

ここで、Ｃ６＝（R6,G6,B6）^t、Ｃ７＝（R7,G7,B7）^t（ｔは転置を表す）で、それぞれ色変換前後のRGB値を表す。但し、Ｃ６、Ｃ７のＲＧＢ値は10bitで0〜1023の値を表し、（0,0,0）、（1023,1023,1023）、（1023,0,0）、（0,1023,0）、（0,0,1023）がそれぞれ黒、白、赤、緑、青を表すものとする。また、Ａ７は元の画像データの色空間から共通色空間に変換するための３行３列のマトリクスであり、画像データとともに記録された色空間の情報を用いて例えばマトリクスの合成演算等で算出されうる。但し、式７の右辺の値が0以下の時には0に、1023以上の時には1023に変換される（以下、この操作をクリッピング処理と称す）。この際、共通色空間を適切に選択するために重要なことは、クリッピング処理を行うことによってデジタルカメラ１００で記録された色が忠実に再現できなくなるということである。そこで、合成する複数の画像データの色空間の情報からクリッピング処理を行う必要がないよう共通色空間の色再現範囲がそれぞれ元の画像データの色空間の色再現範囲を包含するように変換マトリクスＡ７を算出するようにしておく。さらに、本実施形態では共通色空間のビット数が元の画像データの色空間のビット数よりも多いのでビット落ちによる変換誤差も小さくできる。

以上、画像読み込みの際の共通色空間への変換について説明したが、それに伴い、以降の処理、すなわち表示する際の画像データの色補正（Ｓ３０２、Ｓ３０４における式５の変換）、保存する画像データの色空間への変換（Ｓ３０９における式６の変換）も整数演算で行うことになる。

以上の実施形態では、２枚の画像データの合成について説明したが、３枚以上の画像データの合成についても本発明は応用できることはいうまでもない。また、合成した画像データを保存する際に、色空間の情報を付帯情報として記録すれば、次段の合成処理の入力画像データとして利用できる。

以上の実施形態では、デジタルカメラ１００で被写体を撮影した画像データの合成について説明したが、合成する元の画像データは付帯情報として色空間の情報を持っておればComputerGraphics技術によりPCなどの計算機によって生成された画像でも良い。

また、以上の実施形態では、背景画像に別の画像の一部を重ね合わせて合成する画像合成に本発明を応用したものであるが画像合成の方式においてはこの限りではない。例えば、本出願人が提案した特開平9-321972に記載の複数枚の画像をつなぎ合わせて１枚のパノラマ画像を得るような合成においても本発明は応用できる。

以上説明したように、本実施形態によれば、色空間の異なる複数の画像データを合成する画像処理システムにおいて、前記複数の画像データに付帯情報としてあらかじめ色空間の情報を記録しておき、前記複数の画像データを前記色空間の情報を用いて共通の色空間の画像データに変換し、前記複数の画像データを合成するようにしたので、色空間の異なる画像データを合成する場合においても、色再現の不具合なく容易に合成できる。

本実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態の画像処理システムのアプリケーションプログラムのアルゴリズムを示す図である。本発明の実施形態の画像処理システムの構成を示す図である。本発明の実施形態のデジタルカメラの構成を示す図である。本発明の実施形態のデジタルカメラの色フィルタの構成を示す図である。

符号の説明

１００デジタルカメラ
１０１撮像手段
１０２露出調整手段
１０３白バランス補正手段
１０４画素補間手段
１０５色補正手段
１０６色空間符号化手段
１０７画像圧縮手段
１０８記録再生手段
２００記録媒体
３００コンピュータ

Claims

色空間の異なる複数の画像データを色空間情報と共に入力する入力手段と、
前記色空間情報を基に前記複数の画像データを共通の色空間の画像データに変換する変換手段と、
前記変換された複数の画像データを合成する合成手段と
を有することを特徴とする画像処理システム。
さらに、色空間の異なる複数の画像データを色空間情報と共に記録する記録手段を有し、
前記入力手段は、前記記録された複数の画像データを色空間情報と共に入力することを特徴とする請求項１記載の画像処理システム。
さらに、被写体像を画像データとして取得する撮像手段を有し、
前記記録手段は、前記取得した画像データを所定の色空間の画像データに変換して前記色空間情報と共に記録し、
前記複数の画像データのうちの少なくとも１つの画像データは前記記録手段により記録された画像データであることを特徴とする請求項２記載の画像処理システム。
前記共通の色空間は、前記複数の画像データの色空間を包含する色空間であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理システム。
前記共通の色空間におけるビット数は、前記複数の画像データを構成する画素のビット数よりも多いことを特徴とする請求項４記載の画像処理システム。
前記色空間情報は、色空間変換マトリクスであることを特徴とする請求項１〜５のいずれか１項に記載の画像処理システム。
色空間の異なる複数の画像データを色空間情報と共に入力する入力ステップと、
前記色空間情報を基に前記複数の画像データを共通の色空間の画像データに変換する変換ステップと、
前記変換された複数の画像データを合成する合成ステップと
を有することを特徴とする画像処理方法。
色空間の異なる複数の画像データを色空間情報と共に入力する入力ステップと、
前記色空間情報を基に前記複数の画像データを共通の色空間の画像データに変換する変換ステップと、
前記変換された複数の画像データを合成する合成ステップと
をコンピュータに実行させるためのプログラム。