JP2008301258A - 信号処理装置、信号処理プログラム - Google Patents

Abstract

【課題】２つの分光特性の間の関係に基づいてより高精度な色変換処理を行い得る信号処理装置等を提供する。
【解決手段】対象となる第２の撮像素子により撮像して得られた第２のカラー信号を、目標となる第１の撮像素子により撮像して得られるカラー信号に近似する第１のカラー信号へ変換する色変換を決定するための信号処理装置であって、第１の撮像素子の分光特性と第２の撮像素子の分光特性との差異を、カラー信号を構成する複数の色信号に各係る分光特性毎に算出し、その最大値を分光差異値とする分光差異算出部１０１と、分光差異値の大きさが判別基準値以下である場合には色変換として線形変換を決定し、分光差異値の大きさが判別基準値よりも大きい場合には色変換として非線形変換を決定する処理判定部１０２と、を備えた信号処理装置。
【選択図】図１

Description

本発明は、対象の撮像素子からのカラー信号を目標の撮像素子のカラー信号に近似させるための色変換手段を決定する信号処理装置、信号処理プログラムに関する。

現在販売されているデジタルカメラやビデオカメラなどの撮像機器の多くは、原色系または補色系のカラーフィルタを前面に配置した撮像素子を備えている。しかし、カラーフィルタの種類に応じて、または撮像素子の種類に応じて、分光特性が異なることが知られている。このような分光特性の違いが存在すると、出力される画像の色再現が撮像素子に応じて異なることになる。

さらに、カラーフィルタや撮像素子は、同一種類であっても分光特性に個体差があるために、同じ種類のカラーフィルタを用いた同じ種類の撮像素子であっても、出力される画像の色再現が微小に異なる場合がある。

このような色再現の差を吸収して、同一の色再現を目指す技術に、カラーマネージメント技術（以下、ＣＭＳという）がある。このＣＭＳにおいては、一般的に、対象となるカラー信号が目標となるカラー信号に一致するように、マトリクス変換やテーブル変換による色変換処理を行う。

これらの内のマトリクス変換により色変換処理を行う場合には、対象となるカラー信号と目標となるカラー信号との間に線形な関係が成り立つ場合には高精度な色再現を低コストに実現することができるが、線形な関係が成り立たない場合には高い精度の色再現を望むことはできない。

一方、上述した内のテーブル変換により色変換処理を行う場合には、対象となるカラー信号と目標となるカラー信号との間に線形な関係が成り立つか否かに関わらず高精度な色再現を実現することができるが、テーブルデータを記憶するのに大容量のメモリが必要になり、機器の高価格化や消費電力の増大を招くことになる。

このような課題を回避しながら、高精度な色変換処理を低コストに行うためには、対象となるカラー信号と目標となるカラー信号との間の関係に基づいて、該関係に適した色変換処理を行う必要がある。このような点を解決するための技術として、例えば特開２００１-３５８９６０号公報には、第１の分光感度分布と第２の分光感度分布とに基づいて、第１の分光感度分布により特徴付けられる信号を第２の分光感度分布により特徴付けられる信号に線形色変換するための変換係数を導出する技術が記載されている。この技術によれば、変換係数の算出が第１の分光感度分布および第２の分光感度分布に基づいて行われるために、照明光源や被写体に依存することのない安定した色変換処理を実現することができる利点がある。
特開２００１-３５８９６０号公報

しかしながら、上記特開２００１-３５８９６０号公報に記載されたような、第１の分光感度分布（第１の分光特性）と第２の分光感度分布（第２の分光特性）との間の関係に基づいて線形色変換処理の変換係数を最適化するだけの技術では、十分な色変換処理の精度を得ることができない場合がある。例えば、第１の分光特性と第２の分光特性との間に十分な線形性がない場合には、線形な色変換処理を適用したとしても十分な色再現の精度を望むことはできない。

本発明は上記事情に鑑みてなされたものであり、第１の分光特性と第２の分光特性との間の関係に基づいて、より高精度な色変換処理を行うことを可能とする信号処理装置、信号処理プログラムを提供することを目的としている。

（第１の発明）
上記の目的を達成するために、第１の発明による信号処理装置は、対象となる第２の撮像素子により撮像して得られた第２のカラー信号を目標となる第１の撮像素子により撮像して得られるカラー信号に近似する第１のカラー信号へ色変換する色変換手段を決定するための信号処理装置であって、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との差異を示す分光差異値を算出する差異算出手段と、上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定する処理判定手段と、を具備したものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態１〜３が対応する。差異算出手段は図１に示される分光差異算出部１０１が、処理判定手段は図１に示される処理判定部１０２が、それぞれ該当する。

この発明の好ましい適用例は、第１の撮像素子の分光特性と第２の撮像素子の分光特性との差異を示す分光差異値を算出して、分光差異値の大きさが判別基準値以下である場合には色変換手段として線形変換を決定し、分光差異値の大きさが判別基準値よりも大きい場合には色変換手段として非線形変換を決定する信号処理装置である。

（作用）
２つの分光特性の差異を算出して、算出した分光特性の差異の大きさに応じて色変換手段を決定する。

（効果）
分光差異値の大きさが判別基準値以下である場合には色変換手段として線形変換が決定されるために、必要な精度の色再現を低コストに行うことが可能となる。また、分光差異値の大きさが判別基準値よりも大きい場合には色変換手段として非線形変換が決定されるために、高精度の色再現を行うことが可能となる。このように、分光特性の差異の大きさに応じた高精度な色変換処理を、適切なコストで実現することができる。

（第２の発明）
また、第２の発明による信号処理装置は、上記第１の発明による信号処理装置において、上記第１のカラー信号と上記第２のカラー信号とが複数の色信号により構成されるものであって、上記差異算出手段は、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との差異を上記複数の色信号に各係る分光特性毎に算出し、これら複数の差異に基づき上記分光差異値を算出するものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態１〜３が対応する。

この発明の好ましい適用例は、第１の撮像素子の分光特性と第２の撮像素子の分光特性との差異を複数の色信号に各係る分光特性毎に算出し、これら複数の差異に基づき分光差異値を算出する信号処理装置である。

（作用）
分光差異値を、複数の色信号に各係る分光特性毎に算出する。

（効果）
複数の色信号に各係る分光特性毎に差異を算出するようにしたために、色変換手段をより高精度に決定することが可能となる。

（第３の発明）
さらに、第３の発明による信号処理装置は、上記第２の発明による信号処理装置において、上記差異算出手段が、上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を上記複数の色信号のそれぞれに対応して算出する差分算出手段と、上記差分算出手段により算出された複数の平均の中から最大値を抽出し抽出した最大値を上記分光差異値とする最大抽出手段と、を含んで構成されたものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態１〜３が対応する。差分算出手段は図５，図１２に示される差分算出部２００および図１３に示される部分分光差異算出部２０５が、最大抽出手段は図５，図１２，図１３に示される最大抽出部２０１が、それぞれ該当する。

この発明の好ましい適用例は、複数の色信号の内の一の色信号に対応する第１の撮像素子の分光特性と第２の撮像素子の分光特性との波長毎の差の絶対値の平均を複数の色信号のそれぞれに対応して算出し、算出された複数の平均の中から抽出した最大値を分光差異値とする信号処理装置である。

（作用）
複数の色信号のそれぞれに対応して、第１の撮像素子の分光特性と第２の撮像素子の分光特性との波長毎の差の絶対値の平均を算出し、その最大値を分光差異値とする。

（効果）
差を演算する処理や絶対値を演算する処理、平均を演算する処理は、実装が容易であるために、分光差異値を低コストに算出することが可能となる。

（第４の発明）
第４の発明による信号処理装置は、上記第３の発明による信号処理装置において、上記差異算出手段が、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とに基づいて上記複数の色信号毎の差異を最小化するようなマトリクスを算出するマトリクス算出手段と、上記マトリクス算出手段により算出されたマトリクスに基づき上記第２の撮像素子の分光特性を変換するマトリクス変換手段と、をさらに含んで構成されたものであり、上記差分算出手段は、上記複数の色信号の内の一の色信号に対応する、上記第１の撮像素子の分光特性と、上記マトリクス変換手段から得られた変換後の上記第２の撮像素子の分光特性と、の波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出するものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態２，３が対応する。マトリクス算出手段は図１２，図１３に示されるマトリクス算出部２０２が、マトリクス変換手段は図１２，図１３に示されるマトリクス変換部２０３が、それぞれ該当する。

この発明の好ましい適用例は、第１の撮像素子の分光特性と第２の撮像素子の分光特性とに基づいて複数の色信号毎の差異を最小化するようなマトリクスを算出し、算出されたマトリクスに基づき第２の撮像素子の分光特性を変換し、複数の色信号の内の一の色信号に対応する、第１の撮像素子の分光特性と、マトリクス変換後の第２の撮像素子の分光特性と、の波長毎の差の絶対値の平均を、複数の色信号のそれぞれに対応して算出する信号処理装置である。

（作用）
分光特性の差異を最小化するマトリクスを算出し、算出したマトリクスに基づき第２の撮像素子の分光特性を変換し、変換後の第２の撮像素子の分光特性と第１の撮像素子の分光特性との波長毎の差の絶対値の平均を、複数の色信号のそれぞれに対応して算出する。

（効果）
分光特性の差異を、第１の撮像素子の分光特性と第２の撮像素子の分光特性との間で算出するようにしたために、第１の撮像素子の分光特性と第２の撮像素子の分光特性とがどの程度線形な関係にあるかを正確に判定することが可能となり、線形性の程度に応じて色変換手段をより適切に決定することができる。

（第５の発明）
第５の発明による信号処理装置は、上記第３の発明による信号処理装置において、上記差異算出手段が、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とを複数の部分波長範囲に分割する分光分割手段をさらに含んで構成されたものであり、上記差分算出手段は、上記各部分波長範囲について上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を上記複数の色信号のそれぞれに対応して算出するものであり、上記最大抽出手段は、上記各部分波長範囲について上記差分算出手段により算出された複数の平均の中から最大値を抽出し抽出した最大値を上記分光差異値とするものであり、上記処理判定手段は、上記各部分波長範囲について上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定するものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態３が対応する。分光分割手段は、図１３に示される分光分割部２０４が該当する。

この発明の好ましい適用例は、第１の撮像素子の分光特性と第２の撮像素子の分光特性とを複数の部分波長範囲に分割し、各部分波長範囲について複数の色信号の内の一の色信号に対応する第１の撮像素子の分光特性と第２の撮像素子の分光特性との波長毎の差の絶対値の平均を複数の色信号のそれぞれに対応して算出し、各部分波長範囲について複数の平均の中から抽出した最大値を分光差異値とし、各部分波長範囲について、分光差異値の大きさが判別基準値以下である場合には色変換手段として線形変換を決定し、分光差異値の大きさが判別基準値よりも大きい場合には色変換手段として非線形変換を決定する信号処理装置である。

（作用）
２つの分光特性を複数の部分波長範囲に分割し、各部分波長範囲について２つの分光特性の波長毎の差の絶対値の平均を複数の色信号のそれぞれに対応して算出し、各部分波長範囲について複数の平均の中から抽出した最大値を分光差異値とし、各部分波長範囲について、分光差異値に基づき色変換手段を決定する。

（効果）
部分波長範囲毎に色変換手段を決定するようにしたために、それぞれの色に適した色変換手段を決定することが可能となる。

（第６の発明）
第６の発明による信号処理装置は、上記第５の発明による信号処理装置において、上記色変換手段をさらに具備し、該色変換手段は、上記第２のカラー信号を所定の色空間の信号に変換する色空間変換手段と、上記色空間の信号が上記処理判定手段により線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属するか上記処理判定手段により非線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属するかを判定する色領域判定手段と、上記色領域判定手段により上記線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属すると判定される信号に線形変換を行う線形変換手段と、上記色領域判定手段により上記非線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属すると判定された信号に非線形変換を行う非線形変換手段と、を含んで構成されたものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態３が対応する。色空間変換手段は図１９に示される色空間変換部６０３が、色領域判定手段は図１９に示される色領域判定部６０１が、線形変換手段は図１９に示される線形変換部６００が、非線形変換手段は図１９に示される非線形変換部６０４が、それぞれ該当する。

この発明の好ましい適用例は、第２のカラー信号を所定の色空間の信号に変換し、色空間の信号が属する色領域に応じて、線形変換または非線形変換を行う信号処理装置である。

（作用）
第２のカラー信号を所定の色空間の信号に変換し、色空間の信号が属する色領域に応じて、線形変換または非線形変換を行う。

（効果）
色領域に応じて線形変換または非線形変換を行うことにより、高精度な色変換処理を行うことが可能となる。

（第７の発明）
第７の発明による信号処理装置は、上記第１の発明による信号処理装置において、上記線形変換がマトリクス演算による変換を含み、上記非線形変換は、非線形演算による変換と、テーブルによる変換と、マトリクス演算による変換と非線形演算による変換との組み合わせと、マトリクス演算による変換とテーブルによる変換との組み合わせと、の内の少なくとも一つを含むものである。

（対応する発明の実施形態および好ましい適用例）
この発明には実施形態１〜３が対応する。マトリクス演算による変換は図８に示される線形変換部５００および図１８，図１９に示される線形変換部６００により行われ、非線形演算による変換は図９に示される非線形変換部５１０により行われ、テーブルによる変換は図１０に示されるテーブル変換部５２０により行われ、マトリクス演算による変換と非線形演算による変換との組み合わせは図１９に示される線形変換部６００と非線形変換部６０４との組み合わせにより行われ、マトリクス演算による変換とテーブルによる変換との組み合わせは図１８に示される線形変換部６００とテーブル変換部６０２との組み合わせにより行われる。

この発明の好ましい適用例は、線形変換としてマトリクス演算による変換を決定し、非線形変換として、非線形演算による変換と、テーブルによる変換と、マトリクス演算による変換と非線形演算による変換との組み合わせと、マトリクス演算による変換とテーブルによる変換との組み合わせと、の内の一つを決定する信号処理装置である。

（作用）
線形変換としてマトリクス演算による変換を決定し、非線形変換として、非線形演算による変換と、テーブルによる変換と、マトリクス演算による変換と非線形演算による変換との組み合わせと、マトリクス演算による変換とテーブルによる変換との組み合わせと、の内の一つを決定する。

（効果）
マトリクス演算による変換は実装が容易であるために、高速かつ低コストなシステムを構築することができる。また、マトリクス演算による変換とテーブルによる変換とを用いる場合には、高精度な色変換処理を行うことが可能となる。その結果、高品位な映像信号が得られる。このような線形変換による色変換の特性と、非線形変換による色変換の特性と、を活かして、低コストで高精度な色変換処理を実現することができる。

（第８の発明）
第８の発明による信号処理装置は、上記第１の発明による信号処理装置において、上記非線形変換がテーブルサイズが異なる複数のテーブルによる変換を含み、上記処理判定手段は、上記分光差異値の大きさが上記判別基準値よりも大きい場合には該分光差異値の大きさを該判別基準値よりも大きい第２の判別基準値とさらに比較して、該第２の判別基準値よりも大きい場合には該第２の判別基準値以下である場合よりもテーブルサイズが大きいテーブルによる変換に色変換手段を決定するものである。

（対応する発明の実施形態および好ましい適用例）
この発明には、実施形態１〜３が対応する。テーブルサイズが異なる複数のテーブルによる変換は、図１０に示されるテーブル変換部５２０および図１８に示されるテーブル変換部６０２により行われる。

この発明の好ましい適用例は、分光差異値の大きさが判別基準値よりも大きい場合には、分光差異値の大きさを判別基準値よりも大きい第２の判別基準値とさらに比較して、第２の判別基準値よりも大きい場合には第２の判別基準値以下である場合よりもテーブルサイズが大きいテーブルによる変換に、色変換手段を決定する信号処理装置である。

（作用）
分光差異値の大きさが判別基準値よりも大きい場合には第２の判別基準値とさらに比較して、大きい場合には以下である場合よりもテーブルサイズが大きいテーブルに決定する。

（効果）
分光差異値が大きい場合にはテーブルサイズが大きいテーブルに決定し、小さい場合には小さいテーブルに決定するようにしたために、低コスト化を図りながら、必要な高精度の色変換処理を行うことが可能となる。

（第９の発明）
第９の発明による信号処理プログラムは、コンピュータに、対象となる第２の撮像素子により撮像して得られた第２のカラー信号を目標となる第１の撮像素子により撮像して得られるカラー信号に近似する第１のカラー信号へ色変換する色変換手段を決定させるための信号処理プログラムであって、コンピュータに、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との差異を示す分光差異値を算出する差異算出ステップと、上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定する処理判定ステップと、を実行させるためのプログラムである。

（対応する発明の実施形態および好ましい適用例、作用、効果）
第１の発明とほぼ同様である。

（第１０の発明）
第１０の発明による信号処理プログラムは、上記第９の発明による信号処理プログラムにおいて、上記第１のカラー信号と上記第２のカラー信号とが複数の色信号により構成されるものであって、上記差異算出ステップは、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との差異を上記複数の色信号に各係る分光特性毎に算出し、これら複数の差異に基づき上記分光差異値を算出するステップである。

（対応する発明の実施形態および好ましい適用例、作用、効果）
第２の発明とほぼ同様である。

（第１１の発明）
第１１の発明による信号処理プログラムは、上記第１０の発明による信号処理プログラムにおいて、上記差異算出ステップが、上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を上記複数の色信号のそれぞれに対応して算出する差分算出ステップと、上記差分算出ステップにより算出された複数の平均の中から最大値を抽出し抽出した最大値を上記分光差異値とする最大抽出ステップと、を含むステップである。

（対応する発明の実施形態および好ましい適用例、作用、効果）
第３の発明とほぼ同様である。

（第１２の発明）
第１２の発明による信号処理プログラムは、上記第１１の発明による信号処理プログラムにおいて、上記差異算出ステップが、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とに基づいて上記複数の色信号毎の差異を最小化するようなマトリクスを算出するマトリクス算出ステップと、上記マトリクス算出ステップにより算出されたマトリクスに基づき上記第２の撮像素子の分光特性を変換するマトリクス変換ステップと、をさらに含むステップであり、上記差分算出ステップは、上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記マトリクス変換ステップから得られた変換後の上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を上記複数の色信号のそれぞれに対応して算出するステップである。

（対応する発明の実施形態および好ましい適用例、作用、効果）
第４の発明とほぼ同様である。

（第１３の発明）
第１３の発明による信号処理プログラムは、上記第１１の発明による信号処理プログラムにおいて、上記差異算出ステップが、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とを複数の部分波長範囲に分割する分光分割ステップをさらに含むステップであり、上記差分算出ステップは、上記各部分波長範囲について上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を上記複数の色信号のそれぞれに対応して算出するステップであり、上記最大抽出ステップは、上記各部分波長範囲について上記差分算出ステップにより算出された複数の平均の中から最大値を抽出し抽出した最大値を上記分光差異値とするステップであり、上記処理判定ステップは、上記各部分波長範囲について上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定するステップである。

（対応する発明の実施形態および好ましい適用例、作用、効果）
第５の発明とほぼ同様である。

本発明の信号処理装置、信号処理プログラムによれば、第１の分光特性と第２の分光特性との間の関係に基づいて、より高精度な色変換処理を行うことが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は信号処理装置の構成を示すブロック図、図２はＲ信号に係る目標の分光特性と対象の分光特性との差異を説明するための線図、図３はＧ信号に係る目標の分光特性と対象の分光特性との差異を説明するための線図、図４はＢ信号に係る目標の分光特性と対象の分光特性との差異を説明するための線図、図５は分光差異算出部の構成を示すブロック図、図６は処理判定部の構成を示すブロック図、図７は判別基準値を主観的に決定する際に比較評価対象の信号をディスプレイにペイントする様子を示す図、図８は色変換手段として線形変換部を用いる例を示すブロック図、図９は色変換手段として非線形変換部を用いる例を示すブロック図、図１０は色変換手段としてテーブル変換部を用いる例を示すブロック図、図１１は信号処理装置の作用を示すフローチャートである。

この信号処理装置は、図１に示すように、バッファ１００と、差異算出手段たる分光差異算出部１０１と、処理判定手段たる処理判定部１０２と、制御部１０３と、外部Ｉ／Ｆ部１０４と、を備えている。

バッファ１００は分光差異算出部１０１へ接続されている。分光差異算出部１０１は処理判定部１０２へ接続されている。制御部１０３は、例えばマイクロコンピュータなどを含んで構成されており、バッファ１００，分光差異算出部１０１，処理判定部１０２と双方向に接続されていて、これらを制御するようになっている。さらに、外部Ｉ／Ｆ部１０４は、電源のオン／オフを行うためのインターフェース（例えば電源スイッチ）やデータ入力を行うためのインターフェース等を含むものであり、制御部１０３と双方向に接続されている。

この図１に示したような信号処理装置の作用を、信号の流れに沿って説明する。

色再現の目標となる撮像素子の分光特性と、処理の対象となる撮像素子の分光特性とが、外部Ｉ／Ｆ部１０４を介してこの信号処理装置に入力される。撮像素子としてベイヤー型の原色カラーフィルタを前面に配置したＣＣＤを想定したときの、これら目標となる撮像素子の分光特性と処理の対象となる撮像素子の分光特性との関係の一例を、図２〜図４に模式的に示す。これら図２〜図４においては、目標となる分光特性を実線により、処理対象の分光特性を点線により、それぞれ表している。

外部Ｉ／Ｆ部１０４を介して入力される撮像素子の分光特性は、具体的には、撮像素子の機種毎の製品カタログに記載されている代表的な分光特性であるものとする。もちろんこれは一例であって、入力される分光特性をカタログの分光特性とするに限るものではなく、他の例としては、分光測定器を用いて実際に測定して得られた個々の撮像素子の分光特性としても良い。ここに、カタログの分光特性を用いる場合には、データを容易に入手することができる利点がある。一方、実際に測定して得られた分光特性を用いる場合には、測定を行わないとデータを入手することができない反面、撮像素子の個体差にも対応することができる利点がある。

外部Ｉ／Ｆ部１０４を介して入力された分光特性は、制御部１０３を介してバッファ１００へ転送され、保存される。

バッファ１００に保存された分光特性は、分光差異算出部１０１へ転送される。

分光差異算出部１０１は、バッファ１００を介して得られる２つの分光特性間の差異を算出して、算出した差異を処理判定部１０２へ転送する。

処理判定部１０２は、分光差異算出部１０１を介して得られた２つの分光特性間の差異に基づいて、適切な色変換手段を決定する。

上述したように、カラーフィルタの種類に応じて、または撮像素子の種類に応じて、分光特性が異なるために、出力される画像の色再現が撮像素子に応じて異なる。ここで、分光特性の差異とは、比較対象となる２つの撮像素子に関する、分光特性間の波長毎の値の差や、分光特性の分布が極大となるピーク点の波長方向のズレや、分光特性の波長方向への分布幅の相違、等を意味している。

そこで、この分光特性の差異を何らかの処理で吸収することにより（撮像素子に応じた最適な色変換処理を行うことにより）、複数の撮像素子間における差の小さい色再現（できるだけ同一に近い色再現）を実現することが、この信号処理装置の目的である。

そして、上述したように、目標となる分光特性と処理対象の分光特性との間に十分な線形性がない場合には、線形な色変換処理によって近似した色再現を得るのは困難になる。この線形性がどの程度損なわれているかは、両方の分光特性が規格化されているという前提の下で（例えば、それぞれの分光特性を波長λに関して積分して得られる値が同一であるという前提の下で）、一般的に差異の大きさとして現れると考えることができる。

従って、分光差異算出部１０１によって差異の大きさを算出し、算出された差異の大きさに基づいて、処理判定部１０２が、差異が小さい場合にはマトリクス変換等の線形な色変換処理を選択し、差異が大きい場合にはテーブル変換等の非線形な色変換処理を選択するようになっている。

このように、この信号処理装置は、色再現の目標となる撮像素子の分光特性と色変換処理の対象となる撮像素子の分光特性との間の差異の大きさに応じて、最適な色変換手段を決定するものとなっている。

次に、図５を参照して、分光差異算出部１０１の構成の一例について説明する。

この分光差異算出部１０１は、差分算出手段たる差分算出部２００と、最大抽出手段たる最大抽出部２０１と、を有して構成されている。バッファ１００は差分算出部２００へ接続されている。差分算出部２００は最大抽出部２０１へ接続されている。最大抽出部２０１は処理判定部１０２へ接続されている。制御部１０３は、差分算出部２００，最大抽出部２０１と双方向に接続されていて、これらを制御するようになっている。

差分算出部２００は、バッファ１００から色再現の目標となる撮像素子の分光特性と処理の対象となる撮像素子の分光特性とを読み込んで、これらの分光特性の差異を算出する。ここで、分光特性の差異は、様々な方法により算出することができるが、一例としては、次の数式１に示すように算出することが挙げられる。
［数１］

ここに、Ｓ１_R（λ），Ｓ１_G（λ），Ｓ１_B（λ）は目標のＲ信号，Ｇ信号，Ｂ信号の分光特性、Ｓ２_R（λ），Ｓ２_G（λ），Ｓ２_B（λ）は対象のＲ信号，Ｇ信号，Ｂ信号の分光特性をそれぞれ表している。また、ｄｉｆｆ_R，ｄｉｆｆ_G，ｄｉｆｆ_Bは、Ｒ信号，Ｇ信号，Ｂ信号に関する分光特性の差異の大きさを表している。また、λは波長を表し、Ｎは分光特性を波長方向にサンプリングしたときの総サンプリング数を表している。

上記数式１の和演算の波長λの範囲は、本実施形態においては例えば３８０ｎｍ〜７８０ｎｍであるとし、この範囲において例えば１０ｎｍ間隔でサンプリングされているものとする。この場合には、総サンプリング数Ｎは４１となる。

このように、数式１に示す例においては、３つの色信号毎に、つまりＲ信号，Ｇ信号，Ｂ信号毎に、目標の分光特性と対象の分光特性との間の波長毎の差の絶対値の平均を求めて、これらを分光特性の差異ｄｉｆｆ_R，ｄｉｆｆ_G，ｄｉｆｆ_Bとしている。

差分算出部２００により算出されたＲＧＢ各色信号に関する分光特性の差異ｄｉｆｆ_R，ｄｉｆｆ_G，ｄｉｆｆ_Bは、最大抽出部２０１へ転送される。最大抽出部２０１は、差分算出部２００から得られるｄｉｆｆ_R，ｄｉｆｆ_G，ｄｉｆｆ_Bに基づき、目標の分光特性と対象の分光特性との間の差異の大きさである分光差異値ｄｉｆｆを次の数式２に示すように算出する。
［数２］

ここに、ｍａｘ（ｘ，ｙ，ｚ）は、ｘとｙとｚとの内の最大値をとる演算を表している。従って、ここでは、分光特性の差異ｄｉｆｆ_R，ｄｉｆｆ_G，ｄｉｆｆ_Bの中の最大値が分光差異値ｄｉｆｆとして得られることになる。

最大抽出部２０１により算出された分光差異値ｄｉｆｆは、処理判定部１０２へ転送される。

次に、図６を参照して、処理判定部１０２の構成の一例について説明する。

この処理判定部１０２は、比較部３００と、変換手段決定部３０１と、を有して構成されている。分光差異算出部１０１は比較部３００へ接続されている。比較部３００は変換手段決定部３０１へ接続されている。制御部１０３は、比較部３００，変換手段決定部３０１と双方向に接続されていて、これらを制御するようになっている。

比較部３００は、分光差異算出部１０１から得られる分光差異値ｄｉｆｆと、色変換手段を判別するための指標となる判別基準値ｒｅｆｖａｌと、の比較を行い、例えば次の数式３に示すように、フラグ信号ｆｌａｇを設定する。
［数３］

従って、フラグ信号ｆｌａｇは、分光差異値ｄｉｆｆが判別基準値ｒｅｆｖａｌ以下であるか、または大きいかを示すものとなる。

なお、この判別基準値ｒｅｆｖａｌは、例えば以下に示すような方法により決定するようになっている。

まず、第１の分光特性Ｓ１_R（λ），Ｓ１_G（λ），Ｓ１_B（λ）の波長λ毎の値に、波長には依存しない係数α^kR _R，α^kG _G，α^kB _Bを各乗算して、分光特性Ｓ１’^kR _R（λ），Ｓ１’^kG _G（λ），Ｓ１’^kB _B（λ）を次の数式４に示すように算出する。
［数４］

ここに、係数α^kR _R，α^kG _G，α^kB _Bは、例えば１．０〜２．０の間の値であるとして、各係数をそれぞれ独立に０．１刻みで段階的に変化させるものとする。そして、各係数の段階的な変化を表す指標が、ｋＲ，ｋＧ，ｋＢであり、これらはそれぞれ１〜１１の値をとることになる。従って、この場合には、α^kR _R，α^kG _G，α^kB _Bの組合せはｋＲ×ｋＧ×ｋＢ＝１１×１１×１１＝１３３１通りあることになる。以後は、これらの指標ｋＲ，ｋＢ，ｋＧの組合せを識別番号ｋとして表すことにする。つまり、本実施形態においては、識別番号ｋはｋ＝１〜１３３１の数をとる。

次に、数式４により算出された分光特性Ｓ１’^kR _R（λ），Ｓ１’^kG _G（λ），Ｓ１’^kB _B（λ）と、元の分光特性Ｓ１_R（λ），Ｓ１_G（λ），Ｓ１_B（λ）と、の間の波長λ毎の差の絶対値の平均ｄｉｆｆ１^kR _R，ｄｉｆｆ１^kG _G，ｄｉｆｆ１^kB _Bを、次の数式５により算出する。
［数５］

続いて、数式５から得られたｄｉｆｆ１^kR _R，ｄｉｆｆ１^kG _G，ｄｉｆｆ１^kB _Bに基づいて、分光差異値ｄｉｆｆ１^kを次の数式６に示すように算出する。
［数６］

すなわち、分光差異値ｄｉｆｆ１^kは、ｄｉｆｆ１^kR _R，ｄｉｆｆ１^kG _G，ｄｉｆｆ１^kB _Bの中の最大となる値である。従って、この分光差異値ｄｉｆｆ１^kは、ｋの総数だけ、ここでは１３３１個得られることになる。

次に、例えばマクベスチャートなどの標準的な色票（この色票の分光反射率をＯ_i（λ）とする。なお、ｉは各色票の識別番号である。）と、分光放射率Ｌ（λ）の光源と、を想定する。ここで、上記色票の分光反射率Ｏ_i（λ）は分光測定器を用いて予め測定されているものとする。また、光源の分光放射率Ｌ（λ）は、設計する撮像装置により画像を撮影する環境条件を想定して、最適な光源の種類を選択するものとする。例えば、画像を昼光下で撮影することを想定する場合には、標準光Ｄ６５の分光放射率を使用することが考えられる。

続いて、上述した分光放射率Ｌ（λ）の光源により、上述した分光反射率Ｏ_i（λ）の色票を照明し、この色票を分光特性Ｓ１_R（λ），Ｓ１_G（λ），Ｓ１_B（λ）の撮像素子により撮像して得られるＲＧＢ１_i信号を数式７に示すように算出する。
［数７］

ここに、Ｒ１_i，Ｇ１_i，Ｂ１_iは、ＲＧＢ１_i信号のＲ信号，Ｇ信号，Ｂ信号の値である。そして、ここでは、ＲＧＢ１_i信号は色票ｉの数だけ得られることになる。

同様に、上述した分光放射率Ｌ（λ）の光源により、上述した分光反射率Ｏ_i（λ）の色票を照明し、この色票を分光特性Ｓ１’^kR _R（λ），Ｓ１’^kG _G（λ），Ｓ１’^kB _B（λ）の撮像素子により撮像して得られるＲＧＢ１’^k _i信号を数式８に示すように算出する。
［数８］

ここに、Ｒ１’^kR _i，Ｇ１’^kG _i，Ｂ１’^kB _iは、ＲＧＢ１’^k _i信号のＲ信号，Ｇ信号，Ｂ信号の値である。そして、ここでは、ＲＧＢ１’^k _i信号は、色票ｉの数と、ｋの総数である１３３１と、を乗算した数だけ得られることになる。

次に、各色票ｉ毎に、ＲＧＢ１_i信号の値とＲＧＢ１’^k _i信号の値とを、ペイントソフト等を用いて矩形領域の平面上にペイントして、パーソナルコンピュータ等のディスプレイの画面上に並べて表示する。ここに、図７は表示例を示したものである。この図７に示す例においては、ディスプレイ４００の画面４０１上に、ＲＧＢ１_i信号の値をペイントした矩形領域４０２と、ＲＧＢ１’^k _i信号の値をペイントした矩形領域４０３と、が比較し易いように左右に並べて表示されている。

そして、並べて表示した各色票ｉの主観的な比較評価を行う。この主観的な比較評価は、左右の矩形領域４０２，４０３における表示が、見た目に同一であると許容できるか否かにより行う。本実施形態においては、α^kR _R，α^kG _G，α^kB _Bの値を１．０〜２．０の範囲で０．１刻みで各独立に変化させた、総計ｋ＝１１×１１×１１＝１３３１通りの比較評価を、各色票ｉについて行うものとする。従って、総比較回数はＭ×１３３１回（ここに、Ｍは色票ｉの総数を表している）である。

そして、主観的な評価者が、見た目の誤差が許容できないと評価した場合には、そのときのｋに対応する分光差異値ｄｉｆｆ１^kをピックアップする。そして、全てのｉおよび全てのｋについて評価を行った結果、最終的にピックアップされた複数の分光差異値ｄｉｆｆ１^kの中で、最小となる分光差異値ｄｉｆｆ１^kを、色変換手段の判別基準値ｒｅｆｖａｌとする。なお、主観的な評価者による見た目の色の差は、個人の感覚によってかなりの幅でばらつくと考えられる。従って、多くの人にとって精度の高い色再現を得るためには、多くの評価者に比較してもらい、データを取得することが必要不可欠である。そしてこの場合には、評価者毎に決定された判別基準値ｒｅｆｖａｌを統計的に処理して判別基準値ｒｅｆｖａｌを決定することになる。具体的には、評価者毎の判別基準値ｒｅｆｖａｌの平均値を、真の判別基準値ｒｅｆｖａｌとするなどである。

なお、上述した例は、主観的な評価に基づいて判別基準値ｒｅｆｖａｌを決定するものであったが、判別基準値ｒｅｆｖａｌを決定する手段はこれに限定されるものではない。例えばＬ^*ａ^*ｂ^*表色系における色差の値に基づいて判別基準値ｒｅｆｖａｌを決定することも可能であり、以下に述べる。

まず、ある色票ｉについて数式７に示したように算出されるＲＧＢ１_i信号を、Ｌ^*ａ^*ｂ^*表色系のＬ^*ａ^*ｂ^*１_i信号に変換する。さらに、同一の色票ｉについて、ｋＲ，ｋＧ，ｋＢのある組み合わせｋに対して数式８に示したように算出されるＲＧＢ１’^k _i信号を、Ｌ^*ａ^*ｂ^*表色系のＬ^*ａ^*ｂ^*１’^k _i信号に変換する。

次に、各色票ｉ毎の、Ｌ^*ａ^*ｂ^*１_i信号とＬ^*ａ^*ｂ^*１’^k _i信号との間の色差ΔＥ^k _iを、数式９に示すように算出する。
［数９］

ここに、色差ΔＥ^k _iは、ｋＲ，ｋＧ，ｋＢのある組み合わせｋに関する各色票ｉの色差を表している。

続いて、全ての色票ｉについて数式９を用いて算出された色差ΔＥ^k _iを用いて、次の数式１０に示すように平均色差ＡｖｅΔＥ^kを算出する。
［数１０］

ここにＭは、上述したように、色票ｉの総数を表している。

このような算出を、α^kR _R，α^kG _G，α^kB _Bの値を１．０〜２．０の範囲で０．１刻みで変化させた、総計ｋ＝１１x１１x１１＝１３３１通りについて行う。

そして、平均色差ＡｖｅΔＥ^kをどの程度の値以下に抑制したいかの上限値を設定する。ここでは、例えば上限値を３に設定したとする。この平均色差ＡｖｅΔＥ^kを３以下に抑制したい場合には、ＡｖｅΔＥ^kが３以下となるときの分光差異値ｄｉｆｆ１^kを全てピックアップして、最終的にピックアップされた複数の分光差異値ｄｉｆｆ１^kの中で最大となる値を、色変換手段の判別基準値ｒｅｆｖａｌとして定義する。

このような技術を用いれば、主観的な評価に依存することなく、判別基準値ｒｅｆｖａｌを決定することが可能となる。

図６の説明に戻って、比較部３００により算出されたフラグ信号ｆｌａｇは、変換手段決定部３０１へ転送される。

変換手段決定部３０１は、比較部３００から転送されるフラグ信号ｆｌａｇに基づいて、例えば次の数式１１に示すように、色変換手段を決定する。
［数１１］

ここに、ｍｅｄｈｏｄは色変換手段を表し、ｍｅｔｈｏｄ１とｍｅｔｈｏｄ２とは、互いに異なる所定の色変換手段を表している。本実施形態においては、例えば、ｍｅｔｈｏｄ１を線形変換による色変換手段、ｍｅｔｈｏｄ２を非線形変換による色変換手段であるものとする。ここに、線形変換はマトリクス変換を含み、非線形変換は、非線形演算による変換や、テーブルによる変換を含んでいる。なお、線形変換と非線形変換との合成変換は非線形変換である。また、非線形変換を行うときには、非線形演算による変換は処理速度が速い処理系に適用すると良く、テーブルによる変換はメモリ容量が多い処理系に適用すると良い。こうして、ここでは、分光特性の差異が小さいときに線形変換が選択され、分光特性の差異が大きいときに非線形変換等が選択されることになる。

次に、図８〜図１０を参照して、色変換手段の幾つかの例について説明する。なお、色変換手段は、信号処理装置内に設けられていても良いが、信号処理装置とは別体であって、信号処理装置により決定された色変換手段に基づいて色変換を行うものであっても構わない。

まず、図８に示す線形変換部５００は、色変換手段と線形変換手段とを兼ねたものであって、対象の撮像素子から入力されたＲＧＢ_j信号（ここに、ｊは画像を構成する各画素の座標を表している。）に対して、数式１２に示すようなマトリクス変換を行うことにより、色変換処理を行うものである。
［数１２］

ここに、Ｒ_j，Ｇ_j，Ｂ_jは入力ＲＧＢ_j信号を表し、Ｒ’_j，Ｇ’_j，Ｂ’_jはマトリクス変換後のＲＧＢ’_j信号を表している。また、ａ１〜ａ９はマトリクス係数を表している。これらのマトリクス係数ａ１〜ａ９は、例えば、色再現の目標となる撮像素子から出力されるカラー信号と、対象の撮像素子から出力された上記カラー信号に数式１２の色変換処理を施した後のカラー信号と、の数値上の誤差が最小となるように、最小二乗法等を用いて算出される。

次に、図９に示す非線形変換部５１０は、色変換手段と非線形変換手段とを兼ねたものであって、対象の撮像素子から入力されたＲＧＢ_j信号に対して、例えば次の数式１３に示すような非線形演算による変換を行うことにより、色変換処理を行うものである。
［数１３］

ここに、ｂ〜ｇ，ｋ〜ｍは、非線形演算による変換に用いる所定の係数を表している。これらの係数ｂ〜ｇ，ｋ〜ｍは、上述したマトリクス係数ａ１〜ａ９を算出するときと同様に、色再現の目標となる撮像素子から出力されるカラー信号と、対象の撮像素子から出力された上記カラー信号に数式１３の色変換処理を施した後のカラー信号と、の数値上の誤差が最小となるように、最小二乗法等を用いて算出される。そして、この数式１３に示す非線形演算による色変換手段においては、例えば非線形な２次関数等に基づいて色変換処理を行うようになっている（ただし、２次関数に限るものでないことはもちろんである）。

続いて、図１０に示すテーブル変換部５２０は、色変換手段と非線形変換手段とを兼ねたものであって、対象の撮像素子から入力されたＲＧＢ_j信号に対応する出力ＲＧＢ’_j信号を所定のテーブルを参照して読み出すものである。従って、テーブル変換部５２０は、入力されるＲＧＢ_j信号と、出力されるＲＧＢ’_j信号と、の対応関係を予めテーブルデータとして記憶している。

なお、上述した数式１１等においては、色変換手段をｍｅｔｈｏｄ１とｍｅｔｈｏｄ２との２通りから選択するようにしているが、これに限定されるものではない。例えば、判別基準値ｒｅｆｖａｌを複数設けて（すなわち、判別基準値ｒｅｆｖａｌよりも大きい第２の判別基準値等を設けて）、３つ以上の数の色変換手段の中から何れかを選択するように構成することが考えられる。さらに、例えば、テーブル変換を用いる場合には、分光差異値の大きさに応じて、テーブル変換のテーブルサイズを変える（すなわち、分光差異値の大きさが判別基準値ｒｅｆｖａｌよりも大きい場合には、分光差異値の大きさを第２の判別基準値とさらに比較して、第２の判別基準値よりも大きい場合には第２の判別基準値以下である場合よりもテーブルサイズが大きいテーブルによる変換に色変換手段を決定する）ことも考えられる。ここに、例えばテーブルサイズを小さくした場合には、テーブルを直接参照するだけでは対応するものがない入力カラー信号の組合せが生じることがある。この場合には、記憶されているテーブル内のデータに公知の線形補間処理などを施して、補間後のカラー信号を色変換処理後のカラー信号とすれば良い。

なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、別途のソフトウェアである信号処理プログラムをコンピュータに実行させて処理することも可能である。

図１１を参照して、信号処理プログラムによる処理の流れについて説明する。

この処理を開始すると、まず、例えば予めテキストデータとして記述されている、色再現の目標となる撮像素子の分光特性データと、処理対象となる撮像素子の分光特性データと、を入力する（ステップＳ１）。

次に、数式１に示すような計算を行うことにより、各色信号に関する２つの分光特性間の波長毎の差の絶対値の平均を求め、さらに数式２に示すような計算を行うことにより、各色信号に関する平均の値の中で大きさが最大となるものを分光差異値として算出する（ステップＳ２）。

続いて、算出した分光差異値と、色変換手段を判定するための指標となる判別基準値と、を比較する（ステップＳ３）。

ここで、分光差異値が判別基準値以下である場合には、フラグ信号として「０」を出力する（ステップＳ４）。

また、ステップＳ３において、分光差異値が判別基準値よりも大きい場合には、フラグ信号として「１」を出力する（ステップＳ５）。

そして、ステップＳ４またはステップＳ５の処理が終了したら、これらのステップの何れかにおいて出力されたフラグ信号に応じて、色変換手段を決定し（ステップＳ６）、その後にこの処理を終了する。

なお、上述においては、信号処理装置や信号処理プログラムについて述べたが、本発明はこれらに限定されるものではなく、例えば、上述したような処理を行う信号処理方法であっても構わない。

このような実施形態１によれば、色再現の目標となる撮像素子の分光特性と、処理対象となる撮像素子の分光特性と、の間の差異の大きさに応じて色変換手段を決定するようにしたために、撮像素子に応じた高精度な色変換処理を行うことができる。また、撮像素子に応じて適切な色変換手段を決定するようにしたために、必要最小限の最適な規模でシステムを構築することが可能となり、低コスト化を図ることが可能となる。

［実施形態２］
図１２は本発明の実施形態２を示したものであり、分光差異算出部の構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

上述した実施形態１は、分光差異値を、２つの分光特性の波長毎の差の絶対値の平均により算出していた。これに対して本実施形態は、分光差異値の算出法を異ならせたものとなっている。

図１２に示す本実施形態の分光差異算出部１０１は、図５に示した分光差異算出部１０１の構成に対して、マトリクス算出手段たるマトリクス算出部２０２とマトリクス変換手段たるマトリクス変換部２０３とを追加した構成になっている。本実施形態の信号処理装置の構成は、その他の部分については上述した実施形態１と同様である。

図１２に示すように、バッファ１００はマトリクス算出部２０２へ接続されている。マトリクス算出部２０２はマトリクス変換部２０３へ接続されている。マトリクス変換部２０３は差分算出部２００へ接続されている。制御部１０３は、マトリクス算出部２０２，マトリクス変換部２０３とも双方向に接続されていて、これらを制御するようになっている。

マトリクス算出部２０２は、バッファ１００から色再現の目標となる撮像素子の分光特性と処理の対象となる撮像素子の分光特性とを読み込んで、次の数式１４の（Ｂ）に示す各値
［数１４］

をそれぞれ最小にする数式１４の（Ａ）の右辺のマトリクスの係数を、例えば最小二乗法を用いて算出する。ここに、ｐ１〜ｐ９はマトリクス係数を表している。

算出されたマトリクス係数ｐ１〜ｐ９は、マトリクス変換部２０３へ転送される。

マトリクス変換部２０３は、マトリクス算出部２０２から転送されたマトリクス係数ｐ１〜ｐ９を、次の数式１５に示すように、対象の分光特性Ｓ２_R（λ），Ｓ２_G（λ），Ｓ２_B（λ）に乗算する。
［数１５］

ここに、Ｓ２’_R（λ），Ｓ２’_G（λ），Ｓ２’_B（λ）は、マトリクス変換後の対象のＲ信号，Ｇ信号，Ｂ信号の分光特性をそれぞれ表している。

その後、目標の分光特性Ｓ１_R（λ），Ｓ１_G（λ），Ｓ１_B（λ）と、マトリクス変換後の対象の分光特性Ｓ２’_R（λ），Ｓ２’_G（λ），Ｓ２’_B（λ）とは、差分算出部２００へ転送される。

差分算出部２００は、マトリクス変換部２０３を介して得られた目標の分光特性Ｓ１_R（λ），Ｓ１_G（λ），Ｓ１_B（λ）と、マトリクス変換後の対象の分光特性Ｓ２’_R（λ），Ｓ２’_G（λ），Ｓ２’_B（λ）と、に基づいて、次の数式１６を用いてＲ信号，Ｇ信号，Ｂ信号のそれぞれに関する分光特性間の波長毎の差の絶対値の平均ｄｉｆｆ’_R，ｄｉｆｆ’_G，ｄｉｆｆ’_Bを算出する。
［数１６］

差分算出部２００により算出された各平均ｄｉｆｆ’_R，ｄｉｆｆ’_G，ｄｉｆｆ’_Bは、最大抽出部２０１へ転送される。

最大抽出部２０１は、差分算出部２００を介して得られる各色信号に関する上記平均ｄｉｆｆ’_R，ｄｉｆｆ’_G，ｄｉｆｆ’_Bに基づいて、次の数式１７を用いて分光差異値ｄｉｆｆ’を算出する。
［数１７］

算出された分光差異値ｄｉｆｆ’は、処理判定部１０２へ転送される。

以降の処理は、上述した実施形態１の図５等を参照して説明した処理と同様である。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、分光特性の差異の算出を、マトリクス変換後の第１の分光特性と第２の分光特性との間で行うようにしたために、第１の分光特性と第２の分光特性との間の関係が線形な関係にあるか否かをより正確に判定することが可能となり、その結果、線形な関係にあるか否かの条件に応じて、色変換手段の決定を適切に行うことが可能となる。

［実施形態３］
図１３から図１９は本発明の実施形態３を示したものであり、図１３は分光差異算出部の構成を示すブロック図、図１４はＲ信号に係る部分波長範囲毎の目標の分光特性と対象の分光特性との差異を説明するための線図、図１５はＧ信号に係る部分波長範囲毎の目標の分光特性と対象の分光特性との差異を説明するための線図、図１６はＢ信号に係る部分波長範囲毎の目標の分光特性と対象の分光特性との差異を説明するための線図、図１７はＣｒＣｂ面における部分波長範囲に対応する色領域を示す線図、図１８は色変換手段として線形変換部とテーブル変換部とを組み合わせたものを用いる例を示すブロック図、図１９は色変換手段として線形変換部と非線形変換部とを組み合わせたものを用いる例を示すブロック図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

上述した実施形態２は、分光差異値を、２つの分光特性間の波長毎の差の絶対値の平均により算出し、このときの和を全可視光域についてとっていたが、これに対して本実施形態は、可視光域を幾つかの部分波長範囲に分割して、各部分波長範囲毎に和をそれぞれとるようにしたものとなっている。

図１３に示す本実施形態の分光差異算出部１０１は、図１２に示した分光差異算出部１０１の構成に対して、差分算出部２００を省略し、分光分割手段たる分光分割部２０４と差分算出手段たる部分分光差異算出部２０５とを追加した構成になっている。本実施形態の信号処理装置の構成は、その他の部分については上述した実施形態２と同様である。

図１３に示すように、マトリクス変換部２０３は分光分割部２０４へ接続されている。分光分割部２０４は部分分光差異算出部２０５へ接続されている。部分分光差異算出部２０５は最大抽出部２０１へ接続されている。制御部１０３は、分光分割部２０４，部分分光差異算出部２０５とも双方向に接続されていて、これらを制御するようになっている。

次に、本実施形態の信号処理装置の作用の内の、上述した実施形態１，２と異なる部分について説明する。

本実施形態においては、外部Ｉ／Ｆ部１０４を介してこの信号処理装置に入力されるのは、色再現の目標となる撮像素子の分光特性と、処理の対象となる撮像素子の分光特性と、上記分光特性を複数の部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３に分割するための基準となる波長の値と、になっている。

外部Ｉ／Ｆ部１０４を介して入力された各分光特性および波長の値は、制御部１０３を介してバッファ１００へ転送され、保存される。

その後、バッファ１００に保存された各分光特性および波長の値は、分光差異算出部１０１へ転送される。

そして、まず、分光差異算出部１０１のマトリクス算出部２０２およびマトリクス変換部２０３により、上述した実施形態２と同様の処理が行われる。

次に、分光分割部２０４は、制御部１０３を介して得られる上記基準となる波長の値に基づいて、３８０ｎｍ〜７８０ｎｍの範囲の分光特性を、図１４〜図１６に示すように、複数の部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３に分割する。上記基準となる波長の値が、例えば、ナノメータ単位で表される波長の数値５００，６２０として入力された場合、つまり、５００ｎｍおよび６２０ｎｍを表すものである場合には、分割される３つの部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３は、それぞれ３８０ｎｍ〜５００ｎｍ，５００ｎｍ〜６２０ｎｍ，６２０ｎｍ〜７８０ｎｍとなる。

部分分光差異算出部２０５は、各部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３毎に独立に、各色信号に関する分光特性間の波長毎の差の絶対値の平均を算出する。

すなわち、部分分光差異算出部２０５は、部分波長範囲ＣＲ１における各Ｒ信号，Ｇ信号，Ｂ信号に関する分光特性間の波長毎の差の絶対値の平均ｄｉｆｆ１’_R，ｄｉｆｆ１’_G，ｄｉｆｆ１’_Bを次の数式１８に示すようにそれぞれ算出する。
［数１８］

ここに、数式１８におけるＮ₁は、分光特性の部分波長範囲ＣＲ１における波長方向へのサンプリング総数を表している。また、Σ記号の下に付した記号「λ∈ＣＲ１」は、部分波長範囲ＣＲ１内の波長λについて和をとることを意味している。

さらに、部分分光差異算出部２０５は、部分波長範囲ＣＲ２における各Ｒ信号，Ｇ信号，Ｂ信号に関する分光特性間の波長毎の差の絶対値の平均ｄｉｆｆ２’_R，ｄｉｆｆ２’_G，ｄｉｆｆ２’_Bを次の数式１９に示すようにそれぞれ算出する。
［数１９］

ここに、数式１９におけるＮ₂は、分光特性の部分波長範囲ＣＲ２における波長方向へのサンプリング総数を表している。また、Σ記号の下に付した記号「λ∈ＣＲ２」は、部分波長範囲ＣＲ２内の波長λについて和をとることを意味している。

そして、部分分光差異算出部２０５は、部分波長範囲ＣＲ３における各Ｒ信号，Ｇ信号，Ｂ信号に関する分光特性間の波長毎の差の絶対値の平均ｄｉｆｆ３’_R，ｄｉｆｆ３’_G，ｄｉｆｆ３’_Bを次の数式２０に示すようにそれぞれ算出する。
［数２０］

ここに、数式２０におけるＮ₃は、分光特性の部分波長範囲ＣＲ３における波長方向へのサンプリング総数を表している。また、Σ記号の下に付した記号「λ∈ＣＲ３」は、部分波長範囲ＣＲ３内の波長λについて和をとることを意味している。

こうして、各色信号に関して各部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３毎に算出された平均ｄｉｆｆ１’_R，ｄｉｆｆ１’_G，ｄｉｆｆ１’_B，ｄｉｆｆ２’_R，ｄｉｆｆ２’_G，ｄｉｆｆ２’_B，ｄｉｆｆ３’_R，ｄｉｆｆ３’_G，ｄｉｆｆ３’_Bは、最大抽出部２０１へ転送される。

最大抽出部２０１は、次の数式２１に示すように、部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３毎の分光差異値ｄｉｆｆ１’，ｄｉｆｆ２’，ｄｉｆｆ３’をそれぞれ算出する。
［数２１］

最大抽出部２０１により算出された分光差異値ｄｉｆｆ１’，ｄｉｆｆ２’，ｄｉｆｆ３’は、処理判定部１０２へ転送される。

処理判定部１０２中の比較部３００は、上記最大抽出部２０１から得られたｄｉｆｆ１’，ｄｉｆｆ２’，ｄｉｆｆ３’に基づいて、次の数式２２に示すように、各部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３におけるフラグ信号ｆｌａｇ１，ｆｌａｇ２，ｆｌａｇ３をそれぞれ算出する。
［数２２］

比較部３００により算出されたフラグ信号ｆｌａｇ１，ｆｌａｇ２，ｆｌａｇ３は、変換手段決定部３０１へ転送される。

変換手段決定部３０１は、ｆｌａｇ１，ｆｌａｇ２，ｆｌａｇ３の組合せに応じて色変換手段を決定するようになっている。例えば、変換手段決定部３０１は、ｆｌａｇ１，ｆｌａｇ２，ｆｌａｇ３が全て０である場合には、カラー信号全体に対して線形変換のみを適用するように色変換手段を決定する。一方、変換手段決定部３０１は、ｆｌａｇ１，ｆｌａｇ２，ｆｌａｇ３の内の少なくとも１つが０である場合には、カラー信号全体に対してまず線形変換を適用し、次に、線形変換後のカラー信号の内の、フラグ信号が１となる部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３に対応する色（フラグ信号が１となる部分波長範囲におけるＲ信号，Ｇ信号，Ｂ信号を合成して得られる色）が属する色領域内のカラー信号に、非線形演算による変換とテーブル変換との何れか一方を適用するように、色変換手段を決定する。

ここに、図１７は、図１４〜図１６に示した部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３に各対応する、色空間内における色領域ＣＲ１，ＣＲ２，ＣＲ３を概念的に示したものである。本実施形態においては、部分波長範囲ＣＲ１，ＣＲ２，ＣＲ３に各対応する色領域ＣＲ１，ＣＲ２，ＣＲ３を、ＹＣｂＣｒ色空間のＣｂ軸，Ｃｒ軸のなす平面上において定義する。なお、図１７において、分割軸ＤＡ１２は色領域ＣＲ１と色領域ＣＲ２との境界を示し、分割軸ＤＡ２３は色領域ＣＲ２と色領域ＣＲ３との境界を示し、分割軸ＤＡ３１は色領域ＣＲ３と色領域ＣＲ１との境界を示している。

そして、例えば、図１４〜図１６に示す部分波長範囲ＣＲ１に関するフラグ信号ｆｌａｇ１が１となったものとする。この場合には、カラー信号全体に対してまず線形変換が適用され、次に、線形変換後のカラー信号の内の図１７に示す色領域ＣＲ１に属するカラー信号に対して非線形演算による変換とテーブル変換との何れかが適用される。

ここで、図１８および図１９を参照して、色変換手段について説明する。

まず、図１８は、線形変換部とテーブル変換部とを組み合わせた色変換手段の構成例を示している。

図１８に示す色変換手段は、色変換手段であり線形変換手段たる線形変換部６００と、色領域判定手段たる色領域判定部６０１と、色変換手段であり非線形変換手段たるテーブル変換部６０２と、を有して構成されている。

このような構成において、ＲＧＢ_j信号が線形変換部６００に入力されると、数式１２に示したようなマトリクス変換が線形変換として行われ、マトリクス変換後のＲＧＢ’_j信号が生成される。このＲＧＢ’_j信号は、色領域判定部６０１へ転送される。

色領域判定部６０１は、入力されたマトリクス変換後のＲＧＢ’_j信号がフラグ信号が１となる所定の色領域に属しているか否かを判定して、属していないと判定した場合には、そのＲＧＢ’_j信号をテーブル変換部６０２を介することなくそのまま出力する。また、色領域判定部６０１は、入力されたＲＧＢ’_j信号がフラグ信号が１となる所定の色領域に属していると判定した場合には、そのＲＧＢ’_j信号をテーブル変換部６０２へ転送する。

テーブル変換部６０２は、所定のテーブルを参照することにより、入力されたＲＧＢ’_j信号に対応するＲＧＢ”_j信号を出力する。

次に、図１９は、線形変換部と非線形変換部とを組み合わせた色変換手段の構成例を示している。

図１９に示す色変換手段は、線形変換部６００と、色空間変換手段たる色空間変換部６０３と、色領域判定部６０１と、色変換手段であり非線形変換手段たる非線形変換部６０４と、を有して構成されている。

このような構成において、ＲＧＢ_j信号が線形変換部６００に入力されると、数式１２に示したようなマトリクス変換が線形変換として行われ、マトリクス変換後のＲＧＢ’_j信号が生成される。このＲＧＢ’_j信号は、色空間変換部６０３へ転送される。

色空間変換部６０３は、入力されたマトリクス変換後のＲＧＢ’_j信号に対して色空間変換処理、本実施形態においては例えばＲＧＢ’_j信号をＹＣｂＣｒ色空間の信号に変換する処理を行い、輝度色差信号ＹＣｂＣｒ’_j信号を生成する。このＹＣｂＣｒ’_j信号は、色領域判定部６０１へ転送される。

色領域判定部６０１は、入力されたＹＣｂＣｒ’_j信号がフラグ信号が１となる所定の色領域に属しているか否かを判定して、属していないと判定した場合には、そのＹＣｂＣｒ’_j信号を非線形変換部６０４を介することなくそのまま出力する。

また、色領域判定部６０１は、入力されたＹＣｂＣｒ’_j信号がフラグ信号が１となる所定の色領域に属していると判定した場合には、そのＹＣｂＣｒ’_j信号を非線形変換部６０４へ転送する。

非線形変換部６０４は、入力されたＹＣｂＣｒ’_j信号に対して、例えば次の数式２３に示すような２次関数により色変換演算の処理を行って、ＹＣｂＣｒ”_j信号を生成する。
［数２３］

ここに、Ｙ’_j，Ｃｂ’_j，Ｃｒ’_jは非線形変換部６０４への入力ＹＣｂＣｒ’_j信号を表し、Ｙ”_j，Ｃｂ”_j，Ｃｒ”_jは非線形演算処理後のＹＣｂＣｒ”_j信号を表している。また、ｑ〜ｙは、非線形演算に用いる所定の係数を表している。これらの係数ｑ〜ｙは、上述した数式１３における係数ｂ〜ｇ，ｋ〜ｍと同様に、色再現の目標となる撮像素子から出力されるカラー信号と、対象の撮像素子から出力された上記カラー信号に上述した数式２３の色変換処理を施した後のカラー信号と、の数値上の誤差が最小となるように、最小二乗法等を用いて算出される。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、色再現の目標となる撮像素子の分光特性と、対象の撮像素子の分光特性と、をそれぞれ複数の部分波長範囲に分割して、部分波長範囲毎に分光特性同士の間の差異を算出するようにし、この差異に基づいて部分波長範囲毎に適切な色変換手段を決定するようにしたために、色に応じた適切な色変換を行うことが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、対象の撮像素子からのカラー信号を目標の撮像素子のカラー信号に近似させるための色変換手段を決定する信号処理装置、信号処理プログラムに好適に利用することができる。

本発明の実施形態１における信号処理装置の構成を示すブロック図。 上記実施形態１において、Ｒ信号に係る目標の分光特性と対象の分光特性との差異を説明するための線図。 上記実施形態１において、Ｇ信号に係る目標の分光特性と対象の分光特性との差異を説明するための線図。 上記実施形態１において、Ｂ信号に係る目標の分光特性と対象の分光特性との差異を説明するための線図。 上記実施形態１における分光差異算出部の構成を示すブロック図。 上記実施形態１における処理判定部の構成を示すブロック図。 上記実施形態１において、判別基準値を主観的に決定する際に比較評価対象の信号をディスプレイにペイントする様子を示す図。 上記実施形態１において、色変換手段として線形変換部を用いる例を示すブロック図。 上記実施形態１において、色変換手段として非線形変換部を用いる例を示すブロック図。 上記実施形態１において、色変換手段としてテーブル変換部を用いる例を示すブロック図。 上記実施形態１における信号処理装置の作用を示すフローチャート。 本発明の実施形態２における分光差異算出部の構成を示すブロック図。 本発明の実施形態３における分光差異算出部の構成を示すブロック図。 上記実施形態３において、Ｒ信号に係る部分波長範囲毎の目標の分光特性と対象の分光特性との差異を説明するための線図。 上記実施形態３において、Ｇ信号に係る部分波長範囲毎の目標の分光特性と対象の分光特性との差異を説明するための線図。 上記実施形態３において、Ｂ信号に係る部分波長範囲毎の目標の分光特性と対象の分光特性との差異を説明するための線図。 上記実施形態３において、ＣｒＣｂ面における部分波長範囲に対応する色領域を示す線図。 上記実施形態３において、色変換手段として線形変換部とテーブル変換部とを組み合わせたものを用いる例を示すブロック図。 上記実施形態３において、色変換手段として線形変換部と非線形変換部とを組み合わせたものを用いる例を示すブロック図。

符号の説明

１００…バッファ
１０１…分光差異算出部（差異算出手段）
１０２…処理判定部（処理判定手段）
１０３…制御部
１０４…外部Ｉ／Ｆ部
２００…差分算出部（差分算出手段）
２０１…最大抽出部（最大抽出手段）
２０２…マトリクス算出部（マトリクス算出手段）
２０３…マトリクス変換部（マトリクス変換手段）
２０４…分光分割部（分光分割手段）
２０５…部分分光差異算出部（差分算出手段）
３００…比較部
３０１…変換手段決定部
４００…ディスプレイ
４０１…画面
４０２，４０３…矩形領域
５００…線形変換部（色変換手段、線形変換手段）
５１０…非線形変換部（色変換手段、非線形変換手段）
５２０…テーブル変換部（色変換手段、非線形変換手段）
６００…線形変換部（色変換手段、線形変換手段）
６０１…色領域判定部（色領域判定手段）
６０２…テーブル変換部（色変換手段、非線形変換手段）
６０３…色空間変換部（色空間変換手段）
６０４…非線形変換部（色変換手段、非線形変換手段）

Claims (13)

1. 対象となる第２の撮像素子により撮像して得られた第２のカラー信号を、目標となる第１の撮像素子により撮像して得られるカラー信号に近似する第１のカラー信号へ色変換する色変換手段を決定するための信号処理装置であって、
   上記第１の撮像素子の分光特性と、上記第２の撮像素子の分光特性と、の差異を示す分光差異値を算出する差異算出手段と、
   上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し、該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定する処理判定手段と、
   を具備したことを特徴とする信号処理装置。
2. 上記第１のカラー信号と上記第２のカラー信号とは、複数の色信号により構成されるものであって、
   上記差異算出手段は、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との差異を上記複数の色信号に各係る分光特性毎に算出し、これら複数の差異に基づき上記分光差異値を算出するものであることを特徴とする請求項１に記載の信号処理装置。
3. 上記差異算出手段は、
   上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出する差分算出手段と、
   上記差分算出手段により算出された複数の平均の中から最大値を抽出し、抽出した最大値を上記分光差異値とする最大抽出手段と、
   を含んで構成されたものであることを特徴とする請求項２に記載の信号処理装置。
4. 上記差異算出手段は、
   上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とに基づいて、上記複数の色信号毎の差異を最小化するようなマトリクスを算出するマトリクス算出手段と、
   上記マトリクス算出手段により算出されたマトリクスに基づき、上記第２の撮像素子の分光特性を変換するマトリクス変換手段と、
   をさらに含んで構成されたものであり、
   上記差分算出手段は、上記複数の色信号の内の一の色信号に対応する、上記第１の撮像素子の分光特性と、上記マトリクス変換手段から得られた変換後の上記第２の撮像素子の分光特性と、の波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出するものであることを特徴とする請求項３に記載の信号処理装置。
5. 上記差異算出手段は、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とを複数の部分波長範囲に分割する分光分割手段をさらに含んで構成されたものであり、
   上記差分算出手段は、上記各部分波長範囲について、上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出するものであり、
   上記最大抽出手段は、上記各部分波長範囲について、上記差分算出手段により算出された複数の平均の中から最大値を抽出し、抽出した最大値を上記分光差異値とするものであり、
   上記処理判定手段は、上記各部分波長範囲について、上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し、該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定するものであることを特徴とする請求項３に記載の信号処理装置。
6. 上記色変換手段をさらに具備し、
   該色変換手段は、
   上記第２のカラー信号を所定の色空間の信号に変換する色空間変換手段と、
   上記色空間の信号が、上記処理判定手段により線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属するか、上記処理判定手段により非線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属するか、を判定する色領域判定手段と、
   上記色領域判定手段により上記線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属すると判定される信号に線形変換を行う線形変換手段と、
   上記色領域判定手段により上記非線形変換が決定された部分波長範囲に対応する上記色空間の色領域に属すると判定された信号に非線形変換を行う非線形変換手段と、
   を含んで構成されたものであることを特徴とする請求項５に記載の信号処理装置。
7. 上記線形変換は、マトリクス演算による変換を含み、
   上記非線形変換は、非線形演算による変換と、テーブルによる変換と、マトリクス演算による変換と非線形演算による変換との組み合わせと、マトリクス演算による変換とテーブルによる変換との組み合わせと、の内の少なくとも一つを含むものであることを特徴とする請求項１に記載の信号処理装置。
8. 上記非線形変換は、テーブルサイズが異なる複数のテーブルによる変換を含み、
   上記処理判定手段は、上記分光差異値の大きさが上記判別基準値よりも大きい場合には、該分光差異値の大きさを該判別基準値よりも大きい第２の判別基準値とさらに比較して、該第２の判別基準値よりも大きい場合には該第２の判別基準値以下である場合よりもテーブルサイズが大きいテーブルによる変換に色変換手段を決定するものであることを特徴とする請求項１に記載の信号処理装置。
9. コンピュータに、対象となる第２の撮像素子により撮像して得られた第２のカラー信号を、目標となる第１の撮像素子により撮像して得られるカラー信号に近似する第１のカラー信号へ色変換する色変換手段を決定させるための信号処理プログラムであって、
   コンピュータに、
   上記第１の撮像素子の分光特性と、上記第２の撮像素子の分光特性と、の差異を示す分光差異値を算出する差異算出ステップと、
   上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し、該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定する処理判定ステップと、
   を実行させるための信号処理プログラム。
10. 上記第１のカラー信号と上記第２のカラー信号とは、複数の色信号により構成されるものであって、
    上記差異算出ステップは、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との差異を上記複数の色信号に各係る分光特性毎に算出し、これら複数の差異に基づき上記分光差異値を算出するステップであることを特徴とする請求項９に記載の信号処理プログラム。
11. 上記差異算出ステップは、
    上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出する差分算出ステップと、
    上記差分算出ステップにより算出された複数の平均の中から最大値を抽出し、抽出した最大値を上記分光差異値とする最大抽出ステップと、
    を含むステップであることを特徴とする請求項１０に記載の信号処理プログラム。
12. 上記差異算出ステップは、
    上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とに基づいて、上記複数の色信号毎の差異を最小化するようなマトリクスを算出するマトリクス算出ステップと、
    上記マトリクス算出ステップにより算出されたマトリクスに基づき、上記第２の撮像素子の分光特性を変換するマトリクス変換ステップと、
    をさらに含むステップであり、
    上記差分算出ステップは、上記複数の色信号の内の一の色信号に対応する、上記第１の撮像素子の分光特性と、上記マトリクス変換ステップから得られた変換後の上記第２の撮像素子の分光特性と、の波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出するステップであることを特徴とする請求項１１に記載の信号処理プログラム。
13. 上記差異算出ステップは、上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性とを複数の部分波長範囲に分割する分光分割ステップをさらに含むステップであり、
    上記差分算出ステップは、上記各部分波長範囲について、上記複数の色信号の内の一の色信号に対応する上記第１の撮像素子の分光特性と上記第２の撮像素子の分光特性との波長毎の差の絶対値の平均を、上記複数の色信号のそれぞれに対応して算出するステップであり、
    上記最大抽出ステップは、上記各部分波長範囲について、上記差分算出ステップにより算出された複数の平均の中から最大値を抽出し、抽出した最大値を上記分光差異値とするステップであり、
    上記処理判定ステップは、上記各部分波長範囲について、上記分光差異値の大きさが判別基準値以下である場合には上記色変換手段として線形変換を決定し、該分光差異値の大きさが上記判別基準値よりも大きい場合には上記色変換手段として非線形変換を決定するステップであることを特徴とする請求項１１に記載の信号処理プログラム。

Images