JP2004208079A

JP2004208079A - 撮像装置及び方法

Info

Publication number: JP2004208079A
Application number: JP2002375423A
Authority: JP
Inventors: Takami Mizukura; 貴美水倉; Naoya Kato; 直哉加藤; Takeshi Nakajima; 健中島; Hiroyoshi Nagahama; 裕喜永濱
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-12-25
Filing date: 2002-12-25
Publication date: 2004-07-22
Anticipated expiration: 2022-12-25
Also published as: WO2004059987A1; US7489346B2; JP3861808B2; EP1578139A4; TW200424569A; TWI225940B; CN1732694B; US20060082665A1; EP1578139A1; KR20050088335A; CN1732694A

Abstract

【課題】撮像条件に応じて適応的にリニアマトリクス係数を決定し、リニアマトリクス処理を行なう。
【解決手段】分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有する撮像装置において、色再現値とノイズ感を表すノイズ値を調整する調整部と、調整部の調整に基づきマトリクス係数を決定するマトリクス係数決定部と、マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理部とを備える。
【選択図】図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を撮像する撮像装置及び方法に関し、特に撮像感度に対して好適に撮像を行なう撮像装置及び方法に関する。
【０００２】
【従来の技術】
近年、コンシューマ向けの画像撮像装置（ディジタルカメラ、カラースキャナ等）および画像処理ソフトウェアが普及しており、当該画像撮像装置により被写体を撮像して生成した画像を画像処理ソフトウェアにより自ら編集するユーザが増加している。また、画像撮像装置により撮像された画像の画質に対する要求も高くなってきており、画像撮像装置を購入する際の主要な条件として、画質がよいことを挙げるユーザの割合が増えてきている。ここで、画像撮像装置の一般的な構成について以下に述べる。
【０００３】
画像撮像装置は、例えば、図１に示すようなＲＧＢの３原色のカラーフィルタ１が用いられている。この例では、図１の一点鎖線で示すように、緑色（Ｇ）の光のみを透過するＧフィルタが２個、赤（Ｒ）の光のみを透過するＲフィルタが１個、および青（Ｂ）の光のみを透過するＢフィルタが１個の、合計４個を最小単位として、いわゆるベイヤー配列（Bayer配列）により、カラーフィルタ１が構成される。
【０００４】
図２は、ＲＧＢカラーフィルタ１を有するＣＣＤ(Charge Coupled Device)撮像素子により取得されたＲＧＢ信号に対して各種の処理を施す信号処理部１１の構成例を示すブロック図である。
【０００５】
オフセット補正処理部２１は、ＣＣＤ撮像素子により取得された信号に所定の処理を施すフロントエンド１３から供給されてきた画像信号に含まれるオフセット成分を除去し、得られた画像信号をホワイトバランス補正処理部２２に出力する。ホワイトバランス補正処理部２２は、オフセット補正処理部２１から供給されてきた画像信号の色温度、およびカラーフィルタ１の各フィルタの感度の違いに基づいて、各色のバランスを補正する。ホワイトバランス補正処理部２２により補正が施され、取得された色信号はガンマ補正処理部２３に出力される。ガンマ補正処理部２３は、ホワイトバランス補正処理部２２から供給されてきた信号に対してガンマ補正を行い、取得した信号を垂直方向同時化処理部２４に出力する。垂直方向同時化処理部２４にはディレイ素子が設けられており、ガンマ補正処理部２３から供給されてきた信号の垂直方向の時間のずれが同時化される。
【０００６】
ＲＧＢ信号生成処理部２５は、垂直方向同時化処理部２４から供給されてきた色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等を行い、得られたＲＧＢ信号を、輝度信号生成処理部２６、および色差信号生成処理部２７に出力する。
【０００７】
輝度信号生成処理部２６は、ＲＧＢ信号生成処理部２５から供給されてきたＲＧＢ信号を所定の合成比で合成し、輝度信号（Ｙ）を生成する。色差信号生成処理部２７も同様に、ＲＧＢ信号生成処理部２５から供給されてきたＲＧＢ信号を所定の合成比で合成し、色差信号（Ｃｂ，Ｃｒ）を生成する。輝度信号生成処理部２６により生成された輝度信号（Ｙ）、および色差信号生成処理部２７により生成された色差信号（Ｃｂ，Ｃｒ）は、例えば、信号処理部１１の外部に設けられているモニタに出力される。
【０００８】
このように、元信号に対してガンマ処理を施してから線形変換によって画像処理（リニアマトリクス処理）を行うことが一般的に行われている。
【０００９】
上述したような画像撮像装置は、被写体を撮像し画像を生成したとき、観察時の視環境によって見え方が異なるために、所望の色で再現されない場合がある。これは、撮像時の光源（以下、撮像光源という。）と観察時の光源（以下、観察光源という。）の演色性が大きく異なる場合に生じる現象である。そこで、撮像光源と演色性の異なる観察光源で画像が再現される場合でも、良好に色再現する方法が提案されている（例えば、特許文献１参照。）。
【００１０】
また、図３に分光感度の特性を示す。図３の曲線Ｌ１は、Ｒの分光感度を示し、曲線Ｌ２は、Ｇの分光感度を示し、曲線Ｌ３は、Ｂの分光感度を示している。
【００１１】
【特許文献１】
特開２００２−１４２２３１号公報
【００１２】
【発明が解決しようとする課題】
一方、上述したような画像撮像装置に、リニアマトリクス処理の追加、更に撮像素子のカラーフィルタの追加を行うことにより、色再現性を劇的に向上させることができる。その際、使用するリニアマトリクスの係数を単に色差が最小になるように決定すると、ノイズを従来よりも増長させてしまうことがある。
【００１３】
本発明は、上述したような実情に鑑みて提案されたものであり、撮像する環境や条件等に応じて色再現性とノイズ低減性を考慮した係数を用いたリニアマトリクス処理を行なうことが可能な撮像装置及び撮像方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る撮像装置は、上述の課題を解決するために、分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有する撮像装置において、色再現値とノイズ感を表すノイズ値を調整する調整手段と、上記調整手段の調整に基づきマトリクス係数を決定するマトリクス係数決定手段と、上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理手段とを備える。
【００１５】
本発明に係る撮像方法は、上述の課題を解決するために、分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有する撮像装置により被写体を撮像する撮像方法において、色再現値とノイズ感を表すノイズ値を調整する第１のステップと、上記第１のステップの調整に基づきマトリクス係数を決定する第２のステップと、上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換処理を行なう第３のステップとを有する。
【００１６】
【発明の実施の形態】
図５は、本発明を適用した撮像装置の構成例を示すブロック図である。
【００１７】
図５に示す撮像装置は、CCD(Charge Coupled Device)等よりなる画像センサ４５の前面（レンズ４２に対向する面）に、４種類の色（光）を識別するカラーフィルタが設けられている。なお、撮像装置では、図５の画像センサ４５に設けられるカラーフィルタを図６に示す４色カラーフィルタ６１とする。
【００１８】
４色カラーフィルタ６１は、図６の一点鎖線で示すように、赤の光のみを透過するＲフィルタ、青の光のみを透過するＢフィルタ、第１の波長帯域の緑色の光のみを透過するＧ１フィルタ、およびＧ１フィルタと相関が高い、第２の波長帯域の緑色の光のみを透過するＧ２フィルタの、合計４個のフィルタを最小単位として構成される。また、Ｇ１フィルタとＧ２フィルタは、その最小単位内において、互いに対角する位置に配置されている。
【００１９】
後に詳述するように、画像センサ４５により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（RGB）のみが取得される場合と較べて、より正確に色を表現することができ、眼で違うものに見える色は違う色に、同じものに見える色は同じ色に、それぞれ再現すること（「色の判別性」）を向上させることができる。
【００２０】
なお、図７に示される視感度曲線から分かるように、人間の眼は輝度に敏感である。従って、図６に示す４色カラーフィルタ６１においては、より正確な輝度情報を取得することにより、輝度の階調を上げることができ、かつ、眼の見え方に近い画像を再現することができるように、視感度曲線に近い分光感度特性を有するＧ２のカラーフィルタが追加されている（図１のＲ，Ｇ，Ｂに対応するＲ，Ｇ１，Ｂのフィルタに対して、新たに決定された緑Ｇ２フィルタが追加されている）。
【００２１】
また、４色カラーフィルタ６１を決定する際に使用されるフィルタ評価係数として、例えば、「色再現性」と「ノイズ低減性」の両方を考慮した係数であるUMG(Unified Measure of Goodness)が用いられている。
【００２２】
UMGを用いた評価においては、評価対象のフィルタが単にルータ条件を満たしているだけでは、その評価値は高くならず、それぞれのフィルタの分光感度分布の重なりも考慮される。従って、ｑファクタ、μファクタ、またはFOM(Figure of Merit)を利用して評価されたカラーフィルタの場合と比較して、ノイズをより低減させることができる。すなわち、UMGを用いた評価により、それぞれのフィルタの分光感度特性が、ある程度の重なりを有するが、図４のＲの特性とＧの特性のようにほぼ全てが重なるものではないフィルタが選択されるため、色の分離のため、それぞれの色信号を増幅する場合であっても、増幅率をそれ程大きくする必要がなく、それに伴ってノイズ成分が増幅されることが抑制される。
【００２３】
図８は、各フィルタ評価係数の特徴を示す図である。なお、図８は、各評価係数に対して、一度に評価できるフィルタの数、物体の分光反射率が考慮されているか否か、およびノイズの低減が考慮されているか否かに関する事項を示すものである。
【００２４】
図８に示すように、ｑファクタ（q-factor）は、一度に評価できるフィルタの数が「１個」のみであり、物体の分光反射率と、ノイズの低減が考慮されていない。また、μファクタ（μ-factor）は、一度に複数のフィルタを評価することができるものの、物体の分光反射率とノイズの低減は考慮されていない。さらに、FOMは、一度に複数のフィルタを評価することができ、物体の分光反射率が考慮されているものの、ノイズの低減が考慮されていない。
【００２５】
これに対して、４色カラーフィルタ６１を決定する際に使用されるUMGは、一度に複数のフィルタを評価することができ、物体の分光反射率が考慮され、かつ、ノイズの低減も考慮されている。
【００２６】
なお、ｑファクタについては「H.E.J.Neugebauer "Quality Factor for Filters Whose Spectral Transmittances are Different from Color Mixture Curves, and Its Application to Color Photography" JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46, NUMBER 10」にその詳細が開示されており、μファクタについては「P.L.Vora and H.J.Trussell, "Measure of Goodness of a setof color-scanning filters", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 10, NUMBER 7」にその詳細が開示されている。また、FOMについては「G.Sharma and H.J.Trussell, "Figures of Merit for Color Scanners", IEEE TRANSACTION ON IMAGE PROCESSING, VOLUME 6」にその詳細が開示されており、UMGについては「S.Quan, N.Ohta, and N.Katoh, "Optimal Design of Camera Spectral Sensitivity Functions Based on Practical Filter Components", CIC, 2001」にその詳細が開示されている。
【００２７】
図５の説明に戻る。マイクロコンピュータ４１は、所定の制御プログラムに従って全体の動作を制御する。例えば、マイクロコンピュータ４１は、絞り４３による露光制御、シャッター４４の開閉制御、TG(Timing Generator)４６の電子シャッターの制御、フロントエンド４７でのゲインコントロール、カメラシステムLSI(Large Scale Integrated Circuit)４８のモード制御、パラメータ制御等を行う。
【００２８】
絞り４３は、レンズ４２により集光された光の通過（絞り）を調整し、画像センサ４５により取り込まれる光量を制御する。シャッター４４は、マイクロコンピュータ４１の指示に基づいて、レンズ４２により集光された光の通過を制御する。
【００２９】
画像センサ４５は、さらに、CCDやCMOS(Complementary Metal Oxide Semiconductor)により構成される撮像素子を有し、その撮像素子の前面に形成する４色カラーフィルタ６１を介して入射された光を電気信号に変換し、４種類の色信号（Ｒ信号，Ｇ１信号，Ｇ２信号，Ｂ信号）をフロントエンド４７に出力する。画像センサ４５には、図６の４色カラーフィルタ６１が設けられ、レンズ４２を介して入射された光から、Ｒ，Ｇ１，Ｇ２，Ｂのそれぞれの帯域の波長の成分が抽出される。なお、その詳細については、図１５を参照して後述する。
【００３０】
フロントエンド４７は、画像センサ４５から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびディジタル変換処理等を施す。フロントエンド４７により各種の処理が施され、得られた画像データは、カメラシステムLSI４８に出力される。
【００３１】
カメラシステムLSI４８は、後に詳述するように、フロントエンド４７から供給されてきた画像データに対して各種の処理を行い、例えば、輝度信号および色信号を生成して画像モニタ５０に出力し、信号に対応する画像を表示させる。
【００３２】
画像メモリ４９は、例えば、DRAM(Dynamic Random Access Memory)やSDRAM(Synchronous Dynamic Random Access Memory)などにより構成され、カメラシステムLSI４８が各種の処理を行う際に適宜利用される。半導体メモリ、ディスク等により構成される外部記憶媒体５１は、例えば、図５の撮像装置に対して着脱可能に構成され、カメラシステムLSI４８によりJPEG(Joint Photographic Expert Group)フォーマットで圧縮された画像データが記憶される。
【００３３】
画像モニタ５０は、例えば、LCD(Liquid Crystal Display)などにより構成され、撮影された画像や各種のメニュー画面等を表示する。
【００３４】
図９は、図５に示すカメラシステムLSI４８の構成例を示すブロック図である。カメラシステムLSI４８を構成する各ブロックは、マイクロコンピュータインタフェース(I/F)７３を介して、図５に示すマイクロコンピュータ４１により制御される。
【００３５】
信号処理部７１は、フロントエンド４７から供給されてきた４種類の色情報に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等の各種の処理を行い、例えば、生成した画像信号をモニタインタフェース７７を介して画像モニタ５０に出力する。
【００３６】
画像検波部７２は、フロントエンド４７の出力に基づいて、オートフォーカス、オートエキスポージャー、オートホワイトバランス等の検波処理を行い、その結果を、適宜、マイクロコンピュータ４１に出力する。
【００３７】
メモリコントローラ７５は、処理ブロック間同士のデータの送受信、または、所定の処理ブロックと画像メモリ４９との間のデータの送受信を制御し、例えば、信号処理部７１から供給されてきた画像データをメモリインタフェース７４を介して画像メモリ４９に出力し、記憶させる。
【００３８】
画像圧縮・解凍部７６は、例えば、信号処理部７１から供給されてきた画像データをJPEGフォーマットで圧縮し、得られたデータをマイクロコンピュータインタフェース７３を介して外部記憶媒体５１に出力し、記憶させる。画像圧縮・解凍部７６は、また、外部記憶媒体５１から読み出された圧縮データを解凍（伸張）し、モニタインタフェース７７を介して画像モニタ５０に出力する。
【００３９】
図１０は、図９に示す信号処理部７１の詳細な構成例を示すブロック図である。信号処理部７１を構成する各ブロックは、マイクロコンピュータインタフェース７３を介して、マイクロコンピュータ４１により制御される。
【００４０】
オフセット補正処理部９１は、フロントエンド４７から供給されてきた画像信号に含まれるノイズ成分（オフセット成分）を除去し、得られた画像信号をホワイトバランス補正処理部９２に出力する。ホワイトバランス補正処理部９２は、オフセット補正処理部９１から供給されてきた画像信号の色温度、および４色カラーフィルタ６１の各フィルタの感度の違いに基づいて、各色のバランスを補正する。ホワイトバランス補正処理部９２により補正が施され、取得された色信号は、垂直方向同時化処理部９３に出力される。垂直方向同時化処理部９３にはディレイ素子が設けられており、ホワイトバランス補正処理部９２から出力されてきた信号（以下、RG1G2B信号という。）の垂直方向の時間のずれが同時化（補正）される。
【００４１】
信号生成処理部９４は、垂直方向同時化処理部９３から供給されてきたRG1G2B信号の最小単位の２×２画素の色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等を行い、得られたRG1G2B信号を、リニアマトリクス処理部９５に出力する。
【００４２】
リニアマトリクス処理部９５は、所定のリニアマトリクス係数Ｍ（３×４の行列）に基づいて式（１）によるRG1G2B信号の演算を行ない、３色のRGB信号を生成する。
【００４３】
【数１】

【００４４】
リニアマトリクス処理部９５により生成されたＲ信号は、ガンマ補正処理部９６−１に出力され、Ｇ信号は、ガンマ補正処理部９６−２に出力され、Ｂ信号は、ガンマ補正処理部９６−３に出力される。
【００４５】
ガンマ補正処理部９６−１乃至９６−３は、リニアマトリクス処理部９５から出力されてきたRGB信号のそれぞれの信号に対してガンマ補正を行い、取得されたRGB信号を輝度（Ｙ）信号生成処理部９７および色差（Ｃ）信号生成処理部９８に出力する。
【００４６】
輝度信号生成処理部９７は、ガンマ補正処理部９６−１乃至９６−３から供給されてきたRGB信号を、例えば、式（２）に従って、所定の合成比で合成し、輝度信号（Ｙ）を生成する。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ・・・（２）
色差信号生成処理部９８も同様に、ガンマ補正処理部９６−１乃至９６−３から供給されてきたRGB信号を所定の合成比で合成して色差信号（Ｃ）を生成し、帯域制限間引き処理部９９に出力する。帯域制限間引き処理部９９は、色差信号（Ｃ）に基づき色差信号（Ｃｂ，Ｃｒ）を生成する。なお、単板２×２色コーディングによって得られた信号には、一般的に色情報の帯域が輝度信号ほど存在しない。したがって、帯域制限間引き処理部９９は、色差信号生成処理部９８から供給された色差信号（Ｃ）を帯域制限処理と間引き処理を行なうことで色情報データを削減することで色差信号（Ｃｂ，Ｃｒ）を生成する。
【００４７】
輝度信号生成処理部９７により生成された輝度信号（Ｙ）、および色差信号生成処理部９８により生成された色差信号（Ｃ）又は帯域制限間引き処理部９９により生成された色差信号（Ｃｂ，Ｃｒ）は、例えば、図９に示すモニタインタフェース７７を介して画像モニタ５０に出力される。
【００４８】
以上のような構成を有する撮像装置において、画像の撮影が指示された場合、マイクロコンピュータ４１は、TG４６を制御し、画像センサ４５により画像を取り込ませる。すなわち、画像センサ４５を構成するCCD等の撮像素子（以下、CCD撮像素子という。）の前面に形成されている４色カラーフィルタ６１により４色の光が透過され、透過された光がCCD撮像素子により取り込まれる。CCD撮像素子により取り込まれた光は、４色の色信号に変換され、それがフロントエンド４７に出力される。
【００４９】
フロントエンド４７は、画像センサ４５から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびディジタル変換処理等を施し、得られた画像データをカメラシステムLSI４８に出力する。
【００５０】
カメラシステムLSI４８の信号処理部７１においては、オフセット補正処理部９１により色信号のオフセット成分が除去され、ホワイトバランス補正処理部９２により、画像信号の色温度、および４色カラーフィルタ６１の各フィルタの感度の違いに基づいて、各色のバランスが補正される。
【００５１】
また、垂直方向同時化処理部９３により、ホワイトバランス補正処理部９２により補正された信号の垂直方向の時間のずれが同時化（補正）され、信号生成処理部９４により、垂直方向同時化処理部９３から供給されてきたRG1G2B信号の最小単位の２×２画素の色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等が行われる。
【００５２】
さらに、リニアマトリクス処理部９５においては、信号生成処理部９４により生成された信号（RG1G2B信号）が、所定のリニアマトリクス係数Ｍ（３×４の行列）に基づいて変換され、３色のRGB信号が生成される。リニアマトリクス処理部９５により生成されたＲ信号は、ガンマ補正処理部９６−１に出力され、Ｇ信号は、ガンマ補正処理部９６−２に出力され、Ｂ信号は、ガンマ補正処理部９６−３に出力される。
【００５３】
ガンマ補正処理部９６−１乃至９６−３により、リニアマトリクス処理部９５の処理により得られたRGB信号のそれぞれの信号に対してガンマ補正が行われ、取得されたRGB信号が輝度信号生成処理部９７および色差信号生成処理部９８に出力される。輝度信号生成処理部９７、および色差信号生成処理部９８においては、ガンマ補正処理部９６−１乃至９６−３から供給されてきたＲ信号、Ｇ信号、Ｂ信号のそれぞれの信号が所定の合成比で合成され、輝度信号（Ｙ）および色差信号（Ｃ）が生成される。輝度信号生成処理部９７により生成された輝度信号（Ｙ）、および色差信号生成処理部９８により生成された色差信号（Ｃ）は、図９の画像圧縮・解凍部７６に出力され、例えば、JPEGフォーマットで圧縮される。圧縮され、得られた画像データは、マイクロコンピュータインタフェース７３を介して外部記憶媒体５１に出力され、記憶される。
【００５４】
以上のように、１つの画像データが４種類の色信号に基づいて形成されるため、その再現性は、人間の眼の見えにより近いものとなる。
【００５５】
一方、外部記憶媒体５１に記憶されている画像データの再生（表示）が指示されたとき、マイクロコンピュータ４１により、外部記憶媒体５１に記憶されている画像データが読み出され、それがカメラシステムLSI４８の画像圧縮・解凍部７６に出力される。画像圧縮・解凍部７６においては、圧縮されている画像データが伸張され、モニタインタフェース７７を介して、得られたデータに対応する画像が画像モニタ５０に表示される。
【００５６】
次に、図１１に示すフローチャートを参照して、以上のような構成を有する撮像装置を作成する処理（手順）について説明する。
【００５７】
ステップＳ１において、図５に示す画像センサ４５に設けられる４色カラーフィルタ６１の分光感度特性を決定する４色カラーフィルタ決定処理が行われ、ステップＳ２において、図１０に示すリニアマトリクス処理部９５に設定されるマトリクス係数Ｍを決定するリニアマトリクス係数Ｍ決定処理が行われる。ステップＳ１において実行される４色カラーフィルタ決定処理の詳細については、図１２に示すフローチャートを参照して、また、ステップＳ２において実行されるリニアマトリクス係数Ｍ決定処理の詳細については、図１６に示すフローチャートを参照して、それぞれ後述する。
【００５８】
４色カラーフィルタ６１が決定され、マトリクス係数が決定された後、ステップＳ３において、図１０に示す信号処理部７１が作成され、ステップＳ４に進み、図９に示すカメラシステムLSI４８が作成される。また、ステップＳ５において、図５に示すような撮像装置（例えば、ディジタルカメラ）の全体が作成される。ステップＳ６において、ステップＳ５で作成された撮像装置の画質（「色再現性」、「色判別性」）の評価が行われ、処理が終了される。
【００５９】
ここで、「色再現性」、「色判別性」などを評価する際に参照される物体色について説明する。物体色は、「物体の分光反射率」、「標準照明の分光エネルギー分布」、および「物体を感知するセンサ（カラーフィルタ）の分光感度分布（特性）」の積を可視光領域（例えば、４００乃至７００nm）の範囲で積分した値によって算出される。すなわち、式（３）により物体色が算出される。
【００６０】
【数２】

【００６１】
例えば、所定の物体を眼で観察する場合、式（３）の「センサの分光感度特性」が等色関数で表され、その物体の物体色は、Ｘ，Ｙ，Ｚの三刺激値で表される。具体的には、Ｘの値は式（４−１）で算出され、Ｙの値は式（４−２）で算出され、Ｚの値は式（４−３）で算出される。なお、式（４−１）乃至（４−３）における定数ｋの値は式（４−４）で算出される。
【００６２】
【数３】

【００６３】
また、ディジタルカメラなどの撮像装置により、所定の物体の画像を取り込む場合、式（３）の「センサの分光感度特性」がカラーフィルタの分光感度特性で表され、その物体の物体色は、フィルタの数の色値（例えば、RGBフィルタ（３種類）の場合はRGB値（３値））の物体色が算出される。撮像装置に、３種類の色を検出するRGBフィルタが設けられている場合、具体的には、Ｒの値は式（５−１）で算出され、Ｇの値は式（５−２）で算出され、Ｂの値は式（５−３）で算出される。また、式（５−１）における定数ｋ_rの値は式（５−４）で算出され、式（５−２）における定数ｋ_gの値は式（５−５）で算出され、式（５−３）における定数ｋ_bの値は式（５−６）で算出される。
【００６４】
【数４】

【００６５】
次に、図１２に示すフローチャートを参照して、図１１に示すステップＳ１で行われる４色カラーフィルタ決定処理について説明する。
【００６６】
なお、４色カラーフィルタの決定方法としては様々な方法があるが、例えば、RGBフィルタを基調として（既存の（図１）Ｇフィルタの一方をＧ１フィルタとして）、Ｇ１フィルタを透過する色と相関の高い色を透過するＧ２フィルタを選択し、それを追加して４色カラーフィルタを決定する処理について説明する。
【００６７】
ステップＳ２１において、UMG値を算出するために使用されるカラーターゲットが選択される。例えば、ステップＳ２１において、現存する色を代表するカラーパッチを多く含み、かつ、人間の記憶色（肌色、植物の緑、空の青等）を重視したカラーパッチを多く含むカラーターゲットが選択される。カラーターゲットとしては、例えば、IT8.7，Macbeth Color Checker，GretagMacbeth DigitalCamera Color Checker，CIE，Color Bar等がある。
【００６８】
また、目的に応じて、SOCS(Standard Object Color Spectra Database)などのデータから、標準となりうるカラーパッチを作成し、それを使用するようにしてもよい。なお、SOCSについては「田島譲二, "標準物体色分光データベース(SOCS)による統計的色再現評価", カラーフォーラムJAPAN 99」にその詳細が開示されている。以下、Macbeth Color Checkerがカラーターゲットとして選択された場合について説明する。
【００６９】
ステップＳ２２において、Ｇ２フィルタの分光感度特性が決定される。分光感度特性として、実存する材料から作成可能なものを使用するようにしてもよいし、図１３に示すようなcubic spline曲線（３次スプライン関数）で仮想曲線Ｃ（λ）を想定し、仮想曲線Ｃ（λ）のピーク値λ₀、値ｗ（ｗ₁とｗ₂の和を２で除算した値）、値Δｗ（ｗ₁からｗ₂を減算した値を２で除算した値）を、図中に示す範囲で変化させたものを使用するようにしてもよい。なお、ｗ，Δｗの値は、半値幅の値に基づく値とされる。λ₀，ｗ，Δｗの変化の方法は、例えば、５nm刻みとする。仮想曲線Ｃ（λ）は、それぞれの範囲において、下式（６−１）乃至（６−５）で表される。
【００７０】
【数５】

【００７１】
なお、この例では、フィルタＧ２のみが追加されるが、図１に示すフィルタ（Ｒ，Ｇ，Ｇ，Ｂ）のＲフィルタとＢフィルタのみを使用し、残りの２つのＧ１，Ｇ２フィルタを、緑色付近の上式（６−１）乃至（６−５）の仮想曲線として定義することも可能である。また、同様に、ＲとＧのみ、ＧとＢのみを、図１に示すフィルタから使用するようにしてもよい。さらに、４色のフィルタのうち、３色を仮想曲線、または４色とも仮想曲線として定義することも可能である。
【００７２】
ステップＳ２３において、追加するフィルタ（Ｇ２フィルタ）と、現存のフィルタ（Ｒフィルタ，Ｇ１フィルタ，Ｂフィルタ）が組み合わされ、４色カラーフィルタの最小単位（セット）が作成される。また、ステップＳ２４において、ステップＳ２３で作成された４色カラーフィルタに対して、フィルタ評価係数としてUMGが用いられ、UMG値が算出される。
【００７３】
図８を参照して説明したように、UMGを用いた場合、４色のそれぞれのカラーフィルタに対して一度で評価を行うことができる。また、物体の分光反射率を考慮して評価が行われるだけでなく、ノイズの低減性をも考慮して評価が行われる。UMGを用いた評価においては、それぞれのフィルタの分光感度特性に、適度な重なりがあるフィルタに対して高い評価が示されるため、例えば、Ｒの特性とＧの特性が広い波長帯域にわたって重複する特性を有するフィルタ（それぞれの色信号を分離した際、ノイズが増幅されるフィルタ）に対して、高い評価が示されるということを抑制することができる。
【００７４】
図１４は、３色カラーフィルタにおいて算出されるUMG値の例を示す図である。例えば、RGBの特性がそれぞれ重複しない図１４Ａに示すような特性のフィルタにおいては、「０．７９４２」のUMG値が算出され、Ｒの特性とＧの特性が広い波長帯域にわたって重複する図１４Ｂに示すような特性のフィルタにおいては、「０．８２１１」のUMG値が算出される。また、RGBのそれぞれの特性が適度に重なる図１４Ｃに示すような特性を有するフィルタにおいては、「０．８８７９」のUMG値が算出される。すなわち、RGBのそれぞれの特性が適度に重なる、図１４Ｃに示すような特性を有するフィルタに対して最も高い評価が示される。このことは、４色カラーフィルタにおいても同様である。なお、図１４Ａに示す曲線Ｌ３１、図１４Ｂに示す曲線Ｌ４１、および図１４Ｃに示す曲線Ｌ５１はＲの分光感度を表し、図１４Ａに示す曲線Ｌ３２、図１４Ｂに示す曲線Ｌ４２、および図１４Ｃに示す曲線Ｌ５２はＧの分光感度を表し、図１４Ａに示す曲線Ｌ３３、図１４Ｂに示す曲線Ｌ４３、および図１４Ｃに示す曲線Ｌ５３はＢの分光感度を表している。
【００７５】
ステップＳ２５において、ステップＳ２４で算出されたUMG値が、所定の閾値である「０．９５」以上であるか否かが判定され、「０．９５」未満であると判定された場合、ステップＳ２６に進み、作成された４色カラーフィルタが却下される（使用されない）。ステップＳ２６において、４色カラーフィルタが却下された場合、その後、処理は終了される（図１１に示すステップＳ２以降の処理は実行されない）。
【００７６】
一方、ステップＳ２５において、ステップＳ２４で算出されたUMG値が「０．９５」以上であると判定された場合、ステップＳ２７において、その４色カラーフィルタが、ディジタルカメラで使用される候補のフィルタとされる。
【００７７】
ステップＳ２８において、ステップＳ２７で候補のフィルタとされた４色カラーフィルタが、現存する材料、染料で実現可能であるか否かが判定される。材料、染料等が取得困難である場合、実現不可能であると判定され、ステップＳ２６に進み、その４色カラーフィルタが却下される。
【００７８】
一方、ステップＳ２８において、材料、染料等が取得可能であり、実現可能であると判定された場合、ステップＳ２９に進み、作成された４色カラーフィルタが、ディジタルカメラにおいて使用されるフィルタとして決定される。その後、図１１に示すステップＳ２以降の処理が実行される。
【００７９】
図１５は、ステップＳ２９において決定された４色カラーフィルタの分光感度特性の例を示す図である。
【００８０】
図１５において、曲線Ｌ６１はＲの分光感度を表し、曲線Ｌ６２はＧ１の分光感度を表している。また、曲線Ｌ６３はＧ２の分光感度を表し、曲線Ｌ６４はＢの分光感度を表している。図１５に示すように、Ｇ２の分光感度曲線（曲線Ｌ６３）は、Ｇ１の分光感度曲線（曲線Ｌ６２）に対して相関が高い。また、Ｒの分光感度、Ｇ（Ｇ１，Ｇ２）の分光感度、およびＢの分光感度は、それぞれ適度な範囲において重複している。
【００８１】
以上のようにして決定された４色カラーフィルタを利用することにより、特に、「色再現性」のうちの「色の判別性」を改善させることができる。
【００８２】
なお、光の利用効率の観点から、以上のように、現存するRGBフィルタのGフィルタと相関の高いフィルタを、追加するフィルタ（Ｇ２フィルタ）とすることが好ましい。この場合、追加するフィルタの分光感度曲線のピーク値は、経験的に４９５乃至５３５nmの範囲（現存するＧフィルタの分光感度曲線のピーク値の近傍）にあることが望ましい。
【００８３】
また、現存するＧフィルタと相関の高いフィルタを追加する場合、図１に示す最小単位（Ｒ，Ｇ，Ｇ，Ｂ）を構成する２つのＧフィルタのいずれか一方を追加色のフィルタにするだけで４色カラーフィルタを作成することができるため、作成の行程に大きな変更を加える必要がない。
【００８４】
以上のようにして４色カラーフィルタが作成され、それがディジタルカメラに設けられた場合、図１０に示す信号処理装置７１には４種類の色信号が信号生成処理部９４から供給されるため、リニアマトリクス処理部９５において、４色（Ｒ，Ｇ１，Ｇ２，Ｂ）の信号から３色（Ｒ，Ｇ，Ｂ）の信号を生成する変換処理が行われる。この変換処理は、輝度リニアな（輝度値を線形的な変換により表すことができる）入力信号値に対するマトリクス処理であるため、以下、リニアマトリクス処理部９５において行われる変換処理を、適宜、リニアマトリクス処理と称する。
【００８５】
次に、図１６に示すフローチャートを参照して、図１１に示すステップＳ２において実行される、リニアマトリクス係数Ｍ決定処理について説明する。なお、リニアマトリクス係数Ｍ決定処理において使用されるカラーターゲットはMacbeth Color Checkerとし、また、使用される４色カラーフィルタは図１５に示す分光感度特性を有するものとする。
【００８６】
ステップＳ４１において、例えば、CIE(Commision Internationale del'Eclairange)において標準光源とされている一般的な昼光Ｄ６５（照明光Ｌ（λ））が照明光として選択される。なお、照明光は、画像処理装置が頻繁に使用されることが予想される環境の照明光等に変更してもよい。また、想定される照明環境が複数ある場合、リニアマトリクスを複数用意することも考えられる。以下、照明光として昼光Ｄ６５が選択された場合について説明する。
【００８７】
ステップＳ４２において、リファレンス値（参照値）Ｘｒ，Ｙｒ，Ｚｒが算出される。具体的には、リファレンス値Ｘｒは式（７−１）により算出され、Ｙｒは式（７−２）により算出され、Ｚｒは式（７−３）により算出される。
【００８８】
【数６】

【００８９】
また、定数ｋは式（８）により算出される。
【００９０】
【数７】

【００９１】
例えば、カラーターゲットがMacbeth Color Checkerの場合、２４色分のリファレンス値が算出される。
【００９２】
次に、ステップＳ４３において、４色カラーフィルタの出力値Ｒ_f，Ｇ１_f，Ｇ２_f，Ｂ_fが算出される。具体的には、Ｒ_fは式（９−１）により算出され、Ｇ１_fは式（９−２）により算出され、Ｇ２_fは式（９−３）により算出され、Ｂ_fは式（９−４）により算出される。
【００９３】
【数８】

【００９４】
また、定数ｋ_rは式（１０−１）により算出され、定数ｋ_g1は式（１０−２）により算出され、定数ｋ_g2は式（１０−３）により算出され、定数ｋ_bは式（１０−４）により算出される
【００９５】
【数９】

【００９６】
例えば、カラーターゲットがMacbeth Color Checkerの場合は、２４色分の出力値Ｒ_f，Ｇ１_f，Ｇ２_f，Ｂ_fが算出される。
【００９７】
ステップＳ４４において、ステップＳ４３で算出されたフィルタ出力値を、ステップＳ４２で算出されたリファレンス値（XYZ_ref）に近似させる変換を行うマトリクスが、例えば、XYZ色空間における誤差最小二乗法により算出される。
【００９８】
例えば、算出される、３×４のマトリクスを式（１１）で表されるＡとした場合、マトリクス変換（XYZ_exp）は、次の式（１２）で表される。
【００９９】
【数１０】

【０１００】
また、リファレンス値に対するマトリクス変換（式（１２））の誤差の２乗（Ｅ2）は、次の式（１３）で表され、これに基づいてリファレンス値に対するマトリクス変換の誤差を最小にするマトリクスＡが算出される。
【０１０１】
【数１１】

【０１０２】
また、誤差最小二乗法で使用する色空間を、XYZ色空間以外のものに変更するようにしてもよい。例えば、人間の知覚に対して均等なLab，Luv，Lch色空間（知覚均等色空間）に変換した後に同様の演算を行うことにより、知覚的な誤差の少ない色の再現を可能にするリニアマトリクスを算出することができる。なお、これらの色空間の値は、XYZ値から非線形な変換によって算出されるため、誤差最小二乗法においても非線形な計算アルゴリズムが使用される。
【０１０３】
上述したような演算により、例えば、図１５に示す分光感度特性を有するフィルタに対するマトリクス係数として式（１４）で表されるものが算出される。
【０１０４】
【数１２】

【０１０５】
ステップＳ４５において、リニアマトリクスが決定される。例えば、作成される最終のRGB画像データが次の式（１５）で表されるとした場合、リニアマトリクス（LinearＭ）は、以下のようにして算出される。
【０１０６】
RGBout＝［Ｒ_０,Ｇ_０,Ｂ_０］^ｔ・・・(15)
すなわち、照明光がＤ６５である場合、sRGB色空間をXYZ色空間に変換する変換式はITU-R709.BTマトリクスを含む式（１６）で表され、そのITU-R709.BTマトリクスの逆マトリクスにより式（１７）が算出される。
【０１０７】
【数１３】

【０１０８】
式（１２）のマトリクス変換式、式（１５）および式（１７）のITU-R709.BTマトリクスの逆マトリクスにより、式（１８）が算出される。式（１８）の右辺には、ITU-R709.BTマトリクスの逆マトリクスと、上述したマトリクスＡを乗算した値としてのリニアマトリクスが含まれる。
【０１０９】
【数１４】

【０１１０】
すなわち、３×４のリニアマトリクス（LinearＭ）は式（１９−１）により表され、例えば、式（１４）のマトリクス係数が用いられる、図１５に示す分光分布特性を有する４色カラーフィルタに対するリニアマトリクスは、式（１９−２）により表される。
【０１１１】
【数１５】

【０１１２】
以上のようにして算出されたリニアマトリクスが、図１０に示すリニアマトリクス処理部９５に与えられる。これにより、輝度を線形変換により表すことができる信号（Ｒ，Ｇ１，Ｇ２，Ｂ）に対してマトリクス処理を行うことができるので、図２に示す信号処理部１１における処理のように、ガンマ処理を施した後に得られる信号に対してマトリクス処理を行う場合に較べて、色彩工学的に、より忠実な色を再現させることができる。
【０１１３】
次に、図１１に示すステップＳ６において行われる評価について説明する。
【０１１４】
以上のようにして作成された、例えば、図１５に示す分光感度特性を有する４色カラーフィルタが設けられた撮像装置の色再現性と、図１に示す３色カラーフィルタが設けられる画像処理装置の色再現性を比較した場合、以下のような差が現れる。
【０１１５】
例えば、マクベスチャートを２種類の画像入力装置（４色カラーフィルタが設けられる撮像装置と、３色カラーフィルタが設けられる撮像装置）で撮像したときの出力値とリファレンス値とのLab色空間における色差が次の式（２０）によりそれぞれ算出される。
【０１１６】
【数１６】

【０１１７】
Ｌ₁−Ｌ₂は２つの試料の明度差であり、ａ₁−ａ₂、ｂ₁−ｂ₂は２つの試料の色相・彩度の成分差を表している。
【０１１８】
図１７は、式（２０）による算出結果を示す図である。図１７に示すように、３色カラーフィルタが設けられる撮像装置の場合は色差が「３．３２」であるのに対して、４色カラーフィルタが設けられる撮像装置の場合は「１．３９」であり、「色の見え方」は４色カラーフィルタが設けられた撮像装置の方が優れている（色差が小さい）。
【０１１９】
図１８においては、物体Ｒ１のＲ値が「４９．４」、Ｇ値が「６４．１」、Ｂ値が「１４９．５」とされ、物体Ｒ２のＲ値が「６６．０」、Ｇ値が「６３．７」、Ｂ値が「１５５．６」とされている。従って、４色カラーフィルタにおいては、物体Ｒ１と物体Ｒ２のRGB値はそれぞれ異なる値となり、眼で見た場合と同様に、それぞれの物体の色が識別されている。すなわち、４種類の色を識別できるフィルタを設けることにより、「色の判別性」が改善されている。
【０１２０】
以上においては、４色カラーフィルタ６１は、図６に示すように、Ｇ１フィルタの左右にＢフィルタが設けられるとともに、Ｇ２フィルタの左右にＲフィルタが設けられるような配列により構成されるとしたが、図１９に示すような配列により構成されるようにしてもよい。図１９に示す４色カラーフィルタ６１においては、Ｇ１フィルタの左右にＲフィルタが設けられるとともに、Ｇ２フィルタの左右にＢフィルタが設けられている。４色カラーフィルタ６１をこのように構成することによっても、図６に示すものと同様に、「色の判別性」、「色の再現性」および「ノイズの低減性」を向上させることができる。
【０１２１】
ところで、色差（ΔＥ値）を最小にするように、リニアマトリクス係数Ｍを決定した場合、もしも、画像センサ４５の前段部に形成されているカラーフィルタの分光感度が図４に示すように重なっているときには、式（２１）のようにリニアマトリクス係数Ｍの差が大きくなってしまう。
【０１２２】
【数１７】

【０１２３】
撮像素子の出力信号には、微小なノイズ成分が含まれているため、このようなリニアマトリクス係数Ｍを使用して色分離処理を行なうと、微小なノイズ成分も増幅されてしまう。したがって、リニアマトリクス係数Ｍの差が大きくならないように、色再現性よりもノイズ低減性を考慮する必要が生じる。しかし、当該撮像装置により実際に被写体を撮像するときに、撮像するシーンや環境により、色再現性よりもノイズ低減性を重視してリニアマトリクス係数Ｍを決定し、適応的にリニアマトリクス処理を行なった方が画質の向上を図れる場合や、逆に、ノイズ低減性よりも色再現性を重視してリニアマトリクス係数Ｍを決定し、適応的にリニアマトリクス処理を行なった方が画質の向上を図れる場合がある。また、撮像装置の使用の用途は、ユーザごとに異なるため、リニアマトリクス係数Ｍの決定をユーザが任意に行ないたい場合がある。
【０１２４】
そこで、本願発明に係る撮像装置では、上述したような問題点を解決するために、図２０に示すフローチャートにしたがってリニアマトリクス係数Ｍを決定する。
【０１２５】
まず、使用するチャート及び照明光の決定を行ない（ステップＳ５０）、つぎに色再現性指標ΔＥ（Ｍ）の定義を行ない（ステップＳ５１）、つぎにノイズ低減性指標σＮ（Ｍ）の定義を行ない（ステップＳ５２）、つぎに評価指数ＥＥＶ（Ｍ）の定義を行ない（ステップＳ５３）、そして、評価指数ＥＥＶ（Ｍ）に基づきリニアマトリクス係数Ｍを決定する（ステップＳ５４）。なお、ステップ５では、評価指数ＥＥＶ（Ｍ）の係数を撮像条件等により適応的に変化させ、対応するリニアマトリクス係数Ｍを決定する。以下に、各ステップの詳細について説明する。
【０１２６】
使用するチャート及び照明光の決定（ステップＳ５０）について説明する。リニアマトリクス係数Ｍを決定するためには、カラーチャートと、当該カラーチャートを照明する光源を決める必要がある。カラーチャートとしては、Macbeth Color Checker, Digital Camera Color Checker, IT8.7等の複数の均一な色平面を持つカラーパッチから成る様々な反射チャート又は透過チャートが考えられる。照明光としては、撮像装置がよく使用される環境の光に近い分光感度を持つもの（例えばＤ５５や光源等）が考えられる。なお、撮像装置は、ユーザの使用目的により様々な光源下で用いられることが考えられるので、照明光としては、よく使用される環境の光のみに限定されるものではない。
【０１２７】
つぎに、色再現性指標ΔＥ（Ｍ）の定義（ステップＳ５１）について説明する。色再現性は、目標色と撮像装置のリニアマトリクス処理部９５でリニアマトリクス処理が行なわれた信号値が示す色（以下、出力色という。）との差で定義される。なお、色の値としては、RGB値、YCｂCr値又はXYZ値等様々考えられるが、人間の眼の見えに対して知覚が均等な色空間の値（L*a*b*値、L*u*v*値等）を用いて定義する方が、より色の差を正確に示すことが可能となる。例えば、カラーチャート中のｋ番目のカラーパッチの目標色をLab_{ref_k}(L*_{ref_k}, a*_{ref_k}, b*_{ref_k})とし、撮像装置の出力色をL*a*b*_{shot_k}(L*_{shot_k}, a*_{shot_k}, b*_{shot_k})とすると、このパッチの色差ΔＥ_ｋは式（２２）のようになる。
【０１２８】
【数１８】

【０１２９】
また、色再現性指標ΔＥ（Ｍ）としては、カラーチャートの各パッチの平均ΔＥ値や、各パッチに重み付けを行ってある特定色の色再現性を重視した値等が考えられる。
【０１３０】
【数１９】

【０１３１】
ただし、ｗ_ｋは、各パッチに対する重み付け係数を示し、TotalPatchNumは、カラーパッチの総数を示す。
【０１３２】
また、実際には撮像装置の出力色には、リニアマトリクス処理が施されているので、L*a*b*_{shot_k}は、リニアマトリクス係数Ｍの関数値となり、したがってΔＥ_k、ΔＥもＭの関数値となる。
【０１３３】
【数２０】

【０１３４】
つぎに、ノイズ低減性指標σＮ（Ｍ）の定義（ステップＳ５２）について説明する。ノイズ低減性指標σＮ（Ｍ）は、撮像装置のリニアマトリクス処理部９５でリニアマトリクス処理が行なわれた信号値の標準偏差で定義する。信号値としては、RGB値、YCｂCr値又はXYZ値等様々考えられるが、人間の眼の見えに対して知覚が均等な色空間の値（L*a*b*値、L*u*v*値）等を用いて信号値を定義する方が、より人が感じるノイズ感と相関のあるノイズ値σＮ_ｋを得ることが可能となる。なお、ノイズ値は、信号値の色空間に対応して、色空間の各成分の標準偏差となる。例えば、RGB空間の場合には、ノイズ値は、σR,σG,σBとなり、XYZ空間の場合には、ノイズ値は、σX,σY,σZとなる。ノイズ低減性指標σＮ（Ｍ）の定義では、これらのノイズ値を使って１つのノイズ指標を決定する。例えば、あるカラーパッチを照明光下で撮像した場合、L*a*b*空間のノイズ値σＮ_ｋは、明度ノイズをσL*_k、色ノイズをσa*_k,σb*_kとし、これらの値から例えば式（２５）のような明度及び色ノイズを考慮したものとして定義される。
【０１３５】
【数２１】

【０１３６】
ただし、ｗＬ^＊ _ｋ、ｗａ^＊ _ｋ、ｗｂ^＊ _ｋは、各標準偏差値への重み付け係数を示し、人間の眼が感じるノイズ感との相関で適切に設定されるものである。なお、ノイズ値σＮ_ｋとしては、他の色空間の分散値を使ったもの等様々考えられる。ノイズ低減性指標σＮ（Ｍ）としては、カラーチャートの各パッチの平均σＮ値や、各パッチに重み付けを行ってある特定色のノイズ低減性を重視した値等が考えられる。
【０１３７】
【数２２】

【０１３８】
実際には、撮像装置の信号値には、リニアマトリクス処理が施されているので、σＮ_ｋ及びσＮはリニアマトリクス係数Ｍの関数値となる。
【０１３９】
【数２３】

【０１４０】
つぎに、評価指数ＥＥＶ（Ｍ）の定義（ステップＳ５３）について説明する。上述したステップＳ５１及びステップＳ５２の定義により、リニアマトリクス係数Ｍの関数値である色再現性指標ΔＥ（Ｍ）及びノイズ低減性指標σＮ（Ｍ）の二値を考慮した評価指数ＥＥＶ(Error Evaluation Value)（Ｍ）を式（２８）の様に定義する。
【０１４１】
【数２４】

【０１４２】
ただし、h, I, j, k, l, は、関数を示し、ｗｃは、色差に対する重み付け係数を示し, ｗｎは、ノイズ値に対する重み付け係数を示す。ｗｃとｗｎを変化させて、評価指数ＥＥＶ（Ｍ）が最小となるようにリニアマトリクス係数Ｍを決定することにより、色再現性及びノイズ低減性の双方を考慮したリニアマトリクス係数Ｍの決定が可能となる。なお、色再現性を重視したい場合は、ｗｃ>ｗｎとし、ノイズ低減性を重視したい場合は、ｗｃ < ｗｎと重み付けを設定すれば良い。
【０１４３】
つぎに、リニアマトリクス係数Ｍを決定する手段（ステップＳ５４）について説明する。ステップＳ５３により定義した評価指数ＥＥＶ（Ｍ）に誤差最小二乗法を適用してリニアマトリクス係数Ｍを決定する。なお、ステップＳ５４では、ｗｃ及びｗｎを適当に定めて、例えばNewton法、Steepest Descent法又はConjugate Gradient法等を回帰アルゴリズムとして使用して誤差最小二乗法を適用し、リニアマトリクス係数Ｍを決定する。
【０１４４】
また、ステップＳ５４では、撮像装置により被写体を撮像するときの環境や条件等によりステップＳ５３で定義した評価指数ＥＥＶ（Ｍ）の色差に対する重み付け係数ｗｃ及びノイズ値に対する重み付け係数ｗｎを適応的に変化させ、誤差最小二乗法によりリニアマトリクス係数Ｍを決定する。図２１に、色再現性指標ΔＥ（Ｍ）を変化させたときのノイズ値低減性指標σＮ（Ｍ）の変化の様子を示す。図２１に示すように、一つの撮像素子においても、リニアマトリクス係数Ｍによって色再現性指標ΔＥ（Ｍ）とノイズ低減性指標σＮ（Ｍ）のトレードオフが存在する。この結果を用いて、様々な撮像環境及び条件等に応じて適応的にリニアマトリクス係数Ｍを決定する。また、あらかじめいくつかのリニアマトリクス係数Ｍのセットを用意し、ユーザが必要に応じてリニアマトリクス係数Ｍを選択して色再現性指標ΔＥ（Ｍ）及びノイズ低減性指標σＮ（Ｍ）を調節することも可能である。
【０１４５】
ここで、撮像装置が図２２に示すような特性の４色カラーフィルターよりなるCCD撮像素子を有している場合に、上述したステップＳ５０〜ステップＳ５４にしたがってリニアマトリクス係数Ｍを決定する具体例について述べる。
【０１４６】
まず、使用するチャート及び照明光を決定する（ステップＳ５０）。カラーチャートは、Macbeth Color Checker（２４色のカラーパッチを含む）を使用し、照明光は、Ｄ５５光源（ＣＩＥで定義される５５００ｋの標準昼光）を使用する。なお、それぞれの分光データは、例えば、分光放射輝度計を用いて測定されているものとする。
【０１４７】
つぎに、色再現性指標ΔＥ（Ｍ）の定義を行なう（ステップＳ５１）。目標色を人間の眼の見えとし、Lab空間での色差ΔＥを指標とする。一般的に物体色は、「物体の分光反射率」と「照明の分光エネルギー分布」と「物体を感知するセンサの分光感度分布」との積を可視光領域vis（通常400nm〜700nm）の範囲で積分した値によって式（２９）のように定義される。
物体色＝∫_vis（物体の分光反射率）・（照明の分光輝度）・（物体を感知するセンサの分光感度）・・・（２９）
さらに、人間の眼の分光感度を表す等色関数を用いると、カラーチャートのｋ番目のパッチの目標色XYZ_{ref_k}(X_{ref_k}, Y_{ref_k}, Z_{ref_k})は、式（２９）を用いて式（３０）のように表すことができる。
【０１４８】
【数２５】

【０１４９】
また、通常は、式（３１）を使用してXYZ空間の色をL*a*b*空間の色に変換する。
【０１５０】
【数２６】

【０１５１】
ただし、（Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎ）は、完全拡散反射面（白点）のＸＹＺ値を示している。
【０１５２】
そして、目標色XYZ_{ref_k}を式（３１）を用いてL*a*b*_{ref_k}(L*_{ref_k}, a*_{ref_k}, b*_{ref_k})に変換する。
【０１５３】
また、CCD撮像素子から出力される信号値であるｒａｗデータRGBX_{raw_k}(R_{raw_k}, G_{raw_k}, B_{raw_k}, X_{raw_k})は、式（２９）を用いると式（３２）のようになる。
【０１５４】
【数２７】

【０１５５】
撮像装置は、リニアマトリクス処理部９５でｒａｗデータRGBX_{raw_k}(R_{raw_k}, G_{raw_k}, B_{raw_k}, X_{raw_k})をリニアマトリクス係数Ｍ(ｍ０〜ｍ１１)を用いてリニアマトリクス処理をするので、リニアマトリクス処理後の撮像データは式（３３）のようになる。
【０１５６】
【数２８】

【０１５７】
そして、上記RGB_{cam_k}をXYZ値に変換する。なお、変換には、式（３４）に示すように、一般的に使用されている７０９系マトリクスＭ_７０９を使用する。
【０１５８】
【数２９】

【０１５９】
つぎに、式（３４）を用いて、X_{cam_k}、Y_{cam_k}、及びZ_{cam_k}を求める。
【０１６０】
【数３０】

【０１６１】
また、式（３１）を用いてL*a*b*値(L*a*b*_{cam_k}(L*_{cam_k}, a*_{cam_k}, b*_{cam_k}))に変換し、カラーチャートのｋ番目のパッチの色差ΔE_kを式（３６）のように定義する。
【０１６２】
【数３１】

【０１６３】
なお、ΔE_kは、L*a*b*_{cam_k}の値を使用しているので、リニアマトリクス係数Ｍの関数値でもあるので、ΔE_k(M)と表すことができる。色再現性指標ΔE(M)は、式（３７）に示すように、各カラーパッチの色差の平均値として定義する。
【０１６４】
【数３２】

【０１６５】
つぎに、ノイズ低減性指標σＮ（Ｍ）の定義を行なう（ステップＳ５２）。なお、ここでは、撮像装置のリニアマトリクス処理部９５によるリニアマトリクス処理後の信号値に含まれているσＬ（Ｍ）成分に基づきノイズ低減性指標σＮ（Ｍ）を定義する。
【０１６６】
一般的にCCD撮像素子自体が出力する信号CV_{_CCD}に含まれているノイズNoise_{_raw}は、式（３８）のように定義される。
【０１６７】
【数３３】

【０１６８】
なお、ShotNoiseCoefとDarkNoiseは、CCD撮像素子のデバイス特性によって決まる値である。DarkNoiseは、信号値に依存しないノイズ成分(Fixed Pattern Noise等)を表し、ShotNoiseは、信号値に依存するノイズ成分（Sensor Dark Noise, Photon Shot Noise等）を表す。
【０１６９】
式（３１）を使用すると、評価する撮像装置のｋ番目のカラーパッチのｒａｗデータに含まれているノイズ成分は式（３９）のように定義される。
【０１７０】
【数３４】

【０１７１】
また、文献（P.D.Burns and R.S.Berns, "Error Propagation Analysis in Color Measurement and Imaging", Color Research and Application, 1997）には、以下に示すようなノイズ伝搬理論が記載されている。
【０１７２】
所定の入力信号Ｘ'＝［ｘ_１，ｘ_２，・・・，ｘ_ｎ］が、（ｍ×ｎ）マトリクスＡによって、Ｙ'＝［ｙ_１，ｙ_２，・・・，ｙ_ｍ］に線形変換されるとすると、式（４０）のように表される。
Ｙ'＝Ａ・Ｘ'・・・（４０）
いま、入力信号Ｘ'の分散共分散行列Σ_ｘが、式（４１）に示すようになると、対角成分が入力信号のNoise分散値となる。
【０１７３】
【数３５】

【０１７４】
もし、入力信号値同士の相関がなければ、行列成分中の共分散成分（すなわち非対角成分）は０となる。このとき、出力信号Ｙの分散共分散行列Σ_ｙは、式（４２）のように定義される。
Σ_ｙ＝Ａ・Σ_ｘＡ'・・・（４２）
なお、式（４２）は、線形変換で変換することができる色空間同士での、Noise分散値の伝搬理論式となる。
【０１７５】
また、撮像装置のリニアマトリクス処理部９５によるリニアマトリクス処理後の信号RGB_{cam_k}をL*a*b*_{cam_k}に変換するためには、RGB空間からXYZ空間への変換処理（以下、RGB→XYZ変換処理という。）を行ない、その後、XYZ空間からL*a*b*空間への変換処理（以下、XYZ→L*a*b*変換処理という。）を行なう必要がある。RGB→XYZ変換処理は、式（３４）に示す７０９系マトリクスＭ_７０９を使用して線形変換を行なうことができるが、XYZ→L*a*b*変換処理は、式（３１）に示すように非線形変換を行なう必要がある。しかし、XYZ→L*a*b*変換処理は、ノイズ量が微小量であることから、JacobianマトリクスJ_{L*a*b*_k}を使用して線形近似することができ、と同様に線形変換により行なうことができる。
【０１７６】
リニアマトリクス後の信号値をXYZ値に変換した値をXYZcam_k(Xcam_k,Ycam_k,Zcam_k)とすると、式（４３）のように表すことができる。
J_{L*a*b*_k}＝J₀D(XYZ_{cam_k})・・・（４３）
ただし、Ｊ_０は、式（４４）とする。
【０１７７】
【数３６】

【０１７８】
したがって、CCD撮像素子から出力されるｒａｗデータをLab値に線形変換するための近似マトリクスM_{total_k}は式（４６）のようになる。
【０１７９】
【数３７】

【０１８０】
式（４６）のマトリクスと式（４２）に示したノイズ伝搬理論の式を適用すると、ｋ番目のカラーパッチにおける明度ノイズσL_kは、式（４７）で計算することができる。
【０１８１】
【数３８】

【０１８２】
したがって、式（４７）より式（４８）を導き出すことができる。
【０１８３】
【数３９】

【０１８４】
なお、式（４８）は、リニアマトリクス係数Ｍの関数なのでσL*_k(M)で表すことができる。ノイズ低減性指標σN(M)は、カラーパッチの各明度ノイズの平均値なので式（４９）のように定義することができる。
【０１８５】
【数４０】

【０１８６】
つぎに、上述のように定義した色再現性指標ΔE(M)及びノイズ低減性指標σN(M)を考慮した評価指数EEV(M)を式（５０）のように定義する（ステップＳ５３）。なお、EEVは、Error Evaluation Valueの略である。
【０１８７】
【数４１】

【０１８８】
つぎに、式（５０）を誤差最小二乗法によって解き、リニアマトリクス係数Ｍを決定する。例えば、ｗｃ＝１としｗｎ＝２とすると評価指数EEV(M)は、式（５１）となる。
【０１８９】
【数４２】

【０１９０】
式（５１）を誤差最小二乗法を用いて解き、リニアマトリクス係数Ｍを式（５２）のように決定する（ステップＳ５４）。
【０１９１】
【数４３】

【０１９２】
一方、ｗｃ＝１としｗｎ＝0とした、すなわち色再現性だけを追い込んだ色差最小マトリクスは式（５３）のようになる。
【０１９３】
【数４４】

【０１９４】
式（５２）と、式（５３）を比較すると、明らかに式（５３）の係数の方が係数間の大小差が大きく、ノイズを増長するマトリクスであることが確認できる。
【０１９５】
ここで、撮像装置のISO感度の設定に基づきリニアマトリクス係数Ｍを適応的に決定する具体例について述べる。撮像装置では、ISO感度の設定に基づいてCCD撮像素子から入力される信号（以下、入力信号という。）を増幅又は減衰させる。撮像装置のISO感度の設定をISO100からISO200に変更したときには、入力信号は、例えば、ISO100のときの２倍に増幅されて撮像装置に入力される。しかし、撮像装置では、ISO感度の設定状態にかかわらず全ての入力信号に対して同一のリニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なうため、ISO感度の設定が高い場合には、入力信号の増幅に伴い、入力信号に含まれているノイズ成分も一緒に増幅されてしまう。したがって、ISO感度の設定を高くして高解像度の画像を得ようとしても、増幅されたノイズ成分が含まれている画像が生成されてしまう。
【０１９６】
そこで、本願発明に係る撮像装置では、ISO感度の設定に基づき増幅又は減衰される入力信号に含まれているノイズ成分の低減性を考慮してリニアマトリクス係数Ｍを決定し、当該リニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なう。例えば、表１に示すように、ノイズ低減性に対する重み係数（ｗｎ）をISO感度の設定に応じて変化できるようにし、ｗｃ及びｗｎを式（５０）に代入してISO感度の設定ごとのリニアマトリクス係数Ｍを決定する。したがって、撮像装置は、ISO感度の設定状態に基づいて決定されたリニアマトリクス係数Ｍを用いてリニアマトリクス処理を行なうことができるので、ISO感度の設定を高くしても、それに伴いノイズ成分が増幅することがなく、高解像度の画像を得ることが可能となる。
【０１９７】
【表１】

【０１９８】
ここで、撮像装置により被写体を撮像する環境に基づきリニアマトリクス係数Ｍを適応的に決定する例について述べる。例えば、夜景等の被写体を撮像装置により撮像した場合には、生成された画像の大半を暗い部分（暗部）が占めることがあり、その暗部にノイズが生じていると非常に目立ってしまう。このような場合には、色再現性よりもノイズ成分の低減性を考慮した方が良い。
【０１９９】
そこで、本発明に係る撮像装置では、被写体を撮像するシーンに基づきノイズ低減性と色再現性を考慮してリニアマトリクス係数Ｍを決定し、当該リニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なう。例えば、図２３のヒストグラムに示すように、撮像装置の輝度ダイナミックレンジの半分以下の領域に、生成した画像の輝度成分の７０％以上が含まれているようなときには、ノイズ低減性を重視してリニアマトリクス係数Ｍを決定し、それ以外のときには色再現性及びノイズ低減性を考慮してリニアマトリクス係数Ｍを決定する。具体的には、表２に示すように、ノイズ低減性に対する重み係数（ｗｎ）を撮像シーンに応じて変化できるようにし、ｗｃ及びｗｎを式（５０）に代入して、撮像シーンごとにリニアマトリクス係数Ｍを決定する。したがって、撮像装置は、撮像シーンに基づいて決定されたリニアマトリクス係数Ｍを用いてリニアマトリクス処理を行なうことができるので、生成された画像の大半を暗部が占めても、ノイズ成分を目立たなくすることが可能である。
【０２００】
【表２】

【０２０１】
ここで、撮像装置を使用するユーザの要求に基づきリニアマトリクス係数Ｍを適応的に決定する具体例について述べる。撮像装置で被写体を撮影して生成した画像は、ユーザの使用用途によって、色再現性よりもノイズが少ないことが要求されることが多々ある。使用用途は撮像装置の製作会社には分からない事で、ユーザだけが知っている事実である。
【０２０２】
そこで、本願発明に係る撮像装置では、ユーザが意図的する条件に基づきリニアマトリクス係数Ｍを決定し、当該リニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なう。例えば、表３に示すように、ノイズ低減性に対する重み係数（ｗｎ）をノイズ量調節変数に応じて変化できるようにし、ｗｎ及びｗｃを式（５０）に代入して、ノイズ量調整変数ごとにリニアマトリクス係数Ｍを決定し、決定したリニアマトリクス係数Ｍを記憶しておき、ユーザがノイズ量調節変数を当該撮像装置のインターフェースを通して変化させたときに、所定のリニアマトリクス係数Ｍを決定し、当該リニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なう。したがって、撮像装置は、ユーザの要求に応じて決定されたリニアマトリクス係数Ｍを用いてリニアマトリクス処理を行なうことができるので、ユーザの使用状況に応じたノイズ量調節を行なうことが可能である。
【０２０３】
【表３】

【０２０４】
なお、表３では、ノイズ量調節変数の数値が大きくなればなるほどノイズ量が減ることを意味している。また、撮像前にノイズ量調節変数の設定を行なわず、撮像装置の撮像開始ボタンを押圧したときに、いくつかのリニアマトリクス係数Ｍを使用したリニアマトリクス処理後の画像が複数個メモリに保存されるようにしても良い。
【０２０５】
このように構成された撮像装置は、図１２に示すフローチャートに従って画像センサ４５の前段部に形成される４色カラーフィルタ６１が決定されるので、「色再現性」のうちの「色の判別性」を改善させることができ、また、信号処理部１７で輝度を線形変換により表すことができる信号（Ｒ，Ｇ１，Ｇ２，Ｂ）に対してマトリクス処理を行うので、図２に示す信号処理部１１における処理のように、ガンマ処理を施した後に得られる信号に対してマトリクス処理を行う場合に較べて、色彩工学的に、より忠実な色を再現することができ、さらに、信号処理部１７のリニアマトリクス処理部９５で行なうリニアマトリクス処理において、リニアマトリクス係数Ｍの決定を撮像条件等に応じて決定するので、撮像画像の色再現性及びノイズの低減性を向上させることができる。
【０２０６】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置は、人間の眼の見え方に対して忠実な色の再現を表す色再現値と人間が感じるノイズ感を表すノイズ値を調整する調整部と、上記調整部の調整に基づきマトリクス係数を決定するマトリクス係数決定部と、上記マトリクス係数に基づき当該撮像装置に備えられている撮像素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理部とを備えるので、撮像環境及び条件に応じて適応的にリニアマトリクス係数Ｍを決定し、当該リニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なうことができる。
【０２０７】
また、本発明に係る撮像方法は、分光特性の異なるカラーフィルタによりなっており、人間の眼の見え方に対して忠実な色の再現を表す色再現値と人間が感じるノイズ感を表すノイズ値を調整する第１のステップと、上記第１のステップの調整に基づきマトリクス係数を決定する第２のステップと、上記マトリクス係数に基づき被写体を撮像する撮像素子部で撮像した画像にマトリクス変換処理を行なう第３のステップとを有するので、撮像環境及び条件に応じて適応的にリニアマトリクス係数Ｍを決定し、当該リニアマトリクス係数Ｍを使用してリニアマトリクス処理を行なうことができる。
【図面の簡単な説明】
【図１】従来のRGBカラーフィルタの例を示す図である。
【図２】従来の撮像装置に設けられる信号処理部の構成例を示すブロック図である。
【図３】分光感度特性の例を示す図である。
【図４】分光感度特性の他の例を示す図である。
【図５】本発明を適用した撮像装置の構成例を示すブロック図である。
【図６】本発明を適用した撮像装置に設けられる４色カラーフィルタの例を示す図である。
【図７】視感度曲線の例を示す図である。
【図８】評価係数の特徴を示す図である。
【図９】本発明を適用した撮像装置が備えるカメラシステムLSIの構成例を示すブロック図である。
【図１０】図９の信号処理部の構成例を示すブロック図である。
【図１１】画像処理装置の作成処理を説明するフローチャートである。
【図１２】図１１のステップＳ１の４色カラーフィルタ決定処理の詳細を説明するフローチャートである。
【図１３】仮想曲線の例を示す図である。
【図１４】フィルタ毎のUMG値の例を示す図である。
【図１５】４色カラーフィルタの分光感度特性の例を示す図である。
【図１６】図１１のステップＳ２のリニアマトリクス決定処理の詳細を説明するフローチャートである。
【図１７】色差の評価結果の例を示す図である。
【図１８】４色カラーフィルタによる所定の物体の色度を示す図である。
【図１９】本発明を適用した撮像装置に設けられる４色カラーフィルタの他の例を示す図である。
【図２０】適応的にリニアマトリクス係数Ｍの決定を示すフローチャートである。
【図２１】色再現性指標を変化させたときのノイズ低減性指標の変化の様子を示す図である。
【図２２】４色カラーフィルタの分光感度特性の例を示す図である。
【図２３】画像のヒストグラムを示す図である。
【符号の説明】
４５画像センサ、６１４色カラーフィルタ、７１信号処理部、９１オフセット補正処理部、９２ホワイトバランス補正処理部、９３垂直方向同時化処理部、９４信号生成処理部、９５リニアマトリクス処理部、９６−１，９６−２，９６−３ガンマ補正処理部、９７輝度信号生成処理部、９８色差信号生成処理部、９９帯域制限間引き処理部

Claims

分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有する撮像装置において、
色再現値とノイズ感を表すノイズ値を調整する調整手段と、
上記調整手段の調整に基づきマトリクス係数を決定するマトリクス係数決定手段と、
上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理手段とを備えることを特徴とする撮像装置。
上記調整手段は、当該撮像装置の撮像感度に応じて適応的に上記色再現値と上記ノイズ値を調整することを特徴とする請求項１記載の撮像装置。
上記調整手段は、当該撮像装置により撮像する環境に応じて適応的に上記色再現値とノイズ値を調整することを特徴とする請求項１記載の撮像装置。
上記調整手段は、任意に上記色再現値と上記ノイズ値を調整することを特徴とする請求項１記載の撮像装置。
分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有する撮像装置により被写体を撮像する撮像方法において、
色再現値とノイズ感を表すノイズ値を調整する第１のステップと、
上記第１のステップの調整に基づきマトリクス係数を決定する第２のステップと、
上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換処理を行なう第３のステップとを有することを特徴とする撮像方法。