JP2002543695A

JP2002543695A - カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び／又は記録方法及び記録媒体

Info

Publication number: JP2002543695A
Application number: JP2000614670A
Authority: JP
Inventors: 研一西尾; 英二水谷
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-04-28
Filing date: 2000-04-28
Publication date: 2002-12-17
Also published as: EP1092323B1; WO2000065847A1; US7180629B1; DE60045363D1; EP1092323A1; JP2000311243A

Abstract

(57)【要約】電子カメラによって撮像されたカラー画像のデータに対して色補正を行う色補正方法及び色補正装置は、ニューラルネットワーク、多層パーセプトロンモデル及び／又は強制ニューロ−ファジイ干渉システムモデルを用いて、推定された光源に基づいて、カラー画像を表すデータに対する色補正を決定し、カラー画像を表すデータに対する補正を行う。色補正されたデータを表すデータは、記録又は伝送される。電子カメラによって撮像された画像データを記録するデータ記録方法は、カラー画像を撮像し、そのカラー画像を表すデータを出力し、撮像されたカラー画像の光源を推定し、推定された光源を表すデータを出力し、カラー画像を表すデータと推定された光源を表すデータを記録する。電子カメラによって撮像された画像データを伝送するデータ伝送方法は、カラー画像を撮像し、そのカラー画像を表すデータを出力し、撮像されたカラー画像の光源を推定し、推定された光源を表すデータを出力し、カラー画像を表すデータと推定された光源を表すデータを伝送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は、画像の色補正（color correction）に関し、特に電子カラーカメラ
（electronic color camera）により得られるカラー画像の色補正を行い、色補
正データを出力（transmission）する色補正方法及び装置（color device chara
cterization）と、カラー画像の色補正データを記録した記録媒体に関する。

【０００２】

【従来の技術】

従来、電子カラーカメラによって撮像された画像に対して色補正を行う方法に
は２つの方法がある。第１の方法は、電子カラーカメラの出力データを、色精度
（color accuracy）を高め、電子カラーカメラの出力色空間（output color spa
ce）と等しい色空間に直接変換するものである。例えば、電子カラーカメラの出
力空間が後述するＹＵＶであるとき、その色補正モデル（color correction mod
el）の入力及び出力空間は、ＹＵＶであるが、その出力されたＹＵＶデータの色
精度は高くなっている。以下、この方法を「機器固有色補正（device specific
color correction）」と呼ぶ。「ＹＵＶ」は画像伝送においてよく用いられる色
表現（color representation）である。「Ｙ」は輝度を表し、「Ｕ」は青から黄
を引いた色にほぼ一致する色の要素を表し、「Ｖ」は赤からシアンを引いた色に
ほぼ一致する色の要素を表している。他の色表現としては、「ＲＧＢ（赤、緑、
青）」や、１つの輝度要素と２つの色差要素からなる色空間を表す「ＹＣＣ」が
ある。上述したＹＵＶは、ＹＣＣ色表現の一例である。ＹＩＱは、ＹＣＣ色表現
の他の例であり、ここで、「Ｉ」は黄色っぽい赤から薄い青を引いた色にほぼ一
致する色の要素を表し、「Ｑ」は紫から緑色っぽい黄を引いた色にほぼ一致する
色の要素を表す。ＹＣｂＣｒ（輝度、色差−青、色差−赤）は、ＹＣＣ色表現の
更に他の例である。

【０００３】色補正の第２の方法は、２つのステップに分割される。第１のステップでは、
電子カラーカメラの出力色空間は、一旦元の測色空間（colorimetric space、Ｘ
ＹＺ又はＬ＊ａ＊ｂ）に変換される。この測色空間は、国際照明委員会（Intern
ational Illumination Committee：ＣＩＥ）、元々フランス語で公表されている
）によって定められた空間である。測色空間は、人間の目によって認識される自
然の物体の色を表現するものである。測色空間で表現された色情報は、電子カラ
ーカメラによって撮像された画像の元の色に一致する。第２のステップにおいて
、このような測色空間に変換された色情報は、出力機器（コンピュータのモニタ
又はプリンタ）に特化された色空間に変換され、その全体の画像処理操作（enti
re image path）によって表色的に正確な色表現が実現される。この２つのステ
ップの概念は、国際色彩委員会（International Color Committee：ＩＣＣ）に
おけるカラープロファイルフォーマット（color profile format）に即しており
、このプロファイルフォーマットは、色表現に比較的高い精度が求められるコン
ピュータの画像処理において広く用いられているフォーマットである。ＩＣＣの
概念に基づいた色補正の分野では、中間測色空間（intermediate colorimetric
space）は、しばしば「機器独立色空間（device independent color space）」
と呼ばれる。したがって、この色補正方法は、「機器独立色補正（device indep
endent color correction）」と呼ばれる。

【０００４】上述した機器独立色補正を行うためには、電子カラーカメラの色変換の逆写像
（inverse function）を求める必要がある。このステップは、電子カラーカメラ
のための「色補正装置の特性付け（color device characterization）」と呼ば
れ、電子カラーカメラによって撮像された画像の色補正を行う際に、このような
特性付けが採用される。電子カラーカメラの色変換の逆写像を求める従来の方法
は、イメージスキャナ（image scanner）の色変換の逆写像を求めるために広く
用いられている方法を応用したものである。ほとんどの電子カラーカメラは、イ
メージスキャナの信号処理と類似した信号処理を行っているので、この方法は効
率的であると考えられている。

【０００５】ＦＩＧ．１は、イメージスキャナとほとんどの電子カラーカメラの両方におい
て採用されている信号処理を示すブロック図である。ＦＩＧ．１に示すように、
イメージセンサカメラ１００のイメージセンサ１０４に入力されるデータを、測
色空間ＸＹＺにおけるデータとすると、これらのデータは、入力端子１０１、１
０２、１０３にそれぞれ供給される。イメージセンサ１０４の出力空間はＲＧＢ
であり、イメージセンサカメラ１００の出力空間はＹＣＣである。イメージセン
サカメラ１００からの出力データは、それぞれＹデータ、Ｃデータ、Ｃデータに
対応している出力端子１１０、１１１、１１２から得られる。

【０００６】ＦＩＧ．１に示すイメージセンサカメラ１００における色変換の逆写像を近似
するために、ＦＩＧ．２に示す単純な逆方向モデル（inverse-model）を用いる
ことができる。ＦＩＧ．２において、各ブロックは、ＦＩＧ．１における対応す
るブロックの逆変換を行う必要がある。対応するブロックは、１０４と１２４、
１５１と１６１、１５２と１６２、１５３と１６３、１０９と１２２である。特
に、マトリクス回路（matrix）１０４、１０９は、それぞれマトリクス回路１２
４、１２２の逆マトリクス回路である必要がある。通常、１次元ルックアップテ
ーブル（one-dimensional lookup table：１Ｄ−ＬＵＴ）１５１、１５２、１５
３によって実現されている階調特性曲線（tone reproduction curve：ＴＲＣ）
は、それぞれ１Ｄ−ＬＵＴ１６１、１６２、１６３の逆写像である必要がある。
この色補正モデルは、マトリクス回路とＴＲＣからなるため、「ＴＲＣ−マトリ
クスモデル（TRC-matrix model）」と呼ばれる。

【０００７】ＦＩＧ．１及びＦＩＧ．２に示すように、イメージセンサ１０４の色変換は、
３×３マトリクス回路１２４による線形変換（linear transformation）で近似
される。電子カラーカメラの色理論（color science）によれば、イメージセン
サのスペクトル解析特性（spectral analysis characteristics）は、ＣＩＥに
おいて規定されている等色関数（color matching function）ｘｙｚの線形結合
（linear combination）で表されるのが理想であるとされ、これらの関数は、人
間の目の色感度を表すスペクトル関数のセット（set）である。全ての電子カラ
ーカメラは、これらの理想的な特性を指標として設計されているため、多くの場
合、３×３マトリクス回路は、電子カラーカメラで用いられるイメージセンサを
近似することができ、これにより、電子カラーカメラの色変換の逆写像を非常に
正確に求めることができる。しかしながら、このＴＲＣ−マトリクスモデル法（
TRC-matrix model approach）では、条件により正確な色補正が行えない場合が
ある。

【０００８】近似の精度（approximation accuracy）イメージセンサの色変換を、ＴＲＣ−マトリクスモデルにおける３×３マトリ
クス回路（ＦＩＧ．２の１２４）でうまく近似することができないとき、正確な
色補正を行うことがでなくなる。この状態は、多くの初歩的な電子カラーカメラ
において生じることがある。また、この状態は、電子カラーカメラの信号処理が
、ＦＩＧ．１に示す構成に一致せず、ＦＩＧ．２に示す構成が、もはや電子カラ
ーカメラの逆モデルでないときに生じる。例えば、ＦＩＧ．３は、ＣＭＹＧ（シ
アン、マゼンタ、イエロー、グリーン、「補色（complementary color）」とも
いわれる。）の電子カラーカメラにおいて通常用いられている信号処理を示すブ
ロック図である。一見して、ＦＩＧ．２は、ＦＩＧ．３の信号処理の逆モデルと
して機能することができない。また、ＣＭＹＧ電子カラーカメラの信号処理を行
うための構造が複雑なため、ＦＩＧ．３に示す回路によって行われる信号処理の
単純な逆モデルを構築することは容易ではない。

【０００９】光源依存性（illuminant dependency）電子カラーカメラには、それがスチルカメラであるか、静止画を連続して、又
は動画を記録するカメラであるかに関わらず、特有の問題、具体的には色変換が
光源に依存するという問題がある。イメージスキャナは、いかなる場合でも、あ
る定まった備え付けの光源を用いて画像を撮像するのに対して、電子カラーカメ
ラは、様々な光源、例えば夜明け、日中又は夕方の屋外、蛍光灯、白熱灯又は他
の種類の人工照明を有する屋内、人工照明の組合せ、自然（屋外）照明と人工照
明の組合せの下に画像を撮像する。電子カラーカメラには、画像の撮像時の光源
を推定する機能があり、その電子カラーカメラにおける光源の推定に基づいて、
電子カラーカメラのＲ、Ｇ、Ｂチャンネルのゲイン設定が調整され、最終的な出
力画像において白い物体に対してＲ＝Ｇ＝Ｂとなるように調整される。この機能
は、「ホワイトバランス調整」と呼ばれ、ゲイン調整は、図示しないが、ＦＩＧ
．１のイメージセンサ１０４と１Ｄ−ＬＵＴ１０５の間で行われる。通常、電子
カラーカメラの色変換は、ホワイトバランス調整の設定によって変化する。すな
わち、電子カラーカメラは、その色変換において光源依存性を有する。これは、
電子カラーカメラによって生じる色歪み又はエラーが光源に依存して変化するこ
とを意味している。したがって、色補正を高い精度で行うためには、あり得る全
ての光源に対応できる電子カラーカメラの色変換の逆写像を用意する必要がある
が、それは実質的に不可能である。この問題を解決する１つの方法として、数種
類の代表的な光源の下での色変換の逆写像（通常、ＴＲＣ−マトリクスモデル又
は３次元ルックアップテーブルのいずれかを用いたＩＣＣ色プロファイルの形で
）を複数準備しておく方法がある。そして、ユーザは、どの逆写像が、ユーザが
実際に画像を撮像したときの光源に最も適合するかを考えて、予め設けられてい
る（preset）逆変換のセットの中から手動で選択しなければならない。これは、
ユーザにとって負担になるばかりか、ユーザが適切に選択しなかった場合には、
色補正が正しく行われないことになる。さらに、画像の撮像時の実際の光源が、
予め設けられている逆写像の中にない場合にも、色補正が正しく行われないこと
になる。これがルックアップテーブル（ＴＲＣ−マトリクス）に基づく方法にお
ける制約（limitation）である。このルックアップテーブルに基づいた方法にお
ける他の制約としては、複数の光源下では色補正が正しく行われないことがある
。ＴＲＣ−マトリクスモデル法に代わる方法として、３次元ルックアップテーブ
ル（３Ｄ−ＬＵＴ）がある。この３Ｄ−ＬＵＴは、ＴＲＣ−マトリクスよりも正
確であるが、補正モデルのサイズが巨大であり、ＴＲＣ−マトリクスモデル法の
場合と同様に、複数の光源下では適切な色補正が行われない。したがって、任意
の光源下で、電子カラーカメラによって撮像された画像の色補正を正確に行う方
法及び装置が所望されている。

【００１０】発明の開示本発明の目的は、様々な光源下で電子カラーカメラによって撮像された画像の
色補正を行う色補正方法及び装置を提供することである。

【００１１】また、本発明の目的は、カラー機器（color device）の特性付け（characteri
zation）を行う方法及び装置を提供することである。

【００１２】さらに、本発明の目的は、組み合わせられた光源下で電子カラーカメラによっ
て撮像された画像の色補正を行う色補正方法及び装置を提供することである。

【００１３】さらにまた、本発明の目的は、色補正されたカラー画像を表すデータが記録さ
れた記録媒体を提供することである。

【００１４】さらにまた、本発明の目的は、色補正されたカラー画像を表すデータを伝送す
るデータ伝送方法を提供することである。

【００１５】本発明の特徴は、カラー画像を表すデータに対する補正を決定するためのルッ
クアップテーブル法の限界を克服するために、ニューラルネットワークを関数の
近似装置として用いることによって、カラー画像に対する色補正を行うことであ
る。

【００１６】また、本発明の特徴は、カラー画像を表すデータに対する補正を決定するため
に、ニューラルネットワークの一種である多層パーセプトロン（multilayer per
ceptron：ＭＬＰ）を用いることによって、カラー画像に対する色補正を行うこ
とである。

【００１７】さらに、本発明の特徴は、カラー画像を表すデータに対する補正を決定するた
めに、強制ニューロ−ファジイ干渉システム（coactive neuro-fussy inference
system：ＣＡＮＦＩＳ）モデルニューラルネットワークの一種である多層パー
セプトロン（multilayer perceptron：ＭＬＰ）を用いることによって、カラー
画像に対する色補正を行うことである。

【００１８】さらにまた、本発明の特徴は、複数光源下で、電子カラーカメラによって撮像
されたカラー画像に対して自動色補正を行うことである。

【００１９】さらにまた、本発明の特徴は、画像データをＸＹＺ空間に変換することにより
、白色点及びカメラの外での高度な光源の推定による色をより正確に得られるこ
とである。

【００２０】さらにまた、本発明の特徴は、教示データセットを修正又は置き換えることに
より、色の恒常性を容易に実現することである。

【００２１】本発明の利点は、電子カラーカメラによって撮像された画像を、従来のＴＲＣ
−マトリクス法で達成できるよりも高い精度で色補正することである。

【００２２】また、本発明の利点は、電子カラーカメラのユーザが、撮影中や写真の表示及
び／又は印刷時に、色補正に時間をかけずに、構図に集中できることである。

【００２３】本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色
補正方法において、ニューラルネットワークを用いて、カラー画像の推定された
光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光
源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うス
テップとを有する色補正方法を提供する。

【００２４】また、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正方法において、多層パーセプトロンモデルを用いて、カラー画像の推
定された光源に基づいてカラー画像を表すデータに対する補正を決定するステッ
プと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正
を行うステップとを有する色補正方法を提供する。

【００２５】さらに、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正
を行う色補正方法において、強制ニューロ−ファジイ干渉システムモデルを用い
て、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補
正を決定するステップと、光源は複数の光源からなっており、カラー画像を表す
データに対して補正を行うステップとを有する色補正方法を提供する。

【００２６】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー
画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カ
ラー画像を表すデータに対して補正を行うニューラルネットワークを備える色補
正装置を提供する。

【００２７】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー
画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カ
ラー画像を表すデータに対して補正を行う多層パーセプトロンモデルを備える色
補正装置を提供する。

【００２８】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー
画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カ
ラー画像を表すデータに対して補正を行う強制ニューロ−ファジイ干渉システム
モデルを備える色補正装置を提供する。

【００２９】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正データが記録された記録媒体において、ニューラルネットワークを用いて、
カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を
決定するステップと、光源は複数の光源からなっており、カラー画像を表すデー
タに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に
記録するステップによって用意される記録媒体を提供する。

【００３０】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正データが記録された記録媒体において、多層パーセプトロンモデルを用いて
、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正
を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデ
ータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体
に記録するステップによって用意される記録媒体を提供する。

【００３１】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正データが記録された記録媒体において、強制ニューロ−ファジイ干渉システ
ムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデ
ータに対する補正を決定するステップと、光源は複数の光源からなっており、カ
ラー画像を表すデータに対して補正を行うステップと、補正されたデータを表す
データを記録媒体に記録するステップによって用意される記録媒体を提供する。

【００３２】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正されたデータを伝送するデータ伝送方法において、ニューラルネットワーク
を用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対
する補正を決定するステップと、光源は複数の光源からなっており、カラー画像
を表すデータに対して補正を行うステップと、補正されたデータを表すデータを
伝送するステップを有するデータ伝送方法を提供する。

【００３３】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正されたデータを伝送するデータ伝送方法において、多層パーセプトロンモデ
ルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに
対する補正を決定するステップと、光源は複数の光源からなっており、カラー画
像を表すデータに対して補正を行うステップと、補正されたデータを表すデータ
を伝送するステップを有するデータ伝送方法を提供する。

【００３４】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正されたデータを伝送するデータ伝送方法において、強制ニューロ−ファジイ
干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画
像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっ
ており、カラー画像を表すデータに対して補正を行うステップと、補正されたデ
ータを表すデータを伝送するステップを有するデータ伝送方法を提供する。

【００３５】さらにまた、本発明は、電子カメラによって撮像された画像データを記録する
データ記録方法において、カラー画像を撮像して、画像を表すデータを出力する
ステップと、撮像されたカラー画像における光源を推定して、推定された光源を
表すデータを出力するステップと、画像を表すデータと推定された光源を表すデ
ータとを記録するステップとを有するデータ記録方法を提供する。

【００３６】さらにまた、本発明は、電子カメラによって撮像された画像データを伝送する
データ伝送方法において、カラー画像を撮像して、画像を表すデータを出力する
ステップと、撮像されたカラー画像における光源を推定して、推定された光源を
表すデータを出力するステップと、画像を表すデータと推定された光源を表すデ
ータとを伝送するステップとを有するデータ伝送方法を提供する。

【００３７】これらと他の目的、特徴及び利点は、以下の詳細な説明と添付の図面を参照す
ることにより明らかになる。

【００３８】

【発明の実施の形態】

上述した課題を解決するために、ニューラルネットワーク（例えばＭＬＰ）又
はＣＡＮＦＩＳニューロ−ファジイモデルが用いられる。本発明は、「機器固有
（device specific）」方式と「機器独立（device independent）」方式の両方
に応用することができるが、ここで開示している実施の形態では、機器独立の色
補正について説明する。なお、ＭＬＰは、良く知られたニューラルネットワーク
のうちの一種類にすぎない。また、ここでは、ニューラルネットワークについて
述べるが、ＭＬＰ又は他の種類のニューラルネットワークを用いることができる
。

【００３９】ＭＬＰを用いた単一の光源での色補正上述したように、ＴＲＣ−マトリクスモデル（ＦＩＧ．１）を用いた色補正が
１つの定まった既知の光源下でも正確に行われないのは、電子カラーカメラが、
理想的ではなく（non-ideality）、線形でなく（nonlinearity）、また構造的に
複雑であることに起因している。補正の精度を高めるために、ＴＲＣ−マトリク
スモデルの代わりに、ＦＩＧ．４Ａに示すニューラルネットワーク又はＦＩＧ．
４Ｂに示すＭＬＰモデルを用いることができる。ＦＩＧ．４Ａにおいて、いかな
る種類のニューラルネットワーク、例えばＦＩＧ．４ＢのＭＬＰを用いることが
できる。このニューラルネットワークモデル（例えばＭＬＰ）では、１つの定ま
った光源に基づいて補正が行われるため、以下、この補正を「単一光源」色補正
と呼ぶ。ニューラルネットワーク（例えばＭＬＰ）を用いた色補正モデルは、こ
れまで、色変換が非常に非線形であり、（電子カラーカメラの場合における光源
の色に対応した）白色点（white point）が定まっているとされているようなプ
リンタ等の画像機器にのみ用いられてきた。

【００４０】ＦＩＧ．４Ａに示すように、画像データは、Ｙ入力端子１、Ｃ入力端子２、Ｃ
入力端子３を介してニューラルネットワーク４に入力される。画像データは、電
子カラーカメラから供給される。電子カラーカメラの代わりに、再生装置及び／
又は伝送媒体から画像データを入力端子１、２、３に供給するようにしてもよい
。色補正に必要な光源情報は電子カラーカメラからのみ得られるので、後者の例
においては、光源情報は、画像データとともに記録及び／又は伝送されるか、い
ずれの方法によってニューラルネットワーク４に入力される必要がある。電子カ
ラーカメラからの画像データを伝送又は記録する場合、多くの画像データフォー
マットには、イメージプリンタでは使用されない領域又は空間（space）が含ま
れている。このような領域又は空間は、通常、撮像日、電子カラーカメラの機種
又は電子カラーカメラの製造元を記録するために用いることができる。したがっ
て、１つ以上の未使用の領域又は空間を光源情報に割り当てることができ、画像
データを光源情報とともに記録及び／又は伝送した後に、その画像データに色補
正を施す。

【００４１】ニューラルネットワーク４は、測色空間ＸＹＺおけるＸ出力端子５、Ｙ出力端
子６、Ｚ力端子７を備える。ＦＩＧ．４Ｂに示すように、ＭＬＰは、電子カラー
カメラからの出力値（ＲＧＢ又はＹＣＣ）のための、参照符号１１、１２、１３
でそれぞれ示される３つの入力ノードＹ、Ｕ、Ｖを備える。また、ＭＬＰは、参
照符号１４、１５、１６でそれぞれ示される３つの出力ノードＸ、Ｙ、Ｚを備え
る。出力ノードＸ、Ｙ、Ｚは、機器独立色補正では測色値（ＸＹＺ又はＬ＊ａ＊
ｂ）を、機器固有色補正ではＲＧＢ又はＹＣＣの目標出力値を出力する。これら
の測色値又は色補正された出力値は、出力機器の特性付けモデル（characteriza
tion model）を介して、プリンタ又は表示モニタ等の画像出力機器に供給される
。これらの値は、直接画像出力機器に供給されてもよい。あるいは、これらの値
は、符号化及び／又は圧縮された後、記録装置によって磁気ディスク、光ディス
ク、光磁気ディスク、個体メモリ等の記録媒体に記録されたり、インターネット
、電話回線、専用線、無線、光媒体等の伝送媒体を介して伝送される。

【００４２】ＭＬＰのパラメータを最適化するために、「教示」データ集合（training dat
a set）と呼ばれる入力−出力サンプル集合（a set of input-output samples）
が与えられる。入力−出力サンプル集合は、入力ＹＵＶと所望の出力ＸＹＺの対
である代表色サンプル（representative color sample）を含んでいる。そして
、与えられた課題（task）は、非線形最小二乗の問題（nonlinear least square
s problem）として数式で表され、この目的は、所望の出力とそのモデルの出力
間の二乗誤差（squared error measure）を最小化することによって、ＭＬＰの
パラメータを最適化することである。

【００４３】二乗誤差である求める関数Ｅ（．）は、残差（residual）ベクトルｒ（θ）を
用いて、以下のように表される。

【００４４】Ｅ（θ）＝（１／２）ｒ^Ｔ（θ）ｒ（θ）パラメータの最適化は、そのモデルによって最終的に所望の出力が得られるよ
うに反復して行われる。この反復プロセスは、ニューラルネットワークの分野で
は「教示」（又は「学習（learning）」）と呼ばれる。

【００４５】ＭＬＰの近似性能（approximation capacity）は、多くの場合、「教示」デー
タセットとは異なり、パラメータの調整には用いられない「チェック（checking
）」データセットと呼ばれるデータセットを用いて評価される。ニューラルネッ
トワーク、特にＭＬＰの１つの重要な利点は、教示データセット以外の入力デー
タに対して解が得られることである。

【００４６】上述した「機器独立」色補正の問題において、ＭＬＰは、電子カラーカメラの
応答信号（例えばＲＧＢ又はＹＣＣ）から測色値（例えばＸＹＺ又はＬ＊ａ＊ｂ
）へのマッピングを作成するように学習させられる。「機器固有」色補正の問題
において、ＭＬＰの望ましいマッピングは、エラーがある電子カラーカメラの応
答信号（ＲＧＢ又はＹＣＣ）から、それに対応する正しいＲＧＢ又はＹＣＣ信号
にマッピングすることである。いずれにしろ、これらの入力−出力サンプルは、
色空間全体に均一に分布する標準マクベスカラーチェッカ（standard ColorChec
ker）又はマンセルカラーパッチ（Munsell color patch）を用いて集められる。

【００４７】なお、ある単一の光源下でデータが集められる場合、課題はいわゆる単一光源
の問題となり、この問題はイメージスキャナによって撮像された画像の色補正に
おいて偏在するものである。

【００４８】ＭＬＰを用いた複数の光源での色補正ＦＩＧ．５に示すように、（画像の撮像時の）任意の光源下で電子カラーカメ
ラによって撮像された画像の色補正を自動的に行うために、ＭＬＰモデルが用い
られる。ＭＬＰモデルは、機器独立補正の場合、画像の撮像時に用いられる光源
によって、そのマッピング、すなわち電子カラーカメラの逆写像を自動的に調整
するように学習させられる。以下、これを「複数光源（multi-illuminant）」色
補正と呼ぶ。画像の撮像時にどの光源が用いられたかを正確に知ることは難しい
ので、ＭＬＰモデルは、電子カラーカメラが内蔵する光源推定データ（すなわち
ホワイトバランスデータ）を用いる代わりに、ＦＩＧ．５の上部に示すように、
例えば光源の色に対して測定されたＲ、Ｇ、Ｂから得られるＲ／Ｇ値及びＢ／Ｇ
値を用いる。ＦＩＧ．５において、「パナホワイト」は、日本国大阪の松下電器
産業株式会社によって日本で販売されている「白色」蛍光管の商標である。「メ
ロウｄ」は、日本国東京の東芝ライテック株式会社によって日本で販売されてい
る「自然光」タイプの蛍光管の商標である。なお、ＦＩＧ．５の上部（ホワイト
バランス面）の代わりにＦＩＧ．１３を用いてもよい。

【００４９】複数光源に対する色補正において用いられるＭＬＰモデルには、光源情報を入
力するためのさらなるノードが必要である。例えば、光源の色度が２つの値のセ
ットで示される場合は、２つのさらなる入力ノードが用いられる。その結果、こ
の課題におけるＭＬＰモデルは、ＦＩＧ．５に示すように、参照符号１７、１８
、１９、２０、２１でそれぞれ示される５つの入力ノードＢ／Ｇ、Ｒ／Ｇ、Ｙ、
Ｕ、Ｖと、参照符号２２、２３、２４でそれぞれ示される３つの出力ノードＸ、
Ｙ、Ｚとを有する。出力Ｘ、Ｙ、Ｚは、変換、正規化、符号化及び／又は圧縮さ
れた後、磁気ディスク、光ディスク、光磁気ディスク、個体メモリ等の記録媒体
に記録されたり、インターネット、電話回線、専用線、無線、光媒体等の伝送媒
体を介して伝送されてる。

【００５０】本発明の実施の形態では、複数光源の色補正モデルを学習するために、以下の
ステップが用いられる。（１）複数の代表的な光源下において、電子カラーカメラからの出力値と、カラ
ーサンプルのセットからの測色値（機器独立補正に対して）とを測定する。ここ
で、Ｎは、カラーサンプルの数であり、Ｍは、対象とする代表的な光源の数であ
り、したがって、教示データセットの総量は、Ｎ＊Ｍである。（２）各光源について、ホワイトバランスを合わせるためのＲＧＢチャンネルの
ゲインデータを測定するか、又は光源の色に対するＲＧＢチャンネルの信号値を
測定する。（３）測定された３つの値を、例えばＲ／ＧとＢ／Ｇのような２つの色度値（ch
romaticity value）に変換する。これらのデータは、後述するＣＡＮＦＩＳニュ
ーロ−ファジイモデルのためのファジイメンバーシップ関数を構築する方法にお
いて、光源情報をより特性付けるために、更なる処理が施される。（４）上述したように、ＭＬＰは、データセット（１）を用いて学習させられる
。同時に、データ（１）が測定されるときの光源情報であるデータセット（３）
が入力ノード１７（Ｂ／Ｇ）及び１８（Ｒ／Ｇ）供給される。

【００５１】上述したステップが完了した後、ＭＬＰモデルは、電子カラーカメラの出力値
と光源情報を入力することによって、元の場面の測色値を出力する。電子カラー
カメラの色変換における光源依存性は、光源情報を参照することによって自動的
に補償される。画像の撮像時に実際に用いられた光源が、ＭＬＰの学習に用いら
れた代表的な光源のいずれにも一致しないときは、ＭＬＰは、電子カラーカメラ
の光源間の色変換の逆写像を自動的に近似する。

【００５２】ＭＬＰモデルの学習法ＭＬＰは、非線形特性を有しているので、上述したＮＮ非線形の最小二乗の問
題を解くための有効な反復法が求められる。多くの試験によって、レベンバーグ
−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッ
グレッグトラストリージョン（dogleg trust region）の実施がこの問題を解く
のに有効であることが分かった。より詳しくは、ドッグレッグ（dogleg）法によ
って、トラストリージョン（trust region）内での制限されたレベンバーグ−マ
ーカート（Levenberg-Marquardt）ステップの有効な区分的線形近似が導かれる
。

【００５３】ＦＩＧ．６Ａ及びＦＩＧ．６Ｂは、コーシー（Cauchy）ステップとニュートン
（Newton）又はガウス−ニュートン（Gauss-Newton）ステップによって描かれた
２次元のサブスペースにおいて、ドッグレッグステップがトラストリージョンス
テップを近似する様子を示している。（ＦＩＧ．６Ａで強調表示されている）区
分的線形のくの字形の軌道とトラストリージョンの境界線との接点は、次の３つ
のステップのうちの１つによって導かれる。１．制限コーシーステップ

【００５４】

【数１】

【００５５】トラスト半径（trust radius）Ｒ_ｎｏｗが、上記の式で表されるコーシーステ
ップS_{Ｃａｕｃｈｙ}の長さよりも短いとき、制限コーシーステップは次にように
表される。

【００５６】

【数２】

【００５７】ここで、ｇとＨは、それぞれグラディエントベクトル（gradient vector）と
ヘシアンマトリクス（Hessian matrix）である。２．ニュートンステップトラスト半径が、ニュートンステップの長さ以上であるとき、ニュートンステ
ップは次のように表される。

【００５８】

【数３】

【００５９】３．ドッグレッグステップトラスト半径がコーシーステップとニュートンステップとの間の長さであると
き、ドッグレッグステップは次にように表される。

【００６０】

【数４】

【００６１】モデルの最適化のために、これらのステップのうちの１つが、次のような反復
方式によって、反復毎に用いられる。

【００６２】 θ_ｎｅｘｔ =θ_ｎｏｗ+ηd ここで、ｄは方向ベクトルであり、ηはその方向に進む程度を規制する特定の
正のステップの大きさである。ＦＩＧ．６Ａのパラメータｈは、次のような単純
な計算で求められる。

【００６３】

【数５】

【００６４】ここで、P_ｎｏｗは次のようである。

【００６５】

【数６】

【００６６】ドッグレッグトラストリージョン法の利点は、そのアルゴリズムを強力にして
、最急降下法（全体の収束特性（global convergence property））とニュート
ン法（速い局部的な収束特性（fast local convergence property））とをスム
ーズに切り替えられることである。例えば、次のステップが不具合であるとき、
ドッグレッグアルゴリズムはそのステップの長さを短くして、単一のトラストリ
ージョン制御に基づいて、そのステップを同時にかつ効果的に最急降下の方向に
曲げる。

【００６７】以下の表１は、単一の光源（Ｄ６５−光源）の問題における３つの代表的な非
線形の最適化のアルゴリズムの収束速度を比較している。

【００６８】

【表１】

【００６９】これは、３つの代表的な学習アルゴリズムにおける、ＴＲＣ−マトリクス式の
モデルとＭＬＰモデルとの間の測定されたＸＹＺ値の二乗平均誤差を比較してい
る。なお、最後の列「停止期間（stopped epoch）」において、７個の隠れユニ
ットを用いた（３×７×３）モデルにのみ、必要な実行時間が括弧書きで示され
ている。表１から明らかなように、単一光源の色補正の問題においては、ドッグ
レッグ主導のレベンベルグ−マルカルドのアルゴリズムを用いる場合が、表１に
示す他の試験された学習法を用いる場合よりも速く収束する。このようなパフォ
ーマンスの比較は、Color device characterization of electronic cameras by
solving adaptive networks nonlinear least squares oriblems, Eiji Mizuta
ni (本出願の発明者), Kenichi Nishio (本出願のもう１人の発明者), Naoya Ka
toh and Michael Blasgen, 8th IEEE International Conference on Fussy Syst
ems (FUZZ-IEEE' 99), Seoul, Korea, August 22-25, 1999で更に論じられてい
る。この論文とその図面は、参考のために添付してある。さらに、ドッグレッグ
トラストリージョンのアルゴリズムは、Computing Powell's Dogleg Steps for
Solving Adaptive Networks Nonlinear Least Squares Problems, Eiji Mizutan
i(本出願の発明者),8th International Fuzzy Systems Association World Cong
ress (IFSA'99), Hsinchu, Taiwan, August 17-20, 1999とPowell's dogleg tru
st-region steps with the quasi-Newton augmented Hessian for neural nonli
near least-squares learning, Eiji Mizutani(本出願の発明者), The IEEE Int
ernational Conference on Neural Networks, Washington D.C., July 10-16, 1
999とで更に論じられている。この２つの論文とその図面は、参考のために添付
してある。

【００７０】ＦＩＧ．７は、単一のＭＬＰアプローチと、従来のルックアップテーブルに基
づいた（ＴＲＣ−マトリクス）アプローチとのＤ６５光源下での色差を比較して
いる。ここでは、２５個の全ての色差（２４個のマクベスカラーチェッカと１個
の「完全な黒」のカラーサンプル）が１０より小さくなければならない。ＭＬＰ
に基づいた方法では、色差がＤ６５光源下で２５個の全てのカラーサンプルにお
いて上限のしきい値（１０に設定されている）を下回っているのに対し、従来の
ルックアップテーブルに基づいた（ＴＲＣマトリクス）方法ではそのようになっ
ていないことが、ＦＩＧ．７によって明確に示されている。

【００７１】ＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正ＣＡＮＦＩＳニューロ−ファジイモデルは、問題に特定された知識に基づいて
自動的に「複数光源」での色補正を行うために特に作られており、この問題に特
定された知識とは、ファジイif-then規則の集合を表す。具体的には、「IF部」
はファジイメンバーシップ関数（ＭＦ）で表され、「THEN部」はローカルエキス
パート（local-expert）ＭＬＰによって構築されている。これは、いわゆる「ニ
ューラル規則を持ったＣＡＮＦＩＳ」モデルである。

【００７２】具体的には、ファジイメンバーシップ関数を構築する方法に関して後述するよ
うに、４つのファジイ規則が、ファジイ分割に従って、２次元に変換されたホワ
イトバランス面上に示されている。その結果のＣＡＮＦＩＳニューロ−ファジイ
モデルは、ＦＩＧ．８に示すように、４つのファジイＭＦ（各軸に２つずつ）と
４つの対応するローカルエキスパートＭＬＰからなる。入力ベクトルは、IF部（
ＭＦ）とTHEN部（ＭＬＰ）の次の２つのベクトルに分割される。

【００７３】１．ファジイＭＦに供給される撮像時の光源情報である２つの入力信号２．ローカルエキスパートＭＬＰに供給される電子カラーカメラからの出力信
号（例えばＹＵＶ）である３つの入力信号ＣＡＮＦＩＳモデルは、次の式によって、ローカルエキスパートＭＬＰからの
出力信号の処理された合計を、最終的な出力ベクトルＡ（例えばＸ、Ｙ、Ｚの色
信号）として計算する。

【００７４】

【数７】

【００７５】ここで、g_ｉとO_ｉは、それぞれi番目の発火強度（firing strength）とi番目
のＭＬＰの出力ベクトルである。各発火強度は、IF部のＭＦ出力からの出力信号
によって求められたものであり、対応するTHEN部のＭＬＰが最終的な出力にどれ
だけ影響を与えたかを表している。この文脈では、IF部のＭＦの集合は、発火し
たTHEN部のＭＬＰからの出力を統合した集積部としての役割を果たす。

【００７６】通常、集積部はベル形の微分可能なファジイＭＦからなっており、その近隣の
ＭＦと十分な重複部分があるように設定されている。したがって、対応する全て
のローカルエキスパートＭＬＰは、Ａの値を導く式によって最終的な出力を出す
ように補間的に機能する。一方、集積部が重複部分のない長方形のＭＦでできて
いて、スイッチング部となっている場合、単一のローカルエキスパートＭＬＰの
みが最終的な出力に貢献することになる。g_ｉ値のうちの１つのみが「ユニット
」となり、それ以外は全て「０」となる。このような単一の０でないg_ｉは、ｉ
番目の「発火した」ローカルエキスパートＭＬＰと対応している。すなわち、ロ
ーカルエキスパートＭＬＰは、補間的というよりむしろ競合的に機能している。
換言すれば、ＣＡＮＦＩＳの概念は、スイッチングのような極端なケースを除い
て、基本的にファジイＭＦとローカルエキスパートＭＬＰの中の相乗作用にある
。

【００７７】ＣＡＮＦＩＳモデルには、ローカルエキスパートＭＬＰにのみ適切な建設的又
はアルゴリズミックな修正を行うだけで、（ファジイ規則が意味のある限界に保
たれるように）ファジイＭＦの数を増やさずに、学習能力を増大させることがで
きるという利点がある。例えば、このような修正によって、ＭＬＰの隠れノード
／レイヤの数が調整される。なお、THEN部のＭＬＰの隠れ部分が取り除かれると
、ＣＡＮＦＩＳモデルはローカルチューニングラジアル基底関数ネットワーク（
Radial Basis Function Network：ＲＢＦＮ）モデルとされてもよい。すなわち
、ＣＡＮＦＩＳモデルは汎用のローカルチューニングニューラルネットワークと
見なされてもよい。

【００７８】このモデルの欠点を挙げるとすれば、単一のＭＬＰモデルと比較して、構造が
複雑で、より多くの学習データが必要であるために学習が遅いことである。した
がって、課題が限られた少ない量の学習データのみを有する場合は、単一のＭＬ
Ｐモデルを選択する方がよい。複数光源での色補正のためのＣＡＮＦＩＳニュー
ロファジイモデルを学習する方法とともに、ＣＡＮＦＩＳモデルによって得られ
た実験結果を以下に示す。

【００７９】線形規則のあるＣＡＮＦＩＳのモデルは、周知の高木−菅野（「ＴＳＫ」又は
「菅野式」とも呼ばれる）ファジイ推論モデルと同等である。制御工学の分野で
は、迅速な応答が重要であるため、このＴＳＫモデルは圧倒的に最も広く用いら
れているファジイシステムである。この迅速さは、線形規則の実行が非線形規則
の実行より遙かに単純であるために計算上の優位があるからである。

【００８０】ＣＡＮＦＩＳモデリングと線形規則を持ったＣＡＮＦＩＳは、テキストNeuro-
Fuzzy and Soft Computing, A Computational Approach to Learning and Machi
ne Intelligence, by Jyh-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizuta
ni(本出願の発明者), Prentice Hall, Upper Saddle River, New Jersey 07458,
1997, third printingの３６９〜４００頁及び５７２〜５９２頁で詳しく説明
されている。このページ部分とその図面は、参考のために添付してある。

【００８１】上述したＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正
のためのファジイメンバーシップ関数を構築する方法ファジイ分割ＣＡＮＦＩＳニューロ−ファジイモデルでは、ファジイメンバーシップ関数（
ＭＦ）がＭＦ入力空間を複数のローカルエキスパートの領域に分割する。したが
って、ある特定のローカルエキスパートの領域の中心に近づいたデータはそのほ
かのローカルエキスパートのパラメータの更新にそれほど影響を受けない。この
ローカルチューニングの機構によって、「ローカルエキスパート」が主にそれ自
体のローカル領域の近辺で局地的に最適に学習することができる。

【００８２】ＦＩＧ．９に示す複数光源の問題において、ハロゲンの光源の領域のデータは
、ホワイトバランス面上の「自然光の光源」曲線の他端にあるＤ９０光源の領域
のローカルエキスパートのＭＬＰに大きな影響を与えないようになっている。こ
れらの２つの対極する領域は適切な分割により何かしらの方法で分割されている
はずである。ファジイＭＦは、ＦＩＧ．１０に示すように、（「はっきり」では
なく）「あいまい」な方法で、ホワイトバランス面上の光源の領域を分割するの
に重要な役割を果たしている。ＦＩＧ．１０において、ハロゲンとＤ６５の２つ
の代表的な光源が選択され、「自然光の光源」の曲線に対応するＸ軸上の２つの
ＭＦの最初の中心点が決定される。これは、その曲線におけるその位置が課題の
中で重要な特性として選択されていることを意味する。ＦＩＧ．１０におけるＸ
軸上の２つの符号「Ａ１」と「Ａ２」は、それぞれ「ハロゲン」と「Ｄ６５」を
表しており、ここでは、Ａ１−ＭＦの値／程度は、その光源が「ハロゲン」の光源にどれだけ近いかを
示しており、Ａ２−ＭＦの値／程度は、その光源が「Ｄ６５」の光源にどれだけ近いかを示
している。

【００８３】１つの特性だけでは、各光源の領域を適切に示すのに十分でないことは明白で
ある。別の重要な特性は、「自然光」の光源と「蛍光」の光源との区別である。
したがって、２つの対応するＭＦ（「蛍光」はＢ１で、「自然光」はＢ２）がＹ
軸に構築されており、蛍光の光源と自然光の光源との近さを表している。ここで
は、Ｂ１−ＭＦの値は、「蛍光」の光源の曲線にどれだけ近いかを示しており、Ｂ２−ＭＦの値は、「自然光」の光源の曲線にどれだけ近いかを示している。

【００８４】このように、ＦＩＧ．９の「混合」の曲線における各混合した光源は、例えば
、４０％の自然光の光源と６０％の蛍光の光源からなる光源の場合のように、「
自然光」の光源又は「蛍光」の光源に対するメンバーシップの程度によって特性
付けされている。ＦＩＧ．９において、「ルピカエース」は、日本国東京の三菱
電機株式会社によって日本で販売されている「自然光」タイプの蛍光管の商標で
ある。ＦＩＧ．９とＦＩＧ．１０におけるＸ軸とＹ軸は等しくないため、特定の
「非線形」の座標変換が必要である。このような座標変換を以下に示す。

【００８５】ホワイトバランス面における非線形座標変換ＦＩＧ．１１は、元のＲ／Ｂ−Ｇ／Ｂのホワイトバランス面における試験的な
データセットの実際のデータ分布を示している。ＦＩＧ．１１をＦＩＧ．１０に
合わせるには、適切な座標変換を行う必要がある。まず、単純な目盛の均等化が
行われ、ＦＩＧ．１２のようになる。次に、ニューラルネットワーク非線形座標
変換が行われ、ＦＩＧ．１３のようになり、ＦＩＧ．１３はＦＩＧ．１０の座標
と合うデカルト座標となっている。なお、多くの他の非線形変換でもよい。

【００８６】非線形座標変換によって、単純な「格子」分割が行われるため、これの重要性
は軽視できない。ラジアル基底関数ネットワーク（radial basis function netw
ork：ＲＢＦＮ）によってよく作られる「散布」分割には幾つかの利点がある。
ＲＢＦＮは、上述したテキストNeuro-Fuzzy and Soft Computing, A Computatio
nal Approach to Learning and Machine Intelligenceの２３８〜２４６頁及び
３６９〜４００頁、特に３７３頁の図１３．３で詳しく説明されており、このペ
ージ部分とその図面は、参考のために添付してある。

【００８７】更に詳しくは、非線形座標変換には次の利点がある。１．言語的解釈性は十分に高く保たれ、人間の直感的な理解に合致する。２．要求される（基礎）関数の数が少なくなる。

【００８８】利点１は、散布又は樹形の分割の場合には明確な言語的ラベルが各ＭＦにうま
く現れないことを示唆している。利点２は、例えば、Ｘ−Ｙ座標面上に９つのロ
ーカル領域を作るために、ＲＢＦＮでは９つの基礎関数が必要であるのに対して
、ＣＡＮＦＩＳモデルでは６つのＭＦ（各軸に対して３つのＭＦ）が必要である
ということを示している。したがって、関数パラメータの総数が異なることにな
る。分割に関するより詳細な説明は、上述したテキストNeuro-Fuzzy and Soft C
omputing, A Computational Approach to Learning and Machine Intelligence
の８６、８７頁でなされており、このページ部分とその図面は、参考のために添
付してある。

【００８９】複数光源での色補正のためのＣＡＮＦＩＳニューロ−ファジイモデルの学習法ＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正に関連し
て、上述したＣＡＮＦＩＳニューロ−ファジイモデルを学習するために、多くの
非線形最適化アルゴリズムを採用してもよい。モデルは、ＦＩＧ．８に示すよう
に、次の２つの主なパラメータの成分からなる。

【００９０】（１）ファジイＭＦ（IF部）（２）ローカルエキスパートＭＬＰ（THEN部）これら２つの成分のパラメータを更新するための最適化アルゴリズムを適用する
のには多くの選択肢がある。例えば、次の方法がある。

【００９１】（方法Ａ）IF部のＭＦとTHEN部のＭＬＰの両方に同じ最適化アルゴリズムを適
用する。

【００９２】（方法Ｂ）IF部のＭＦとTHEN部のＭＬＰに異なる最適化アルゴリズムを適用す
る。

【００９３】これらの方法は、システム主体又は構成要素主体のいずれかの方法で実施され
うる。システム主体の学習では、ＣＡＮＦＩＳニューロ−ファジイモデルのＭＦ
とＭＬＰの全ての構成要素は、１つのシステムとして同時に学習させられ、その
最終的な出力は上述したようにＡの値を出すための上述した式によって計算され
る。構成要素主体の学習では、各ＭＦ又はＭＬＰは、独立して調整／学習させら
れ、全ての構成要素がまとめられてＣＡＮＦＩＳニューロ−ファジイモデルを構
成し、その最終的な出力は上述したようにＡの値を出すための上述した式によっ
て計算される。

【００９４】ＦＩＧ．８を参照して、構成要素主体法についてより詳細に説明すると、各ロ
ーカルエキスパートＭＬＰは、通常所望の最終的な出力ベクトルＡ（すなわち、
Ｘ、Ｙ、Ｚ）を出力ベクトルO_ｉとして出力するように学習させられる。一方で
、システム主体の学習法では、（上述した）最終的な出力ベクトルＡは所望の３
つの値Ｘ、Ｙ、Ｚに合致するようになされているが、各ローカルエキスパートＭ
ＬＰの出力ベクトルO_ｉは必ずしもそれに近くなくてもよい。すなわち、出力ベ
クトルO_ｉは不明でもよい。ＦＩＧ．８には、各ローカルエキスパートＭＬＰの
３つの出力ノードがＸ、Ｙ、Ｚによって表されているが、これは、単にどのノー
ドがどの信号と対応しているかを示すためである。

【００９５】更に、教示データの処理によって次の３つの異なるパラメータ更新モードがあ
る。

【００９６】（１）オンラインのパターン毎の更新モード（２）ブロック毎の更新モード（３）バッチ更新モードしたがって、ＣＡＮＦＩＳモデルへの最適化アルゴリズムの適用方法は多くあ
る。なお、方法Ａと方法Ｂのいずれが用いられるかに関わらず、構成要素主体の
学習は、高精度な結果を得るのには疑問がある。これは、上述したようにＡの値
を出すための上述した式に依存しているにもかかわらず、ローカルエキスパート
ＭＬＰの出力は、ファジイＭＦの発火強度から独立して最適化されているからで
ある。したがって、カラー画像の色補正に必要なように、ＣＡＮＦＩＳモデルに
よって非常に正確な入力／出力マッピングを行うことが必要なときは特に、もう
一方のシステム主体の学習のほうが遙かに実用的に重要である。

【００９７】概して、ニューロ−ファジイシステムにおいて、ＭＦのパラメータと比べると
ＭＬＰのパラメータは最適値からかけ離れているという重要な見解が得られる。
これは、ファジイＭＦの初期のパラメータは問題に特定された知識に基づいて決
定されているのに対して、ローカルエキスパートＭＬＰの初期のパラメータは任
意に初期化されているためである。したがって、ＭＦとＭＬＰに対して異なる最
適化アルゴリズムを適用する（すなわち、方法Ｂを採用する）こと、特に、ＭＬ
Ｐに対してより速いアルゴリズムを、ＭＦに対してより遅いアルゴリズムを適用
することが可能である。この考え方での典型的な実施は、ＡＮＦＩＳ（すなわち
、線形規則を持った単一出力のＣＡＮＦＩＳモデル）によるハイブリッド学習で
あり、これは、「線形」の後項（consequent）ファジイシステムに限られるが、
速い「線形」の最小二乗と遅い最急降下法との組み合わせである。このようなハ
イブリッド学習は、上述したテキストNeuro-Fuzzy and Soft Computing, A Comp
utational Approach to Learning and Machine Intelligenceの２１９〜２２０
頁及び２２２〜２２３頁で詳しく説明されており、このページ部分とその図面は
、参考のために添付してある。

【００９８】システム主体の学習法による方法Ａは、ニューラル規則を持ったＣＡＮＦＩＳ
モデルと同じ考え方で考えられてもよい。例えば、「バッチ」モードでＭＦに最
急降下法を適用し、「オンラインのパターン毎」のモードでＭＬＰに最急降下法
を適用することによるものである。この方策は、次の単純な発見的規則によって
改善される。

【００９９】規則：ファジイＭＦのパラメータを学習段階のうちの初期段階で修正する。

【０１００】表２は、チェックエラーが縮小されるか又は所定の反復制限数である２０００
０００にされるとき、ＭＬＰ及びＣＡＮＦＩＳモデルによって得られる４つの代
表的な結果を示している。「パラメータ数」欄はパラメータの数を示し、「ＲＭ
ＳＥ」は二乗平均誤差を示している。「不適切なサンプル数」と書かれている欄
は最も重要で、色差が上限のしきい値（１０に設定されている）より大きかった
カラーサンプルの数を示している。４つのモデルは全て、オンラインのパターン
毎の更新モードで、広く用いられている最急降下法を用いて学習させられる。

【０１０１】

【表２】

【０１０２】実験＃４の結果は、次の発見的規則を用いて得られた。

【０１０３】規則：ファジイＭＦのパラメータを５０００００回の後に更新し始める。

【０１０４】出力色空間の選択本発明の開示では、色補正モデルの出力色空間としてＸＹＺ空間が主に用いら
れている。先に述べたように、機器独立色補正では、出力色空間はＬ＊ａ＊ｂ又
はＸｎＹｎＺｎ（正規化されたＸＹＺ空間）でもよい。機器固有色補正では、カ
ラー画像の撮像機器にとって色補正の出力となるならば、いかなる色空間でもよ
いし、又はユーザの特定の要求に従って任意に定義された色空間でもよい。出力
色空間を変えるには、目標の出力データを色補正モデルの教示データセットに変
えるだけで達成される。

【０１０５】光源への依存性に関して上述したように、光源の色においてＲ＝Ｇ＝Ｂが保た
れるように電子カラーカメラの出力値がホワイトバランス補正されている。Ｘｎ
ＹｎＺｎとＬ＊ａ＊ｂの色空間も、その定義において同様に動作し、３つの刺激
値は光源の色の値によって正規化される。このような色空間は、正規化された色
空間と称される。この動作は人間の目の色順応を表している。

【０１０６】ＦＩＧ．１に示すように、電子カラーカメラの出力値は、ガンマ補正されたＲ
ＧＢに基づいている。Ｌ＊ａ＊ｂの色空間の定義においても同様の動作が行われ
、このような色空間は非線形の色空間と見なされる。非線形マッピングは、明度
（人間の輝度認識の基準）との相関を表し、色の物理的特性よりむしろ人間の目
によって認識された色を説明する。

【０１０７】ＸＹＺのような正規化されていない線形の色空間は、複数光源色補正モデルの
出力色空間として用いられるとき有効である。電子カラーカメラにおいて自動的
に行われる光源の推定が間違っているために、電子カラーカメラによって撮像さ
れた画像の白色点が間違ってしまうことがある。このような場合のために、色補
正モデルの出力空間がＸＹＺである場合は、白色点の補正は、画像の撮像後に電
子カラーカメラの外で行われてもよい。出力空間が非線形の色空間である場合は
、出力データは白色点の補正を行うためにいったん線形空間に供給されなければ
ならないため、白色点補正はより複雑になる。

【０１０８】光源への依存性に関して上述したように、電子カラーカメラの色変換は、その
ホワイトバランスの設定に基づいて行われる機能である。撮像時の光源の推定が
正しくても正しくなくても、電子カラーカメラの色変換は、例えばＲ／ＧとＢ／
Ｇといった電子カラーカメラのホワイトバランス情報を参照して独自に決定され
る。したがって、入力画像の白色点が間違っていても、複数光源色補正モデルか
ら出力されるＸＹＺ値は、元の色の物理的特性を正確に表している。ユーザは、
白色点が電子カラーカメラによって撮像された画像において違っていると分かっ
たときは、ユーザはまず、複数光源色補正モデルからのＸＹＺで示される画像デ
ータを出力し、次に、撮像時に行うとしたら計算処理上費用がかかりすぎてしま
うような洗練された方法を用いて、画像の光源を推定し直すことができる。この
方法によって、補正された色空間における画像データに対して再調整が行われる
ため、白色点だけでなく、その再調整された白色点の周辺に分布された色も正確
になる。正規化されていない線形の色空間も、イメージセンサからの出力（生の
画像データ）の部分に作られた空間となることができる。

【０１０９】色の恒常性画像の撮像時にどの光源が実際に使われても、Ｄ５０（ＣＩＥによって規定さ
れている色温度が５０００Ｋの白色光）のような１つの定まった標準の光源下で
画像が撮像されたかのような色を再現する電子カラーカメラを多くのユーザは好
むことが知られている。これは、「色の恒常性」の色再現と呼ばれる。ＭＬＰ又
はＣＡＮＦＩＳニューロ−ファジイモデルのいずれかを用いて、上述した複数光
源色補正モデルの教示データセットを適切に修正することにより、上述した「色
の恒常性」を持った色補正が容易に実現される。

【０１１０】なお、本発明に適用できるニューラルネットワークの一例として、ＭＬＰを挙
げているが、ラジアル基底関数ネットワーク（radial basis function network
：ＲＢＦＮ）や、モジュラーニューラルネットワーク等の他の種類のニューラル
ネットワークを用いてもよい。

【０１１１】また、本発明の各実施の形態はコンピュータ上で動作するソフトウェアとして
実行されてもよいし、又はコンピュータ上で動作する画像処理ソフトウェアの機
能を果たすものとして実行されてもよい。このような例では、そのソフトウェア
によって画像データファイルが開かれてもよいし、また、本発明のどの実施の形
態も、ＪＰＥＧ、ＪＩＦ又はＢＭＰフォーマットのファイルのような画像データ
に適用されて、そのような画像データに対して色補正が行われるようにしてもよ
い。

【０１１２】更に、本発明に係る方法及び装置は電子カラーカメラの中のイメージセンサの
ようなカラー撮像機器の構成要素の特性付けを行うために適用されてもよい。さ
らにまた、このような特性付けは、そのようなイメージセンサの質が所望のもの
ではない場合にそれを補正するのに用いられてもよい。

【０１１３】特定の実施の形態のみが詳細に説明されたが、この分野において普通の能力を
有する人は、ここで説明したことから逸脱することなく多くの応用が可能である
ことを十分に理解しているであろう。このような応用は全て、添付の請求項の範
囲内に含まれるはずである。

【図面の簡単な説明】

【図１】ＦＩＧ．１は、イメージスキャナと電子カラーカメラの両方に採用されている
信号処理を示すブロック図である。

【図２】ＦＩＧ．２は、ＦＩＧ．１の信号処理に続いて採用される逆の信号処理を示す
ブロック図である。

【図３】ＦＩＧ．３は、補色電子カラーカメラにおいてよく用いられる信号処理を示す
ブロック図である。

【図４】ＦＩＧ．４Ａは、電子カメラにおける色変換の逆写像（又はマッピング）の生
成にニューラルネットワークを導入した本発明を適用した色補正装置の実施の形
態を示すブロック図である。

【図５】ＦＩＧ．４Ｂは、電子カメラにおける色変換の逆写像（又はマッピング）の生
成に多層パーセプトロンを導入した本発明を適用した色補正装置の実施の形態を
示すブロック図である。

【図６】ＦＩＧ．５は、色補正され、出力空間で変換された画像の生成に単一の多層パ
ーセプトロンを導入した本発明を適用した色補正装置の実施の形態を示すブロッ
ク図である。

【図７】ＦＩＧ．６Ａは、コーシー（Cauchy）ステップとニュートン（Newton）ステッ
プによって決定された区分的線形曲線を有し、θ_{Ｃａｕｃｈｙ}を通る軌道によっ
てθ_Ｎｏｗとθ_{Ｎｅｗｔｏｎｙ}とを結ぶドッグレッグ（dogleg）軌道を示す図で
ある。

【図８】ＦＩＧ．６Ｂは、θ_Ｎｏｗに通じており、トラストリージョン（trust regio
）内において制限されたレベンバーグ−マーカート（Levenberg-Marquardt）ス
テップに対する区分的線形近似であるドッグレッグ（dogleg）ステップを示す図
である。

【図９】ＦＩＧ．７は、単一の多層パーセプトロンアプローチと、従来のルックアップ
テーブルに基づいた（ＴＲＣ−マトリクス）アプローチとのＤ６５光源下での色
差の比較を示すグラフである。

【図１０】ＦＩＧ．８は、本発明を適用したＣＡＮＦＩＳニューロ−ファジイモデルの構
成を示す図である。

【図１１】ＦＩＧ．９は、代表的な光源と、それに関する「自然光」と「蛍光」の曲線を
示すグラフである。

【図１２】ＦＩＧ．１０は、変換されたホワイトバランス面での４つのベル形のメンバー
シップ関数によるあいまいな分割を示すグラフである。

【図１３】ＦＩＧ．１１は、ホワイトバランス面の元の座標におけるデータ分布を示す図
である。

【図１４】ＦＩＧ．１２は、ホワイトバランス面の正規化された座標におけるデータ分布
を示す図である。

【図１５】ＦＩＧ．１３は、ホワイトバランス面の変換された座標におけるニューラルネ
ットワークによって変換されたデータ分布を示す図である。

【手続補正書】特許協力条約第１９条補正の翻訳文提出書

【提出日】平成１２年９月１８日（２０００．９．１８）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項９６】電子カメラによって撮像された画像データを伝送するデータ
伝送方法において、カラー画像を撮像して、上記画像を表すデータを出力するステップと、上記撮像されたカラー画像における光源を推定して、上記推定された光源を表
すデータを出力するステップと、上記画像を表すデータと上記推定された光源を表すデータとを伝送するステッ
プとを有するデータ伝送方法。

【手続補正書】

【提出日】平成１３年３月６日（２００１．３．６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の名称】カラー機器の特性付け方法及び装置、画像色補正方法及び装置
、カラー画像データ伝送及び／又は記録方法及び記録媒体

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の色補正（color correction）に関し、特に電子カラーカメラ
（electronic color camera）により得られるカラー画像の色補正を行い、色補
正データを出力（transmission）する色補正方法及び装置（color device chara
cterization）と、カラー画像の色補正データを記録した記録媒体に関する。

【０００２】

【従来の技術】従来、電子カラーカメラによって撮像された画像に対して色補正を行う方法に
は２つの方法がある。第１の方法は、電子カラーカメラの出力データを、色精度
（color accuracy）を高め、電子カラーカメラの出力色空間（output color spa
ce）と等しい色空間に直接変換するものである。例えば、電子カラーカメラの出
力空間が後述するＹＵＶであるとき、その色補正モデル（color correction mod
el）の入力及び出力空間は、ＹＵＶであるが、その出力されたＹＵＶデータの色
精度は高くなっている。以下、この方法を「機器固有色補正（device specific
color correction）」と呼ぶ。「ＹＵＶ」は画像伝送においてよく用いられる色
表現（color representation）である。「Ｙ」は輝度を表し、「Ｕ」は青から黄
を引いた色にほぼ一致する色の要素を表し、「Ｖ」は赤からシアンを引いた色に
ほぼ一致する色の要素を表している。他の色表現としては、「ＲＧＢ（赤、緑、
青）」や、１つの輝度要素と２つの色差要素からなる色空間を表す「ＹＣＣ」が
ある。上述したＹＵＶは、ＹＣＣ色表現の一例である。ＹＩＱは、ＹＣＣ色表現
の他の例であり、ここで、「Ｉ」は黄色っぽい赤から薄い青を引いた色にほぼ一
致する色の要素を表し、「Ｑ」は紫から緑色っぽい黄を引いた色にほぼ一致する
色の要素を表す。ＹＣｂＣｒ（輝度、色差−青、色差−赤）は、ＹＣＣ色表現の
更に他の例である。

【０００３】色補正の第２の方法は、２つのステップに分割される。第１のステップでは、
電子カラーカメラの出力色空間は、一旦元の測色空間（colorimetric space、Ｘ
ＹＺ又はＬ＊ａ＊ｂ）に変換される。この測色空間は、国際照明委員会（Intern
ational Illumination Committee：ＣＩＥ、元々フランス語で公表されている）
によって定められた空間である。測色空間は、人間の目によって認識される自然
の物体の色を表現するものである。測色空間で表現された色情報は、電子カラー
カメラによって撮像された画像の元の色に一致する。第２のステップにおいて、
このような測色空間に変換された色情報は、出力機器（コンピュータのモニタ又
はプリンタ）に特化された色空間に変換され、その全体の画像処理操作（entire
image path）によって表色的に正確な色表現が実現される。この２つのステッ
プの概念は、国際色彩委員会（International Color Committee：ＩＣＣ）にお
けるカラープロファイルフォーマット（color profile format）に即しており、
このプロファイルフォーマットは、色表現に比較的高い精度が求められるコンピ
ュータの画像処理において広く用いられているフォーマットである。ＩＣＣの概
念に基づいた色補正の分野では、中間測色空間（intermediate colorimetric sp
ace）は、しばしば「機器独立色空間（device independent color space）」と
呼ばれる。したがって、この色補正方法は、「機器独立色補正（device indepen
dent color correction）」と呼ばれる。

【０００４】上述した機器独立色補正を行うためには、電子カラーカメラの色変換の逆写像
（inverse function）を求める必要がある。このステップは、電子カラーカメラ
のための「カラー画像機器の特性付け（color device characterization）」と
呼ばれ、電子カラーカメラによって撮像された画像の色補正を行う際に、このよ
うな特性付けが採用される。電子カラーカメラの色変換の逆写像を求める従来の
方法は、イメージスキャナ（image scanner）の色変換の逆写像を求めるために
広く用いられている方法を応用したものである。ほとんどの電子カラーカメラは
、イメージスキャナの信号処理と類似した信号処理を行っているので、この方法
は効果的であると考えられている。

【０００７】ＦＩＧ．１及びＦＩＧ．２に示すように、イメージセンサ１０４の色変換は、
３×３マトリクス回路１２４による線形変換（linear transformation）で近似
される。電子カラーカメラの色理論（color science）によれば、イメージセン
サのスペクトル分解特性（spectral analysis characteristics）は、ＣＩＥに
おいて規定されている等色関数（color matching function）ｘｙｚの線形結合
（linear combination）で表されるのが理想であるとされ、これらの関数は、人
間の目の色感度を表すスペクトル関数のセット（set）である。全ての電子カラ
ーカメラは、これらの理想的な特性を指標として設計されているため、多くの場
合、３×３マトリクス回路は、電子カラーカメラで用いられるイメージセンサを
近似することができ、これにより、電子カラーカメラの色変換の逆写像を非常に
正確に求めることができる。しかしながら、このＴＲＣ−マトリクスモデル法（
TRC-matrix model approach）では、条件により正確な色補正が行えない場合が
ある。

【０００８】近似の精度（approximation accuracy）イメージセンサの色変換を、ＴＲＣ−マトリクスモデルにおける３×３マトリ
クス回路（ＦＩＧ．２の１２４）でうまく近似することができないとき、正確な
色補正を行うことができなくなる。この状態は、多くの初歩的な電子カラーカメ
ラにおいて生じることがある。また、この状態は、電子カラーカメラの信号処理
が、ＦＩＧ．１に示す構成に一致せず、ＦＩＧ．２に示す構成が、もはや電子カ
ラーカメラの逆モデルでないときに生じる。例えば、ＦＩＧ．３は、ＣＭＹＧ（
シアン、マゼンタ、イエロー、グリーン、「補色（complementary color）」と
もいわれる。）の電子カラーカメラにおいて通常用いられている信号処理を示す
ブロック図である。一見して、ＦＩＧ．２は、ＦＩＧ．３の信号処理の逆モデル
として機能することができない。また、ＣＭＹＧ電子カラーカメラの信号処理を
行うための構造が複雑なため、ＦＩＧ．３に示す回路によって行われる信号処理
の単純な逆モデルを構築することは容易ではない。

【００１７】さらに、本発明の特徴は、カラー画像を表すデータに対する補正を決定するた
めに、相能動ニューロファジイ推論システム（coactive neuro-fuzzy inference
system：ＣＡＮＦＩＳ）モデルニューラルネットワークの一種である多層パー
セプトロン（multilayer perceptron：ＭＬＰ）を用いることによって、カラー
画像に対する色補正を行うことである。

【００２５】さらに、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正
を行う色補正方法において、相能動ニューロファジイ推論システムモデルを用い
て、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補
正を決定するステップと、光源は複数の光源からなっており、カラー画像を表す
データに対して補正を行うステップとを有する色補正方法を提供する。

【００２８】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー
画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カ
ラー画像を表すデータに対して補正を行う相能動ニューロファジイ推論システム
モデルを備える色補正装置を提供する。

【００３１】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正データが記録された記録媒体において、相能動ニューロファジイ推論システ
ムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデ
ータに対する補正を決定するステップと、光源は複数の光源からなっており、カ
ラー画像を表すデータに対して補正を行うステップと、補正されたデータを表す
データを記録媒体に記録するステップによって用意される記録媒体を提供する。

【００３４】さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色
補正されたデータを伝送するデータ伝送方法において、相能動ニューロファジイ
推論システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画
像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっ
ており、カラー画像を表すデータに対して補正を行うステップと、補正されたデ
ータを表すデータを伝送するステップを有するデータ伝送方法を提供する。

【００３８】

【発明の実施の形態】上述した課題を解決するために、ニューラルネットワーク（例えばＭＬＰ）又
はＣＡＮＦＩＳニューロファジイモデルが用いられる。本発明は、「機器固有（
device specific）」方式と「機器独立（device independent）」方式の両方に
応用することができるが、ここで開示している実施の形態では、機器独立の色補
正について説明する。なお、ＭＬＰは、良く知られたニューラルネットワークの
うちの一種類にすぎない。また、ここでは、ニューラルネットワークについて述
べるが、ＭＬＰ又は他の種類のニューラルネットワークを用いることができる。

【００４１】ニューラルネットワーク４は、測色空間ＸＹＺおけるＸ出力端子５、Ｙ出力端
子６、Ｚ出力端子７を備える。ＦＩＧ．４Ｂに示すように、ＭＬＰは、電子カラ
ーカメラからの出力値（ＲＧＢ又はＹＣＣ）のための、参照符号１１、１２、１
３でそれぞれ示される３つの入力ノードＹ、Ｕ、Ｖを備える。また、ＭＬＰは、
参照符号１４、１５、１６でそれぞれ示される３つの出力ノードＸ、Ｙ、Ｚを備
える。出力ノードＸ、Ｙ、Ｚは、機器独立色補正では測色値（ＸＹＺ又はＬ＊ａ
＊ｂ）を、機器固有色補正ではＲＧＢ又はＹＣＣの目標出力値を出力する。これ
らの測色値又は色補正された出力値は、出力機器の特性付けモデル（characteri
zation model）を介して、プリンタ又は表示モニタ等の画像出力機器に供給され
る。これらの値は、直接画像出力機器に供給されてもよい。あるいは、これらの
値は、符号化及び／又は圧縮された後、記録装置によって磁気ディスク、光ディ
スク、光磁気ディスク、個体メモリ等の記録媒体に記録されたり、インターネッ
ト、電話回線、専用線、無線、光媒体等の伝送媒体を介して伝送される。

【００４９】複数光源に対する色補正において用いられるＭＬＰモデルには、光源情報を入
力するためのさらなるノードが必要である。例えば、光源の色度が２つの値のセ
ットで示される場合は、２つのさらなる入力ノードが用いられる。その結果、こ
の課題におけるＭＬＰモデルは、ＦＩＧ．５に示すように、参照符号１７、１８
、１９、２０、２１でそれぞれ示される５つの入力ノードＢ／Ｇ、Ｒ／Ｇ、Ｙ、
Ｕ、Ｖと、参照符号２２、２３、２４でそれぞれ示される３つの出力ノードＸ、
Ｙ、Ｚとを有する。出力Ｘ、Ｙ、Ｚは、変換、正規化、符号化及び／又は圧縮さ
れた後、磁気ディスク、光ディスク、光磁気ディスク、個体メモリ等の記録媒体
に記録されたり、インターネット、電話回線、専用線、無線、光媒体等の伝送媒
体を介して伝送される。

【００５０】本発明の実施の形態では、複数光源の色補正モデルを学習するために、以下の
ステップが用いられる。（１）複数の代表的な光源下において、電子カラーカメラからの出力値と、カラ
ーサンプルのセットからの測色値（機器独立補正に対して）とを測定する。ここ
で、Ｎは、カラーサンプルの数であり、Ｍは、対象とする代表的な光源の数であ
り、したがって、教示データセットの総量は、Ｎ＊Ｍである。（２）各光源について、ホワイトバランスを合わせるためのＲＧＢチャンネルの
ゲインデータを測定するか、又は光源の色に対するＲＧＢチャンネルの信号値を
測定する。（３）測定された３つの値を、例えばＲ／ＧとＢ／Ｇのような２つの色度値（ch
romaticity value）に変換する。これらのデータは、後述するＣＡＮＦＩＳニュ
ーロファジイモデルのためのファジイメンバーシップ関数を構築する方法におい
て、光源情報をより特性付けるために、更なる処理が施される。（４）上述したように、ＭＬＰは、データセット（１）を用いて学習させられる
。同時に、データ（１）が測定されるときの光源情報であるデータセット（３）
が入力ノード１７（Ｂ／Ｇ）及び１８（Ｒ／Ｇ）に供給される。

【００５４】

【数１】

【００５６】

【数２】

【００５８】

【数３】

【００６０】

【数４】

【００６３】

【数５】

【００６４】ここで、P_ｎｏｗは次のようである。

【００６５】

【数６】

【００６８】

【表１】

【００６９】これは、３つの代表的な学習アルゴリズムにおける、ＴＲＣ−マトリクス式の
モデルとＭＬＰモデルとの間の測定されたＸＹＺ値の二乗平均誤差を比較してい
る。なお、最後の列「停止期間（stopped epoch）」において、７個の隠れユニ
ットを用いた（３×７×３）モデルにのみ、必要な実行時間が括弧書きで示され
ている。表１から明らかなように、単一光源の色補正の問題においては、ドッグ
レッグ主導のレベンバーグ−マーカートのアルゴリズムを用いる場合が、表１に
示す他の試験された学習法を用いる場合よりも速く収束する。このようなパフォ
ーマンスの比較は、Color device characterization of electronic cameras by
solving adaptive networks nonlinear least squares problems, Eiji Mizuta
ni (本出願の発明者), Kenichi Nishio (本出願のもう１人の発明者), Naoya Ka
toh and Michael Blasgen, 8th IEEE International Conference on Fuzzy Syst
ems (FUZZ-IEEE' 99), Seoul, Korea, August 22-25, 1999で更に論じられてい
る。この論文とその図面は、参考のために添付してある。さらに、ドッグレッグ
トラストリージョンのアルゴリズムは、Computing Powell's Dogleg Steps for
Solving Adaptive Networks Nonlinear Least Squares Problems, Eiji Mizutan
i(本出願の発明者),8th International Fuzzy Systems Association World Cong
ress (IFSA'99), Hsinchu, Taiwan, August 17-20, 1999とPowell's dogleg tru
st-region steps with the quasi-Newton augmented Hessian for neural nonli
near least-squares learning, Eiji Mizutani(本出願の発明者), The IEEE Int
ernational Conference on Neural Networks, Washington D.C., July 10-16, 1
999とで更に論じられている。この２つの論文とその図面は、参考のために添付
してある。

【００７１】ＣＡＮＦＩＳニューロファジイモデルを用いた複数光源での色補正ＣＡＮＦＩＳニューロファジイモデルは、問題に特定された知識に基づいて自
動的に「複数光源」での色補正を行うために特に作られており、この問題に特定
された知識とは、ファジイif-then規則の集合を表す。具体的には、「IF部」は
ファジイメンバーシップ関数（ＭＦ）で表され、「THEN部」はローカルエキスパ
ート（local-expert）ＭＬＰによって構築されている。これは、いわゆる「ニュ
ーラル規則を持ったＣＡＮＦＩＳ」モデルである。

【００７２】具体的には、ファジイメンバーシップ関数を構築する方法に関して後述するよ
うに、４つのファジイ規則が、ファジイ分割に従って、２次元に変換されたホワ
イトバランス面上に示されている。その結果のＣＡＮＦＩＳニューロファジイモ
デルは、ＦＩＧ．８に示すように、４つのファジイＭＦ（各軸に２つずつ）と４
つの対応するローカルエキスパートＭＬＰからなる。入力ベクトルは、IF部（Ｍ
Ｆ）とTHEN部（ＭＬＰ）の次の２つのベクトルに分割される。

【００７４】

【数７】

【００７５】ここで、g_ｉとO_ｉは、それぞれi番目の発火強度（firing strength）とi番目
のＭＬＰの出力ベクトルである。各発火強度は、IF部のＭＦ出力からの出力信号
によって求められたものであり、対応するTHEN部のＭＬＰが最終的な出力にどれ
だけ影響を与えたかを表している。この文脈では、IF部のＭＦの集合は、発火し
たTHEN部のＭＬＰからの出力を統合した集計部としての役割を果たす。

【００７６】通常、集計部はベル形の微分可能なファジイＭＦからなっており、その近隣の
ＭＦと十分な重複部分があるように設定されている。したがって、対応する全て
のローカルエキスパートＭＬＰは、Ａの値を導く式によって最終的な出力を出す
ように補間的に機能する。一方、集計部が重複部分のない長方形のＭＦでできて
いて、スイッチング部となっている場合、単一のローカルエキスパートＭＬＰの
みが最終的な出力に貢献することになる。g_ｉ値のうちの１つのみが「ユニット
」となり、それ以外は全て「０」となる。このような単一の０でないg_ｉは、ｉ
番目の「発火した」ローカルエキスパートＭＬＰと対応している。すなわち、ロ
ーカルエキスパートＭＬＰは、補間的というよりむしろ競合的に機能している。
換言すれば、ＣＡＮＦＩＳの概念は、スイッチングのような極端なケースを除い
て、基本的にファジイＭＦとローカルエキスパートＭＬＰの中の相乗作用にある
。

【００７７】ＣＡＮＦＩＳモデルには、ローカルエキスパートＭＬＰにのみ適切な構造的又
はアルゴリズミックな修正を行うだけで、（ファジイ規則が意味のある限界に保
たれるように）ファジイＭＦの数を増やさずに、学習能力を増大させることがで
きるという利点がある。例えば、このような修正によって、ＭＬＰの隠れノード
／レイヤの数が調整される。なお、THEN部のＭＬＰの隠れ部分が取り除かれると
、ＣＡＮＦＩＳモデルはローカルチューニングラジアル基底関数ネットワーク（
Radial Basis Function Network：ＲＢＦＮ）モデルとされてもよい。すなわち
、ＣＡＮＦＩＳモデルは汎用のローカルチューニングニューラルネットワークと
見なされてもよい。

【００８１】上述したＣＡＮＦＩＳニューロファジイモデルを用いた複数光源での色補正の
ためのファジイメンバーシップ関数を構築する方法ファジイ分割ＣＡＮＦＩＳニューロファジイモデルでは、ファジイメンバーシップ関数（Ｍ
Ｆ）がＭＦ入力空間を複数のローカルエキスパートの領域に分割する。したがっ
て、ある特定のローカルエキスパートの領域の中心に近づいたデータはそのほか
のローカルエキスパートのパラメータの更新にそれほど影響を受けない。このロ
ーカルチューニングの機構によって、「ローカルエキスパート」が主にそれ自体
のローカル領域の近辺で局地的に最適に学習することができる。

【００８９】複数光源での色補正のためのＣＡＮＦＩＳニューロファジイモデルの学習法ＣＡＮＦＩＳニューロファジイモデルを用いた複数光源での色補正に関連して
、上述したＣＡＮＦＩＳニューロファジイモデルを学習するために、多くの非線
形最適化アルゴリズムを採用してもよい。モデルは、ＦＩＧ．８に示すように、
次の２つの主なパラメータの成分からなる。

【００９３】これらの方法は、システム全体又は構成要素毎のいずれかの方法で実施されう
る。システム全体の学習では、ＣＡＮＦＩＳニューロファジイモデルのＭＦとＭ
ＬＰの全ての構成要素は、１つのシステムとして同時に学習させられ、その最終
的な出力は上述したようにＡの値を出すための上述した式によって計算される。
構成要素毎の学習では、各ＭＦ又はＭＬＰは、独立して調整／学習させられ、全
ての構成要素がまとめられてＣＡＮＦＩＳニューロファジイモデルを構成し、そ
の最終的な出力は上述したようにＡの値を出すための上述した式によって計算さ
れる。

【００９４】ＦＩＧ．８を参照して、構成要素毎の方法についてより詳細に説明すると、各
ローカルエキスパートＭＬＰは、通常所望の最終的な出力ベクトルＡ（すなわち
、Ｘ、Ｙ、Ｚ）を出力ベクトルO_ｉとして出力するように学習させられる。一方
で、システム全体の学習法では、（上述した）最終的な出力ベクトルＡは所望の
３つの値Ｘ、Ｙ、Ｚに合致するようになされているが、各ローカルエキスパート
ＭＬＰの出力ベクトルO_ｉは必ずしもそれに近くなくてもよい。すなわち、出力
ベクトルO_ｉは不明でもよい。ＦＩＧ．８には、各ローカルエキスパートＭＬＰ
の３つの出力ノードがＸ、Ｙ、Ｚによって表されているが、これは、単にどのノ
ードがどの信号と対応しているかを示すためである。

【００９６】（１）オンラインのパターン毎の更新モード（２）ブロック毎の更新モード（３）バッチ更新モードしたがって、ＣＡＮＦＩＳモデルへの最適化アルゴリズムの適用方法は多くあ
る。なお、方法Ａと方法Ｂのいずれが用いられるかに関わらず、構成要素毎の学
習は、高精度な結果を得るのには疑問がある。これは、上述したようにＡの値を
出すための上述した式に依存しているにもかかわらず、ローカルエキスパートＭ
ＬＰの出力は、ファジイＭＦの発火強度から独立して最適化されているからであ
る。したがって、カラー画像の色補正に必要なように、ＣＡＮＦＩＳモデルによ
って非常に正確な入力／出力マッピングを行うことが必要なときは特に、もう一
方のシステム全体の学習のほうが遙かに実用的に重要である。

【００９７】概して、ニューロファジイシステムにおいて、ＭＦのパラメータと比べるとＭ
ＬＰのパラメータは最適値からかけ離れているという重要な見解が得られる。こ
れは、ファジイＭＦの初期のパラメータは問題に特定された知識に基づいて決定
されているのに対して、ローカルエキスパートＭＬＰの初期のパラメータは任意
に初期化されているためである。したがって、ＭＦとＭＬＰに対して異なる最適
化アルゴリズムを適用する（すなわち、方法Ｂを採用する）こと、特に、ＭＬＰ
に対してより速いアルゴリズムを、ＭＦに対してより遅いアルゴリズムを適用す
ることが可能である。この考え方での典型的な実施は、ＡＮＦＩＳ（すなわち、
線形規則を持った単一出力のＣＡＮＦＩＳモデル）によるハイブリッド学習であ
り、これは、「線形」の後項（consequent）ファジイシステムに限られるが、速
い「線形」の最小二乗と遅い最急降下法との組み合わせである。このようなハイ
ブリッド学習は、上述したテキストNeuro-Fuzzy and Soft Computing, A Comput
ational Approach to Learning and Machine Intelligenceの２１９〜２２０頁
及び２２２〜２２３頁で詳しく説明されており、このページ部分とその図面は、
参考のために添付してある。

【００９８】システム全体の学習法による方法Ａは、ニューラル規則を持ったＣＡＮＦＩＳ
モデルと同じ考え方で考えられてもよい。例えば、「バッチ」モードでＭＦに最
急降下法を適用し、「オンラインのパターン毎」のモードでＭＬＰに最急降下法
を適用することによるものである。この方策は、次の単純な発見的規則によって
改善される。

【００９９】規則：ファジイＭＦのパラメータを学習段階のうちの初期段階では固定する。

【０１０１】

【表２】

【０１０９】色の恒常性画像の撮像時にどの光源が実際に使われても、Ｄ５０（ＣＩＥによって規定さ
れている色温度が５０００Ｋの白色光）のような１つの定まった標準の光源下で
画像が撮像されたかのような色を再現する電子カラーカメラを多くのユーザは好
むことが知られている。これは、「色の恒常性」の色再現と呼ばれる。ＭＬＰ又
はＣＡＮＦＩＳニューロファジイモデルのいずれかを用いて、上述した複数光源
色補正モデルの教示データセットを適切に修正することにより、上述した「色の
恒常性」を持った色補正が容易に実現される。

【図面の簡単な説明】

【図１０】ＦＩＧ．８は、本発明を適用したＣＡＮＦＩＳニューロファジイモデルの構成
を示す図である。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 CE18 5C055 AA00 BA05 BA06 HA37 5C066 AA01 CA08 EA13 FA02 KE01 5C077 LL19 MM03 MP08 NN04 PP32 PP33 PP35 PP36 PP37 PQ14 PQ15 TT09 5C079 HA18 HB01 HB02 HB05 HB06 HB08 HB12 JA23 JA26 LA23 MA13 MA14 NA03

Claims

【特許請求の範囲】

【請求項１】電子カラーカメラによって撮像されたカラー画像の色補正を行
う色補正方法において、ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づい
て上記カラー画像を表すデータに対する補正を決定するステップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップとを有する色補正方法。
【請求項２】上記電子カラーカメラは少なくとも１つの静止画像を撮像する
ことを特徴とする請求項１記載の色補正方法。
【請求項３】上記電子カラーカメラは動画像の連続を撮像することを特徴と
する請求項１記載の色補正方法。
【請求項４】電子カラーカメラによって撮像されたカラー画像の色補正を行
う色補正方法において、多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づ
いて上記カラー画像を表すデータに対する補正を決定するステップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップとを有する色補正方法。
【請求項５】上記電子カラーカメラは少なくとも１つの静止画像を撮像する
ことを特徴とする請求項４記載の色補正方法。
【請求項６】上記電子カラーカメラは動画像の連続を撮像することを特徴と
する請求項４記載の色補正方法。
【請求項７】上記多層パーセプトロンモデルは、レベンバーグ−マーカート
式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラ
ストリージョン（dogleg trust region）の実施に基づいて学習することを特徴
とする請求項４記載の色補正方法。
【請求項８】上記色補正された画像の出力色空間を、上記光源の色度座標に
より正規化しない空間として出力するステップを更に有する請求項４記載の色補
正方法。
【請求項９】各ニューラルネットワークの教示データを、標準光源下での測
色値として用いるステップを更に有する請求項４記載の色補正方法。
【請求項１０】電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正方法において、強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定
された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステ
ップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップとを有する色補正方法。
【請求項１１】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項１０記載の色補正方法。
【請求項１２】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項１０記載の色補正方法。
【請求項１３】ファジイメンバーシップ関数からなる集積部は、カラー画像
の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプト
ロンの出力の加重和を計算することを特徴とする請求項１０記載の色補正方法。
【請求項１４】上記強制ニューロ−ファジイ干渉システムモデルにおいて推
定された光源の特性付けを行うために、ホワイトバランス面に対してニューラル
ネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ
関数を構築するステップを更に有する請求項１３記載の色補正方法。
【請求項１５】上記強制ニューロ−ファジイ干渉システムモデルにおいて推
定された光源の特性付けを行うために、ホワイトバランス面に対してニューラル
ネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ
関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを
学習するステップを更に有する請求項１０記載の色補正方法。
【請求項１６】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−フ
ァジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホ
ワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うこ
とによって、ファジイメンバーシップ関数を構築することにより、上記強制ニュ
ーロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１３
記載の色補正方法。
【請求項１７】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同
時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定さ
れた光源の特性付けを行うために、ホワイトバランス面に対してニューラルネッ
トワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数
を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習
するステップを更に有する請求項１３記載の色補正方法。
【請求項１８】上記ファジイメンバーシップ関数の少なくとも２つは重複す
ることを特徴とする請求項１３乃至１７のいずれか１項に記載の色補正方法。
【請求項１９】電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正方法において、スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カ
ラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正
を決定するステップを有する色補正方法。
【請求項２０】代表的な光源それぞれに対応する別々のニューラルネットワ
ークを用いて、色変換逆マップ（color conversion inverse map）を見つけるス
テップと、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しな
い空間として出力するステップを更に有する請求項１０記載の色補正方法。
【請求項２１】代表的な光源それぞれに対応するニューラルネットワークを
用いて、色変換逆マップ（color conversion inverse map）を見つけるステップ
と、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しな
い空間として出力するステップを更に有する請求項１０記載の色補正方法。
【請求項２２】代表的な光源それぞれに対応する別々のニューラルネットワ
ークを用いて、色変換逆マップ（color conversion inverse map）を見つけるス
テップと、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用
いるステップを更に有する請求項１０記載の色補正方法。
【請求項２３】代表的な光源それぞれに対応するニューラルネットワークを
用いて、色変換逆マップ（color conversion inverse map）を見つけるステップ
と、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用
いるステップを更に有する請求項１０記載の色補正方法。
【請求項２４】電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正装置において、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対
する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表
すデータに対して補正を行うニューラルネットワークを備える色補正装置。
【請求項２５】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項２４記載の色補正装置。
【請求項２６】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項２４記載の色補正装置。
【請求項２７】電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正装置において、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対
する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表
すデータに対して補正を行う多層パーセプトロンモデルを備える色補正装置。
【請求項２８】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項２７記載の色補正装置。
【請求項２９】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項２７記載の色補正装置。
【請求項３０】上記多層パーセプトロンモデルは、レベンバーグ−マーカー
ト式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグト
ラストリージョン（dogleg trust region）に基づいて学習することを特徴とす
る請求項２７記載の色補正装置。
【請求項３１】上記多層パーセプトロンモデルは、上記色補正された画像の
出力色空間を、上記光源の色度座標により正規化しない空間として出力すること
を特徴とする請求項２７記載の色補正装置。
【請求項３２】上記多層パーセプトロンモデルは、各ニューラルネットワー
クの教示データを、標準光源下での測色値として用いることを特徴とする請求項
２７記載の色補正装置。
【請求項３３】電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正装置において、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対
する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表
すデータに対して補正を行う強制ニューロ−ファジイ干渉システムモデルを備え
る色補正装置。
【請求項３４】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項３３記載の色補正装置。
【請求項３５】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項３３記載の色補正装置。
【請求項３６】ファジイメンバーシップ関数からなる集積部は、カラー画像
の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプト
ロンの出力の加重和を計算することを特徴とする請求項３３記載の色補正装置。
【請求項３７】ファジイメンバーシップ関数は、上記強制ニューロ−ファジ
イ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイ
トバランス面に対してニューラルネットワークの非線形の座標変換を行うことに
よって構築されることを特徴とする請求項３６記載の色補正装置。
【請求項３８】上記強制ニューロ−ファジイ干渉システムモデルは、上記強
制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを
行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座
標変換を行うことによって、ファジイメンバーシップ関数を構築することにより
学習することを特徴とする請求項３３記載の色補正装置。
【請求項３９】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−フ
ァジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデル
において推定された光源の特性付けを行うために、ホワイトバランス面に対して
ニューラルネットワークの非線形の座標変換を行うことによって、ファジイメン
バーシップ関数を構築することにより学習することを特徴とする請求項３６記載
の色補正装置。
【請求項４０】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同
時に更新され、上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニ
ューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行う
ために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変
換を行うことによって、ファジイメンバーシップ関数を構築することにより学習
することを特徴とする請求項３６記載の色補正装置。
【請求項４１】上記ファジイメンバーシップ関数の少なくとも２つは重複す
ることを特徴とする請求項３６乃至４０のいずれか１項に記載の色補正装置。
【請求項４２】電子カラーカメラによって撮像されたカラー画像の色補正を
行う色補正装置において、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対
する補正を決定する、スイッチングを有する強制ニューロ−ファジイ干渉システ
ムを備える色補正装置。
【請求項４３】強制ニューロ−ファジイ干渉システムは、代表的な光源それ
ぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（colo
r conversion inverse map）を見つけ、上記色補正された画像の出力色空間を、
上記光源の色度座標により正規化しない空間として出力することを特徴とする請
求項３３記載の色補正装置。
【請求項４４】強制ニューロ−ファジイ干渉システムは、代表的な光源それ
ぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conv
ersion inverse map）を見つけ、上記色補正された画像の出力色空間を、上記光
源の色度座標により正規化しない空間として出力することを特徴とする請求項３
３記載の色補正装置。
【請求項４５】強制ニューロ−ファジイ干渉システムは、代表的な光源それ
ぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（colo
r conversion inverse map）を見つけ、標準的な光源下で、各ニューラルネット
ワークの教示データを測色値として用いることを特徴とする請求項３３記載の色
補正装置。
【請求項４６】強制ニューロ−ファジイ干渉システムは、代表的な光源それ
ぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conv
ersion inverse map）を見つけ、標準的な光源下で、各ニューラルネットワーク
の教示データを測色値として用いることを特徴とする請求項３３記載の色補正装
置。
【請求項４７】電子カラーカメラによって撮像されたカラー画像の色補正デ
ータが記録された記録媒体において、上記記録媒体は、ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づい
て上記カラー画像を表すデータに対する補正を決定するステップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップと、上記補正されたデータを表すデータを上記記録媒体に記録するステップによっ
て用意される記録媒体。
【請求項４８】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項４７記載の記録媒体。
【請求項４９】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項４７記載の記録媒体。
【請求項５０】電子カラーカメラによって撮像されたカラー画像の色補正デ
ータが記録された記録媒体において、上記記録媒体は、多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づ
いて上記カラー画像を表すデータに対する補正を決定するステップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップと、上記補正されたデータを表すデータを上記記録媒体に記録するステップによっ
て用意される記録媒体。
【請求項５１】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項５０記載の記録媒体。
【請求項５２】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項５０記載の記録媒体。
【請求項５３】上記多層パーセプトロンモデルは、レベンバーグ−マーカー
ト式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグト
ラストリージョン（dogleg trust region）に基づいて学習することを特徴とす
る請求項５０記載の記録媒体。
【請求項５４】上記色補正された画像の出力色空間を、上記光源の色度座標
により正規化しない空間として出力するステップを更に有する請求項５４記載の
記録媒体。
【請求項５５】各ニューラルネットワークの教示データを、標準光源下での
測色値として用いるステップを更に有する請求項５０記載の記録媒体。
【請求項５６】電子カラーカメラによって撮像されたカラー画像の色補正デ
ータが記録された記録媒体において、上記記録媒体は、強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定
された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステ
ップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップと、上記補正されたデータを表すデータを上記記録媒体に記録するステップによっ
て用意される記録媒体。
【請求項５７】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項５６記載の記録媒体。
【請求項５８】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項５６記載の記録媒体。
【請求項５９】ファジイメンバーシップ関数からなる集積部は、カラー画像
の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプト
ロンの出力の加重和を計算することを特徴とする請求項５６記載の記録媒体。
【請求項６０】上記強制ニューロ−ファジイ干渉システムモデルにおいて推
定された光源の特性付けを行うために、ホワイトバランス面に対してニューラル
ネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ
関数を構築するステップを更に有する請求項５９記載の記録媒体。
【請求項６１】上記強制ニューロ−ファジイ干渉システムモデルにおいて推
定された光源の特性付けを行うために、ホワイトバランス面に対してニューラル
ネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ
関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを
学習するステップを更に有する請求項５６記載の記録媒体。
【請求項６２】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−フ
ァジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホ
ワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うこ
とによって、ファジイメンバーシップ関数を構築することにより、上記強制ニュ
ーロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５９
記載の記録媒体。
【請求項６３】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同
時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定さ
れた光源の特性付けを行うために、ホワイトバランス面に対してニューラルネッ
トワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数
を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習
するステップを更に有する請求項５９記載の記録媒体。
【請求項６４】上記ファジイメンバーシップ関数の少なくとも２つは重複す
ることを特徴とする請求項５９乃至６３のいずれか１項に記載の記録媒体。
【請求項６５】電子カラーカメラによって撮像されたカラー画像の色補正デ
ータが記録された記録媒体において、上記記録媒体は、スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カ
ラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正
を決定するステップと、上記補正されたデータを表すデータを上記記録媒体に記録するステップによっ
て用意される記録媒体。
【請求項６６】代表的な光源それぞれに対応する別々のニューラルネットワ
ークを用いて、色変換逆マップ（color conversion inverse map）を見つけるス
テップと、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しな
い空間として出力するステップを更に有する請求項５６記載の記録媒体。
【請求項６７】代表的な光源それぞれに対応するニューラルネットワークを
用いて、色変換逆マップ（color conversion inverse map）を見つけるステップ
と、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しな
い空間として出力するステップを更に有する請求項５６記載の記録媒体。
【請求項６８】代表的な光源それぞれに対応する別々のニューラルネットワ
ークを用いて、色変換逆マップ（color conversion inverse map）を見つけるス
テップと、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用
いるステップを更に有する請求項５６記載の記録媒体。
【請求項６９】代表的な光源それぞれに対応するニューラルネットワークを
用いて、色変換逆マップ（color conversion inverse map）を見つけるステップ
と、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用
いるステップを更に有する請求項５６記載の記録媒体。
【請求項７０】電子カラーカメラによって撮像されたカラー画像の色補正さ
れたデータを伝送するデータ伝送方法において、ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づい
て上記カラー画像を表すデータに対する補正を決定するステップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップと、上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方
法。
【請求項７１】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項７０記載のデータ伝送方法。
【請求項７２】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項７０記載のデータ伝送方法。
【請求項７３】電子カラーカメラによって撮像されたカラー画像の色補正さ
れたデータを伝送するデータ伝送方法において、多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づ
いて上記カラー画像を表すデータに対する補正を決定するステップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップと、上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方
法。
【請求項７４】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項７３記載のデータ伝送方法。
【請求項７５】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項７３記載のデータ伝送方法。
【請求項７６】上記多層パーセプトロンモデルは、レベンバーグ−マーカー
ト式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグト
ラストリージョン（dogleg trust region）に基づいて学習することを特徴とす
る請求項７３記載のデータ伝送方法。
【請求項７７】上記色補正された画像の出力色空間を、上記光源の色度座標
により正規化しない空間として出力するステップを更に有する請求項７３記載の
データ伝送方法。
【請求項７８】各ニューラルネットワークの教示データを、標準光源下での
測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項７９】電子カラーカメラによって撮像されたカラー画像の色補正さ
れたデータを伝送するデータ伝送方法において、強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定
された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステ
ップと、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して
補正を行うステップと、上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方
法。
【請求項８０】上記電子カラーカメラは少なくとも１つの静止画像を撮像す
ることを特徴とする請求項７９記載のデータ伝送方法。
【請求項８１】上記電子カラーカメラは動画像の連続を撮像することを特徴
とする請求項７９記載のデータ伝送方法。
【請求項８２】ファジイメンバーシップ関数からなる集積部は、カラー画像
の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプト
ロンの出力の加重和を計算することを特徴とする請求項７９記載のデータ伝送方
法。
【請求項８３】上記強制ニューロ−ファジイ干渉システムモデルにおいて推
定された光源の特性付けを行うために、ホワイトバランス面に対してニューラル
ネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ
関数を構築するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８４】上記強制ニューロ−ファジイ干渉システムモデルにおいて推
定された光源の特性付けを行うために、ホワイトバランス面に対してニューラル
ネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ
関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを
学習するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項８５】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−フ
ァジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホ
ワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うこ
とによって、ファジイメンバーシップ関数を構築することにより、上記強制ニュ
ーロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項８２
記載のデータ伝送方法。
【請求項８６】ファジイメンバーシップ関数及びローカルエキスパート多層
パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同
時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定さ
れた光源の特性付けを行うために、ホワイトバランス面に対してニューラルネッ
トワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数
を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習
するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８７】上記ファジイメンバーシップ関数の少なくとも２つは重複す
ることを特徴とする請求項８２乃至８６のいずれか１項に記載のデータ伝送方法
。
【請求項８８】電子カラーカメラによって撮像されたカラー画像の色補正さ
れたデータを伝送するデータ伝送方法において、スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カ
ラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正
を決定するステップと、上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方
法。
【請求項８９】代表的な光源それぞれに対応する別々のニューラルネットワ
ークを用いて、色変換逆マップ（color conversion inverse map）を見つけるス
テップと、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しな
い空間として出力するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９０】代表的な光源それぞれに対応するニューラルネットワークを
用いて、色変換逆マップ（color conversion inverse map）を見つけるステップ
と、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しな
い空間として出力するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９１】代表的な光源それぞれに対応する別々のニューラルネットワ
ークを用いて、色変換逆マップ（color conversion inverse map）を見つけるス
テップと、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用
いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９２】代表的な光源それぞれに対応するニューラルネットワークを
用いて、色変換逆マップ（color conversion inverse map）を見つけるステップ
と、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用
いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９３】上記カラー画像を表すデータは、上記光源に関する情報を含
んでいることを特徴とする請求項１、４又は１０のいずれか１項に記載の色補正
方法。
【請求項９４】上記カラー画像を表すデータは、上記光源に関する情報を含
んでいることを特徴とする請求項２４、２７又は３３のいずれか１項に記載の色
補正装置。
【請求項９５】電子カメラによって撮像された画像データを記録するデータ
記録方法において、カラー画像を撮像して、上記画像を表すデータを出力するステップと、上記撮像されたカラー画像における光源を推定して、上記推定された光源を表
すデータを出力するステップと、上記画像を表すデータと上記推定された光源を表すデータとを記録するステッ
プとを有するデータ記録方法。
【請求項９６】電子カメラによって撮像された画像データを伝送するデータ
伝送方法において、カラー画像を撮像して、上記画像を表すデータを出力するステップと、上記撮像されたカラー画像における光源を推定して、上記推定された光源を表
すデータを出力するステップと、上記画像を表すデータと上記推定された光源を表すデータとを伝送するステッ
プとを有するデータ伝送方法。