JP2002033933A

JP2002033933A - 画像処理装置および画像処理方法

Info

Publication number: JP2002033933A
Application number: JP2000216947A
Authority: JP
Inventors: Mutsuko Nichogi; 睦子二梃木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-07-18
Filing date: 2000-07-18
Publication date: 2002-01-31

Abstract

(57)【要約】【課題】入力画像を装置あるいは装置および照明に依
存しない色空間に高精度に変換する画像処理方法及び画
像処理装置を提供することを目的とする。【解決手段】画像入力装置から入力される画像の主な
構成要素となる被写体の集合を複数設定し、各集合毎に
装置あるいは装置および照明に依存しない色データを推
定する手段と、画像入力装置から入力された画像データ
の各画素がどの集合に属するか、あるいは、いずれの被
写体集合にも属さないのかを判定し、判定結果に基づい
て推定手段を選択して装置あるいは装置および照明に依
存しない色データを推定するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像入力装置から
入力されたカラー画像データを、装置あるいは装置およ
び照明に依存しない色空間に、高精度に変換する画像処
理装置および画像処理方法に関するものである。

【０００２】

【従来の技術】近年、カラー画像を処理する装置として
スキャナ、デジタルカメラ、プリンタ、ディスプレイ等
さまざまなものが利用されている。これらの装置間で画
像データを交換する手法に、入力装置から入力されたカ
ラー画像データを、一度装置に依存しない独立な色空間
に変換してから、出力装置に出力するカラー画像データ
に変換するものがある。

【０００３】このように、画像入力装置の信号と装置に
依存しない色空間との変換を確立しておけば、あらゆる
画像出力装置にデータを渡すことができるため、入力装
置と出力装置の組み合わせの数だけ色変換処理を決める
必要がない。

【０００４】また、画像入力装置から入力されたカラー
画像データを装置だけでなく照明にも依存しない独立な
色空間に変換しておけば、画像入力時の照明と異なる照
明下の画像を出力装置から出力することもできる。

【０００５】装置に依存しない独立な色空間としては、
国際標準機関CIEが規定するXYZ三刺激値や、L^*a^*b^*表色
系、L^*u^*v^*表色系、あるいはCAM97sなどのカラーアピア
ランスモデルを用いることが一般的であるが、カラーア
ピアランスモデルの属性値はXYZ三刺激値から算出され
るため、画像入出力装置の信号からXYZ三刺激値を推定
することができれば上記色変換が可能になる。

【０００６】また、装置および照明に依存しない色空間
としては、被写体の分光反射率を用いることが一般的で
ある。分光反射率に所望の照明をかけ積分すれば、XYZ
三刺激値を算出することができる。

【０００７】このように、各画像入出力装置の色空間か
ら被写体のXYZ三刺激値あるいは分光反射率を推定する
ことをキャラクタライゼーションと呼ぶ。

【０００８】本発明は、デジタルカメラ、マルチスペク
トルカメラ、スキャナをはじめとする画像入力装置のキ
ャラクタライゼーションに関するものである。

【０００９】従来の画像入力装置のキャラクタライゼー
ション技術には、例えば、特開平７−１７４６３１号公
報記載の皮膚の測色方法及び分光反射スペクトルの推定
方法、特開平１１−８５９５２号公報記載の色再現装
置、特開平９−２３３４９０号公報記載の色シュミレー
ション装置がある。

【００１０】特開平７−１７４６３１号公報では、画像
入力装置から入力された画像から皮膚の分光反射スペク
トルを推定する方法を開示している。その手順を図２０
を用いて説明する。

【００１１】まず、手順２００１で入力された画像デー
タRGBを、輝度に線形な信号に2次関数で変換する。前記
公報記載の２次関数を（数１）に示す。（数１）は、無
彩色の９階調の色票のXYZ三刺激値を測色しておき、そ
のY値である輝度に線形となるように決定されている。

【００１２】

【数１】

【００１３】次に、手順２００２で、輝度線形信号か
ら、少なくとも２次の項までを使用する重回帰行列によ
りXYZ三刺激値を算出する。最後に手順２００３で、XYZ
三刺激値から分光反射率を推定する。

【００１４】手順２００２における重回帰行列は、予め
決定しておく必要がある。重回帰行列の決定を行うに
は、まず特定の被写体として、皮膚を画像入力装置で撮
影しておきその画像データを得ると共に、測色計でも測
色してXYZ三刺激値を求めておく。そして、画像データ
をXYZ三刺激値に変換する行列Ｍを、変換により推定さ
れるXYZ三刺激値と測色計によって計測されたXYZ三刺激
値との誤差が最小になるように決定する。このように予
測値と実測値との誤差が最小となるように推定行列を決
定することを重回帰分析といい、このようにして決定さ
れる推定行列を重回帰行列という。重回帰行列は、XYZ
三刺激値ベクトルをT、画像データベクトルをIとおけば
（数２）で表される。（数１）で、R_TIはＴとＩの相関
行列を表している。

【００１５】

【数２】

【００１６】また、手順２００３における分光反射率の
次元は、例えば400nmから700nmの可視光の範囲を10nmお
きにサンプリングしても31次元とかなり大きく推定が困
難であるため、主成分分析を行い、31次よりも低次なm
次の基底で表現する手法を用いる。被写体である皮膚の
分光反射率の第3主成分までの累積寄与率は99.5パーセ
ントなので、m=3で十分であるため、XYZ三刺激値から基
底の係数を一意に求めることができる。

【００１７】このように従来のキャラクタライゼーショ
ン方法は、被写体を皮膚に限定し、皮膚の画像データと
実測したXYZ三刺激値との重回帰分析により、画像デー
タからXYZ三刺激値を推定する行列を決定している。従
って、この行列では皮膚のXYZ三刺激値は高精度に推定
できるが、皮膚以外のXYZ三刺激値は誤差が極めて大き
い。

【００１８】また、特開平１１−８５９５２号公報記載
の色再現装置では、画像データからXYZ三刺激値を求め
る行列を次のようにして導いている。

【００１９】まず、三刺激値Tと画像データベクトルI
は、（数３）のように表すことができる。（数３）にお
いて、E_Oは観察時の照明行列、Xは等色関数を横ベクト
ルとした行列、fは分光反射率、E_mは撮影時の照明行
列、Sは画像入力装置分光感度を横ベクトルとした行列
である。（数３）を重回帰行列（数２）に代入すると
（数４）が得られる。この（数４）において、R_ffは、
被写体の分光反射率の相関行列である。入力画像の主要
な構成要素となる被写体の分光反射率の相関行列を予め
算出しておき、（数４）のR_ffに代入しておくことで、
画像データからXYZ三刺激値を予測する行列（数４）を
得ることができる。

【００２０】

【数３】

【００２１】

【数４】

【００２２】このように上記従来の画像入力装置のキャ
ラクタライゼーション方法では、被写体を限定し、限定
した被写体の分光反射率の相関行列を用いて、画像デー
タからXYZ三刺激値を推定する行列を決定している。従
って、この行列により、限定被写体以外の画像データの
XYZ三刺激値を推定すると誤差が極めて大きくなる。

【００２３】また、特開平９−２３３４９０号公報記載
の色シュミレーション装置では、画像入力装置から入力
された画像を所望の光源下の色に変換してからディスプ
レイ上に出力する照明シュミレーションを開示してい
る。

【００２４】その手順を図２１を用いて説明する。特開
平７−１７４６３１号公報記載の方法と同様に、分光反
射率を主成分分析し、31次よりも低次なm次の基底で表
現する。そして、手順２１０１で入力画像データから基
底係数m次ベクトルをニューラルネットワークで推定す
る。次に手順２１０２で、推定されたm次ベクトルから
分光反射率を算出する。得られた分光反射率に所望の光
源ベクトルをかけてXYZ三刺激値とし、ディスプレイの
色特性を用いてディスプレイ駆動信号に変換する。

【００２５】ニューラルネットワークでは、学習データ
に類似した性質を持った入力データであれば、適切な分
光反射率が推定されるが、学習データに類似していない
入力データでは極めて誤差が大きくなる。そのため、ニ
ューラルネットワークを使用した本従来例も、被写体を
限定した場合に限り推定が可能な方法であるといえる。

【００２６】

【発明が解決しようとする課題】上記従来の方法では、
いずれも被写体を１つに限定して、分光反射率を推定す
る行列あるいはニューラルネットワークを決定してお
き、入力画像内の全ての画素を１つの行列あるいはニュ
ーラルネットワークで、XYZ三刺激値あるいは分光反射
率を推定している。

【００２７】しかし、実際に撮影する画像が限定した被
写体のみから構成されていることは稀である。例えば、
人間の上半身の画像を入力したとき、画像の多くの画素
は皮膚であるため、予め被写体を皮膚に限定して入力画
像データからXYZ三刺激値を推定する回帰行列を作成し
ておけば、皮膚のXYZ三刺激値は前記回帰行列により精
度高く推定できるが、皮膚以外の部位、例えば、眼鏡や
洋服、髪の毛などを前記回帰行列で推定すると誤差がか
なり大きくなってしまうという問題がある。

【００２８】そこで、被写体を皮膚のみに限定せず、眼
鏡、洋服なども含めたより多くの被写体から回帰行列を
作成すると、皮膚以外の推定値は前記の皮膚のみによる
回帰行列を用いた場合よりも精度が上がるものの、それ
ほど高いとはいえず、一方、肝心の皮膚の推定誤差は前
記回帰行列を用いた場合よりも大きくなってしまう。こ
れは、皮膚、眼鏡、洋服など統計的性質の異なる被写体
をまとめたためである。

【００２９】また、被写体を皮膚に限定した場合には、
主成分分析により分光反射率の次元数を3次元にまで落
とすことができたが、被写体を皮膚に限定せず、より多
くの被写体の分光反射率を主成分分析すると必要な次元
は3次元を超える。例えば、ジャーナルオブオプテ
ィカルソサイエティアメリカA Vol.3 No.10 1986 ペー
ジ 1673「エバリュエイションオブリニアモデル
ズオブサーフェイスイズスペクトルリフレクタン
スウイズスモールナンバーズオブパラメータ
ズ」には、任意の被写体の分光反射率を表現するには、
最低6次元か、8次元程度が必要であるという事実が記載
されている。そのため、バンド数が６から８より小さい
画像入力装置では、被写体を任意とした場合に分光反射
率を一意に算出することはできない。

【００３０】このように、画像入力装置の画像データか
ら被写体のXYZ三刺激値や分光反射率を高精度に算出す
る方法は未だ解決されない課題となっている。

【００３１】本発明は、かかる点に鑑みてなされたもの
で、入力装置から入力されたカラー画像データを装置お
よび照明に依存しない色空間に高精度に変換する画像処
理方法を提供することを目的とする。

【００３２】

【課題を解決するための手段】本発明は、画像入力装置
から入力される画像の主な構成要素となる被写体の集合
を複数設定し、各集合毎に装置あるいは装置および照明
に依存しない色データを推定する手段を算出しておく。
そして、画像入力装置から入力された画像データの各画
素がどの集合に属するか、あるいは、いずれの被写体集
合にも属さないのかを判定し、判定結果に基づいて推定
手段を選択して装置あるいは装置および照明に依存しな
い色データを推定するようにしたものである。

【００３３】このようにすることで、予め設定した被写
体は極めて高精度に、設定以外の被写体についてもほぼ
精度良く、入力画像データから装置あるいは装置および
照明に依存しない色データを推定することができる。

【００３４】また、前記従来例で被写体を表現するのに
必要な基底の数が多くなるのは、多くの被写体をまとめ
て基底を算出しているためである。これに対し、本発明
のように被写体を小分けにして集合としておき、各集合
毎に基底を決定して推定を行うことにより、必要な基底
の数が少なくなるため、少ないバンド数の画像入力装置
でも装置あるいは装置および照明に依存しない色データ
を一意に推定することができる。

【００３５】

【発明の実施の形態】請求項１に記載の発明は、画像入
力装置から入力された各画像信号が属する集合を決定す
る色集合決定手段と、前記色集合決定手段によって決定
された集合毎に異なる色変換処理を選択する色変換処理
選択手段と、前記色変換処理選択手段によって選択され
た色変換処理で注目画素の色を変換する色変換処理手段
とを具備したものであり、画像入力装置から入力された
画像信号を高精度に色変換することができるという作用
を有する。

【００３６】請求項２に記載の発明は、特定した被写体
から成るデータを予め集合毎に学習しておき、入力され
た画像信号の各画素の色が学習したどの集合に属するか
を判定し、集合毎に異なる色変換処理を施すようにした
ものであり、画像入力装置から入力された画像信号を高
精度に色変換することができるという作用を有する。

【００３７】請求項３に記載の発明は、請求項２記載の
画像処理方法において、前記色変換処理は、入力された
画像信号を装置あるいは装置および照明に依存しない色
データに変換するようにしたものであり、画像入力装置
から入力された画像信号を装置あるいは装置および照明
に依存しない色空間に高精度に変換することができると
いう作用を有する。

【００３８】請求項４に記載の発明は、請求項２または
３記載の画像処理方法において、前記色変換処理は、入
力された画像信号の各画素の色が前記集合のうちのいず
れかに属す場合は、集合毎の統計的性質を用いた方法で
色データに変換したものであり、集合に属する画像信号
は高精度に、集合に属さない画像信号も適度な精度で、
装置あるいは装置および照明に依存しない色空間に変換
することができるという作用を有する。

【００３９】請求項５に記載の発明は、請求項４記載の
画像処理方法において、集合毎の統計的性質を用いた色
データへの変換は、重回帰分析を用いることを特徴とす
るものであり、集合に属する画像信号を装置あるいは装
置および照明に依存しない色空間に高精度に変換するこ
とができるという作用を有する。

【００４０】請求項６に記載の発明は、請求項４記載の
画像処理方法において、集合毎の統計的性質を用いた色
データへの変換は、ニューラルネットワークを用いるこ
とを特徴とするものであり、集合に属する画像信号を装
置あるいは装置および照明に依存しない色空間に高精度
に変換することができるという作用を有する。

【００４１】請求項７に記載の発明は、請求項２から６
のいずれかに記載の画像処理方法において、前記色変換
処理は、入力された画像信号の各画素の色が前記集合の
うちのいずれかに属す場合には、前記集合の統計的性質
を用いて算出した色データと、統計的に無相関であると
して算出した色データを、前記集合に属する信頼度に応
じて重み付けして色データに変換するものであり、装置
あるいは装置および照明に依存しない色データを出力装
置用の画像に変換した際に、出力画像における偽輪郭を
低減することができるという作用を有する。

【００４２】請求項８に記載の発明は、請求項２から７
のいずれかに記載の画像処理方法において、各画素の色
が属する集合の判定は、各集合の成す統計的性質への合
致度により行うものであり、各画素の所属する集合を判
定することができるという作用を有する。

【００４３】請求項９に記載の発明は、請求項８記載の
画像処理方法において、前記統計的性質は、平均値であ
ることを特徴とするしたものであり、各画素の所属する
集合を精度良く判定することができるという作用を有す
る。

【００４４】請求項１０に記載の発明は、請求項８記載
の画像処理方法において、前記統計的性質は、平均値お
よびマハラノビス距離であることを特徴とするしたもの
であり、各画素の所属する集合を高精度に判定すること
ができるという作用を有する。

【００４５】請求項１１に記載の発明は、請求項２から
７のいずれかに記載の画像処理方法において、各画素の
色が属する集合の判定は、ある集合に属すると仮定した
場合に得られる装置あるいは装置および照明に依存しな
い色データと、いずれの集合にも属さないと仮定した場
合に得られる装置あるいは装置および照明に依存しない
色データとの差異により行うことを特徴とするものであ
り、各画素の所属する集合を高精度に判定することがで
きるという作用を有する。

【００４６】請求項１２に記載の発明は、請求項２から
７のいずれかに記載の画像処理方法において、各画素の
色が属する集合の判定をニューラルネットワークにより
行うことを特徴とするものであり、各画素の所属する集
合を判定することができるという作用を有する。

【００４７】請求項１３に記載の発明は、請求項２から
１２のいずれかに記載の画像処理方法において、前記各
集合において、集合からはずれる特異なデータを統計的
性質から判定し、前記特異データを除去した適切な集合
を用いることを特徴とするものであり、特異データを除
去することで統計的性質が明確な集合とすることができ
るため、各画素の色が属する集合を高精度に判定するこ
とができるという作用を有する。

【００４８】請求項１４に記載の発明は、請求項２から
１２のいずれかに記載の画像処理方法において、前記集
合間の分離可能度を統計的性質から算出し、分離可能度
の高い集合を用いることを特徴とするものであり、各画
素の色が属する集合を高精度に判定することができると
いう作用を有する。

【００４９】請求項１５に記載の発明は、請求項１４記
載の画像処理方法において、前記分離可能度は、画像デ
ータ空間において各集合の成す部分空間の独立度である
ことを特徴とするものであり、各画素の色が属する集合
を高精度に判定することができるという作用を有する。

【００５０】請求項１６に記載の発明は、請求項１４記
載の画像処理方法において、前記分離可能度は、装置あ
るいは装置および照明に依存しない色空間において各集
合の成す部分空間の独立度であることを特徴とするもの
であり、各画素の色が属する集合を高精度に判定するこ
とができるという作用を有する。

【００５１】以下、本発明の実施の形態について図面を
参照して詳細に説明する。

【００５２】（実施の形態１）本発明は、画像入力装置
から入力される画像の主な構成要素となる被写体の集合
を複数設定し、各集合毎に装置あるいは装置および照明
に依存しない色データを推定する手段を算出しておく。
そして、画像入力装置から入力された画像データの各画
素がどの集合に属するか、あるいは、いずれの被写体集
合にも属さないのかを判定し、判定結果に基づいて推定
手段を選択して装置あるいは装置および照明に依存しな
い色データを推定することで、装置あるいは装置および
照明に依存しない色データの高精度な推定を行うもので
ある。

【００５３】一般に、高精度に色データを推定するに
は、センサのバンド数を増やすことが考えられる。セン
サを増やす理由は、次の２点にある。第１に、被写体の
分光反射率を表現するのに必要な基底の数が多い場合に
も、カメラのバンド数をそれと同数にすることで、基底
係数を一意に算出することができるようになる。

【００５４】また、第２に、異なる分光反射率を持つ被
写体が、画像入力装置の同一の信号値となってしまう可
能性を減らす。これをセンサメタメリズムという。

【００５５】しかし、マルチバンド化により、画像入力
装置は高価なものとなるため、できるだけ少ないバンド
数の画像入力装置で被写体のXYZ三刺激値や分光反射率
を推定することが望ましい。被写体に必要な基底の数が
多くなるのは、多くの被写体をまとめて基底を求めてい
るためである。

【００５６】これに対し、本発明では、被写体を小分け
にカテゴリに分類しておき、各カテゴリ毎に色データを
推定する。このようにすることで、少ないバンド数の画
像入力装置でも被写体の高精度な推定が可能となり、上
記第１の問題点はバンド数を増やさずとも解決できる可
能性が高まる。

【００５７】なお、上記第２の問題点であるセンサメタ
メリズムの減少は、それ相応のバンド数の増加が必要に
なるであろう。

【００５８】そこで、本実施の形態では、最も一般的な
画像入力系として、RGB3バンドの出力を持つデジタルカ
メラを想定し、RGB画像データから装置および照明に依
存しないデータである被写体の分光反射率を推定する方
法について説明する。また、説明を簡単にするために、
カテゴリ数を２とした場合を取り上げる。

【００５９】図１は、実施の形態１にかかる入力装置の
RGB画像データから分光反射率画像データを推定する画
像処理装置のブロック図である。

【００６０】図１において、１０１はＲＧＢ3バンドの
画像データを取得する画像入力装置、１０２は入力画
像、１０３は入力画像１０２を記憶する入力画像記憶
部、１０４は入力画像１０２の各画素の処理制御を行う
全体制御部、１０５は全体制御部１０４の指示により入
力画像記憶部１０３から読み出された各画素の画素値で
ある注目画像データ、１０６は注目画像データ１０５か
ら非線形性を除去する非線形性除去部、１０７は非線形
性除去部１０６によって得られる非線形性を除去した画
像データであり、これを以降、スカラー画像データと呼
ぶことにする。１０８はスカラー画像データ１０７が所
属するカテゴリを判定するカテゴリ判定部、１０９はカ
テゴリ判定部１０８で判定されたカテゴリ信号、１１０
はカテゴリ信号１０９に応じて分光反射率推定に用いる
パラメータを読み出す指示となる処理選択信号１１１を
出力する処理選択部、１１１は処理選択部１１０から出
力される処理選択信号、１１２は予め算出された各カテ
ゴリ毎の分光反射率推定パラメータを記憶しておくパラ
メータ記憶部、１１３は処理選択信号１１１の指示によ
ってパラメータ記憶部から読み出された推定パラメー
タ、１１４は推定パラメータ１１３を用いて分光反射率
推定を行う分光反射率推定部、１１５は推定された注目
画像データの分光反射率データ、１１６は注目画像デー
タ１０５の分光反射率推定が終了したことを指示する制
御信号、１１７は分光反射率データを記録する画像記録
部、１１８は画像処理装置、１１９は画像処理装置から
出力される分光反射率画像である。

【００６１】図１の画像処理装置の動作を説明する。画
像入力装置１０１から入力された画像データ１０２は、
入力画像記憶部１０３に記憶される。そして、全体制御
部１０４の指示により、入力画像記憶部１０３から順
次、画素値が非線形除去部１０６へ注目画像データ１０
５として読み出される。非線形性除去部１０６では、注
目画像データ１０５をスカラー画像データ１０７に変換
する。

【００６２】次に、スカラー画像データが既に記憶され
ている複数のカテゴリのうちいずれのカテゴリに属する
か、あるいは、いずれのカテゴリにも属さないのかを判
定し、判定結果をカテゴリ信号１０９として出力する。
処理選択部１１０はカテゴリ信号１０９を受け、判定さ
れたカテゴリ用の分光反射率推定パラメータをパラメー
タ記憶部１１２から読み出す。パラメータ記憶部１１２
には、予め各カテゴリ用の分光反射率推定パラメータが
格納されている。

【００６３】分光反射率推定部１１４では、パラメータ
記憶部１１２から読み出された推定パラメータ１１３を
用いてスカラー画像データ１０７から分光反射率を推定
する。得られた分光反射率データ１１５は画像記録部１
１７に記録される。これら一連の処理が注目画像データ
１０５に対して、終了すると、分光反射率推定部は処理
の終了を意味する制御信号１１６を全体制御部１０４に
出力する。全体制御部１０４では制御信号１１６を受け
ると、次の処理対象となる画像データを入力画像記憶部
１０３から注目画像データ１０５として読み出す。以上
を入力画像１０２の画素全体に対して繰り返す。

【００６４】次に、非線形除去部１０６の詳細な動作の
例を示しておく。

【００６５】非線形性除去部１０６における処理は、例
えば、マルチレイヤーパーセプトロンを用いて行うこと
ができる。マルチレイヤーパーセプトロンは、ニューラ
ルネットワークの一つで、ニューロンのパラメータであ
る重みと閾値を予め学習しておき、その学習によって得
られたパラメータを用いて推定を行う。ここで用いるマ
ルチレイヤーパーセプトロンは、入力を画像データ、出
力を画像データから非線形性が除去されたデータ、すな
わち、スカラー画像データとするものである。

【００６６】このようなマルチレイヤーパーセプトロン
のパラメータ学習手順について図２を用いて説明する。
手順２０１で複数の色から構成された色票の画像データ
と測色値を予め取得しておく。次に、手順２０２で前記
色票の測色値から画像入力装置１０１の信号発生モデル
を用いて予測される理想的な画像データを算出する。次
に、手順２０３で画像データ１０２を入力データとし、
理想的な画像データを教師データとして重みと閾値を学
習する。

【００６７】手順２０２における理想的な画像データの
算出方法について詳細を説明する。理想的な画像データ
は画像入力装置１０１の信号発生モデルに色票の測色値
を代入することで求めることができる。信号発生モデル
は、被写体の分光反射率R(λ)と照明の分光分布S(λ)と
画像入力装置１０１のRGB3バンドの分光感度C_R（λ）、
C_G（λ）、C_B（λ）を用いて、（数５）で書くことがで
きる。画像入力装置１０１の分光感度と照明の分光分布
は既知とする。

【００６８】

【数５】

【００６９】（数５）のR(λ)に色票の分光反射率を代
入して得られるR',G',B'が理想的な画像データとなる。
（数５）の信号発生モデルの説明図を図３に示す。図３
において、３０１は信号発生モデルに代入する色票の分
光反射率、３０２は既知の画像入力装置１０１の分光感
度特性、３０３は画像データ１０２撮影時の照明特性、
３０４は（数５）の信号発生モデル、３０５は色票の理
想画像データである。図３に示すように、信号発生モデ
ルすなわち（数６）に、画像入力装置１０１の分光感度
特性３０２、及び、照明特性３０３、及び、被写体の分
光反射率３０１を与えることにより、被写体の理想画像
データ３０５が得られる。

【００７０】

【数６】

【００７１】次に、以上のようにして学習された重みと
閾値のニューラルネットワークによる推定手順を説明す
る。

【００７２】非線形性除去部１０６において、学習済み
のニューラルネットワークに注目画像データ１０５を入
力する。これにより、ニューラルネットワークの出力に
スカラー画像データ１０７が得られる。以上で、非線形
性除去部１０６の動作説明を終える。

【００７３】次に、本発明の特徴となるカテゴリ判定部
１０８の動作の詳細について説明する。

【００７４】特定した被写体から成るカテゴリは、図１
における画像処理の動作前に予め設定しておく。カテゴ
リは、分光反射率を特に高精度に推定したいものを対象
としておくとよい。例えば、色再現上重要であると考え
られているものに、肌、草の緑などがあるので、カテゴ
リ１として人間の肌、カテゴリ２として草の緑というよ
うに設定する。

【００７５】カテゴリを設定したら、各カテゴリ毎の統
計的性質を算出しておく。カテゴリ毎の統計的性質の算
出手順について図４を用いて説明する。

【００７６】手順４０１で、カテゴリに属する被写体の
複数の画像データを取得する。例えば、皮膚であれば、
図５に示すように、肌を実際を入力してもよいし、肌の
反射率を分光的に再現した色票を入力してもよい。

【００７７】手順４０２で、非線形除去部１０６と同様
の処理で、画像データからスカラー画像データを算出し
ておく。手順４０３でスカラー画像データの平均値と分
散を算出し、得られた平均値と分散をカテゴリの統計的
性質として記憶する。

【００７８】手順４０４で判定関数を作成する。判定関
数について説明する。

【００７９】まず、カテゴリに属するデータは手順４０
２で得られた平均と分散で表現される正規分布に従って
いると仮定する。正規分布の式を（数６）に示す。

【００８０】（数６）において、Ｎはf_Gauss(μ)であ
り、f_Gauss(μ)のときに１となるように正規化するため
に導入した係数である。画像入力装置１０１が3バンド
の場合、各バンド毎に（数６）を作成しf_R(x),f_G(x),f_B
(x)とし、それらの積を判定関数とし、（数７）で表
す。

【００８１】

【数７】

【００８２】以上で、各カテゴリ毎に判定関数が得られ
る。

【００８３】次に、上記手順で得られた判定関数を用い
て行われるカテゴリ判定部１０８の動作手順を図６を用
いて説明する。

【００８４】手順６０１で、各カテゴリの判定関数（数
７）にスカラーＲＧＢ画像データ(R',G',B')を代入して
判定関数値を算出する。手順６０２で、判定関数値が最
も大きいカテゴリをカテゴリ候補とする。手順６０３
で、手順６０２で得られたカテゴリ候補が適正であるか
判定する。入力されたスカラーRGB画像データ（R',G',
B'）が、候補カテゴリの平均値(μ_R',μ_G',μ_B')に近け
れば、適正であると判定する。

【００８５】手順６０３の具体的な計算手順について説
明する。まず、R'の正規分布関数f_R(x)が、例えば80パ
ーセントの信頼区間を示す値を上限閾値R_u、２０パーセ
ント信頼区間を示す値を下限閾値をR_lとする。このよう
にして、G',B'についても同様に、上限および下限の閾
値を算出しておき、入力されたスカラーRGB画像データ
（R',G',B'）が閾値内にあれば、スカラー画像データは
手順６０２で得られたカテゴリ候補に属すると判定さ
れ、閾値外であれば、いずれのカテゴリにも属さないと
判定される。

【００８６】以上のカテゴリ判定方法では、スカラー画
像データの空間内で、R',G',B'それぞれの値が、カテゴ
リの示す平均値に近いかどうかだけで判定を行った。そ
のため、R',G',B'それぞれの相関関係は考慮されていな
い。R',G',B'の相関関係を考慮すれば、より高精度なカ
テゴリ判定ができる。

【００８７】R',G',B'の相関関係も考慮したより高精度
なカテゴリ判定方法として、上記の正規分布による判定
に加え、マハラノビス距離による判定を加えた方法を説
明する。

【００８８】マハラノビス距離は、（数８）で定義され
る。（数８）において、ΣはスカラーRGB画像データの
相関行列、μはスカラーRGB画像データの平均ベクト
ル、ｘは判定すべきスカラーRGB画像データベクトルで
ある。

【００８９】

【数８】

【００９０】（数８）のg(x)によれば、入力されたスカ
ラーRGB画像データｘのカテゴリからの距離は、相関行
列Σによって正規化されるため、R',G',B'相互の関係を
考慮した判定値を得ることができる。しかし、平均値μ
を引いて、R',G',B'の各値の絶対的な情報を除去してい
るため、（数８）のみでカテゴリ判定を行うことはでき
ない。（数８）と（数７）を併用する必要がある。（数
８）による判定と（数７）による判定の両方を加味した
新しい判定値として（数９）のh(x)を定義する。

【００９１】

【数９】

【００９２】（数９）において、xは任意のスカラーRGB
画像データベクトルであり、f(x)は（数７）のf(R',G',
B')を意味する。（数７）のf(x)は値が大きいほど、一
方、（数８）のマハラノビス距離g(x)は値が小さいほど
カテゴリに属する可能性が高いため、（数９）のh(x)は
値が大きいほどカテゴリに属する可能性が高く、（数
８）と（数９）の両方の判定基準を考慮した値となって
いる。

【００９３】以上の説明における判定関数h(x)を用いて
行われるカテゴリ判定部１０８の動作手順を図７を用い
て説明する。

【００９４】手順７０１で、各カテゴリの判定関数ｈ
（ｘ）（数９）にスカラーＲＧＢ画像データ(R',G',B')
を代入して判定関数値を算出する。手順７０２で、判定
関数値が最も大きいカテゴリをカテゴリ候補として得
る。手順７０３で、手順６０３と同様の閾値判定を行
う。すなわち入力されたスカラー画像データR',G',B'の
それぞれが、上限および下限の閾値内にあればスカラー
画像データは手順７０２で得られたカテゴリ候補に属す
ると可能性があると判定され手順７０４へ進む。閾値外
であれば、いずれのカテゴリにも属さないと判定され
る。

【００９５】次に、手順７０４で、カテゴリ候補の適正
度をマハラノビス距離で判定する。一般に、ｘがｍ次の
正規分布に従うときマハラノビス距離ｇ（ｘ）は自由度
ｍのχ二乗分布に従うことが知られている。そこで、自
由度ｍのχ二乗分布の分布関数において95パーセント信
頼区間を示す値をｇ_threとして予め求めておき、ｇ
（ｘ）がｇ_threよりも小さければ、カテゴリ候補に属す
ると判定され、大きければ、いずれのカテゴリにも属さ
ないと判定される。以上で、カテゴリ判定部１０８の動
作説明を終える。

【００９６】次に、本発明のもう１つの特徴となる処理
選択部１１０、パラメータ記憶部１１２、分光反射率推
定部１１４の動作の詳細について説明する。

【００９７】本発明は、カテゴリ判定部１０８で判定さ
れたカテゴリ毎に、分光反射率の推定行列が異なる点に
特徴がある。

【００９８】各カテゴリ毎の推定行列は、パラメータ記
憶部１１２に予め格納されており、処理選択部１１０は
カテゴリ判定部から判定されたカテゴリ信号１０９を受
けると、パラメータ記憶部１１２に格納されている複数
の推定行列のうち、判定されたカテゴリ用の行列を読み
出し、分光反射率推定部１１４に渡す。分光反射率推定
部１１４は、指定された行列を用いて、スカラー画像デ
ータ１０７から被写体の分光反射率を推定する。

【００９９】分光反射率の推定は、（数５）の左辺(R',
G',B')にスカラー画像データ１０７を代入したときに分
光反射率R(λ)を求めることで行う。

【０１００】（数５）において、スカラー画像データと
分光反射率は線形な関係にあるから、（数５）を離散的
な行列表現に書きかえれば（数１０）となる。

【０１０１】

【数１０】

【０１０２】（数１０）の左辺はスカラー画像データ１
０７、(R1,R2,…,Rn)^Tは被写体の分光反射率の離散的表
現であり、各成分は例えば、400nmから700nmの10nmおき
の各波長における反射率を表す。行列Aは画像入力装置
１０１の分光感度と照明の分光分布によって決まる行列
である。

【０１０３】（数１０）を用いて、スカラー画像データ
１０７から被写体の分光反射率Rを推定する問題は線形
逆問題であり、画像データが例えばRGB３バンドの場
合、(R1,R2,…,Rn)^Tは次元数が３よりも格段に大きく推
定することが難しい。

【０１０４】この問題を解決する方法として、例えば、
被写体の分光反射率をnよりも低次の基底関数で表現す
る方法がある。この方法によれば、求めるべきデータの
次元数を減らすことができる。

【０１０５】例えば、基底関数を３次元O₁(λ),O₂(λ),
O₃(λ)とすれば、（数５）は（数１１）に書き換えるこ
とができ、推定すべきデータは(a,b,c)の３次のベクト
ルとなる。従って、（数１０）は（数１２）に書き換え
ることができる。（数１２）において、行列Bは、画像
入力装置１０１の分光感度と照明の分光分布と上記基底
関数により決まる行列である。

【０１０６】

【数１１】

【０１０７】

【数１２】

【０１０８】基底関数としては、例えば、雑誌カラーリ
サーチアンドアプリケーション、ボリューム19、ナンバ
ー1、1994年、ページ４から９のヴィーヘル著「メジャ
メントアンドアナリシスオブオブジェクトリ
フレクタンススペクトラ」記載のものを用いることが
できる。この基底関数は、自然被写体、人工被写体の多
くを計測して算出したものであるため、非常に汎用的な
基底関数であるといえる。

【０１０９】あるいは、マクベスチャートの分光反射率
を測定し、得られた分光反射率を主成分分析して、上位
数成分の主成分ベクトルを基底関数として用いてもよ
い。

【０１１０】このようにして得られた（数１２）は特に
被写体を限定したものではなく、理想的には、あらゆる
被写体で成り立つ。また、行列Bは正方行列であるた
め、一意な解を得ることができ、精度もあらゆる被写体
でほぼ同程度のものとなる、しかし、基底関数が3次で
すべての被写体を表すことはできないこと、被写体が完
全拡散である仮定の上に成り立つ式であること、更にノ
イズが考慮されていないことから、高精度な推定は不可
能である。

【０１１１】一方、被写体が限定されたときには、上記
のように信号発生モデル（数５）を解くよりも、被写体
に関する画像データと分光反射率データの統計的性質か
ら推定を行う重回帰分析やニューラルネットワークの方
が高精度な解が得られる。ただし、この場合は、限定し
た被写体については極めて高精度な推定が得られるもの
の、それ以外の被写体については誤差が極めて大きくな
る。

【０１１２】そこで、本発明では、限定した被写体のカ
テゴリについては、重回帰分析やニューラルネットワー
クなどを用いて高精度な推定方法を予め用意しておく。
そして、入力された画像内の各画素が限定した被写体の
ものであるかをカテゴリ判定部１０８で判定し、カテゴ
リに属すると判定されれば、前記重回帰分析やニューラ
ルネットワークなどを用いたカテゴリ用の推定を行い、
いずれのカテゴリにも属さないと判定されれば、（数１
２）による推定を行う。

【０１１３】本処理の説明図が図８に示す。図８では、
カテゴリ判定部１０８によって判定されたカテゴリ信号
１０９によって、用いる推定方法を変更する（手順８０
１）。カテゴリ信号１０９がカテゴリ１、あるいはカテ
ゴリ２であれば、重回帰分析あるいはニューラルネット
ワークによる被写体に特化した推定を行い（手順８０
２，手順８０３）、いずれのカテゴリでもなければ、
（数１２）で推定を行う（手順８０４）。

【０１１４】このようにすることで、特定した被写体に
ついては、極めて高精度な推定が可能となり、それ以外
の被写体についてもほぼ精度の良い解を得ることができ
る。

【０１１５】次に、カテゴリ毎の推定方法について説明
する。

【０１１６】カテゴリ毎の推定方法には複数考えられる
が、ここでは、重回帰分析による方法とニューラルネッ
トワークによる方法の２種類について説明する。

【０１１７】まず、重回帰分析を用いた方法を図９を用
いて説明する。

【０１１８】手順９０１で、カテゴリに属する被写体の
複数の画像データを画像入力部から得ておき、また、測
色計を用いて分光反射率データを得ておく。この様子を
図５に示す。手順９０２で、非線形除去部１０６と同様
の処理で画像データをスカラー画像データに変換する。
手順９０３で、分光反射率データを基底係数に変換にす
る。基底関数は、（数１２）と同じくヴィーヘルらのも
のを用いてもよいし、あるいは、カテゴリに属する複数
の被写体の分光反射率を主成分分析して、上位数成分の
主成分ベクトルを用いてもよい。後者の場合は、基底関
数も、カテゴリに特化したものとなるため、表現精度は
高くなる。手順９０４で重回帰分析により画像データか
ら分光反射率データの基底係数を推定する行列を作成す
る。

【０１１９】手順９０４の詳細を説明する。手順９０２
で算出した複数のスカラー画像データを縦ベクトルとし
て、データ数分横に並べた行列をX、手順９０３で算出
した分光反射率の基底係数を縦ベクトルとして、データ
数分横に並べた行列をRとおくと、画像データから基底
係数を推定する行列Mは（数１３）で表される。（数１
３）において、R_xxは相関行列を表す。例えばR_RXはＴと
Xの相関行列であり、（数１４）で定義される。

【０１２０】

【数１３】

【０１２１】

【数１４】

【０１２２】（数１３）は推定される基底係数と、手順
９０３で算出された基底係数との誤差が最小となるよう
に決定された行列である。

【０１２３】以上の手順によって得られた行列Mを用い
て、任意のスカラー画像データx=(R',G',B')^tから分光
反射率の基底係数r=(a,b,c)^tを（数１５）で推定する。

【０１２４】

【数１５】

【０１２５】得られた基底係数から分光反射率を算出す
る。以上で、重回帰分析によるカテゴリ毎の推定行列の
作成方法についての説明を終える。

【０１２６】ここで、カテゴリ毎の推定行列（数１３）
および（数１５）と、いずれのカテゴリにも属さないと
判定された場合に用いる推定行列（数１２）の関係につ
いて説明しておく。

【０１２７】画像入力装置１０１の各バンドの感度を縦
ベクトルとして並べた行列をＣ、基底関数を縦ベクトル
として並べた行列をＰとおくと、画像入力装置１０１の
信号発生モデルの（数５）は、（数１６）のように書く
ことができる。ここで、Ｘは手順９０２で算出した複数
のスカラー画像データを縦ベクトルとしてデータ数分横
に並べた行列、Ｒは手順９０３で算出した分光反射率の
基底係数を縦ベクトルとしてデータ数分横に並べた行列
である。

【０１２８】

【数１６】

【０１２９】（数１５）に、（数１３）および（数１
６）を代入すると（数１７）となる。

【０１３０】

【数１７】

【０１３１】（数１７）において、被写体を限定しない
と、分光反射率の基底係数の相関行列R_RRは単位行列で
あるとみなせるので、（数１８）となる。（数１８）に
おいて＋はムーアペンローズの一般逆行列を意味する。
基底関数を画像入力装置のバンド数を同じ3次まで用い
ることにすれば、P^tCは対称行列となるから、通常の逆
行列で解くことができる。

【０１３２】

【数１８】

【０１３３】（数１３）と（数１２）で用いる基底関数
が同じものであれば、（数１８）は（数１２）と等価に
なることに注意して欲しい。すなわち、カテゴリ毎の推
定行列（数１３）、（数１５）において、基底係数の相
関行列を単位行列とした場合が、（数１２）の信号発生
モデル解に相当するのである。

【０１３４】次に、カテゴリ毎の推定方法のもう１つの
方法であるニューラルネットワークについて説明する。

【０１３５】まず、ニューラルネットワークの学習手順
を図１０を用いて説明する。手順１００１で、カテゴリ
に属する複数の被写体の画像データを画像入力装置から
得ておき、また、測色計を用いて分光反射率データを得
ておく。この様子を図５に示す。手順１００２で非線形
除去部１０６と同様の処理で画像データをスカラー画像
データに変換する。手順１００３で、分光反射率データ
を基底係数に変換にする。基底関数は、（数１２）と同
様にヴィーヘルらのものを用いてもよいし、あるいは、
カテゴリに属する複数の被写体の分光反射率を主成分分
析して、上位数成分の主成分ベクトルを用いてもよい。
後者の場合、基底関数も、カテゴリに特化したものとな
るため、表現精度は高くなる。

【０１３６】次に、手順１００４でスカラー画像データ
から分光反射率の基底係数を推定するニューラルネット
ワークの閾値と重みの学習を行う。ニューラルネットワ
ークは多層パーセプトロンとし、入力データを手順１０
０２で算出したスカラー画像データ、教師データを手順
１００３で算出した基底係数として学習を行う。

【０１３７】以上の学習によって得られた閾値と重みを
持つニューラルネットワークに、任意のスカラー画像デ
ータを入力すれば、出力として分光反射率基底係数が得
られる。その後、得られた基底係数を分光反射率に変換
する。

【０１３８】以上で図１の画像処理装置の各部の動作の
説明を全て終える。

【０１３９】本画像処理装置がなるべく効率良く動作す
るためには、２つの重要な点がある。一つは、手順４０
１や手順９０１、あるいは手順１００１で取得するデー
タが１つのカテゴリを成すものとして適切かどうか、す
なわち、カテゴリからはずれるような特異なデータが含
まれていないか、もう一つは、カテゴリ同志が分離可能
なものであるかどうかである。

【０１４０】そこで、まず、手順４０１、９０１、１０
０１で取得するカテゴリ内のデータの特異性の判定方法
について図１１を用いて説明する。

【０１４１】まず、手順１１０１で、手順４０１あるい
は９０１、１００１で取得した画像データを非線形除去
部１０６と同様の処理でスカラー画像データに変換す
る。手順１１０２で、得られたスカラー画像データの平
均μと相関行列Σを算出する。手順１１０３で、各スカ
ラー画像データのマハラノビス距離g(x)を（数８）で求
め、マハラノビス距離が閾値よりも大きいデータは特異
であると判定する。このようにして、特異であると判定
されたデータは、カテゴリ内のデータから除くようにす
ればよい。

【０１４２】手順１１０３で用いる閾値は、例えば、次
のように求めておく。一般に、ｘがｍ次の正規分布に従
うときマハラノビス距離ｇ（ｘ）は自由度ｍのχ二乗分
布に従うことが知られている。そこで、自由度ｍのχ二
乗分布の分布関数において95パーセント信頼区間を示す
値をｇ_threとして予めもとめておき、ｇ（ｘ）がｇ_th _re
よりも大きければ、特異なデータであると判定する。

【０１４３】以上のデータの特異性の判定は、スカラー
ＲＧＢ空間上で行ったが、全く同様の処理を分光反射率
空間上で行うか、あるいは、分光反射率の基底係数空間
上で行ってもよい。例えば、基底係数空間上で行う場合
には、手順４０１、９０１、１００１で取得した分光反
射率データを、3次の基底係数に変換し、手順１１０
２、１１０３のスカラー画像データの代わりに基底係数
を用いて全く同じ処理を行えばよい。

【０１４４】ただし、これらの実験を行ったところ、ス
カラー画像データ空間上で判定された特異データは、
（数１３）および（数１５）による推定結果の悪いデー
タと良く一致しているため、基底係数空間よりもスカラ
ー画像データ空間の方が適切な判定を行うことができ
た。以上で、データの特異性判定についての説明を終え
る。

【０１４５】次に、もう一つの重要なポイントであるカ
テゴリ同志の分離可能性の判定方法について説明する。
カテゴリとして十分に分離可能なものであるほど、正確
なカテゴリ判定を行うことができる。例えば、色が似通
ったものである、赤いバラと赤い色票を異なるカテゴリ
として設定しても、それらの色を画像入力装置１０１が
同一の信号値として捕らえてしまえば、分離することは
できない。すなわち、分離可能性が低いといえる。

【０１４６】カテゴリの分離可能度は、スカラーＲＧＢ
空間上で、各カテゴリのデータが群を成しているかどう
かに依っている。それを判定する基準は、次の３点にな
る。

【０１４７】「分離判定基準１」カテゴリの閾値R_lと
R_u、G_lとG_u、B_lとB_uが成す区間が互いに交わっていない
こと「分離判定基準２」各カテゴリのスカラー画像データ
を相関行列で主成分分析した結果、２次までの寄与率が
高いこと「分離判定基準３」各カテゴリのスカラー画像データ
の2次までの主成分ベクトルが成す平面同志の角度がな
るべく大きいことこれら３つのうちの、どれもが満足されていればいるほ
ど、カテゴリの分離可能性は高く、ひいては、カテゴリ
判定を正確に行い、推定精度を向上させることができる
ようになる。

【０１４８】以上のカテゴリ分離可能度の算出を、スカ
ラーRGB空間上で行う手順について図１２を用いて説明
する。

【０１４９】手順１２０１で、まず分離判定基準1であ
る閾値R_lとR_u、G_lとG_u、B_lとB_uがそれぞれ成す区間が互
いのカテゴリで交わっていないかを判定する。次に、手
順１２０２で各カテゴリ毎に画像データをスカラー画像
データに変換する。手順１２０３で、各カテゴリ毎にス
カラー画像データの相関行列を求め、相関行列を用いて
主成分分析する。手順１２０４で、分離判定基準の2点
目をチェックする。具体的には、各カテゴリ毎の主成分
分析の結果、（センサバンド数―１）次までの寄与率を
算出する。寄与率が高ければ、カテゴリ分離可能性が高
い。

【０１５０】次に、手順１２０５で、各カテゴリの最低
固有値に対応する主成分ベクトルを求める。なぜなら、
主成分ベクトルのうち、固有値が最も小さいものに対応
する主成分ベクトルは、（センサバンド数―１）次まで
の主成分ベクトルが成す平面の法線ベクトルになってい
るからである。手順１２０６で、分離判定基準の３点目
となる各カテゴリの法線ベクトル同志の成す角度を求め
る。各法線ベクトルを正規化しておけば、角度は、内積
で求めることができる。角度が大きければ、分離可能性
が高い。

【０１５１】以上の手順は、スカラーＲＧＢ空間上にお
いて行ったが、全く同じ操作を分光反射率空間か、ある
いは分光反射率の基底係数空間で行っても良い。ただ
し、基底係数空間上で行う場合には、各カテゴリで用い
る基底関数は当然同じものとしておく必要がある。

【０１５２】なお、分光反射率の基底係数空間で行う場
合、手順１２０３で用いる相関行列は、（数１７）にお
ける基底係数の相関行列R_RRと等価である。

【０１５３】図１の画像処理装置のシステム応用例を図
１３に示す。図１３において、１３０１が画像入力装置
１０１、１３０２が画像処理装置１１８、１３０３がデ
ィスプレイ、１３０４がプリンタである。画像入力装置
１３０１で被写体１３０４の画像が入力され、画像処理
装置１３０２内の処理により分光反射率画像１１９が出
力される。分光反射率画像１１９はディスプレイ１３０
３あるいはプリンタ１３０４に渡され、各装置の信号に
変換されてからディスプレイ１３０３上に表示された
り、あるいは、プリンタ１３０４から出力される。分光
反射率画像１１９から各装置への信号の変換は、ディス
プレイ１３０２あるいはプリンタ１３０３の内部のＣＰ
Ｕで行ってもよいし、あるいは、別途のパーソナルコン
ピュータなどの演算処理装置で行ってからディスプレイ
１３０２あるいはプリンタ１３０３に渡してもよい。ま
た、画像処理装置１３０２の処理をすべて、画像入力装
置１３０１内部のCPUで行ってもよい。

【０１５４】このような図１３のシステムでは、入力さ
れた画像を一度、装置あるいは装置および照明に依存し
ない色データに変換してから、各出力装置の信号に変換
することで、被写体の本当の色をディスプレイやプリン
タに出力することができるようになる。

【０１５５】この応用例のように、得られた分光反射率
画像１１９をディスプレイやプリンタに出力して、人間
が観察する場合には、各カテゴリの領域の境界で偽輪郭
が生じることがある。これは、各画素毎にカテゴリ判定
をして異なる方法で分光反射率を推定したことに因る。

【０１５６】このような問題を解決するためには、次の
ような方法をとればよい。

【０１５７】各画素があるカテゴリに属すると判定され
た場合には、これまで説明したように、カテゴリ用に用
意された行列（数１３）および（数１５）、あるいはニ
ューラルネットワークで分光反射率データを推定する
が、別途、いずれのカテゴリでもない場合の推定方法
（数１２）でも分光反射率データを推定しておき、これ
ら両推定方法によるデータをカテゴリに属する信頼度で
重み付けした結果を、最終的な分光反射率データとすれ
ばよい。

【０１５８】カテゴリに属する信頼性は例えば、（数１
９）あるいは（数２０）で算出する。（数１９）におい
て、f(x)は手順６０１で算出したカテゴリの判定関数
値、g(x)は手順７０１で算出したマハラノビス距離、g
_threは手順７０４で使用したカイ二乗分布によるマハラ
ノビス距離の閾値である。

【０１５９】

【数１９】

【０１６０】

【数２０】

【０１６１】得られた重みにより、カテゴリ用に用意さ
れた行列（数１３）、（数１５）あるいはニューラルネ
ットワークで推定した分光反射率データr_category(x)
と、いずれのカテゴリでもない場合の（数１２）による
推定解r_general(x)を（数２１）で融合し、得られたr
(x)を最終的な分光反射率データ１１５として画像記録
部１１７に出力する。

【０１６２】

【数２１】

【０１６３】なお、本実施の形態では、RGB３バンドの
画像入力部について説明を行っているが、フィルタをRG
Bだけでなく、より数多く増やした場合にも本手法を同
様に適用することができる。また、画像入力部はデジタ
ルカメラだけでなく、スキャナや、アナログ出力をデジ
タイズしたデータとしてもよいし、更に動画の各画像に
本処理を適用してもよい。

【０１６４】また、本発明は、図１における画像処理装
置の動作をＣＤＲＯＭに記憶し、ＣＤＲＯＭに記憶して
あるプログラムをＰＣ上のＲＡＭにダウンロードし、PC
上のCPUに色推定手段の処理を行わせるものである。ま
たは、画像入力装置内のROMに記憶しておき、画像入力
装置内のCPUに前記手段の処理を行わせるものである。
この場合には、画像入力装置から出力される画像データ
は、入力装置に固有の色空間表示ではなく、装置あるい
は装置及び照明に依存しない色空間の画像データとなる
ため、従来のようにコンピュータ上に色推定手段をイン
ストールする手間が省けるため、コンピュータや色変換
に詳しくない一般ユーザーにも簡易に扱うことができる
という利点を持つ。ただし、入力装置のRGB画像データ
の取得も、モードを変えることでできるようにしておく
と、従来装置との整合性もとれて良い。

【０１６５】以上のように、本実施の形態によれば、画
像入力装置から入力される画像の主な構成要素となる被
写体の集合を複数設定し、各集合毎に装置あるいは装置
および照明に依存しない色データを推定する手段を算出
しておく。そして、画像入力装置から入力された画像デ
ータの各画素がどの集合に属するか、あるいは、いずれ
の被写体集合にも属さないのかを判定し、判定結果に基
づいて推定手段を選択して装置あるいは装置および照明
に依存しない色データを推定することで、高精度な推定
を行うことができる。

【０１６６】（実施の形態２）実施の形態１では、各画
素が属するカテゴリの判定を、カテゴリに属するデータ
の統計的な性質、例えば平均値やマハラノビス距離を用
いて行った。それに対し、実施の形態２では、ある集合
に属すると仮定した場合に変換される装置あるいは装置
および照明に依存しない色と、いずれの集合にも属さな
いと仮定した場合に変換される装置あるいは装置および
照明に依存しない色との差異から判定する方法を開示す
る。

【０１６７】本発明の実施の形態２における画像処理装
置のブロック図を図１４に示す。例としてここでは、予
め設定するカテゴリの数は２つとする。

【０１６８】図１４において、１４０１はＲＧＢ3バン
ドの画像データを取得する画像入力装置、１４０２は入
力画像、１４０３は入力画像１４０２を記憶する入力画
像記憶部、１４０４は入力画像１４０２の各画素の処理
制御を行う全体制御部、１４０５は全体制御部１４０４
の指示により入力画像記憶部から読み出された各画素の
画素値である注目画像データ、１４０６は注目画像デー
タ１４０５から非線形性を除去する非線形性除去部、１
４０７は非線形性除去部１４０６によって得られる非線
形性を除去した画像データであり、これを以降、スカラ
ー画像データと呼ぶことにする。１４０８は予め算出さ
れた各カテゴリ毎の分光反射率推定パラメータを記憶し
ておくパラメータ記憶部、１４０９はパラメータ記憶部
１４０８から読み出された分光反射率推定時に用いる推
定パラメータ、１４１０は推定パラメータ１４０９を用
いて分光反射率推定を行う分光反射率推定部であり、こ
こでは、注目画像データ１４０５がカテゴリ１、カテゴ
リ２、あるいはカテゴリ１，２のいずれにも属さないと
それぞれ仮定して３通りの分光反射率データを推定す
る。１４１１、１４１２、１４１３はいずれも分光反射
率推定部１４１０で推定された分光反射率データであ
り、１４１１は注目画像データ１０５がカテゴリ１に属
すると仮定して推定を行った場合に得られる分光反射率
データ、１４１２は注目画像データ１０５がカテゴリ２
に属すると仮定して推定を行った場合に得られる分光反
射率データ、１４１３は注目画像データ１０５がカテゴ
リ１、２いずれのカテゴリにも属さないと仮定して推定
を行った場合に得られる分光反射率データである。１４
１４はスカラー画像データ１４０７が所属するカテゴリ
を判定し最終的な分光反射率データを決定するカテゴリ
判定部、１４１５は推定された分光反射率データ、１４
１６は注目画像データ１４０５の分光反射率推定が終了
したことを支持する制御信号、１４１７は分光反射率デ
ータを記録する画像記録部、１４１８は画像処理装置、
１４１９は画像処理装置１４１８から出力される分光反
射率画像である。

【０１６９】図１４の画像処理装置の動作を説明する。

【０１７０】画像入力部１４０１から入力された画像１
４０２は、入力画像記憶部１４０３に記憶される。そし
て、全体制御部１４０４の指示により、入力画像記憶部
１４０３から画素値が非線形除去部１４０６へ注目画像
データ１４０５として順次読み出される。非線形性除去
部１４０６では、注目画像データ１４０５をスカラー画
像データ１４０７に変換する。

【０１７１】次に、分光反射率推定部１４１０では、注
目画像データ１４０５がカテゴリ１、カテゴリ２、ある
いはカテゴリ１，２のいずれにも属さないとそれぞれ仮
定して３通りの分光反射率データをスカラー画像データ
１４０７から算出する。その際に用いる推定パラメータ
１４０９は予めパラメータ記憶部１４０８に格納されて
いるので、これを読み出して用いる。カテゴリ判定部１
４１４は、得られた3通りの分光反射率データを用い
て、注目画像データ１４０５が所属するカテゴリを判定
し、最終的な分光反射率データを決定して、出力する。
得られた分光反射率データ１４１５は画像記録部１４１
７に記録される。

【０１７２】これら一連の処理が注目画像データ１４０
５に対して、終了すると、カテゴリ判定部１４１４は処
理の終了を意味する制御信号１４１６を全体制御部１４
０４に出力する。全体制御部１４０４では制御信号１４
１６を受けると、次の処理対象となる画像データを入力
画像記憶部１４０３から注目画像データ１４０５として
読み出す。以上を入力画像１４０２の画素全体に対して
繰り返す。

【０１７３】図１４のブロック図の各部の詳細な動作の
うち、非線形除去部１４０６の動作は、実施の形態１に
おける非線形除去部１０６の動作と全く同じである。

【０１７４】分光反射率推定部１４１０の動作について
説明する。実施の形態１の分光反射率推定部１１４で
は、すでに決定されたカテゴリに基づき、そのカテゴリ
特化した推定方法で分光反射率データを推定していた。
それに対し本実施の形態では、注目画像データがカテゴ
リ１に属す場合、カテゴリ２に属す場合、あるいは、い
ずれのカテゴリにも属さない場合の3種類を仮定して、
これらすべての場合における分光反射率データを推定す
る点が異なる。これらの具体的な推定方法は、実施の形
態１に記述した方法と変わらない。

【０１７５】最後に、本発明の特徴となるカテゴリ判定
部１４１４の動作の詳細について説明する。

【０１７６】カテゴリ１あるいは２に属すると仮定した
場合に得られる分光反射率データは、重回帰分析やニュ
ーラルネットワークなどを用いて得られたものであり、
このようにカテゴリ内のデータの統計情報を学習して推
定を行った場合には、注目画像データ１４０５が本当に
そのカテゴリに属しているならば、極めて良い推定結果
が得られる。しかし、カテゴリに属していない場合に
は、極めて悪い推定結果が得られ、その差が顕著であ
る。

【０１７７】一方、いずれのカテゴリにも属さないと仮
定した場合に得られる分光反射率データは、被写体の分
光反射率あるいはその基底係数の相関が無相関であると
して、すなわち、相関行列が単位行列であるとして推定
を行っているため、任意のスカラー画像データにおいて
精度が悪いわけではなく、極めて良いわけでもない、中
程度の推定結果が得られる。

【０１７８】カテゴリ判定部１４１４では、これらの推
定解の性質を用いてカテゴリの判定を行う。すなわち、
各カテゴリに属すると仮定した場合に得られる分光反射
率データと、いずれのカテゴリにも属さないと仮定した
場合に得られる分光反射率データとの二乗誤差をそれぞ
れ求め、二乗誤差が小さい方のカテゴリに属すると判定
する。

【０１７９】カテゴリ判定部１４１４における判定手順
を図１５にまとめる。手順１５０１で、カテゴリ判定部
１４１４に注目画像データがカテゴリ１、カテゴリ２、
あるいは、いずれのカテゴリにも属さないと仮定した場
合の分光反射率データ１４１１，１４１２，１４１３が
入力される。手順１５０２で、カテゴリ１に属すと仮定
して得られた分光反射率データ１４１１r_category1と、
いずれのカテゴリにも属さないと仮定して得られた分光
反射率データ１４１３r_generalの二乗誤差E1を（数２
２）で求める。（数２２）においてr_category1(i)は波
長i(nm)の分光反射率であり、（数２２）の誤差算出で
は、例として400nmから700nmの間の誤差の和を用いてい
る。

【０１８０】

【数２２】

【０１８１】カテゴリ２に属すと仮定して得られた分光
反射率データ１４１１r_category2と、いずれのカテゴリ
にも属さないと仮定して得られた分光反射率データ１４
１３r_generalの二乗誤差E2も（数２２）と全く同様にし
て求める。

【０１８２】次に、手順１５０３で、E1とE2のどちらが
小さいかを判定し、誤差が小さい方をカテゴリ候補とす
る。手順１５０４で、カテゴリ候補の誤差Eが、予め決
められた閾値E_Thresholdより小さいかを判定する。小さ
ければ、カテゴリ候補を注目画像データ１０５が属する
カテゴリとして決定し、閾値よりも大きければ、いずれ
のカテゴリにも属さないと決定する。手順１５０５で、
分光反射率データ１４１１，１４１２，１４１３のう
ち、決定されたカテゴリに応じたデータを最終的な解１
４１５として出力する。

【０１８３】以上で、実施の形態２のブロック図の動作
の説明を終える。

【０１８４】本実施の形態でも、実施の形態１の図１３
と同様なシステム応用例を組むことができる。このよう
に、図２の画像処理装置で得られた分光反射率画像をデ
ィスプレイやプリンタ信号に変換して、画像として観察
する場合には、領域境界で偽輪郭が生じることがある。
これは、各カテゴリ毎に異なる推定方法で推定している
ために、データの差が偽輪郭となって現れるからであ
る。

【０１８５】このような問題を解決するに、各画素がカ
テゴリ１あるいは２に属すると判定された場合には、推
定された分光反射率データ１４１１あるいは１４１２を
そのまま用いるのではなく、各カテゴリの分光反射率デ
ータ１４１１あるいは１４１２と、いずれのカテゴリに
も属さないとして推定された分光反射率データ１４１３
を、カテゴリに属する信頼度に応じて重み付けして、最
終的な分光反射率データとすればよい。

【０１８６】カテゴリに属する信頼度は、例えば（数２
３）で算出する。（数２３）において、E_category(x)は
手順１５０２で算出した注目画像データxにおける所属
カテゴリでの誤差であり、E_Thresholdは手順１５０４で
用いた閾値である。

【０１８７】

【数２３】

【０１８８】得られた重みweight(x)により、判定され
たカテゴリの場合の分光反射率データr_category(x)と、
いずれのカテゴリでもない場合の分光反射率データr
_general(x)を（数２１）で融合し、得られたr(x)を最終
的な分光反射率データ１４１５として画像記録部１４１
７に出力する。

【０１８９】以上のように、本実施の形態によれば、画
像入力装置から入力される画像の主な構成要素となる被
写体の集合を複数設定し、各集合毎に装置あるいは装置
および照明に依存しない色データを推定する手段を算出
しておく。そして、画像入力装置から入力された画像デ
ータの各画素が属する集合を、ある集合に属すると仮定
した場合に変換される装置あるいは装置および照明に依
存しない色と、いずれの集合にも属さないと仮定した場
合に変換される装置あるいは装置および照明に依存しな
い色との差異から判定し、判定結果に基づいて装置ある
いは装置および照明に依存しない色データを決定するこ
とで、高精度な推定を行うことができる。

【０１９０】（実施の形態３）本実施の形態の主要な構
成要素は図１に示される実施の形態１と同一である。実
施の形態１と異なるのは、カテゴリ判定部１０８の動作
である。

【０１９１】実施の形態１では、各画素が属するカテゴ
リの判定を、カテゴリに属するデータの統計的な性質、
例えば平均値やマハラノビス距離を用いて行った。それ
に対し、実施の形態３では、ニューラルネットワークに
より所属するカテゴリを判定する。

【０１９２】実施の形態３におけるカテゴリ判定部１０
８の詳細な動作を説明する。カテゴリ判定に用いるニュ
ーラルネットワークの重みや閾値といったパラメータは
図１の画像処理装置の動作前に、予め学習により決定し
ておく必要がある。学習手順を図１６を用いて説明す
る。例としてカテゴリ数が２つの場合について説明す
る。

【０１９３】手順１６０１で、まず、カテゴリ１，２に
属する被写体の画像データと、いずれのカテゴリにも属
さない画像データをできるだけ多く取得しておく。手順
１６０２では、手順１６０１で取得した全画像データを
スカラー画像データに変換する。手順１６０３で、すべ
てのスカラー画像データを入力データ、カテゴリの番号
を教師データとしてニューラルネットワークで学習を行
う。

【０１９４】図１７に本実施の形態におけるニューラル
ネットワークの概念図を示す。入力データはスカラー画
像データの3次、出力データはカテゴリ番号の1次のデー
タとなっている。

【０１９５】以上の手順により学習されたニューラルネ
ットワークを用いて、カテゴリ判定部１０８は、非線形
除去部１０６から注目画像データ１０５のスカラー画像
データ１０７を受け取ると、カテゴリを推定し、カテゴ
リ信号１０９を出力する。

【０１９６】以上のように、本実施の形態によれば、画
像入力装置から入力される画像の主な構成要素となる被
写体の集合を複数設定し、各集合毎に装置あるいは装置
および照明に依存しない色データを推定する手段を算出
しておく。そして、画像入力装置から入力された画像デ
ータの各画素がどの被写体集合に属するかをニューラル
ネットワークで判定し、判定結果に基づいて推定手段を
選択して装置あるいは装置および照明に依存しない色デ
ータを推定することで、高精度な推定を行うことができ
る。

【０１９７】（実施の形態４）実施の形態４では、実施
の形態１から３のいずれかの画像処理装置を用いたシス
テム応用例として、画像入力装置をディスプレイの色温
度を計測する装置として使用する例を示す。すなわち、
カメラの被写体をディスプレイするのである。

【０１９８】ディスプレイの色温度を計測するには、専
用の測色計を使うことが一般的である。しかし、測色計
は高価であるため、一般のユーザーがその目的だけのた
めに購入することは難しい。

【０１９９】そこで、本発明の画像処理装置によれば、
デジタルカメラの画像信号からディスプレイのXYZ三刺
激値を算出することができるので、測色計の代用とする
ことができる。

【０２００】デジタルカメラと本発明の画像処理装置
を、測色計の代用として、ディスプレイの色温度を計測
するシステムとして構成した実施の形態について説明す
る。

【０２０１】図１８はその構成図である。

【０２０２】図１８において、１８０１はディスプレ
イ、１８０２は色温度を計測するディスプレイ上の色票
であり、例えば、国際標準化機関CIEが出している文書1
22-1996「ザリレイションシップビトウイーンデ
ィジタルアンドカラリメトリックデータフォー
コンピュータコントロールドシーアールティーデ
ィスプレイ」では、グレーの階調と赤、青、緑の最大発
光時のXYZ三刺激値があれば、ディスプレイをモデル化
できるとしている。そのため、ディスプレイ上に表示す
る色票１８０２も、これらの色とすればよい。次に、１
８０３はデジタルカメラ、１８０４は画像処理装置であ
り、実施の形態１から３のいずれかに説明した装置と同
じものである。画像処理装置は例えば、パーソナルコン
ピュータのROM上に記憶しておき、その動作をパーソナ
ルコンピュータ上のCPUで行う。

【０２０３】まず、図１８のシステムが動作する前の準
備として、設定しておくべきカテゴリについて説明す
る。

【０２０４】本実施の形態では、予め設定しておくカテ
ゴリは、赤、青、緑、明るいグレー、暗いグレーの５つ
としておく。暗いグレーとはディスプレイの駆動信号
（０−２５５）が(50,50,50)以下のグレーを指し、明る
いグレーはそれ以外とする。図１９は、ディスプレイの
場合におけるカテゴリ設定の説明図である。

【０２０５】そして、各カテゴリで推定に用いる回帰行
列あるいはニューラルネットワークを決定するために、
図９の手順９０１あるいは図１０の手順１００１で取得
するカテゴリ内の被写体は、ディスプレイの色温度を複
数変更した際の各色とする。赤のカテゴリを例に挙げて
説明すると、手順９０１あるいは手順１００１で用いる
被写体は、ディスプレイの色温度設定を4000Kから500K
毎に9500Kまで順次変更した際の、ディスプレイの駆動
信号を赤の最大発光(255,0,0)とした12色とするのであ
る。他のカテゴリについても同様にして、カテゴリに属
する被写体のデータを取得しておく。これらのデータを
もとに、回帰行列あるいはニューラルネットワークを決
定する手順は実施の形態１から３と変わらない。

【０２０６】次に、図１８のシステムの動作を説明す
る。

【０２０７】デジタルカメラ１８０３は、ディスプレイ
１８０１上の色票１８０２を撮影する。色票は複数ある
ため、これらを一度に撮影してもよいし、複数回に分け
ても良い。そして、得られた各色票１８０２の画像信号
を得る。画像処理装置１８０４は、実施の形態１から３
のいずれかの方法で、各色票の分光放射輝度を算出す
る。実施の形態１から３では、画像信号から分光反射率
を算出しているが、ディスプレイのような発光物体では
反射率という概念はなく、通常の反射物体でいう分光反
射率に照明をかけた分光放射輝度がコンポーネントとな
る。分光放射輝度をR'(λ)とおくと、R'(λ)は分光反射
率R(λ)と照明の分光分布S(λ)を用いて（数２４）で表
現できる。

【０２０８】

【数２４】

【０２０９】従って、（数２４）を用いて（数５）を書
き直せば（数２５）となり、実施の形態１から３におい
て分光反射率R(λ)の代わりに分光放射輝度R'(λ)を用
いれば、全く同じ手順で分光放射輝度を得ることができ
る。分光反射率が照明および装置に依存しない色データ
であるのに対し、分光放射輝度は装置に依存しない色デ
ータである。

【０２１０】

【数２５】

【０２１１】画像処理装置は各色票の画像信号から、上
記５つのカテゴリのうちのいずれに入るかを判定し、判
定されたカテゴリにおける推定行列あるいはニューラル
ネットワークを用いて、分光放射輝度R'(λ)を推定す
る。得られた分光放射輝度を（数２６）でXYZ三刺激値
に変換する。（数２６）においてx(λ),y(λ),z(λ)は
標準化機関CIEによって決められている等色関数であ
る。

【０２１２】

【数２６】

【０２１３】あるいは、各カテゴリにおける分光放射輝
度の基底係数の推定を行ってからXYZ三刺激値に変換す
るのではなく、基底係数の代わりに直接、XYZ三刺激値
を回帰行列で推定してもよい。このように、本発明は、
分光反射率あるいは分光放射輝度を推定するだけでな
く、XYZ三刺激値も全く同じ方法で高精度な推定が可能
となる。

【０２１４】以上のように、本実施の形態によれば、画
像入力装置から入力される画像の被写体をディスプレイ
とし、ディスプレイの色温度を計測することを目的とし
た場合、被写体の集合を赤、青、緑、明るいグレー、暗
いグレーの5種類設定し、各集合毎に装置に依存しない
色データである分光放射輝度を推定する手段を算出して
おく。そして、画像入力装置から入力された画像データ
の各画素がどの被写体集合に属するかを判定し、判定結
果に基づいて推定手段を選択して装置に依存しない色デ
ータである分光放射輝度を推定することで、ディスプレ
イの色温度を高精度に推定することができ、デジタルカ
メラを測色計の代用することができる。

【０２１５】

【発明の効果】以上のように本発明によれば、画像入力
装置から入力されたカラー画像データを高精度に装置あ
るいは装置および照明に依存しない色空間に高精度に変
換する画像処理方法及び画像処理装置を提供することが
できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１にかかる画像処理装置の
ブロック図

【図２】実施の形態１にかかる非線形除去ニューラルネ
ットワークの学習手順を示す図

【図３】実施の形態１にかかる信号発生モデルを示す図

【図４】実施の形態１にかかる判定関数ｆの算出手順を
示す図

【図５】カテゴリの画像データと測色値の取得説明図

【図６】実施の形態１にかかる判定関数ｆを用いたカテ
ゴリ判定手順を示す図

【図７】実施の形態１にかかる判定関数ｈを用いたカテ
ゴリ判定手順を示す図

【図８】実施の形態１にかかるカテゴリ信号１０９によ
る異なる推定手段の選択手順を示す図

【図９】実施の形態１にかかるカテゴリの推定行列作成
手順を示す図

【図１０】実施の形態１にかかるカテゴリ推定用ニュー
ラルネットワーク学習手順を示す図

【図１１】実施の形態１にかかるカテゴリ内データの特
異性判定手順を示す図

【図１２】実施の形態１にかかるカテゴリ分離可能度算
出手順を示す図

【図１３】画像処理装置のシステム応用例を示す構成図

【図１４】本発明の実施の形態２にかかる画像処理装置
のブロック図

【図１５】実施の形態２にかかるカテゴリ判定部１４１
４の動作手順を示す図

【図１６】本発明の実施の形態３にかかるカテゴリ判定
用ニューラルネットワーク学習手順を示す図

【図１７】実施の形態３にかかるカテゴリ判定用ニュー
ラルネットワークを説明する図

【図１８】本発明の実施の形態４にかかるディスプレイ
測色計の代用応用例を示す図

【図１９】実施の形態４にかかるディスプレイ測色計の
代用応用例におけるカテゴリ設定を説明する図

【図２０】従来例１における画像処理手順を示す図

【図２１】従来例２における画像処理手順を示す図

【符号の説明】

１０１画像入力装置１０２入力画像１０３入力画像記憶部１０４全体制御部１０５注目画像データ１０６非線形除去部１０７スカラーＲＧＢ画像データ１０８カテゴリ判定部１０９カテゴリ信号１１０処理選択部１１１処理選択信号１１２パラメータ記憶部１１３推定パラメータ１１４分光反射率推定部１１５分光反射率データ１１６制御信号１１７画像記録部１１８画像処理装置１１９分光反射率画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA11 BA02 CA01 CA08 CA12 CB01 CB08 CB12 CE17 CH18 DA08 DB02 DB06 DB09 DC25 5C066 AA11 BA20 CA03 CA25 DD06 FA02 GA01 HA03 KD02 KD06 KE16 KF05 KP02 LA02 5C077 MM27 MP08 PP27 PP31 PP32 PP36 PP37 PP43 PP46 PQ08 PQ15 PQ18 SS07 TT09 5C079 HB01 HB05 HB11 LA10 LA31 LB02 MA13 NA03 NA29

Claims

【特許請求の範囲】

【請求項１】画像入力装置から入力された各画像信号
が属する集合を決定する色集合決定手段と、前記色集合
決定手段によって決定された集合毎に異なる色変換処理
を選択する色変換処理選択手段と、前記色変換処理選択
手段によって選択された色変換処理で注目画素の色を変
換する色変換処理手段とを具備することを特徴とする画
像処理装置。
【請求項２】特定した被写体から成るデータを予め集
合毎に学習しておき、入力された画像信号の各画素の色
が学習したどの集合に属するかを判定し、集合毎に異な
る色変換処理を施すことを特徴とする画像処理方法。
【請求項３】前記色変換処理は、入力された画像信号
を画像入力装置あるいは装置および照明に依存しない色
データに変換することを特徴とする請求項２記載の画像
処理方法。
【請求項４】前記色変換処理は、入力された画像信号
の各画素の色が前記集合のうちのいずれかに属す場合
は、集合毎の統計的性質を用いた方法で色データを変換
することを特徴とする請求項２または３記載の画像処理
方法。
【請求項５】集合毎の統計的性質を用いた色データへ
の変換は、重回帰分析を用いることを特徴とする請求項
４記載の画像処理方法。
【請求項６】集合毎の統計的性質を用いた色データへ
の変換は、ニューラルネットワークを用いることを特徴
とする請求項４記載の画像処理方法。
【請求項７】前記色変換処理は、入力された画像信号
の各画素の色が前記集合のうちのいずれかに属す場合に
は、前記集合の統計的性質を用いて算出した色データ
と、統計的に無相関であるとして算出した色データを、
前記集合に属する信頼度に応じて重み付けして色データ
に変換することを特徴とする請求項２から６のいずれか
に記載の画像処理方法。
【請求項８】各画素の色が属する集合の判定は、各集
合の成す統計的性質への合致度により行うことを特徴と
する請求項２から７のいずれかに記載の画像処理方法。
【請求項９】前記統計的性質は、平均値であることを
特徴とする請求項９記載の画像処理方法。
【請求項１０】前記統計的性質は、平均値およびマハ
ラノビス距離であることを特徴とする請求項９記載の画
像処理方法。
【請求項１１】各画素の色が属する集合の判定は、あ
る集合あるいは領域に属すると仮定した場合に得られる
装置あるいは装置および照明に依存しない色データと、
いずれの集合あるいは領域にも属さないと仮定した場合
に得られる装置あるいは装置および照明に依存しない色
データとの差異により行うことを特徴とする請求項２か
ら７のいずれかに記載の画像処理方法。
【請求項１２】各画素の色が属する集合の判定は、ニ
ューラルネットワークにより行うことを特徴とする請求
項２から７のいずれかに記載の画像処理方法。
【請求項１３】前記各集合において、集合からはずれ
る特異なデータを統計的性質から判定し、前記特異デー
タを除去した適切な集合を用いることを特徴とする請求
項２から１２いずれかに記載の画像処理方法。
【請求項１４】前記集合の分離可能度を統計的性質か
ら算出し、分離可能度の高い集合を用いることを特徴と
する請求項２から１２のいずれかに記載の画像処理方
法。
【請求項１５】前記分離可能度は、画像データ空間に
おいて各集合の成す部分空間の独立度であることを特徴
とする請求項１４記載の画像処理方法。
【請求項１６】前記分離可能度は、装置あるいは装置
および照明に依存しない色空間において各集合の成す部
分空間の独立度であることを特徴とする請求項１４記載
の画像処理方法。