JP2001101407A

JP2001101407A - 類似画像検索装置

Info

Publication number: JP2001101407A
Application number: JP27276599A
Authority: JP
Inventors: Nobuhito Matsushiro; 信人松代; Noriharu Fujiwara; 範治藤原
Original assignee: Oki Data Corp
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1999-09-27
Filing date: 1999-09-27
Publication date: 2001-04-13

Abstract

(57)【要約】【課題】キー画像とサーチ画像の照明条件が異なる場
合でも類似度検索を高い精度で行うことのできる類似画
像検索装置を実現する。【解決手段】類似度算出部８には、キー画像とサーチ
画像１００のヒストグラムが入力される。アピアランス
パラメータ算出部１０は、制約条件設定部９で設定され
た制約条件に基づき、カラーアピアレンスモデルのモデ
ルパラメータを算出する。類似度算出部８の正規化部８
ａは、アピアランスパラメータ算出部１０で算出された
パラメータに基づき、サーチ画像のヒストグラムを正規
化する。類似度算出部８は、正規化したサーチ画像のヒ
ストグラムとキー画像のヒストグラムの類似度を計算す
る。サーチ結果判定部１１は、類似度算出部８で計算さ
れた類似度に基づき、そのサーチ画像が検索の候補画像
であるかを判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザの提示画像
に類似するカラー画像をカラー画像データベースの中か
ら効率よく検索するための類似画像検索装置に関する。

【０００２】

【従来の技術】近年、パソコンの高性能／高機能化、イ
ンターネットの急速な進展に伴い、従来からのテキスト
ベースの文書情報に加え、音声、カラー画像、映像など
のマルチメディア素材の取り扱いはもはや珍しいことで
はなくなった。殊に、カラー画像に関しては、デジタル
カメラやスキャナ等の周辺機器の普及に伴い、個人レベ
ルでも手軽に扱えるようになってきている。インターネ
ット上に存在するカラー画像データベースを保有するＷ
ｅｂサーバの中にはフリーで使用できるものが数多く、
マルチメディア素材としてのカラー画像の重要性は非常
に高いといえる。

【０００３】カラー画像を取り扱う上では、個人でパソ
コンのハードディスク装置内に蓄積された、あるいはイ
ンターネットのＷｅｂサーバ上に蓄積されたカラー画像
データベースの中から、ユーザの必要とするカラー画像
に効率よくアクセスできる検索機能の実現が重要であ
る。従来、多数の画像が蓄積された画像データベースか
ら特定の画像を検索する方法として次の二つの手法がよ
く用いられている。

【０００４】（１）キーワードによる検索（２）縮小画像一覧表示

【０００５】（１）のキーワードによる検索は、データ
ベース内の一つ一つの画像に対して、予め検索用のキー
ワードデータ（画像内の対象物の名称、印象や特徴、作
成日時等）を一つまたは複数割り当てて、画像と共にデ
ータベースに登録しておき、検索の際にはキーワード文
字列を指定してそれにマッチするものをデータベース内
から探し出す、という手法である。この手法では、デー
タベースに画像を登録する際に面倒なキーワード付加作
業が必要になるという欠点がある。また、付加したキー
ワードがその画像の内容を適切に表しているものである
かどうかも問題となる。

【０００６】（２）の縮小画像一覧表示は、データベー
ス内の各画像の縮小画像（サムネイル画像などともい
う）を順次画面上に一覧表示しておき、ユーザはその一
覧表示された画像を見て所望の対象画像を選択するとい
う手法である。これは、比較的小規模な画像データベー
スに対しては有効な手法であるが、データベース内の画
像数が増えるに従い、一覧表示に必要な画面数も増えて
しまう。一覧表示画面数が増えると、画面を切り替えて
長時間見ながら検索作業をしなければならず、ユーザの
負担が大きく、検索効率が落ちてしまう。

【０００７】（１）の手法は、カラー画像の内容を人間
が見て判断してキーワード文字列に置き換え、検索処理
はキーワード同士のマッチングによって行う。キーワー
ドマッチングは機械的に処理が行えるので効率は良い
が、キーワード文字列の付加作業／付け替え作業は大規
模なデータベースに対しては負担が大きく、また、人間
の主観という曖昧な要因が介在するため検索精度が犠牲
となる。

【０００８】一方、（２）の手法では、画像の内容その
ものを人間が目で見て判断して検索を行うので精度の良
い検索が行えるが、多数の画像に対してこれを行うには
負担が大きく効率の点で問題が有る。

【０００９】そこで、画像の内容そのものをキーとする
画像検索方法が近年盛んに研究されている。即ち、上述
した（１）で用いられるキーワード文字列の代わりに、
画像から機械的に抽出可能な特徴（色、濃淡、画像内の
オブジェクトの形状や配置等）をキーとしてそれらの類
似度を測ることにより検索を行う手法である。

【００１０】この手法では、ユーザが最初に示した例示
画像（以下、これをキー画像と呼ぶ）の中から探す処理
において、キー画像の画像特徴を各サーチ画像の画像特
徴と順次マッチングを行って類似度を計測し、類似度の
高い画像を候補画像としてユーザに提示する。

【００１１】この手法では、各画像に対する特徴抽出処
理は画像処理の技術を用いて機械的に自動で行える。ま
た、そのようにして抽出された特徴情報は、ベクトルや
行列などの形をした数値データとして得られるので、そ
の特徴情報同士のマッチングを取る検索処理も機械的に
行えるためユーザの負担は少ない。また、画像の内容そ
のものに固有の特徴情報をキーとして検索を行うので、
人間の主観により検索精度が左右される余地もなく、効
率と精度の両面で有利な方法である。

【００１２】そのような内容による類似画像検索におけ
る画像特徴としては色情報がよく用いられ、その一例と
してカラーヒストグラムがある。

【００１３】図２は、カラーヒストグラムの説明図であ
る。カラーヒストグラムとは、図示のように、ＲＧＢ
（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）空間の各軸を適当な
数で量子化して得られる分割セルの配列であり、各セル
には、画像内の全ピクセルのうちその量子化範囲に該当
するＲＧＢ値を持つピクセルの数（出現頻度）を格納す
る。画像からのカラーヒストグラムの作成は容易に行
え、二つのカラーヒストグラムの類似度は、対応する各
セルの距離の２乗和などの尺度によって計算により計測
を行う。ＲＧＢ以外にも、例えばＨＳＶなどの他の色空
間でのカラーヒストグラムが用いられることもある。

【００１４】カラーヒストグラムの他にも、色情報とし
ては、所定サイズ（例えば１６×１６画素単位）の複数
のブロックに分割した画像内の各領域に対して濃度値
（ＲＧＢの各値）の平均値を計算しこれを用いる、など
の手法もよく用いられる。画像の内容を表す特徴量とし
て色情報が重要であることは、全く同一の対象物を含む
画像でも色合いが異なれば受ける印象が違ってくること
からも容易に想像がつくところである。

【００１５】

【発明が解決しようとする課題】上記のように、色情報
に着目しての類似画像検索においては、キー画像とサー
チ画像で条件を揃えること、即ち、正規化の処理が重要
である。例えば、特開平１０−３３４１１７号公報に記
載された技術では、縦×横が同一サイズの二つの画像
（キー画像とサーチ画像）について同一座標位置にある
ピクセルのＲＧＢ値を逐次比較していくという類似度判
定方法を用いているが、その際ピクセル値の逐次比較処
理に先立って、両画像で色階調の統一を行うことについ
て触れられている。

【００１６】画像の濃度値の正規化としては、画像の全
画素の濃度値について平均値と標準偏差値とを算出し平
均値との差を標準偏差値で割る処理を各ピクセルの濃度
値について行うという方法もよく用いられる。特開平１
１−１１０５５７号公報には、所定サイズに分割した画
像内の各ブロックの平均濃度値に対し、前記の正規化処
理（平均値を引いて標準偏差値で割る）を施してから類
似度判定処理に用いるという方法が記載されている。

【００１７】上述のカラーヒストグラムは、画像中の対
象物体の位相や形状の変化に対して安定であるという特
徴があるので、色情報としてよく用いられるが、照明条
件の違いに敏感に反応する。即ち、人間の目には同じよ
うな色合いを持つ同じような内容の２枚の画像でも、両
者の照明条件の違いによっては両者のカラーヒストグラ
ムは大きく異なったものとなり、類似判定の結果、候補
画像から外されてしまう可能性がある。よって、色情報
としてカラーヒストグラムを用いる場合でも、キー画像
とサーチ画像とで照明条件の正規化を行うことが重要で
ある。しかしながら、このように重要であるにもかかわ
らずこの問題点はあまり重要視されていないのが現状で
あった。

【００１８】

【課題を解決するための手段】本発明は、前述の課題を
解決するため次の構成を採用する。〈構成１〉カラーアピアレンスモデルのモデルパラメー
タを算出するアピアランスパラメータ算出部と、アピア
ランスパラメータ算出部のモデルパラメータを用いて、
キー画像と、サーチ画像とのいずれか一方の画像の色情
報を正規化し、かつ、正規化処理した一方の画像と他方
の画像との色情報の類似度を算出する類似度算出部とを
備えたことを特徴とする類似画像検索装置。

【００１９】〈構成２〉構成１に記載の類似画像検索装
置において、サーチ画像の白色点の保存を表現する条件
を制約条件として設定する制約条件設定部と、制約条件
設定部で設定した制約条件を満たすカラーアピアレンス
モデルのモデルパラメータを算出するアピアランスパラ
メータ算出部とを備えたことを特徴とする類似画像検索
装置。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて詳細に説明する。《具体例１》〈構成〉図１は、本発明の類似画像検索装置の具体例１
を示す構成図である。図の装置は、色座標変換部１，
２、ヒストグラム作成部３，４、ヒストグラムソート部
５，６、サーチ画像入力部７、類似度算出部８、制約条
件設定部９、アピアランスパラメータ算出部１０、サー
チ結果判定部１１からなる。

【００２１】色座標変換部１は、キー画像の各ピクセル
値をＲＧＢ座標系からＸＹＺ座標系（これについては後
述する）に変換する機能を有している。また、色座標変
換部２は、サーチ画像入力部７からのサーチ画像の各ピ
クセル値をＲＧＢ座標系からＸＹＺ座標系に変換する機
能を有している。

【００２２】ヒストグラム作成部３は、キー画像のＸＹ
Ｚ座標系でのカラーヒストグラムを作成する機能部であ
り、ヒストグラム作成部４は、サーチ画像のＸＹＺ座標
系でのカラーヒストグラムを作成する機能部である。

【００２３】ヒストグラムソート部５，６は、それぞれ
ヒストグラム作成部３，４で作成されたキー画像のカラ
ーヒストグラムのセルを頻度順にソートする処理を行う
機能部である。

【００２４】尚、色座標変換部１と色座標変換部２、ヒ
ストグラム作成部３とヒストグラム作成部４、ヒストグ
ラムソート部５とヒストグラムソート部６は、それぞれ
同一の処理を行う機能部であるため、同じ処理ブロック
をキー画像とサーチ画像で併用する構成であってもよ
い。

【００２５】サーチ画像入力部７は、インターネット
（例えば、ＷＷＷ等）経由、もしくは他の形態のカラー
画像データベースからサーチ画像１００を順次取得する
処理を行う機能部である。

【００２６】類似度算出部８は、キー画像とサーチ画像
の類似度の計測を行う機能を有しており、正規化部８ａ
を有している。この正規化部８ａは、アピアランスパラ
メータ算出部１０で求められたパラメータに基づき、ヒ
ストグラムソート部６からのサーチ画像の色情報を正規
化する機能を有している。類似度算出部８における類似
度の尺度としては、キー画像のヒストグラムとサーチ画
像のヒストグラムの距離を計測し、これを用いる。その
際、正規化部８ａによって、サーチ画像のヒストグラム
を正規化して、両ヒストグラムの距離を算出するもので
ある。

【００２７】制約条件設定部９は、アピアランスパラメ
ータ算出部１０でパラメータ算出を行うにあたっての未
知パラメータに関する制約条件を設定する機能を有して
いる。アピアランスパラメータ算出部１０は、カラーア
ピアレンスモデルに組み込まれている視覚の色順応モデ
ルの枠組みを用いて、キー画像とサーチ画像の照明条件
の正規化を行うためのパラメータの算出処理を行う機能
を有している。

【００２８】〈動作〉先ず、動作原理および動作の概略
を説明する。具体例１の類似画像検索装置では、ユーザ
の提示したキー画像と類似する画像を画像データベース
内から検索する処理において、画像の色情報に着目して
類似度の判定を行い類似画像を検索する。色情報として
はカラーヒストグラムを用いるとし、キー画像とサーチ
画像のカラーヒストグラムの距離を計測し、類似度判定
の尺度とする。

【００２９】ヒストグラムの距離を計測するに先立ち、
キー画像とサーチ画像の照明条件の違いを正規化するた
めのパラメータ算出処理を行い、サーチ画像のヒストグ
ラムに対してそのパラメータによる正規化を適用後、キ
ー画像とのヒストグラムの距離を計測し類似度を判定す
る。

【００３０】本具体例では、正規化処理のための枠組み
として、カラーアピアレンスモデルに組み込まれている
視覚の色順応モデルを用いる。ここで、カラーアピアレ
ンスモデルとは、色再現の知覚環境と人間の色知覚特性
に基づく色の見え（アピアレンス）をモデル化したもの
である。このモデルを用いることで、人間の視覚の持つ
色順応機能、即ち、光源が変更されても白色点を一致さ
せて色の見えについての恒常性を確保しようとする人間
の目の持つ補正機能をシミュレートすることができる。
これを用いて、キー画像をリファレンス条件としてサー
チ画像の方をそれに合わせるように相対的に光源の正規
化を行う。

【００３１】以下、このモデルを用いた正規化の方法に
ついて説明する。画像の各ピクセルの有する色は、通
常、ＲＧＢ空間の一点として表されるが、カラーアピア
レンスモデルの色順応モデルでは、次の変換式によるＸ
ＹＺ座標系を色座標系として用いる。

【００３２】図３は、演算式の説明図である。図中の演
算式（１）がＸＹＺ座標系を色座標系として用いる場合
の式である。このモデルでは、ある環境光条件での
（Ｘ，Ｙ，Ｚ）値からリファレンス条件での（Ｘ，Ｙ，
Ｚ）値への変換を、図３中の演算式（２）に示す行列Ｆ
により行う。ここで、行列Ｆは、視覚の色順応を記述す
る行列であり、ある光源１の白色点を、ある光源２の白
色点に変換する変換行列を意味している。変換は図示の
ように、（Ｘ，Ｙ，Ｚ）色空間内の色度座標について行
う。

【００３３】また、変換行列Ｆの９個の行列要素には、
３個の未知パラメータａＬ、ａＭ、ａＳが含まれてい
る。ここで、視覚の視細胞には、長波長（Ｌ）、中波長
（Ｍ）、短波長（Ｓ）に応答する３種類があり、色順応
モデルでこれらに対応したパラメータが、これらａＬ、
ａＭ、ａＳである。

【００３４】本具体例では、画像の色情報としてカラー
ヒストグラムに着目する。カラーヒストグラムは、ＸＹ
Ｚ色座標系でのものを用いるとし、ＸＹＺ各軸を適当な
段階に量子化して各量子化座標についてヒストグラムを
作成する。例えば、Ｘ，Ｙ，Ｚをそれぞれ８段階に量子
化して作成したとすると、ヒストグラムは、Ｎ＝８×８
×８＝５１２個のセルを持ち、各セルには、画像の全ピ
クセルのうち、該当する範囲のＸＹＺ値を持つピクセル
の個数（出現頻度）を格納する。このＮ個のセルを格納
されている頻度値の順にソートし、ソート後の各セル
に、0,1,2,…,N-1,と順番にインデックス付けを行う。
この操作により、画像内に出現する量子化ＸＹＺ値を、
重要度の高い（出現頻度の高い）順に並べた配列データ
を得ることができる。このようにして得られる配列デー
タに関して、Ｘ(i)，Ｙ(i)，Ｚ(i)，ｈ(i)を次のように
定義する。尚、０≦ｉ≦Ｎ−１である。

【００３５】Ｘ(i)，Ｙ(i)，Ｚ(i)：ソート後のカラー
ヒストグラムのｉ番目のセルの量子化ＸＹＺ値ｈ(i)：ソート後のカラーヒストグラムのｉ番目のセル
に格納されている頻度値（Ｘ(i)，Ｙ(i)，Ｚ(i)の出現
頻度）

【００３６】以上のようにして得られるカラーヒストグ
ラムの作成をキー画像とサーチ画像のそれぞれに対して
行う。キー画像のカラーヒストグラムのＸ(i)，Ｙ(i)，
Ｚ(i)，ｈ(i)を、それぞれＸ^*(i)，Ｙ^*(i)，Ｚ^*(i)，Ｈ
(i)とし、サーチ画像のカラーヒストグラムのＸ(i)，Ｙ
(i)，Ｚ(i)をそれぞれｘ(i)，ｙ(i)，ｚ(i)とすると、
図３中の演算式３に示すような両ヒストグラムの重み付
き距離を類似度判定の尺度とする。

【００３７】サーチ画像に対して上述の変換行列Ｆによ
り正規化を施すとすると、正規化後の両ヒストグラムの
距離Ｃは、図３中の演算式４に示すようになる。即ち、
この距離Ｃが小さいほど、キー画像とサーチ画像の類似
度が高いことになる。

【００３８】ここで、演算式４の距離Ｃが最小となるよ
うな未知パラメータａＬ，ａＭ，ａＳを求める。これ
は、図３中の演算式５に示す三つの式からなる連立方程
式を、未知パラメータａＬ，ａＭ，ａＳについて解けば
よい。その際、モデルのパラメータ条件として例えば図
３中の演算式６のような条件式の条項を設ける。これら
の演算は、例えば変分法などの数学的手法を用いて数値
的に解くことができる。

【００３９】次に、具体例１の類似画像検索装置の各部
の動作をフローチャートに沿って説明する。図４は、具
体例１の動作フローチャートである。先ず、制約条件設
定部９によりカラーアピアレンスモデルの未知パラメー
タ算出に当たっての未知パラメータに関する制約条件
（例えば、前述の演算式６）を設定する（ステップＳ１
０１）。

【００４０】次に、キー画像について前述のカラーヒス
トグラムの作成を行う（ステップＳ１０２）。また、サ
ーチ画像入力部７によりサーチ画像を一つ取得する（ス
テップＳ１０３）。そして、取得したサーチ画像に対し
てカラーヒストグラム作成を行う（ステップＳ１０
４）。

【００４１】次に、アピアランスパラメータ算出部１０
により、カラーアピアレンスモデルのパラメータａＬ，
ａＭ，ａＳの算出を行う（ステップＳ１０５）。算出
は、前出の演算式５と、制約条件設定部９により設定さ
れたモデルパラメータ条件式とを連立させて行う。

【００４２】次に、正規化部８ａによるサーチ画像の正
規化と類似度算出部８によるキー画像とサーチ画像の類
似度の算出およびサーチ結果判定部１１での類似度の判
定を行う（ステップＳ１０６）。サーチ画像の正規化お
よび類似度の算出は、キー画像、サーチ画像のそれぞれ
のカラーヒストグラムおよび算出されたパラメータａ
Ｌ，ａＭ，ａＳから前出の演算式４を計算する。判定
は、算出された類似度を予め定められた閾値を比較し行
う。

【００４３】そして、次のステップＳ１０７において、
検索処理の終了条件に合致すれば検索処理を終了してス
テップＳ１０８に進み、検索処理の結果を出力する。一
方、ステップＳ１０７において、終了条件が満たされな
ければステップＳ１０３に戻り、次にサーチ画像に対し
て同様の処理を続行する。終了条件としては、ループの
実行回数が所定の上限値に達した、あるいは、類似度が
所定の値を越えるサーチ画像が得られた、などが考えら
れる。

【００４４】上記のステップＳ１０２およびステップＳ
１０４ではそれぞれキー画像およびサーチ画像からのヒ
ストグラム作成を行うが、次にこの処理を詳細に説明す
る。

【００４５】図５は、ヒストグラム作成処理のフローチ
ャートである。キー画像の場合について説明すると、先
ず、色座標変換部１で画像の各ピクセル値をＲＧＢ座標
系からＸＹＺ座標系に変換し（ステップＳ１１１）、ヒ
ストグラム作成部３で画像のＸＹＺ座標系でのカラーヒ
ストグラムを作成し（ステップＳ１１２）、ヒストグラ
ムソート部５でカラーヒストグラムのセルを頻度順にソ
ートする（ステップＳ１１３）。サーチ画像の場合も、
色座標変換部２、ヒストグラム作成部４、ヒストグラム
ソート部６の各処理部での処理を順番に適用すれば同様
に行うことができる。

【００４６】〈効果〉以上のように、具体例１によれ
ば、キー画像とサーチ画像の色情報による類似度判定の
妨げとなる照明条件の違いを正規化処理を行うことによ
り解消し、類似画像検索を高い精度で行うことができ
る。

【００４７】特に、本具体例による画像検索は、大量の
画像データベースからある程度の数にデータを絞り込む
際に有効である。例えば、その大量の画像データベース
からデータを検索する場合は、先ず、いくつか用意され
た標準サーチキーパターンから色合いの類似したキー画
像を選択し、上記具体例の検索を行う。ここで、本具体
例では、画像を正規化してから検索するため、サーチキ
ーパターンに類似した色合いの画像が漏れ少なくヒット
する。そして、このような検索によりヒットしたデータ
ベース画像群をサムネイルによって確認することによ
り、欲しい画像を得ることができる。

【００４８】《具体例２》〈構成〉図６は、具体例２の類似画像検索装置の構成図
である。具体例２の類似画像検索装置は、色座標変換部
１，２、ヒストグラム作成部３，４、ヒストグラムソー
ト部５，６、サーチ画像入力部７、類似度算出部８、第
１の制約条件設定部９ａ、第２の制約条件設定部９ｂ、
第３の制約条件設定部９ｃ、アピアランスパラメータ算
出部１０ａ、サーチ結果判定部１１、第１の白色点算出
部１２ａ、第２の白色点算出部１２ｂからなる。ここ
で、色座標変換部１〜類似度算出部８およびサーチ結果
判定部１１は具体例１と同様の構成であるため、ここで
の説明は省略する。

【００４９】第３の制約条件設定部９ｃは、具体例１に
おける制約条件設定部９と同様、アピアランスパラメー
タ算出部１０ａでパラメータ算出を行うにあたっての未
知パラメータに関する制約条件（第３の制約条件）を設
定する機能を有している。

【００５０】アピアランスパラメータ算出部１０ａは、
制約条件として、第１の制約条件設定部９ａからの第１
の制約条件と、第２の制約条件設定部９ｂからの第２の
制約条件と、第３の制約条件設定部９ｃからの第３の制
約条件との基づいてパラメータ算出を行う機能を有して
いる。パラメータ算出の基本的な機能は具体例１のアピ
アランスパラメータ算出部１０と同様である。

【００５１】第１の白色点算出部１２ａは、サーチ画像
において予測される白色点のＸ，Ｙ，Ｚ値（ＸＷ，Ｙ
Ｗ，ＺＷ）を算出する機能を有し、アピアレンスモデル
から算出される白色点が対応している。第２の白色点算
出部１２ｂは、サーチ画像における白色点の存在値域
Ｘ，Ｙ，Ｚ値（ＸＩ，ＹＩ，ＺＩ）を算出する機能を有
し、制約条件の設定に用いられる。

【００５２】第１の制約条件設定部９ａ、第２の制約条
件設定部９ｂは、第１の白色点算出部１２ａ、第２の白
色点算出部１２ｂで得た白色点の値を元に、アピアラン
スパラメータ算出部１０ａでのパラメータ算出を行うに
あたっての制約条件（第１の制約条件、第２の制約条
件）を設定する機能を有している。即ち、これら第１の
制約条件設定部９ａおよび第２の制約条件設定部９ｂに
より、サーチ画像の白色点の保存を表現する条件を制約
条件として設定する制約条件設定部が構成されている。

【００５３】〈動作〉具体例２の類似画像検索装置で
は、カラーアピアレンスモデルに組み込まれている視覚
の色順応モデルにおける、白色点を一致させることによ
り色の見えについての恒常性を確保するという部分を表
す条件式を制約条件として組み入れることによって、人
間の見え方に近い、従って、より精度の高い正規化処理
を行うことが可能となる。

【００５４】図７は、具体例２における演算式の説明図
である。サーチ画像において予測される白色点のＸＹＺ
値を（ＸＷ，ＹＷ，ＺＷ）とすると、白色点の保存は、
前出の変換行列Ｆを用いて図７中の演算式７のように表
せる。

【００５５】そして、図７中の演算式７において、Ｘ^*r
ef，Ｙ^*ref，Ｚ^*refは、図７中の演算式８（カラーアピ
アレンスモデルのリファレンス条件）を満足するＸ，
Ｙ，Ｚである（既定定数）。

【００５６】次に、サーチ画像において、白色点に最も
近いＸＹＺ値、即ち最も輝度が高く無彩色軸に近いＸＹ
Ｚ値を（ＸＩ，ＹＩ，ＺＩ）とすると、（ＸＷ，ＹＷ，
ＺＷ）との間に図７中の演算式９、１０の条件式を設定
する。

【００５７】具体例２では、正規化後のキー画像、サー
チ画像のヒストグラムの距離Ｃ（前出の演算式４）を最
小にする未知パラメータａＬ，ａＭ，ａＳの導出にあた
り、モデルパラメータ条件（前出の演算式６）の他に、
演算式（４）の距離Ｃを最小化する上で上述の演算式
９，１０も制約条件に組み入れて行う。

【００５８】次に、各部の動作を説明する。図８は、具
体例２の動作フローチャートである。先ず、第３の制約
条件設定部９ｃにより、カラーアピアレンスモデルの未
知パラメータ算出にあたっての未知パラメータに関する
第３の制約条件（例えば、前出の演算式６）を設定する
（ステップＳ２０１）。次に、キー画像についての上述
したカラーヒストグラムの作成を行う（ステップＳ２０
２）。

【００５９】次いで、サーチ画像入力部７により、サー
チ画像を一つ取得し（ステップＳ２０３）、以降、ステ
ップＳ２０９で終了条件が満たされるまで、ステップＳ
２０４→ステップＳ２０５→ステップＳ２０６→ステッ
プＳ２０７→ステップＳ２０８→ステップＳ２０９→ス
テップＳ２０３→…の繰り返しの中で、キー画像との類
似度の判定をサーチ画像を順次取得し行っていく。その
中で、ステップＳ２０７でのパラメータ算出処理に先立
ち、白色点の算出（ステップＳ２０５）、白色点に関す
る制約条件の設定（ステップＳ２０６）を行っている点
が具体例１とは異なるものである。

【００６０】ステップＳ２０５における白色点算出処理
は、第１の白色点算出部１２ａによりサーチ画像に関す
るＸＷ，ＹＷ，ＺＷを求める処理、および第２の白色点
算出部１２ｂによりＸＩ，ＹＩ，ＺＩを求める処理とか
らなる。

【００６１】ステップＳ２０６での白色点に関する制約
条件の設定処理は、第１の制約条件設定部９ａによる演
算式９の制約条件式（第１の制約条件）の設定、第２の
制約条件設定部９ｂによる演算式１０の制約条件式（第
２の制約条件）の設定とからなる。

【００６２】〈効果〉以上説明したように、具体例２の
類似画像検索装置によれば、キー画像とサーチ画像の色
情報による類似度判定の妨げとなる照明条件の違いを正
規化処理を行うことにより解消し、類似画像検索を高い
精度で行うことができる。正規化処理に際しては、視覚
の色順応モデルにおける白色点の保存に関する制約条件
を考慮して行うことにより、人間の見え方に近い、従っ
てより精度の高い正規化処理を行うことができる。

【００６３】尚、上記具体例１、２において、正規化部
８ａはサーチ画像の色情報を正規化するようにしたが、
アピアランスパラメータ算出部１０（１０ａ）で算出し
たパラメータが、キー画像／サーチ画像のどちらのパラ
メータであるかにより、キー画像またはサーチ画像のど
ちらを正規化するようにしてもよい。

【図面の簡単な説明】

【図１】本発明の類似画像検索装置の具体例１を示す構
成図である。

【図２】カラーヒストグラムの説明図である。

【図３】具体例１の演算式の説明図である。

【図４】具体例１の動作フローチャートである。

【図５】ヒストグラム作成処理のフローチャートであ
る。

【図６】具体例２の類似画像検索装置の構成図である。

【図７】具体例２における演算式の説明図である。

【図８】具体例２の動作フローチャートである。

【符号の説明】

８類似度算出部８ａ正規化部９制約条件設定部９ａ第１の制約条件設定部９ｂ第２の制約条件設定部１０、１０ａアピアランスパラメータ算出部

Claims

【特許請求の範囲】

【請求項１】カラーアピアレンスモデルのモデルパラ
メータを算出するアピアランスパラメータ算出部と、前記アピアランスパラメータ算出部のモデルパラメータ
を用いて、キー画像と、サーチ画像とのいずれか一方の
画像の色情報を正規化し、かつ、正規化処理した一方の
画像と他方の画像との色情報の類似度を算出する類似度
算出部とを備えたことを特徴とする類似画像検索装置。
【請求項２】請求項１に記載の類似画像検索装置にお
いて、サーチ画像の白色点の保存を表現する条件を制約条件と
して設定する制約条件設定部と、前記制約条件設定部で設定した制約条件を満たすカラー
アピアレンスモデルのモデルパラメータを算出するアピ
アランスパラメータ算出部とを備えたことを特徴とする
類似画像検索装置。