JP2001216317A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法Info
- Publication number
- JP2001216317A JP2001216317A JP2000025628A JP2000025628A JP2001216317A JP 2001216317 A JP2001216317 A JP 2001216317A JP 2000025628 A JP2000025628 A JP 2000025628A JP 2000025628 A JP2000025628 A JP 2000025628A JP 2001216317 A JP2001216317 A JP 2001216317A
- Authority
- JP
- Japan
- Prior art keywords
- color
- vector
- image
- searched
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 画像の検索は、特徴として指定された検索デ
ータと、被検索データすべてとの間で類似性等を算出
し、類似性等に基づき被検索データの順位付けを行う
が、画像の特徴をより詳細に表現するために指定すべき
特徴の数を増すと、特徴空間の次元が増えて計算量が増
加する。 【解決手段】 色決定部201は検索画像から色を決定
し、色決定部202は画像データベースの被検索画像から
色を決定する。ベクトル変換部203および204は、色決定
部201および202によって決定された色をそれぞれ色ベク
トルに変換する。正規直交空間生成部206は、色類似規
則に従う色領域類似ベクトルを用いて、色領域の類似性
を表すための色類似空間を生成する。射影部207は、検
索画像および被検索画像から生成された色ベクトルを正
規直交空間へ射影する。尤度算出部208は、射影部207に
よって射影された被検索画像に対応する色ベクトルそれ
ぞれについて、検索画像の色ベクトルとの類似性を示す
尤度を算出する。選択部209は、算出される尤度に基づ
き、検索画像に類似する被検索画像を選択する。
ータと、被検索データすべてとの間で類似性等を算出
し、類似性等に基づき被検索データの順位付けを行う
が、画像の特徴をより詳細に表現するために指定すべき
特徴の数を増すと、特徴空間の次元が増えて計算量が増
加する。 【解決手段】 色決定部201は検索画像から色を決定
し、色決定部202は画像データベースの被検索画像から
色を決定する。ベクトル変換部203および204は、色決定
部201および202によって決定された色をそれぞれ色ベク
トルに変換する。正規直交空間生成部206は、色類似規
則に従う色領域類似ベクトルを用いて、色領域の類似性
を表すための色類似空間を生成する。射影部207は、検
索画像および被検索画像から生成された色ベクトルを正
規直交空間へ射影する。尤度算出部208は、射影部207に
よって射影された被検索画像に対応する色ベクトルそれ
ぞれについて、検索画像の色ベクトルとの類似性を示す
尤度を算出する。選択部209は、算出される尤度に基づ
き、検索画像に類似する被検索画像を選択する。
Description
【０００１】
【発明の属する技術分野】本発明は画像処理装置および
その方法に関し、例えば、画像の色に基づき画像を検索
する画像処理装置およびその方法に関するものである。
その方法に関し、例えば、画像の色に基づき画像を検索
する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】画像検索システムには、画像にキーワー
ド等のメタデータを付与して、メタデータのマッチング
により目的の画像を検索するものがある。このような画
像検索システムにおいては、画像のキーワードを作成す
る作業が必須であるが、この作業は自動化が困難である
から人手による作業になる。したがって、メタデータを
付与すべき画像データが大量にある場合には、膨大な作
業量が発生するという問題がある。また、作業が自動、
人手にかかわらず、そのメタデータの妥当性を定量的に
測ることは困難であるから、不適切なメタデータが付与
されるといった問題が残る。
ド等のメタデータを付与して、メタデータのマッチング
により目的の画像を検索するものがある。このような画
像検索システムにおいては、画像のキーワードを作成す
る作業が必須であるが、この作業は自動化が困難である
から人手による作業になる。したがって、メタデータを
付与すべき画像データが大量にある場合には、膨大な作
業量が発生するという問題がある。また、作業が自動、
人手にかかわらず、そのメタデータの妥当性を定量的に
測ることは困難であるから、不適切なメタデータが付与
されるといった問題が残る。
【０００３】
【発明が解決しようとする課題】一方、画像の特徴、例
えば画像が含む色等に注目して特徴を比較することによ
り画像検索を実現する画像検索システムも存在する。こ
の検索は、画像の物理的な特性に基づくものであるから
自動化が容易である。
えば画像が含む色等に注目して特徴を比較することによ
り画像検索を実現する画像検索システムも存在する。こ
の検索は、画像の物理的な特性に基づくものであるから
自動化が容易である。
【０００４】画像の特徴により画像を検索する画像検索
システムの多くは、特徴として指定された検索データ
と、被検索データすべてとの間で類似性等を算出し、類
似性等に基づき被検索データの順位付けを行う。すなわ
ち、指定された画像の特徴により定義される特徴空間上
の検索データに対応する点と、被検索データに対応する
点との関係、例えば両点間の距離を被検索データすべて
について算出し、距離に応じて被検索データを順位付け
する。
システムの多くは、特徴として指定された検索データ
と、被検索データすべてとの間で類似性等を算出し、類
似性等に基づき被検索データの順位付けを行う。すなわ
ち、指定された画像の特徴により定義される特徴空間上
の検索データに対応する点と、被検索データに対応する
点との関係、例えば両点間の距離を被検索データすべて
について算出し、距離に応じて被検索データを順位付け
する。
【０００５】画像の特徴をより詳細に表現するには、指
定すべき特徴の数を増すことになる。しかし、指定され
る特徴の数が増えれば特徴空間の次元が増えて、計算量
が増加する。
定すべき特徴の数を増すことになる。しかし、指定され
る特徴の数が増えれば特徴空間の次元が増えて、計算量
が増加する。
【０００６】本発明は、上述の問題を解決するためのも
のであり、検索に要する計算量を削減することができる
画像処理装置およびその方法を提供することを目的とす
る。
のであり、検索に要する計算量を削減することができる
画像処理装置およびその方法を提供することを目的とす
る。
【０００７】
【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。
達成する一手段として、以下の構成を備える。
【０００８】本発明にかかる画像処理装置は、与えられ
る検索画像の全体もしくは一部から少なくとも一つ以上
の色を決定する第一の色決定手段と、前記第一の色決定
手段により決定される一つ以上の色を、それに対応する
検索色ベクトルに変換する第一の変換手段と、色類似規
則に従って生成される色類似ベクトルから色類似空間を
生成し、色類似空間を直交座標系に変換し直交空間を得
る直交空間生成手段と、複数の被検索画像それぞれにつ
いて、その全体もしくは一部から少なくとも一つ以上の
色を決定する第二の色決定手段と、前記第二の色決定手
段により決定される一つ以上の色を、それに対応する被
検索色ベクトルに変換することで、各被検索画像を被検
索色ベクトル群に変換する第二の変換手段と、前記検索
色ベクトルおよび前記被検索色ベクトル群を前記直交空
間に射影し、前記検索色ベクトルに応じて前記直交空間
の部分空間を適応的に選択し、選択した部分空間へ前記
直交空間に射影された前記被検索ベクトル群を射影する
射影手段と、前記射影手段により射影される前記被検索
ベクトル群それぞれの尤度を算出する算出手段と、算出
される尤度に基づき、前記複数の被検索画像から少なく
とも一つの画像を選択する選択手段とを有することを特
徴とする。
る検索画像の全体もしくは一部から少なくとも一つ以上
の色を決定する第一の色決定手段と、前記第一の色決定
手段により決定される一つ以上の色を、それに対応する
検索色ベクトルに変換する第一の変換手段と、色類似規
則に従って生成される色類似ベクトルから色類似空間を
生成し、色類似空間を直交座標系に変換し直交空間を得
る直交空間生成手段と、複数の被検索画像それぞれにつ
いて、その全体もしくは一部から少なくとも一つ以上の
色を決定する第二の色決定手段と、前記第二の色決定手
段により決定される一つ以上の色を、それに対応する被
検索色ベクトルに変換することで、各被検索画像を被検
索色ベクトル群に変換する第二の変換手段と、前記検索
色ベクトルおよび前記被検索色ベクトル群を前記直交空
間に射影し、前記検索色ベクトルに応じて前記直交空間
の部分空間を適応的に選択し、選択した部分空間へ前記
直交空間に射影された前記被検索ベクトル群を射影する
射影手段と、前記射影手段により射影される前記被検索
ベクトル群それぞれの尤度を算出する算出手段と、算出
される尤度に基づき、前記複数の被検索画像から少なく
とも一つの画像を選択する選択手段とを有することを特
徴とする。
【０００９】本発明にかかる画像処理方法は、与えられ
る検索画像の全体もしくは一部から少なくとも一つ以上
の色を決定し、決定された一つ以上の色を、それに対応
する検索色ベクトルに変換し、色類似規則に従って生成
される色類似ベクトルから色類似空間を生成し、色類似
空間を直交座標系に変換し直交空間を得て、複数の被検
索画像それぞれについて、その全体もしくは一部から少
なくとも一つ以上の色を決定し、決定された一つ以上の
色を、それに対応する被検索色ベクトルに変換すること
で、各被検索画像を被検索色ベクトル群に変換し、前記
検索色ベクトルおよび前記被検索色ベクトル群を前記直
交空間に射影し、前記検索色ベクトルに応じて前記直交
空間の部分空間を適応的に選択し、選択した部分空間へ
前記直交空間に射影された前記被検索ベクトル群を射影
し、前記射影手段により射影される前記被検索ベクトル
群それぞれの尤度を算出し、算出された尤度に基づき、
前記複数の被検索画像から少なくとも一つの画像を選択
することを特徴とする。
る検索画像の全体もしくは一部から少なくとも一つ以上
の色を決定し、決定された一つ以上の色を、それに対応
する検索色ベクトルに変換し、色類似規則に従って生成
される色類似ベクトルから色類似空間を生成し、色類似
空間を直交座標系に変換し直交空間を得て、複数の被検
索画像それぞれについて、その全体もしくは一部から少
なくとも一つ以上の色を決定し、決定された一つ以上の
色を、それに対応する被検索色ベクトルに変換すること
で、各被検索画像を被検索色ベクトル群に変換し、前記
検索色ベクトルおよび前記被検索色ベクトル群を前記直
交空間に射影し、前記検索色ベクトルに応じて前記直交
空間の部分空間を適応的に選択し、選択した部分空間へ
前記直交空間に射影された前記被検索ベクトル群を射影
し、前記射影手段により射影される前記被検索ベクトル
群それぞれの尤度を算出し、算出された尤度に基づき、
前記複数の被検索画像から少なくとも一つの画像を選択
することを特徴とする。
【００１０】
【発明の実施の形態】以下、本発明にかかる一実施形態
の画像処理装置を図面を参照して詳細に説明する。
の画像処理装置を図面を参照して詳細に説明する。
【００１１】［構成］図1は本実施形態の画像処理装置
の構成例を示すブロック図である。
の構成例を示すブロック図である。
【００１２】図1において、データを入力する入力部101
は、キーボードやポインティングデバイスなどで構成さ
れる。バイナリデータやメタデータを蓄積する蓄積部10
2は、ハードディスクなどの記憶デバイスであり、後述
する画像データベースも蓄積部102に格納されている。C
RTや液晶である構成される表示部103は、蓄積部102に蓄
積されたバイナリデータや、読込部100で読み込まれた
画像データなどを表示する。
は、キーボードやポインティングデバイスなどで構成さ
れる。バイナリデータやメタデータを蓄積する蓄積部10
2は、ハードディスクなどの記憶デバイスであり、後述
する画像データベースも蓄積部102に格納されている。C
RTや液晶である構成される表示部103は、蓄積部102に蓄
積されたバイナリデータや、読込部100で読み込まれた
画像データなどを表示する。
【００１３】CPU104は上記の処理すべてに関わり、ROM1
05およびRAM106はCPU104の処理に必要なデータや作業領
域を提供する。また、本実施形態の処理手順を実現する
制御プログラムなどもROM105に格納されている。
05およびRAM106はCPU104の処理に必要なデータや作業領
域を提供する。また、本実施形態の処理手順を実現する
制御プログラムなどもROM105に格納されている。
【００１４】なお、本実施形態の画像処理装置には、上
記以外の種々の構成要素が設けられている。しかし、そ
れらの構成要素は本実施形態の説明には不要であり、そ
れらの説明は省略する。
記以外の種々の構成要素が設けられている。しかし、そ
れらの構成要素は本実施形態の説明には不要であり、そ
れらの説明は省略する。
【００１５】［機能構成］図2は本実施形態の画像検索
処理の機能構成例を示すブロック図である。
処理の機能構成例を示すブロック図である。
【００１６】図2において、色決定部201は検索画像から
検索用の色を決定し、色決定部202は画像データベース
の被検索画像から検索用の色を決定する。ベクトル変換
部203および204は、色決定部201および202によって決定
された色をそれぞれ色ベクトルに変換する。正規直交空
間生成部206は、後述する色類似規則に従う色領域類似
ベクトルを用いて、色領域の類似性を表すための色類似
空間を生成する。射影部207は、検索画像および被検索
画像から生成された色ベクトルを正規直交空間へ射影す
る。尤度算出部208は、射影部207によって射影された被
検索画像に対応する色ベクトルそれぞれについて、検索
画像の色ベクトルとの類似性を示す尤度を算出する。選
択部209は、尤度算出部208から出力される尤度に基づ
き、検索画像に類似する被検索画像を選択する。
検索用の色を決定し、色決定部202は画像データベース
の被検索画像から検索用の色を決定する。ベクトル変換
部203および204は、色決定部201および202によって決定
された色をそれぞれ色ベクトルに変換する。正規直交空
間生成部206は、後述する色類似規則に従う色領域類似
ベクトルを用いて、色領域の類似性を表すための色類似
空間を生成する。射影部207は、検索画像および被検索
画像から生成された色ベクトルを正規直交空間へ射影す
る。尤度算出部208は、射影部207によって射影された被
検索画像に対応する色ベクトルそれぞれについて、検索
画像の色ベクトルとの類似性を示す尤度を算出する。選
択部209は、尤度算出部208から出力される尤度に基づ
き、検索画像に類似する被検索画像を選択する。
【００１７】［画像検索処理］図3は画像検索処理の流
れを表すフローチャートである。
れを表すフローチャートである。
【００１８】色決定部201により、入力された検索画像
の全体もしくは部分画像から一つ以上の色が決定される
(S601)。色決定部201は、例えば、図4に示すように、検
索画像301を四分割して四つの部分画像B1からB4を生成
し、各部分画像から色を決定する。
の全体もしくは部分画像から一つ以上の色が決定される
(S601)。色決定部201は、例えば、図4に示すように、検
索画像301を四分割して四つの部分画像B1からB4を生成
し、各部分画像から色を決定する。
【００１９】色の決定方法としては様々な方法が考えら
れるが、本実施形態においては、各部分画像の色のヒス
トグラムを作成し、出現頻度が上位の三色を選択する。
この結果、部分画像B1からB4にはそれぞれ下に示す色が
割り当てられ、検索画像は下に示す12色によって特徴づ
けられる。 B1: color11、color12、color13 B2: color21、color22、color23 B3: color31、color32、color33 B4: color41、color42、color43
れるが、本実施形態においては、各部分画像の色のヒス
トグラムを作成し、出現頻度が上位の三色を選択する。
この結果、部分画像B1からB4にはそれぞれ下に示す色が
割り当てられ、検索画像は下に示す12色によって特徴づ
けられる。 B1: color11、color12、color13 B2: color21、color22、color23 B3: color31、color32、color33 B4: color41、color42、color43
【００２０】なお、出現頻度が上位の三色を選ぶ以外
に、ヒストグラムの度数に対して予め閾値を設定し、閾
値以上の度数を有する色を選択する、というように選択
される色数が変化する選択方式を用いてもよいし、ヒス
トグラムを用いずに部分画像の画素値の平均をとった平
均色を用いてもよい。
に、ヒストグラムの度数に対して予め閾値を設定し、閾
値以上の度数を有する色を選択する、というように選択
される色数が変化する選択方式を用いてもよいし、ヒス
トグラムを用いずに部分画像の画素値の平均をとった平
均色を用いてもよい。
【００２１】次に、ベクトル変換部203により、上記の1
2色から検索色ベクトルが生成される(S602)。
2色から検索色ベクトルが生成される(S602)。
【００２２】検索色ベクトルを生成するには、まず色空
間を幾つかの領域に分割する。図5はRGB色空間を幾つか
の領域に分割した様子を示す図である。図5は、RGB空間
を各軸で均等に六分割して216の領域を作成した状態を
示している。分割された個々の領域はC(i,j,k)で表わ
れ、i、jおよ,kはそれぞれR軸、G軸およびB軸における
インデックス値である。図5のように各軸で六分割した
場合は1≦i,j,k≦6になる。
間を幾つかの領域に分割する。図5はRGB色空間を幾つか
の領域に分割した様子を示す図である。図5は、RGB空間
を各軸で均等に六分割して216の領域を作成した状態を
示している。分割された個々の領域はC(i,j,k)で表わ
れ、i、jおよ,kはそれぞれR軸、G軸およびB軸における
インデックス値である。図5のように各軸で六分割した
場合は1≦i,j,k≦6になる。
【００２３】なお、色空間の各軸で同数かつ均等に分割
する必要はなく、軸によって分割数を変えたり、あるい
は、非均等な分割を行ってもよい。さらに、検索色ベク
トルを作成するための色空間もRGB色空間に限定される
わけではなく、他の色空間であってもかまわない。
する必要はなく、軸によって分割数を変えたり、あるい
は、非均等な分割を行ってもよい。さらに、検索色ベク
トルを作成するための色空間もRGB色空間に限定される
わけではなく、他の色空間であってもかまわない。
【００２４】ベクトル変換部203は、色決定部201により
決定された色と、図5に示す分割領域とを参照して、検
索色ベクトルを生成する。まず、ベクトル変換部203
は、color11からcolor43の12色が、図5に示す分割領域C
(i,j,k)のどれに属するか判定する。ここでは、colormn
が属する分割領域をC(imn,jmn,kmn)と表す。この結果、
検索画像はC(i11,j11,k11)からC(i43,j43,k43)の12領域
と対応づけられる。言い換えれば、検索画像は、これら
12領域によって特徴づけられたことになる。
決定された色と、図5に示す分割領域とを参照して、検
索色ベクトルを生成する。まず、ベクトル変換部203
は、color11からcolor43の12色が、図5に示す分割領域C
(i,j,k)のどれに属するか判定する。ここでは、colormn
が属する分割領域をC(imn,jmn,kmn)と表す。この結果、
検索画像はC(i11,j11,k11)からC(i43,j43,k43)の12領域
と対応づけられる。言い換えれば、検索画像は、これら
12領域によって特徴づけられたことになる。
【００２５】検索画像と12領域との対応関係はベクトル
で表現することが可能である。すなわち、検索画像を表
すベクトルを検索色ベクトルxとすると、検索色ベクト
ルxの次元は分割領域の数である。つまり、図5に示す分
割領域を利用すれば検索色ベクトルxの次元は216であ
る。そして、検索色ベクトルxの各次元は選択された色
が含まれる、含まれないを二値数で表す。言い換えれ
ば、検索色ベクトルxにより、検索画像を特徴づける色
が各分割領域に含まれるか含まれないかが表されること
になる。
で表現することが可能である。すなわち、検索画像を表
すベクトルを検索色ベクトルxとすると、検索色ベクト
ルxの次元は分割領域の数である。つまり、図5に示す分
割領域を利用すれば検索色ベクトルxの次元は216であ
る。そして、検索色ベクトルxの各次元は選択された色
が含まれる、含まれないを二値数で表す。言い換えれ
ば、検索色ベクトルxにより、検索画像を特徴づける色
が各分割領域に含まれるか含まれないかが表されること
になる。
【００２６】勿論、検索色ベクトルxの各次元には割り
当てるのは、二値数に限定されるものではなく、その他
の値でもよい。また、各部分画像から選択された三色に
ついて、すべて同一値を対応させる必要はなく、出現頻
度順を示す値や、度数に応じた値を割り当ててもよい。
また、部分画像の位置に対応する重み付けした値を割り
当ててもよい。
当てるのは、二値数に限定されるものではなく、その他
の値でもよい。また、各部分画像から選択された三色に
ついて、すべて同一値を対応させる必要はなく、出現頻
度順を示す値や、度数に応じた値を割り当ててもよい。
また、部分画像の位置に対応する重み付けした値を割り
当ててもよい。
【００２７】次に、色決定部202により、被検索画像群
の色が決定される(S603)。色決定部202による処理は、
画像から色を決定するという点で色決定部201による処
理と同一である。したがって、両者の色の割り当て方法
が同一でもよいし、色決定部201がヒストグラムに基づ
き色を決定し、色決定部202が平均により色を決定して
もよい。勿論、両者の色の割り当て方法が同一であれ
ば、色決定部201および202を一つにすることができる。
の色が決定される(S603)。色決定部202による処理は、
画像から色を決定するという点で色決定部201による処
理と同一である。したがって、両者の色の割り当て方法
が同一でもよいし、色決定部201がヒストグラムに基づ
き色を決定し、色決定部202が平均により色を決定して
もよい。勿論、両者の色の割り当て方法が同一であれ
ば、色決定部201および202を一つにすることができる。
【００２８】本実施形態では、説明を簡単にするため、
色決定部202による処理は色決定部201による処理と同一
とし、一つの被検索画像Rk（1≦k≦N、Nは被検索画像の
数）から12色のcolor11(Rk)からcolor43(Rk)を生成する
ものとする。
色決定部202による処理は色決定部201による処理と同一
とし、一つの被検索画像Rk（1≦k≦N、Nは被検索画像の
数）から12色のcolor11(Rk)からcolor43(Rk)を生成する
ものとする。
【００２９】次に、ベクトル変換部204により、被検索
画像それぞれに対応する12色から被検索色ベクトルが生
成される(S604)。ベクトル変換部204による処理は、ベ
クトル変換部203による処理と同様であるが、色決定部2
02により割り当てられた色と色領域C(i,j,k)との対応を
生成してベクトル化すればよく、ベクトル変換部203に
よる処理と全く同一である必要はない。勿論、色決定部
201および202の関係と同様、ベクトル変換部203および2
04による処理が同一であれば、両者を一つにすることが
できる。
画像それぞれに対応する12色から被検索色ベクトルが生
成される(S604)。ベクトル変換部204による処理は、ベ
クトル変換部203による処理と同様であるが、色決定部2
02により割り当てられた色と色領域C(i,j,k)との対応を
生成してベクトル化すればよく、ベクトル変換部203に
よる処理と全く同一である必要はない。勿論、色決定部
201および202の関係と同様、ベクトル変換部203および2
04による処理が同一であれば、両者を一つにすることが
できる。
【００３０】本実施形態では、説明を簡単にするため、
ベクトル変換部204による処理はベクトル変換部202によ
る処理と同一とし、color11(Rk)からcolor43(Rk)の12色
から被検索色ベクトルrkが生成されるものとする。
ベクトル変換部204による処理はベクトル変換部202によ
る処理と同一とし、color11(Rk)からcolor43(Rk)の12色
から被検索色ベクトルrkが生成されるものとする。
【００３１】正規直交空間生成部206は、色類似規則に
従い生成される色類似空間生成ベクトルを用いて、色の
類似度を距離で表現するための色類似空間Iを生成す
る。色類似規則について図5を用いて説明する。
従い生成される色類似空間生成ベクトルを用いて、色の
類似度を距離で表現するための色類似空間Iを生成す
る。色類似規則について図5を用いて説明する。
【００３２】ベクトル生成部203の説明において、色空
間を幾つかの領域、図5の例ではRGB色空間の各軸を六等
分して得られる領域に分割する例を示した。正規直交空
間生成部206が用いる色類似空間ベクトルの生成では、
ベクトル生成部203と同一の領域分割が行われる。すな
わち、本実施形態の場合は、図5に示すようにRGB色空間
を各軸で六等分して216個の分割領域C(i,j,k)(1≦i,j,k
≦6)を得る。
間を幾つかの領域、図5の例ではRGB色空間の各軸を六等
分して得られる領域に分割する例を示した。正規直交空
間生成部206が用いる色類似空間ベクトルの生成では、
ベクトル生成部203と同一の領域分割が行われる。すな
わち、本実施形態の場合は、図5に示すようにRGB色空間
を各軸で六等分して216個の分割領域C(i,j,k)(1≦i,j,k
≦6)を得る。
【００３３】次に、分割領域それぞれに色類似規則を適
用する。ここで言う色類似規則とは、ある分割領域C(i
a,ja,ka)の色と、他の分割領域C(ib,jb,kb)の色とが類
似する、類似しないことを定義する規則である。様々な
色類似規則があるが、本実施形態では以下の規則を用い
ることにする。 色類似規則：図5における分割領域C(i,j,k)(1≦i,j,k≦
6)において、 (1) ある分割領域C(i,j,k)の色は自分自身と類似する (2) ある分割領域C(i,j,k)の色は近傍の分割領域C(i±
1,j±1,k±1)の色と類似し（ただし、i±1、j±1および
k±1の何れかが0または7になる場合は無視する）、それ
以外の色領域とは類似しない (3) ある分割領域と他の分割領域との間の距離を分割領
域の重心間の距離と定義する場合、ある分割領域と他の
分割領域との色の類似度は距離に反比例する
用する。ここで言う色類似規則とは、ある分割領域C(i
a,ja,ka)の色と、他の分割領域C(ib,jb,kb)の色とが類
似する、類似しないことを定義する規則である。様々な
色類似規則があるが、本実施形態では以下の規則を用い
ることにする。 色類似規則：図5における分割領域C(i,j,k)(1≦i,j,k≦
6)において、 (1) ある分割領域C(i,j,k)の色は自分自身と類似する (2) ある分割領域C(i,j,k)の色は近傍の分割領域C(i±
1,j±1,k±1)の色と類似し（ただし、i±1、j±1および
k±1の何れかが0または7になる場合は無視する）、それ
以外の色領域とは類似しない (3) ある分割領域と他の分割領域との間の距離を分割領
域の重心間の距離と定義する場合、ある分割領域と他の
分割領域との色の類似度は距離に反比例する
【００３４】色類似規則自体は本発明の主眼ではない。
したがって、上に示す色類似規則はあくまでも一例であ
って、分割領域間の色の類似度を示すような規則であれ
ば任意のものでよい。
したがって、上に示す色類似規則はあくまでも一例であ
って、分割領域間の色の類似度を示すような規則であれ
ば任意のものでよい。
【００３５】上記の色類似規則によって、216個の分割
領域は、自分自身を含む216個の分割領域の内の幾つか
と類似するという関連が与えられる。この関係、つまり
216個のベクトルを色類似空間生成ベクトルと呼ぶ。一
般化すると、m個の色類似空間生成ベクトルそれぞれ
は、n個の類似値(f1,f2,…,fn)を列挙したベクトルwi(i
=1,…,m)として与えられ、それらのベクトルを並べたm
行n列のデータ行列Aが得られる。例えば、本実施形態の
ようにm=n=216であれば、216個の色類似空間生成ベクト
ルを並べて、生成される行列を列ごとに2ノルムで正規
化することによりデータ行列Aが生成される。このデー
タ行列Aの相関行列を求め、得られる相関行列を固有値
分解する。 ここで、Q = (q1,q2,…,qn)T qiは相関行列の固有ベクトル
領域は、自分自身を含む216個の分割領域の内の幾つか
と類似するという関連が与えられる。この関係、つまり
216個のベクトルを色類似空間生成ベクトルと呼ぶ。一
般化すると、m個の色類似空間生成ベクトルそれぞれ
は、n個の類似値(f1,f2,…,fn)を列挙したベクトルwi(i
=1,…,m)として与えられ、それらのベクトルを並べたm
行n列のデータ行列Aが得られる。例えば、本実施形態の
ようにm=n=216であれば、216個の色類似空間生成ベクト
ルを並べて、生成される行列を列ごとに2ノルムで正規
化することによりデータ行列Aが生成される。このデー
タ行列Aの相関行列を求め、得られる相関行列を固有値
分解する。 ここで、Q = (q1,q2,…,qn)T qiは相関行列の固有ベクトル
【００３６】このとき、色類似空間Iを次のように定義
する。 I := span(q1,q2,…,qv) ここで、(q1,q2,…,qv)は色類似空間Iの直交基底
する。 I := span(q1,q2,…,qv) ここで、(q1,q2,…,qv)は色類似空間Iの直交基底
【００３７】なお、固有値分解処理は公知の方式による
ものでよい。また、データ行列Aの作成と固有値分解処
理は本処理の実行時に行ってもよいし、予め処理を行っ
ておいてもよい。
ものでよい。また、データ行列Aの作成と固有値分解処
理は本処理の実行時に行ってもよいし、予め処理を行っ
ておいてもよい。
【００３８】次に、射影部207を説明する。射影部207に
は、ベクトル変換部203の出力である入力画像に対応す
る検索色ベクトルx、ベクトル変換部204の出力である被
検索画像それぞれに対応する被検索色ベクトルrk、およ
び、正規直交空間生成部206により生成される色類似空
間Iが入力される。そして、被検索色ベクトルrkが色類
似空間Iへ射影される(S605)。ここで、rkとqjの内積をr
kjとする。 rkj := (rk,qj) ただし、j = 1,2,…,v
は、ベクトル変換部203の出力である入力画像に対応す
る検索色ベクトルx、ベクトル変換部204の出力である被
検索画像それぞれに対応する被検索色ベクトルrk、およ
び、正規直交空間生成部206により生成される色類似空
間Iが入力される。そして、被検索色ベクトルrkが色類
似空間Iへ射影される(S605)。ここで、rkとqjの内積をr
kjとする。 rkj := (rk,qj) ただし、j = 1,2,…,v
【００３９】被検索画像kに対応する被検索色ベクトルr
kを色類似空間Iに写像したベクトルr^k∈Iを次のように
定める。 r^k := (rk1,rk2,…,rkv)
kを色類似空間Iに写像したベクトルr^k∈Iを次のように
定める。 r^k := (rk1,rk2,…,rkv)
【００４０】次に、射影部207は、与えられた問い合わ
せ、すなわち検索色ベクトルxに応じて色類似空間Iの部
分空間を選択する。図6は部分空間を選択する処理の概
要を示す図である。ここでは、色類似空間Iから固有な
部分空間への射影の集合Πvを考える。固有値λsに対応
する固有空間への射影Pλsを次のように定義する。 Pλs: I → span(qs)
せ、すなわち検索色ベクトルxに応じて色類似空間Iの部
分空間を選択する。図6は部分空間を選択する処理の概
要を示す図である。ここでは、色類似空間Iから固有な
部分空間への射影の集合Πvを考える。固有値λsに対応
する固有空間への射影Pλsを次のように定義する。 Pλs: I → span(qs)
【００４１】射影Pλsの集合Πvを次のように定義す
る。 Πv := {0, Pλ1, Pλ2, …, Pλv,Pλ1 + Pλ2, Pλ1
+ Pλ3, …, Pλ1 + Pλv,…Pλ1 + Pλ2 + … + Pλv}
る。 Πv := {0, Pλ1, Pλ2, …, Pλv,Pλ1 + Pλ2, Pλ1
+ Pλ3, …, Pλ1 + Pλv,…Pλ1 + Pλ2 + … + Pλv}
【００４２】集合Πvの要素数は2v個であり、これは2v
通りの意味の様相表現ができることを示している。この
射影Pを用いた部分空間の選択(S606)の手順は次のよう
になる。
通りの意味の様相表現ができることを示している。この
射影Pを用いた部分空間の選択(S606)の手順は次のよう
になる。
【００４３】まず、与えられた検索色ベクトルxを色類
似空間I上に射影する。問い合わせを表すv次元のベクト
ルを検索色ベクトルxとする。検索色ベクトルxを用い
て、次のような手順で、検索色ベクトルxに応じた部分
空間の選択を行う。まず、検索色ベクトルxの重心G(x)
を求める。 ただし、‖・‖∞は無限大ノルムを示す
似空間I上に射影する。問い合わせを表すv次元のベクト
ルを検索色ベクトルxとする。検索色ベクトルxを用い
て、次のような手順で、検索色ベクトルxに応じた部分
空間の選択を行う。まず、検索色ベクトルxの重心G(x)
を求める。 ただし、‖・‖∞は無限大ノルムを示す
【００４４】次に、重心Gを構成する各要素の値が、与
えられた閾値ε(0＜ε＜1)を超える要素に対応する軸か
らなる色類似空間Iの部分空間への射影Pε(x)を決定
し、部分空間の選択を完了する。 Pε(x) := Σi∈ΛεPλi ∈ Πv ただし、Λε := {i | (G(x))i＞ε}
えられた閾値ε(0＜ε＜1)を超える要素に対応する軸か
らなる色類似空間Iの部分空間への射影Pε(x)を決定
し、部分空間の選択を完了する。 Pε(x) := Σi∈ΛεPλi ∈ Πv ただし、Λε := {i | (G(x))i＞ε}
【００４５】部分空間の選択は、検索画像がもつ色と関
連の薄い軸、すなわち類似していない色を切り捨てるこ
とに相当し、部分空間を選択することによって、後に示
す尤度計算においてベクトルの次元を削減することがで
きる。ベクトルの次元が削減されることにより、尤度計
算に必要な演算処理が削減され高速な処理が可能とな
る。
連の薄い軸、すなわち類似していない色を切り捨てるこ
とに相当し、部分空間を選択することによって、後に示
す尤度計算においてベクトルの次元を削減することがで
きる。ベクトルの次元が削減されることにより、尤度計
算に必要な演算処理が削減され高速な処理が可能とな
る。
【００４６】尤度計算部208は、射影部207によって選択
された部分空間内において、被検索画像それぞれに対応
する被検索色ベクトルrkそれぞれについて尤度を計算す
る(S607)。ここでは、とくに部分空間の選択(S606)にお
いて選択された部分空間上でのデータの尤度について説
明する。色類似空間Iに写像されたベクトルy∈Iの尤度
ρを次のように定義する。 ρ(y:x) = √[Σj∈Λε{cj(x)・yj}2]
された部分空間内において、被検索画像それぞれに対応
する被検索色ベクトルrkそれぞれについて尤度を計算す
る(S607)。ここでは、とくに部分空間の選択(S606)にお
いて選択された部分空間上でのデータの尤度について説
明する。色類似空間Iに写像されたベクトルy∈Iの尤度
ρを次のように定義する。 ρ(y:x) = √[Σj∈Λε{cj(x)・yj}2]
【００４７】上式のcj(x)は、検索色ベクトルxに依存し
て決まる重みであり、次のように定義される。重みcj
(x)を用いることにより、ρ(y:x)は、検索ベクトルxに
応じた部分空間上での尤度を表す。
て決まる重みであり、次のように定義される。重みcj
(x)を用いることにより、ρ(y:x)は、検索ベクトルxに
応じた部分空間上での尤度を表す。
【００４８】選択部209は、尤度算出部208が算出した各
被検索画像に対応する被検索色ベクトルrkの尤度に基づ
き、被検索画像を選択する(S608)。選択方法には様々な
方式が考えられるが、本実施形態では、最も尤度の高い
被検索色ベクトルrkに対応する被検索画像を一つ選択す
るものとする。この他にも、尤度に応じてその順番を並
べ替えた全被検索画像を提示する、もしくは、その一
部、例えば上位10個を提示するなどの方法でもよい。
被検索画像に対応する被検索色ベクトルrkの尤度に基づ
き、被検索画像を選択する(S608)。選択方法には様々な
方式が考えられるが、本実施形態では、最も尤度の高い
被検索色ベクトルrkに対応する被検索画像を一つ選択す
るものとする。この他にも、尤度に応じてその順番を並
べ替えた全被検索画像を提示する、もしくは、その一
部、例えば上位10個を提示するなどの方法でもよい。
【００４９】このように、本実施形態によれば、入力画
像に応じて色類似空間Iの部分空間を選択することによ
り、その後の尤度計算において計算量を削減することが
でき、高速な検索が可能になる。言い換えれば、本実施
形態は、検索時に、特徴空間そのもので類似性などを測
るのではなく、検索データ（特徴）に応じて部分空間を
適応的に設定して、その部分空間に検索データおよび被
検索データを射影することにより、検索時の計算量を削
減することができる。
像に応じて色類似空間Iの部分空間を選択することによ
り、その後の尤度計算において計算量を削減することが
でき、高速な検索が可能になる。言い換えれば、本実施
形態は、検索時に、特徴空間そのもので類似性などを測
るのではなく、検索データ（特徴）に応じて部分空間を
適応的に設定して、その部分空間に検索データおよび被
検索データを射影することにより、検索時の計算量を削
減することができる。
【００５０】
【発明の効果】以上説明したように、本発明によれば、
検索に要する計算量を削減する画像処理装置およびその
方法を提供することができる。
検索に要する計算量を削減する画像処理装置およびその
方法を提供することができる。
【図１】本実施形態の画像処理装置の構成例を示すブロ
ック図、
ック図、
【図２】本実施形態の画像検索処理の機能構成例を示す
ブロック図、
ブロック図、
【図３】画像検索処理の流れを表すフローチャート、
【図４】画像の分割方法の一例を説明する図、
【図５】RGB色空間を幾つかの領域に分割した様子を示
す図、
す図、
【図６】部分空間を選択する処理の概要を示す図であ
る。
る。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ３１０ Ｆターム(参考） 5B050 BA10 DA04 EA09 FA19 GA08 5B057 CA01 CB01 CG05 CG06 DB06 5B075 ND06 NS10 PR06 QS03 5L096 AA02 EA23 FA22
Claims (10)
- 【請求項１】 与えられる検索画像の全体もしくは一部
から少なくとも一つ以上の色を決定する第一の色決定手
段と、 前記第一の色決定手段により決定される一つ以上の色
を、それに対応する検索色ベクトルに変換する第一の変
換手段と、 色類似規則に従って生成される色類似ベクトルから色類
似空間を生成し、色類似空間を直交座標系に変換し直交
空間を得る直交空間生成手段と、 複数の被検索画像それぞれについて、その全体もしくは
一部から少なくとも一つ以上の色を決定する第二の色決
定手段と、 前記第二の色決定手段により決定される一つ以上の色
を、それに対応する被検索色ベクトルに変換すること
で、各被検索画像を被検索色ベクトル群に変換する第二
の変換手段と、 前記検索色ベクトルおよび前記被検索色ベクトル群を前
記直交空間に射影し、前記検索色ベクトルに応じて前記
直交空間の部分空間を適応的に選択し、選択した部分空
間へ前記直交空間に射影された前記被検索ベクトル群を
射影する射影手段と、 前記射影手段により射影される前記被検索ベクトル群そ
れぞれの尤度を算出する算出手段と、 算出される尤度に基づき、前記複数の被検索画像から少
なくとも一つの画像を選択する選択手段とを有すること
を特徴とする画像処理装置。 - 【請求項２】 前記選択手段は、前記複数の被検索画像
を、それらの画像に関する前記尤度の順に並べ替えて出
力することを特徴とする請求項1に記載された画像処理
装置。 - 【請求項３】 前記尤度は、射影された被検索色ベクト
ルの前記部分空間におけるノルムであり、前記選択手段
は前記ノルムが最大となる画像を選択することを特徴と
する請求項1に記載された画像処理装置。 - 【請求項４】 前記射影手段は、前記検索色ベクトルの
重心を計算し、その重心に基づき部分空間を選択するこ
とを特徴とする請求項1に記載された画像処理装置。 - 【請求項５】 前記色類似規則は、色空間を複数の領域
に分割し、各領域間の色空間上の距離に応じて類似性を
定義する領域類似ベクトルを作成するものであり、前記
領域類似ベクトルは、空間生成ベクトルとして色の類似
性を表す色類似空間を生成するものであることを特徴と
する請求項1に記載された画像処理装置。 - 【請求項６】 前記第一および第二の色決定手段の少な
くとも一つは、与えられた画像の全体もしくは一部の画
素の色分布を求め、頻度が上位の一つ以上の色を選択す
ることを特徴とする請求項1に記載された画像処理装
置。 - 【請求項７】 前記第一および第二の色決定手段の少な
くとも一つは、与えられた画像の全体もしくは一部の画
素の平均色を選択することを特徴とする請求項1に記載
された画像処理装置。 - 【請求項８】 前記第一および第二の変換手段の少なく
とも一つは、前記色類似規則を用いて、色の類似性が記
述されたテーブルを参照し、各色を色ベクトルに変換し
てベクトル合成することを特徴とする請求項1に記載さ
れた画像処理装置。 - 【請求項９】 与えられる検索画像の全体もしくは一部
から少なくとも一つ以上の色を決定し、 決定された一つ以上の色を、それに対応する検索色ベク
トルに変換し、 色類似規則に従って生成される色類似ベクトルから色類
似空間を生成し、色類似空間を直交座標系に変換し直交
空間を得て、 複数の被検索画像それぞれについて、その全体もしくは
一部から少なくとも一つ以上の色を決定し、 決定された一つ以上の色を、それに対応する被検索色ベ
クトルに変換することで、各被検索画像を被検索色ベク
トル群に変換し、 前記検索色ベクトルおよび前記被検索色ベクトル群を前
記直交空間に射影し、前記検索色ベクトルに応じて前記
直交空間の部分空間を適応的に選択し、選択した部分空
間へ前記直交空間に射影された前記被検索ベクトル群を
射影し、 前記射影手段により射影される前記被検索ベクトル群そ
れぞれの尤度を算出し、 算出された尤度に基づき、前記複数の被検索画像から少
なくとも一つの画像を選択することを特徴とする画像処
理方法。 - 【請求項１０】 画像処理のプログラムコードが記録さ
れた記録媒体であって、前記プログラムコードは少なく
とも、 与えられる検索画像の全体もしくは一部から少なくとも
一つ以上の色を決定するステップのコードと、 決定された一つ以上の色を、それに対応する検索色ベク
トルに変換するステップのコードと、 色類似規則に従って生成される色類似ベクトルから色類
似空間を生成し、色類似空間を直交座標系に変換し直交
空間を得るステップのコードと、 複数の被検索画像それぞれについて、その全体もしくは
一部から少なくとも一つ以上の色を決定するステップの
コードと、 決定された一つ以上の色を、それに対応する被検索色ベ
クトルに変換することで、各被検索画像を被検索色ベク
トル群に変換するステップのコードと、 前記検索色ベクトルおよび前記被検索色ベクトル群を前
記直交空間に射影し、前記検索色ベクトルに応じて前記
直交空間の部分空間を適応的に選択し、選択した部分空
間へ前記直交空間に射影された前記被検索ベクトル群を
射影するステップのコードと、 前記射影手段により射影される前記被検索ベクトル群そ
れぞれの尤度を算出するステップのコードと、 算出された尤度に基づき、前記複数の被検索画像から少
なくとも一つの画像を選択するステップのコードとを有
することを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000025628A JP2001216317A (ja) | 2000-02-02 | 2000-02-02 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000025628A JP2001216317A (ja) | 2000-02-02 | 2000-02-02 | 画像処理装置およびその方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001216317A true JP2001216317A (ja) | 2001-08-10 |
Family
ID=18551460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000025628A Withdrawn JP2001216317A (ja) | 2000-02-02 | 2000-02-02 | 画像処理装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001216317A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005311971A (ja) * | 2004-04-26 | 2005-11-04 | Mitsutoyo Corp | 画像処理装置及び方法並びにプログラム |
| CN105389320A (zh) * | 2014-08-21 | 2016-03-09 | 富士胶片株式会社 | 相似图像检索装置、以及相似图像检索装置的工作方法 |
-
2000
- 2000-02-02 JP JP2000025628A patent/JP2001216317A/ja not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005311971A (ja) * | 2004-04-26 | 2005-11-04 | Mitsutoyo Corp | 画像処理装置及び方法並びにプログラム |
| US7515764B2 (en) | 2004-04-26 | 2009-04-07 | Mitutoyo Corporation | Image processing apparatus using morphology |
| CN105389320A (zh) * | 2014-08-21 | 2016-03-09 | 富士胶片株式会社 | 相似图像检索装置、以及相似图像检索装置的工作方法 |
| CN105389320B (zh) * | 2014-08-21 | 2020-04-14 | 富士胶片株式会社 | 相似图像检索装置及其工作方法以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5236785B2 (ja) | カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム | |
| Feixas et al. | A unified information-theoretic framework for viewpoint selection and mesh saliency | |
| KR100263808B1 (ko) | 후보테이블을이용하여분류를행하는패턴인식장치및방법 | |
| JP2001202523A (ja) | 画像処理方法及びその装置 | |
| JPWO2009072466A1 (ja) | 画像分類装置および画像分類プログラム | |
| EP1390912A2 (en) | A method for representing and comparing digital images | |
| US11822595B2 (en) | Incremental agglomerative clustering of digital images | |
| JP2002288687A (ja) | 特徴量算出装置および方法 | |
| CN111460910A (zh) | 人脸脸型的分类方法、装置、终端设备及存储介质 | |
| CN109087344B (zh) | 三维重建中的图像选择方法及装置 | |
| JP6387026B2 (ja) | 書籍探索装置、方法及びプログラム | |
| Chen et al. | Computing wasserstein-p distance between images with linear cost | |
| JP5862243B2 (ja) | 情報処理装置、及びその制御方法、プログラム | |
| JP2001216317A (ja) | 画像処理装置およびその方法 | |
| JP5408241B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JPH09114846A (ja) | ブラウジング表示方法および画像表示システム | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| JPH10289320A (ja) | 候補テーブルを用いて分類を行うパターン認識装置および方法 | |
| Zandifar et al. | Multi-level fast multipole method for thin plate spline evaluation | |
| US8606494B2 (en) | Map generation apparatus, map generation method and computer readable medium | |
| CN109272013B (zh) | 基于学习的相似性度量方法 | |
| JP6387028B2 (ja) | 探索書籍表示装置、方法及びプログラム | |
| Liang et al. | Free form shape representation using nurbs modeling | |
| CN111651623B (zh) | 高精度人脸表情库的构建方法、装置、设备及存储介质 | |
| US20030084036A1 (en) | Similar data retrieval apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070403 |