JP2005010931A

JP2005010931A - 画像データの類似検索装置および該類似検索装置における類似判定方法

Info

Publication number: JP2005010931A
Application number: JP2003172217A
Authority: JP
Inventors: Yasuo Yamane; 康男山根
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-06-17
Filing date: 2003-06-17
Publication date: 2005-01-13

Abstract

【課題】類似検索の精度を向上させる類似検索方法および類似検索装置を提供する。
【解決手段】特徴項目として選択される色の類似性を反映させた線形独立なベクトルを作成し、その線形独立なベクトルを並べた行列を用いて画像データの類似性を、ベクトル間距離によって判定することにより、より人間の感覚を反映させた類似検索を行うことが可能となる画像データの類似検索方法および類似検索装置を提供する。従って、類似検索の精度を向上させることができる。本類似検索方法は、静止画に限らず、動画データにも適用可能である。
【選択図】図９

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを類似検索する類似検索装置に関する。
【０００２】
【従来の技術】
ディジタルカメラ、スキャナなどの普及やインターネットのブロードバンド化に伴い、画像データが急速に作成、蓄積されつつある。これに伴い、大量のデータの中から所望のデータを検索する技術への期待が高まっている。
【０００３】
従来、データベースに蓄積されたデータから所望の画像データを検索する場合、
データベースに画像データを蓄積する際に、その画像データの特徴を表すキーワード等を登録しておき、検索する際入力されたキーワードに合致するあるいは類似する画像データが検索結果として出力される。
【０００４】
しかし、近年の画像データの急増により、すべての画像データにキーワードを付けることは難しい。また作業者の主観によりキーワードが付けられるため、そのデータの特徴を正しく表現していない可能性があり、その場合検索者が所望する画像とは異なる画像データが検索の結果として出力されてしまう。
【０００５】
そこで、キーワードによる検索ではなく、画像データそのものを使用し、その画像データに類似するデータを検索する類似検索が注目されている。例えば、ハンドバッグが写っている写真を入力することにより、データベースに格納された画像データの中からハンドバッグが写っている画像データが検索結果として出力されたり、指紋の画像データを入力することにより、データベースに格納された画像データの中からその指紋に類似する指紋の画像データが検索結果として出力される。
【０００６】
従来の類似検索では、データベースに画像データを蓄積する際に、画像データの特徴が複数の項目に分類され、項目ごとの特徴量によって数値化（ベクトル化）して登録される。例えば、画像データの特徴を色で分類する場合、画像データに含まれる各色の割合によりその画像データを特徴付ける。
【０００７】
検索する際に入力される画像データの特徴も同様に数値化（ベクトル化）し、データベースに蓄積された各画像データのベクトルと入力された画像データのベクトル間の距離を画像データの類似性の判定に用い、データベースの中から類似すると判定された画像データが検索結果として出力される。
【０００８】
図１は、従来の類似検索において、画像データの特徴をベクトル化する場合の例を説明する図である。図１の例においては、すべての画像データの特徴を赤、赤橙、緑の３色で分類しようとするものである。すなわち、画像データに含まれる３色の割合を数値化することで、すべての画像データをベクトル化する。
【０００９】
なお、簡単化のために、画像データをピクセル（画素）単位で分類するものとし、どのピクセルも３色のうちのいずれかの色に属するものとする。図１に描かれているのは、特徴を表す項目数に対応する互いに直交する３次元の座標である。画像データをこの３次元空間の点として、つまりベクトルとして表す。
【００１０】
ｘ、ｙ、ｚ座標軸は、それぞれ特徴項目である赤、赤橙、緑の３色に対応し、各座標の数値は、その座標に対応する色が画像データに含まれる割合を示す。例えば、点Ａ（０．７、０．２、０．１）は、赤が全ピクセルの７０％、赤橙が２０％、緑が１０％を占める画像データを示す点（ベクトル）である。
【００１１】
点Ａと同じように、画像データが赤１色である場合、赤橙１色である場合、緑１色である場合それぞれ、点Ｂ（１，０，０）、点Ｃ（０，１，０）、点Ｄ（０，０，１）と表される。ここで３次元空間の２点間Ｘ＝（ｘ_１，ｘ_２，ｘ_３）、Ｙ＝（ｙ_１，ｙ_２，ｙ_３）の距離ｄ（Ｘ，Ｙ）を次式で定義すると、
【００１２】
【数１】

【００１３】
ＢＣ間の距離ｄ（Ｂ，Ｃ）とＢＤ間の距離ｄ（Ｂ，Ｄ）はそれぞれ、
【００１４】
【数２】

【００１５】
となる。点Ｂから見て、点Ｃと点Ｄは同じ距離にある。
【００１６】
よって、図１の３次元空間を使用して類似検索を行うと、赤１色のみ画像データに類似する画像データとして、赤橙１色のみの画像データと緑１色の画像データが結果として出力される可能性がある。しかしながら、人間の感覚から言えば、赤１色のみの画像データに対して、赤橙と緑の画像データが同程度に類似するという結果は受け入れがたく、従来の方法は、検索者が所望する画像データではない画像データが検索結果として出力される可能性が高い、つまり類似検索の精度としては低いものであった。
【００１７】
これは、特徴を表す項目を直交する座標軸に単純に対応させるためである。このため、その項目間の類似性が直交座標軸の持つ直交性によって失われ、上記のように人間の感覚から見て類似とみなせない画像データが、同じ距離となるようなベクトルとして表現されてしまう。
【００１８】
項目間に類似性があるとは、上記例の赤と赤橙のように項目同士に類似性や相関性のある場合である。逆に項目間が独立であるとは、例えば、物体の特徴を縦、横、高さで表す場合、縦が何センチであるかは、横が何センチであるかに関係ない場合である。つまり、特徴を表す項目同士が互いに依存しない関係であるものを指す。
【００１９】
また、類似度を数値化する例として、非特許文献１には、２つのヒストグラムの類似度をさまざまな距離関数によって数値化することが提案されているが、いずれも項目間の類似性を反映させる方法が具体的に示されたものではない。
【００２０】
【非特許文献１】ＭｉｃｈａｅｌＳ．Ｌｅｗ；ＰｒｉｎｃｉｌｐｅｓｏｆＶｉｓｕａｌＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ；Ｓｐｒｉｎｇｅｒ，２００１
【００２１】
【発明が解決しようとする課題】
このように従来の画像データの類似検索は、特徴を表す項目として複数の色を使用し、その複数の色同士に類似性があること、またその特徴を表す項目を単純に直交座標に対応させて各画像データの特徴をベクトル化し、類似判定を行っていること、この２点が類似検索の精度を落とす原因となっていた。
【００２２】
そこで本発明の目的は、画像データの特徴を表す項目として複数の色を使用し、その複数の色同士の類似性を反映させた、より人間の感覚に近い座標軸を作成し、その座標軸に対応する座標空間上の距離により類似判定を行うことで類似検索の精度をあげることができる類似検索装置を提供することにある。
【００２３】
【課題を解決するための手段】
上記目的は、複数の画像データのそれぞれに対して、前記画像データのピクセルが複数の色によって分類される第一のステップと、前記色ごとのピクセル数を全ピクセル数で除算して各色の割合が算出される第二のステップと、前記割合を並べたベクトルが変換行列によって特徴ベクトルに変換される第三のステップとを有し、前記特徴ベクトルが該画像データごとに対応付けられて予め蓄積装置に蓄積され、前記蓄積装置と接続された類似検索装置に、検索対象として画像データが入力され、前記検索対象として入力された画像データに対して、前記第一のステップから前記第三のステップが行われ、該検索対象として入力された画像データの特徴ベクトルが生成され、該検索対象として入力された画像データの特徴ベクトルである第一の特徴ベクトルと、前記蓄積装置に蓄積された特徴ベクトルから選択された特徴ベクトルである第二の特徴ベクトルの距離を算出し、前記距離の大小により、前記第一の特徴ベクトルに対応する、検索対象として入力された画像データと、前記第二の特徴ベクトルに対応付けられた画像データの類似性が判定され、前記蓄積装置に蓄積された複数の画像データに対応付けられた複数の特徴ベクトルに対して前記類似判定を行うことで、前記蓄積装置に蓄積された複数の画像データから、検索対象として入力された画像データに類似する画像データを検索する類似画像検索方法において、前記変換行列は、線形独立な複数の列ベクトルであって、少なくとも１組の直交しない列ベクトルを含む複数の列ベクトルを、前記色の数だけ横に並べて作成される行列であることを特徴とする、請求項１に記載の類似画像検索方法を提供することにより達成される。
【００２４】
また上記目的は、請求項１において、前記複数の列ベクトルは、前記複数の色同士の類似性を反映させるように作成されることを特徴とする、請求項２に記載の類似画像検索方法を提供することにより達成される。
【００２５】
また上記目的は、請求項２において、前記複数の色は、色相環に表される色から選択され、前記複数の色同士の類似性は、前記色相環に表される色が２次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする、請求項３に記載の類似画像検索方法を提供することにより達成される。
【００２６】
また上記目的は、予め画像データと該画像データに対する第一の特徴ベクトルが対応付けられ複数蓄積された画像データベースと、検索対象の画像データが入力される画像入力部と、入力された画像データを第二の特徴ベクトルに対応させる特徴抽出部と、入力された画像データが蓄積された画像データと類似するかを前記第一の特徴ベクトルと前記第二の特徴ベクトルの距離により判定する類似判定部と、情報を格納する記憶部とを備え、前記記憶部は、線形独立な複数の列ベクトルであって、少なくとも１組の直交しない列ベクトルを含む複数の列ベクトルを前記色の数だけ横に並べた変換行列を含み、前記特徴抽出部は、画像データのピクセルを複数の色によって分類し、色ごとのピクセル数を全ピクセル数で除算して各色の割合を画像データごとに算出し、前記割合を並べてベクトルとし、前記変換行列により前記ベクトルを変換することを特徴とする、請求項４に記載の類似画像検索装置を提供することにより達成される。
【００２７】
また上記目的は、請求項４において、前記複数の列ベクトルは、前記複数の色同士の類似性を反映させるように作成されることを特徴とする、請求項５に記載の類似画像検索装置を提供することにより達成される。
【００２８】
また上記目的は、請求項５において、前記複数の色は、色相環に表される色から選択され、前記複数の色同士の類似性は、前記色相環に表される色が２次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする、請求項６に記載の類似画像検索装置を提供することにより達成される。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面に従って説明する。しかしながら、本発明の技術的範囲はかかる実施の形態に限定されるものではない。
【００３０】
本発明の実施形態を説明する前に、空間上での点、ベクトル、ベクトルの線形独立性について説明する。空間上での点の座標は、原点からのベクトルと捉えることができる。従来の類似検索においては、画像データの特徴を表すｎ個の項目にｎ個の正規直交ベクトルを対応させ、各項目の特徴量を掛け合わせて、ｎ次元空間座標として各画像データを表現するものであった。
【００３１】
ｎ個の正規直交ベクトルとは、ｎ行ｎ列の対角線上に１を配置し、残りの要素がすべて０である行列（ｎ次元単位行列）の各列ベクトルを指す。正規とはベクトルの大きさが１であることを意味し、ベクトルの直交性は、任意の正規直交ベクトル同士の内積が０であることを意味する。
【００３２】
例えば、特徴を表す項目数が３で、各特徴項目の特徴量がｘ_１、ｘ_２、ｘ_３であるとすれば、互いに直交する３つの正規直交ベクトルに特徴量をかけてできる点（ベクトル）がその画像データの座標である。
【００３３】
【数３】

【００３４】
ここで、各正規直交ベクトルを
【００３５】
【数４】

【００３６】
とおく。ところが、
【００３７】
【数５】

【００３８】
の直交性により、類似検索の精度が落ちていることは従来の技術に述べた通りである。
【００３９】
そこで本発明では、
【００４０】
【数６】

【００４１】
に変えて直交ベクトルではない（すなわち、いくつかのベクトル同士が直交していてもよいが、直交しないベクトルの組が必ず存在する）新たな３つの列ベクトル
【００４２】
【数７】

【００４３】
を用いて画像データを表す。一般に項目数がｎ個であれば、ｎ個の列ベクトル
【００４４】
【数８】

【００４５】
を特徴と表す項目に対応させる。
【００４６】
本発明の類似検索方法は、この３つ（一般にはｎ個）の列ベクトルを作成する際に、項目同士の類似性を反映させることで、より人間の感覚を反映した類似検索を行うことを可能にするものである。列ベクトル
【００４７】
【数９】

【００４８】
の行数は何行でもよく、例えばｍ行１列であるとすれば、新たな列ベクトルによって表される画像データは、ｍ次元空間上の点となる。
【００４９】
【数１０】

【００５０】
変換後の点
【００５１】
【数１１】

【００５２】
と変換前の点
【００５３】
【数１２】

【００５４】
が１対１に対応する必要がある。変換前と変換後の点の対応が多対１の関係では、変換前の座標空間において異なる２点が変換後の座標空間において距離０となる恐れがあり、変換前の特徴量が意味をなさなくなる。
【００５５】
この問題は、ｎ個の列ベクトル
【００５６】
【数１３】

【００５７】
が線形独立であれば回避される。一般にｎ個の列ベクトルが線形独立であるとは、次式が成立することをいう。
【００５８】
【数１４】

【００５９】
以上を踏まえて本発明の実施形態を説明する。本発明の実施形態は、画像データの特徴を表す項目として複数の色を使用し、その複数の色同士の類似性を反映させた線形独立な複数のベクトルを作成し、各画像データを複数のベクトルに対応する座標空間上の点（ベクトル）として表し、ベクトル同士の距離により類似性を判定するものである。ただし、複数のベクトルは、必ず直交しないベクトルの組を含むものとする。さらに複数の色が、色相環に表される色である場合と、マンセルの色立体に表される色である場合の例を説明する。
【００６０】
図２は、本発明の類似検索方法を行うための類似検索システムの全体構成を示す図である。画像入力装置１は、スキャナーやデジタルカメラである。画像入力装置１により取り込まれた画像データが類似検索処理装置２に送信される。
【００６１】
類似検索処理装置２は、入力された画像データの特徴を表すために設定された項目ごとの特徴量を算出し、類似検索処理装置２に蓄積された変換行列により別のベクトルに変換し、変換後のベクトル（以降本明細書においては変換行列による変換後のベクトルを特徴ベクトルと呼ぶ）をデータベース４に蓄積する処理と、検索対象として入力された画像データから特徴ベクトルを作成し、データベースに蓄積された各画像データの特徴ベクトルとの距離により類似性を判定する処理を行う。画像データの特徴を表す項目としては、例えば、色を使用し、画像データを構成する最小単位であるピクセルが属する色を決定し、色ごとにヒストグラムとして表せばその画像データの特徴を表すことが可能である。
【００６２】
データベース４は、類似検索処理装置２に接続され、画像データ５や画像データごとの特徴ベクトルを格納する特徴ベクトル表６を含む。類似と判定された後の処理はさまざまあってよいが、一例としては、類似と判定された画像データの一覧を類似検索処理装置に備えられたＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）等の出力装置に表示する。また、類似検索の結果が、ネットワークを介して接続された端末に送信されてもよい。
【００６３】
なお、類似検索処理装置２に入力される画像は、ネットワーク５を介して類似検索処理装置２と接続された端末３に備えられた画像入力装置１にて入力されてもよい。これは、データベース４に蓄積される画像データでも、検索対象の画像データであっても構わない。
【００６４】
図３は、類似検索処理装置２の構成例を示す図である。ＣＰＵ１１は類似検索処理装置２における制御を実行する。ＣＰＵ１１は、入力された画像データを特徴ベクトルに対応させる特徴抽出部として、また入力された画像データが蓄積された画像データと類似するかを前記特徴ベクトルの距離により判定する類似判定部としても機能する。
【００６５】
記憶装置１２は、メモリやハードディスクで実現され、ＣＰＵ１１を制御する為の制御プログラムや制御プログラム実行時の作業データ、変換行列を含む記憶部として機能する。通信インタフェース１３は、ネットワークと接続するためのインタフェースを備え、ネットワーク５を介して接続される端末３等とのデータ送受信を可能にする。
【００６６】
入力装置１４は、キーボードやマウス等であり、利用者が各種命令やデータの入力に使用する。出力装置１５は、液晶モニタやＣＲＴ等であり、利用者に制御装置の制御結果等を表示する。周辺機器インタフェース１６は、プリンタ、スキャナ、デジタルカメラ等の周辺機器を類似検索処理装置２に接続するためのインタフェースを備え、ケーブル等を介して接続される周辺機器とのデータ送受信を可能にし、検索対象の画像データが入力される画像入力部として機能する。
【００６７】
なお、ネットワークを介して端末から画像データが入力される場合は、通信インタフェースが画像入力部として機能する。そして、これらの装置が信号線１７により互いに接続される。
【００６８】
図４は、類似検索に使用するデータベースに画像データを蓄積する処理を説明するフローチャートである。まず、画像データが入力される（Ｓ１）。画像データは、図２の画像入力装置１を介して類似検索処理装置２へ入力され、データベース４に蓄積される。
【００６９】
そして、入力された画像データから特徴項目ごとの特徴量を抽出する（Ｓ２）。上述したように、色による分類等が考えられる。そして、変換行列により特徴ベクトルに変換する（Ｓ３）。
【００７０】
変換行列は、図３の記憶装置１２に蓄積されている。変換行列の作成法については後述する。そして、同じく後述するようにこの変換行列によって変換された特徴ベクトルは、特徴項目ごとの類似性が反映されたベクトルである。そして、ステップＳ３で算出された特徴ベクトルを、その画像データと対応付けてデータベースに蓄積し、データベースへの蓄積処理は終了する。
【００７１】
図５は、図４の処理によって蓄積装置に蓄積される、画像データの特徴をベクトル化して格納する表のデータ構成例である。基になるデータは、デジタルカメラやスキャナー等の画像入力装置１から取り込んだ画像データである。
【００７２】
図５では、画像データが識別子５１により管理され、識別子５１により特定される画像データの変換後のｍ次元ベクトル（ｍは自然数）が識別子毎に格納される。図５の要素５２である
【００７３】
【数１５】

【００７４】
は、従来の技術の記述に合わせたものであり、実際は変換行列により変換後の特徴ベクトルの次元数分の要素５２が格納される。なお、図５の例では、本体の画像データはこの表とは別に管理されるが、同一の表により管理することも可能である。
【００７５】
図６は、類似検索装置２を使用して類似検索を行う際の処理を説明するフローチャートである。本発明の実施形態においては、ｎ色を用いて画像データを分類するものとする。すると、ｎ色に対応するｎ個の数値が特徴量として算出される。このｎ色に対応して、ｎ色の類似性を反映させたｎ個の線形独立な列ベクトルに基づく変換行列が類似検索装置２に格納されており、ｎ個の数値を持つ特徴量（ベクトル）とこの変換行列の積によって別のベクトルへ変換する。
【００７６】
こうして、類似検索処理装置は予めデータベースに画像データと対応する特徴ベクトルを蓄積しておく。そして、検索対象の画像データが入力されると、類似検索処理装置は、検索対象の画像データから特徴ベクトルを作成し、データベースに蓄積された画像データの特徴ベクトルのうち、検索対象の画像データの特徴ベクトルと所定の距離以下になるものがあるかを判定し、所定の距離以下であれば類似と判定する。所定の距離は、類似の精度に依存して決定されるものであり、管理者が自由に変更可能である。
【００７７】
まず、検索対象の画像データが入力される（Ｓ１）。画像データは、図２の画像入力装置１を介して類似検索処理装置２へ入力される。そして、入力された画像データから特徴項目ごとの特徴量を抽出する（Ｓ２）。本実施形態においては、色による分類を行う。そして、変換行列により特徴ベクトルに変換する（Ｓ３）。
【００７８】
以上ステップＳ３までの処理は、図４の処理と同じである。次に、データベースに蓄積された特徴ベクトルを読み出し（Ｓ１１）、その特徴ベクトルと検索対象の画像データの特徴ベクトルとの距離を算出する（Ｓ１２）。ｎ次元のベクトル
【００７９】
【数１６】

【００８０】
とした時、ベクトル間の距離
【００８１】
【数１７】

【００８２】
を
【００８３】
【数１８】

【００８４】
により算出することができる。
【００８５】
ステップＳ１２で算出された距離が画像データ間の類似性を示す指標である。従って、所定の値が類似検索の厳密性を左右する。つまり、所定の値を小さくすれば、類似と判定される画像データは少なくなり、所定の値を大きくすれば基準が緩和され、類似と判定される画像データは多くなる。
【００８６】
この所定の値は、類似検索処理装置を管理する者が自由に決定できる。例えば、図２の記憶装置１２に初期パラメータとして格納し、本処理の開始時に自動的に読み込まれるように設定しておくことが可能である。
【００８７】
そして、ステップＳ１２で算出された距離が所定の値以下であるかを判定する（Ｓ１３）。ステップＳ１３で所定の距離以下である場合、ステップＳ１１で読み出された特徴ベクトルに対応する画像データが、ステップＳ１で入力された検索対象の画像データと類似すると判定される（Ｓ１４）。
【００８８】
ステップＳ１３で所定の距離を越える場合、類似とは判定されず、ステップＳ１４は省略される。ステップＳ１４が済むと、データベースに蓄積されたすべての特徴ベクトルについて判定が完了したかを判定する（Ｓ１５）。まだ、データベースにステップＳ１３の判定が済んでいない特徴ベクトルが残されていれば（ステップＳ１５でＮｏの場合）、ステップＳ１１に戻り処理を続ける。
【００８９】
データベースに格納されたすべての特徴ベクトルについて判定が完了したら（ステップＳ１５でＹｅｓの場合）、ステップＳ１４で類似と判定された特徴ベクトルに対応する画像データを出力する（Ｓ１６）。ステップＳ１６では、類似検索処理装置２に備えられた出力装置に類似検索結果が表示される。また、ネットワーク５を介して類似検索結果が端末３に送信され、端末３にて表示される、あるいは端末３にて更なる処理に使用されてもよい。
【００９０】
続いて、図４や図６の処理において、画像データから抽出されたｎ個の特徴項目に対応する特徴量（ベクトル）を変換する際に使用される変換行列を作成する方法の例を説明する。変換行列は、ｎ個の線形独立なベクトルを並べたものであり、行列の作成は、ｎ個の線形独立なベクトルの作成と置き換えることができる。
【００９１】
画像データの特徴を表すｎ個の特徴項目としては、さまざまな要素を選択することができるが、まず一例として、色相環に表される色を特徴項目として全ての画像データを分類する場合に、色相環に表される色の類似性を反映させたｎ個の線形独立なベクトルを作成する方法を説明する。
【００９２】
図７は、本実施形態で用いる１２色の色相環を示す図である。色相環とは、ある色に対し向かい合う位置に、補色と呼ばれるその色と性格が正反対の色が配置され、ある色に隣接する色は、隣接色と呼ばれる色の性格が互いに類似する色を配置し、全体で環状になるように配置された色のことである。図７では、黄６１から反時計回りに黄橙６２、赤橙６３、赤６４、赤紫６５、紫６６、青紫６７、青６８、緑青６９、青緑７０、緑７１、黄緑７２の１２色が配置される。
【００９３】
本実施形態では、画像データの各ピクセルが色相環に表された赤、赤橙、緑のいずれに該当するか決定し、各色ごとのピクセル数をその画像データの総ピクセル数で割ることにより求めた、その画像データに含まれる３色の割合によってすべての画像データを分類する場合を説明する。
【００９４】
図８は、図７の色相環に表される色を円周を１２個に等分割する点に対応させた図である。色の関係を数式的に説明するために２次元座標を導入する。図８では、半径１の円の中心をＯ、中心Ｏを通り、黄と青紫に対応する位置を結ぶ軸をｘ軸、中心Ｏを通り、赤と青緑に対応する位置を結ぶ軸をｙ軸とする。
【００９５】
各色に対応する点を原点Ｏからのベクトルとして表すものとし、黄を
【００９６】
【数１９】

【００９７】
として黄から反時計回りに各点を
【００９８】
【数２０】

【００９９】
で表すとすると、円周（３６０度＝２πラジアン）を１２分割しているため、各点
【０１００】
【数２１】

【０１０１】
は、
【０１０２】
【数２２】

【０１０３】
と表せる。ここで、
【０１０４】
【数２３】

【０１０５】
は、ベクトルの転置を表す。つまり、
【０１０６】
【数２４】

【０１０７】
が２行１列の列ベクトルであることを意味する。
【０１０８】
色相環の各点を式（２）のように表すことで、次の２つのことを確認できる。一般にｎ次元のベクトル
【０１０９】
【数２５】

【０１１０】
を
【０１１１】
【数２６】

【０１１２】
で定義したとき、
【０１１３】
【数２７】

【０１１４】
が成立する。前者は、補色の関係にある点の位置が最も遠い位置にあり（円周上の２点間の距離は、直径が最も遠い距離である）、後者は、類似色同士の距離がすべて等しいことを意味する。
【０１１５】
こうして、式（２）により表される各点は、色相環の性質を良く表したものとなっている。本実施形態においては、まず一例として、赤、赤橙、緑の３色を用いてすべての画像データを分類するものとする。この色相環の性質に近似する３個の線形独立なベクトルが必要になる。
【０１１６】
その一例となるベクトル
【０１１７】
【数２８】

【０１１８】
は、
【０１１９】
【数２９】

【０１２０】
である。ただし、ｕ（≠０）は任意の実数とする。今列ベクトル
【０１２１】
【数３０】

【０１２２】
を横に並べてできる５行３列の行列をＦとおく。
【０１２３】
【数３１】

【０１２４】
は赤橙を表す
【０１２５】
【数３２】

【０１２６】
に、
【０１２７】
【数３３】

【０１２８】
は赤を表す
【０１２９】
【数３４】

【０１３０】
に、
【０１３１】
【数３５】

【０１３２】
は緑を表す
【０１３３】
【数３６】

【０１３４】
にそれぞれ対応する。
【０１３５】
行列Ｆは以下のようにして作成される。まず、特徴項目が図８に表される色相環の赤橙、赤、緑なので、それぞれ図８において３色に対応するベクトル
【０１３６】
【数３７】

【０１３７】
を行列Ｆの２行目までに配置する。すると以下のようになる。ＮＡは未定値である。
【０１３８】
【数３８】

【０１３９】
次に、上記未定値で埋められた箇所に対応する３行３列の対角線に０でない実数であるｕを、それ以外の要素を０とすれば行列Ｆが完成する。こうして作成された列ベクトル
【０１４０】
【数３９】

【０１４１】
は、正規直交ベクトルを使用する従来と異なり、座標空間において、赤と赤橙との距離が、赤と緑との距離よりも短くなっている。
【０１４２】
これは以下により確認できる。
【０１４３】
【数４０】

【０１４４】
また、列ベクトル
【０１４５】
【数４１】

【０１４６】
は、線形独立なベクトルである。これは以下により確認できる。
【０１４７】
【数４２】

【０１４８】
を仮定する。すると、
【０１４９】
【数４３】

【０１５０】
が成立する。ｕ≠０であることから、上記仮定の下で、
【０１５１】
【数４４】

【０１５２】
となることが容易に確認できる。よって、列ベクトル
【０１５３】
【数４５】

【０１５４】
は、線形独立なベクトルである。また、ベクトルの内積を＊で表すとすると、
【０１５５】
【数４６】

【０１５６】
であって、０でないことから、
【０１５７】
【数４７】

【０１５８】
は直交しない。
【０１５９】
こうして作成された行列Ｆの各列ベクトルを、それぞれ赤橙、赤、緑に対応させ、画像データに含まれる各色の割合を掛けることで、５行１列の列ベクトルに変換される。
【０１６０】
例えば、赤が全ピクセルの７０％、赤橙が２０％、緑が１０％を占める画像データの場合、
【０１６１】
【数４８】

【０１６２】
それぞれ対応することから、変換後の画像データは、
【０１６３】
【数４９】

【０１６４】
で表される。以上に述べたように、３色の割合によって表される画像データの特徴を５次元の列ベクトルに変換し、この５次元空間上の点ベクトルの距離を比較することにより類似性を判定することで、より人間の感覚を反映させた類似検索を行うことができ、結果として類似検索の精度を向上させることが可能になる。
【０１６５】
上記実施形態は、特徴項目数が赤、赤橙、緑の３色であったため、図８に配置された１２個の点のうち３点のみを使用したが、一般に１２色から何色選択しても行列Ｆを作成することが可能である。例えば、ｎ色（ｎは１２までの自然数）である場合、その色に対応する列ベクトル
【０１６６】
【数５０】

【０１６７】
をｎ個横に並べて、その下に、ｎ行ｎ列の対角線上にｕ（≠０）を配置し、残りの要素を０にした行列を作成すればよい。すると、（ｎ＋２）行ｎ列の行列Ｆができる。
【０１６８】
【数５１】

【０１６９】
例えば、１２色すべてを使用した場合は、
【０１７０】
【数５２】

【０１７１】
こうして作成された行列Ｆの各列ベクトル
【０１７２】
【数５３】

【０１７３】
という性質を持つ。前者は、１２次元空間上でも補色の関係にある点の位置は、他のどの２点間の距離よりも距離が遠くなっていることを意味し、後者は、値が添え字ｉに依存しないことから、１２次元空間上でも隣接色の距離が互いに等しいことを意味する。つまり、２次元空間での色相環の性質を継承している。
【０１７４】
また、色同士の類似性も反映されている。例えば、
【０１７５】
【数５４】

【０１７６】
は、それぞれ
【０１７７】
【数５５】

【０１７８】
となり、赤と赤橙の距離
【０１７９】
【数５６】

【０１８０】
の方が、赤と緑の距離
【０１８１】
【数５７】

【０１８２】
よりも短く、人間の感覚を反映したものであることになる。
【０１８３】
次に、１２個の列ベクトルの線形独立性を調べる。
【０１８４】
【数５８】

【０１８５】
が線形独立かを調べるには、
【０１８６】
【数５９】

【０１８７】
が成立すればよい。今、上記仮定により、行列の３行目以下を見れば、
【０１８８】
【数６０】

【０１８９】
が成立する。ｕ≠０であることから、上記仮定の下で、
【０１９０】
【数６１】

【０１９１】
となることが容易に確認できる。従ってこの１２個の列ベクトルは線形独立である。
【０１９２】
またｕを調整することにより、類似検索の精度を調整することが可能となる。ｕの値を限りなくゼロに近づけることは、１２次元空間の各点の性質を限りなく２次元の色相環の性質に近づけるものとなる。しかし一方で、ｕの値を限りなくゼロに近づけることは線形独立性を失わせることになる。よって、線形独立性を失わせなることなく、また、２次元の色相環の性質との誤差が許容される範囲でｕの値を調整することができる。
【０１９３】
こうして、２次元平面状の色相環として表される色を１２次元空間上の点ベクトルに対応させることにより、各色の類似性を反映させた座標軸を設定することができ、これにより類似検索の結果がより人間の感覚を反映させたものが出力され、類似検索の精度を高めることが可能となる。
【０１９４】
なお、式（２）の列ベクトル
【０１９５】
【数６２】

【０１９６】
は１２色の色相環に対するものであるが、一般にｎ色（ｎは自然数）にまで拡張することが可能である。その場合、色相環の各点を
【０１９７】
【数６３】

【０１９８】
と表し、式（２）の行列の例と同じく、２行目までを上記式によるベクトル、残りのｎ行ｎ列の対角線上にｕ（≠０）となる要素を配置したｎ行（ｎ＋２）列の行列の各列ベクトルを対応させることで、一般のｎ色の色相環に対応させることができる。
【０１９９】
図９は、以上の処理を一般化したフローチャートである。まず、画像データの特徴を表す項目として使用する色を色相環から選択する（Ｓ２１）。例えば、ｎ色の色相環から色数ｓとして、ｓ色選択する。色相環の色に番号付けをすることで、色番号集合
【０２００】
【数６４】

【０２０１】
ができる。例えば、１２色相環から、赤、赤橙、緑を選択すれば、黄色が色番号１であり、
【０２０２】
【数６５】

【０２０３】
となる。
【０２０４】
次に、色相環に表される色に対応する２次元ベクトルを決定する（Ｓ２２）。ｎ色の色相環であれば、
【０２０５】
【数６６】

【０２０６】
と一般的に表すことができる。そして、その２次元ベクトルと対角行列を組み合わせて変換行列Ｆを作成する（Ｓ２３）。変換行列Ｆは、一例として、
【０２０７】
【数６７】

【０２０８】
という（ｓ＋２）行ｓ列で作成する。ただし、Ｕは、
【０２０９】
【数６８】

【０２１０】
で、対角要素のみがｕ（≠０）であるｓ行ｓ列の正方行列である。
【０２１１】
こうして、図９のフローチャートに従って、２次元平面状にｎ色の色相環として表される色から任意のｓ色を選択し、ｓ次元空間上の点ベクトルに対応させることにより、各色の類似性を反映させた座標軸を設定することができ、これにより類似検索の結果がより人間の感覚を反映させたものが出力され、類似検索の精度を高めることが可能となる。
【０２１２】
次に、マンセルの色立体に表される色を特徴項目としてすべての画像データを分類する場合に本発明の類似検索方法を適用する場合の例について説明する。
【０２１３】
図１０は、マンセルの色立体を説明する図である。マンセルの色立体は、色合いを表す色相、明るさを示す明度、鮮やかさを示す彩度を立体的に配置したものである。図１０Ａにあるように、縦軸方向に明度８１、縦軸からの距離として彩度８２、明度を固定してできる円周方向に色相８３が決定される。色立体の外側に近づくにつれ、彩度は高く、色はより鮮やかになり、色立体の内側に近づくにつれ、彩度は低く、色はより淡くなる。
【０２１４】
明度が高い色は明るさが増し、より縦軸の上側に配置される。明度を上げていくと白くなり、明度を下げていくと黒くなる。図１０Ｂは、以上のような特徴を踏まえ実際に色を配置した例である。図１０Ｂにおいて、明度、彩度を固定した際にできる色相は、図７のような色相環となる。
【０２１５】
図１１は、マンセルの色立体に表される色の関係を数式的に説明するために３次元座標を導入した図である。マンセルの色立体に表される色は、図１１の球内の点に対応させることができる。また、図１１において、ｘｙ平面に平行に球を切った切り口は、図８のような１２色の色相環であるとする。
【０２１６】
図１１には、明度０の赤橙と、明度ｈの赤と、明度−ｈの緑が描かれている。まず、図１１に描かれる３個の点に対応する色によりすべての画像データを分類する場合の変換行列の作成方法について説明する。
【０２１７】
図１２は、マンセルの色立体に表される色を特徴項目として使用する場合の変換行列を作成する処理を説明するフローチャートである。処理内容は、図９の色相環の処理と共通するステップは、そちらを引用する。
【０２１８】
まず、画像データの特徴を表す項目として使用する色を色立体から選択する（Ｓ３１）。これは、図９における色相環からの色の選択処理と同じである。図９と同様に色数をｓとすれば、本実施形態ではｓ＝３である。ここでは、図１１に示された明度の異なる３色（赤、赤橙、緑）を使用する。
【０２１９】
次に、色立体に表される色に対応する３次元ベクトルを決定する（Ｓ３２）。ステップＳ３２で決定される３次元ベクトルを、
【０２２０】
【数６９】

【０２２１】
とする。色相環は２次元ベクトルとして表されたが、色立体では３次元ベクトルとなる。例えば、ステップＳ３１で選択された３色の場合、赤は
【０２２２】
【数７０】、

【０２２３】
赤橙は
【０２２４】
【数７１】、

【０２２５】
緑は
【０２２６】
【数７２】

【０２２７】
で表される。ただし、
【０２２８】
【数７３】、

【０２２９】
Ｒは球の半径、ｈは赤の明度、−ｈは緑の明度である。赤橙の明度は０である。
【０２３０】
そして、その３次元ベクトルと対角行列を組み合わせて変換行列Ｆを作成する（Ｓ３３）。変換行列Ｆは、一例として、
【０２３１】
【数７４】

【０２３２】
という（ｓ＋３）行ｓ列で作成する。ただし、本実施形態ではｓ＝３である。Ｕは、
【０２３３】
【数７５】

【０２３４】
で、対角要素のみがｕ（≠０）であるｓ行ｓ列の正方行列である。
【０２３５】
次に、３個の列ベクトルの線形独立性を調べる。
【０２３６】
【数７６】

【０２３７】
が線形独立かを調べるには、
【０２３８】
【数７７】

【０２３９】
が成立すればよい。今、上記仮定により、行列の４行目以下を見れば、
【０２４０】
【数７８】

【０２４１】
が成立する。ｕ≠０であることから、上記仮定の下で、
【０２４２】
【数７９】

【０２４３】
となることが容易に確認できる。従ってこの３個の列ベクトルは線形独立である。
【０２４４】
なおここでは、３色の例で説明したが、図１２の処理は、色立体から任意のｓ色を選択した場合にも適用が可能である。その場合ステップＳ２で選択された色に対応する３次元ベクトルを
【０２４５】
【数８０】

【０２４６】
とすればよい。また、無彩色であっても、３次元ベクトルで表すことができるため、任意のｓ色には無彩色が含まれていても構わない。
【０２４７】
こうしてできたｓ個の線形独立なベクトルは次のような性質を持つ。ｘｙ平面に平行な面で球を切った時にできる平面上にある点に対応するベクトルの中で補色の関係にある色に対応するベクトル同士の距離は、その平面上にある他の点に対応するベクトル同士の距離よりも長い。また、ｘｙ平面に平行な面で球を切った時にできる平面上にある点に対応するベクトル同士の距離の関係は、ｘｙ平面に平行な面で球を切った時にできる平面上にある点同士の関係と同じである。
【０２４８】
またｕを調整することにより、類似検索の精度を調整することが可能となる。ｕの値を限りなくゼロに近づけることは、ｓ次元空間の各点の性質を限りなく２次元の色相環の性質に近づけるものとなる。しかし一方で、ｕの値を限りなくゼロに近づけることは線形独立性を失わせることになる。よって、線形独立性を失わせなることなく、また、２次元の色相環の性質との誤差が許容される範囲でｕの値を調整することができる。
【０２４９】
こうして３次元球状の色立体の点として表される色をｓ次元空間上の点ベクトル（ｓ個の列ベクトル）に対応させることにより、各色の類似性を反映させた座標軸を設定することができ、これにより類似検索の結果がより人間の感覚を反映させたものが出力され、類似検索の精度を高めることが可能となる。
【０２５０】
次に、マンセルの色立体に表される色を特徴項目としてすべての画像データを分類する場合に本発明の類似検索方法を適用する場合の別の例について説明する。
本変形例においては、マンセルの色立体からの色の選択の仕方に一定の制約がある。
【０２５１】
図１３は、本変形例の処理を説明するフローチャートである。まずは、選択される色に無彩色が含まれない場合を説明する。まず、画像データの特徴を表す項目として使用する色を色相環から選択し、明度、彩度を変更し、数種類のパターンを作成する（Ｓ４１）。
【０２５２】
ここでは、明度０の色相から選択する色数ｓと明度数ｌ、彩度数ｍを決定する。明度数分の明度を集めた明度の集合ｈとして
【０２５３】
【数８１】

【０２５４】
、同様に彩度の集合ｂとして
【０２５５】
【数８２】

【０２５６】
ができる。明度は高さに対応し、彩度は、明度を固定してできる最大の色相環（最も外側の円）の半径を何倍するかという倍率である。従って、明度を固定してできる最大の色相環の半径に彩度を掛ければ、その色のｚ軸からの距離が求まる。
【０２５７】
図１４は、本変形例にて使用される色を球状の点として配置した図である。色数が４、明度が３、彩度が２とした例である。また、
【０２５８】
【数８３】

【０２５９】
となっている例である。ここでは、色数ｓが決まると円をｓ等分する点の色が自動的に選択されたものとし、基準となる色は、例えば図８の黄色とする。
【０２６０】
従って、１２色の色相環で色数４と決まれば、基準となる黄色から順に、黄、赤、青紫、青緑が選択される。基準となる色は黄色以外でも構わない。ちなみに、円をｓ等分する点の色を自動的に選択する場合、色数ｓとして選択可能な数は、ｎ色の色相環の場合、ｎの約数となる。
【０２６１】
図１４では、全部で２９個の点が描かれている。明度０においては、黄１０９、赤１１０、青紫１１１、青緑１１２と、内側の円に彩度の異なる黄１１３、赤１１４、青紫１１５、青緑１１６が存在する。同様に、明度、彩度の異なる黄、赤、青紫、青緑がそれぞれ存在する。
【０２６２】
図１３に戻り説明を続ける。色相環から選択された色数次元の巡回行列を、彩度数と明度数の積の分作成する（Ｓ４２）。巡回行列とは、ある列ベクトルの要素を１つずつずらした列ベクトルを配置した行列である。つまり、列ベクトルの要素がｓ個あれば、
【０２６３】
【数８４】

【０２６４】
というｓ行ｓ列の形式である。巡回行列は、列ベクトル同士が等距離にあり、従って、各列ベクトルを円周を色数ｓで分割した点（ベクトル）に対応させると、色相環上の色の対応をよく表すことになる。
【０２６５】
ここでは、巡回行列Ｓとして、半環状巡回行列を作成する。半環状巡回行列とは、各列にｓが奇数であれば、（ｓ＋１）／２個の、ｓが偶数であればｓ／２個の０を含むものである。そして、色相環の特徴として、補色の関係にある点同士の距離が直径に等しいという条件を課すことにより、色数が４である場合の巡回行列Ｓの一例として、
【０２６６】
【数８５】

【０２６７】
とすることができる。そして、この基本となる巡回行列Ｓの各要素に、明度を固定した際にできる同心円の半径と彩度を掛けることによって、色相環から選択された色数次元の巡回行列が彩度数と明度数の積の分作成される。
【０２６８】
次に、その巡回行列と、明度と、対角行列を組み合わせて変換行列Ｆを作成する（Ｓ４３）。今、色数ｓ、明度数ｌ、彩度数ｍを掛けた数をｔとおくと、変換行列Ｆを次のように一般化して作成できる。
【０２６９】
【数８６】

【０２７０】
ただし、Ｓはｓ行ｓ列の行列、
【０２７１】
【数８７】

【０２７２】
の１行ｍ列のベクトルである。また、Ｕは、
【０２７３】
【数８８】

【０２７４】
で、ｔ行ｔ列の正方行列である。
【０２７５】
変換行列Ｆの各列ベクトルが線形独立となるのは、対角行列Ｕの存在から明らかであり、また巡回行列Ｓの作成の際、色立体上の色の類似性を反映させていることから、変換行列Ｆの各列ベクトルを色立体上の点に対応させることにより、これにより類似検索の結果がより人間の感覚を反映させたものが出力され、類似検索の精度を高めることが可能となる。
【０２７６】
なおステップＳ４２で用いる巡回行列の別の例として、相反環状行列を用いることもできる。相反環状行列とは、ｓ行ｓ列の巡回行列Ｓ
【０２７７】
【数８９】

【０２７８】
において、さらに要素が
【０２７９】
【数９０】

【０２８０】
なる関係を満たす列ベクトル（基準ベクトルと呼ぶ）が存在するものである。ただし、ｓが偶数の場合
【０２８１】
【数９１】

【０２８２】
、ｓが奇数の場合
【０２８３】
【数９２】

【０２８４】
である。色数が４の相反環状行列の一例として、
【０２８５】
【数９３】

【０２８６】
とすることができる。この行列Ｓでは、第一列目が基準ベクトルである。そして隣接する左右の列ベクトルにおいて、行要素が１つずつ縦にずれている。
【０２８７】
次に、選択される色に無彩色が含まれる場合について説明する。この場合は、ステップＳ４３で作成される変換行列Ｆに、無彩色に対応するｌ＋２個の要素を追加し、追加した要素に合わせて対角行列となるように対角行列Ｕを調整してやればよい。すなわち、一般化すれば、
【０２８８】
【数９４】

【０２８９】
という（ｗ＋ｓ＋１）行ｗ列の行列となる。ただし、
【０２９０】
【数９５】

【０２９１】
、Ｓはｓ行ｓ列の行列であり、有彩色の場合と同様、半環状行列、相反巡回行列等の巡回行列が使用される。
【０２９２】
【数９６】

【０２９３】
は１行ｍ列のベクトルである。また、Ｕは、
【０２９４】
【数９７】

【０２９５】
となる、ｗ行ｗ列の正方行列である。
【０２９６】
無彩色の場合の行列Ｆには、各明度に対応する位置の無彩色に対応する列ベクトルに加えて、両極、つまり白と黒に対応する列ベクトルが追加されている。無彩色を考慮した場合であっても、変換行列Ｆの各列ベクトルは線形独立となる。これは、対角行列Ｕの存在から明らかである。
【０２９７】
また巡回行列Ｓの作成の際、色立体上の色の類似性を反映させていることから、変換行列Ｆの各列ベクトルを色立体上の点に対応させると、類似検索の結果がより人間の感覚を反映させたものが出力されることになる。これにより、類似検索の精度を高めることが可能となる。
【０２９８】
図１３のフローチャートにより作成される変換行列Ｆの具体例として、図１４に表された色数４、明度数３、彩度数２の２４色に加え、明度数３に対応する３つの無彩色、それに両極である白、黒（ともに無彩色）を加えた２９色による変換行列Ｆの例を示しておく。作成される変換行列Ｆは、
【０２９９】
【数９８】

【０３００】
であるため、（ｗ＋ｓ＋１）行ｗ列、つまり３４行２９列の行列となる。
【０３０１】
列数が大きいため、１６列目で分けて書くと、
【０３０２】
【数９９】

【０３０３】
となる。ただし、
【０３０４】
【数１００】

【０３０５】
はｉ行ｉ列の対角行列である。Ｏは、すべての要素が０であるゼロ行列である。１６列目までに対応するＯは、１３行１６列、１７行目以降に対応するＯは、１６行１３列である。
【０３０６】
以上説明したように本発明によれば、特徴項目として選択される色の類似性を反映させた線形独立なベクトルを作成し、その線形独立なベクトルを並べた行列を用いて画像データの類似性を、ベクトル間距離によって判定することにより、より人間の感覚を反映させた類似検索を行うことが可能となる。従って、類似検索の精度を向上させることができる。なお本発明の画像データの類似検索方法は、静止画に限らず、動画データにも適用可能である。
【０３０７】
本発明の画像データの類似検索方法は、例えば、電子ショッピング、不正画像検出、図面検索、衛星画像による遠隔探査、医療画像検索等において、検索者の所望する画像データを大量のデータの中からの検索することに適用が可能である。
【０３０８】
以上、実施の形態例をまとめると以下の付記の通りである。
【０３０９】
（付記１）複数の画像データのそれぞれに対して、前記画像データのピクセルが複数の色によって分類される第一のステップと、前記色ごとのピクセル数を全ピクセル数で除算して各色の割合が算出される第二のステップと、前記割合を並べたベクトルが変換行列によって特徴ベクトルに変換される第三のステップとを有し、前記特徴ベクトルが該画像データごとに対応付けられて予め蓄積装置に蓄積され、前記蓄積装置と接続された類似検索装置に、検索対象として画像データが入力され、前記検索対象として入力された画像データに対して、前記第一のステップから前記第三のステップが行われ、該検索対象として入力された画像データの特徴ベクトルが生成され、該検索対象として入力された画像データの特徴ベクトルである第一の特徴ベクトルと、前記蓄積装置に蓄積された特徴ベクトルから選択された特徴ベクトルである第二の特徴ベクトルの距離を算出し、前記距離が所定の値以下である場合、前記第一の特徴ベクトルに対応する、検索対象として入力された画像データと、前記第二の特徴ベクトルに対応付けられた画像データが類似すると判定され、前記蓄積装置に蓄積された複数の画像データに対応付けられた複数の特徴ベクトルに対して前記類似判定を行うことで、前記蓄積装置に蓄積された複数の画像データから、検索対象として入力された画像データに類似する画像データを検索する類似画像検索方法において、前記変換行列は、線形独立な複数の列ベクトルであって、少なくとも１組の直交しない列ベクトルを含む複数の列ベクトルを、前記色の数だけ横に並べて作成される行列であることを特徴とする類似画像検索方法。
【０３１０】
（付記２）付記１において、
前記複数の列ベクトルは、前記複数の色同士の類似性を反映させるように作成されることを特徴とする類似画像検索方法。
【０３１１】
（付記３）付記２において、
前記複数の色は、色相環に表される色から選択され、前記複数の色同士の類似性は、前記色相環に表される色が２次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする類似画像検索方法。
【０３１２】
（付記４）付記３において、前記変換行列は、
【０３１３】
【数１０１】

【０３１４】
であり、ただし、ｓは前記選択された色の数を表し、Ｕは、ｓ行ｓ列の行列で、
【０３１５】
【数１０２】

【０３１６】
を満たし、また
【０３１７】
【数１０３】

【０３１８】
は、それぞれ前記色相環に表される色が２次元座標空間に配置された点に対応する２行１列のベクトルを表すことを特徴とする類似画像検索方法。
【０３１９】
（付記５）付記２において、前記複数の色は、色立体に表される色から選択され、前記複数の色同士の類似性は、前記色立体に表される色が３次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする類似画像検索方法。
【０３２０】
（付記６）付記５において、前記変換行列は、
【０３２１】
【数１０４】

【０３２２】
であり、ただし、ｓは前記選択された色の数を表し、Ｕは、ｓ行ｓ列の行列で、
【０３２３】
【数１０５】

【０３２４】
を満たし、また
【０３２５】
【数１０６】

【０３２６】
は、それぞれ前記色立体に表される色が３次元座標空間に配置された点に対応する３行１列のベクトルを表すことを特徴とする類似画像検索方法。
【０３２７】
（付記７）付記５において、前記複数の色は、色立体にて明度および彩度を固定してできる色相環から選択された第一の個数分の色、該第一の個数分の色の明度を第二の個数段階、彩度を第三の個数段階変化させてできる、計第一の個数および第二の個数および第三の個数の積の分の色であり、前記変換行列は、ｓ行ｓ列の巡回行列の各要素に、対応する係数を掛けたものをｍ個列方向に並べたブロックをｌ個列方向に並べてできる部分と、１行ｍ列のブロックをｌ個列方向に並べてできる部分と、ｓ行ｓ・ｍ・ｌ列（ただし・は積を表す）の対角行列部分を含んでなる
【０３２８】
【数１０７】

【０３２９】
であり、ただし、ｓは前記第一の個数数を表し、ｌは前記第二の個数を表し、ｍは前記第三の個数を表し、Ｕは、ｓ・ｍ・ｌ行ｓ・ｍ・ｌ列の行列で、
【０３３０】
【数１０８】

【０３３１】
を満たし、
【０３３２】
【数１０９】

【０３３３】
は、前記第二の個数分の明度を表し、
【０３３４】
【数１１０】

【０３３５】
であり、Ｒは色立体を表す球の半径であり、
【０３３６】
【数１１１】

【０３３７】
は、前記第三の個数分の彩度を表し、
【０３３８】
【数１１２】

【０３３９】
の１行ｍ列のベクトルを表し、Ｓは、ｓ行ｓ列の巡回行列で、各列ベクトルが前記色相環から選択された第一の個数分の色に対応し、前記色相環にて補色の関係にある色に対応する列ベクトルの距離が色立体を表す球の直径となる条件を満たすことを特徴とする類似画像検索方法。
【０３４０】
（付記８）付記７において、前記複数の色は、さらに無彩色を含み、前記変換行列は、
【０３４１】
【数１１３】

【０３４２】
であり、ただし、Ｕは、
【０３４３】
【数１１４】

【０３４４】
を満たす（ｓ・ｍ・ｌ＋ｌ＋２）行（ｓ・ｍ・ｌ＋ｌ＋２）列の行列である
ことを特徴とする類似画像検索方法。
【０３４５】
（付記９）予め画像データと該画像データに対する第一の特徴ベクトルが対応付けられ複数蓄積された画像データベースと、検索対象の画像データが入力される画像入力部と、入力された画像データを第二の特徴ベクトルに対応させる特徴抽出部と、入力された画像データが蓄積された画像データと類似するかを前記第一の特徴ベクトルと前記第二の特徴ベクトルの距離により判定する類似判定部と、情報を格納する記憶部とを備え、前記記憶部は、線形独立な複数の列ベクトルであって、少なくとも１組の直交しない列ベクトルを含む複数の列ベクトルを前記色の数だけ横に並べた変換行列を含み、前記特徴抽出部は、画像データのピクセルを複数の色によって分類し、色ごとのピクセル数を全ピクセル数で除算して各色の割合を画像データごとに算出し、前記割合を並べてベクトルとし、前記変換行列により前記ベクトルを変換することを特徴とする類似画像検索装置。
【０３４６】
（付記１０）付記９において、前記複数の列ベクトルは、前記複数の色同士の類似性を反映させるように作成されることを特徴とする類似画像検索装置。
【０３４７】
（付記１１）付記１０において、前記複数の色は、色相環に表される色から選択され、前記複数の色同士の類似性は、前記色相環に表される色が２次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする類似画像検索装置。
【０３４８】
（付記１２）付記１１において、前記変換行列は、
【０３４９】
【数１１５】

【０３５０】
であり、ただし、ｓは前記選択された色の数を表し、Ｕは、ｓ行ｓ列の行列で、
【０３５１】
【数１１６】

【０３５２】
を満たし、また
【０３５３】
【数１１７】

【０３５４】
は、それぞれ前記色相環に表される色が２次元座標空間に配置された点に対応する２行１列のベクトルを表すことを特徴とする類似画像検索装置。
【０３５５】
（付記１３）付記１０において、前記複数の色は、色立体に表される色から選択され、前記複数の色同士の類似性は、前記色立体に表される色が３次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする類似画像検索装置。
【０３５６】
（付記１４）付記１３において、前記変換行列は、
【０３５７】
【数１１８】

【０３５８】
であり、ただし、ｓは前記選択された色の数を表し、Ｕは、ｓ行ｓ列の行列で、
【０３５９】
【数１１９】

【０３６０】
を満たし、また
【０３６１】
【数１２０】

【０３６２】
は、それぞれ前記色立体に表される色が３次元座標空間に配置された点に対応する３行１列のベクトルを表すことを特徴とする類似画像検索装置。
【０３６３】
（付記１５）付記１３において、前記複数の色は、色立体にて明度および彩度を固定してできる色相環から選択された第一の個数分の色、該第一の個数分の色の明度を第二の個数段階、彩度を第三の個数段階変化させてできる、計第一の個数および第二の個数および第三の個数の積の分の色であり、前記変換行列は、ｓ行ｓ列の巡回行列の各要素に、対応する係数を掛けたものをｍ個列方向に並べたブロックをｌ個列方向に並べてできる部分と、１行ｍ列のブロックをｌ個列方向に並べてできる部分と、ｓ行ｓ・ｍ・ｌ列（ただし・は積を表す）の対角行列部分を含んでなる
【０３６４】
【数１２１】

【０３６５】
であり、ただし、ｓは前記第一の個数数を表し、ｌは前記第二の個数を表し、ｍは前記第三の個数を表し、Ｕは、ｓ・ｍ・ｌ行ｓ・ｍ・ｌ列の行列で、
【０３６６】
【数１２２】

【０３６７】
を満たし、
【０３６８】
【数１２３】

【０３６９】
は、前記第二の個数分の明度を表し、
【０３７０】
【数１２４】

【０３７１】
であり、Ｒは色立体を表す球の半径であり、
【０３７２】
【数１２５】

【０３７３】
は、前記第三の個数分の彩度を表し、
【０３７４】
【数１２６】

【０３７５】
の１行ｍ列のベクトルを表し、Ｓは、ｓ行ｓ列の巡回行列で、各列ベクトルが前記色相環から選択された第一の個数分の色に対応し、前記色相環にて補色の関係にある色に対応する列ベクトルの距離が色立体を表す球の直径となる条件を満たすことを特徴とする類似画像検索装置。
【０３７６】
（付記１６）付記１５において、前記複数の色は、さらに無彩色を含み、前記変換行列は、
【０３７７】
【数１２７】

【０３７８】
であり、ただし、Ｕは、
【０３７９】
【数１２８】

【０３８０】
を満たす（ｓ・ｍ・ｌ＋ｌ＋２）行（ｓ・ｍ・ｌ＋ｌ＋２）列の行列であることを特徴とする類似画像検索装置。
【０３８１】
【発明の効果】
以上説明したように本発明によれば、特徴項目として選択される色の類似性を反映させた線形独立なベクトルを作成し、その線形独立なベクトルを並べた行列を用いて画像データの類似性を、ベクトル間距離によって判定することにより、より人間の感覚を反映させた類似検索を行うことが可能となる。従って、類似検索の精度を向上させることができる。なお本発明の画像データの類似検索方法は、静止画に限らず、動画データにも適用可能である。
【０３８２】
本発明の画像データの類似検索方法は、例えば、電子ショッピング、不正画像検出、図面検索、衛星画像による遠隔探査、医療画像検索等において、検索者の所望する画像データを大量のデータの中からの検索することに適用が可能であり、これらの分野におけるいっそうのサービス向上に貢献することが可能である。
【図面の簡単な説明】
【図１】従来の類似検索において、画像データの特徴をベクトル化する場合の例を説明する図である。
【図２】本発明の類似検索方法を行うための類似検索システムの全体構成を示す図である。
【図３】類似検索処理装置の構成例を示す図である。
【図４】類似検索に使用するデータベースに画像データを蓄積する処理を説明するフローチャートである。
【図５】蓄積装置に蓄積される、画像データの特徴をベクトル化して格納する表のデータ構成例である。
【図６】類似検索装置を使用して類似検索を行う際の処理を説明するフローチャートである。
【図７】本実施形態で用いる色相環を示す図である。
【図８】色相環に表される色を円周を１２個に等分割する点に対応させた図である。
【図９】色相環に表される色を特徴項目として使用する場合の変換行列を作成する処理を説明するフローチャートである。
【図１０】本実施形態で用いるマンセルの色立体を説明する図である。
【図１１】マンセルの色立体に表される色の関係を数式的に説明するために３次元座標を導入した図である。
【図１２】マンセルの色立体に表される色を特徴項目として使用する場合の変換行列を作成する処理を説明するフローチャートである。
【図１３】マンセルの色立体に表される色を特徴項目として使用する場合の変換行列を作成する処理の変形例を説明するフローチャートである。
【図１４】変形例にて使用される色を球状の点として配置した図である。
【符号の説明】
１画像入力装置、２類似検索処置装置、３端末、４データベース、５画像データ、６特徴ベクトル表、７ネットワーク

Claims

複数の画像データのそれぞれに対して、前記画像データのピクセルが複数の色によって分類される第一のステップと、前記色ごとのピクセル数を全ピクセル数で除算して各色の割合が算出される第二のステップと、前記割合を並べたベクトルが変換行列によって特徴ベクトルに変換される第三のステップとを有し、前記特徴ベクトルが該画像データごとに対応付けられて予め蓄積装置に蓄積され、
前記蓄積装置と接続された類似検索装置に、検索対象として画像データが入力され、
前記検索対象として入力された画像データに対して、前記第一のステップから前記第三のステップが行われ、該検索対象として入力された画像データの特徴ベクトルが生成され、
該検索対象として入力された画像データの特徴ベクトルである第一の特徴ベクトルと、前記蓄積装置に蓄積された特徴ベクトルから選択された特徴ベクトルである第二の特徴ベクトルの距離を算出し、
前記距離の大小により、前記第一の特徴ベクトルに対応する、検索対象として入力された画像データと、前記第二の特徴ベクトルに対応付けられた画像データの類似性が判定され、
前記蓄積装置に蓄積された複数の画像データに対応付けられた複数の特徴ベクトルに対して前記類似判定を行うことで、前記蓄積装置に蓄積された複数の画像データから、検索対象として入力された画像データに類似する画像データを検索する類似画像検索方法において、
前記変換行列は、線形独立な複数の列ベクトルであって、少なくとも１組の直交しない列ベクトルを含む複数の列ベクトルを、前記色の数だけ横に並べて作成される行列であることを特徴とする類似画像検索方法。
請求項１において、
前記複数の列ベクトルは、前記複数の色同士の類似性を反映させるように作成されることを特徴とする類似画像検索方法。
請求項２において、
前記複数の色は、色相環に表される色から選択され、
前記複数の色同士の類似性は、前記色相環に表される色が２次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする類似画像検索方法。
予め画像データと該画像データに対する第一の特徴ベクトルが対応付けられ複数蓄積された画像データベースと、
検索対象の画像データが入力される画像入力部と、
入力された画像データを第二の特徴ベクトルに対応させる特徴抽出部と、
入力された画像データが蓄積された画像データと類似するかを前記第一の特徴ベクトルと前記第二の特徴ベクトルの距離により判定する類似判定部と、
情報を格納する記憶部とを備え、
前記記憶部は、線形独立な複数の列ベクトルであって、少なくとも１組の直交しない列ベクトルを含む複数の列ベクトルを前記色の数だけ横に並べた変換行列を含み、
前記特徴抽出部は、画像データのピクセルを複数の色によって分類し、色ごとのピクセル数を全ピクセル数で除算して各色の割合を画像データごとに算出し、前記割合を並べてベクトルとし、前記変換行列により前記ベクトルを変換することを特徴とする類似画像検索装置。
請求項４において、
前記複数の列ベクトルは、前記複数の色同士の類似性を反映させるように作成されることを特徴とする類似画像検索装置。
請求項５において、
前記複数の色は、色相環に表される色から選択され、
前記複数の色同士の類似性は、前記色相環に表される色が２次元座標空間に配置された点のうち前記選択された色に対応する点同士の距離に基づいて決定されることを特徴とする類似画像検索装置。