JP2001052024A

JP2001052024A - 類似特徴量の検索方法及び装置及び類似特徴量の検索プログラムを格納した記憶媒体

Info

Publication number: JP2001052024A
Application number: JP11229459A
Authority: JP
Inventors: Hiroki Akama; 浩樹赤間; Fumikazu Konishi; 史和小西; Tadashiro Yoshida; 忠城吉田; Michiyoshi Sato; 路恵佐藤; Kazuyoshi Mitsui; 一能三井; Kazuhiko Kushima; 和彦串間
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-08-13
Filing date: 1999-08-13
Publication date: 2001-02-23

Abstract

(57)【要約】【課題】事前類似計算結果情報が例え、ディスク上に
あろうが、部分的にディスク上に存在するような複雑な
構造を持っていようが、ＤＢ全体の特徴量データ件数が
多かろうが、非常に高速に検索ができる類似特徴量の検
索方法及び装置及び類似特徴量の検索プログラムを格納
した記憶媒体を提供する。【解決手段】本発明は、最近傍検索装置が、必ず、最
近傍を求めるという保証がない場合に、検索キー特徴量
として、データベース内に存在することが分からない特
徴量が与えられた場合、該特徴量に近傍候補の該データ
ベース内の特徴量ｙを最近傍検索装置により検索し、検
索結果の特徴量に対する事前類似計算結果のＩＤ群を求
め、ＩＤ群の中で検索キーに最も近い点ｚを求め、点ｚ
が特徴量ｙと異なる場合に、該点ｚに対する事前類似計
算結果のＩＤ群を求め、ＩＤ群の各ＩＤの特徴量と検索
キーの距離計算を行い、ＩＤ群を距離順に並べ替えたも
のを検索結果として返却する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、類似特徴量の検索
方法及び装置及び類似特徴量の検索プログラムを格納し
た記憶媒体に係り、特に、画像、映像、モーション、音
楽、音声などのマルチメディアデータに対する類似検索
システムの実現や、テキストの類似検索システム、また
は、インターネット上の画像のように、大量でその量が
日々増加するような対象に対し、高速な類似検索を実現
するための類似特徴量の検索方法及び装置及び類似特徴
量の検索プログラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】画像検索、音楽検索等に代表される検索
は、従来のＲＤＢＭＳが対象としてきた一致検索や範囲
検索とは異なり、多次元特徴量（次元数は１以上）の類
似検索である。ここで、一致検索とは、ＤＢ内の列に対
する検索キー値が与えられた時、それと一致する値を持
つ全行、または、行ＩＤを検索結果とする検索をいう。

【０００３】範囲検索とは、ＤＢ内の列に対し、検索キ
ーとしての値と共に、検索条件としての大小関係が与え
られ、その関係を満足する値を持つＤＢ内の全行、また
は、行ＩＤを検索結果とする検索をいう。一方、類似検
索とは、１次元以上の多次元特徴量（一般に単に特徴量
と呼ぶ。複数の数値からなるためベクトルと呼ぶことも
ある）をＤＢ格納の対象とし、検索キーとして与えられ
た特徴量キーに対し、その特徴量間の距離等を計算する
ことにより、類似度を求め、最も類似度の高い順に上位
ｆ（ｘ）件の行を求めるような検索を行う。

【０００４】特徴量としては、画像や音楽等マルチメデ
ィア情報の内容特徴などのこともあるし、地図座標のこ
ともあるし、テキスト内のキーワード重みのこともあ
る。類似検査は、範囲検索の対象を１次元の値から多次
元ベクトル値に拡張した場合に似ているが、その返却値
の考え方が異なり、範囲検索の場合は、範囲条件が明確
に指定され、その条件を満たす行は全て検索結果となる
ものの、類似検索の場合は、一般には、類似度の高い順
に上位ｆ（ｘ）件を繰り返すという指定が用いられる。

【０００５】本明細書においては、上位ｆ（ｘ）件と記
述した場合に、それは抽象化された値を示しており、単
に、利用者が指定した特定の値ｋ、システムが予め持つ
特定の値ｋ、また、最大ｋや最小ｋという解釈、ＤＢ内
の全データ数、利用者または、システムまたは、ＤＢの
状態から得られる情報等から計算によって求められた値
のように、別の手段で計算される閾値ｋでもよい。

【０００６】また、図等で１つのフローチャート内に複
数のｆ（ｘ）という表記があってもそれらは独立な値を
持っても構わない。図１５は、従来の類似検索を説明す
るための図である。この例の特徴量は２次元で、ＤＢ内
には６件の特徴量データが登録されている。利用者から
与えられた検索キー特徴量（０．５，０．６）を入力し
た場合、ＤＢ内の各特徴量とのユークリッド距離を計算
し、その距離の近い順に並べ替え、その中の上位何件か
を検索結果として利用者に返却する。

【０００７】最も単純な類似検索では、検索キー特徴量
とＤＢ内の全特徴量データとの類似度計算が検索実行時
に行われる。ところで、この特徴量が１次元の場合に
は、従来のＲＤＢＭＳの範囲検索で利用されていたよう
な手法（Ｂ＋Ｔｒｅｅ等）を用いることで高速検索が可
能になる。しかし、類似検索では、一般には特徴量は２
以上の次元数となるため、上記の手法は利用できない。
そこで、その高速化のための索引手法には以下のような
手法がある。

【０００８】図１６、図１７は、Ｒ−ｔｒｅｅの例を示
しており、構成される木の各ノードは、どの次元で分割
したかという情報と、その範囲の情報を持つ。各分割
は、その中に含まれる特徴量点の個数が同程度になるよ
うに調整されている。図１８、図１９は、ＰＲ−ｑｕａ
ｄｔｒｅｅの例を示しており、空間は常にＸ−Ｙ平面で
４つに分割され、分割後の領域に指定個数以上の特徴量
点が存在する場合は、さらに４分割が行われていく。

【０００９】それぞれに関し、各種の改良バージョン
（参考:Volker Gaedo, Multidimension Access Method
s）が提案されているが、一般には、大量のデータに対
しても、その木を平衡状態を維持するＲ−ｔｒｅｅ、及
びその改良系が高速性、汎用性に優れている。本明細書
では、これらの多次元空間を分割し木状にした構造を持
つ索引を、木状索引と呼ぶことにする。

【００１０】図２０は、木状索引の構築時の流れ及び、
木状索引を使った類似検索時の流れを示している。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来の木状索引による高速な検索手法は以下のような問題
がある。従来の木状索引手法は、特徴量データ数の増加
に対して、その検索速度の増加を抑えることを主な目的
としている。つまり、特徴量データを木構造で管理する
ことで、特徴量データ間の比較回数をlog のオーダと
し、特徴量データ数の増加に対する検索性能を維持す
る。しかし、これらの従来の木状索引構造は、次元数の
増加に対しては考慮されておらず、例えば、Ｒ−ｔｒｅ
ｅ等では、数次元程度で威力を発揮し、２０次元を越え
るとその性能はかなり悪くなることが知られている。こ
れは、地理情報等、低次元の応用には充分であるが、マ
ルチメディア情報等の高次元の応用には不十分である。

【００１２】また、従来の索引手法は、マンハッタン距
離（市街地距離）やユークリッド距離のように数学的に
距離の公理を満たす単純な類似度基準を想定している。
これらの類似度基準により事前にＤＢ内のデータ間の関
係を各次元軸をもとにクラスタリングした場合には、そ
のクラスタリング結果空間の中で近いデータ同士は、そ
の元となる類似度基準でも近いという性質があり、事前
に木状索引の作成が可能になる。しかし、その類似度基
準が与えられた検索キーデータに依存し、各次元を元に
事前にクラスタリングすることが意味をなさない場合、
例えば、ヒストグラム・インターセクション（参考：Ma
ichael J.Swan, Indexing Via Color Histogram ）や非
対象類似度（参考：赤間、「オブジェクトの類似度算出
方法及び類似オブジェクト検索装置、特願平9-060999）
といった、マルチメディア情報の特徴量に合った複雑な
類似度基準には対応できないという問題がある。

【００１３】なお、本明細書では、距離をより一般化し
た用語として類似度を用いている。また、従来の木状に
構成された索引では、最近傍データを検出するのは容易
である。しかし、一般的な類似検索においては、最も類
似するものだけを検索するに留まらず、似ている順に上
位ｆ（ｘ）件の結果を求めることが多い。その場合、木
状に管理されたデータにおいては、木の枝や葉を順に辿
り、候補の中のデータに関して、再度、類似度の計算を
行う必要がある。また、これは、特徴量データ数が増加
し、データがメモリ上ではなくディスク上にある場合に
は、かなりの速度低下要因となる。

【００１４】また、従来の手法は、平衡状態を維持する
等、アルゴリズムが複雑であり、実装が困難である。本
発明は、上記の点に鑑みなされたもので、事前類似計算
結果情報が例え、ディスク上にあろうが、部分的にディ
スク上に存在するような複雑な構造を持っていようが、
ＤＢ全体の特徴量データ件数が多かろうが、非常に高速
に検索ができる類似特徴量の検索方法及び装置及び類似
特徴量の検索プログラムを格納した記憶媒体を提供する
ことを目的とする。

【００１５】また、検索実行時に次元数に依存する類似
度計算を行うことがないため、次元数の増加に対しても
性能が劣化することが少なく高速な類似特徴量の検索方
法及び装置及び類似特徴量の検索プログラムを格納した
記憶媒体を提供することを目的とする。さらに、索引の
構造の中で距離に依存した部分がなく、特殊な類似性基
準にも対応できる類似特徴量の検索方法及び装置及び類
似特徴量の検索プログラムを格納した記憶媒体を提供す
ることを目的とする。

【００１６】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明（請求項１）は、マル
チメディアデータに対する類似検索システムやテキスト
の類似検索システムに用いられる類似特徴量の検索シス
テムにおいて、予め、データベース内のすべての特徴量
をキーとし、該データベース内における類似計算を行
い、他の特徴量との類似度を計算し、類似度の高い順に
上位ｆ（ｘ）件分のＩＤ情報を、類似度順付きで、必要
によっては、該類似度の値と共に、事前類似計算結果格
納装置に格納しておき、検索キー特徴量としてデータベ
ース内の特徴量が与えられた場合、該検索キー特徴量に
対する事前類似計算結果の上位ｆ（ｘ）件を検索結果と
して返却する類似特徴量の検索方法において、最近傍検
索装置が、必ず、最近傍を求めるという保証がない場合
に、検索キー特徴量として、データベース内に存在する
ことが分からない特徴量が与えられた場合（ステップ
１）、該特徴量に近傍候補の該データベース内の特徴量
ｙを最近傍検索装置により検索し（ステップ２）、検索
結果の特徴量に対する事前類似計算結果のＩＤ群を求め
（ステップ３）、ＩＤ群の中で検索キーに最も近い点ｚ
を求め（ステップ４）、点ｚが特徴量ｙと異なる場合
に、該点ｚに対する事前類似計算結果のＩＤ群を求め
（ステップ５）、ＩＤ群の各ＩＤの特徴量と検索キーの
距離計算を行い（ステップ６）、ＩＤ群を距離順に並べ
替えたものを検索結果として返却する（ステップ７）。

【００１７】本発明（請求項２）は、追加する特徴量ａ
が与えられた場合に、該特徴量ａの上位ｆ（ｋ）件の近
傍特徴量のＩＤ群を求め、ＩＤ群に対し、特徴量ａから
の距離順に並べた事前類似計算結果を事前類似計算結果
格納装置に登録し、ＩＤ群の各ＩＤをＡ_i（１≦ｉ≦ｆ
（ｋ））としたとき、特徴量ａと各Ａ_iの特徴量の距離
に基づいて各Ａ_iの事前類似計算結果に該特徴量ａを挿
入し、上位ｆ（ｋ）件に調整したものを各Ａ_iの新たな
事前類似計算結果とし、事前類似計算結果格納装置に登
録する。

【００１８】本発明（請求項３）は、事前類似計算結果
格納装置において、特徴量を圧縮して格納する。図２
は、本発明の原理構成図である。本発明（請求項４）
は、マルチメディアデータに対する類似検索システムや
テキストの類似検索システムに用いられる類似特徴量の
検索システムにおいて、特徴量をキーとするデータベー
ス１０と、該データベース１０内における類似計算を行
い、他の特徴量との類似度を計算する類似計算手段２０
と、類似度の高い順に上位ｆ（ｘ）件分のＩＤ情報を、
類似度順付きで、必要によっては、該類似度の値と共に
格納する事前類似計算結果格納手段３０と、検索キー特
徴量としてデータベース１０内の特徴量が与えられた場
合、該検索キー特徴量に対する、特徴量を有する事前類
似計算結果を検索結果として返却する事前類似計算結果
検索手段４０とを有する類似特徴量の検索装置であっ
て、必ず、最近傍を求めるという保証がない場合に、検
索キー特徴量として、データベース１０内に存在するこ
とが分からない特徴量が与えられた場合、該特徴量に近
傍候補の該データベース１０内の特徴量ｙを検索する手
段と、検索結果の特徴量に対する事前類似計算結果のＩ
Ｄ群を求める手段と、ＩＤ群の中で検索キーに最も近い
点ｚを求める手段と、点ｚが特徴量ｙと異なる場合に、
該点ｚに対する事前類似計算結果のＩＤ群を求める手段
と、ＩＤ群の各ＩＤの特徴量と検索キーの距離計算を行
う手段と、ＩＤ群を距離順に並べ替えたものを検索結果
として返却する手段とを有する最近傍検索手段７０を有
する。

【００１９】本発明（請求項５）は、追加する特徴量ａ
が与えられた場合に、該特徴量ａの上位ｆ（ｋ）件の近
傍特徴量のＩＤ群を求める手段と、ＩＤ群に対し、特徴
量ａからの距離順に並べた事前類似計算結果を事前類似
計算結果格納手段に登録する手段と、ＩＤ群の各ＩＤを
Ａ_i（１≦ｉ≦ｆ（ｋ））としたとき、特徴量ａと各Ａ
_iの特徴量の距離に基づいて各Ａ_iの事前類似計算結果
に該特徴量ａを挿入し、上位ｆ（ｋ）件に調整したもの
を各Ａ_iの新たな事前類似計算結果とし、事前類似計算
結果格納手段３０に登録する手段とを有する。

【００２０】本発明（請求項６）は、事前類似計算結果
格納手段３０において、圧縮された特徴量を格納する。
本発明（請求項７）は、マルチメディアデータに対する
類似検索システムやテキストの類似検索システムに用い
られる類似特徴量の検索システムにおいて、特徴量をキ
ーとするデータベース内における類似計算を行い、他の
特徴量との類似度を計算する類似計算プロセスと、類似
度の高い順に上位ｆ（ｘ）件分のＩＤ情報を、類似度順
付きで、必要によっては、該類似度の値と共に記憶媒体
に格納する事前類似計算結果格納プロセスと、検索キー
特徴量として該データベース内の特徴量が与えられた場
合、該検索キー特徴量に対する、特徴量を有する事前類
似計算結果を検索結果として返却する事前類似計算結果
検索プロセスとを有する類似特徴量の検索プログラムを
格納した記憶媒体であって、必ず、最近傍を求めるとい
う保証がない場合に、検索キー特徴量として、データベ
ース内に存在することが分からない特徴量が与えられた
場合、該特徴量に近傍候補の該データベース内の特徴量
ｙを検索するプロセスと、検索結果の特徴量に対する事
前類似計算結果のＩＤ群を求めるプロセスと、ＩＤ群の
中で検索キーに最も近い点ｚを求めるプロセスと、点ｚ
が特徴量ｙと異なる場合に、該点ｚに対する事前類似計
算結果のＩＤ群を求めるプロセスと、ＩＤ群の各ＩＤの
特徴量と検索キーの距離計算を行うプロセスと、ＩＤ群
を距離順に並べ替えたものを検索結果として返却するプ
ロセスとを有する最近傍検索プロセスを有する。

【００２１】本発明（請求項８）は、追加する特徴量ａ
が与えられた場合に、該特徴量ａの上位ｆ（ｋ）件の近
傍特徴量のＩＤ群を求めるプロセスと、ＩＤ群に対し、
特徴量ａからの距離順に並べた事前類似計算結果を記憶
媒体に登録するプロセスと、ＩＤ群の各ＩＤをＡ_i（１
≦ｉ≦ｆ（ｋ））としたとき、特徴量ａと各Ａ_iの特徴
量の距離に基づいて各Ａ_iの事前類似計算結果に該特徴
量ａを挿入し、上位ｆ（ｋ）件に調整したものを各Ａ_i
の新たな事前類似計算結果とし、記憶手段に登録するプ
ロセスとを有する。

【００２２】本発明（請求項９）は、事前類似計算結果
格納プロセスは、圧縮された特徴量を記憶媒体に格納す
る。上記のように、本発明は、特願平１０−２０３５８
３をベースに構築されており、特願平１０−２０３５８
３に外部キーの検索機能及びデータ追加を行うことを主
旨するとするものである。

【００２３】本発明では、外部キー（データベース外特
徴量）の検索時において、距離を再計算して並べ替える
機能と、外部キーの検索時において、距離を再計算し、
最近傍を見つけて事前計算結果を参照する機能と、追加
データの動的挿入を行う機能を有することにより、近傍
検索と組み合わせた高速な類似検索が可能となる。ま
た、本発明では、追加データのある場合においても事前
類似計算結果を索引として利用することが可能となる。

【００２４】また、事前類似計算結果を圧縮して保持す
る機能も含む。事前類似計算結果中に各ＩＤの特徴量を
有することができるが、特徴量データが高次元の場合に
は、記憶域の負担となるため、当該特徴量を圧縮して格
納することにより、少ない記憶域で事前類似計算結果中
に特徴量を保持することが可能となり、事前類似計算結
果中の各ＩＤの特徴量が存在すると、特徴量参照のため
の計算または、入出力コストを削減することが可能とな
るため、距離の再計算が高速になる。

【００２５】

【発明の実施の形態】以下の説明において、特徴量デー
タをデータベース内に存在する特徴量（これをデータベ
ース内特徴量と呼ぶ）と、データベース内に存在しない
特徴量（これをデータベース外特徴量と呼ぶ）の２種類
に分けて考える。例えば、類似画像検索システムにおい
て、データベース外特徴量を検索キーとして利用する例
としては、スケッチ入力画像を検索キーとする場合や、
ディジタルカメラ画像を検索キーとする場合がある。

【００２６】一方、データベース内部特徴量にＩＤを検
索キーとして利用する例としては、システムが利用者に
ランダムに提示した画像を検索キーとする場合や、キー
ワード検索等の他の手法で検索した画像を検索キーとす
る場合や、一度検索した結果を利用してナビゲーション
的に繰り返し検索する場合等がある。類似検索の索引の
処理を、検索キー特徴量に最も類似する特徴量を求める
処理の最近傍検索と、最近傍検索で求めた特徴量から順
に近い特徴量を求めていく近傍順検索の２つの処理を分
けて考えると、データベース外特徴量を検索キーとする
類似検索では、最近傍検索と近傍順検索の両方が必要で
あり、データベース内特徴量のＩＤを検索キーとする類
似検索では、近傍順検索のみ必要である。なお、検索キ
ーとしてデータベース内特徴量そのものが与えられた場
合においても、一致検索によってデータベース内特徴量
ＩＤに変換することが可能であるため、最近傍検索は必
要ない。

【００２７】本発明では、主に、近傍順検索の処理部分
の高速化を対象とする。図３は、本発明の類似特徴量検
索装置の構成を示す。同図に示す類似特徴量検索装置
は、データベース１０、類似計算部２０、事前類似計算
結果格納部３０、検索部４０、検索キー入力部５０、特
徴量種別判定部５５、出力部６０、最近傍検索部７０、
追加特徴量データ管理部８０、マージ部９０から構成さ
れる。これらの構成は、特願平１０−２０３５８３の構
成と同様であるが、最近傍検索部７０において、検索キ
ー特徴量としてデータベース１０内に存在することが分
からない特徴量が与えられた場合、該特徴量に最も類似
するデータベース内の特徴量を最近傍検索装置により検
索する機能と、検索結果の特徴量に対する事前類似計算
結果のＩＤ群を求め、該ＩＤ群の各ＩＤの特徴量と検索
キーの距離計算を行う機能と、ＩＤ群を距離順に並べ替
える機能を有する。

【００２８】データベース１０は、全ての特徴量をキー
として、ＩＤ情報及びデータと共に格納する。類似計算
部２０は、データベース１０内における類似計算を行
い、他の特徴量との類似度を計算し、類似度の高い順に
上位ｆ（ｘ）件分のＩＤ情報に類似度順を付与してデー
タベース１０に事前類似計算結果格納部３０に格納す
る。必要によっては、当該類似度の値と共に、事前類似
計算結果格納部３０に格納する。

【００２９】事前類似計算結果格納部３０は、類似計算
部２０により求められた類似計算結果として、類似度
順、類似度が付与されたＩＤ情報に加えて、各ＩＤの特
徴量を圧縮して格納する。これにより、少ない記憶域で
すむ。検索部４０は、検索キー入力部５０により与えら
れた検索キー特徴量として特徴量が与えられると、事前
類似計算結果格納部３０を検索して、上位ｆ（ｘ）件を
検索結果として出力部６０より出力する。

【００３０】検索キー入力部５０は、検索キー特徴量と
して特徴量を入力する。特徴量種別判定部５５は、検索
キー入力部５０から入力された特徴量がデータベース１
０にあるか、データベース１０外にあるかを判定する。
出力部６０は、検索部４０、最近傍検索部７０及びマー
ジ部８０で求められた検索結果を出力する。

【００３１】最近傍検索部７０は、検索キー特徴量とし
て検索キー入力部５０からデータベース１０内に存在す
るか否かが分からない特徴量が与えられた場合には、そ
れに最も類似するデータベース内の特徴量をＲ−ｔｒｅ
ｅ等を用いて検索し、その結果の特徴量に対する事前類
似計算結果を事前類似計算結果格納部３０から検索し
て、上位ｆ（ｘ）件分のＩＤ群を求め、その各ＩＤの特
徴量と検索キーの距離計算を行い、ＩＤ群を距離順に並
べ替えたものを検索結果として出力部６０より主力す
る。

【００３２】また、当該最近傍検索部７０は、必ず最近
傍を求めるという保証がない場合で、検索キー特徴量と
してデータベース１０内に存在することが分からない特
徴量が与えられた場合、それに近傍候補のデータベース
１０内の特徴量ｙを検索し、その結果の特徴量に対する
事前類似計算結果のＩＤ群を求め、そのＩＤ群の中で検
索キーに最も近い点ｚを求め、それが近傍候補ｙと異な
る場合に、ｚに対する事前類似計算結果のＩＤ群を求
め、その各ＩＤの特徴量と検索キーの距離計算を行い、
ＩＤ群を距離順に並べ替えたものを検索結果として出力
部６０より出力する。

【００３３】また、最近傍検索部７０は、特徴量ａの上
位ｆ（ｋ）件の近傍特徴量のＩＤ群を求め、そのＩＤ群
に対し、特徴量ａからの距離順に並べた事前類似計算結
果を事前類似計算結果格納部３０に登録し、そのＩＤ群
の各ＩＤをＡ_i（１≦ｉ≦ｆ（ｋ））としたとき、特徴
量ａとＡ_iの特徴量の距離に基づいて各Ａ_iの事前類似
計算結果に特徴量ａを挿入し、上位ｆ（ｋ）件に調整し
たものを各Ａ_iの新たな事前類似計算結果とし、事前類
似計算結果格納部３０に登録する。

【００３４】追加特徴量データ管理部８０は、検索キー
入力部５０から入力された特徴量データを格納する。ま
た、特徴量のデータがある場合、追加されたデータに関
して管理を行う。マージ部９０は、検索部４０が事前類
似計算結果格納部３０から検索した検索結果と、追加特
徴量データ管理部８０から検索した検索結果とをマージ
する。ま、検索キー特徴量が与えられた場合には、事前
類似計算結果格納部３０からの結果と、追加特徴量デー
た管理部８０からの検索結果を類似度順にマージした結
果の上位ｆ（ｘ）件を検索結果として出力部６０より出
力する。

【００３５】ここで、本発明の類似特徴量の検索装置の
第１の動作（最近傍検索処理）を説明する。図４は、本
発明の第１の動作を説明するための図である。ステップ１０１）検索キー入力部５０より検索キー特
徴量を入力する。ステップ１０２）特徴量種別判定部５５は、特徴量種
別の判定を行い、データベース外特徴量である場合に
は、ステップ１０３に移行し、データベース内特徴量で
ある場合にはステップ１０４に移行する。

【００３６】ステップ１０３）最近傍検索部７０は、
与えられた特徴量がどの分類に相当するか、分類基準に
従って特徴量の木状索引を辿り、最も近い特徴量のＩＤ
を取得し、ステップ１０４に移行する。ステップ１０４）最近傍検索部７０は、その特徴量ま
たは、ＩＤをキーとして確定検索方式により事前類似計
算結果格納部３０に対して検索を行い、結果のＩＤ群を
取得する。

【００３７】ステップ１０５）さらに、最近傍検索部
７０は、検索キーと事前類似計算結果中の各ＩＤの特徴
量との距離計算を行い、ＩＤ群を距離順に並べ直す。ステップ１０６）上位（ｘ）件分の結果を出力部６０
より返却する。次に、本発明の第２の動作を説明する。第２の動作は、
最近傍検索部７０において、必ず最近傍を求めるという
保証がない場合の処理である。

【００３８】図５は、本発明の類似特徴量の検索装置の
第２の動作を説明するための図である。ステップ２０１）検索キー入力部５０から検索キー特
徴量を入力する。ステップ２０２）特徴量種別判定部５５は、特徴量種
別の判定を行い、データベース外特徴量である場合に
は、ステップ２０３に移行し、データベース内特徴量で
ある場合にはステップ２０４に移行する。

【００３９】ステップ２０３）最近傍検索部７０は、
与えられた特徴量がどの分類に相当するか分類基準に従
って、特徴量の木状索引を辿り最も近い特徴量のＩＤを
取得する。ステップ２０４）最近傍検索部７０は、入力されたそ
の特徴量または、検索されたＩＤをキーとして確定検索
方式により事前類似計算結果格納部３０に対して検索を
行い、結果のＩＤ群を取得する。

【００４０】ステップ２０５）さらに、最近傍検索部
７０は、検索キーと事前類似計算結果中の各ＩＤの特徴
量との距離計算を行い、最も近いＩＤを求め、それをｚ
とする。ステップ２０６）そのＩＤ_zをキーとして確定検索方
式により、事前類似計算結果格納部３０に対して検索を
行い、結果のＩＤ群を取得する。

【００４１】ステップ２０７）検索キーと事前類似計
算結果中の各ＩＤの特徴量との類似計算を行い、ＩＤ群
を距離順に並べ直す。ステップ２０８）上位ｆ（ｘ）件分の結果を出力部６
０より返却する。次に、類似特徴量の検索装置の第３の動作として特徴量
データの追加がある場合について説明する。

【００４２】図６は、本発明の第３の動作を説明するた
めの図である。ステップ３０１）特徴量データの追加と索引について
再構成する。ステップ３０２）検索キー入力部５０から検索キー特
徴量を入力する。ステップ３０３）検索部４０は、事前類似計算結果か
ら上位ｆ（ｘ）件の類似検索を行う。

【００４３】ステップ３０４）また、検索部４０は、
追加特徴量データ管理部８０から上位ｆ（ｘ）件の類似
検索を行う。ステップ３０５）マージ部９０において、ステップ３
０３における類似検索結果と、追加特徴量管理部８０か
らの類似検索結果をマージして、距離順に整列させる。

【００４４】ステップ３０６）上位ｆ（ｘ）件の結果
を追加特徴量管理部８０に返却する。次に、第４の動作として、事前類似計算結果格納部３０
を再構成する処理を説明する。図７は、本発明の第４の
動作を説明するための図である。

【００４５】ステップ４０１）追加する特徴量ａを最
近傍検索部７０に入力する。ステップ４０２）最近傍検索部７０は、事前計算結果
格納部３０から特徴量ａの事前類似計算結果のＩＤ群Ａ
_i（１≦ｉ≦ｋ）を取得する。ステップ４０３）特徴量ａからの近傍順に並べた事前
類似計算結果を事前類似計算結果格納部３０に追加格納
する。

【００４６】ステップ４０４）最近傍検索部７０は、
全てのＡ_iについて、事前類似計算結果を求め、ａとＡ
_iの特徴量の距離に基づき、事前類似計算結果中にａを
追加し、ｆ（ｋ）件に調整したものを新たな各Ａ_iの事
前類似計算結果として事前類似計算結果格納部３０に登
録する。

【００４７】

【実施例】以下、図面と共に本発明の実施例を説明す
る。［第１の実施例］特願平１０−２０３５８３に示す方法
により、検索構築時には、データベース１０内における
類似計算を行い、他の特徴量との類似度を計算し、類似
度の高い順に上位ｆ（ｘ）件分のＩＤ情報を、類似度付
き、または、必要によっては、その類似度の値と共に事
前類似計算結果格納部３０に格納しておく。

【００４８】また、索引を使った検索時には、検索キー
特徴量としてデータベース１０内の特徴量が与えられた
場合、その検索キー特徴量に対する事前類似計算結果の
上位ｆ（ｘ）件を検索結果として取得する。ここで、事
前類似計算結果の構成を説明する。図８は、本発明の第
１の実施例の事前類似計算結果の構成を示す。あるＩＤ
（自ＩＤ）に対する類似するＩＤ、そのＩＤの類似度と
特徴量を、ｆ（ｋ）個有する。自特徴量、類似ＩＤｘの
類似度及び類似ＩＤｘの特徴量は必須ではない。各ＩＤ
の特徴量を有する場合、各ＩＤの実行時ソートが、可能
になるので、事前類似計算結果内のＩＤは、自ＩＤに対
して類似度順にソートされていなくても構わない。同図
の→は、対応付けがあることを示している。事前類似計
算結果格納部３０は、この事前類似計算結果を複数のＩ
Ｄに対して構成したものを有し、管理する。

【００４９】本実施例では、図８に示す各々の特徴量を
図９に示すように圧縮して格納している。なお、特徴量
の圧縮方式は、既存の圧縮方法を用いるものとする。こ
れにより、特徴量を保持する記憶領域が削減される。［第２の実施例］本実施例では、外部キー検索について
説明する。

【００５０】与えられる検索キーが内部データベース特
徴量と判定できない場合には、その特徴量データによる
最近傍検索だけをＲ−ｔｒｅｅのような他の従来方式を
用いるものとし、その後の近傍順検索として本発明を用
いる。図１０は、本発明の第２の実施例のデータ分布の
例を示す。図１０に示すようなデータ分布に基づいた場
合について近傍順検索を考える。これは、例えば、図１
５のように、検索キーとして（０．５，０．６）が与え
られた場合、その最近傍特徴量の（０．５，０．５）を
求めるまでは、従来の方式を用い、その後（０．５，
０．５）の近傍順検索では、その“ＩＤ４”に登録され
ている事前類似計算結果のＩＤ４，ＩＤ３，ＩＤ１，ＩＤ５，ＩＤ２，ＩＤ６を検索結果とする。

【００５１】なお、厳密な類似度順の結果を得たい場合
には、再度、類似度計算部２０で類似度計算を行い、整
列をし直す。例えば、（０．５，０．５）とＩＤ４の事
前類似計算結果内のＩＤと距離を再計算すると、図１１
のように順番に若干の変更が発生する。また、図１２に
示すデータ分布に基づいた場合には、図１３に示すよう
なイメージとなる。（５．４，３．５）が与えられた場
合、最近傍検索部７０により、ＩＤ５３１が求められ、
よって、ＩＤ５３１の事前類似計算結果を、（５．４，
３．５）の類似検索結果として出力部６０より出力する
か、または、ＩＤ５３１の事前類似計算結果の各ＩＤと
（５．４，３．５）の距離を再計算し、類似度順に並べ
替えたものを（５．４，３．５）の類似計算結果として
出力部６０より出力する。［第３の実施例］本実施例では、データ追加について説
明する。

【００５２】前述の図１３のデータ分布であるとき、図
１４を用いて、事前類似計算結果の集合にデータを動的
に追加する例を説明する。最初の過程は、外部キーによ
る検索（前述の図１３）と同様になる。今、新たな点が
（５．４、３．５）で、この点のＩＤを２０００とし、
最近傍点がＩＤ５３１と決まったとき、最近傍検索部７
０において、ＩＤ５３１の事前類似計算結果の各ＩＤに
対し、ＩＤ２０００との距離の再計算を行い、整列し直
したものをＩＤ２０００の事前類似計算結果として事前
類似計算結果格納部３０に登録する。

【００５３】さらに、ＩＤ２０００の事前類似計算結果
中の各ＩＤの事前類似計算結果中にＩＤ２０００を挿入
する。このとき、各事前類似計算結果中の各々のＩＤと
の関係は、一般には距離順に整列したものとする方が効
率が良いが、それに限定されるものではない。このＩＤ
２０００の追加によって、各事前類似計算結果中のＩＤ
数が１件増加するため、一般には最も遠くなったＩＤを
事前類似計算結果格納部３０より削除する。但し、残す
という方法も存在するのでこの例には限定されない。

【００５４】また、上記の実施例は、図３の構成に基づ
いて説明しているが、この例に限定されることなく、図
３に示す構成要素をプログラムとして構築し、本発明を
実施する際にインストールすることにより、容易に本発
明を実現できる。なお、本発明は、上記の実施例に限定
されることなく、特許請求の範囲内で種々変更・応用が
可能である。

【００５５】

【発明の効果】上述のように、本発明によれば、事前類
似計算結果情報が、例え、ディスク上にあろうが、部分
的にディスク上に存在するような複雑な構造を持ってい
ようが、データベース全体の特徴量データ件数が多かろ
うが非常に高速に検索を行うことが可能であることに加
えて、検索実行時に次元数に依存する類似度計算を行う
ことがないため、次元数の増加に対しても性能が劣化す
ることが少なく高速化が図れる。

【００５６】さらに、索引の構造の中に距離に依存した
部分がないので、特殊な類似性基準にも対応できる。ま
た、近傍検索と組み合わせた高速な類似検索ができる。
また、事前類似計算結果の特徴量を圧縮して格納するこ
とが可能であり、記憶領域を節約できる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明の類似特徴量検索装置の構成図である。

【図４】本発明の第１の動作を説明するための図であ
る。

【図５】本発明の第２の動作を説明するための図であ
る。

【図６】本発明の第３の動作を説明するための図であ
る。

【図７】本発明の第４の動作を説明するための図であ
る。

【図８】本発明の第１の実施例の事前類似計算結果の構
成を説明するための図である。

【図９】本発明の第１の実施例の圧縮した特徴量を説明
するための図である。

【図１０】本発明の第２の実施例のデータ分布の例（そ
の１）である。

【図１１】本発明の第２の実施例の類似順の修正を説明
するための図である。

【図１２】本発明の第２の実施例のデータ分布の例（そ
の２）である。

【図１３】本発明の第２の実施例の外部キーによる検索
の例を説明するための図である。

【図１４】本発明の第３の実施例の事前類似計算結果へ
の動的なデータ追加の例を説明するための図である。

【図１５】一般的な類似検索を説明するための図であ
る。

【図１６】従来のＲ−ｔｒｅｅの特徴量空間分割を説明
する図である。

【図１７】従来のＲ−ｔｒｅｅの木構造を説明する図で
ある。

【図１８】従来のＰＲ−ｑｕａｄｔｒｅｅの特徴量空間
分布を説明する図である。

【図１９】従来のＰＲ−ｑｕａｄｔｒｅｅの木構造を説
明する図である。

【図２０】従来の木状索引を使った類似検索のフローチ
ャートである。

【符号の説明】

１０データベース２０類似計算手段、類似度計算部３０事前類似計算結果格納手段、事前類似計算結果格
納部４０事前類似計算結果検索手段、事前類似計算結果検
索部５０検索キー入力部５５特徴量種別判定部６０出力部７０最近傍検索手段、最近傍検索部８０追加特徴データ管理部９０マージ部

───────────────────────────────────────────────────── フロントページの続き (72)発明者吉田忠城東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者佐藤路恵東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者三井一能東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者串間和彦東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 5B075 ND03 ND16 NK02 NK06 NK31 NK49 NK54 NR03 NR12 PQ02 PQ15 PQ46 PR06 QM08 UU40

Claims

【特許請求の範囲】

【請求項１】マルチメディアデータに対する類似検索
システムやテキストの類似検索システムに用いられる類
似特徴量の検索システムにおいて、予め、データベース
内のすべての特徴量をキーとし、該データベース内にお
ける類似計算を行い、他の特徴量との類似度を計算し、
類似度の高い順に上位ｆ（ｘ）件分のＩＤ情報を、類似
度順付きで、必要によっては、該類似度の値と共に、事
前類似計算結果格納装置に格納しておき、検索キー特徴
量として前記データベース内の特徴量が与えられた場
合、該検索キー特徴量に対する事前類似計算結果の上位
ｆ（ｘ）件を検索結果として返却する類似特徴量の検索
方法において、最近傍検索装置が、必ず、最近傍を求めるという保証が
ない場合に、前記検索キー特徴量として、前記データベース内に存在
することが分からない特徴量が与えられた場合、該特徴
量に近傍候補の該データベース内の特徴量ｙを前記最近
傍検索装置により検索し、検索結果の特徴量に対する事前類似計算結果のＩＤ群を
求め、前記ＩＤ群の中で検索キーに最も近い点ｚを求め、前記点ｚが前記特徴量ｙと異なる場合に、該点ｚに対す
る事前類似計算結果のＩＤ群を求め、前記ＩＤ群の各ＩＤの特徴量と前記検索キーの距離計算
を行い、前記ＩＤ群を距離順に並べ替えたものを検索結果として
返却することを特徴とする類似特徴量の検索方法。
【請求項２】追加する特徴量ａが与えられた場合に、
該特徴量ａの上位ｆ（ｋ）件の近傍特徴量のＩＤ群を求
め、前記ＩＤ群に対し、前記特徴量ａからの距離順に並べた
事前類似計算結果を事前類似計算結果格納装置に登録
し、前記ＩＤ群の各ＩＤをＡ_i（１≦ｉ≦ｆ（ｋ））とした
とき、前記特徴量ａと各Ａ_iの特徴量の距離に基づいて
各Ａ_iの事前類似計算結果に該特徴量ａを挿入し、上位
ｆ（ｋ）件に調整したものを各Ａ_iの新たな事前類似計
算結果とし、事前類似計算結果格納装置に登録する請求項１記載の類
似特徴量の検索方法。
【請求項３】前記事前類似計算結果格納装置におい
て、前記特徴量を圧縮して格納する請求項１または、２
記載の類似特徴量の検索方法。
【請求項４】マルチメディアデータに対する類似検索
システムやテキストの類似検索システムに用いられる類
似特徴量の検索システムにおいて、特徴量をキーとする
データベースと、該データベース内における類似計算を
行い、他の特徴量との類似度を計算する類似計算手段
と、類似度の高い順に上位ｆ（ｘ）件分のＩＤ情報を、
類似度順付きで、必要によっては、該類似度の値と共に
格納する事前類似計算結果格納手段と、検索キー特徴量
として前記データベース内の特徴量が与えられた場合、
該検索キー特徴量に対する、特徴量を有する事前類似計
算結果を検索結果として返却する事前類似計算結果検索
手段とを有する類似特徴量の検索装置であって、必ず、最近傍を求めるという保証がない場合に、前記検
索キー特徴量として、前記データベース内に存在するこ
とが分からない特徴量が与えられた場合、該特徴量に近
傍候補の該データベース内の特徴量ｙを検索する手段
と、検索結果の特徴量に対する事前類似計算結果のＩＤ群を
求める手段と、前記ＩＤ群の中で検索キーに最も近い点ｚを求める手段
と、前記点ｚが前記特徴量ｙと異なる場合に、該点ｚに対す
る事前類似計算結果のＩＤ群を求める手段と、前記ＩＤ群の各ＩＤの特徴量と前記検索キーの距離計算
を行う手段と、前記ＩＤ群を距離順に並べ替えたものを検索結果として
返却する手段とを有する最近傍検索手段を有することを
特徴とする類似特徴量の検索装置。
【請求項５】追加する特徴量ａが与えられた場合に、
該特徴量ａの上位ｆ（ｋ）件の近傍特徴量のＩＤ群を求
める手段と、前記ＩＤ群に対し、前記特徴量ａからの距離順に並べた
事前類似計算結果を前記事前類似計算結果格納手段に登
録する手段と、前記ＩＤ群の各ＩＤをＡ_i（１≦ｉ≦ｆ（ｋ））とした
とき、前記特徴量ａと各Ａ_iの特徴量の距離に基づいて
各Ａ_iの事前類似計算結果に該特徴量ａを挿入し、上位
ｆ（ｋ）件に調整したものを各Ａ_iの新たな事前類似計
算結果とし、事前類似計算結果格納装置に登録する手段
とを有する請求項４記載の類似特徴量の検索装置。
【請求項６】前記事前類似計算結果格納手段は、圧縮された特徴量を格納する請求項４、または、５記載
の類似特徴量の検索装置。
【請求項７】マルチメディアデータに対する類似検索
システムやテキストの類似検索システムに用いられる類
似特徴量の検索システムにおいて、特徴量をキーとする
データベース内における類似計算を行い、他の特徴量と
の類似度を計算する類似計算プロセスと、類似度の高い
順に上位ｆ（ｘ）件分のＩＤ情報を、類似度順付きで、
必要によっては、該類似度の値と共に記憶媒体に格納す
る事前類似計算結果格納プロセスと、検索キー特徴量と
して該データベース内の特徴量が与えられた場合、該検
索キー特徴量に対する、特徴量を有する事前類似計算結
果を検索結果として返却する事前類似計算結果検索プロ
セスとを有する類似特徴量の検索プログラムを格納した
記憶媒体であって、必ず、最近傍を求めるという保証がない場合に、前記検
索キー特徴量として、前記データベース内に存在するこ
とが分からない特徴量が与えられた場合、該特徴量に近
傍候補の該データベース内の特徴量ｙを検索するプロセ
スと、検索結果の特徴量に対する事前類似計算結果のＩＤ群を
求めるプロセスと、前記ＩＤ群の中で検索キーに最も近い点ｚを求めるプロ
セスと、前記点ｚが前記特徴量ｙと異なる場合に、該点ｚに対す
る事前類似計算結果のＩＤ群を求めるプロセスと、前記ＩＤ群の各ＩＤの特徴量と前記検索キーの距離計算
を行うプロセスと、前記ＩＤ群を距離順に並べ替えたものを検索結果として
返却するプロセスとを有する最近傍検索プロセスを有す
ることを特徴とする類似特徴量の検索プログラムを格納
した記憶媒体。
【請求項８】追加する特徴量ａが与えられた場合に、
該特徴量ａの上位ｆ（ｋ）件の近傍特徴量のＩＤ群を求
めるプロセスと、前記ＩＤ群に対し、前記特徴量ａからの距離順に並べた
事前類似計算結果を前記記憶媒体に登録するプロセス
と、前記ＩＤ群の各ＩＤをＡ_i（１≦ｉ≦ｆ（ｋ））とした
とき、前記特徴量ａと各Ａ_iの特徴量の距離に基づいて
各Ａ_iの事前類似計算結果に該特徴量ａを挿入し、上位
ｆ（ｋ）件に調整したものを各Ａ_iの新たな事前類似計
算結果とし、事前類似計算結果格納装置に登録するプロ
セスとを有する請求項７記載の類似特徴量の検索プログ
ラムを格納した記憶媒体。
【請求項９】前記事前類似計算結果格納プロセスは、圧縮された特徴量を前記記憶媒体に格納する請求項７、
または、８記載の類似特徴量の検索プログラムを格納し
た記憶媒体。