JP2006060796A - 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 索引の保持に必要な記憶容量を削減し、目的の画像又は映像と類似する映像区間を検索漏れを生じさせずに、高速に検出する映像検索方法及び装置を提供する。
【解決手段】 本発明の映像検索方法は、登録された動画像の蓄積映像から、検索対象の画像に類似した映像フレーム又はその一部分を検出し、蓄積映像の映像フレームから蓄積特徴を抽出する蓄積特徴抽出過程と、蓄積特徴を時間方向に連結した蓄積連結特徴を出力する蓄積特徴連結過程と、蓄積連結特徴に索引を付与する索引付与過程と、目的画像の目的特徴を抽出する目的特徴抽出過程と、目的特徴に類似する蓄積連結特徴を、索引で抽出する索引検索過程と、蓄積連結特徴に対応する蓄積特徴と、目的特徴との類似を示す部分類似値を計算する一次照合段階と、目的画像と蓄積映像中の映像フレーム又はその一部分との全体類似値を部分類似値から求める二次照合段階とからなる類似度計算過程を備える。
【選択図】 図２

Description

本発明は、蓄積された長時間の映像から、与えられた画像と類似した映像フレーム（画像）あるいはその一部分または与えられた映像と類似した映像区間あるいはその部分領域、及びその部分領域が含まれている位置を同定するのに適した映像検索装置、映像検索方法、映像検索プログラム及び記録媒体に関する。

デジタルカメラの普及や記録媒体の大容量化・低価格化、さらに大容量ネットワークの普及により、容易に大容量のデジタル映像を取得して保存する環境が整ってきている。
そのため、大量の映像から所望の映像を高速に探し出す高速映像検索技術が必要となってきており、特に映像における画像の部分検索は、検索したい画像や映像が蓄積されている映像フレームの一部分であるため、比較の処理が多くなり、さらに高速性が要求される。
この映像検索技術は、膨大な映像データベ一スの中から、高速に目的の画像あるいは目的の映像をその一部分として含む映像区間を検出する映像検索技術に用いられている。

例えば、長時間のテレビ映像の中から，特定人物の顔が撮影されている映像や特定の動作が行われている映像を検出し、ユーザに提示したりすることを可能とする技術に用いられる。
従来、映像検索方法に関しては、映像の各フレームから抽出した特徴を圧縮することにより高速に同一シーンの検出を行う手法等が知られている（たとえば、特許文献１参照）。

しかし、上述した映像の検索方法においては、探す対象となる映像のある一部分に目的の画像や映像と類似する映像が存在する場合に検出を行うことができないという欠点があった。
そのため、映像の部分領域ごとに照合を行う必要がある。
従来、上記問題点を解決するために、映像の各フレームを独立した画像ととらえ、目的の画像と類似する部分画像を含む画像を検索する部分画像検索手法を繰り返し用いることによって、類似部分映像を検出する方法が考えられる。（例えば、非特許文献１参照）
特許第３０６５３１４号公報（「高速信号探索方法、装置及びその記録媒体」） 「WALRUS:A similarity retrieval algorithm for image databases」(A.Natsev,IEEE Transactions on Knowledge and Data Engineering,Vol.16,No3,2004年３月

しかしながら、上記非特許文献１による方法では、検索高速化のために用いる索引について，その索引を付与すべき部分画像の数が膨大であるため、索引保持に必要となる記憶容量が膨大になり、かつ索引を用いても検索に必要な照合回数が高速化を達成するほどに減少させることができないため、十分な高速化が行えないという欠点があった。
本発明は、このような事情に鑑みてなされたもので、映像の時間的連続性を考慮し、蓄積された映像から抽出した特徴を時間軸方向に連結統合することにより、索引の保持に必要な記憶容量を削減し、目的の画像もしくは映像と類似する映像区間を高速に検出する映像検索装置、映像検索方法、映像検索プログラム及び記録媒体を提供することを目的としている。
また、本発明は、映像の時間的連続性を考慮し、蓄積された映像から抽出した部分領域の特徴を時間軸方向に連結統合することにより、索引の保持に必要な記憶容量を削減し、目的の画像もしくは映像と類似する部分映像区間を検索漏れを生じさせることなく高速に検出する映像検索装置、映像検索方法、映像検索プログラム及び記録媒体を提供することを目的としている。
また、本発明は、映像の時間的連続性を考慮し、蓄積された映像からある種の変動に対して頑健な特徴を抽出し、この特徴を時間軸方向に関連性を考慮して連結統合することにより、索引の保持に必要な記憶容量を削減し、目的の画像もしくは映像と類似する部分映像区間の抽出精度を向上させ、かつ高速に検出する映像検索装置、映像検索方法、映像検索プログラム及び記録媒体を提供することを目的としている。

本発明の映像検索方法は、予め登録された動画像である蓄積映像から、検索対象となる静止画像である目的画像に類似した映像フレームあるいはその一部分を検出する映像検索方法において、蓄積映像のある映像フレームの特徴である蓄積特徴を抽出する蓄積特徴抽出過程と、前記蓄積特徴抽出過程で抽出される蓄積特徴を時間軸方向に順次連結し、蓄積連結特徴として出力する蓄積特徴連結過程と、前記蓄積連結特徴に各々索引を付与する索引付与過程と、目的画像の特徴である目的特徴を抽出する目的特徴抽出過程と、前記目的特徴に類似する蓄積連結特徴を、前記索引を用いて抽出する索引検索過程と、前記索引検索過程により抽出された蓄積連結特徴に対応する蓄積特徴と、前記目的特徴との類似値である部分類似値を計算する一次照合段階と、前記目的画像と前記蓄積映像中の映像フレームあるいはその一部分との類似値である全体類似値とを前記部分類似値に基づいて計算する二次照合段階とからなる類似度計算過程とを備えることを特徴とする映像検索方法。
本発明の映像検索方法は、前記蓄積特徴にて所定の大きさの注目窓を所定の間隔でずらしつつ、各位置における注目窓内の特徴を、蓄積部分領域特徴として抽出する蓄積部分領域特徴抽出過程と、前記目的特徴に所定の大きさの注目窓を設定し、該注目窓をずらしつつ、各位置における注目窓内の特徴を、目的部分領域特徴として抽出する目的部分領域特徴抽出過程とをさらに有し、前記蓄積連結過程にて、前記蓄積部分領域特徴抽出過程で抽出される蓄積部分領域特徴を時間軸方向に、順次連結し、蓄積連結特徴として出力し、前記索引検索過程にて前記目的部分領域特徴の集合に類似する蓄積連結特徴を、前記索引を用いて抽出し、前記類似度計算過程が、前記索引検索過程により抽出された蓄積連結特徴に対応する蓄積部分領域特徴と、前記目的部分領域特徴との距離を計算する特徴照合過程と、該距離に基づいて、目的画像と類似する映像フレームの一部分が蓄積映像中の当該箇所に存在する可能性があるか否かを判定する照合結果判定過程とからなる一次照合段階と、前記照合結果判定過程にて、目的画像と類似する映像フレームの一部分が存在する可能性があると判定された蓄積映像中の箇所において、前記蓄積特徴に対し、目的画像と同一の大きさの照合窓を設定し、前記目的特徴との特徴距離を計算する特徴再照合過程と、前記特徴距離に基づいて、目的画像と類似する映像フレームの一部分が蓄積映像中の当該箇所に存在するか否かを判定する照合結果再判定過程と前記照合結果再判定過程にて、目的画像と類似する映像フレームの一部分が存在すると判定された蓄積映像中の箇所を検索結果候補とする検索結果候補選択過程と、前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定過程と、前記索引検索過程にて抽出された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴を指定する次連結特徴選定過程とからなる二次照合段階とを備えることを特徴とする。

本発明の映像検索方法は、予め登録された動画像である蓄積映像から、検索対象となる動画像である目的映像に類似した映像区間あるいはその一部分を検出する映像検索方法であり、前記蓄積映像から蓄積特徴を導く蓄積特徴抽出過程と、前記蓄積特徴抽出過程で抽出される蓄積特徴を時間軸方向に順次連結し、蓄積連結特徴として出力する蓄積特徴連結過程と、前記蓄積連結特徴に各々索引を付与する索引付与過程と、目的映像の特徴である目的特徴を抽出する目的特徴抽出過程と、前記目的特徴に類似する蓄積連結特徴を、前記索引を用いて抽出する索引検索過程と、前記索引検索過程により抽出された蓄積連結特徴に対応する蓄積特徴と、前記目的特徴との類似値である部分類似値を計算する一次照合段階と、前記目的映像と前記蓄積映像の映像区間あるいはその一部分との類似値である全体類似値とを前記部分類似値に基づいて計算する二次照合段階とからなる類似度計算過程とを備えることを特徴とする。
本発明の映像検索方法は、前記蓄積特徴にて所定の大ききの注目窓を所定の間隔でずらしつつ、各位置における注目窓内の特徴を、蓄積部分領域特徴として抽出する蓄積部分領域特徴抽出過程と、前記目的特徴に所定の大きさの注目窓を設定し、該注目窓をずらしつつ、各位置における注目窓内の特徴を、目的部分領域特徴として抽出する目的部分領域特徴抽出過程とをさらに有し、蓄積特徴連結過程にて、蓄積部分領域特徴抽出過程で抽出される蓄積部分領域特徴を時間軸方向に、順次連結し、蓄積連結特徴として出力し、前記索引検索過程にて、前記目的部分領域特徴の集合に類似する蓄積連結特徴を、前記索引を用いて抽出し、前記類似度計算過程が、前記索引検索過程にて抽出された蓄積連結特徴に対応する蓄積部分領域特徴と、前記目的部分領域特徴との距離を計算する特徴照合過程と、該距離に基づいて、目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する可能性があるか否かを判定する照合結果判定過程とからなる一次照合段階と、該照合結果判定過程にて目的映像と類似する部分映像区間が存在する可能性があると判定された蓄積映像中の箇所において、前記蓄積特徴に対し、目的映像と同一の大きさの照合窓を設定し、前記目的特徴との特徴距離を計算する特徴再照合過程と、前記特徴距離に基づいて、目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する否かを判定する照合結果再判定過程と、前記照合結果再判定過程にて、目的映像と類似する部分映像区間が存在すると判定された蓄積映像中の箇所を、検索結果候補とする検索結果候補選択過程と、前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定過程と、前記索引検索過程にて抽出された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴を指定する次連結特徴選定過程とからなる二次照合段階と を備えることを特徴とする。
また、本発明の映像検索方法は、上述したいずれかの映像検索方法において、見本となる特徴パターンである見本特徴を複数種類作成する見本特徴作成過程と、前記見本特徴間の距離を計算する見本特徴間距離計算過程と、前記蓄積特徴抽出過程において抽出された前記蓄積特徴について、前記見本特徴に対応する符号を割り当て、該符号より構成される蓄積量子化特徴を導く蓄積特徴量子化過程と、前記目的特徴抽出過程において抽出された前記目的特徴について、前記見本特徴に対応する符号を割り当て、該符号より構成される目的量子化特徴を導く目的特徴量子化過程とをさらに備え、前記索引付与過程が前記見本特徴間距離に基づき前記蓄積特徴あるいは前記蓄積部分領域特徴に索引を付与し、前記索引検索過程ならびに前記類似度計算過程において前記目的特徴と前記蓄積連結特徴との類似値を前記見本特徴間距離を用いて逐次計算する、あるいは前記索引検索過程ならびに前記特徴照合過程において前記目的部分領域特徴と前記蓄積連結特徴との距離を前記見本特徴間距離を用いて逐次計算することを特徴とする。

以上説明したように、本発明によれば、映像の時間的連続性を考慮し、蓄積された映像から抽出した蓄積特徴を時間軸方向に、順次連結統合することによって、索引の保持に必要な記憶容量を削減し、目的の画像もしくは映像と類似する映像区間を、一次照合及び二次照合の２段階で行うため、高速に検出することができるという効果が得られる。
すなわち、本発明は、上記２段階の照合処理において、目的画像と蓄積画像との類似度の判定を、一次照合にて類似する蓄積特徴が検出されない場合、蓄積画像に対してより精度の高い類似度の計算を行う二次照合を行わないため、不必要な処理を削減することができ、より類似判定の処理を高速に、かつ高い精度で行うことができる。
また、本発明は、映像の時間的連続性を考慮し、蓄積された映像から抽出した部分領域の特徴を時間軸方向に連結統合することにより、索引の保持に必要な記憶容量を削減し、目的の画像もしくは映像と類似する部分映像区間を検索漏れを生じさせることなく高速に検出することができるという効果が得られる。
また、本発明は、映像の時間的連続性を考慮し、蓄積された映像からある種の変動に対して頑健な特徴を抽出し、この特徴を時間軸方向に関連性を考慮して連結統合することにより、索引の保持に必要な記憶容量を削減し、目的の画像もしくは映像と類似する部分映像区間の抽出精度を向上させ、かつ高速に検出することができるという効果が得られる。

＜第１の実施例＞
以下、本発明の第１の実施例による映像検索装置を図面を参照して説明する。図１は上記第１の実施例の映像検索装置の一構成例を示すブロック図である。
この図において、本実施例の映像検索装置は、蓄積特徴抽出部１と、蓄積部分領域特徴抽出部２と、索引付与部３と、目的特徴抽出部４と、目的部分領域特徴抽出部５と、索引検索部６と、特徴照合部７と、照合結果判定部８と、特徴再照合部９と、照合結果再判定部１０と、検索結果候補選択部ｌｌと、次目的部分領域特徴選定部１２と、次検索候補特徴選定部１３と、蓄積部分領域特徴連結部２０とを有しており、目的画像、すなわち参照している検索したい画像と、データベース等に蓄積されている蓄積映像、すなわち検索される検索対象の映像を入力とし、上記目的画像と類似する画像が含まれている蓄積映像中の映像フレーム内の位置情報を出力する。
ここで、特徴照合部７，照合結果判定部８，特徴再照合部９，照合結果再判定部１０，検索結果候補選択部１１，次目的部分領域特徴選定部１２及び次連結特徴選定部１３は、類似度計算部１００を構成している。

蓄積特徴抽出部１は、蓄積映像の各映像フレームから、映像フレームを表現する蓄積特徴を、映像フレーム全体、または所定の画素数からなるブロック単位に抽出する。
蓄積部分領域特徴抽出部２は、上記蓄積特徴抽出部１から出力された特徴に対し、予め定められた所定の大きさの注目窓を、予め定められた所定の間隔で設定し（所定の間隔でずらし）、各注目窓内の特徴である蓄積部分領域特徴を抽出する。
蓄積部分領域特徴連結部２０は、上記蓄積部分領域特徴抽出部２から順次出力される蓄積部分領域特徴を、時系列に、すなわち時間軸方向に各々、所定の時間区間単位に連結して、それぞれの区間を蓄積連結特徴として出力する。
索引付与部３は、上記蓄積部分領域特徴連結部２０から出力される各蓄積連結特徴に対して、索引を付与する。

目的特徴抽出部４は、目的画像から画像を表現する目的特徴を抽出する。
目的部分領域特徴抽出部５は、上記目的特徴抽出部４が抽出した目的特徴に対して、予め定められた所定の大きさの注目窓を設定し、この注目窓を１ピクセルずつずらしながら、各注目窓内の特徴である目的部分領域特徴の抽出を行う。
索引検索部６は、上記索引付与部３から出力される索引を用いて、上記目的部分領域特徴抽出部５の抽出した目的部分領域特徴の集合から、類似する蓄積連結特徴の抽出を行う。

特徴照合部７は、上記索引検索部６が抽出した蓄積連結特徴と、目的部分領域特徴抽出部５の抽出した目的部分領域特徴との距離を計算する。
この距離は、ユークリッド距離，マンハッタン距離，内積，正規化相互相関などを用いることが出来る。
照合結果判定部８は、上記特徴照合部７の演算した距離に基づいて、目的画像と類似する映像フレームの一部が蓄積映像中の当該箇所に存在する可能性があるか否かの判定を行う。

特徴再照合部９は、上記照合結果判定部８が目的画像と類似する映像フレームの一部が存在する可能性があると判定した場合、判定された蓄積映像における箇所において、蓄積特徴抽出部１の抽出した蓄積特徴に対し、目的画像と同じ大きさの照合窓を設定して、目的特徴抽出部４から出力された目的特徴との特徴距離を計算する。この特徴距離も上記距離と同様に各種の定義を用いることができる。
照合結果再判定部１０は、上記照合結果判定部８において用いられた距離に基づいて、目的画像と類似する映像フレームの一部分が、蓄積映像中の当該箇所に存在するか否かの判定を行う。

検索結果候補選択部１１は、上記照合結果再判定部１０において目的画像と類似する映像フレームの一部分が存在すると判定された蓄積映像中の箇所を、詳細な類似性の検討を行う検索結果候補とする。
次目的部分領域特徴選定部１２は、上記目的部分領域特徴抽出部５において抽出された目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴の指定を行う。
次連結特徴選定部１３は、上記索引検索部６から検索結果として出力された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴の指定を行う。

次に、図１及び図２を参照して、上述した映像検索装置の動作を説明する。図２は、図１の第１の実施例による映像検索装置の一動作例を具体的に示すフローチャートである。
蓄積特徴抽出部１は、初めに、蓄積映像を、図示しないデータベースから読み込む（ステップＳ１）。
次に、蓄積特徴抽出部１は、入力した蓄積映像の各映像フレームから、映像フレーム各々の特徴である蓄積特徴を抽出する（ステップＳ２）。

例えば、蓄積映像の各映像フレームにおけるＲＧＢ画素値をそのまま用いて、蓄積映像の映像フレームの大きさが横Ｄ_ｘピクセル，縦Ｄ_ｙピクセルであるとすると、Ｄ_ｘ×Ｄ_ｙ×３個の数値で構成される蓄積特徴（多次元ベクトルからなる特徴ベクトル）が蓄積映像の各映像フレームごとに抽出される。ここで、上記Ｄ_ｘ×Ｄ_ｙに乗ぜられている「３」はＲＧＢの色数である。

また、他の実施例として、例えば、各映像フレームから横ｂ_ｘピクセル，縦ｂ_ｙピクセルの大きさの小領域（ブロック）を用い、縦及び横方向に順次１ピクセルずつ、この小領域をずらしながら、各小領域のＲＧＢ各々の平均値を計算することにより、各小領域の範囲内での蓄積特徴を抽出する。

さらに、他の実施例として、例えば、蓄積映像の各映像フレームから横ｂ_ｘピクセル，縦ｂ_ｙピクセルの大きさの小領域を、縦及び横方向に１ピクセルずつずらしながら、各小領域に含まれるピクセルのＲＧＢ各々に対して、２次元ＤＣＴ(デジタルコサイン変換)を行い、その係数ベクトルを蓄積特徴とすることもできる。
この場合、蓄積特徴抽出部１は、蓄積映像の各映像フレームから抽出された特徴である蓄積特徴の集合（各映像フレーム毎）を出力することになる。

次に、蓄積部分領域特徴抽出部２は、蓄積特徴抽出部１から、蓄積特徴の集合を読み込み、蓄積映像のある映像フレームのある１つの箇所に、予め定められた所定の大きさの第１注目窓を設定する。
例えば、この第１注目窓は、大きさが横ｗ_ｘピクセル，縦ｗ_ｙピクセルであり、初期状態として蓄積映像における先頭の映像フレームの左上の角に配置される。
そして、蓄積部分領域特徴抽出部２は、設定された上記第１注目窓内に含まれる部分領域の画像の特徴である蓄積部分領域特徴を抽出する。

また、他の実施形態においては、例えば、蓄積特徴として小領域内のＲＧＢ画素値の平均を用いるとき、蓄積部分領域特徴として、上記第１注目窓内に、重複すること も隙間も存在しない状態に、上記小領域を配置して、この各小領域に対応する特徴を 順に並べて、特徴ベクトルを得るようにすることも可能である。
さらに、他の実施形態においては、例えば、蓄積特徴として小領域内の２次元ＤＣＴ係数ベクトルを用いる場合、蓄積部分領域特徴として、上記第１注目窓内に、重複することも隙間も存在しない状態に、上記小領域を配置して、この各小領域に対応する特徴を抽出、もしくは、全ての次元の特徴ベクトルを１つにまとめて、多数次元の特徴ベクトルを１つ得ることもできる。

第１注目窓は、各蓄積映像の映像フレーム内において、予め定められた所定の間隔により、複数設定され、各注目窓内の部分領域から蓄積部分領域特徴を抽出する（ステップＳ３）。
すなわち、第１注目窓（横ｗ_ｘピクセル×縦ｗ_ｙピクセル）は、蓄積映像の映像フレーム内において、縦及び横方向に、上記所定の間隔（各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にｍ_ｘピクセル，縦方向にｍ_ｙピクセル）で順次ずらして配置されている。各々が重なり合う状態となっており、連続する第１の窓同士は、図３に示すように、所定の間隔を除いて重なることとなる。

また、第１注目窓の配置問隔を、以下マージンと呼ぶことにする。
そして、蓄積部分領域特徴抽出部２は、上記第１注目窓毎に得られた蓄積部分領域特徴の集合を出力する。

次に、蓄積部分領域特徴連結部２０は、蓄積部分領域特徴抽出部２から出力される蓄積部分領域特徴の集合を読み込み、この読み込んだ蓄積部分領域特徴の集合から、映像フレーム内の位置が同一であり、かつ時間軸方向に連続する部分領域特徴を、予め定められた基準に基づいて連結する。
すなわち、蓄積部分領域特徴連結部２０は、例えば、連結させる上記部分領域特徴の数が予め基準として設定されており、その基準の示す連結数の分、例えばａ_ｔフレーム分だけ時間軸方向に部分領域特徴の連結を行い、複数の部分領域特徴を１つのブロックとする。

また、蓄積部分領域特徴連結部２０は、他の実施例として、例えば、連結を開始する部分領域特徴を基準として、時間軸方向に後続する部分領域特徴との距離を計算し、該距離の最大値が予め定めておいた連結閾値を超えるまで、部分領域特徴を連結するように構成してもよい。
そして、蓄積部分領域特徴連結部２０は、連結した蓄積部分領域特徴のブロック毎に、連結された部分領域特徴のブロックを代表とする特徴である蓄積連結特徴を抽出する。

このとき、蓄積部分領域特徴連結部２０は、例えば、上記ブロックにおいて、連結の先頭にあたる部分領域特徴を蓄積連結特徴とする。
また、蓄積部分領域特徴連結部２０は、他の実施形態として、上記ブロックにおいて、連結された部分領域特徴における重心を蓄積連結特徴として出力するように構成されてもよい。
次に、蓄積部分領域特徴連結部２０は、各ブロック単位に、蓄積連結特徴と、この連結特徴に対応するブロックの連結された各蓄積部分領域特徴との距離を計算し、各蓄積部分領域特徴に対応した該距離における最大値である連結最大差分値を保持する。
そして、蓄積部分領域特徴連結部２０は、蓄積連結特徴と、該蓄積連結特徴に対応する連結最大差分値とを各ブロック毎に組みとし、この組の集合を出力する（ステップＳ４）。

次に、索引付与部３は、蓄積部分領域特徴連結部２０の抽出した蓄積連結特徴の集合を読み込み、この読み込んだ各蓄積連結特徴に対して、検索を容易にするための索引を付与する。
例えば、「信号検出方法、信号検出装置、記録媒体及びプログラム」(特許第３５７４０７５号)記載の実施例のように、予め作成されたベクトル量子化符号帳を用いて、各蓄積連結特徴の特徴ベクトルをベクトル量子化し、ベクトル量子化の符号語を索引とする。

すなわち、上記方法について簡単に説明すると、はじめに、索引付与部３は、蓄積連結特徴の集合を読み込む。
次に、索引付与部３は、各蓄積連結特徴のクラスタリングを行う。このクラスタリングは、例えば、各蓄積連結特徴をベクトルと考えて、そのベクトルを、ベクトル量子化を用いて符号化することによって行う。
例えば、ベクトル量子化の符号語数がＣ個であれば、蓄積連結特徴はＣ個のクラスタのいずれかに分類されることになる。

ここで、ベクトル量子化は、例えば、自乗誤差を距離関数として用い、クラスタ重心との距離が他のどのクラスタ重心との距離よりも小さくなるクラスタに蓄積連結特徴を所属させ、クラスタに対応する符号語を出力することによって行われる。
このクラスタは、例えば、クラスタ作成のために予め容易された、蓄積連結特徴と同じ次元数の特徴である学習特徴を用いて予め作成しておく。
すなわち、クラスタは、それに所属する学習特徴とクラスタ重心との距離の総和が最小になるように、かつそのクラスタに所属する学習特徴について、所属するクラスタのクラスタ重心との距離が、他のどのクラスタ重心との距離よりも小さくなるように構成される。
そして、索引付与部３は、索引として、各蓄積連結特徴に対応する、ベクトル量子化の符号語を出力する（ステップＳ５）。

また、別の実施例として、例えば、Ｒ^＊-Ｔｒｅｅ（「The R^＊-Tree: an efficient and robust access method for points and rectangles」，(N.Beckman他１名，Proc. of ACM SIGMOD Conference，pp.322-331，1990))やＳＲ-Ｔｒｅｅ（「SR-Tree: 高次元データに対する最近接探索のためのインデックス構造の提案」（片山紀生 他１名，電子情報通信学会論文誌D-I，Vol.J80-D-I，No.8，pp.703-717，1997年８月）など、多次元インデックスと総称される手法を用いて、特徴の存在する多次元空間内で特徴を包含する領域を階層的に作成し、最下層の領域と特徴とを対応付けることにより索引を付与することも可能である。
特徴を包含する領域は、例えば、Ｒ^＊-Ｔｒｅｅであれば、３次元空間における直方体に相当する超直方体、ＳＲ-Ｔｒｅｅであれば、超直方体と、３次元空間における球に相当する超球との重なりとなる。
そして、索引付与部３は、上述のように求められた、各蓄積連結特徴に対する索引を出力する。

次に、目的特徴抽出部４は、目的画像を読み込むが（ステップＳ６）、この目的画像の大きさ（横ｑ_ｘピクセル，縦ｑ_ｙピクセル）は、例えば、マージンと第１注目窓の大ききとの和（合計）以上、すなわち、ｑ_ｘ≧ｗ_ｘ＋ｍ_ｘ，ｑ_ｙ≧ｗ_ｙ＋ｍ_ｙに設定すると、蓄積映像中の各映像フレームについて、大きさｑ_ｘ×ｑ_ｙピクセルの窓を任意に配置しても必ず１つ以上の蓄積部分領域を含むため、検索漏れを生じることがない。
そして、目的特徴抽出部４は、目的画像から特徴の抽出を、上記蓄積特徴抽出部１と同様の手法で行い、目的画像から抽出された特徴である目的特徴の集合を出力する（ステップＳ７）。

次に、目的部分領域特徴抽出部５は、目的特徴抽出部４の抽出した目的特徴の集合を読み込み、この目的画像のある１つの箇所に、蓄積部分領域特徴抽出部２で用いた注目窓と同様の大きさ（横ｗ_ｘピクセル，縦ｗ_ｙピクセル）の注目窓、すなわち、第１注目窓を用い、この第１注目窓内に含まれる画像の特徴である目的部分領域特徴を抽出する。
また、目的部分領域特徴抽出部５は、上記蓄積部分領域特徴抽出部２と同様の抽出方法を用いて、画像の特徴を抽出して、抽出結果を目的部分領域特徴の集合として出力する（ステップＳ８）。

ここで、目的部分領域特徴抽出部５は、蓄積部分領域特徴抽出部２における特徴抽出の場合と異なり、上記第１注目窓を、目的画像内に重複することもなく、かつ隙間もない状態に設定し、それらを１ピクセルずつずらしながら、各位置において上記目的部分領域特徴の抽出を行う。
このとき、第１抽出窓は、例えば、少なくともマージンの大きさの分（横ｍ_ｘピクセル，縦ｍ_ｙピクセル）だけずらせば、検索漏れを生じさせることがない。
そして、目的部分領域特徴抽出部５は、上述した処理により抽出した、目的部分領域特徴の集合を出力する。

次に、索引検索部６は、索引付与部３から出力される索引と、目的部分領域特徴抽出部５から出力される目的部分領域特徴の集合とを読み込む。
そして、目的代表特徴抽出部１５において、目的部分領域特徴から目的代表特徴を抽出する処理を行った場合、索引検索部６は、目的部分領域特徴の集合の代わりに、目的代表特徴抽出部１５から出力される目的代表特徴の集合を読み込む。
目的代表特徴抽出部１５は、後述する他の実施形態において詳細に説明する。
また、必要に応じて、索引検索部６は、目的部分領域間距離計算部１６から出力される目的部分領域間距離を、さらに、読み込む構成もある。
また、検索閾値更新部１４が検索閾値及び選択閾値を更新する処理を行った場合、索引検索部６は更新された選択閾値を読み込む。この検索閾値更新部１４については後述する他の実施形態において、詳細に説明する。

そして、索引検索部６は、読み込んだ索引を用い、目的部分領域特徴の集合に類似する蓄積連結特徴を、検索候補特徴として抽出する（ステップＳ９）。
このとき、索引検索部６は、目的部分領域特徴の集合内におけるいずれかの目的部分領域特徴に対し、該蓄積連結特徴との距離ｄt、例えば自乗誤差が、予め定められた閾値である選択閾値θ_２を下回るような（以下となるような）蓄積連結特徴を、索引により抽出する。
上記選択閾値θ_２は後述するパラメータから自動的に決定される値であり、また、この選択閾値の決定方法は後述する。

また、別の実施例として、目的部分領域特徴の集合の代わりに、目的部分領域特徴から代表的な特徴を目的代表特徴として抽出し、この目的代表特徴の集合を用いて、集合内のいずれかの目的代表特徴との距離ｄtが選択閾値θ_２を下回る蓄積連結特徴を、上記索引から抽出する構成とすることも可能である（後述）。
さらに、別の実施例として、目的部分領域間距離を用い、各目的代表特徴との距離ｄtを、該目的代表特徴に対応する目的部分領域間距離の最大値分だけ小さくし、この距離ｄtの値が選択閾値θ_２を下回る蓄積連結特徴を索引から抽出する構成とすることも可能である（後述）。

ここで上述した、ある１つの目的部分領域特徴あるいは目的代表特徴との距離が選択閾値を下回る蓄積連結特徴を索引から抽出する抽出方法について説明する。
この抽出方法は、上記索引付与部３において用いられた索引の種類によって異なり、上記索引に対応する特許明細書記載の方法あるいは非特許文献記載の方法と同様にして実施することができる。
例えば、「信号検出方法、信号検出装置、記録媒体及びプログラム」(特許第３５７４０７５号）に記載の方法を用いて索引を付与した場合、以下のようにして所望の蓄積連結特徴を抽出することができる。

はじめに、索引検索部６は、目的部分領域特徴あるいは目的代表特徴と、索引付与部３で作成された索引（クラスタ）、及び選択閾値θ_２を読み込む。
以下では、簡単のため、目的代表特徴ではなく、本実施例で採用した構成において目的部分領域特徴を読み込んだものとして説明する。
そして、索引検索部６は、読み込んだ目的部分領域特徴と、各クラスタ重心との距離を計算する。
続いて、索引検索部６は、計算された距離ｄtに基づいて、目的部分領域特徴との距離が選択閾値θ_２を下回る蓄積連結特徴を含む可能性のあるクラスタを選択する。

上述したクラスタを選択する原理を以下に説明する。
図４は、点Ｑ，Ｃ_１，Ｃ_２の３点が乗るような平面であり、特徴ベクトルが配置される特徴空間を切り出した様子を示している。
ここで、点Ｑは目的部分領域特徴、点Ｃ_１は部分領域特徴Ｑが所属しているクラスタのクラスタ重心、Ｃ_２は他のクラスタのクラスタ重心を表しており、距離ｄ_Ｑ１，ｄ_Ｑ２，ｄ_１２はそれぞれ、点Ｑと点Ｃ_２との距離、点Ｑと点Ｃ_２との距離、点Ｃ_１と点Ｃ_２との距離を示している。

ここで、目的部分領域特徴の座標である点Ｑからの距離ｄ_ｔ選択閾値θ_２以内である蓄積連結特徴を抽出しなければならないとすると、点Ｑを中心とする半径θ_２の超球（図４においては円）の内部にある蓄積連結特徴がそれに該当する。
そして、点Ｑを中心とする超球の半径が図４におけるｄ_θより大きくなったとき、点Ｃ_２に対応するクラスタに所属する蓄積連結特徴の中に、所望の蓄積連結特徴が含まれている可能性がある。
そこで、選択閾値θ_２が図４におけるｄ_θより大きくなったとき、そのクラスタを選択する。ｄ_θは、以下の（１）式及び（２）式を用いて求められる。

上記（１）式より、

が求められる。
さらに、蓄積連結特徴に対応する連結最大差分値を考慮して、最終的に、索引検索部６は、以下の（３）式が成り立つとき、点Ｃ2に対応するクラスタを選択し、そのクラスタに所属する蓄積連結特徴を全て抽出する。
そして、この手順を、目的部分領域特徴Ｑが所属するクラスタを除く全てのクラスタに対して行い、抽出された蓄積連結特徴の集合を、検索候補特徴として出力する。

上記（３）式において、ｒ2’は、点Ｃ2に対応するクラスタに所属する蓄積連結特徴の連結最大差分値について、そのクラスタ内最大値を取ったものである。
次に、特徴照合部７は、蓄積部分領域特徴連結部２０から出力される連結最大差分値の集合と、目的部分領域特徴抽出部５から出力される目的部分領域特徴と、索引検索部６から出力される検索候補特徴としての蓄積連結特徴の集合とを読み込む。
そして、特徴照合部７は、次目的部分領域特徴選定部１２により、次に照合すべき目的部分領域特徴が指定されている場合、該目的部分領域特徴を読み込む。この次目的部分領域特徴選定部１２は、本実施形態において後述する。

また、特徴照合部７は、次連結特徴選定部１３から、次に照合すべき検索候補特徴が指定されている場合、該検索候補特徴を読み込む。この次連結特徴選定部１３は、本実施形態において後述する。
次に、特徴照合部７は、次目的部分領域特徴選定部１２から読み込んだ目的部分領域特徴と、次連結特徴選定部１３から読み込んだ検索候補特徴の集合との照合を行う。
このとき、特徴照合部７は、上記目的部分領域特徴と検索候補特徴との距離、例えば、自乗誤差の演算を行う。

ここで、特徴照合部７は、指定された目的部分領域特徴がなければ、初期目的部分領域特徴として、例えば、目的画像の左上角の位置に対応する目的部分領域特徴を指定し、上記検索候補特徴と照合処理を行う（ステップＳ１０）。
また、特徴照合部７は、指定された検索候補特徴がなければ、初期の検索候補特徴として、例えば、任意に選択した検索候補特徴を指定し、上記目的部分領域特徴と照合する。
そして、特徴照合部７は、照合計算（検索候補特徴と目的部分領域特徴との間の距離の演算）を行う。そして、特徴照合部７は、照合に用いた検索候補特徴である蓄積連結特徴に対応する連結最大差分値を、連結最大差分値の集合から上記蓄積連結特徴に基づき抽出し、上記距離値から連結最大差分値を減算し、減算結果の距離値を補正距離値ｄ(ω)として出力する。

次に、照合結果判定部８は、目的画像と類似する映像フレームの一部分が、現在の照合箇所に存在する可能性があるか否かの判定、すなわち、特徴照合部７から出力される補正距離値ｄ(ω)を読み込み、この補正距離値ｄ(ω)と、前記選択閾値θ_２との比較を行う。
そして、照合結果判定部８は、補正距離値ｄ(ω)が選択閾値θ_２以下となったとき、目的画像と類似する映像フレームの一部分が現在の照合箇所に存在する可能性があると判定し、蓄積連結特徴を照合箇所として出力し、一方、補正距離値ｄ(ω)が選択閾値θ₂を超えているとき、目的画像と類似する映像フレームの一部分が現在の照合箇所に存在する可能性がないと判定し、処理をステップＳ１５へ進める（ステップＳ１１）。
このとき、照合結果判定部８は、蓄積連結特徴が複数の蓄積部分特徴から構成されているため、照合箇所として、時間的に連続した複数の箇所を出力する。

次に、特徴再照合部９は、蓄積特徴抽出部１から出力される蓄積特徴の集合と、目的特徴抽出部４から出力される目的特徴の集合と、照合結果判定部８から出力される照合箇所（時間的に連続した複数箇所）とを読み込む。
そして、特徴再照合部９は、読み込んだ蓄積特徴に、目的画像と同じ大きさ（縦×横）の注目窓である第２注目窓を設定する。

ここで、特徴再照合部９は、第２注目窓の配置箇所を、照合結果判定部８から出力された照合箇所に対応して決定する。
すなわち、特徴再照合部９は、図５の概念図に示すように、第２注目窓の配置箇所に対する蓄積部分領域の相対的な位置が、目的画像における目的部分領域の相対的な位置と同一になるように、つまり、照合箇所における蓄積部分領域と目的部分領域とが重なる位置に、上記第２注目窓を配置する。

次に、特徴再照合部９は、第２注目窓内における蓄積特徴と目的特徴との照合を行う。
ここで、特徴再照合部９は、例えば、第２注目窓内の蓄積特徴と目的特徴との距離値ｄ、例えば、自乗誤差を計算する。
そして、特徴再照合部９は、照合計算結果である距離値ｄを出力する（ステップＳ１２）。
このとき、特徴再照合部９は、上述した照合計算を照合結果判定部８の出力する照合箇所、すなわち複数の箇所全てに対して行い、各々の距離値ｄからなる集合を出力する。

次に、照合結果再判定部１０は、目的画像と類似する、蓄積画像における映像フレームの一部分が現在の照合箇所に存在するか否かの判定を行い、すなわち、特徴再照合部９から出力された距離値ｄの集合を読み込み、この集合の距離値ｄ各々と、予め定められた検索閾値θとの比較を行う。
このとき、照合結果再判定部１０は、いずれかの距離値ｄが検索閾値θ以下であるとき、目的画像と類似する映像フレームの一部分が現在の照合箇所に存在すると判定し、蓄積映像の映像フレームにおける該照合箇所を検出箇所として、この検出箇所の位置及び判定結果（存在したことを示す情報）を出力し、一方、距離値ｄが検索閾値θを超えたとき、目的画像と類似する映像フレームの一部分が現在の照合箇所に存在しないと判定し、処理をステップＳ１５へ進める（ステップＳ１３）。

上記選択閾値θ_２は、前記検索閾値θから決定され、以下に示す（４）式に示すように、選択閾値θ_２を設定すると、検索漏れを生じることがない。

上記（４）式において、Ｎは第１注目窓を重複も隙問もなく蓄積映像における映像フレーム中に配置したと仮定したとき、任意位置に配置された第２照合窓に含まれる第１照合窓の最小数であり、以下に示す（５）〜（７）式により与えられる。

ここで、（６）式におけるＮxは横方向の第１の照合窓の数であり、（７）式におけるＮyは縦方向の第１の照合窓の数である。
（６）式，（７）式，（９）式，（１０）式及び（１１）式の右辺に現れる [x] は、ガウス記号を表しており、実数ｘを超えない最大の整数を表している。
次に、検索結果候補選択部１１は、照合結果再判定部１０から出力される検出箇所と、特徴再照合部９から出力される距離値ｄの集合を読み込む。

次に、検索結果候補選択部１１は、上記検出箇所と、この検出箇所における距離値ｄとを、検索結果候補として登録する。
検索結果候補選択部１１は、例えば、距離値の大小にかかわらず、読み込んだ検出箇所と距離値ｄとの組を全て登録する。
また、検索結果候補選択部１１は、他の実施形態として、検索結果候補が予め定められた数量以下になるように登録する構成とすることも可能である。

すなわち、検索結果候補選択部１１は、検索結果候補を該数量までは無条件に検出箇所と距離値ｄとの組を登録し、該数量を超過する場合、例えば、すでに読み込まれた検索結果候補の中における最大距離値ｄmaxと、以降読み込んだ距離値ｄとを比較し、読み込んだ距離値ｄが最大距離値ｄmaxを下回る場合、最大距離値ｄmaxに対応する候補を削除し、新たに読み込んだ検出箇所と距離値ｄの組とを候補として登録する。
このように、検索結果候補選択部１１は、蓄積画像から上述した方法により検索結果候補を出力する（ステップＳ１４）。

次に、次目的部分領域特徴選定部１２は、目的部分領域特徴抽出部５から出力される目的部分領域特徴の集合を読み込み、必要に応じて、特徴照合部７から出力される補正距離値ｄ(ω)，検索閾値更新部１４から出力される選択閾値θ_２，及び周辺距離下限値計算部１７から出力される周辺距離下限値を読み込む。
上記検索閾値更新部１４及び周辺距離下限値計算部１７は、他の実施例において後述する。
そして、次目的部分領域特徴選定部１２は、次に照合すべき目的部分領域特徴の選択、すなわち次に照合する目的部分領域特徴の有無の検出を行い、照合箇所がないことを検出すると処理をステップＳ１６へ進め、一方、照合箇所があることを検出すると、次に照合する目的部分領域特徴を選択して、処理をステップＳ１０へ進める（ステップＳ１５）。

このとき、次目的部分領域特徴選定部１２は、例えば、現在注目している蓄積連結特徴に対して、照合が終了していない目的部分領域特徴があるか否かを判定して、終了していない目的部分領域特徴があれば、この中から任意の目的部分領域特徴を１つ選択し、全ての目的部分領域特徴の照合が終了している場合、次の、蓄積連結特徴に注目を変更するため、処理をステップＳ１６へ進める。
また、別の実施形態として、次目的部分領域特徴選定部１２は、上記周辺距離下限値を読み込んだ場合、この距離下限値が、読み込んだ選択閾値θ_２を上回る目的部分領域特徴との照合を省略し、この距離下限値が選択閾値θ_２以下の目的部分領域特徴から任意に１つ選択する構成とすることも可能である。
そして、次目的部分領域特徴選定部１２は、終了していない目的部分領域特徴があれば、照合箇所が選択された目的部分領域特徴と、この目的部分特徴に対応する目的映像における映像フレーム内の位置を出力する。

次に、次検索候補特徴選定部１３は、索引検索部６から出力される検索候補特徴の集合を読み込み、次に照合すべき検索候補特徴を選択、すなわち次に照合する検索候補特徴の有無の検出を行い、照合する検索候補特徴がないことを検出すると処理を終了させ、一方、照合する検索候補特徴があること（照合が終了していないこと）を検出すると、次に照合すべき検索候補特徴を選択して、処理をステップＳ１０へ進める（ステップＳ１６）。
このとき、次検索候補特徴選定部１３は、例えば、照合する検索候補特徴があることを検出すると、照合が終了していない検索候補特徴から任意に１つ選択する。
これにより、次検索候補特徴選定部１３は、選択された検索候補特徴を、特徴照合部７に対して出力する。

＜第２の実施例＞
この図において、本実施例の映像検索装置は、第１の実施例と同様に、蓄積特徴抽出部１と、蓄積部分領域特徴抽出部２と、索引付与部３と、目的特徴抽出部４と、目的部分領域特徴抽出部５と、索引検索部６と、特徴照合部７と、照合結果判定部８と、特徴再照合部９と、照合結果再判定部１０と、検索結果候補選択部ｌｌと、次目的部分領域特徴選定部１２と、次検索候補特徴選定部１３と、蓄積部分領域特徴連結部２０とを有しており、目的映像、すなわち参照している検索したい映像と、データベース等に蓄積されている蓄積映像、すなわち検索される検索対象の映像を入力とし、上記目的映像と類似する部分映像が含まれている蓄積映像中の位置情報を出力する。

蓄積特徴抽出部１は、蓄積映像の各映像フレームから、映像フレームを表現する蓄積特徴を、映像フレーム全体、または所定の画素数からなるブロック単位に抽出する。
蓄積部分領域特徴抽出部２は、上記蓄積特徴抽出部１から出力された特徴に対し、予め定められた所定の大きさの注目窓を、予め定められた所定の間隔で設定し（所定の間隔でずらし）、各注目窓内の特徴である蓄積部分領域特徴を抽出する。
蓄積部分領域特徴連結部２０は、上記蓄積部分領域特徴抽出部２から順次出力される蓄積部分領域特徴を、時系列に、すなわち時間軸方向に各々、所定の時間区間単位に連結して、それぞれの区間を蓄積連結特徴として出力する。
索引付与部３は、上記蓄積部分領域特徴連結部２０から出力される各蓄積連結特徴を、各々ベクトル量子化し、ベクトル量子化の符号語を、標識のための索引としてそれぞれに対し付与する。

目的特徴抽出部４は、目的映像の各映像フレームから、映像フレームを表現する目的特徴を、映像フレーム全体、または所定の画素数からなるブロック単位に抽出する。
目的部分領域特徴抽出部５は、上記目的特徴抽出部４が抽出した各映像フレームの目的特徴に対して、予め定められた所定の大きさの注目窓を設定し、この注目窓を１ピクセルずつずらしながら、各注目窓内の特徴である目的部分領域特徴の抽出を行う。
索引検索部６は、上記索引付与部３から出力される索引を用いて、上記目的部分領域特徴抽出部５の抽出した目的部分領域特徴の集合から、類似する蓄積連結特徴の抽出を行う。

特徴照合部７は、第１の実施例と同様に、上記索引検索部６が抽出した蓄積連結特徴に対応する蓄積部分領域特徴と、目的部分領域特徴抽出部５の抽出した目的部分領域特徴との距離を計算する。
照合結果判定部８は、上記特徴照合部７の演算した距離に基づいて、目的映像と類似する部分映像が蓄積映像中の当該箇所に存在する可能性があるか否かの判定を行う。

特徴再照合部９は、上記照合結果判定部８が目的画像と類似する部分映像が存在する可能性があると判定した場合、判定された蓄積映像における箇所において、蓄積特徴抽出部１の抽出した蓄積特徴に対し、目的画像と同じ大きさの照合窓を設定して、目的特徴抽出部４から出力された目的特徴との特徴距離を計算する。この特徴距離も上記距離と同様に各種の定義を用いることができる。
照合結果再判定部１０は、上記照合結果判定部８において用いられた距離に基づいて、目的映像と類似する部分映像が、蓄積映像中の当該箇所に存在するか否かの判定を行う。

検索結果候補選択部１１は、上記照合結果再判定部１０において目的映像と類似する部分映像が存在すると判定された蓄積映像中の箇所を、詳細な類似性の検討を行う検索結果候補とする。
次目的部分領域特徴選定部１２は、上記目的部分領域特徴抽出部５において抽出された目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴の指定を行う。
次検索候補特徴選定部１３は、上記索引検索部６から検索結果として出力された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴の指定を行う。

次に、図１及び図２を参照して、上述した映像検索装置の動作を説明する。図２は、図１の第２の実施例による映像検索装置の一動作例を具体的に示すフローチャートである。以下、ほぼ動作としては第１の実施例と同様であるため、異なる点を中心に説明を行う。
蓄積特徴抽出部１は、初めに、蓄積映像を、図示しないデータベースから読み込む（ステップＳ１）。
次に、蓄積特徴抽出部１は、入力した蓄積映像の各映像フレームから、第１の実施例と同様に、映像フレーム各々の特徴である蓄積特徴を抽出する（ステップＳ２）。

他の実施例として、例えば、蓄積映像から、所定の画素領域を、映像フレームの同一の位置において、時系列に連続する映像フレームから抽出、すなわち、例えば横ｂ_ｘピクセル，縦ｂ_ｙピクセル、時間方向ｂ_ｔフレーム程度の大きさの立体小領域（所定のピクセル平面を所定の映像フレーム数分含む３次元の領域）を、１ピクセルづつ縦方向（ｙ軸方向）及び横方向（ｘ軸方向）、及びフレーム方向（時間方向）にずらしながら、各立体小領域に含まれる各ピクセルのＲＧＢ画素値各々に対して、３次元ＤＣＴ(デジタルコサイン変換)を行い、その係数ベクトルを蓄積特徴とすることもできる。

このとき、蓄積映像の映像フレームの大きさがＢ_ｘ×Ｂ_ｙピクセルであり、蓄積映像が１秒あたりｐ枚の映像フレームで構成されているとすると、ｂ_ｘ×ｂ_ｙ×ｂ_ｔ次元の特徴ベクトルが、上記立体小領域を用いて１秒あたりに、（ｐ×Ｂ_ｘ×Ｂ_ｙ）／（ｂ_ｘ×ｂ_ｙ×ｂ_ｔ）個、算出される。
この場合、蓄積特徴抽出部１は、蓄積映像の各映像フレームから抽出された特徴である蓄積特徴の集合（所定の時間毎）を出力することになる。

次に、蓄積部分領域特徴抽出部２は、蓄積特徴抽出部１から、蓄積特徴の集合を読み込み、蓄積映像のある１つの箇所に、予め定められた所定の大きさの第１注目窓を設定する。
例えば、この第１注目窓は、大きさが横ｗ_ｘピクセル，縦ｗ_ｙピクセル，時間方向ｗ_ｔ映像フレームであり、初期状態として蓄積映像における先頭の映像フレームの左上の角に配置される。
そして、蓄積部分領域特徴抽出部２は、設定された上記第１注目窓内に含まれる部分映像の特徴である蓄積部分領域特徴を抽出する。
例えば、この蓄積部分領域特徴各々は、ＲＧＢ画素値をそのまま用いて、ｗ_ｘ×ｗ_ｙ×ｗ_ｔ×３次元の特徴ベクトルを１つ得ることになる。

また、蓄積部分領域特徴抽出部２は、他の実施形態において、例えば、蓄積部分領域特徴として、立体小領域内のＲＧＢ面素値の平均を演算し、得られた平均値を用い、上記第１注目窓内に、重複することも隙間もない状態に、上記立体小領域を配置して、この各立体小領域に対応する特徴を抽出して、特徴のベクトルを１つ得るように構成することも可能である。

さらに、蓄積部分領域特徴抽出部２は、他の実施形態において、例えば、蓄積部分領域特徴として、立体小領域内の２次元ＤＣＴ係数ベクトルを用い、上記第１注目窓内に重複することも隙問も存在しない状態に、上記小領域を配置して、この各小領域に対応する特徴を抽出して、特徴ベクトルを得るように構成することもできる。

さらに、蓄積部分領域特徴抽出部２は、他の実施例として、例えば、特徴として立体小領域内の３次元ＤＣＴ係数ベクトルを用いて、第１注目窓内に重複も隙間もなく立体小領域を配置し、各立体小領域に対応する蓄積部分領域特徴を抽出する、あるいは、それらをまとめて特徴ベクトルを１つ得るように構成しても良い。

第１注目窓は、各蓄積映像内において、予め定められた所定の間隔により、複数設定され、各注目窓内の部分映像から蓄積部分領域特徴を抽出する（ステップＳ３）。
すなわち、第１注目窓（横ｗ_ｘピクセル×縦ｗ_ｙピクセル×時間軸方向にｗ_ｔ映像フレーム数）は、蓄積映像内において、縦及び横並びに時間方向に、上記所定の間隔（各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にｍ_ｘピクセル，縦方向にｍ_ｙピクセル，時間軸方向にｍ_ｔ映像フレーム）で順次ずらして配置されている。

また、第１注目窓の配置問隔を、第１の実施例と同様に、以下マージンと呼ぶことにする。
そして、蓄積部分領域特徴抽出部２は、上記第１注目窓毎に得られた蓄積部分領域特徴の集合を出力する。

次に、ステップＳ４及びＳ５は第１の実施例と同様のため説明を省略し、ステップＳ６からの説明を行う。
そして、目的特徴抽出部４は、目的映像を読み込むが（ステップＳ６）、この目的映像の大きさは、横ｑ_ｘピクセル，縦ｑ_ｙピクセル，時間方向ｑ_ｔ映像フレームであり、第１の実施例と同様に、例えば、マージンと第１注目窓の大ききとの和（合計）以上、すなわちｑ_ｘ≧ｗ_ｘ＋ｍ_ｘ，ｑ_ｙ≧ｗ_ｙ＋ｍ_ｙ，ｑ_ｔ≧ｗ_ｔ＋ｍ_ｔに設定すると、大きさｑ_ｘピクセル×ｑ_ｙピクセル×ｑ_ｔ映像フレームの窓を任意位置に配置しても必ず１つ以上の蓄積部分領域を含むため、検索漏れを生じることがない。
そして、目的特徴抽出部４は、目的画像から特徴の抽出を、上記蓄積特徴抽出部１と同様の手法で行い、目的映像から抽出された特徴である目的特徴の集合を出力する（ステップＳ７）。

次に、目的部分領域特徴抽出部５は、目的特徴抽出部４の抽出した目的特徴の集合を読み込み、この目的映像のある１つの箇所に、蓄積部分領域特徴抽出部２で用いた注目窓と同様の大きさ（縦ｗ_ｘピクセル×横ｗ_ｙピクセル×時間方向ｗ_ｔ映像フレーム）の注目窓、すなわち、第１注目窓を用い、この第１注目窓内に含まれる画像の特徴である目的部分領域特徴を抽出する。
また、目的部分領域特徴抽出部５は、上記蓄積部分領域特徴抽出部２と同様の抽出方法を用いて、目的映像の特徴を抽出して、抽出結果を目的部分領域特徴の集合として出力する（ステップＳ８）。

ここで、目的部分領域特徴抽出部５は、蓄積部分領域特徴抽出部２における特徴抽出の場合と異なり、上記第１注目窓を、目的映像内に重複することもなく、かつ隙間もない状態に設定し、目的映像に対し、マージンとして、縦及び横方向において１ピクセルずつ、また時間軸方向に対しては１映像フレーム単位にてずらしながら、各位置において上記目的部分領域特徴の抽出を行う。
このとき、第１抽出窓は、例えば、少なくともマージンの大きさの分だけずらせば、検索漏れを生じさせることがない。
そして、目的部分領域特徴抽出部５は、上述した処理により抽出した、目的部分領域特徴の集合を出力する。

次に、これ以降のステップＳ９〜ステップＳ１６までの処理は第１の実施例と同様であり、説明を省略するが、（４）式におけるＮは、以下の（８）式〜（１１）式により求められる。

＜第３の実施例＞
図６は、請求項５に記載の方法を適用した第３の実施例による映像検索装置の構成例を示すブロック図である。
第２の実施例の部分画像検索装置は、請求項１〜４に記載の方法を適用した第１及び第２の実施例による部分画像検索装置に加え、さらに、図６に示すように、検索閾値更新部１４を設け、任意の目的画像、すなわち見本となる検索したい画像または映像と、蓄積映像、すなわち検索される長時間の映像を入力とし、目的画像と類似する画像が含まれている映像フレームの一部分の位置（第１の実施例に対応）、または目的映像と類似する部分映像が含まれている蓄積映像内の箇所（第２の実施例に対応）を出力する。

上記検索閾値更新部１４は、上記検索結果候補選択部１１から出力された検索結果候補から、上記特徴再照合部９から出力された距離値に基づいて、所定の距離内にある候補を検出し、この検出した候補の距離値に基づいて新たに検索閾値θを設定する。
次に、上述した蓄積特徴抽出部１から検索閾値更新部１４，蓄積部分領域特徴連結部２０における部分画像の検出処理を、図７を用いて具体的に説明する。ここで、図７は、図６に示す部分画像検索装置の動作例を示すフローチャートである。

図７のフローチャートは、図２に示す第１または第２の実施例のフローチャートに対して、ステップＳ１４の「検索結果の候補選択」の処理の次に、ステップＳ１７の「検索閾値更新」の処理が追加されたのみで、他の処理については同様であるため、このステップＳ１７の処理の説明のみを行う。
検索閾値更新部１４は、検索結果候補選択部１１から出力される検索結果候補を読み込み、この読み込んだ検索結果候補の中から、距離値が最大の検索結果候補を選び出し、選択した検索結果候補の距離値が検索閾値θ以下であるか否かの判定を行い、この距離値が探索結果閾値θ以下であることを検出した場合、検索閾値θをその距離値と同じ値に更新する。
そして、（４）式に基づいて検索閾値θから選択閾値θ_２を計算し、更新した検索閾値θと共に出力する（ステップＳ１４）。
これ以降は、この更新された検索閾値θ及び選択閾値θ_２が照合結果の判定に用いられる。

＜第４の実施例＞
図８は、請求項１０に記載の方法を適用した第４の実施例による映像検索装置の構成例を示すブロック図である。
この第４の実施例による映像検索装置は、第１〜第３の実施例の映像検索装置に対して、目的代表特徴抽出部１５を加えたものであり、目的画像または目的映像、すなわち見本となる検索したい画像または映像と、蓄積映像、すなわち検索される映像とを入力し、目的画像と類似する画像が含まれている蓄積映像中の映像フレーム内の位置、または目的映像と類似する部分映像が含まれている蓄積映像内の箇所を検索し、検索結果を出力する。
この目的代表特徴抽出部１５は、上記目的部分領域特徴抽出部５から出力された目的部分領域特徴の集合を分類し、各分類を代表する部分領域特徴を代表特徴として抽出して出力する。

次に、上述した蓄積特徴抽出部１から目的代表特徴抽出部１５，蓄積部分領域特徴連結部２０における部分画像の検出処理を、図９を用いて具体的に説明する。ここで、図９は、図８に示す映像検索装置の動作例を示すフローチャートである。
図９のフローチャートは、図７に示す第４の実施例のフローチャートに対して、ステップＳ８の「目的部分領域の抽出」の処理の次に、ステップＳ１８の「目的代表特徴の抽出」の処理が追加されたのみで、他の処理については同様であるため、このステップＳ１８の処理の説明のみを行う。

目的代表特徴抽出部１５は、目的部分領域特徴抽出部５から出力される目的部分領域特徴の集合を読み込み、これら複数の目的部分領域特徴に対してクラスタリング処理を行う。
このとき、目的代表特徴抽出部１５は、例えば、クラスタを１つだけ用意し（共通の特徴ベクトルを抽出する）、上記集合における全ての目的部分領域特徴をそのクラスタに所属させる（１つの目的代表特徴を出力することになる）。

さらに、目的代表特徴抽出部１５は、別の実施例として、目的部分領域特徴に対応する目的画像中の位置を、読み込んだ全ての目的部分領域特徴について抽出し、その存在範囲を格子状に区切り、各格子をクラスタと対応させる構成とすることも可能である。
また、さらに、目的代表特徴抽出部１５は、別の実施例として、同一クラスタ内の目的部分領域特徴同士の距離の最大値が、予め定められた閾値である分類閾値を上回らないように、クラスタを併合することも可能である。

このとき、目的代表特徴抽出部１５は、クラスタの初期状態として、例えば、読み込んだ目的部分領域特徴の数だけ用意したクラスタに１つずつ目的部分領域を割り当てたものを用いる。
次に、目的代表特徴抽出部１５は、上記各クラスタから、該クラスタを代表する部分領域特徴である代表特徴を抽出する。目的代表特徴抽出部１５は、例えば、クラスタ内の任意に選択した１つの目的部分領域特徴を代表特徴とする。

また、目的代表特徴抽出部１５は、別の実施例として、ある特定位置に対応する目的部分領域特徴を代表特徴とすることもできる。
この特定位置とは、例えば、目的画像の左上角の位置などである。
さらに、目的代表特徴抽出部１５は、別の実施例として、クラスタ内の目的部分領域特徴の重心にある目的部分特徴を代表特徴とする構成とすることもできる。
そして、目的代表特徴抽出部１５は、上述した第４の実施例における各実施例により求めた、代表特徴あるいはその集合を出力する。
次のステップＳ９において、索引検索部６は、上記目的代表特徴を用いて、蓄積画像の索引との照合処理を行う。

＜第５の実施例＞
図１１は、請求項１２に記載の方法を適用した第５の実施例による映像検索装置の構成例を示すブロック図である。
この第５の実施例による映像検索装置は、第１、第２、第３、第４の実施例の映像検索装置に対して、目的部分領域間距離計算部１６と、周辺距離下限値計算部１７とを加えたものであり、目的画像または目的映像、すなわち見本となる検索したい画像または映像と、蓄積映像、すなわち検索される映像とを入力し、目的画像と類似する画像が含まれた蓄積画像中の映像フレーム内における位置、または、目的映像と類似する部分映像が含まれている蓄積映像内における箇所を検索し、検索結果を出力する。

上記目的部分領域間距離計算部１６は、上記目的部分領域特徴抽出部５から出力された目的部分領域特徴について、部分領域特徴同士の距離を計算する。
そして、目的代表特徴抽出部１５が設けられている場合は、目的部分領域特徴と、それに対応する目的代表特徴との距離を計算する。
上記周辺距離下限値計算部１７は、特徴照合部７から出力された距離値と、目的部分領域間距離計算部１６から出力された距離値とを用い、特徴照合部７で照合を行った検索候補特徴と、上記目的部分領域特徴抽出部５から出力された各目的部分領域特徴との距離を演算して、この演算結果から下限値を抽出する。

次に、上述した蓄積特徴抽出部１から周辺距離下限値計算部１７，蓄積部分領域特徴連結部２０における部分画像の検出処理を、図１１を用いて具体的に説明する。ここで、図１１は、図１０に示す部分画像検索装置の動作例を示すフローチャートである。
図１１のフローチャートは、図９に示す第４の実施例のフローチャートに対して、ステップＳ１８の「目的代表特徴の抽出」の処理の次に、ステップＳ１９の「目的部分領域間距離の演算」の処理が追加され、また、ステップＳ１５の「次の目的部分領域特徴の有無」の処理の直前に、ステップＳ２０の「周辺距離下限値の演算」の処理が追加されたのみで、他の処理については同様であるため、このステップＳ１９及びステップＳ２０の処理の説明のみを行う。

目的部分領域間距離計算部１６は、目的部分領域特徴抽出部５から出力される目的部分領域特徴の集合を読み込み、各目的部分領域特徴同士の距離を計算する。
そして、目的部分領域間距離計算部１６は、例えば、全ての目的部分領域特徴の組に対して距離計算を行う。ここで、距離尺度としては、例えば、自乗誤差を用いる。
また、別の実施例として、目的代表特徴抽出部１５が設けられている場合には、さらにこの目的代表特徴抽出部１５から出力される目的代表特徴の集合を読み込み、各目的部分領域特徴と、それに対応する目的部分領域特徴との距離を計算することも可能である。
上述したように、目的部分領域間距離計算部１６は、目的部分領域特徴同士の距離、あるいは目的部分領域特徴と目的代表特徴との距離を出力する。
上述した距離を用いて、ステップＳ９において、索引による検索が行われる。

次に、周辺距離下限値計算部１７は、特徴照合部７から出力される距離値と、目的部分領域間距離計算部１６から出力される部分領域間距離とを読み込む。
そして、周辺距離下限値計算部１７は、読み込んだ距離値と部分領域問距離とから、蓄積部分領域特徴と各目的部分領域特徴との距離の下限値を計算する。
このとき、周辺距離下限値計算部１７は、蓄積部分領域特徴ｆ_Ｄ ^（Ｗ）と、目的部分領域特徴ｆ_Ｑ２ ^（Ｗ）との距離の下限値bound(ｆ_Ｄ ^（Ｗ），ｆ_Ｑ２ ^（Ｗ）)は、三角不等式に基づいて、以下の（１２）式により求められる。

上記（１２）式において、ｄ(ｆ_Ｄ ^（Ｗ），ｆ_Ｑ１ ^（Ｗ）)は特徴照合部７（類似度計算部１００の構成）から読み込んだ距離値であり、ｄ(ｆ_Ｑ１ ^（Ｗ），ｆ_Ｑ２ ^（Ｗ）)は読み込んだ目的部分領域間距離である。
上述したように、周辺距離下限値計算部１７は、蓄積部分領域特徴と、目的部分領域特徴との距離の下限値である周辺距離下限値を出力する。
そして、次のステップＳ１５において、次目的部分領域特徴選定部１２は、上記周辺距離下限値を入力し、この距離下限値が、読み込んだ選択閾値θ_２を上回る目的部分領域特徴との照合を省略し、この距離下限値が選択閾値θ_２以下の目的部分領域特徴から任意に１つ選択する。

＜第６の実施例＞
図１２は、本発明の第６の実施例である映像検索装置の構成を示すブロック図である。
この図６に示す映像検索装置は、蓄積特徴抽出部１と、蓄積部分領域特徴抽出部２と、蓄積部分領域特徴連結部２０と、索引付与部３と、索引格納部３０と、目的特徴抽出部４と、目的部分領域特徴抽出部５と、索引検索部６と、類似度計算部２００とから構成され、映像フレームより小さな検索したい画像、すなわち目的画像と、検索される対象である蓄積映像を入力し、目的画像と類似する部分画像が含まれている映像フレームの蓄積映像における位置を出力する。また、検索鍵として映像、すなわち目的映像を入力した場合には、目的映像に類似する映像の部分領域が含まれている蓄積映像内の区間を出力する。
また、上記類似度計算部２００は、次連結特徴選定部１３と、次目的部分領域特徴選定部１２と、特徴照合部７と、検出結果判定部３１と、特徴再照合部９と、検出結果再判定部３２と、検出結果候補選択部３３とから構成されている。

蓄積特徴抽出部１は、蓄積映像の各映像フレームから、映像フレームを表現する蓄積特徴（特徴ベクトル）を、映像フレーム全体、または所定の画素数からなるブロック単位に抽出する。
蓄積部分領域特徴抽出部２は、上記蓄積特徴抽出部１から出力される蓄積特徴に対し、予め設定された所定の大きさの注目窓を所定の間隔で複数設定し（所定の間隔でずらし）、各注目窓の範囲に含まれる蓄積特徴を、蓄積部分領域特徴として抽出する。
蓄積部分領域特徴連結部２０は、上記蓄積部分領域特徴抽出部２から出力される蓄積部分領域特徴を、それぞれに位置的に近いものを時間軸方向に順次連結し、各連結ブロック内の特徴である蓄積連結特徴を導く。

索引付与部３は、上記蓄積部分領域特徴連結部２０から出力される各蓄積連結特徴を各々ベクトル量子化し、ベクトル量子化の符号語を、標識のための索引として、各蓄積連結特徴それぞれに対して付与する。
索引格納部３０は、上記索引付与部３の出力する索引を格納する。
目的特徴抽出部４は、目的画像、または目的映像の各映像フレームから目的特徴（特徴ベクトル）を抽出する。
目的部分領域特徴抽出部５は、上記目的特徴抽出部４が抽出した目的特徴に所定の大きさの注目窓を設定し、この注目窓を所定のピクセル（画素）単位、例えば１ピクセルずつずらしながら、各注目窓に含まれる目的特徴を、目的部分領域特徴として抽出する。

索引検索部６は、上記索引付与部３から出力される索引を用いて、上記目的部分領域特徴抽出部５の抽出した目的部分領域特徴の集合に対して類似する蓄積連結特徴を、索引を用いて検出する。
また、索引検索部６は、上記索引により類似する蓄積連結特徴が検出された場合、この検出した蓄積連結特徴を類似度計算部２００に送出し、一方、何も検出されなかった場合、この処理において映像検索処理を終了する。

類似度計算部２００において、各構成により、目的部分領域特徴と索引検索部６で検出された類似する可能性のある蓄積連結特徴との距離を逐次計算し、部分領域における類似性が確認された場合に、蓄積特徴上の該箇所に目的画像と同じ大きさの照合窓を設定し、目的特徴と照合窓の類似度を所定の検索閾値から計算する。
そして、類似度計算部２００は、索引検索部６により検出された全ての蓄積連結特徴について照合が終了した場合、その照合結果を出力し、映像検索処理を終了する。

次に、第６の実施例における映像検索装置における各構成の詳細な説明、すなわち各構成と類似度計算部２００の各要素との動作の説明を行う。
蓄積特徴抽出部１は、与えられた蓄積映像を読み込んで入力し、蓄積映像から映像フレームごとに蓄積特徴を抽出する。
このとき、蓄積特徴抽出部１は、入力された蓄積映像の各フレームから、小領域（横b_xピクセル、縦b_yピクセル）を縦横１ピクセルずつずらしながら取り出し、各小領域におけるＲＧＢ（Red，Green，Blueの３原色）各色の画素について平均値を計算する。ここで、蓄積特徴は小領域内のＲＧＢそれぞれの平均画素値からなる３次元ベクトルからなる特徴ベクトルにより表現される。

また、蓄積特徴抽出部１における映像信号の特徴抽出方法には、上述した各小領域のＲＧＢ各々に対して公知のディジタル画像圧縮技術である２次元ＤＦＴ（離散フーリエ変換）、２次元ＤＣＴ（離散コサイン変換）、あるいは２次元ＤＷＴ（離散ウェーブレット変換）を施し、その係数ベクトルを利用する方法もある。
さらに他の実施形態として、入力された蓄積映像から小領域（横b_xピクセル、縦b_yピクセル、時間方向b_tフレーム）を縦横１ピクセルずつ、時間方向１フレームずつずらしながら取り出し、各小領域のＲＧＢ各々に対して公知のディジタル映像処理技術である３次元ＤＣＴを施し、その係数ベクトルを利用する方法もある。

なお、本実施例においては、上述の小領域をユニットとして特徴抽出を行ったが、小領域を画素（１ピクセル、すなわちｂ_x＝ｂ_y＝ｂ_t＝１）とみなし、蓄積映像の各フレームにおけるＲＧＢ画素値をそのまま用いてもかまわない。
蓄積特徴抽出部１は、上述したように、各映像フレームにおいて抽出した蓄積特徴の集合を、蓄積部分領域特徴抽出部２に出力する。
そして、蓄積部分領域特徴抽出部２は、蓄積特徴抽出部１から入力される蓄積特徴の集合に対し、注目窓を所定の間隔にて複数設定し、注目窓内の特徴である蓄積部分領域特徴を抽出する。

上記注目窓は、例えば、横ｗ_xピクセル×縦ｗ_yピクセルとして設定され、図３に示されるように、蓄積映像の映像フレーム内において、縦及び横方向に上記所定の間隔（各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にｍ_ｘピクセル、縦方向にｍ_ｙピクセル）で配置する。注目窓の配置間隔を本発明ではマージンと呼ぶことにする。
そして、蓄積部分領域特徴抽出部２は、この注目窓内に重複も隙間もなく小領域を配置して（各小領域が隣接するように配置し）、この小領域に対応する特徴を抽出する。
これにより、蓄積部分領域特徴抽出部２は、上記小領域特徴を順に並べて、ベクトルとした蓄積部分領域特徴を出力する。

他の実施形態として、蓄積部分領域特徴抽出部２は、蓄積特徴抽出部１が画素単位で特徴抽出を行った場合、注目窓内のＲＧＢ画素値をそのまま取り出し、このＲＧＢ画素値を蓄積部分領域特徴として出力してもよい。
そして、蓄積部分領域特徴抽出部２は、上述したように求めた蓄積部分領域特徴の集合を、蓄積部分領域特徴連結部２０に対して出力する。

蓄積部分領域特徴連結部２０は、蓄積部分領域特徴抽出部２から入力される蓄積部分領域特徴の集合について、時間軸方向に連続する蓄積部分領域特徴を所定の基準で連結し、各連結ブロック内の特徴である蓄積連結特徴を導く。
このとき、蓄積部分領域特徴連結部２０は、例えば、連結させる蓄積部分領域特徴の数が予め基準として設定されており、その基準の示す連結数の分だけ、映像フレーム内の位置が同一であり、かつ時間軸方向に連続する蓄積部分領域特徴を集合させ、これら複数の蓄積部分領域特徴を一つのブロックとする。

また、他の実施形態として、例えば、蓄積部分領域特徴連結部２０を、連結を開始する蓄積部分領域特徴と、映像フレーム内の位置が同一であり、かつ時間軸方向に連続する蓄積部分領域特徴との距離を計算し、これらの距離が所定の連結閾値を超えるまで、蓄積部分領域特徴を連結するように構成してもよい。ここで用いる距離の計算法は、後述の類似度計算部にて説明する。

さらに他の実施形態として、例えば、蓄積部分領域特徴連結部２０を、連結を開始するある蓄積部分領域特徴について、時間軸に連続する次の映像フレーム上の、これと同一位置またはその近傍領域にある蓄積部分領域特徴のうち距離が最小となる蓄積部分領域特徴を連結するように構成してもよい。これを時間軸方向に再帰的に繰返すことで、蓄積映像のフレーム数だけ蓄積部分領域特徴を連結することができる。
このとき、距離が最小となる蓄積部分領域特徴と必ず連結する構成の他に、例えば、距離が所定の連結閾値を下回る場合にのみ連結する構成も可能である。
上記近傍領域は、例えば、蓄積部分領域から横ａ_ｘピクセル、縦ａ_ｙピクセル以内の範囲とする、アプリケーション毎に設定する範囲の領域を示す。
また、あるいはすでに連結されている、時間軸逆方向に連続する蓄積部分領域の移動量を平均し、その分近傍領域をシフトさせる構成も可能である。この移動量の計算法は、後述の類似度計算部２００にて説明する。

次に、蓄積部分領域特徴連結部２０は、連結した蓄積部分領域特徴の各ブロックから蓄積連結特徴を抽出する。このとき、蓄積部分領域特徴連結部２０は、例えば、各ブロックにおいて、連結の先頭に位置する蓄積部分領域特徴をブロックの代表である蓄積連結特徴として抽出する。
他にも、上記蓄積部分領域特徴のブロックにおいて、連結された蓄積部分領域特徴に対応する蓄積部分領域の重心を蓄積連結特徴として出力するように構成してもよい。
そして、蓄積部分領域特徴連結部２０は、ブロック内のすべての蓄積部分領域特徴と、それらを代表する蓄積連結特徴との距離を計算し、これらの距離の最大値である連結最大差分値を、ブロック毎に保持する。
蓄積部分領域特徴連結部２０は、蓄積連結特徴ならびにこの蓄積連結特徴の保持する連結最大差分値をブロック毎に索引付与部３へ出力する。

索引付与部３は、蓄積部分領域特徴連結部２０から出力された蓄積連結特徴に対し、以下に示すように、検索を容易にするための索引を付与する。
本実施例においては、特許文献（特許第３５７４０７５号「信号検出方法、信号検出装置、記録媒体及びプログラム」）に記載された手法を用い、予め作成されたベクトル量子化符号帳により蓄積連結特徴の特徴ベクトルをベクトル量子化し、得られた符号を索引とする。上記符号と、この符号に対応した見本特徴としての特徴ベクトルとの対応がベクトル量子化符号帳に記載されており、例えば、ベクトル量子化の符号語数（符号の数）がＣ個（Ｃ個のクラスタ）であれば、蓄積連結特徴は特徴ベクトルの距離がより近い、見本特徴の符号に振り分けられ、Ｃ個のクラスタのいずれかに分類されることになる。
ここで、ベクトル量子化は、例えば自乗誤差を距離関数として用い、蓄積連結特徴ベクトルとクラスタ重心との距離を算出し、距離値が最小となるクラスタに蓄積連結特徴を所属させ、このクラスタに対応する符号語を出力することによって行われる。

索引付与の方法に関する他の実施形態として、例えば、Ｒ^*−Ｔｒｅｅ（“The R^*-Tree: an efficient and robust access method for points and rectangles”, N. Beckman 他一名, Proc. of ACM SIGMOD Conference, pp.322-331, 1990）や、ＳＲ−Ｔｒｅｅ（”SR-Tree: 高次元データに対する最近接探索のためのインデックス構造の提案“, 片山紀生 他一名, 電子情報通信学会論文誌 D-I, Vol. J80-D-I, No.8, pp.703-717, 1997 Aug）などは、多次元インデックス手法と総称される手法である。
これらの手法は、特徴の存在する多次元空間内で特徴を包含する領域を階層的に作成し、作成されたなかで最下層の領域と特徴とを対応づけることにより索引を付与している。
この特徴を包含する上記領域は、Ｒ^*−Ｔｒｅｅであれば３次元空間における直方体に相当する超直方体であり、ＳＲ−Ｔｒｅｅであれば超直方体と、３次元空間における球に相当する超球との重なりとなる。

上述したように、索引付与部３は、付与した索引を索引検索部６へ直接送信するか、または一旦索引格納部３０へ登録するか、いずれかの処理を行う。
すなわち、映像検索装置が、目的画像または目的映像、及び蓄積映像を同時に読み込み、リアルタイムで検索を行うアプリケーションの場合、索引付与部３は索引を索引検索部６へ送出し、一方、それ以外の場合、索引格納部３０へ蓄積映像ごとに索引の登録処理を行う。

また、目的特徴抽出部４は、目的画像、または目的映像を読み込む。このとき、読みこなれる目的画像または目的映像の映像フレームの大きさは、縦ｑ_ｘピクセル、横ｑ_ｙピクセルで、図３におけるマージンと注目窓サイズとの和（合計）以上、すなわちｑ_ｘ≧ｗ_ｘ＋ｍ_ｘ及びｑ_ｙ≧ｗ_ｙ＋ｍ_ｙであれば、蓄積映像中の各映像フレームについて、大きさｑ_ｘ×q_ｙピクセルの窓を任意の位置に配置しても必ず１つ以上の蓄積部分領域を含むので、検出漏れを生じることはない。

次に、目的特徴抽出部４は、すでに述べた蓄積特徴抽出部１と同様に、目的画像または目的映像に小領域を設定し、小領域を縦横１ピクセルずつ（時間方向にずらす必要がある場合には、時間方向に１フレームずつ）ずらしながら各小領域における特徴を抽出する。
あるいは、蓄積特徴抽出部１において他の特徴抽出手段を用いる場合には、目的特徴抽出部４は、これと同様の手法で特徴抽出を行う。
目的特徴抽出部４は、目的特徴（特徴ベクトル）の集合を目的部分領域特徴抽出部５へ送出する。

目的部分領域特徴抽出部５は、目的特徴抽出部４から入力される目的特徴に対し、蓄積部分領域特徴抽出部２にて用いた注目窓と同じ大きさの注目窓を複数設定し、注目窓内における（含まれる）特徴を、目的部分領域特徴として抽出する。
ここで、目的部分領域特徴抽出部５は、注目窓の設定方法として、蓄積部分領域特徴抽出部２と異なり、注目窓を目的画像内に重複することもなく、かつ隙間もない状態に設定し、それらを１ピクセルずらしながら、各位置において目的部分領域特徴の抽出を行う。

このとき、上記注目窓は、蓄積部分領域特徴抽出部２で用いたマージンの分、すなわち縦m_xピクセル、横m_yピクセルだけずらせば、検索漏れを生じさせることがない。
そして、目的部分領域特徴抽出部５は、この注目窓内に重複も隙間もなく小領域を配置し、この小領域に対応する特徴を抽出する。
この目的部分領域特徴抽出部５における、小領域から特徴を抽出する処理は、蓄積部分領域特徴抽出部２と同様である。また、蓄積部分領域特徴抽出部２において他の特徴抽出手段を用いる場合には、目的部分領域特徴抽出部５においても、蓄積部分領域特徴抽出部２と同様の特徴抽出処理を行う。
そして、目的部分領域特徴抽出部５は、上述のように求めた目的部分領域特徴の集合Ｗを索引検索部６へ出力する。

次に、索引検索部６は、目的部分領域特徴抽出部５から入力される目的部分領域特徴の集合Ｗ、および索引付与部３から索引を読み込む。
また、索引検索部６は、目的画像または目的映像、及び蓄積映像を同時に入力してリアルタイムに類似を判定する場合以外、索引格納部３０から順次索引を読み出して、目的部分領域特徴と比較を行う。
そして、索引検索部６は、読み込んだ上記索引を用い、目的部分領域特徴の集合に類似した蓄積連結特徴の検索を行う。

このとき、索引検索部６は、目的部分領域特徴の集合Ｗ内におけるいずれかの目的部分領域特徴に対し、距離値が、所定の閾値である選択閾値θ₂を下回る蓄積連結特徴を索引から抽出する。
上記距離計算は、後述する類似度計算部２００で行われる処理と同様である。すなわち、上記距離値は、例えば特徴ベクトル間の距離関数とし、自乗誤差により計算することができる。
また、上記選択閾値θ₂は、類似度計算部２００で与えられる検索閾値θから自動的に決定される値である。この選択閾値θ₂の決定方法については後述する。

ここでの具体的な検索方法は、上記索引付与部３において付与された索引の種類によって異なり、それぞれの文献に記載されている手法を用いることで索引検索を行う。
例えば、テンプレートを用いた量子化によって索引を付与した場合、すなわち特許第３５７４０７５号に記載された手法により索引を付与した場合、以下のようにして所望の蓄積連結特徴である検索候補特徴を抽出することができる。
すなわち、索引検索部６は、目的部分領域特徴と、索引付与部３で作成された索引（クラスタを示す符号）と、選択閾値θ₂とを読み込む。
次に、索引検索部６は、目的部分領域特徴と各クラスタ重心との距離を計算し、この計算結果の距離値が選択閾値θ₂を下回るクラスタを選択することにより、このクラスタに所属する蓄積連結特徴をすべて抽出する。

上述した索引検索部６が行うクラスタ選択の原理は以下のように説明されるものである。
図４は、点Ｑ、Ｃ_１、Ｃ_２の３点が乗るような平面であり、特徴ベクトルが配置される特徴空間を切り出した様子を示している。
ここで、点Ｑは目的部分領域特徴、Ｃ_１は目的部分領域特徴Ｑが所属しているクラスタのクラスタ重心、Ｃ_２は他のクラスタのクラスタ重心を表しており、距離ｄ_Ｑ１、ｄ_Ｑ２、ｄ_１２は、それぞれ、点Ｑと点Ｃ_１との距離、点Ｑと点Ｃ_２との距離、点Ｃ_１と点Ｃ_２との距離を示している。
ここで、目的部分領域特徴の座標である点Ｑからの距離ｄ_ｔが、選択閾値θ₂以内である蓄積連結特徴を抽出しなければならないとすると、点Ｑを中心とする半径θ₂の超球（図４においては円）の内部にある蓄積連結特徴がそれに該当することになる。

そして、点Ｑを中心とする超球の半径（すなわち選択閾値θ₂）が、図４における距離ｄ_θより大きくなったとき、点Ｃ_１に対応するクラスタに所属する蓄積連結特徴のみならず点Ｃ_２に対応するクラスタの中にも、所望の蓄積連結特徴が含まれている可能性がある。
このため、選択閾値θ₂が図４における距離ｄ_θより大きくなったとき、そのクラスタを選択する。ｄ_θは、以下に示す（１３）式より導かれる（１４）式から求められる。

さらに、蓄積連結特徴に対応する連結最大差分値を考慮して、索引検索部６は、以下に示す（１５）式が成り立つとき、点Ｃ2に対応するクラスタを選択し、そのクラスタに属する蓄積連結特徴のすべてを抽出する。

この（１５）式において、ｒ_２'は、点Ｃ2に対応するクラスタに所属する蓄積連結特徴の連結最大差分値について、そのクラスタ内最大値をとったものである。
そして、索引検索部６は、上述した手順を、目的部分領域特徴Ｑの所属するクラスタを除くすべてのクラスタに対して行い、抽出された目的部分領域特徴に類似する可能性のある蓄積連結特徴を類似度計算部２００に対して出力する。ここで、目的部分領域特徴に類似する可能性のある蓄積連結特徴の集合をＦとする。
一方、索引検索部６は、目的部分領域特徴に類似する可能性のある蓄積連結特徴が検出されなかった場合、映像検索装置における検索処理をここで終了する。

類似度計算部２００において、次連結特徴選定部１３は、目的部分領域特徴に類似する可能性のある蓄積連結特徴の集合Ｆを、索引検索部６から入力する。
そして、次連結特徴選定部１３は蓄積連結特徴を順次取り出す。また、次目的部分領域特徴選定部１２は取り出された上記目的部分領域特徴に対し、特徴照合部７にて距離計算を行う。
次に、検出結果判定部３１がある蓄積連結特徴に類似する目的部分領域特徴を検出した場合、特徴再照合部９は、この蓄積連結特徴が帰属する蓄積映像の映像フレーム（蓄積特徴の集合）に、目的画像または目的映像のフレームサイズ（目的特徴の集合）と同じ大きさの照合窓を設定し、目的特徴と蓄積特徴上の照合窓との距離値を計算する。
そして、検出結果再判定部３２は、目的特徴と上記照合窓内の特徴との類似性を判定し、検出結果候補選択部３３は検出結果の出力数を制御する。

具体的な類似度計算部２００の動作を、図２のフローチャートに従って、以下に説明する。
まず、次連結特徴選定部１３は、目的部分領域特徴に類似する可能性のある蓄積連結特徴の集合Ｆから、蓄積連結特徴を一つ選択する（Ｓ１０１及びＳ１０２）。
次に、次目的部分領域特徴選定部１２は、選択した蓄積連結特徴と照合を行う目的部分領域特徴を、指定された順に取り出す（Ｓ２０１及びＳ２０２）。
ここで、次目的部分領域特徴選定部１２は、例えば、目的画像または目的映像の映像フレームの左上端または右下端より順次照合を行うように、目的部分領域特徴の設定を行う。

そして、類似度計算部２００における特徴照合部７は、蓄積連結特徴と目的部分領域特徴との間の距離値の計算を行う（Ｓ３０１）。
ここで、特徴照合部７は、上記距離値を、例えば、自乗誤差として計算することができる。次に、特徴照合部７は、計算した距離値から、照合を行った蓄積連結特徴の連結最大差分値を減算した補正距離値ｄ(ω)を求める。
次に、検出結果判定部３１は、算出された上記補正距離値ｄ(ω)を上記選択閾値θ₂と比較し（Ｓ３０２）、補正距離値ｄ(ω)が選択閾値θ₂以下である場合、照合を行った蓄積連結特徴を含む領域に目的画像または目的映像に類似する部分映像が存在する可能性があることを検出し、この蓄積連結特徴が代表する時間軸に連続した蓄積部分領域特徴の集合を出力する（Ｓ３０３）。
一方、検出結果判定部３１は、補正距離値ｄ(ω)が選択閾値θ₂を上回った場合、処理をステップＳ２０１に進め、上述した処理を再度実行する。

次に、特徴再照合部９は、目的画像または目的映像に類似する部分映像が存在する可能性があると判断された時間軸に連続した蓄積部分領域特徴の集合について、これらが帰属する蓄積特徴の集合を読み込み、目的特徴と同じ大きさの照合窓を設定する（Ｓ４０１）。
そして、特徴再照合部９は、目的特徴と、蓄積特徴における照合窓内の特徴との距離を算出する（Ｓ５０１）。
ここで、特徴再照合部９は、上記照合窓の設定を行う際、図５の概念図に示すように、照合窓の配置箇所に対する蓄積部分領域の相対的な位置が、目的画像または目的映像の映像フレームにおける目的部分領域の相対的な位置と同一になるように、つまり、照合窓における蓄積部分領域と、映像フレーム上の目的部分領域が重なる位置に照合窓を配置する。

そして、検出結果再判定部３２は、目的特徴と、各蓄積特徴上の照合窓における領域の特徴との類似度として、これら特徴の距離値ｄ、例えば蓄積特徴特と照合窓における領域の特徴との間の自乗誤差を、所定の検索閾値θと比較することで求める（Ｓ５０２）。
そして、検出結果再判定部３２は、得られた距離値ｄが検索閾値θ以下である場合、目的画像または目的映像に類似する領域が、蓄積映像中のこの照合窓の位置に存在すると判定し、照合窓の位置及び類似度を出力する（Ｓ５０３）。
一方、検出結果再判定部３２は、検索閾値θ以上であれば、処理をステップＳ２０１へ進め、上述した処理を再度実行する。
ここで、上記選択閾値θ₂は、前記検索閾値θから自動的に決定される値であり、以下に示す（１６）式を用いて設定すると検出漏れを生じることがない。

上記（１６）式において、「Ｎ」は、注目窓を重複も隙間もなく蓄積映像における映像フレーム中に配置したと仮定したとき、任意位置に配置された照合窓に含まれる注目窓の最小数であり、以下の（１７）式，（１８）式，（１９）式により与えられる。
また、以下の（１８）式におけるＮxは、照合窓内の横方向の注目窓の数であり、（１８）式におけるＮyは照合窓内の縦方向の注目窓の数である。ただし、（１８）式及び（１９）式におけるceil(x)は、ｘ以上の整数であり最小のものを表す。

また、類似度計算部２００における特徴照合部７を、距離値計算の途中で所定の閾値と随時比較し、閾値を超えたときその処理を終了するよう構成することも可能である。
すなわち、特徴照合部７が検索候補特徴と目的部分領域特徴とから、距離値を計算（Ｓ３０１）する過程において、特徴照合部７は、計算途中の補正距離値ｄ(ω)が選択閾値θ₂を超えたか否かを逐次的に評価し、補正距離値ｄ（ω）が選択閾値θ₂を超えたことを検出した時点にて、距離値の計算を打ち切るように構成しても良い。
また、特徴再照合部９が目的特徴と蓄積特徴上の照合窓との距離値を計算（Ｓ５０１）する過程においても、同様に、計算途中の距離値ｄを検索閾値θと比較して、θを超えた場合に、この距離値計算を打ち切るように、特徴再照合部９を構成しても良い。
この手法を用いることにより、類似度計算部２００における計算量を削減し、検索処理の高速化を図ることができる。

次に、類似度計算部２００における検出結果候補選択部３３は、ステップＳ５０２にて検出された蓄積映像における箇所と、その類似度（または距離値）を検出結果候補として登録する。
ここで、最終的に最も類似する箇所または上位κ箇所を出力するように構成した場合、検出結果候補選択部３３は、検出箇所をκ箇所まで無条件に登録する（Ｓ６０１及びＳ６０２）。
このとき、検出結果候補選択部３３は、κ箇所を超過する場合、例えば、新たに検出された箇所における距離値を、すでに登録された検出結果候補の距離値の最大値と比較し、これを下回る場合に最大距離値に対応する検出結果候補を削除し、新たな検出箇所とその類似度を検出結果候補として登録する（Ｓ６０３）。

類似度計算部２００の次目的部分領域特徴選定部１２は、上記ステップＳ２０１において、照合に用いる目的部分領域特徴を逐次選択し、すべての目的部分領域特徴について検索が終了、つまり目的部分領域特徴の集合Ｗが空集合（０）であることを検出した場合（Ｓ２１１）、ステップＳ１０１に処理を戻す。
これにより、次連結特徴選定部１３が次に照合を行う蓄積連結特徴を選択することで、類似度計算部２００の各構成がステップＳ１０２以降の処理を行う。
最後に、類似度計算部２００においてすべての蓄積連結特徴について照合が終了、すなわち、次連結特徴選定部１３が蓄積連結特徴の集合Ｆが空集合であることを検出した場合（Ｓ１１１）、検出結果候補選択部３３は、ステップＳ５０３において登録された検出結果を出力し、映像検索装置の検索処理が終了する。

＜第７の実施例＞
図１４は、本発明の第７の実施例である映像検索装置の構成を示すブロック図である。
第７の実施例である映像検索装置は、第６の実施例に更に、見本特徴作成部３４と、見本特徴格納部３５と、見本特徴間距離計算部３６と、見本特徴間距離格納部３７と、蓄積特徴量子化部３８と、目的特徴量子化部３９とを具備しており、特徴の典型的なパターンである見本特徴を用いて蓄積特徴ならびに目的特徴の量子化を行う。
このように構成することで、蓄積映像と目的画像あるいは目的映像内の位置関係を保持しながら照合の際に必要な情報量を大幅に削減することができ、また、既知の値である見本特徴間距離を用いて照合を行うことにより、実際の距離計算を省略できるようにしたものであり、高速検索処理を可能とした。

見本特徴作成部３４は、外部から入力される学習信号から、見本となる典型的な特徴パターンである見本特徴（特徴ベクトル）を複数作成し、見本特徴格納部３５に記憶させる。
見本特徴間距離計算部３６は、見本特徴作成部３４から入力される各見本特徴間の距離を計算し、計算結果の見本特徴間距離を見本特徴間距離格納部３７に記憶させる。
蓄積特徴量子化部３８は、蓄積画像の特徴である蓄積特徴を、見本特徴格納部３５に格納された見本特徴と比較することにより、相当する見本特徴の符号を割り当て、符号の集合である蓄積量子化特徴を求める。

目的特徴量子化部３９は、上記蓄積特徴量子化部３８と同様の方法により、すなわち、目的特徴と見本特徴格納部３５に格納された見本特徴とを比較することにより、目的画像の特徴である目的特徴に相当する見本特徴の符号を割り当て、符号の集合である目的量子化特徴を求める。
これにより、第７の実施例における蓄積部分領域特徴抽出部２および目的部分領域特徴抽出部５は、それぞれ蓄積量子化特徴、目的量子化特徴から蓄積部分領域特徴、目的部分領域特徴を抽出することとなる。

索引付与部３は、蓄積部分領域特徴連結部２０から入力される蓄積連結特徴に対し、見本特徴間距離格納部３７に格納された見本特徴間距離を用いて索引を付与する。
索引検索部６ならびに類似度計算部２００は、目的部分領域特徴と蓄積連結特徴との距離を、見本特徴間距離を用いて逐次計算し、類似することが確認された場合に、蓄積量子化特徴上の該箇所に目的量子化特徴と同じ大きさの照合窓を設定し、目的量子化特徴と照合窓の距離を計算する。

次に、第７の実施例である映像検索装置における各構成の詳細な説明、すなわち新たに付け加えた構成及び第６の実施形態と異なる動作の説明を行う。
まず、見本特徴作成部３４は、後に説明する見本特徴を抽出するため、必要に応じて、外部から学習信号を読み込む。
上記学習信号としては、例えば、１０００枚の画像群など、目的画像と蓄積画像との比較に対して、十分となる多数の（複数の）画像信号を用いる。しかしながら、下記に説明する確率分布を用いた見本特徴の作成手順のように、学習信号を用いない場合、上述した学習信号を読み込む必要はない。

次に、見本特徴作成部３４は、学習信号から特徴の抽出を行う。このとき、見本特徴作成部３４は、特徴の抽出方法として、すでに第６の実施例にて説明した蓄積特徴抽出部１の手順により特徴を抽出する。ここで、本発明においては、学習信号から抽出した特徴を、学習特徴と呼ぶこととする。また、上述した学習信号を用いない場合、この学習信号からの学習特徴の抽出処理を省略する。
そして、見本特徴作成部３４は、画像の特徴の典型的なパターンである見本特徴を複数作成する。このとき、見本特徴作成部３４は、見本特徴の作成において、多次元ガウス分布といった確率分布に基づいて、各見本特徴間のパターンの類似性を低くしてランダムに発生させることにより、複数の見本特徴の作成を行うことができる。

また、見本特徴作成部３４は、上述した確率分布を利用した見本特徴の作成に対する他の実施形態として、確率分布を用いずに見本特徴を作成する方法を用い、例えば、学習信号より導かれた学習特徴を特徴ベクトルと考え、その特徴ベクトルをベクトル量子化して分類することで見本特徴の抽出を行う構成としても良い。
ここで、見本特徴作成部３４は、学習信号の特徴ベクトルをベクトル量子化により分類する際、例えば、ベクトル量子化の符号語数がｎ個であれば、入力される学習特徴をｎ個の集合（以下、クラスタと呼ぶ）のいずれかに分類する。
そして、見本特徴作成部３４は、各クラスタに所属する学習特徴の重心となる特徴を抽出して、抽出された学習特徴を見本特徴として出力する。
これにより、見本特徴作成部３４は、抽出された見本特徴を見本特徴格納部３５に記憶させるとともに、見本特徴間距離計算部３６に対して、見本特徴のクラスタを出力する。

次に、見本特徴間距離計算部３６は、見本特徴作成部３４から入力されるすべての見本特徴において、全ての組合せの見本特徴間の距離、すなわち見本特徴間距離の計算を行う。
このとき、見本特徴間距離計算部３６は、例えば、各見本特徴（特徴ベクトル）間の自乗誤差を計算し、計算結果を見本特徴間距離とすることができる。
そして、見本特徴間距離計算部３６は、上述のように計算したすべての見本特徴の組合せ、すなわち見本特徴対毎の見本特徴間距離を見本特徴間距離格納部３７に記憶する。

次に、蓄積特徴量子化部３８は、見本特徴格納部３５に記憶されている見本特徴のクラスタと、蓄積特徴抽出部１から送出された蓄積特徴のクラスタとを読み込み、クラスタ間において、各蓄積特徴と各見本特徴とを照合し、蓄積特徴毎に、見本特徴に対応した符号を一つ割り当てる。
このとき、蓄積特徴量子化部３８は、符号を割り当てる処理の対象である一つの蓄積特徴に対し、すべての見本特徴との距離を計算し、例えば蓄積特徴と見本特徴との間の自乗誤差を計算し、この自乗誤差の計算結果により最も距離が近いと判断された見本特徴に対応した符号を、この蓄積特徴の符号とする。
ここで、蓄積特徴量子化部３８は、例えば、見本特徴格納部３５に記憶されている見本特徴の数がｎ個である場合、各見本特徴に１からｎまでの番号を付与し、この番号を量子化の符号とする。

また、蓄積特徴量子化部３８は、他の実施形態として、蓄積特徴と各見本特徴との距離（自乗誤差など）を計算し、最も距離が近い見本特徴との距離が、割り当てる程度に類似しているか否かの判定を行う閾値として設定された所定の割当閾値以下である場合、その見本特徴に対応した符号を、蓄積特徴に割り当て、上記割当閾値を超える場合、見本特徴格納部３５に記憶されているいずれの見本特徴にも対応しない別の符号、例えば上記の符号を１〜ｎとして設定した例においては、ｎ＋１などの符号を割り当てるようにしても良い。
上述したように、蓄積特徴量子化部３８は、蓄積特徴のベクトル量子化を蓄積映像の映像フレーム毎に行い、映像フレーム単位の蓄積量子化特徴とし、この蓄積量子化特徴を蓄積部分領域特徴抽出部２に対して出力する。

次に、蓄積部分領域特徴抽出部２は、蓄積特徴量子化部３８から入力される蓄積量子化特徴に対し、注目窓を所定の間隔で複数設定し、注目窓内における符号の集合を蓄積部分領域特徴として抽出する。
つまり、蓄積部分領域特徴抽出部２は、すでに説明した第６の実施例と同様に注目窓を設定し、この設定された注目窓内に重複も隙間もなく小領域を配置し、この小領域に対応する符号を順に並べて特徴ベクトルとした蓄積部分領域特徴を抽出する。

次に、索引付与部３は、見本特徴格納部３５から見本特徴のクラスタと、見本特徴間距離格納部３７から見本特徴間距離を読み込む。
そして、索引付与部３は、読み込んだ上記見本特徴のクラスタと、見本特徴間距離とに基づいた、蓄積部分領域特徴連結部２０から出力される蓄積連結特徴に対し、検索を容易にするための索引を付与する。
ここで、本実施例において、索引付与部３は、読み込んだ見本特徴のクラスタを用い、まず蓄積連結特徴を構成する各符号を、対応する見本特徴の特徴ベクトルに展開し、続いて第６の実施例と同様の手法（特許第３５７４０７５号）、すなわち、予め作成されたベクトル量子化符号帳により、蓄積連結特徴の特徴をベクトル量子化し、得られた符号を索引とする。
このとき、索引付与部３は、例えば、ベクトル量子化の符号語数がｈ個である場合、蓄積連結特徴をｈ個のクラスタのいずれかに分類することになる。

ここで、索引付与部３において、ベクトル量子化は、見本特徴間距離を用いて蓄積連結特徴ベクトルとクラスタ重心との距離を算出し、距離値が最小となるクラスタに蓄積連結特徴を所属させ、このクラスタに対応する符号語を出力することによって行われる。
また、索引付与部３における索引付与の方法に関する他の実施形態として、符号列を展開して作成した特徴ベクトルについて、第６の実施形態にて述べたＲ^*−Ｔｒｅｅ及びＳＲ−Ｔｒｅｅといった多次元インデックス手法を用いても良い。

また、索引付与部３は、蓄積連結特徴を構成する符号列に対して、索引を付与することも可能である。
この場合、索引付与部３は、例えば、予めこれら蓄積連結特徴の基準となるテンプレート（特徴ベクトルのパターン）を複数作成しておき、このテンプレートと蓄積連結特徴とを比較し、蓄積連結特徴との距離（自乗距離など）が最も小さくなるテンプレートに対応する符号を、この蓄積連結特徴の索引としても良い。
さらに、他の実施形態として、索引付与部３は、Ｍ−Ｔｒｅｅ（“M-Tree: an efficient access method for similarity search in metric spaces”, P. Ciaccia 他二名, Proc. of VLDB Conference, pp.426-435, 1997）等に記載されているように、符号列の間に定義された任意の距離関数を用いて、蓄積連結特徴を構成する符号列に直接索引を付与することができる。

次に、目的特徴量子化部３９は、上記蓄積特徴量子化部３８と同様に、見本特徴格納部３５に記憶されている見本特徴のクラスタ、及び目的特徴抽出部４から送出された目的特徴のクラスタを読み込む。
そして、目的特徴量子化部３９は、蓄積特徴量子化部３８と同様に、各目的特徴と読み込んだクラスタの各見本特徴との照合処理を行い、この照合結果により、目的特徴と照合すると判定された見本特徴に対応した符号を一つ割り当てる。
また、目的特徴量子化部３９は、目的特徴の量子化を目的画像または目的映像の映像フレーム毎に行って目的量子化特徴とし、これを目的部分領域特徴抽出部５に対して出力する。

次に、目的部分領域特徴抽出部５は、目的特徴量子化部３９から入力される目的量子化特徴に対し、すでに説明した蓄積部分領域特徴抽出部２で特徴抽出に用いた注目窓と同じ大きさの注目窓を、重複させて複数設定し、注目窓内における符号の集合を目的部分領域特徴として抽出する。
つまり、目的部分領域特徴抽出部５は、第６の実施例と同様にして設定された注目窓において、この注目窓内に重複も隙間もなく小領域を配置し、この小領域に対応する符号を順に並べて特徴ベクトルとした目的部分領域特徴が抽出される。

次に、索引検索部６は、目的部分領域特徴のクラスタに類似した蓄積連結特徴を、索引を用いて抽出する。
ここで、索引検索部６は、目的部分領域特徴のクラスタと、蓄積連結特徴との間の類似性を判定する特徴ベクトル間の距離の計算を行う。
すなわち、索引検索部６は、見本特徴間距離を用いて、蓄積連結特徴の特徴ベクトルと、目的部分領域特徴のクラスタ重心との距離を算出し、距離値が最小となるクラスタに蓄積連結特徴を所属させ、このクラスタに対応する符号語を出力することによって、類似性の判定を行う。ここで用いるクラスタ選択のアルゴリズムは、第６の実施例に記載されているため、詳細の説明を省略する。

第７の実施例において、類似度計算部２００における距離計算は、索引検索部６と同様に見本特徴間距離を用いて処理されることになる。
すなわち、類似度計算部２００における特徴照合部７は、ある蓄積連結特徴に類似する目的部分領域特徴が検出された場合、この蓄積連結特徴が帰属する蓄積量子化特徴（の集合）に、目的量子化特徴（目的画像または目的映像のフレームサイズ）と同じ大きさの照合窓を設定し、目的量子化特徴と蓄積量子化特徴における照合窓との類似度を計算する。
すなわち、特徴照合部７は、目的画像または目的映像に類似する部分映像が存在する可能性があると判断された、時間軸に連続した蓄積部分領域特徴の集合に対して、目的量子化特徴と同じ大きさの照合窓をそれぞれ設定し、目的量子化特徴と、蓄積量子化特徴上の照合窓における領域との類似度を求めることとなる。

＜第８の実施例＞
以下、本発明の第８の実施例による映像検索装置を図面を参照して説明する。図１５は上記第８の実施例の映像検索装置の一構成例を示すブロック図である。
この図において、映像検索装置は、蓄積特徴抽出部１と、蓄積特徴連結部４０と、索引付与部３と、索引格納部３０と、目的特徴抽出部４と、索引検索部６と、一次照合部２０１及び二次照合部２０２からなる類似度計算部３００とで構成されており、検索対象の目的画像が入力されることにより、既に登録されている蓄積映像の中から、上記目的画像と類似する映像フレームあるいはその一部分の探索を行い、探索結果として、上記目的画像と類似する画像が含まれている蓄積映像中の映像フレーム内の位置情報を出力する。

蓄積特徴抽出部１は、蓄積映像の各映像フレームから、映像フレームを表現する蓄積特徴（特徴ベクトル）を、映像フレーム全体、または所定の画素数からなるブロック単位に抽出する。
蓄積部分領域特徴抽出部２は、上記蓄積特徴抽出部１から出力される蓄積特徴に対し、予め設定された所定の大きさの注目窓を所定の間隔で複数設定し（所定の間隔でずらし）、各注目窓の範囲に含まれる蓄積特徴を、蓄積部分領域特徴として抽出する。
蓄積部分領域特徴連結部２０は、上記蓄積部分領域特徴抽出部２から出力される蓄積部分領域特徴を、それぞれに位置的に近いものを時間軸方向に順次連結し、各連結ブロック内の特徴である蓄積連結特徴を導く。

索引付与部３は、上記蓄積部分領域特徴連結部２０から出力される各蓄積連結特徴を各々ベクトル量子化し、ベクトル量子化の符号語を、標識のための索引として、各蓄積連結特徴それぞれに対して付与する。
索引格納部３０は、上記索引付与部３の出力する索引を格納する。
目的特徴抽出部４は、目的画像、または目的映像の各映像フレームから目的特徴（特徴ベクトル）を抽出する。
蓄積特徴連結部４０は、蓄積特徴抽出部１で抽出された蓄積特徴を用い、この蓄積特徴を時間方向において、蓄積特徴における特徴ベクトルの距離の近い蓄積特徴を連結させた特徴である蓄積連結特徴を作成する。

索引検索部６は、上記索引付与部３から出力される索引を用いて、上記蓄積特徴連結部４０の抽出した目的特徴の集合に対して類似する蓄積連結特徴を、索引を用いて検出する。
また、索引検索部６は、上記索引により類似する蓄積連結特徴が検出された場合、この検出した蓄積連結特徴を類似度計算部３００に送出し、一方、何も検出されなかった場合、この処理において映像検索処理を終了する。

類似度計算部３００において、各構成により、目的特徴と索引検索部６で検出された類似する可能性のある蓄積連結特徴との距離を逐次計算し、部分領域における類似性が確認された場合に、蓄積画像と目的画像との全体的な類似度を所定の検索閾値から計算する。
そして、類似度計算部３００は、索引検索部６により検出された全ての蓄積連結特徴について照合が終了した場合、その照合結果を出力し、映像検索処理を終了する。

次に、第８の実施例における映像検索装置における各構成の詳細な説明を行う。
蓄積特徴抽出部１は、与えられた蓄積映像を読み込んで入力し、蓄積映像から映像フレームごとに蓄積特徴を抽出する。
このとき、蓄積特徴抽出部１は、入力された蓄積映像の各フレームから、小領域（横b_xピクセル、縦b_yピクセル）を縦横１ピクセルずつずらしながら取り出し、各小領域におけるＲＧＢ（Red，Green，Blueの３原色）各色の画素について平均値を計算する。ここで、蓄積特徴は小領域内のＲＧＢそれぞれの平均画素値からなる３次元ベクトルからなる特徴ベクトルにより表現される。

また、蓄積特徴抽出部１における映像信号の特徴抽出方法には、上述した各小領域のＲＧＢ各々に対して公知のディジタル画像圧縮技術である２次元ＤＦＴ（離散フーリエ変換）、２次元ＤＣＴ（離散コサイン変換）、あるいは２次元ＤＷＴ（離散ウェーブレット変換）を施し、その係数ベクトルを利用する方法もある。
さらに他の実施形態として、入力された蓄積映像から小領域（横b_xピクセル、縦b_yピクセル、時間方向b_tフレーム）を縦横１ピクセルずつ、時間方向１フレームずつずらしながら取り出し、各小領域のＲＧＢ各々に対して公知のディジタル映像処理技術である３次元ＤＣＴを施し、その係数ベクトルを利用する方法もある。

なお、本実施例においては、上述の小領域をユニットとして特徴抽出を行ったが、小領域を画素（１ピクセル、すなわちｂ_x＝ｂ_y＝ｂ_t＝１）とみなし、蓄積映像の各フレームにおけるＲＧＢ画素値をそのまま用いてもかまわない。
蓄積特徴抽出部１は、上述したように、各映像フレームにおいて抽出した蓄積特徴の集合を、蓄積部分領域特徴抽出部２に出力する。
そして、蓄積部分領域特徴抽出部２は、蓄積特徴抽出部１から入力される蓄積特徴の集合に対し、注目窓を所定の間隔にて複数設定し、注目窓内の特徴である蓄積部分領域特徴を抽出する。

上記注目窓は、例えば、横ｗ_xピクセル×縦ｗ_yピクセルとして設定され、図３に示されるように、蓄積映像の映像フレーム内において、縦及び横方向に上記所定の間隔（各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にｍ_ｘピクセル、縦方向にｍ_ｙピクセル）で配置する。注目窓の配置間隔を本発明ではマージンと呼ぶことにする。
蓄積特徴連結部４０は、蓄積特徴抽出部１から入力される蓄積特徴の集合について、時間軸方向に連続する蓄積部分領域特徴を所定の基準で連結し、各連結ブロック内の特徴である蓄積連結特徴を導き、索引付与部３へ出力する。

また、蓄積特徴抽出部１は、データベース等に登録されている蓄積映像を読み込んで入力し、入力した蓄積映像から蓄積特徴を抽出し、各映像フレームにおいて抽出した蓄積特徴の集合を、蓄積特徴連結部４０へ出力する。
ここで、蓄積特徴抽出部１は、他の実施形態として、例えば、以下に述べる蓄積特徴点抽出処理部１Ａと蓄積局所特徴抽出処理部１Ｂとから構成しても良い。
上記蓄積特徴点抽出処理部１Ａにおいては、蓄積映像の各フレーム（映像フレーム）から、ある種の変動に対して頑健な点である蓄積特徴点を抽出する。
例えば、スケール変化や見えの（見た目における構成の若干の）違いなどの幾何学変動に対して頑健な手法として、以下の文献１（ “Distinctive image features from scale-invariant keypoints”, D.G.Lowe, International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004）、又は文献２（”Scale & Affine invariant interest point detectors”, K.Mikolajczyk 他１名, International Journal of Computer Vision, Vol.60, No.1, pp.63-86, 2004）に記載の方法を用いることができる。

本実施例においては、上記いずれの手法を用いることも可能であるが、一例として、文献２に記載されている蓄積特徴点の抽出方法について簡単に説明する。
まず、蓄積特徴点抽出処理部１Ａは、元の映像フレームから既知の方法によりスケールスペース画像を作成し、各スケールから蓄積特徴点の候補である候補点を抽出する。
ここで、スケールスペース画像とは、元画像を一定の比率βにより順次縮小した大きさの異なる（すなわち画素数の異なる）複数画像の集合を指している。
上記候補点の抽出には、例えば、以下の（２０）式で定義される正規化Harris operator ｈ(ｘ，ｙ，σ)を用いる。

ただし、この（２０）式において、Ｌa（ここで、a＝ｘ又はｙ）は、a方向（ｘ方向またはｙ方向）の微分操作であり、σは定数である。
そして、蓄積特徴点抽出処理部１Ａは、スケールスペース画像において、各スケールの画像におけるHarris operator ｈ(ｘ，ｙ，σ)の極大点となる画素を、頑健な点である蓄積特徴点の抽出対象の候補である候補点として抽出する。
次に、蓄積特徴点抽出処理部１Ａは、抽出された上記候補点（各スケールの画像に複数存在）について、候補点の抽出されたスケール及びその前後のスケールの画像を用いて、以下の（２１）式で定義される正規化Laplacian operator ＬｏＧ(ｘ，ｙ，ｚ)を計算する。
ただし、以下の（２１）式において、Ｌaa（ここで、a＝ｘ又はｙ）はａ方向（ｘ方向またはｙ方向）の２回微分操作である。

これにより、スケール方向の各スケールの画像において、評価対象の候補点のあるスケールの画像に対して、このスケールの画像の候補点と、前後のスケールの画像の画素とに対して正規化Laplacian operator を計算し、前後のスケールの画像の画素に対して、上記候補点でのLaplacian operatorの値が極大となっているとき、この候補点を蓄積特徴点として採用する。ここで、例えば、評価対象の候補点のあるスケールの画像に対して、前のスケールが大きく、後のスケールが小さいとする。
この各スケールの画像における正規化Laplacian operatorの比較を行う場合、評価対象の候補点がある画像のスケールに対し、前後のスケールの画像を対応させ、各スケールの画像の画素数を変化させずに、縮小または拡大を行うことでスケールを変化させ、評価対象の候補点と、最も近い位置にある、スケールを変化させた前後の画像の画素との正規化Laplacian operatorの比較を行う。

次に、蓄積局所特徴抽出処理部１Ｂにおいては、上記蓄積特徴点抽出処理部１Ａにより抽出された蓄積特徴点を用い、この蓄積特徴点周辺の局所領域にて特徴を抽出し、これを蓄積特徴とする。
この局所領域は、座標（ｘ、ｙ）の画素に対して、下記（２２）式におけるΣの上部に記載された定数ｈ_ｘ（ｘ方向の画素数）及びｈ_ｙ（ｙ方向の画素数）で規定される領域を示している。
上記蓄積特徴としては、例えば、蓄積特徴点周辺のgradient（勾配）、蓄積特徴点周辺の局所領域で計算したgradientのヒストグラム、ガウシアンフィルタ係数の高次微分を係数とするフィルタの出力（Gaussian derivative）、あるいは以下の（２２）式の特徴関数などを用いることができる。この（２２）式において、Ｄ(ｘ，ｙ)は、映像フレームＤ上の座標（ｘ、ｙ）におけるピクセル値である。

ここで、蓄積特徴連結部４０は、第６の実施例における蓄積部分領域特徴連結部２とほぼ同様の機能を有しているが、蓄積部分領域特徴の代わりに、上記蓄積特徴抽出部１で抽出された蓄積特徴を用い、この蓄積特徴を時間方向において、蓄積特徴における特徴ベクトルの距離の近い蓄積特徴を連結させた特徴である蓄積連結特徴を作成する。

さらに、他の実施形態として、例えば、以下に示すように、蓄積特徴抽出部１における処理と、蓄積特徴連結部４０との処理を、映像フレームごとに繰り返して実行し、逐次、特徴抽出と特徴連結との処理を行う方法もある。
すなわち、まず、蓄積特徴連結部４０は、連結を開始するある蓄積特徴点がある場合、次に、時間軸に連続する次の映像フレーム上に、該蓄積特徴点ｐ_ｊ(Ｄ)＝（ｘ_ｊ，ｙ_ｊ）を中心とする、以下の（２３）式に示すガウス分布を設定する。
この（２３）式において、αは連結する特徴点の座標位置の範囲を規定する定数であり、大きくすることにより連結する特徴点の座標位置の範囲を広げて連結し易くし、一方、小さくすることにより連結する特徴点の座標位置の範囲を狭めて連結を制限することとなる。

そして、蓄積特徴点抽出処理部１Ａは、この（２３）式に示すガウス分布を、次の映像フレームにおける蓄積特徴点抽出処理におけるHarris operatorの重み付けに利用し、次の映像フレームの蓄積特徴点が現在の映像フレームの近傍領域の外で検出が行われにくくなる処理を加える。
すなわち、蓄積特徴点抽出処理部１Ａは、重み付き正規化Harris operator ｈ~(ｘ，ｙ，σ)を以下に示す（２４）式のように定義し、すでに述べた（重みなし）正規化Harris operatorに代わって、重み付きHarris operatorに基づいて連結する特徴点の候補を抽出する。

そして、上述したように、蓄積特徴点抽出処理部１Ａが上記重み付き正規化Harris operatorを利用して、特徴点候補及び蓄積特徴点を抽出すると、蓄積特徴連結部４０は、前の映像フレームにおける各蓄積特徴点について、該蓄積特徴点から最も近い場所にある、現在の映像フレームにおける蓄積特徴点と連結する。
このように、蓄積特徴抽出部１と蓄積特徴連結部４０とが、上述した処理を時間軸方向に再帰的に繰返すことにより、蓄積映像のフレーム数だけ蓄積特徴を連結することができる。

このとき、最も近い場所にある蓄積特徴点と必ず連結する構成の他に、例えば、連結するか否かを判定するため、Harris operatorに対して連結閾値を設定し、前の映像フレームの蓄積特徴点と、現在の映像フレームの蓄積特徴点とのHarris operatorが上記所定の連結閾値を下回る場合にのみ連結する構成も可能である。
ここで、連結閾値は小さくすることにより、特徴点としての特徴をより強めることができ、一方、大きくするに従い曖昧な特徴をも許容することとなり、本実施形態を使用するアプリケーション毎に実験値として求めて設定される。

また、蓄積特徴連結部４０の連結処理において、すでに時間軸方向に連結されている蓄積特徴において、対象となるフレームに対して、この時間軸方向に対して逆方向に連続する所定数（予測を精度の高いものとするため、直前を含めた近い過去の映像フレーム）の映像フレームにて連結された蓄積特徴点の座標点の移動量を平均し、この平均値を予測値として、予測値の分だけガウス分布の中心の蓄積特徴点の座標をシフトさせる構成も可能である。
すなわち、蓄積特徴連結部４０は、過去の映像フレーム間における連結された蓄積特徴点の座標の移動量の平均値から、現在のフレームにおける連結するか否かの判定を行う対象の蓄積特徴の座標の線形予測をおこなっている。

索引付与部３は、第６の実施例における構成とほぼ同様であり、蓄積特徴連結部４０の出力する蓄積連結特徴に対して索引を付与する。
すなわち、索引付与部３は、蓄積特徴連結部４０から出力された蓄積連結特徴に対し、以下に示すように、検索を容易にするための索引を付与する。
本実施例においては、特許文献（特許第３５７４０７５号「信号検出方法、信号検出装置、記録媒体及びプログラム」）に記載された手法を用い、予め作成されたベクトル量子化符号帳により蓄積連結特徴の特徴ベクトルをベクトル量子化し、得られた符号を索引とする。上記符号と、この符号に対応した見本特徴としての特徴ベクトルとの対応がベクトル量子化符号帳に記載されており、例えば、ベクトル量子化の符号語数（符号の数）がＣ個（Ｃ個のクラスタ）であれば、蓄積連結特徴は特徴ベクトルの距離がより近い、見本特徴の符号に振り分けられ、Ｃ個のクラスタのいずれかに分類されることになる。
ここで、ベクトル量子化は、例えば自乗誤差を距離関数として用い、蓄積連結特徴ベクトルとクラスタ重心との距離を算出し、距離値が最小となるクラスタに蓄積連結特徴を所属させ、このクラスタに対応する符号語を出力することによって行われる。

索引付与の方法に関する他の実施形態として、例えば、Ｒ^*−Ｔｒｅｅ（“The R^*-Tree: an efficient and robust access method for points and rectangles”, N. Beckman 他一名, Proc. of ACM SIGMOD Conference, pp.322-331, 1990）や、ＳＲ−Ｔｒｅｅ（”SR-Tree: 高次元データに対する最近接探索のためのインデックス構造の提案“, 片山紀生 他一名, 電子情報通信学会論文誌 D-I, Vol. J80-D-I, No.8, pp.703-717, 1997 Aug）などは、多次元インデックス手法と総称される手法である。
これらの手法は、特徴の存在する多次元空間内で特徴を包含する領域を階層的に作成し、作成されたなかで最下層の領域と特徴とを対応づけることにより索引を付与している。
この特徴を包含する上記領域は、Ｒ^*−Ｔｒｅｅであれば３次元空間における直方体に相当する超直方体であり、ＳＲ−Ｔｒｅｅであれば超直方体と、３次元空間における球に相当する超球との重なりとなる。

上述したように、索引付与部３は、付与した索引を索引検索部６へ直接送信するか、または一旦索引格納部３０へ登録するか、いずれかの処理を行う。
すなわち、映像検索装置が、目的画像または目的映像、及び蓄積映像を同時に読み込み、リアルタイムで検索を行うアプリケーションの場合、索引付与部３は索引を索引検索部６へ送出し、一方、それ以外の場合、索引格納部３０へ蓄積映像ごとに索引の登録処理を行う。

目的特徴抽出部４は、ユーザから与えられた目的画像を読み込んで入力し、読み込んだ目的画像から、第６の実施形態と同様に目的特徴を抽出する。
すなわち、目的特徴抽出部４は、例えば、すでに説明した蓄積特徴抽出部１と同様にして、特徴点抽出処理部４Ａと局所特徴抽出処理部４Ｂとによって構成される処理により、目的画像より目的特徴を抽出する。

また、目的特徴抽出部４は、目的画像、または目的映像を読み込む。このとき、読みこまれる目的画像または目的映像の映像フレームの大きさは、縦ｑ_ｘピクセル、横ｑ_ｙピクセルで、図３におけるマージンと注目窓サイズとの和（合計）以上、すなわちｑ_ｘ≧ｗ_ｘ＋ｍ_ｘ及びｑ_ｙ≧ｗ_ｙ＋ｍ_ｙであれば、蓄積映像中の各映像フレームについて、大きさｑ_ｘ×q_ｙピクセルの窓を任意の位置に配置しても必ず１つ以上の蓄積部分領域を含むので、検出漏れを生じることはない。

次に、目的特徴抽出部４は、すでに述べた蓄積特徴抽出部１と同様に、目的画像または目的映像に小領域を設定し、小領域を縦横１ピクセルずつ（時間方向にずらす必要がある場合には、時間方向に１フレームずつ）ずらしながら各小領域における特徴を抽出する。
あるいは、蓄積特徴抽出部１において他の特徴抽出手段を用いる場合には、目的特徴抽出部４は、これと同様の手法で特徴抽出を行う。
目的特徴抽出部４は、目的特徴（特徴ベクトル）の集合を索引検索部６へ出力する。

そして、索引検索部６は、蓄積連結特徴に付与された索引を用い、蓄積連結特徴から上記目的特徴に類似する蓄積特徴である検索候補特徴を抽出する。
索引検索部６は、目的特徴抽出部４から入力される目的特徴の集合、および索引付与部３から索引を読み込む。
また、索引検索部６は、目的画像または目的映像、及び蓄積映像を同時に入力してリアルタイムに類似を判定する場合以外、索引格納部３０から順次索引を読み出して、目的部分領域特徴と比較を行う。
そして、索引検索部６は、読み込んだ上記索引を用い、目的特徴の集合に類似した蓄積連結特徴の検索を行う。

このとき、索引検索部６は、目的特徴の集合内におけるいずれかの目的特徴に対し、距離値が、所定の閾値である選択閾値θ₂を下回る蓄積連結特徴を索引から抽出する。
上記距離計算は、後述する類似度計算部３００で行われる処理と同様である。すなわち、上記距離値は、例えば特徴ベクトル間の距離関数とし、自乗誤差により計算することができる。

ここでの具体的な検索方法は、上記索引付与部３において付与された索引の種類によって異なり、それぞれの文献に記載されている手法を用いることで索引検索を行う。
例えば、テンプレートを用いた量子化によって索引を付与した場合、すなわち特許第３５７４０７５号に記載された手法により索引を付与した場合、以下のようにして所望の蓄積連結特徴である検索候補特徴を抽出することができる。
すなわち、索引検索部６は、目的特徴と、索引付与部３で作成された索引（クラスタを示す符号）と、選択閾値θ₂とを読み込む。
次に、索引検索部６は、目的部分領域特徴と各クラスタ重心との距離を計算し、この計算結果の距離値が選択閾値θ₂を下回るクラスタを選択することにより、このクラスタに所属する蓄積連結特徴をすべて抽出する。

上述した索引検索部６が行うクラスタ選択の原理は以下のように説明されるものである。
図４は、点Ｑ、Ｃ_１、Ｃ_２の３点が乗るような平面であり、特徴ベクトルが配置される特徴空間を切り出した様子を示している。
ここで、点Ｑは目的特徴、Ｃ_１は目的特徴Ｑが所属しているクラスタのクラスタ重心、Ｃ_２は他のクラスタのクラスタ重心を表しており、距離ｄ_Ｑ１、ｄ_Ｑ２、ｄ_１２は、それぞれ、点Ｑと点Ｃ_１との距離、点Ｑと点Ｃ_２との距離、点Ｃ_１と点Ｃ_２との距離を示している。
ここで、目的特徴の座標である点Ｑからの距離ｄ_ｔが、選択閾値θ₂以内である蓄積連結特徴を抽出しなければならないとすると、点Ｑを中心とする半径θ₂の超球（図４においては円）の内部にある蓄積連結特徴がそれに該当することになる。

そして、点Ｑを中心とする超球の半径（すなわち選択閾値θ₂）が、図４における距離ｄ_θより大きくなったとき、点Ｃ_１に対応するクラスタに所属する蓄積連結特徴のみならず点Ｃ_２に対応するクラスタの中にも、所望の蓄積連結特徴が含まれている可能性がある。
このため、選択閾値θ₂が図４における距離ｄ_θより大きくなったとき、そのクラスタを選択する。ｄ_θは、上述した（１３）式より導かれる（１４）式から求められる。
さらに、蓄積連結特徴に対応する連結最大差分値を考慮して、索引検索部６は、すでに述べた（１５）式が成り立つとき、点Ｃ2に対応するクラスタを選択し、そのクラスタに属する蓄積連結特徴のすべてを抽出する。

上記（１５）式において、ｒ_２'は、点Ｃ2に対応するクラスタに所属する蓄積連結特徴の連結最大差分値について、そのクラスタ内最大値をとったものである。
そして、索引検索部６は、上述した手順を、目的特徴Ｑの所属するクラスタを除くすべてのクラスタに対して行い、抽出された目的特徴に類似する可能性のある蓄積連結特徴を類似度計算部３００に対して出力する。ここで、目的特徴に類似する可能性のある蓄積連結特徴の集合をＦとする。
一方、索引検索部６は、目的特徴に類似する可能性のある蓄積連結特徴が検出されなかった場合、映像検索装置における検索処理をここで終了する。

また、類似度検索部２００は、上記索引検索部６から出力された検索候補特徴と、目的特徴との類似値である部分類似値を計算する一次照合部２０１と、該部分類似値を用いて蓄積画像と目的画像との類似値である全体類似値を計算する二次照合部２０２とから構成されている。
上記一次照合部２０１は、検索候補特徴と目的特徴との類似値である部分類似値を計算する。ここで、一次照合部２０１は、この部分類似値として、例えば、検索候補特徴と目的特徴との、すなわち検索候補特徴の特徴点と目的特徴の特徴点との自乗距離を計算して出力する。
そして、一次照合部２０１は、該部分類似値が前述の選択閾値θ_２を下回る（未満）ことを検出すると、検索候補特徴と目的特徴との類似性があると判定する。

次に、一次照合部２０１は、スケールスペース画像毎に、各スケールの画像を、縮小する前の原画像の大きさに、画素数を変化させずに拡大し、原画像に拡大した各スケールの画像を重ね合わせる。
このとき、一次照合部２０１は、重ね合わせた各スケールの蓄積特徴点に対し、原画像における最も近くにある画素を蓄積特徴点とし、スケールの要素を持たない位置情報のみの蓄積特徴点とする。

二次照合部２０２は、蓄積画像Ｄと目的画像Ｑとの類似値、すなわち画像間の類似値として全体類似値の計算を行う。上記全体類似値Ｓ（Ｄ、Ｑ）は、例えば、以下の（２５）式に示すように定義する。この（２５）式において、ｄ(ｆ_Ｄ，ｆ_Ｑ)は上記一次照合部２０１が計算した部分類似値であり、γは定数である。
この定数γは、類似とするか否かを判定する基準を調整するものであり、小さくすることにより、より近い特徴を有する類似であるとする精度の高い類似を行うことができ、大きくすることにより、ある程度類似したものも類似しているとする精度の低い評価を行うこととなる。

上記（２５）式は、目的画像Ｑの各目的特徴ｆ_Ｇに対して最もｄ（ｆ_Ｄ，ｆ_Ｑ）が小さくなる蓄積特徴ｆ_Ｄを抽出し、それらを類似尺度に換算して加算することにより全体類似値を求めることを示している。
ただし、二次照合部２０２は、ｄ（ｆ_Ｄ，ｆ_Ｑ）が選択閾値θ_２を下回る蓄積特徴が検出されない（蓄積画像中に１つも存在しない）場合、その目的特徴に対する加算を行わない。
そして、二次照合部２０２は、最終的に、加算結果の全体類似値が検索閾値θ以上であることを検出した場合、目的画像に類似する部分領域が蓄積画像中に存在していると判定する。
蓄積画像中の上記部分領域は、例えば、各目的特徴とのｄ（ｆ_Ｄ，ｆ_Ｑ）が最も小さくなる蓄積特徴に対して、この蓄積特徴に対応する蓄積画像中の点を覆う最小の方形とする。
本実施例においては、第６及び第７の実施例とは異なり、選択閾値θ_２と検索閾値θとは独立に決定される値である。

以下、図１５及び図１６を用いて、本第８の実施例により映像検索装置の動作を説明する。図１６は、第８の実施例の映像検索装置の動作例を示すフローチャートである。
まず、蓄積特徴点抽出処理部１Ａは、上記（２３）式に示すガウス分布を、次の映像フレームにおける蓄積特徴点抽出処理におけるHarris operatorの重み付けに利用し、重み付き正規化Harris operator ｈ~(ｘ，ｙ，σ)を（２４）式ように定義し、重み付きHarris operatorに基づいて連結する特徴点の候補を抽出する（Ｓ７０２）。

次に、蓄積特徴点抽出処理部１Ａは、抽出された上記候補点について、候補点の抽出されたスケール及びその前後のスケールの画像を用いて、上記（２１）式で定義される正規化Laplacian operator ＬｏＧ(ｘ，ｙ，ｚ)を計算する。
そして、蓄積特徴点抽出処理部１Ａは、スケール方向の各スケールの画像において、評価対象の候補点のあるスケールの画像に対して、このスケールの画像の候補点と、前後のスケールの画像の画素とに対して正規化Laplacian operator を計算し、前後のスケールの画像の画素に対して、上記候補点でのLaplacian operatorの値が極大となっているとき、この候補点を蓄積特徴点として採用する（Ｓ７０３）。

次に、蓄積局所特徴抽出処理部１Ｂは、上記蓄積特徴点抽出処理部１Ａから入力される蓄積特徴点を用い、例えば、この蓄積特徴点周辺の局所領域で計算したgradientのヒストグラムを特徴として抽出し、これを蓄積特徴（蓄積局所特徴）とする（Ｓ７０４，Ｓ７０５）。
次に、蓄積特徴連結部４０は、上記蓄積特徴抽出部１で抽出された蓄積特徴を用い、この蓄積特徴を時間方向において、蓄積特徴における特徴ベクトルの距離の近い蓄積特徴を連結させた特徴である蓄積連結特徴の作成を、映像フレームごとに繰り返して実行し、逐次、特徴抽出と特徴連結との処理を行い（Ｓ７０６）、処理結果として蓄積連結特徴を出力する（Ｓ７０７）。

そして、蓄積特徴連結部４０は、入力された蓄積映像の全ての映像フレームに対する処理が終了したか否かを検出し、全ての映像フレームに対する処理が終了したことを検出した場合、処理をステップＳ７０９へ進め、全ての映像フレームに対する処理が終了していないことを検出した場合、処理を継続するために処理をステップＳ７０１へ戻す（Ｓ７０８）。

次に、索引付与部３は、蓄積特徴連結部４０の出力する蓄積連結特徴に対して索引を付与し（Ｓ７０９）、索引格納部３０または類似度計算部３００へ出力する（Ｓ７１０）。
また、この時点において、目的特徴抽出部４は、ユーザから与えられた目的画像を読み込んで入力し、読み込んだ目的画像から、すでに説明した蓄積特徴抽出部１と同様にして、特徴点抽出処理部４Ａと局所特徴抽出処理部４Ｂとによって構成される処理により、目的画像より目的特徴を抽出している。

次に、索引検索部６は、蓄積連結特徴に付与された索引を用い、蓄積連結特徴から上記目的特徴に類似する蓄積特徴である検索候補特徴を抽出する（Ｓ７１１）。
このとき、索引検索部６は、全ての蓄積連結特徴から目的特徴に類似する検索候補特徴が検出されない場合、処理をステップＳ７１６へ進め、検出された場合、処理をステップＳ７３１へ進める（Ｓ７１２）。

次に、一次照合部２０１は、検索候補特徴と目的特徴との類似値である部分類似値を計算する。
すなわち、一次照合部２０１は、この部分類似値として、例えば、検索候補特徴と目的特徴との、すなわち検索候補特徴の特徴点と目的特徴の特徴点との自乗距離を計算して、特徴点間距離として出力する（Ｓ７１３）。

そして、一次照合部２０１は、該部分類似値が前述の選択閾値θ_２を下回る（未満）か否かの判定を行い、下回ることを検出すると、検索候補特徴と目的特徴との類似性があると判定し、処理をステップＳ７１５へ進め、一方、部分類似値が選択閾値θ_２以上であることを検出すると、検索候補特徴と目的特徴との類似性がないと判定して、処理をステップＳ７１６へ進める（Ｓ７１４）。

次に、一次照合部２０１は、スケールスペース画像毎に、各スケールの画像を、縮小する前の原画像の大きさに、画素数を変化させずに拡大し、原画像に拡大した各スケールの画像を重ね合わせ、スケールの要素を持たない位置情報のみの蓄積特徴点とする。
そして、二次照合部２０２は、蓄積画像Ｄと目的画像Ｑとの類似値、すなわち画像間の類似値として全体類似値の計算を、上記（２５）式により行う（ステップＳ７１５）。

次に、二次照合部２０２は、（２５）式により求められた全体類似値が検索閾値θ以上であるか否かの検出を行い、（２５）式による加算値が検索閾値θ以上であることを検出した場合、目的画像に類似する部分領域が蓄積画像中に存在していると判定し、部分領域が存在していると判定した蓄積画像を出力し、一方、加算値が検索閾値θ未満であることを検出した場合、目的画像に類似する部分領域が蓄積画像中に存在していないことを通知する（Ｓ７１６）。

なお、図１，６，８，１０，１２，１４．１５における映像検索装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像の検索処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の第１または第２の実施例による部分画像検索装置の構成例を示すブロック図である。 図１の部分画像検索装置の動作例を示すフローチャートである。 蓄積画像において部分画像を設定する際に、配置のマージンについて説明する概念図である。 索引検索部６がクラスタを選択するときの原理を説明する概念図である。 蓄積画像における照合窓の設定を説明する概念図である。 本発明の第３の実施例による部分画像検索装置の構成例を示すブロック図である。 図６の部分画像検索装置の動作例を示すフローチャートである。 本発明の第４の実施例による部分画像検索装置の構成例を示すブロック図である。 図８の部分画像検索装置の動作例を示すフローチャートである。 本発明の第５の実施例による部分画像検索装置の構成例を示すブロック図である。 図１０の部分画像検索装置の動作例を示すフローチャートである。 本発明の第６の実施例による部分画像検索装置の構成例を示すブロック図である。 図１２の部分画像検索装置の動作例を示すフローチャートである。 本発明の第７の実施例による部分画像検索装置の構成例を示すブロック図である。 本発明の第８の実施例による部分画像検索装置の構成例を示すブロック図である。 図１５の部分画像検索装置の動作例を示すフローチャートである。

符号の説明

１…蓄積特徴抽出部 ２…蓄積部分領域特徴抽出部 ３…索引付与部
４…目的特徴抽出部 ５…目的部分領域特徴抽出部 ６…索引検索部
７…特徴照合部 ８…照合結果判定部 ９…特徴再照合部
１０…照合結果再判定部 １１…検索結果候補選択部
１２…次目的部分領域特徴選定部 １３…次連結特徴選定部
１４…検索閾値更新部 １５…目的代表特徴抽出部
１６…目的部分領域間距離計算部 １７…周辺距離下限値計算部
２０…蓄積部分領域特徴連結部 ３０…索引格納部
３１…検出結果判定部 ３２…検出結果再判定部
３３…検出結果候補選択部 ３４…見本特徴作成部
３５…見本特徴格納部 ３６…見本特徴間距離計算部
３７…見本特徴間距離格納部 ３８…蓄積特徴量子化部
３９…目的特徴量子化部 ４０…蓄積特徴連結部
１００，２００，３００…類似度計算部
２０１…一次照合部 ２０２…二次照合部

Claims (19)

1. 予め登録された動画像である蓄積映像から、検索対象となる静止画像である目的画像に類似した映像フレームあるいはその一部分を検出する映像検索方法において、
   蓄積映像のある映像フレームの特徴である蓄積特徴を抽出する蓄積特徴抽出過程と、
   前記蓄積特徴抽出過程で抽出される蓄積特徴を時間軸方向に順次連結し、蓄積連結特徴として出力する蓄積特徴連結過程と、
   前記蓄積連結特徴に各々索引を付与する索引付与過程と、
   目的画像の特徴である目的特徴を抽出する目的特徴抽出過程と、
   前記目的特徴に類似する蓄積連結特徴を、前記索引を用いて抽出する索引検索過程と、
   前記索引検索過程により抽出された蓄積連結特徴に対応する蓄積特徴と、前記目的特徴との類似値である部分類似値を計算する一次照合段階と、前記目的画像と前記蓄積映像中の映像フレームあるいはその一部分との類似値である全体類似値とを前記部分類似値に基づいて計算する二次照合段階とからなる類似度計算過程と
   を備えることを特徴とする映像検索方法。
2. 予め登録された動画像である蓄積映像から、検索対象となる動画像である目的映像に類似した映像区間あるいはその一部分を検出する映像検索方法であり、
   前記蓄積映像から蓄積特徴を導く蓄積特徴抽出過程と、
   前記蓄積特徴抽出過程で抽出される蓄積特徴を時間軸方向に順次連結し、蓄積連結特徴として出力する蓄積特徴連結過程と、
   前記蓄積連結特徴に各々索引を付与する索引付与過程と、
   目的映像の特徴である目的特徴を抽出する目的特徴抽出過程と、
   前記目的特徴に類似する蓄積連結特徴を、前記索引を用いて抽出する索引検索過程と、
   前記索引検索過程により抽出された蓄積連結特徴に対応する蓄積特徴と、前記目的特徴との類似値である部分類似値を計算する一次照合段階と、前記目的映像と前記蓄積映像の映像区間あるいはその一部分との類似値である全体類似値とを前記部分類似値に基づいて計算する二次照合段階とからなる類似度計算過程と、
   を備えることを特徴とする映像検索方法。
3. 前記蓄積特徴にて所定の大きさの注目窓を所定の間隔でずらしつつ、各位置における注目窓内の特徴を、蓄積部分領域特徴として抽出する蓄積部分領域特徴抽出過程と、
   前記目的特徴に所定の大きさの注目窓を設定し、該注目窓をずらしつつ、各位置における注目窓内の特徴を、目的部分領域特徴として抽出する目的部分領域特徴抽出過程と
   をさらに有し、
   前記蓄積連結過程にて、前記蓄積部分領域特徴抽出過程で抽出される蓄積部分領域特徴を時間軸方向に、順次連結し、蓄積連結特徴として出力し、前記索引検索過程にて前記目的部分領域特徴の集合に類似する蓄積連結特徴を、前記索引を用いて抽出し、
   前記類似度計算過程が、
   前記索引検索過程により抽出された蓄積連結特徴に対応する蓄積部分領域特徴と、前記目的部分領域特徴との距離を計算する特徴照合過程と、
   該距離に基づいて、目的画像と類似する映像フレームの一部分が蓄積映像中の当該箇所に存在する可能性があるか否かを判定する照合結果判定過程と
   からなる一次照合段階と、
   前記照合結果判定過程にて、目的画像と類似する映像フレームの一部分が存在する可能性があると判定された蓄積映像中の箇所において、前記蓄積特徴に対し、目的画像と同一の大きさの照合窓を設定し、前記目的特徴との特徴距離を計算する特徴再照合過程と、
   前記特徴距離に基づいて、目的画像と類似する映像フレームの一部分が蓄積映像中の当該箇所に存在するか否かを判定する照合結果再判定過程と
   前記照合結果再判定過程にて、目的画像と類似する映像フレームの一部分が存在すると判定された蓄積映像中の箇所を検索結果候補とする検索結果候補選択過程と、
   前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定過程と、
   前記索引検索過程にて抽出された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴を指定する次連結特徴選定過程と
   からなる二次照合段階と
   を備えることを特徴とする請求項１記載の映像検索方法。
4. 前記蓄積特徴にて所定の大ききの注目窓を所定の間隔でずらしつつ、各位置における注目窓内の特徴を、蓄積部分領域特徴として抽出する蓄積部分領域特徴抽出過程と、
   前記目的特徴に所定の大きさの注目窓を設定し、該注目窓をずらしつつ、各位置における注目窓内の特徴を、目的部分領域特徴として抽出する目的部分領域特徴抽出過程と
   をさらに有し、
   蓄積特徴連結過程にて、蓄積部分領域特徴抽出過程で抽出される蓄積部分領域特徴を時間軸方向に、順次連結し、蓄積連結特徴として出力し、前記索引検索過程にて、前記目的部分領域特徴の集合に類似する蓄積連結特徴を、前記索引を用いて抽出し、
   前記類似度計算過程が、
   前記索引検索過程にて抽出された蓄積連結特徴に対応する蓄積部分領域特徴と、前記目的部分領域特徴との距離を計算する特徴照合過程と、
   該距離に基づいて、目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する可能性があるか否かを判定する照合結果判定過程と
   からなる一次照合段階と、
   該照合結果判定過程にて目的映像と類似する部分映像区間が存在する可能性があると判定された蓄積映像中の箇所において、前記蓄積特徴に対し、目的映像と同一の大きさの照合窓を設定し、前記目的特徴との特徴距離を計算する特徴再照合過程と、
   前記特徴距離に基づいて、目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する否かを判定する照合結果再判定過程と、
   前記照合結果再判定過程にて、目的映像と類似する部分映像区間が存在すると判定された蓄積映像中の箇所を、検索結果候補とする検索結果候補選択過程と、
   前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定過程と、
   前記索引検索過程にて抽出された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴を指定する次連結特徴選定過程と
   からなる二次照合段階と
   を備えることを特徴とする請求項２記載の映像検索方法。
5. 前記蓄積特徴連結過程において、前記蓄積特徴抽出過程にて抽出された蓄積特徴を、予め与えられた長さの分だけ時間軸方向に連結することを特徴とする請求項１から請求項４のいずれかに記載の映像検索方法。
6. 前記蓄積特徴連結過程において、連結する対象となる前記蓄積特徴間の差分の最大値が予め定められた閾値である連結閾値を上回るまで時間軸方向に連結することを特徴とする請求項１から請求項４のいずれかに記載の映像検索方法。
7. 前記照合結果再判定過程において、前記特徴再照合過程で導かれた距離と、前記距離に対応する閾値である検索閾値とを比較することにより、目的画像と類似する映像フレームの一部分または目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在するか否かが判定され、
   前記索引検索過程において、いずれかの前記目的特徴との距離が、前記検索閾値から決定される選択閾値を下回る蓄積連結特徴を前記索引により抽出し、
   前記照合結果判定過程において、前記距離と前記選択閾値とを比較することにより、目的画像と類似する映像フレームの一部分または目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する可能性があるか否かを判定することを特徴とする請求項３から請求項６のいずれかに記載の映像検索方法。
8. 前記二次照合過程において、目的画像と類似する映像フレームの一部分あるいは目的映像と類似する部分映像区間が存在すると判定された蓄積映像中の箇所を、前記特徴距離が小さい順に、予め定められた数量だけ選択して検索結果候補とし、
   該検索結果候補から、前記特徴距離に基づいて、ある候補を検出し、該候補の距離値を新たに検索閾値として設定する検索閾値更新過程と
   をさらに備えることを特徴とする請求項７に記載の映像検索方法。
9. 前記索引検索過程において、前記目的特徴抽出過程にて導かれた全ての目的特徴を用いて、候補を抽出することを特徴とする請求項１から請求項８のいずれかに記載の映像検索方法。
10. 前記目的部分領域特徴抽出過程で導かれた目的部分領域特徴を分類し、各分類を代表する部分領域特徴である代表特徴を抽出する目的代表特徴抽出過程と
    をさらに備え、
    前記索引検索過程において、前記目的部分領域特徴に替え、前記目的部分領域特徴抽出過程で導かれた各代表特徴を用いることを特徴とする請求項３から請求項８のいずれかに記載の映像検索方法。
11. 前記次目的部分領域特徴選定過程において、蓄積部分領域特徴との距離が選択閾値を超えることが検出された、前記目的部分領域特徴抽出部にて抽出された目的部分領域特徴を、次に照合すべき部分領域特徴として指定せずに省略することを特徴とする、請求項３から請求項１０のいずれかに記載の映像検索方法。
12. 前記目的部分領域特徴の集合において、各目的部分領域特徴間の距離値を計算する目的部分領域特徴間計算過程と、
    前記特徴照合過程において計算されたある目的部分領域特徴と蓄積連結特徴との間の距離値と、前記目的部分領域特徴間の距離値とを用いて、該蓄積連結特徴と照合を行う残りの目的部分領域特徴について距離下限値を更新する周辺下限値計算過程と
    をさらに有し、
    前記次目的部分領域特徴選定過程に置いて、前記距離下限値と選択閾値とを比較し、距離下限値が選択閾値を下回る目的部分領域特徴を、次に照合すべき目的部分領域特徴として指定する
    ことを特徴とする請求項１１に記載の映像検索方法。
13. 見本となる特徴パターンである見本特徴を複数種類作成する見本特徴作成過程と、
    前記見本特徴間の距離を計算する見本特徴間距離計算過程と
    前記蓄積特徴抽出過程において抽出された前記蓄積特徴について、前記見本特徴に対応する符号を割り当て、該符号より構成される蓄積量子化特徴を導く蓄積特徴量子化過程と、
    前記目的特徴抽出過程において抽出された前記目的特徴について、前記見本特徴に対応する符号を割り当て、該符号より構成される目的量子化特徴を導く目的特徴量子化過程と
    をさらに備え、
    前記索引付与過程が前記見本特徴間距離に基づき前記蓄積特徴あるいは前記蓄積部分領域特徴に索引を付与し、
    前記索引検索過程ならびに前記類似度計算過程において前記目的特徴と前記蓄積連結特徴との類似値を前記見本特徴間距離を用いて逐次計算する、あるいは前記索引検索過程ならびに前記特徴照合過程において前記目的部分領域特徴と前記蓄積連結特徴との距離を前記見本特徴間距離を用いて逐次計算することを特徴とする請求項１から請求項１２のいずれかに記載の映像検索方法。
14. 予め登録された動画像である蓄積映像から、検索対象となる静止画像である目的画像に類似した映像フレームあるいはその一部分を検出する映像検索装置において、
    蓄積映像のある映像フレームの特徴である蓄積特徴を抽出する蓄積特徴抽出部と、
    前記蓄積特徴抽出部が抽出する蓄積特徴を時間軸方向に順次連結し、蓄積連結特徴として出力する蓄積特徴連結部
    前記蓄積連結特徴に各々索引を付与する索引付与部と、
    目的画像の特徴である目的特徴を抽出する目的特徴抽出部と、
    前記目的特徴に類似する蓄積連結特徴を、前記索引を用いて抽出する索引検索部と、
    前記索引検索部により抽出された蓄積連結特徴に対応する蓄積特徴と、前記目的特徴との類似値である部分類似値を計算する一次照合部と、前記目的画像と前記蓄積映像中の映像フレームあるいはその一部分との類似値である全体類似値とを前記部分類似値に基づいて計算する二次照合部とからなる類似度計算部と
    を備えることを特徴とする映像検索装置。
15. 予め登録された動画像である蓄積映像から、検索対象となる動画像である目的映像に類似した映像区間あるいはその一部分を検出する映像検索装置であり、
    前記蓄積映像から蓄積特徴を導く蓄積特徴抽出部と、
    前記蓄積特徴抽出部が抽出する蓄積特徴を時間軸方向に順次連結し、蓄積連結特徴として出力する蓄積特徴連結部と、
    前記蓄積連結特徴に各々索引を付与する索引付与部と、
    目的映像の特徴である目的特徴を抽出する目的特徴抽出部と、
    前記目的特徴に類似する蓄積連結特徴を、前記索引を用いて抽出する索引検索部と、
    前記索引検索部により抽出された蓄積連結特徴に対応する蓄積特徴と、前記目的特徴との類似値である部分類似値を計算する一次照合部と、前記目的映像と前記蓄積映像の映像区間あるいはその一部分との類似値である全体類似値とを前記部分類似値に基づいて計算する二次照合部とからなる類似度計算部と、
    を備えることを特徴とする映像検索装置。
16. 前記蓄積特徴にて所定の大きさの注目窓を所定の間隔でずらしつつ、各位置における注目窓内の特徴を、蓄積部分領域特徴として抽出する蓄積部分領域特徴抽出部と、
    前記目的特徴に所定の大きさの注目窓を設定し、該注目窓をずらしつつ、各位置における注目窓内の特徴を、目的部分領域特徴として抽出する目的部分領域特徴抽出部と
    をさらに有し、
    前記蓄積連結部にて、前記蓄積部分領域特徴抽出部の抽出する蓄積部分領域特徴を時間軸方向に、順次連結し、蓄積連結特徴として出力し、前記索引検索部にて前記目的部分領域特徴の集合に類似する蓄積連結特徴を、前記索引を用いて抽出し、
    前記類似度計算部が、
    前記索引検索部により抽出された蓄積連結特徴に対応する蓄積部分領域特徴と、前記目的部分領域特徴との距離を計算する特徴照合部と、
    該距離に基づいて、目的画像と類似する映像フレームの一部分が蓄積映像中の当該箇所に存在する可能性があるか否かを判定する照合結果判定部と
    からなる一次照合段階と、
    前記照合結果判定部にて目的画像と類似する映像フレームの一部分が存在する可能性があると判定された蓄積映像中の箇所において、前記蓄積特徴に対し、目的画像と同一の大きさの照合窓を設定し、前記目的特徴との特徴距離を計算する特徴再照合部と、
    前記特徴距離に基づいて、目的画像と類似する映像フレームの一部分が蓄積映像中の当該箇所に存在するか否かを判定する照合結果再判定部と
    前記照合結果再判定部にて、目的画像と類似する映像フレームの一部分が存在すると判定された蓄積映像中の箇所を検索結果候補とする検索結果候補選択部と、
    前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定部と、
    前記索引検索部にて抽出された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴を指定する次連結特徴選定部と
    からなる二次照合部と
    を備えることを特徴とする請求項１４記載の映像検索装置。
17. 前記蓄積特徴にて所定の大ききの注目窓を所定の間隔でずらしつつ、各位置における注目窓内の特徴を、蓄積部分領域特徴として抽出する蓄積部分領域特徴抽出部と、
    前記目的特徴に所定の大きさの注目窓を設定し、該注目窓をずらしつつ、各位置における注目窓内の特徴を、目的部分領域特徴として抽出する目的部分領域特徴抽出部と
    をさらに有し、
    蓄積特徴連結部にて、蓄積部分領域特徴抽出の抽出する蓄積部分領域特徴を時間軸方向に、順次連結し、蓄積連結特徴として出力し、前記索引検索部にて、前記目的部分領域特徴の集合に類似する蓄積連結特徴を、前記索引を用いて抽出し、
    前記類似度計算部が、
    前記索引検索部にて抽出された蓄積連結特徴に対応する蓄積部分領域特徴と、前記目的部分領域特徴との距離を計算する特徴照合部と、
    該距離に基づいて、目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する可能性があるか否かを判定する照合結果判定部と
    からなる一次照合部と、
    該照合結果判定部にて目的映像と類似する部分映像区間が存在する可能性があると判定された蓄積映像中の箇所において、前記蓄積特徴に対し、目的映像と同一の大きさの照合窓を設定し、前記目的特徴との特徴距離を計算する特徴再照合部と、
    前記特徴距離に基づいて、目的映像と類似する部分映像区間が蓄積映像中の当該箇所に存在する否かを判定する照合結果再判定部と、
    前記照合結果再判定部にて、目的映像と類似する部分映像区間が存在すると判定された蓄積映像中の箇所を、検索結果候補とする検索結果候補選択部と、
    前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定部と、
    前記索引検索部にて抽出された蓄積連結特徴の集合の中から、次に照合すべき蓄積連結特徴を指定する次連結特徴選定部と
    からなる二次照合部と
    を備えることを特徴とする請求項１５に記載の映像検索装置。
18. コンピュータに請求項１〜請求項１３のいずれかに記載の映像検索方法を実行させるためのコンピュータが実行可能なプログラム。
19. 請求項１８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images