JP2004045565A

JP2004045565A - 類似時系列検出方法及び装置、並びにプログラム及び記録媒体

Info

Publication number: JP2004045565A
Application number: JP2002200480A
Authority: JP
Inventors: Mototsugu Abe; 安部　素嗣; Masayuki Nishiguchi; 西口　正之
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-09
Filing date: 2002-07-09
Publication date: 2004-02-12
Anticipated expiration: 2022-07-09
Also published as: US20040098225A1; JP3960151B2; US7035775B2

Abstract

【課題】２つの時系列信号の類似性検出を高速に行う。
【解決手段】本発明では、類似性検出を、各離散時間ｔでの特徴ベクトル間類似度の計算段階と、時系列全体での類似する特徴ベクトル個数の計数段階とに分割する。計算段階では、特徴ベクトル時系列ｇ_ｔ、ｆ_ｔの同じフレーム番号における各成分同士の距離を階層的に積算し、最終的な積算値が距離の閾値Ｓを下回れば、類似とする。一方、途中の階層で積算値が閾値Ｓを上回った場合には非類似として残りの成分間の積算演算を打ち切る。計数段階では、類似とされた特徴ベクトルｆ（図中○印）の数Ｒと、非類似とされた特徴ベクトルｆ（図中×印）の数Ｄとをフレーム毎に階層的に計数し、最終的な非類似数Ｄが閾値（Ｔ−Ｕ）を下回っていれば、類似とする。一方、途中の階層で非類似数Ｄが閾値（Ｔ−Ｕ）を上回った場合には非類似として残りのフレームでの類似度計算を打ち切る。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、２つの時系列信号の類似性検出を高速に行う類似時系列検出方法及びその装置、並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来から、例えば映像コンテンツや音響コンテンツ検索、放送コマーシャルメッセージの同定、放送音楽の曲名同定、或いはネットワークコンテンツの管理等の目的のために、ある映像信号や音響信号をクエリ（参照信号）として、未知の映像信号や音響信号中で参照信号とほぼ一致する部分を検出する技術が必要とされている。
【０００３】
この課題は、図１８（Ａ）に示すように、映像信号又は音響信号から短時間フレーム毎に特徴量を抽出し、それらをベクトル化した特徴ベクトルを構成し、その時系列パターンを比較する問題として扱われる。
【０００４】
ここで、比較方法として最も簡単且つ汎用性や確実性が高いものとしては、いわゆる全検索法（ｆｕｌｌ　ｓｅａｒｃｈ）が挙げられる。この全検索法は、図１８（Ｂ）に示すように、参照時系列信号の時区間に対応する図中黒枠で示す入力時系列信号の部分区間に対して、例えば相関法や距離演算によって類似度を求め、これを図１８（Ｃ）、（Ｄ）に示すように１フレームずつずらしながら逐次的に行い、類似度が所定の閾値を超える部分を一致した部分として検出するものである。
【０００５】
しかしながら、この全検索法では、（特徴ベクトルのサイズ）×（参照時系列信号の長さ）個の成分に対する類似度計算を入力時系列信号の全フレームに亘って行う必要があるため、演算量及び検索時間が膨大なものとなる問題があった。
【０００６】
そこで、図１８（Ｂ）の参照時系列信号と入力時系列信号の該当位置（黒枠内）とにおける特徴量のヒストグラムを作成し、その違いに基づいて次の比較位置、すなわち図中黒枠の移動量を決定することで、比較の高速化を図る技術が特許第３０６５３１４号に記載されている。すなわち、この技術では、ヒストグラムを作成することにより時間軸に関する情報を縮退させ、フレーム毎の逐次的な比較の必要をなくすことにより、高速化を図ることができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、この特許第３０６５３１４号に記載されている技術では、情報量を落とした状態での比較となるため、劣化した信号に対する検出漏れや、異なる信号に対する誤検出が発生し、検出能力の低下を招いてしまうという問題があった。
【０００８】
また、映像信号や音響信号の類似検索においては、概ね一致している時系列であっても、例えば同じ音楽に対する異なる音声の重畳や、同じ映像に対する異なるテロップの表示、同じ映像に対する異なる編集、或いはフレーム落ちなどの部分的な劣化に起因して、図１９に斜線で示すフレームのように、基本的に同じ映像信号や音響信号の中に、部分的に全く異なる特徴ベクトルが挿入されていることがよく発生する。
【０００９】
上述した目的、例えば映像コンテンツや音響コンテンツ検索においては、このような部分的に他の信号成分が重畳されたようなものに対しても、同一視して検索できると非常に有用である。しかしながら、上述した従来の技術では、概ね一致している中に部分的にでも大きな差異があった場合、それを全体的な差異と区別することができず、検出できないという問題があった。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、全検索法の汎用性、柔軟性、或いは確実性を失うことなく、部分的に大きな劣化がある場合であっても、２つの時系列信号の類似性を高速に検出する高速時系列検出方法及びその装置、並びに高速時系列検出処理をコンピュータに実行させるプログラム及びそのようなプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る類似時系列検出方法は、ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出方法であって、上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定工程と、上記ベクトル判定工程にて類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定工程とを有する。
【００１２】
ここで、上記類似度は、例えば上記一対のベクトル間の距離である。この場合、上記ベクトル判定工程は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出ステップと、上記階層的距離算出ステップの各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定ステップとを有し、上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに算出された距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定され、ある階層までに算出された距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定されると共に、残りの階層での距離算出を打ち切るように制御される。
【００１３】
また、上記時系列判定工程は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数ステップと、上記階層的計数ステップの各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定ステップとを有し、上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに計数された類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定され、ある階層までに計数された非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定されると共に、残りの階層での計数を打ち切るように制御される。
【００１４】
また、上述した目的を達成するために、本発明に係る類似時系列検出装置は、ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出装置であって、上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定手段と、上記ベクトル判定手段によって類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定手段とを備える。
【００１５】
ここで、上記類似度は、例えば上記一対のベクトル間の距離である。この場合、上記ベクトル判定手段は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出手段と、上記階層的距離算出手段によって各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較手段と、上記閾値比較手段による比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定手段とを有し、上記判定手段は、上記閾値比較手段による比較の結果、最後の階層までに算出した距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定し、ある階層までに算出した距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定すると共に、残りの階層での距離算出を打ち切るように制御する。
【００１６】
また、上記時系列判定手段は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数手段と、上記階層的計数手段によって各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較手段と、上記閾値比較手段による比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定手段とを有し、上記判定手段は、上記閾値比較手段による比較の結果、最後の階層までに計数した類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定し、ある階層までに計数した非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定すると共に、残りの階層での計数を打ち切るように制御する。
【００１７】
このような類似時系列検出方法及びその装置は、一対の時系列パターンの類似性検出のプロセスを、当該一対の時系列パターンを構成する各ベクトル間の距離算出段階と、時系列全体での類似ベクトル又は非類似ベクトルの個数の計数段階とに分割する。
【００１８】
ここで、距離算出段階では、一対の時系列パターンを構成するベクトル間の類似度として例えば距離を階層的に算出し、ある階層までに算出された距離の積算値が閾値を上回る場合には非類似と判定し、残りの階層での距離算出を打ち切ることにより、演算を高速化する。
【００１９】
また、計数段階では、ある階層までに計数された非類似ベクトルの個数の積算値が許容数を上回る場合には非類似と判定し、残りの階層での計数を打ち切ることにより、演算を高速化する。
【００２０】
また、本発明に係るプログラムは、上述した類似時系列検出処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００２１】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、未知の入力時系列信号の中から予め登録された参照時系列信号と一致する信号位置を検索する類似時系列検索方法及びその装置に適用したものである。なお、本発明がこの実施の形態に限定されないことは勿論であり、任意の２つの時系列信号間の類似性を検出する際に適用可能である。
【００２２】
（１）本実施の形態の基本概念
本明細書中では、入力時系列信号Ｆ及び参照時系列信号Ｇから得られる比較対象となる特徴ベクトルｆ、ｇの時系列を、それぞれ特徴ベクトル時系列ｆ_ｔ、ｇ_ｔと表記する。ここで、ｔは離散時間（フレーム番号）を表す添字であり、フレーム数をＴとする。また、比較対象となる入力時系列信号Ｆ及び参照時系列信号Ｇのｔ番目のフレームにおける特徴ベクトルｆ、ｇの第ｉ成分をそれぞれ、ｆ_ｔ［ｉ］、ｇ_ｔ［ｉ］と表記し、特徴ベクトルの次元数をＮとする。
【００２３】
ここで、全検索法では、時系列パターン全体の比較により類似性検出を行うが、本実施の形態では、類似性検出のプロセスを、各離散時間ｔにおける特徴ベクトル間類似度の計算段階と、時系列全体での類似する特徴ベクトル個数の計数段階とに分割し、各段階に閾値を設けることで、検索処理を高速化する。
【００２４】
特徴ベクトル間類似度の計算段階では、図１（Ａ）に示すように、参照時系列信号Ｇの特徴ベクトル時系列ｇ_ｔと入力時系列信号Ｆの比較対象となる図中黒枠内の特徴ベクトル時系列ｆ_ｔとを比較する。詳しくは後述するが、簡単には、特徴ベクトル時系列ｇ_ｔ及び特徴ベクトル時系列ｆ_ｔの同じフレーム番号における各成分同士の距離を階層的に順次積算し、そのフレームの最終的な積算値が距離の閾値Ｓを下回れば、類似と判定する。また、積算演算の途中の階層で積算値が閾値Ｓを上回った場合には非類似と判定し、そのフレームの残りの成分間の積算演算を打ち切る。
【００２５】
一方、類似する特徴ベクトル個数の計数段階では、図１（Ｂ）に示すように、類似と判定された特徴ベクトルｆ（図中○印）の数Ｒと、非類似と判定された特徴ベクトルｆ（図中×印）の数Ｄとをフレーム毎に階層的に計数し、Ｔ番目のフレームまで終了した段階での非類似数Ｄが閾値（Ｔ−Ｕ）を下回っていれば、特徴ベクトル時系列ｇ_ｔと特徴ベクトル時系列ｆ_ｔとが類似していると判定する。また、計数段階の途中の階層で非類似数Ｄが閾値（Ｔ−Ｕ）を上回った場合には非類似と判定し、残りのフレームにおける類似度計算を打ち切る。
【００２６】
本実施の形態では、以上のような処理を入力時系列信号Ｆの部分区間を１フレームずつずらしながら逐次行うことで、入力時系列信号Ｆの中から参照時系列信号Ｇと一致する信号位置を高速に検索することが可能となる。
【００２７】
すなわち、例えば特徴ベクトル次元数Ｎが２５６、フレーム数Ｔが３２であり、ほぼ完全一致する部分を検索する場合、従来の全検索法では、１回の比較あたり約８１９２回の積和演算が必要となる。これに対して、本実施の形態では、閾値Ｕを３２、すなわち完全一致と設定すれば、一致しない部分では最小１フレームの比較段階で棄却されるため、高速化が図られる。また、各フレーム毎の比較段階においても、閾値Ｓを設けることにより、最小１回の積算演算で棄却することができ、高速化が図られる。特に、殆どの検索問題では、一致する目的部分は極少数で、大多数の比較は不一致を確認するために行われているため、検索時間を大幅に短縮することができる。
【００２８】
また、従来の全検索法では、検索対象となる入力時系列信号Ｆの部分区間内に全く異なる信号が挿入されている場合、その異なる信号との間で特徴ベクトル間の類似度（距離）が時系列全体の類似度に直接影響するため、検出不可能であった。これに対して、本実施の形態では、各フレーム毎のベクトルが類似しているか否かのみで時系列全体の比較を行うため、上述した閾値Ｕを適切に設定することで、入力時系列信号Ｆの部分区間内に全く異なる信号が挿入されていても、それを無害化することができ、検出可能である。なお、この際、一致／不一致の個数、すなわち全体の中での不一致を許容する割合のみで判定が行われるため、どの位置が不一致であるかを予め知っておく必要はない。
【００２９】
（２）類似時系列検索装置の構成及び動作
上述した処理を行う本実施の形態における類似時系列検索装置の概略構成を図２に示す。図２に示すように、類似時系列検索装置１は、入力時系列信号Ｆ及び参照時系列信号Ｇを入力し、入力時系列信号Ｆ中で参照時系列信号Ｇと類似する信号位置を検出するものであり、特徴抽出部１０，１１と、記録部１２と、ベクトル比較部１３と、時系列比較部１４とから構成される。ここで、特徴抽出部１０，１１は、それぞれ参照時系列信号Ｇ、入力時系列信号Ｆに対して同様の処理を行うものである。また、記録部１２は、例えば磁気ディスク、光ディスク、或いは半導体メモリ等である。
【００３０】
この類似時系列検索装置１における参照時系列信号Ｇの登録時の処理を図３のフローチャートを用いて説明する。先ずステップＳ１において、特徴抽出部１０（図２）は、予め登録する参照時系列信号Ｇを入力し、続くステップＳ２において、参照時系列信号Ｇの特徴量を抽出してベクトル化する。特徴抽出部１０は、この処理を適切な時間フレーム毎に区切って順次行うことで、特徴ベクトル時系列ｇ_ｔを生成する。なお、この特徴抽出部１０における特徴ベクトル抽出処理についての詳細は後述する。そして、ステップＳ３において、記録部１２は、その特徴ベクトル時系列ｇ_ｔを記録する。
【００３１】
このように、本実施の形態では、登録時に特別な操作を行う必要がないため簡便であり、実時間での処理に適する。また、登録時に時系列順序を入れ替えたり、全データを用いて索引を作成したりしないため、参照時系列信号Ｇの登録や削除が容易である。
【００３２】
続いて、類似時系列検索装置１における検索時の処理を図４のフローチャートを用いて説明する。先ずステップＳ１０において、ベクトル比較部１３（図２）及び時系列比較部１４は、それぞれ各ベクトル間の距離の閾値Ｓ及び類似するベクトルの個数の閾値Ｕを設定する。
【００３３】
続いてステップＳ１１において、特徴抽出部１１は、入力時系列信号Ｆを入力し、ステップＳ１２において、入力時系列信号Ｆの特徴量を抽出してベクトル化する。特徴抽出部１１は、この処理を適切な時間フレーム毎に区切って順次行うことで、特徴ベクトル時系列ｆ_ｔを生成する。なお、この特徴抽出部１１における特徴ベクトル抽出処理についての詳細は後述する。
【００３４】
次にステップＳ１３において、ベクトル比較部１３は、記録部１２に記録されている特徴ベクトル時系列ｇ_ｔを１つ取得する。
【００３５】
ステップＳ１４において、ベクトル比較部１３は、内部変数である成分番号ｉ、離散時間ｔ及び各ベクトル成分間の距離の積算値ｓｕｍを初期化し、時系列比較部１４は、内部変数であるベクトルの類似数Ｒ、非類似数Ｄ及び各ベクトル間距離（積算値ｓｕｍ）の積算値ｓｉｍを初期化する。すなわち、ベクトル比較部１３は、成分番号ｉ及び離散時間ｔを１にセットし、積算値ｓｕｍを０にセットする。また、時系列比較部１４は、類似数Ｒ、非類似数Ｄ及び積算値ｓｉｍを０にセットする。
【００３６】
そしてステップＳ１５において、ベクトル比較部１３は、ｔ番目のフレームにおける特徴ベクトル時系列ｆ_ｔの第ｉ成分ｆ_ｔ［ｉ］と特徴ベクトル時系列ｇ_ｔの第ｉ成分ｇ_ｔ［ｉ］との間で、以下の式（１）で示すような積算演算を行う。
【００３７】
【数１】

【００３８】
ステップＳ１６において、ベクトル比較部１３は、積算値ｓｕｍが閾値Ｓ未満であるか否かを判別する。積算値ｓｕｍが閾値Ｓ未満である場合（Ｙｅｓ）にはステップＳ１７に進む。
【００３９】
ステップＳ１７では、成分番号ｉが特徴ベクトルｆ、ｇの次元数Ｎ以下であるか否かが判別される。成分番号ｉがＮ以下である場合（Ｙｅｓ）には、ステップＳ１８でベクトル比較部１３が成分番号ｉをインクリメントしてステップＳ１５に戻る。一方、成分番号ｉがＮよりも大きい場合（Ｎｏ）には、特徴ベクトルｆ、ｇの最後の成分まで積算演算が終了しているため、比較した特徴ベクトル同士は類似していると判定され、ステップＳ２２において時系列比較部１４が類似数Ｒをインクリメントすると共に、積算値ｓｕｍを積算値ｓｉｍに積算する。なお、このときの積算値ｓｕｍは、ベクトル間距離の自乗となる。
【００４０】
一方、ステップＳ１６において、積算値ｓｕｍが閾値Ｓ以上である場合（Ｎｏ）には、比較した特徴ベクトル同士は類似していないと判定され、残りの成分同士の積算演算を省略してステップＳ１９に進む。このように、ベクトル比較部１３は、閾値Ｓを設け、積算演算の途中の階層で積算値ｓｕｍが閾値Ｓを上回った場合に積算演算を打ち切ることで、処理の高速化を図っている。
【００４１】
ステップＳ１９において、時系列比較部１４は、非類似数Ｄをインクリメントし、ステップＳ２０において非類似数Ｄが閾値（Ｔ−Ｕ）を上回った否かを判別する。非類似数Ｄが閾値（Ｔ−Ｕ）を上回っている場合（Ｙｅｓ）には、ステップＳ２１で時系列比較部１４が−１を出力して処理を終了する。ここで、出力される−１は、特徴ベクトル時系列ｆ_ｔと特徴ベクトル時系列ｇ_ｔとが類似していなかったことを示す便宜的な数値である。一方、非類似数Ｄが閾値（Ｔ−Ｕ）以下である場合（Ｎｏ）にはステップＳ２３に進む。このように、時系列比較部１４は、閾値Ｕを設け、非類似数Ｄが閾値（Ｔ−Ｕ）を上回った場合に残りのフレームにおける類似度計算を打ち切ることで、処理の高速化を図っている。
【００４２】
ステップＳ２３では、離散時間ｔ、すなわち現在のフレーム番号がフレーム数Ｔと一致するか否かが判別される。離散時間ｔがフレーム数Ｔと一致しない場合（Ｎｏ）には、ステップＳ２４においてベクトル比較部１３が離散時間ｔをインクリメントすると共に成分番号ｉを１にセットしてステップＳ１５に戻る。一方、離散時間ｔがフレーム数Ｔと一致する場合（Ｙｅｓ）には、時系列内の全ての特徴ベクトル間の比較が終了しているため、ステップＳ２５において時系列比較部１４が最終的な類似数Ｒとベクトル間平均距離ｓｉｍ／Ｒを出力して終了する。
【００４３】
以上、図４のフローチャートでは、１つの特徴ベクトル時系列ｆ_ｔに対する処理を示したが、実際には１フレームずつずらして同様の処理を行い、入力時系列信号Ｆ中で参照時系列信号Ｇと類似する信号位置を全て検出する。
【００４４】
なお、以上示した類似信号検出方法では、特徴ベクトルの持つ情報がそのまま保存されており、閾値Ｓを限りなく大きく設定することで、完全な距離計算を行うことができる。この場合、最終的な積算値ｓｉｍとして、全検索法と同じ時系列信号間の距離が出力される。また、検索時に閾値Ｓを設定できるため、本実施の形態における類似信号検出方法は全検索法を包含しており、汎用性が高い。
【００４５】
（３）変形例
（３−１）変形例１
ここで、上述したベクトル比較部１３における処理では、距離の閾値Ｓを設定し、積算演算の途中の階層で積算値ｓｕｍが閾値Ｓを上回った場合に積算演算を打ち切ることで、積算演算を高速化することができたが、この手法では、どのベクトル成分から検索を行うかはベクトル成分の並び順に依存するため、この並び順によって検索速度に差が生じてしまう。
【００４６】
そこで、例えば以下の式（２）、（３）に示すように、特徴ベクトル時系列ｆ_ｔ及び特徴ベクトル時系列ｇ_ｔ内の特徴ベクトルｆ、ｇに対して正規直交変換行列Ｕを乗算して直交変換を行い、この直交変換後の特徴ベクトルｇ’、特徴ベクトルｆ’を用いて有意性の高い順に積算演算を行うことで、さらなる高速化を図ることができる。
【００４７】
【数２】

【００４８】
なお、以下の式（４）に示すように、正規直交変換行列Ｕによっては２つの特徴ベクトルｇ、特徴ベクトルｆ間の自乗距離ｄ^２は変わらない。
【００４９】
【数３】

【００５０】
このようなベクトル変換処理を行う場合の類似ベクトル検出装置の概略構成を図５に示す。なお、先に図２に示した類似ベクトル検出装置１と同様の構成については同一符号を付して詳細な説明を省略する。図５に示すように、類似時系列検索装置２は、特徴抽出部１０，１１と、ベクトル変換部２０，２１と、記録部１２と、ベクトル比較部１３と、時系列比較部１４とから構成される。ここで、ベクトル変換部２０，２１は、それぞれ特徴ベクトル時系列ｇ_ｔ及び特徴ベクトル時系列ｆ_ｔ内の特徴ベクトルｇ、ｆに対して同様の変換を施すものである。
【００５１】
この類似時系列検索装置２における登録時には、特徴抽出部１０は、参照時系列信号Ｇから特徴ベクトル時系列ｇ_ｔを抽出し、ベクトル変換部２０は、この特徴ベクトル時系列ｇ_ｔ内の各特徴ベクトルｇに対して直交変換を施し、特徴ベクトル時系列ｇ’_ｔを生成する。記録部１２は、この変換後の特徴ベクトル時系列ｇ’_ｔを記録する。
【００５２】
また、この類似時系列検索装置２における検索時には、特徴抽出部１１は、入力時系列信号Ｆから比較対象となる特徴ベクトル時系列ｆ_ｔを抽出し、ベクトル変換部２１は、この特徴ベクトル時系列ｆ_ｔ内の各特徴ベクトルｆに対して直交変換を施し、特徴ベクトル時系列ｆ’_ｔを生成する。そして、ベクトル比較部１３及び時系列比較部１４は、この特徴ベクトル時系列ｆ’_ｔ及び特徴ベクトル時系列ｇ’_ｔを用いて上述と同様の処理を行うことにより、入力時系列信号Ｆ中で参照時系列信号Ｇと類似する信号位置を検出する。但し、上述したように、ベクトル比較部１３は、特徴ベクトル時系列ｇ’_ｔ及び特徴ベクトル時系列ｆ’_ｔ内の特徴ベクトルｇ’、ｆ’に対して、有意性の高い順に積算演算を行う。
【００５３】
ここで、上述した正規直交変換行列Ｕとしては、種々のものを用いることができるが、以下では、具体的に４つの例を挙げて説明する。
【００５４】
（３−１−１）直交変換の具体例１
直交変換の最も簡単なものとして順序行列が挙げられる。これは、単純にベクトル成分の順序を並べ替えるものであり、例えば８次の順序行列Ｐは、以下の式（５）に示すような形で表される。
【００５５】
【数４】

【００５６】
ここで、特徴ベクトルｆ、ｇの各成分の分布が異なる場合、明らかに分散の大きな成分ほど距離に対する寄与が大きい。したがって、並べ替えの順序を決定する際には、予め十分な数（Ｉ個）のサンプルベクトルｇ_ｉを用意し、以下の式（６）で計算される分散ベクトルＶの大きい順に並ぶような順序行列を設定するのが最適である。
【００５７】
【数５】

【００５８】
なお、この順序行列を用いた直交変換は、各ベクトル成分の広がり方が異なるような場合に有効であり、並べ替えのみでよく乗除算や条件分岐が必要ないため高速である。
【００５９】
（３−１−２）
映像特徴量や音響特徴量など、隣接成分間の相関関係が大きい特徴量では、特徴ベクトルを離散信号とみなした場合のエネルギが低周波成分に偏る。
【００６０】
そこで、直交変換として、以下の式（７）、（８）で表される離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）や、以下の式（９）、（１０）で表される離散フーリエ変換（Ｄｉｓｃｒｅｔｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）を用い、低周波成分から順に積算を行うことで、有意性の高い成分から順に積算することができ、特徴ベクトル間の距離計算が高速化される。
【００６１】
【数６】

【００６２】
【数７】

【００６３】
ここで、離散コサイン変換や離散フーリエ変換には高速変換法を用いることができ、また変換行列も全部を保持する必要がないため、計算機で実現する場合のメモリ使用量や演算速度は、行列の全計算を行う場合よりも遙かに有利である。
【００６４】
（３−１−３）
ウォルシュ−アダマール（Ｗａｌｓｈ−Ｈａｄａｍａｒｄ）変換は、変換行列の各要素が±１のみで構成される直交変換であり、変換時に乗算が必要ないため、高速な変換に適する。ここで、周波数に近い概念として交番数（ｓｅｑｕｅｎｃｙ）を用い、低交番数の成分から順に並べることで、上述した離散コサイン変換や離散フーリエ変換と同様に、隣接成分間の相関関係が大きなベクトルに対して距離計算の高速化が図られる。
【００６５】
ウォルシュ−アダマール変換行列は、フーリエ変換行列の符号に従って構成するか、又は行列の再帰的拡大演算によって構成する。一例として、交番数順に並べた８次のウォルシュ−アダマール変換行列Ｗを以下の式（１１）に示す。
【００６６】
【数８】

【００６７】
（３−１−４）
予め十分な数のサンプルベクトルが収集され、また、変換演算に多少のコストをかけてもよい場合には、直交変換として最適なカルーネン−レーベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換（以下、ＫＬ変換という。）を用いることが有効である。
【００６８】
ＫＬ変換行列Ｔは、サンプルベクトルの分散行列Ｖを固有値分解する固有行列であり、固有値をλ_１，…，λ_Ｎとした場合に、以下の式（１２）のように定義される。
【００６９】
【数９】

【００７０】
ここで、ＫＬ変換は、各成分間の相関関係を完全に取り除く直交変換行列であり、変換されたベクトル成分の分散が固有値λ_ｉとなる。したがって、固有値λ_ｉを大きい順に並べるようにＫＬ変換行列Ｔを構成することで、全ての成分を統合し重複する情報を取り除いた上で、最も分散の大きい軸から距離の積算を行うことができる。
【００７１】
なお、このＫＬ変換を用いた手法では、演算時にＫＬ変換行列Ｔを原則として全次元に亘って保持する必要があり、また、全てのベクトルに対して全次数の行列演算を行う必要があるため、演算コストがかかる。しかしながら、この演算は登録時に行うものであるため、特に高速化が要求される検索処理に要する時間を増やすものではない。
【００７２】
また、若干の精度の劣化は伴うものの、固有値の大きいベクトル成分のみを抽出して保持し、固有値の小さいベクトル成分は保持しないようにすることで、ベクトル自体を圧縮し、記録部１２（図５）の記憶領域やデータ読み込み時間を低減することもできる。
【００７３】
（４）変形例２
上述した実施の形態、或いはその変形例では、各フレームにおける特徴ベクトル間の距離計算を高速化することにより検索処理を高速化したが、検索する際には、例えばハードディスク等の記録部１２からのデータ読み込み時間も大きなオーバーヘッドの要因となる。
【００７４】
ここで、上述した変形例におけるＫＬ変換は、多変量解析分野で主成分分析と呼ばれる分析法にあたり、ベクトルを構成する主要な成分を抽出する演算となっている。そこで、以下に説明する他の変形例では、上述した変換後のベクトルｇ’の主要成分を索引ベクトルｇ_１、残りの成分を詳細ベクトルｇ_２として記録する。検索時には、先ず索引ベクトルｇ_１を参照して距離計算を行い、その結果が閾値Ｓ未満である場合にのみ詳細ベクトルｇ_２を取得してさらに距離計算を行うことで、データ読み込み時間の短縮化を図ることができる。
【００７５】
このような処理を行う場合の類似ベクトル検出装置の概略構成を図６に示す。なお、先に図２、図５に示した類似ベクトル検出装置１、２と同様の構成については同一符号を付して詳細な説明を省略する。図６に示すように、類似ベクトル検出装置３は、特徴抽出部１０，１１と、ベクトル変換部３０，３１と、索引記録部３２と、詳細記録部３３と、ベクトル比較部１３と、時系列比較部１４とから構成される。ここで、索引記録部３２、詳細記録部３３は、例えば磁気ディスク、光ディスク、或いは半導体メモリ等である。
【００７６】
この類似ベクトル検出装置３における登録時には、特徴抽出部１０は、参照時系列信号Ｇから特徴ベクトル時系列ｇ_ｔを抽出し、ベクトル変換部３０は、この特徴ベクトル時系列ｇ_ｔ内の各特徴ベクトルｇに対して直交変換を施し、特徴ベクトル時系列ｇ’_ｔを生成する。さらに、ベクトル変換部３０は、特徴ベクトル時系列ｇ’_ｔ内の各特徴ベクトルｇ’を、所定数Ｍ（１≦Ｍ＜Ｎ）の成分から成る索引ベクトルｇ_１と、残りの成分から成る詳細ベクトルｇ_２とに分割する。そして、索引記録部３２は、索引ベクトルｇ_１を記録し、詳細記録部３３は、詳細ベクトルｇ_２を記録する。
【００７７】
また、この類似時系列検索装置２における検索時には、特徴抽出部１１は、入力時系列信号Ｆから比較対象となる特徴ベクトル時系列ｆ_ｔを抽出し、ベクトル変換部３１は、この特徴ベクトル時系列ｆ_ｔ内の各特徴ベクトルｆに対して直交変換を施し、特徴ベクトル時系列ｆ’_ｔを生成する。さらに、ベクトル変換部３１は、特徴ベクトル時系列ｆ’_ｔ内の各特徴ベクトルｆ’を、所定数Ｍ（１≦Ｍ＜Ｎ）の成分から成る索引ベクトルｆ_１と、残りの成分から成る詳細ベクトルｆ_２とに分割する。そして、ベクトル比較部１３及び時系列比較部１４は、この特徴ベクトル時系列ｆ’_ｔ及び特徴ベクトル時系列ｇ’_ｔを用いて上述と同様の処理を行うことにより、入力時系列信号Ｆ中で参照時系列信号Ｇと類似する信号位置を検出する。但し、上述したように、ベクトル比較部１３は、先ず特徴ベクトル時系列ｇ’_ｔ及び特徴ベクトル時系列ｆ’_ｔ内の各索引ベクトルｇ_１、ｆ_１に対して、有意性の高い順に積算演算を行い、Ｍ個の成分について積算演算を行った積算値ｓｕｍが閾値Ｓを下回っていた場合に限り、各詳細ベクトルｇ_２、ｆ_２を取得して積算演算を続ける。
【００７８】
この変形例では、上述した実施の形態や変形例と比較して記憶容量や精度は変わらず、演算速度も殆ど変わらないが、大半の比較が索引ベクトルｇ_１、ｆ_１の比較段階で棄却され詳細ベクトルｇ_２、ｆ_２を取得する必要が少ない場合に、データアクセスによるオーバーヘッドが解消される。
【００７９】
なお、上述の説明では、変換後の特徴ベクトルを索引ベクトルと詳細ベクトルとの２段階に分割するものとしたが、同様に索引ベクトルをさらに上位の索引ベクトルと詳細な索引ベクトルに分割して３段構成にするなど、多段化への拡張が可能であることは勿論である。
【００８０】
（５）特徴ベクトルの抽出
以下では、参照時系列信号Ｇ及び入力時系列信号Ｆの一例として、音響時系列信号Ａや映像時系列信号Ｖを用い、特徴抽出部１０，１１において、この音響時系列信号Ａ、映像時系列信号Ｖからそれぞれ特徴ベクトル時系列ａ_ｔ、ｖ_ｔを抽出する手法について説明する。後述のようにして音響特徴ベクトル時系列ａ_ｔ及び／又は映像特徴ベクトル時系列ｖ_ｔを抽出し、これを特徴ベクトル時系列ｆ_ｔ、ｇ_ｔとして用いることで、未知の音響時系列信号Ａ及び／又は映像時系列信号Ｖが入力された場合に、上述した手法を用いて、登録された音響時系列信号Ａ及び／又は映像時系列信号Ｖと類似する信号位置を高速に検索することができる。
【００８１】
（５−１）音響特徴ベクトルの抽出
（５−１−１）
音響信号に関する特徴量としてパワースペクトル係数を用いる場合の例について、図７のフローチャートと図８を用いて説明する。先ずステップＳ３０において、図８に示すように、対象時区間内の音響信号から時間区間Ｔの音響信号を取得する。
【００８２】
次にステップＳ３１では、取得した音響信号に対して例えば高速フーリエ変換等のスペクトル演算を施し、短時間区間毎にパワースペクトル係数Ｓ_ｑ（ｑ＝０，１，…，Ｑ−１）を求める。ここで、ｑは離散周波数を表すインデックスであり、Ｑは最大離散周波数である。
【００８３】
続いてステップＳ３２では、対象時区間内の計算を終えたか否かが判別され、終えている場合（Ｙｅｓ）にはステップＳ３３に進み、終えていない場合（Ｎｏ）にはステップＳ３０に戻る。
【００８４】
ステップＳ３３では、求めたパワースペクトル係数Ｓ_ｑの平均スペクトルＳ’_ｑを計算し、ステップＳ３４においてこの平均スペクトルＳ’_ｑをベクトル化し、音響特徴ベクトルａを生成する。この音響特徴ベクトルａは、例えば以下の式（１３）のように表される。
【００８５】
【数１０】

【００８６】
この操作は、入力される音響時系列信号Ａについて、時間シフトを行いながら順次繰り返されるため、音響特徴量としては、音響特徴ベクトル時系列ａ_ｔ（ｔ＝１，２，…）が順次生成される。ここでｔは、離散時間を表すインデックスである。ここで、時間シフトを行う際には、隣接する時間区間と若干オーバーラップさせるようにしても構わない。
【００８７】
なお、上述の例では、対象時区間内の音響信号を時間区間Ｔ毎に区切るものとして説明したが、対象時区間が短い場合には、時間区間Ｔ毎に区切らずに、スペクトル演算を施すようにしても構わない。
【００８８】
また、上述の例では、パワースペクトル係数を用いた例について説明したが、これに限定されるものではなく、例えば等価な情報を持つケプストラム係数等を用いることもできる。さらに、フーリエ変換を用いず、ＡＲ（Ａｕｔｏ−Ｒｅｇｒｅｓｓｉｖｅ）モデルを用いる線形予測係数を用いても同様の効果を得ることができる。
【００８９】
（５−１−２）
音響信号は膨大であるため、圧縮符号化されて記録、或いは伝送されることが多い。符号化された音響時系列信号Ａを復号してベースバンドに戻した後、上述の手法を用いて音響特徴ベクトル時系列ａ_ｔを抽出することも可能であるが、部分的な復号のみで音響特徴ベクトル時系列ａ_ｔを抽出できれば、抽出処理を効率化、高速化することができる。
【００９０】
ここで、一般的に用いられる符号化法である変換符号化では、図９に示すように、原音となる音響時系列信号Ａが時間区間Ｔ毎にフレームに区切られる。そして、そのフレーム毎の音響信号に対して変更離散コサイン変換（Ｍｏｄｉｆｉｅｄ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：ＭＤＣＴ）等の直交変換が施され、その係数が量子化されて符号化される。この際、周波数帯域毎に、大きさの正規化係数であるスケールファクタが抽出され、別途符号化される。そこで、このスケールファクタのみを復号することにより、音響特徴ベクトルａとして用いることができる。
【００９１】
このように、音響信号に関する特徴量としてスケールファクタを用いる場合の例について、図１０のフローチャートと図１１を用いて説明する。先ずステップＳ４０において、対象時区間における時間区間Ｔ内の符号化音響信号が取得され、ステップＳ４１において、フレーム毎のスケールファクタが部分的に復号される。
【００９２】
続いてステップＳ４２では、対象時区間内の復号を終えたか否かが判別され、終えている場合（Ｙｅｓ）にはステップＳ４３に進み、終えていない場合（Ｎｏ）にはステップＳ４０に戻る。
【００９３】
ステップＳ４３では、対象時区間内のスケールファクタの中から各帯域毎に最大のスケールファクタを検出し、ステップＳ４４においてそれらをベクトル化し、音響特徴ベクトルａを生成する。
【００９４】
この操作は、符号化音響信号について、時間区間Ｔの時間シフトを行いながら順次繰り返されるため、音響特徴量としては、音響特徴ベクトル時系列ａ_ｔ（ｔ＝１，２，…）が順次生成される。時間シフトを行う際には、隣接する時間区間Ｔと若干オーバーラップさせるようにしても構わない。ここでｔは、離散時間を表すインデックスである。
【００９５】
このようにして、符号化音響信号を完全に復号することなく、上述と等価な音響特徴ベクトル時系列ａ_ｔを高速に抽出することができる。
【００９６】
（５−２）映像特徴ベクトルの抽出
（５−２−１）
映像信号に関する特徴量として輝度情報及び色情報を用いる場合の例について、図１２のフローチャート及び図１３を用いて説明する。先ずステップＳ５０において、図１３に示すように、対象時区間Ｔ内の映像信号から映像フレームを取得する。
【００９７】
次にステップＳ５１では、取得した全ての映像フレームに基づいて、時間平均画像を作成する。
【００９８】
続いてステップＳ５２では、作成された時間平均画像を横縦Ｘ×Ｙ個の小ブロックに分割し、各ブロック内の画素値を平均したブロック平均画像を作成する。
【００９９】
そしてステップＳ５３では、これらを例えば左上から右下へ向かってＲ，Ｇ，Ｂの順に並べて、１次元の映像特徴ベクトルｖを生成する。この映像特徴ベクトルｖは、例えば以下の式（１４）のように表される。
【０１００】
【数１１】

【０１０１】
この操作は、入力される映像時系列信号Ｖについて、時間シフトを行いながら順次繰り返されるため、映像特徴量としては、特徴ベクトルの時系列ｖ_ｔ（ｔ＝１，２，…）が順次生成される。時間シフトを行う際には、隣接する時間区間と若干オーバーラップさせるようにしても構わない。ここでｔは、離散時間を表すインデックスである。
【０１０２】
なお、上述の例では、時間平均画像を分割したブロック平均画像の画素値を並べ替えて１次元の映像特徴ベクトルｖを生成する例について説明したが、これに限定されるものではなく、ブロック平均画像を作成せずに、時間平均画像の画素値を並べ替えて１次元の映像特徴ベクトルｖを生成するようにしても構わない。
【０１０３】
また、通常、映像信号の時間変化はあまり激しくないため、時間平均画像を作成せずに、対象時区間内の１フレームを代表画像として選択して代用しても、ほぼ同様の効果を得ることができる。
【０１０４】
（５−２−２）
全く同一な映像信号でなくても、例えばニュース映像の同じアングルから撮影されたスタジオ映像など、全画像に対する色の分布が類似する映像には何らかの関連があることが多く、これらを同一視して検索する要求もある。このような場合には、画像の空間依存性を排除し、色分布のヒストグラムを作成して比較すると効果的である。
【０１０５】
そこで、このように色分布のヒストグラムを特徴量として用いる場合の例について、図１４のフローチャート及び図１５を用いて説明する。先ずステップＳ６０において、図１５に示すように、対象時区間Ｔ内の映像信号から映像フレームを取得する。
【０１０６】
次にステップＳ６１では、各映像フレームの信号値から、各色、例えばＲ，Ｇ，Ｂの信号値に対するヒストグラムを作成する。
【０１０７】
そしてステップＳ６２では、これらを例えばＲ，Ｇ，Ｂの順に並べて、１次元の映像特徴ベクトルｖを生成する。この映像特徴ベクトルｖは、例えば以下の式（１５）のように表される。
【０１０８】
【数１２】

【０１０９】
この操作は、入力される映像時系列信号Ｖについて、時間シフトを行いながら順次繰り返されるため、映像特徴量としては，特徴ベクトル時系列ｖ_ｔ（ｔ＝１，２，…）が順次生成される。時間シフトを行う際には、隣接する時間区間と若干オーバーラップさせるようにしても構わない。ここでｔは、離散時間を表すインデックスである。
【０１１０】
なお、上述の例では、Ｒ，Ｇ，Ｂの信号値に対するヒストグラムを作成するものとして説明したが、輝度（Ｙ）、色差（Ｃｂ、Ｃｒ）の信号値に対するヒストグラムを作成するようにしても、同様の効果を得ることができる。
【０１１１】
（５−２−３）
映像信号は膨大であるため、圧縮符号化されて記録、或いは伝送されることが多い。符号化された映像時系列信号Ｖを復号してベースバンドに戻した後、上述の手法を用いて映像特徴ベクトル時系列ｖ_ｔを抽出することも可能であるが、部分的な復号のみで映像特徴ベクトル時系列ｖ_ｔを抽出できれば、抽出処理を効率化、高速化することができる。
【０１１２】
ＭＰＥＧ１（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　１）又はＭＰＥＧ２で圧縮符号化された映像時系列信号Ｖから映像特徴ベクトル時系列ｖ_ｔを抽出する場合の例について、図１６のフローチャートと図１７を用いて説明する。先ずステップＳ７０において、ベクトル化する対象時区間Ｔに対して、その直近の符号化グループ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ：ＧＯＰ）の符号化映像信号を取得し、そのＧＯＰ内のフレーム内符号化ピクチャ（Ｉピクチャ）を取得する。
【０１１３】
ここで、フレーム画像は、マクロブロック（１６×１６画素、又は８×８画素）を単位として符号化されており、また、離散コサイン変換（ＤＣＴ）が用いられている。このＤＣＴ変換されたＤＣ係数は、マクロブロック内画像の画素値の平均値にあたる。
【０１１４】
そこで、ステップＳ７１では、このＤＣ係数を取得し、続くステップＳ７２では、これらを例えばＹ，Ｃｂ，Ｃｒの順に並べて、１次元の映像特徴ベクトルｖを生成する。この映像特徴ベクトルｖは、例えば以下の式（１６）のように表される。
【０１１５】
【数１３】

【０１１６】
この操作は、符号化映像信号について、時間シフトを行いながら順次繰り返されるため、映像特徴量としては、映像特徴ベクトル時系列ｖ_ｔ（ｔ＝１，２，…）が順次生成される。時間シフトを行う際には、隣接する時間区間と若干オーバーラップさせるようにしても構わない。ここでｔは、離散時間を表すインデックスである。
【０１１７】
このようにして、符号化映像信号を完全に復号することなく、映像特徴ベクトル時系列ｖ_ｔを高速に抽出することができる。
【０１１８】
なお、上述の例では、ＭＰＥＧ１又はＭＰＥＧ２で圧縮符号化された映像時系列信号Ｖを用いるものとして説明したが、他の圧縮符号化方式にも適用可能であることは勿論である。
【０１１９】
（６）その他
本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１２０】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１２１】
【発明の効果】
以上詳細に説明したように本発明に係る類似時系列検出方法は、ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出方法であって、上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定工程と、上記ベクトル判定工程にて類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定工程とを有する。
【０１２２】
ここで、上記類似度は、例えば上記一対のベクトル間の距離である。この場合、上記ベクトル判定工程は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出ステップと、上記階層的距離算出ステップの各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定ステップとを有し、上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに算出された距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定され、ある階層までに算出された距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定されると共に、残りの階層での距離算出を打ち切るように制御される。
【０１２３】
また、上記時系列判定工程は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数ステップと、上記階層的計数ステップの各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定ステップとを有し、上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに計数された類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定され、ある階層までに計数された非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定されると共に、残りの階層での計数を打ち切るように制御される。
【０１２４】
また、本発明に係る類似時系列検出装置は、ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出装置であって、上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定手段と、上記ベクトル判定手段によって類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定手段とを備える。
【０１２５】
ここで、上記類似度は、例えば上記一対のベクトル間の距離である。この場合、上記ベクトル判定手段は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出手段と、上記階層的距離算出手段によって各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較手段と、上記閾値比較手段による比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定手段とを有し、上記判定手段は、上記閾値比較手段による比較の結果、最後の階層までに算出した距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定し、ある階層までに算出した距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定すると共に、残りの階層での距離算出を打ち切るように制御する。
【０１２６】
また、上記時系列判定手段は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数手段と、上記階層的計数手段によって各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較手段と、上記閾値比較手段による比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定手段とを有し、上記判定手段は、上記閾値比較手段による比較の結果、最後の階層までに計数した類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定し、ある階層までに計数した非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定すると共に、残りの階層での計数を打ち切るように制御する。
【０１２７】
このような類似時系列検出方法及びその装置によれば、一対の時系列パターンの類似性検出のプロセスを、当該一対の時系列パターンを構成する各ベクトル間の距離計算段階と、時系列全体での類似ベクトル又は非類似ベクトルの個数の計数段階とに分割することにより、全体として類似する時系列パターン中に、部分的に劣化した全く異なる信号が挿入されている場合であっても、その時系列パターンを検出することが可能となる。
【０１２８】
ここで、距離算出段階では、一対の時系列パターンを構成するベクトル間の類似度として例えば距離を階層的に算出し、ある階層までに算出された距離の積算値が閾値を上回る場合には非類似と判定し、残りの階層での距離算出を打ち切ることにより、演算を高速化することができる。
【０１２９】
また、計数段階では、ある階層までに計数された非類似ベクトルの個数の積算値が許容数を上回る場合には非類似と判定し、残りの階層での計数を打ち切ることにより、演算を高速化することができる。
【０１３０】
また、本発明に係るプログラムは、上述した類似時系列検出処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【０１３１】
このようなプログラム及び記録媒体によれば、上述した類似時系列検出処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の概念を説明する図であり、同図（Ａ）は、特徴ベクトル間類似度の計算段階を説明する図であり、同図（Ｂ）は、類似する特徴ベクトル個数の計数段階を説明する図である。
【図２】本実施の形態における類似信号検出装置の概略構成を説明する図である。
【図３】同類似信号検出装置における登録時の処理を説明するフローチャートである。
【図４】同類似信号検出装置における検索時の処理を説明するフローチャートである。
【図５】本実施の形態の変形例における類似信号検出装置の概略構成を説明する図である。
【図６】本実施の形態の他の変形例における類似信号検出装置の概略構成を説明する図である。
【図７】音響信号から音響特徴ベクトルを抽出する処理の一例を説明するフローチャートである。
【図８】音響信号から音響特徴ベクトルを抽出する処理の一例を説明する図である。
【図９】音響信号における変換符号化を説明する図である。
【図１０】符号化音響信号から音響特徴ベクトルを抽出する処理の一例を説明するフローチャートである。
【図１１】符号化音響信号から音響特徴ベクトルを抽出する処理の一例を説明する図である。
【図１２】映像信号から映像特徴ベクトルを抽出する処理の一例を説明するフローチャートである。
【図１３】映像信号から映像特徴ベクトルを抽出する処理の一例を説明する図である。
【図１４】映像信号から映像特徴ベクトルを抽出する処理の他の例を説明するフローチャートである。
【図１５】映像信号から映像特徴ベクトルを抽出する処理の他の例を説明する図である。
【図１６】符号化映像信号から映像特徴ベクトルを抽出する処理の他の例を説明するフローチャートである。
【図１７】符号化映像信号から映像特徴ベクトルを抽出する処理の他の例を説明する図である。
【図１８】従来の全検索法を説明する図であり、同図（Ａ）は、映像信号又は音響信号から短時間フレーム毎に特徴ベクトルを生成する様子を示し、同図（Ｂ）乃至（Ｄ）は、入力時系列信号の部分区間を順次ずらしながら参照時系列信号と類似比較する様子を示す。
【図１９】入力時系列信号の特徴ベクトル時系列中に部分的に劣化した特徴ベクトルが挿入されている様子を示す図である。
【符号の説明】
１，２，３　類似時系列検索装置、１０，１１　特徴抽出部、１２　記録部、１３　ベクトル比較部、１４　時系列比較部、２０，２１，３０，３１　ベクトル変換部、３２　索引記録部、３３　詳細記録部

Claims

ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出方法であって、
上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定工程と、
上記ベクトル判定工程にて類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定工程と
を有することを特徴とする類似時系列検出方法。
上記類似度は、上記一対のベクトル間の距離であることを特徴とする請求項１記載の類似時系列検出方法。
上記ベクトル判定工程は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出ステップと、上記階層的距離算出ステップの各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定ステップとを有し、
上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに算出された距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定され、ある階層までに算出された距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定されると共に、残りの階層での距離算出を打ち切るように制御されること
を特徴とする請求項２記載の類似時系列検出方法。
上記階層的距離算出ステップでは、上記一対のベクトルを構成する各成分間の距離算出が階層的に行われ、上記閾値比較ステップにおいて、ある階層までに算出された距離の積算値が上記第１の閾値を下回った場合、次の成分間の距離算出が行われること
を特徴とする請求項３記載の類似時系列検出方法。
上記ベクトル判定工程は、上記一対のベクトルに対して所定の変換を施す変換ステップをさらに有し、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、上記所定の変換に基づく所定の順序で行われること
を特徴とする請求項４記載の類似時系列検出方法。
上記所定の変換は、上記一対のベクトルを構成する各成分の順序を当該各成分の分散の大きさに従って並べ替える変換であり、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、分散の大きな成分から順に行われること
を特徴とする請求項５記載の類似時系列検出方法。
上記所定の変換は、離散コサイン変換又は離散フーリエ変換であり、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、低周波成分から順に行われること
を特徴とする請求項５記載の類似時系列検出方法。
上記所定の変換は、ウォルシュ−アダマール変換であり、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、低交番数成分から順に行われること
を特徴とする請求項５記載の類似時系列検出方法。
上記所定の変換は、カルーネン−レーベ変換であり、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、固有値の大きな成分から順に行われること
を特徴とする請求項５記載の類似時系列検出方法。
上記ベクトル判定工程は、上記変換ステップにて変換された上記一対のベクトルの各々について、当該ベクトルを構成する各成分を上記所定の順序で取り出して階層的な複数の部分ベクトルに分割する分割ステップをさらに有し、
上記階層的距離算出ステップでは、最上位階層の部分ベクトルから順に部分ベクトルを構成する各成分間の距離算出が階層的に行われ、ある階層までの部分ベクトルを構成する全ての成分間について算出された距離の積算値が上記第１の閾値を下回った場合、一階層下位の部分ベクトルを構成する各成分間の距離算出が行われること
を特徴とする請求項５記載の類似時系列検出方法。
上記時系列判定工程は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数ステップと、上記階層的計数ステップの各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定ステップとを有し、
上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに計数された類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定され、ある階層までに計数された非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定されると共に、残りの階層での計数を打ち切るように制御されること
を特徴とする請求項１記載の類似時系列検出方法。
上記ベクトルは、音響信号を特徴ベクトル化したものであり、
上記時系列パターンは、上記音響信号の所定の時区間内のパワースペクトル係数をベクトル化したものの時系列であること
を特徴とする請求項１記載の類似時系列検出方法。
上記ベクトルは、音響信号を特徴ベクトル化したものであり、
上記時系列パターンは、上記音響信号の所定の時区間内の線形予測係数をベクトル化したものの時系列であること
を特徴とする請求項１記載の類似時系列検出方法。
上記ベクトルは、符号化音響信号を特徴ベクトル化したものであり、
上記時系列パターンは、上記符号化音響信号の各フレーム内の周波数成分の強さを表すパラメータをベクトル化したものの時系列であること
を特徴とする請求項１記載の類似時系列検出方法。
上記ベクトルは、映像信号を特徴ベクトル化したものであり、
上記時系列パターンは、上記映像信号の所定の時区間内の代表画像、上記所定の時区間内のフレーム画像の平均画像、又は上記代表画像若しくは上記平均画像を所定のブロック単位に分割した小画像の信号値をベクトル化したものの時系列であること
を特徴とする請求項１記載の類似時系列検出方法。
上記ベクトルは、映像信号を特徴ベクトル化したものであり、
上記時系列パターンは、上記映像信号の所定の時区間内のフレーム画像の、輝度及び／又は色に対するヒストグラムをベクトル化したものの時系列であること
を特徴とする請求項１記載の類似時系列検出方法。
上記ベクトルは、符号化映像信号を特徴ベクトル化したものであり、
上記時系列パターンは、上記符号化映像信号の所定の時区間の直近にあるフレーム内符号化画像の符号化単位となる各ブロックのＤＣ成分の信号値をベクトル化したものの時系列であること
を特徴とする請求項１記載の類似時系列検出方法。
上記一対の時系列パターンの一方は、上記時系列パターンの長さよりも長いベクトルの時系列から切り出されたものであり、切り出し位置を更新しながら順次類似性を検出することを特徴とする請求項１記載の類似時系列検出方法。
ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出装置であって、
上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定手段と、
上記ベクトル判定手段によって類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定手段と
を備えることを特徴とする類似時系列検出装置。
上記類似度は、上記一対のベクトル間の距離であることを特徴とする請求項１９記載の類似時系列検出装置。
上記ベクトル判定手段は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出手段と、上記階層的距離算出手段によって各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較手段と、上記閾値比較手段による比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定手段とを有し、
上記判定手段は、上記閾値比較手段による比較の結果、最後の階層までに算出した距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定し、ある階層までに算出した距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定すると共に、残りの階層での距離算出を打ち切るように制御すること
を特徴とする請求項２０記載の類似時系列検出装置。
上記階層的距離算出手段は、上記一対のベクトルを構成する各成分間の距離算出を階層的に行い、上記閾値比較手段による比較の結果、ある階層までに算出した距離の積算値が上記第１の閾値を下回った場合、次の成分間の距離算出を行うこと
を特徴とする請求項２１記載の類似時系列検出装置。
上記ベクトル判定手段は、上記一対のベクトルに対して所定の変換を施す変換手段をさらに有し、
上記階層的距離算出手段は、上記変換手段によって変換された上記一対のベクトル間の距離算出を、上記所定の変換に基づく所定の順序で行うこと
を特徴とする請求項２２記載の類似時系列検出装置。
上記ベクトル判定手段は、上記変換手段によって変換された上記一対のベクトルの各々について、当該ベクトルを構成する各成分を上記所定の順序で取り出して階層的な複数の部分ベクトルに分割する分割手段をさらに有し、
上記階層的距離算出手段は、最上位階層の部分ベクトルから順に部分ベクトルを構成する各成分間の距離算出を階層的に行い、ある階層までの部分ベクトルを構成する全ての成分間について算出した距離の積算値が上記第１の閾値を下回った場合、一階層下位の部分ベクトルを構成する各成分間の距離算出を行うこと
を特徴とする請求項２３記載の類似時系列検出装置。
上記時系列判定手段は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数手段と、上記階層的計数手段によって各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較手段と、上記閾値比較手段による比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定手段とを有し、
上記判定手段は、上記閾値比較手段による比較の結果、最後の階層までに計数した類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定し、ある階層までに計数した非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定すると共に、残りの階層での計数を打ち切るように制御すること
を特徴とする請求項１９記載の類似時系列検出装置。
ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出処理をコンピュータに実行させるプログラムであって、
上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定工程と、
上記ベクトル判定工程にて類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定工程と
を有することを特徴とするプログラム。
上記類似度は、上記一対のベクトル間の距離であることを特徴とする請求項２６記載のプログラム。
上記ベクトル判定工程は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出ステップと、上記階層的距離算出ステップの各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定ステップとを有し、
上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに算出された距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定され、ある階層までに算出された距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定されると共に、残りの階層での距離算出を打ち切るように制御されること
を特徴とする請求項２７記載のプログラム。
上記階層的距離算出ステップでは、上記一対のベクトルを構成する各成分間の距離算出が階層的に行われ、上記閾値比較ステップにおいて、ある階層までに算出された距離の積算値が上記第１の閾値を下回った場合、次の成分間の距離算出が行われること
を特徴とする請求項２８記載のプログラム。
上記ベクトル判定工程は、上記一対のベクトルに対して所定の変換を施す変換ステップをさらに有し、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、上記所定の変換に基づく所定の順序で行われること
を特徴とする請求項２９記載のプログラム。
上記ベクトル判定工程は、上記変換ステップにて変換された上記一対のベクトルの各々について、当該ベクトルを構成する各成分を上記所定の順序で取り出して階層的な複数の部分ベクトルに分割する分割ステップをさらに有し、
上記階層的距離算出ステップでは、最上位階層の部分ベクトルから順に部分ベクトルを構成する各成分間の距離算出が階層的に行われ、ある階層までの部分ベクトルを構成する全ての成分間について算出された距離の積算値が上記第１の閾値を下回った場合、一階層下位の部分ベクトルを構成する各成分間の距離算出が行われること
を特徴とする請求項３０記載のプログラム。
上記時系列判定工程は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数ステップと、上記階層的計数ステップの各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定ステップとを有し、
上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに計数された類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定され、ある階層までに計数された非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定されると共に、残りの階層での計数を打ち切るように制御されること
を特徴とする請求項２６記載のプログラム。
ベクトルの時系列からなる時系列パターンに関して、一対の時系列パターンの類似性を検出する類似時系列検出処理をコンピュータに実行させるプログラムが記録されたコンピュータ制御可能な記録媒体であって、
上記一対の時系列パターンの一対のベクトル間の類似度を算出し、当該類似度に基づいて、上記一対のベクトルが類似するか否かを判定するベクトル判定工程と、
上記ベクトル判定工程にて類似すると判定された類似ベクトル及び／又は類似しないと判定された非類似ベクトルの個数を計数し、当該計数結果に基づいて、上記一対の時系列パターンの類似性を判定する時系列判定工程と
を有することを特徴とするプログラムが記録された記録媒体。
上記類似度は、上記一対のベクトル間の距離であることを特徴とする請求項３３記載の記録媒体。
上記ベクトル判定工程は、上記一対のベクトル間の距離算出を階層的に行う階層的距離算出ステップと、上記階層的距離算出ステップの各階層で算出された距離の積算値を、距離に関する第１の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対のベクトルが類似するか否かを判定する判定ステップとを有し、
上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに算出された距離の積算値が上記第１の閾値を下回った場合には、上記一対のベクトルが類似すると判定され、ある階層までに算出された距離の積算値が上記第１の閾値を上回った場合には、上記一対のベクトルが類似しないと判定されると共に、残りの階層での距離算出を打ち切るように制御されること
を特徴とする請求項３４記載の記録媒体。
上記階層的距離算出ステップでは、上記一対のベクトルを構成する各成分間の距離算出が階層的に行われ、上記閾値比較ステップにおいて、ある階層までに算出された距離の積算値が上記第１の閾値を下回った場合、次の成分間の距離算出が行われること
を特徴とする請求項３５記載の記録媒体。
上記ベクトル判定工程は、上記一対のベクトルに対して所定の変換を施す変換ステップをさらに有し、
上記階層的距離算出ステップでは、上記変換ステップにて変換された上記一対のベクトル間の距離算出が、上記所定の変換に基づく所定の順序で行われること
を特徴とする請求項３５記載の記録媒体。
上記ベクトル判定工程は、上記変換ステップにて変換された上記一対のベクトルの各々について、当該ベクトルを構成する各成分を上記所定の順序で取り出して階層的な複数の部分ベクトルに分割する分割ステップをさらに有し、
上記階層的距離算出ステップでは、最上位階層の部分ベクトルから順に部分ベクトルを構成する各成分間の距離算出が階層的に行われ、ある階層までの部分ベクトルを構成する全ての成分間について算出された距離の積算値が上記第１の閾値を下回った場合、一階層下位の部分ベクトルを構成する各成分間の距離算出が行われること
を特徴とする請求項３７記載の記録媒体。
上記時系列判定工程は、上記類似ベクトル及び／又は非類似ベクトルの個数の計数を階層的に行う階層的計数ステップと、上記階層的計数ステップの各階層で計数された上記類似ベクトル及び／又は非類似ベクトルの個数の積算値を、類似ベクトルの個数に関する第２の閾値と比較する閾値比較ステップと、上記閾値比較ステップにおける比較結果に応じて、上記一対の時系列パターンの類似性を判定する判定ステップとを有し、
上記判定ステップでは、上記閾値比較ステップにおいて、最後の階層までに計数された類似ベクトルの個数の積算値が上記第２の閾値を上回った場合には、上記一対の時系列パターンが類似すると判定され、ある階層までに計数された非類似ベクトルの個数の積算値が上記時系列パターン中の上記ベクトルの総個数から上記第２の閾値を減じた数を上回った場合には、上記一対の時系列パターンが類似しないと判定されると共に、残りの階層での計数を打ち切るように制御されること
を特徴とする請求項３３記載の記録媒体。