JP2001125903A - データ系列検索装置，方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 逐次入力された記号系列をフレームワイズ，
リアルタイムに検索する。 【解決手段】 検索対象となる参照データ系列を、あら
かじめデータ単位で特徴が類似するもの同士に分類して
おき、各データ集合に代表参照データを定めておく。ク
エリーとしてデータ系列が与えられた場合には、クエリ
ーの各データについて特徴が類似する代表参照データを
検出する。クエリーの一部分に対応する一定区間におい
て、検出された代表参照データに対応する参照データ群
を元に参照データの時間軸上で出現回数のヒストグラム
を作成する。ヒストグラム上で連続していると判断され
る区間をクエリーに対する検索結果とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データが時系列的
に変化するデータ系列と類似するデータ系列を複数組の
データ系列の中から検出したり、１つの大きなデータ系
列の中から検出する場合に好適なデータ系列検索装置、
方法および記録媒体に関する。

【０００２】

【従来の技術】近年、ＤＶＤ（デジタル・ビデオ・ディ
スク）やデジタルＴＶ放送の普及とともに膨大な量の動
画像コンテンツが一般家庭でも簡単に手に入れることが
できるようになってきている。一方では、ＰＣ（パーソ
ナルコンピュータ）の高性能化、記憶装置の大容量化も
進んでおり、ＰＣあるいはＰＣの機能を有する装置動画
像を取り込むニーズが高まってきている。この大きな流
れの中で、動画像の検索や，理解、認識などの動画像処
理はますます重要な技術となってきている。

【０００３】動画像検索において、ユーザが膨大な動画
像ＤＢ（データベース）の中から所望の区間を選び出す
ためには、制作者が予め付与した出演者やあらすじ等の
情報やユーザの手入力によるインデックス、および画像
理解に基づき自動生成されたインデックスをてがかりに
する方法が提案されている。

【０００４】従来の動画像検索に関連した第１の方法と
してはＩＰＭネットワークによりシンボル化された動画
像ＤＢを記述し、クエリーの（検索の元となる）動画像
についてもシンボル化を行い、対応するネットワークを
検索する方法が提案されている。（遠藤他、”動画像の
自己組織化ネットワークによるモデル化とその動的特徴
の可視化”信学技法ＰＲＭＵ９７−７８，ｐｐ．４９−
５４，Ｊｕｌｙ，１９９７）。

【０００５】また、この方法に関連する文献としては以
下のものがある。

【０００６】・矢部他、”ジェスチャ動画像と意味的記
述単語系列のネットワーク構造対応に基づくジェスチャ
認識”人工知能学会全国大会（第１３回）論文集、Ｓ３
−０５，ｐｐ９５−９８、Ｊｕｎｅ，１９９９． ・伊藤他，”時系列標準パターンの任意区間によるスポ
ッティングのためのＲｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖ
ａｌ−ｆｒｅｅ連続ＤＰ（ＲＩＦＣＤＰ），”信学論，
ＶｏｌＪ７９Ｄ−ＩＩ，Ｎｏ．９，ｐｐ１４７４−１４
８３、Ｓｔｅｐ．，１９９６． ・西村他、”動作者適応のためのオンライン教示可能な
ジェスチャ動画像の認識システム、”信学論、Ｖｏｌ．
Ｊ８１−Ｄ−ＩＩ、Ｎｏ．８，ｐｐ１８２２−１８３
０，Ａｕｇ．，１９９８． ・西村他”距離画像を用いた低解像度特長によるジェス
チャのスポッティング認識，”人工知能学会全国大会
（第１３回）論文集、Ｓ３−０６，ｐｐ９９−１０２，
Ｊｕｎｅ，１９９９．第２の方法として、アクティブ検
索により動画像ＤＢおよびクエリーの画像特徴ベクトル
のヒストグラムを計算し、類似度を求めて検索する以下
の提案として以下のものがある。

【０００７】・柏野他，”マルチモーダルアクティブ検
索を用いた画像・音響系列の高速検索，”信学技報，Ｐ
ＲＭＵ９８−８０、ｐｐ５１−５８、Ｓｅｐ．，１９９
８．第３の方法としてカット単位での代表画像の特徴を
記号化して検索に用いる提案として以下のものがある。

【０００８】・長坂他，”時系列フレームの圧縮符号化
に基づく映像シーンの高速分類方法”，信学論，Ｖｏｌ
Ｊ８１−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１８３１−１８３
７，Ａｕｇ．，１９９８．

【０００９】

【発明が解決しようとする課題】上述の第１の方法はデ
ータベース中の動画像の各フレームとクエリーの動画像
の各フレームとのマッチング（距離計算）を行うため
に、動画像のフレーム数が多いほどマッチングの計算時
間が膨大となり、リアルタイムで検索を行うことが難し
いという問題がある。

【００１０】第２の方法は、区間限定のＣＭ検索のよう
に任意の入力区間に未対応であるためにクエリー入力が
フレーム単位で逐次行われ，その度に検索を行うといっ
た、区間が限定されない画像の実時間検索には向いてい
ない。

【００１１】そこで、本発明の目的は、フレームワイズ
の検索を行う上で、動画像データなど、時系列的にデー
タが変化するデータ系列の逐次入力される記号系列をフ
レームワイズに検索を行うことができるデータ系列検索
装置，方法および記録媒体を提供することにある。

【００１２】

【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、各データが時系列的に連
続しているデータ系列をクエリーとして与え、該データ
系列に類似する個所を参照データ系列の中で検索するデ
ータ系列検索装置において、前記参照データ系列を予め
分類し、特徴が類似している参照データ群を１つの集合
とする複数の集合および各集合を代表する代表参照デー
タを予め用意し、前記複数の集合の各々と関連付けて、
各集合の中に含まれる参照データの時間軸上の位置およ
び代表参照データを予め記憶した記憶手段と，前記クエ
リーのデータ系列を入力する入力手段と、当該入力され
たクエリーのデータ系列を構成する複数のデータの各々
について、もっとも距離が近い代表参照データを有する
集合を検出する第１の情報処理手段と、当該検出された
１以上の集合の中に含まれる参照データの時間軸上の位
置に基づいて、前記検出された１以上の集合の中に含ま
れ、時間軸上で連続する参照データで構成される部分参
照データ系列を取得する第２の情報処理手段とを具え、
当該取得された部分参照データ系列を前記クエリーのデ
ータ系列に対する検索結果とすることを特徴とする。

【００１３】請求項２の発明は、請求項１に記載のデー
タ系列検索装置において、前記第２の情報処理手段は前
記時間軸上で連続する部分参照データ系列の中からさら
に順次性を有する部分参照データ系列を最終的な検索結
果として取得することを特徴とする。

【００１４】請求項３の発明は、請求項１に記載のデー
タ系列検索装置において、前記第１の情報処理手段は、
クエリーのデータに距離がもっとも距離が近い代表参照
データが検出されるごとに、該代表参照データを有する
集合内の参照データに対して得点を与え、前記第２の情
報処理手段は各前記参照データの得点を時間軸上に並べ
たヒストグラム分布を作成し、当該作成されたヒストグ
ラム分布に基づき連続する部分参照データ系列を取得す
ることを特徴とする。

【００１５】請求項４の発明は、各データが時系列的に
連続しているデータ系列をクエリーとして与え、該部分
的なデータ系列に類似する個所を参照データ系列の中で
検索するデータ系列検索方法において、前記参照データ
系列を分類し、特徴が類似している参照データ群を１つ
の集合とする複数の集合および各集合を代表する代表デ
ータを予め用意し、前記複数の集合の各々と関連付け
て、各集合の中に含まれる参照データの時間軸上の位置
および代表参照データを記憶手段に記憶しておき，前記
クエリーのデータ系列を構成する複数のデータの各々に
ついて、もっとも距離が近い代表参照データを有する集
合を情報処理手段により検出し、当該検出された１以上
の集合の中に含まれる参照データの時間軸上の位置に基
づいて、前記検出された１以上の集合の中に含まれ、時
間軸上で連続する参照データで構成される部分参照デー
タ系列を前記情報処理手段により取得し、当該取得され
た部分参照データ系列を前記クエリーのデータ系列に対
する検索結果とすることを特徴とする。

【００１６】請求項５の発明は、請求項４に記載のデー
タ系列検索方法において、前記情報処理手段は前記時間
軸上で連続する部分参照データ系列の中からさらに順次
性を有する部分参照データ系列を最終的な検索結果とし
て取得することを特徴とする。

【００１７】請求項６の発明は、請求項４に記載のデー
タ系列検索方法において、前記情報処理手段は、クエリ
ーのデータに距離がもっとも距離が近い代表参照データ
が検出されるごとに、該代表参照データを有する集合内
の参照データに対して得点を与え、各前記参照データの
得点を時間軸上に並べたヒストグラム分布を作成し、当
該作成されたヒストグラム分布に基づき連続する部分参
照データ系列を取得することを特徴とする。

【００１８】請求項７の発明は、各データの値が時系列
的に連続しているデータ系列をクエリーとして与え、該
部分的なデータ系列に類似する個所を参照データ系列の
中で検索するためのプログラムを記録した記録媒体にお
いて、前記プログラムは、前記参照データ系列が分類さ
れ、特徴が類似している参照データ群を１つの集合とす
る複数の集合および各集合を代表する代表データが予め
用意されており、前記複数の集合の各々と関連付けて、
各集合の中に含まれる参照データの時間軸上の位置およ
び代表参照データが予めデータ処理装置に記憶されてお
り，前記クエリーのデータ系列を構成する複数のデータ
の各々について、もっとも距離が近い代表参照データを
有する集合を検出する第１のステップと、当該検出され
た１以上の集合の中に含まれる参照データの時間軸上の
位置に基づいて、前記検出された１以上の集合の中に含
まれ、時間軸上で連続する参照データで構成される部分
参照データ系列を取得する第２のステップと、を具え、
当該取得された部分参照データ系列を前記クエリーのデ
ータ系列に対する検索結果とすることを特徴とする。

【００１９】請求項８の発明は、請求項７に記載の記録
媒体において、前記第２のステップでは前記時間軸上で
連続する部分参照データ系列の中からさらに順次性を有
する部分参照データ系列を採取的な検索結果として取得
することを特徴とする。

【００２０】請求項９の発明は、請求項７に記載の記録
媒体において、前記第１のステップは、クエリーのデー
タに距離がもっとも距離が近い代表参照データが検出さ
れるごとに、該代表参照データを有する集合内の参照デ
ータに対して得点を与え、前記第２のステップでは各前
記参照データの得点を時間軸上に並べたヒストグラム分
布を作成し、当該作成されたヒストグラム分布に基づき
連続する部分参照データ系列を取得することを特徴とす
る。

【００２１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。

【００２２】最初に本実施形態のデータ系列検索方法に
ついて図１を参照して説明する。

【００２３】(第１の実施形態）本実施形態では、逐次
入力されるクエリーのフレーム画像において、一定区間
のフレーム窓を図１に示すように時間軸に沿って移動さ
せながらフレーム単位で、検索のための情報処理を行
い、クエリーの連続のフレーム画像（動画像）と類似す
る参照動画像部分を検出する。以下にその検索処理内容
を説明する。

【００２４】（ａ）参照動画像によるＶＱ空間の作成 クエリー画像の比較の対象となる参照動画像からフレー
ム単位で画像の特徴量を取得する。本実施例では１つの
フレームをいくつかに分割し、画像の色情報または輝度
情報を用いてＮ（正の整数）要素をもつ特徴ベクトルす
る。この特徴ベクトルを使用して画像の特徴が類似して
いるフレーム同士を集め１つの集合（セントロイド（ｃ
ｅｎｔｒｏｉｄ）と呼ばれる）を形成し、複数のフレー
ム画像の集合群に動画像を分類する。画像の分類方法と
しては、周知の方法を使用することができる。本実施形
態では量子化と呼ばれる方法を使用する。より具体的に
は、あるフレーム画像の特徴ベクトルと、すでに存在す
る１つの集合の中の全特徴ベクトルとの間の２乗誤差が
一定距離以内であれば、そのフレーム画像を比較の対象
となった集合の中に組み入れる。また、上記２乗誤差が
一定距離以内でない場合には、そのフレーム画像を代表
特徴ベクトル（セントロイドベクトル）とする新しい集
合を作成する。このようにして参照動画像を量子化する
と、図１に示すような複数の集合が形成される。この複
数の集合群をＶＱ空間と呼ぶことにする。

【００２５】セントロイドベクトルV(i)を以下のように
定義する。ただし、i=1,2.....,M,Mはセントロイド総
数、Nは特徴要素数である。

【００２６】

【数１】

【００２７】また、集合に含まれるフレーム画像を識別
するためにフレーム画像のフレーム番号τを記憶するテ
ーブルZ(i)を用意する。iはセントロイド（集合）の識
別番号である。テーブルZ(i)の内容を数式で表現すると
以下のようになる。

【００２８】

【数２】

【００２９】ただし、K(i)はセントロイド番号iに属す
るリファレンス（参照）フレームの総数となる。以後、

【００３０】

【外１】

【００３１】は

【００３２】

【外２】

【００３３】と略して表す。

【００３４】（ｂ）ヒストグラムの作成 クエリーとしての動画像が、各フレーム単位でＶＱ空間
と同様に特徴ベクトルの形態で入力されてくるとする。
時刻tにおけるクエリー入力フレームの特徴ベクトルf
(t)は、

【００３５】

【数３】

【００３６】であり、ＶＱ空間の各セントロイドベクト
ル（代表特徴ベクトル）とクエリーのフレーム画像との
２乗誤差の和を最小にするセントロイドの番号をこのフ
レーム画像に対するＶＱコードm(t)とする。

【００３７】

【数４】

【００３８】t≧Tとして時刻tまでの区間Tの間での入力
フレームシーケンス

【００３９】

【数５】

【００４０】を考えると、対応するVQコードシーケンス
は、

【００４１】

【数６】

【００４２】である。このとき、対応するリファレンス
フレームシーケンスは（２）式より以下のようになる。

【００４３】

【数７】

【００４４】時刻tにおいてはK(m(t))個のレファレンス
フレームが存在する。これをt-Tからtまでの長さTの区
間で、横軸が参照動画像のフレーム番号uとして、縦軸
を各レファレンスフレームののヒストグラムh(t,u)とし
て（図１参照）、各リファレンスフレーム番号に対応す
るセロノイド番号が何度ヒットされたかの統計を求め
る。

【００４５】

【数８】

【００４６】

【数９】

【００４７】

【数１０】

【００４８】次の時刻t+1になった場合には、これまで
のt-Tの時刻に関してのヒストグラムを減少させ、新た
なt+1でのヒストグラムを増加させるように、フレーム
窓の区間を移動させる。

【００４９】（ｃ）クラスタリング これまでに作成したヒストグラムを基にフレーム単位で
のクラスタリングを行う。本実施形態でのクラスタリン
グは設定したスレッショルド（しきい値）よりも大きい
区間[Cmin,Cmax]をクラスタとして検出する（図１参
照）。

【００５０】上述のデータ系列検索方法にしたがって、
パーソナルコンピュータにより動画像検索の実験を行っ
た。動画像(参照(リファレンス），クエリーとも）には
すでにキャプチャリング、特徴化を行ったものを用い
た。特徴化方法は龍谷大学が提唱する６０要素からなる
ベクトルとした。テレビの放映画像２００，０００フレ
ーム(２時間分)を用いてVQ空間のセントロイド数は１
３，３１６であった。

【００５１】参照動画像と同一のクエリー画像を用いて
検索を行った結果、少なくともクエリーと同一の区間を
参照動画像中で検出することができた。

【００５２】(実施形態２）上述の実施形態では、フレ
ームの順次性を考慮していないために、参照画像のある
一部分のフレーム順序が逆になったような動画像がクエ
リーとなった場合、参照画像の上記一部分の動画像が検
出結果として得られてしまう。そこで、このようなこと
が無いようにフレームの順次性を考慮した第２実施形態
を次に説明する。

【００５３】（１）時間順序性を顧慮したヒストグラム
の作成 ヒストグラムの、フレームの時間順序性を考慮した作成
方法は以下のとおりである。(7)式に関して、

【００５４】

【外３】

【００５５】の代わりに

【００５６】

【外４】

【００５７】を考慮した(8) 式を採用する。

【００５８】

【数１０】

【００５９】ここで

【００６０】

【外５】

【００６１】は式（９）の通り。

【００６２】

【数１１】

【００６３】ここで、

【００６４】

【外６】

【００６５】

【数１２】

【００６６】となる式である。

【００６７】１つめの条件において、

【００６８】

【外７】

【００６９】は時刻ｔ−１で存在していたクラスタが参
照画像上の時刻の増加方向に伸びる場合、または、時刻
t-1でクラスタは存在せず開始点となりうる場合に

【００７０】

【外８】

【００７１】となり、それ以外は空となる値である。１
つ目の条件では

【００７２】

【外９】

【００７３】を漸化的に、今回の

【００７４】

【外１０】

【００７５】のうち前回伸びていたクラスタの時刻

【００７６】

【外１１】

【００７７】よりも先になるものが存在する場合に

【００７８】

【外１２】

【００７９】とする。２つ目の条件では、値

【００８０】

【外１３】

【００８１】

【外１４】

【００８２】がクラスタの開始点となりうる参照画像上
の時刻で、時刻t-1でのヒストグラム上のフレーム番号

【００８３】

【外１５】

【００８４】とそのｕ軸上の２つ前まで、つまり，

【００８５】

【外１６】

【００８６】におけるヒストグラムの値がそれぞれ0で
ある場合に真となる値である。

【００８７】なお、式中ではクラスタが伸びるための条
件として、前回伸びているクラスタから時刻２以内で再
びヒストグラムが投票されること、また、新しくクラス
タが開始する条件として前回のクラスタから時刻２以上
離れていることとしている。

【００８８】（２）クラスタリング 検索結果として参照動画像を求めるクラスタリング時
に、時刻ｔにおいて、上記(10)式の

【００８９】

【外１７】

【００９０】で空でないものを探す（クラスタが伸びつ
づけている）ヒストグラム中

【００９１】

【外１８】

【００９２】以前に一定区間Tc（例えばヒストグラム作
成のためのTの４分の１）以上連続して非０でない区間
を持つ

【００９３】

【外１９】

【００９４】を探す。

【００９５】該当する

【００９６】

【外２０】

【００９７】に対応した非０でない区間の開始時刻およ
び

【００９８】

【外２１】

【００９９】を、それぞれクラスタの開始時刻および終
了時刻とする。

【０１００】（３）動画検索アプリの検索結果表示方法 動画像の検索結果の表示例を図２に示す。上記方法でク
ラスタリングされた空でない

【０１０１】

【外２２】

【０１０２】を全て表示していく。

【０１０３】時刻tにおいての結果は上記２の方法でク
ラスタリングしたものであるとする。次の時刻t+1では
空でない

【０１０４】

【外２３】

【０１０５】を新たに求めることができる。クラスタリ
ングの方法から伸びた差分は

【０１０６】

【外２４】

【０１０７】であるから、既に表示してある対応する結
果部分にそれぞれに対応する

【０１０８】

【外２５】

【０１０９】のうち、最も時刻の進んだフレームを上書
きするようにする。表示する位置は、例えば伸びたクラ
スタの元である対応する

【０１１０】

【外２６】

【０１１１】から最も近い画像の位置とする（画像に対
応させて最新の

【０１１２】

【外２７】

【０１１３】を記憶する）。これを繰り返していくと、
クエリーが逐次入力された場合の検索された結果が、動
画像として表示されていくことになる。ある時刻におい
て

【０１１４】

【外２８】

【０１１５】が空になった場合にはその画像を削除し、
他の空でない

【０１１６】

【外２９】

【０１１７】に対応する画像でレイアウトし直す。

【０１１８】（実施形態３）上述の実施形態で説明した
データ系列検索方法にしたがって、動画像などのデータ
系列と類似する個所を参照データ系列の中から検索（検
出）するデータ系列検索装置を次に第３実施形態として
説明する。

【０１１９】図３は第３実施形態のシステム構成を示
す。データ系列検索装置は汎用のパーソナルコンピュー
タが後述のプログラムを実行することにより実現される
ので、パーソナルコンピュータの構成の説明は簡単に留
める。

【０１２０】図３において、ＣＰＵ１０、システムメモ
リ１１、入出力インターフェース（Ｉ／Ｏ）１２、ハー
ドディスク記憶装置（ＨＤＤと略記する）１３、入力装
置１４および出力装置１５がバスに記憶されている。な
お、バスにはＣＤＲＯＭ読取装置（不図示）も接続され
ている。

【０１２１】ＣＰＵ１０は図５に示す処理プログラムを
実行してデータ系列の検索を行う。また、オペレーティ
ングシステム（ＯＳ）にしたがって、システム制御を行
う。

【０１２２】システムメモリ１１はＣＰＵ１０が実行す
べきプログラムをローディングすると共に、ＣＰＵ１０
に対する入出力データを一時記憶する。出力装置１５
（本例の場合表示装置）に出力するデータもシステムメ
モリ１１に一時記憶される。

【０１２３】Ｉ／Ｏ１２を介して、検索対象の動画像、
すなわち、クエリーの動画像が外部装置、たとえば、ビ
デオカメラ等から入力される。ＨＤＤ１３はＯＳ用のプ
ログラムデータ系列検索用のプログラムを保存目的のた
めに記憶する。入力装置１４としてはマウスのようなポ
インティングデバイスおよびキーボードを使用すること
ができる。入力装置１４からはＣＰＵ１０に対する動作
指示、本形態の場合には、データ系列検索用のプログラ
ムの起動の指示を入力する。出力装置１５は、検索結果
を出力する。本実施形態では出力装置１５として表示装
置を使用するが、他に、プリンタや通信装置を使用する
こともできる。

【０１２４】被検索の対象となる参照動画像はＩ／Ｏ１
２を介して逐次入力されるものとする。また、上述した
量子化により複数のセントロイド、すなわち、画像の特
徴が類似するフレーム番号を集めた複数組の集合がテー
ブルの形態で、ＨＤＤ１３に保存されているものとす
る。上記テーブルは、図４に示すようにセントロイド番
号ごとにそのセントロイドに含まれるフレーム画像のフ
レーム番号が記載されている。また、各セントロイド番
号に対応させて、そのセントロイドを代表するフレーム
画像（代表特徴店）の特徴データもテーブルに記載され
ている。以下、このテーブルを参照テーブルと呼ぶこと
にする。図５〜図８を参照して図４のシステムのデータ
系列検索動作を説明する。

【０１２５】図５はデータ系列検索プログラムのメイン
処理手順を示し，図６〜図８はメイン処理手順中の個別
処理の詳細を示す。図５の処理プログラムは、入力装置
１４からのユーザによる起動指示に応じて、ＨＤＤ１３
からシステムメモリ１１にロードされＣＰＵ１１により
実行される。

【０１２６】図５のプログラムが起動されると、ＣＰＵ
１０は、外部装置からクエリーの動画像をＩ／Ｏ１２を
介して入力し、従来と同様にして特徴化して、特徴化さ
れた特徴データをシステムメモリ１１に一時記憶する
（ステップＳ１０）。次に、ＣＰＵ１０はフレーム窓と
して使用するバッファ（システムメモリ内）にクエリー
の動画像の先頭から所定数、説明の便宜上、３枚のフレ
ーム画像を取り込む（ステップＳ２０）。

【０１２７】次に、ＣＰＵ１０は取り込んだ３枚のフレ
ー画像の第１枚目のフレーム画像番号を距離計算の対象
として設定する（ステップＳ３０）。ＣＰＵ１０は、第
１枚目のフレーム画像の特徴が最短距離にある代表特徴
データのセントロイド番号を特徴データの距離計算によ
り取得する（ステップＳ４０）。この処理は、図６を使
用して後で詳細に説明する。

【０１２８】たとえば、セントロイド番号１が取得され
ると、ＣＰＵ１０は参照テーブルを参照して、セントロ
イド番号１の集合に含まれる参照動画像のフレーム番号
（以下、参照フレーム番号と略記する）を取得する。た
とえば、セントロイド番号１の集合には、参照フレーム
番号１〜５が含まれているとすると、各参照フレーム番
号のヒストグラムの値（得点）を記憶する変数がそれぞ
れ１だけインクリメントされる。この例では、参照フレ
ーム番号１〜５のヒストグラムのそれぞれの値が初期値
０から１にインクリメントされる（ステップＳ６０）。

【０１２９】次にＣＰＵ１０はクエリーのフレーム番号
を第１番目のフレーム番号から第２番目のフレーム番号
に変更して、フレーム番号の特徴データと類似する代表
特徴データを有するセントロイド番号を検出する（ステ
ップＳ６０→Ｓ３０〜Ｓ４０）。

【０１３０】検出されたセントロイド番号の集合内の参
照フレーム番号を参照テーブルから取得すると、参照フ
レーム番号に対応する全てのヒストグラムの値を１だけ
インクリメントする（ステップＳ４０）。このようにし
て、ステップＳ３０〜Ｓ６０の処理を繰り返して、バッ
ファに格納した３枚のクエリーの特徴データに類似する
セントロイドおよびそのセントロイドに含まれる参照フ
レーム番号を検出する。また、その参照フレーム番号の
ヒストグラムの値がインクリメントされて行く（図１参
照）。

【０１３１】バッファに格納された３枚のフレーム画像
についてヒストグラムが計算されると、ＣＰＵ１０は手
順をステップＳ１０に戻し、バッファをＦＩＦＯ（ファ
ーストインファーストアウト）する。具体的には、バッ
ファの記憶内容を前送りし、最初の記憶データを破棄し
て、新しい次のデータ、この場合、第４番目のクエリー
のフレーム画像の特徴データをバッファに格納する（ス
テップＳ７０→Ｓ７５→Ｓ１０）。以下、ＣＰＵ１０は
ステップＳ３０〜Ｓ６０の手順を繰り返して、第２番目
〜第４番目のフレーム画像の特徴データのそれぞれにつ
いて、最短距離の代表特徴データを有するセントロイド
番号を検出する。また、そのセントロイドに含まれる参
照フレーム番号を検出して、ヒストグラムの値をインク
リメントする。

【０１３２】クエリーの動画像の全てのフレーム画像に
ついて、上述の処理を終了すると、ＣＰＵ１０はヒスト
グラムの値の分布において、ヒストグラムの値がしきい
値以上となる山の部分の参照フレーム画像の連続区間を
検出する（図１のクラスタ部分）。

【０１３３】検出されたフレーム画像の時間軸上の連続
区間は参照フレーム番号の形態で与えられるので、ＣＰ
Ｕ１０は連続区間の開始の参照フレーム番号と、最終の
参照フレーム番号を出力装置１５から出力する。

【０１３４】図５のステップＳ４０の最短距離のセント
ロイド番号の検出処理の詳細を図６を参照して説明す
る。

【０１３５】図６において、ＣＰＵ１０は、セントロイ
ド番号を初期値１に設定する（ステップＳ１００）。次
に、設定されたセントロイド番号に対応する代表特徴デ
ータを参照テーブルから取得する。取得した代表特徴デ
ータと、クエリー側の特徴データとの距離計算を従来と
同様の計算方法で行う（ステップＳ１１０）。

【０１３６】距離の計算結果が得られると、これまでに
得られた最小の距離計算結果と比較する。なお、距離計
算結果が第１回目の場合には、これまでに得られた最小
値として予めステップＳ１００で大きな値を初期設定し
ておけばよい。これにより、セントロイド番号１の特徴
データについての距離計算結果が、これまでの最小の距
離計算結果としてシステムメモリ１１に一時格納される
（ステップＳ１２０→Ｓ１３０）。ＣＰＵ１０は手順を
ステップＳ１４０からＳ１００に戻し、セントロイド番
号を次の番号、この場合”２”に更新し、セントロイド
番号２の代表特徴データと、クエリー側の特徴データと
の間の距離を計算する。距離の計算結果は、これまでに
得られた最小値と比較され、新たに得られた距離計算結
果がこれまでの最小値よりも小さい場合には、新しく得
られた距離計算結果が、これまでに得られた最小値に変
更される。また、この時使用されたセントロイド番号が
システムメモリ１１に更新的に一時記憶される。このよ
うにして、ステップＳ１００〜Ｓ１４０の手順を繰り返
して最後のセントロイド番号まで距離計算を繰り返す
と、システムメモリ１１には、最小の距離計算結果が得
られた時のセントロイド番号が一時記憶されていること
になる。

【０１３７】図５のステップＳ５０のヒストグラム作成
処理を図７を参照して説明する。図７において、上述の
セントロイド番号検出処理により検出されたセントロイ
ド番号がシステムメモリ１１に一時記憶されているの
で、参照テーブルを参照し、セントロイド番号の示す集
合に含まれる参照フレーム番号のヒストグラムの値に対
しては、加算値を”１”とし、それ以外の参照フレーム
番号のヒストグラムの値に対しては加算値”０”が与え
られる（ステップＳ２１０）。

【０１３８】本実施形態では、参照フレーム番号１から
最終の番号まで、参照フレーム番号を更新しながら（ス
テップＳ２００）、ヒストグラムの値の加算処理を一括
して行う（ステップＳ２００〜Ｓ２３０のループ処
理）。加算されたヒストグラムの値は、参照フレーム番
号に関連付けられてシステムメモリ１１内に一時記憶さ
れる。

【０１３９】図５のクエリー画像と合致（類似も含む）
する参照動画像部分の検出処理を図８を参照して説明す
る。説明の便宜上、図１に示すヒストグラムが作成され
ているものとする。図８の処理手順はフラグを使用す
る。このフラグはヒストグラム分布でしきい値以上とな
る参照フレーム番号の連続性の有無をオン／オフで表
す。より具体的には、ヒストグラム分布中で、図１のＣ
ｍｉｎでヒストグラムの値がしきい値を超えると、フラ
グがオンのままとなり、Ｃｍａｘでしきい値以下になる
とフラグがオフになる。したがって、フラグがオフから
オンに切り替わる時点の参照フレーム番号が検索結果の
開始フレーム番号であり、フラグがオンからオフに切り
替わる時点の参照フレーム番号が検索結果の最終フレー
ム番号となる。

【０１４０】ＣＰＵ１０は参照フレーム番号を初期値”
１”，フラグを初期値オフに設定する（ステップＳ３０
０）。設定された参照フレーム番号のヒストグラムの値
をシステムメモリ１１から読み出して、予め定められて
いるしきい値と比較する。図１の例では、参照フレーム
番号１のヒストグラムの値は”０”であるので、ステッ
プＳ３１０の比較判定ではＮＯ（ヒストグラムの値（得
点）はしきい値よりも小）の判定が得られる。

【０１４１】このため、手順はステップＳ３１０→Ｓ３
１１へと進み、フラグがオンであるか否かが判定され
る。この判定処理は、ヒストグラム分布の値がしきい値
より大きい部分から小さい部分に切り替わる個所、すな
わち、最終フレーム番号部分を検出するための判定処理
である。フラグはオフであるので、判定結果はＮＯの判
定（参照フレーム番号１は最終フレーム番号ではない）
が得られる。

【０１４２】したがって、手順はステップＳ３１１→Ｓ
３４０→Ｓ３００へと進み、処理対象の参照フレーム番
号が”２”に更新される。図１を見ると明らかなよう
に、参照フレーム番号２のヒストグラムの値は”０”な
ので、手順はステップＳ３００→Ｓ３１０→Ｓ３１１→
Ｓ３４０→Ｓ３００の経路を進む。この手順経路はヒス
トグラムの値がしきい値を超える参照フレーム番号Ｃｍ
ｉｎに処理対象の参照フレーム番号が到着するまで繰り
返される。

【０１４３】処理対象の参照フレーム番号がＣｍｉｎに
更新されると、ステップＳ３１０のしきい値との比較判
定処理で、判定結果がＹＥＳとなる。続いて、現在のフ
ラグの判定処理によりフラグがオフであることが確認さ
れる。これにより手順は、ステップＳ３１０→Ｓ３２０
→Ｓ３３０と進み、ここで、フラグがオフからオンに変
更される。また、検索結果の開始フレーム番号としてＣ
ｍｉｎがシステムメモリ１１に登録され、検査結果部分
のフレーム長さが値”１”に初期設定される。

【０１４４】手順はステップＳ３３０→Ｓ３４０→Ｓ３
００へと進み、処理対象の参照フレーム番号がＣｍｉｎ
+１に更新される。図１に示すように、このフレーム位
置のヒストグラムの値はしきい値よりも大きいのでステ
ップＳ３１０の判定結果はＹＥＳとなる。現在のフラグ
はオンなので、手順はステップＳ３１０→Ｓ３２０→Ｓ
３２５へと進み、これまでの検索結果部分の長さ”１”
に値”１”が加算され、検索結果部分のフレーム長さ
が”２”に更新される。

【０１４５】以後、図１のヒストグラム分布中で、処理
対象の参照フレーム番号がＣｍａｘまで、ステップＳ３
００〜Ｓ３２５→Ｓ３４０→Ｓ３００の手順経路が繰り
返し実行されて、検索結果部分の長さの計数が行われ
る。

【０１４６】処理対象の参照フレーム番号がＣｍａｘ＋
１になると、図１のヒストグラムではヒストグラムの値
がしきい値以下となるので、手順はステップＳ３００→
Ｓ３１０→Ｓ３１１の経路を進む。フラグはオンになっ
ているので、ステップＳ３１１の判定処理はＹＥＳ判
定、すなわち、ヒストグラム分布の山の終了の判定が得
られる。本実施形態では雑音除去のためにステップＳ３
１２の判定処理を設け、ヒストグラム分布の山の時間軸
上の長さ（参照フレームの連続の長さ）がしきい値以上
となった場合に、参照フレームの連続部分を検索結果と
して確定している。本例では、ステップＳ３１２の判定
処理がＹＥＳ判定となるなるので、現在の参照フレーム
番号（Ｃｍａｘ＋１）から数値１を引いた値が連続部の
終了フレーム番号として、システムメモリ１１に登録さ
れる。また、フラグがオフされる（ステップＳ３１２〜
Ｓ３１４）．以下、ＣＰＵ１０は上述の処理手順にした
がって、処理対象の参照フレーム番号を更新しながら
（ステップＳ３００）、図１のヒストグラムの山の部分
の開始および終了位置（参照フレーム番号）を検出す
る。

【０１４７】検出された参照フレームの開始番号および
終了番号が、クエリーについての検索結果として出力さ
れる。以上述べた処理手順は第１の実施形態の方法をソ
フトウェアで実現するが、第２の実施形態についても
（９）式〜（１１）式を使用して、ヒストグラムのフレ
ームの順次性を確認する処理手順を実行すればよく、詳
細な説明を要しないであろう。

【０１４８】上述の実施形態の他に次の実施形態を実施
できる。

【０１４９】１）第１の実施形態ではヒストグラムの山
の部分を検出する条件を、 （ａ）ヒストグラムの値がしきい値以上であること （ｂ）山の長さがしきい値以上であること （ｃ）ヒストグラムの分布曲線が連続であること と定めているが、用途に応じて異なる検出条件を定めて
もよい。

【０１５０】たとえば、上記（ｃ）の代わりに、２つの
山が検出された場合に、前の山の終了位置と後の山の開
始位置の間の距離がしきい値以下の場合、２つの山は連
続とみなすというような条件を設定することもできる。
また、（ａ）、（ｂ）で使用する閾値の値をキーボード
等から入力することにより可変設定すると、検索精度を
ユーザが調整することができる。

【０１５１】２）検索結果の出力の形態は、参照フレー
ムの開始番号および終了番号を文字の形態で出力する方
法、参照フレームの開始番号と、以後の参照フレームの
枚数を文字の形態で出力する方法、さらにはヒストグラ
ムの分布曲線の形態で図形表示する方法、参照フレーム
開始番号〜終了番号までの間の参照部分動画像を表示画
面に表示する方法等用途に応じて適宜定めればよい。

【０１５２】３）本実施形態ではデータ系列として、動
画像を例に説明したが、他のデータ系列、たとえば、音
声データやアナログあるいはデジタルの信号波形など、
連続的に値が変化する信号，データ系列に対して本発明
を適用できる。

【０１５３】４）フレーム窓に記憶する特徴データはク
エリ画像のフレーム画像が入力されるごとに更新され
る。そこで、フレーム窓に新たに記憶されたと特徴デー
タと、参照テーブルの代表点の特徴データとの距離計算
を行い、その距離計算結果をシステムメモリ１１に記憶
しておくとよい。これにより、この特徴データがフレー
ム窓に記憶されている間、この特徴データを使用した距
離計算はその都度行う必要はなく、システムメモリ１１
に一時記憶した距離計算結果を使用することができる。
これにより、距離計算時間を短縮することができる。ま
た、フレーム窓に新規に格納されるクエリー画像の特徴
データは変化するが前の時刻の特徴データと現在の時刻
の特徴データの差分値を求め、この差分値を使用して、
前回の距離計算結果に対する補正値を求めることによ
り、距離計算時間を短縮することもできる。

【０１５４】５）図５の処理プログラムを記録しておく
記憶媒体は、ＲＯＭ，ＲＡＭのようなＩＣメモリ、ハー
ドディスクのような固定記憶装置、フロッピー（登録商
標）ディスク、ＭＯなどの携帯用記録媒体とすることが
できる。また、このような記録媒体に記録された処理プ
ログラムが圧縮されたり暗号化されたとしても、本発明
で定義されている記録媒体に該当することは言うまでも
ない。さらに、図５の処理プログラムが、電話線のよう
な、通信ネットワークや、ＲＳ２３２Ｃのような通信ケ
ーブルを介して外部装置からデータ系列検索装置にダウ
ンロードされる場合には、外部装置上の図５の処理プロ
グラムを記憶する記憶装置等が本発明の記録媒体に該当
する。

【０１５５】６）上述した実施形態は本発明を説明する
ための１実施形態であって、上記実施形態に対して種々
の変形を行っても、その変形した実施形態が本願特許請
求に範囲に記載した技術思想に合致する場合には、その
改良形態は特許権の侵害となる。

【０１５６】

【発明の効果】本発明では、時系列的にデータが連続す
るデータ系列では、データの値が急激に変化することは
まれであって、データの特徴が部分的に変化する点に着
目し、参照データ系列を構成する複数の参照データを複
数の集合に分類しておく。また、各集合を代表する代表
参照データが用意される。これら代表参照データとクエ
リー側のデータ系列の各データとの距離を計算する。従
来では参照データ系列の各参照データとクエリー側の各
データとの間の距離を計算しなければならなかったの
で、本発明の方が距離計算回数が大幅に低減される。ま
た、クエリーの画像と類似する代表参照データを有する
集合が検出されると、その集合に含まれる参照データで
時系列的に連続するものを取得することにより、クエリ
ーに類似する個所についての参照データ系列の中の検索
結果とすることができる。

【０１５７】さらに、得られた検索結果の中で、データ
の順次性を調べることにより、データの並び順がクエリ
ーのデータ系列とは逆順となったような部分参照データ
系列を検索結果から排除することができる。

【０１５８】さらにはヒストグラム分布のような情報処
理として計算時間の短い統計的手法を使用して、特定の
１以上の集合の中に散在する複数の参照データから時間
軸の連続する部分参照データ系列を見かけ上作成するこ
とができる。

【０１５９】以上の結果、距離計算の計算時間が短縮さ
れ、もって、逐次入力されたクエリーのデータ系列（記
号化されたデータ系列）をフレームワイズ，リアルタイ
ムに検索することが可能となる。

【図面の簡単な説明】

【図１】本発明第１の実施形態のデータ系列検索方法を
説明するための説明図である。

【図２】本発明第２の実施形態の検索結果の出力例を示
す説明図である。

【図３】本発明第３の実施形態のシステム構成を示すブ
ロック図である。

【図４】各セントロイドに含まれる参照データのフレー
ム番号を記載した参照テーブルの一例を示す説明図であ
る。

【図５】ＣＰＵ１０が実行する処理プログラムの内容を
示すフローチャートである。

【図６】ＣＰＵ１０が実行する処理プログラムの内容を
示すフローチャートである。

【図７】ＣＰＵ１０が実行する処理プログラムの内容を
示すフローチャートである。

【図８】ＣＰＵ１０が実行する処理プログラムの内容を
示すフローチャートである。

【符号の説明】

１０ ＣＰＵ １１ システムメモリ １２ Ｉ／Ｏ １３ ＨＤＤ １４ 入力装置 １５ 出力装置

フロントページの続き (72)発明者 関本 信博 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 Ｆターム(参考） 5B075 ND12 NK06 NR03 NR12 PR04 PR06 QM08 QS20 5C052 AA03 AB04 AC08 CC11 DD04

Claims (9)

【特許請求の範囲】
1. 【請求項１】 各データが時系列的に連続しているデー
   タ系列をクエリーとして与え、該データ系列に類似する
   個所を参照データ系列の中で検索するデータ系列検索装
   置において、 前記参照データ系列を予め分類し、特徴が類似している
   参照データ群を１つの集合とする複数の集合および各集
   合を代表する代表参照データを予め用意し、前記複数の
   集合の各々と関連付けて、各集合の中に含まれる参照デ
   ータの時間軸上の位置および代表参照データを予め記憶
   した記憶手段と，前記クエリーのデータ系列を入力する
   入力手段と、 当該入力されたクエリーのデータ系列を構成する複数の
   データの各々について、もっとも距離が近い代表参照デ
   ータを有する集合を検出する第１の情報処理手段と、 当該検出された１以上の集合の中に含まれる参照データ
   の時間軸上の位置に基づいて、前記検出された１以上の
   集合の中に含まれ、時間軸上で連続する参照データで構
   成される部分参照データ系列を取得する第２の情報処理
   手段とを具え、当該取得された部分参照データ系列を前
   記クエリーのデータ系列に対する検索結果とすることを
   特徴とするデータ系列検索装置。
2. 【請求項２】 請求項１に記載のデータ系列検索装置に
   おいて、前記第２の情報処理手段は前記時間軸上で連続
   する部分参照データ系列の中からさらに順次性を有する
   部分参照データ系列を最終的な検索結果として取得する
   ことを特徴とするデータ系列検索装置。
3. 【請求項３】 請求項１に記載のデータ系列検索装置に
   おいて、前記第１の情報処理手段は、クエリーのデータ
   に距離がもっとも距離が近い代表参照データが検出され
   るごとに、該代表参照データを有する集合内の参照デー
   タに対して得点を与え、前記第２の情報処理手段は各前
   記参照データの得点を時間軸上に並べたヒストグラム分
   布を作成し、当該作成されたヒストグラム分布に基づき
   連続する部分参照データ系列を取得することを特徴とす
   るデータ系列検索装置。
4. 【請求項４】 各データが時系列的に連続しているデー
   タ系列をクエリーとして与え、該部分的なデータ系列に
   類似する個所を参照データ系列の中で検索するデータ系
   列検索方法において、 前記参照データ系列を分類し、特徴が類似している参照
   データ群を１つの集合とする複数の集合および各集合を
   代表する代表データを予め用意し、前記複数の集合の各
   々と関連付けて、各集合の中に含まれる参照データの時
   間軸上の位置および代表参照データを記憶手段に記憶し
   ておき，前記クエリーのデータ系列を構成する複数のデ
   ータの各々について、もっとも距離が近い代表参照デー
   タを有する集合を情報処理手段により検出し、 当該検出された１以上の集合の中に含まれる参照データ
   の時間軸上の位置に基づいて、前記検出された１以上の
   集合の中に含まれ、時間軸上で連続する参照データで構
   成される部分参照データ系列を前記情報処理手段により
   取得し、 当該取得された部分参照データ系列を前記クエリーのデ
   ータ系列に対する検索結果とすることを特徴とするデー
   タ系列検索方法。
5. 【請求項５】 請求項４に記載のデータ系列検索方法に
   おいて、前記情報処理手段は前記時間軸上で連続する部
   分参照データ系列の中からさらに順次性を有する部分参
   照データ系列を最終的な検索結果として取得することを
   特徴とするデータ系列検索方法。
6. 【請求項６】 請求項４に記載のデータ系列検索方法に
   おいて、前記情報処理手段は、クエリーのデータに距離
   がもっとも距離が近い代表参照データが検出されるごと
   に、該代表参照データを有する集合内の参照データに対
   して得点を与え、各前記参照データの得点を時間軸上に
   並べたヒストグラム分布を作成し、当該作成されたヒス
   トグラム分布に基づき連続する部分参照データ系列を取
   得することを特徴とするデータ系列検索方法。
7. 【請求項７】 各データの値が時系列的に連続している
   データ系列をクエリーとして与え、該部分的なデータ系
   列に類似する個所を参照データ系列の中で検索するため
   のプログラムを記録した記録媒体において、前記プログ
   ラムは、 前記参照データ系列が分類され、特徴が類似している参
   照データ群を１つの集合とする複数の集合および各集合
   を代表する代表データが予め用意されており、前記複数
   の集合の各々と関連付けて、各集合の中に含まれる参照
   データの時間軸上の位置および代表参照データが予めデ
   ータ処理装置に記憶されており，前記クエリーのデータ
   系列を構成する複数のデータの各々について、もっとも
   距離が近い代表参照データを有する集合を検出する第１
   のステップと、 当該検出された１以上の集合の中に含まれる参照データ
   の時間軸上の位置に基づいて、前記検出された１以上の
   集合の中に含まれ、時間軸上で連続する参照データで構
   成される部分参照データ系列を取得する第２のステップ
   と、 を具え、当該取得された部分参照データ系列を前記クエ
   リーのデータ系列に対する検索結果とすることを特徴と
   する記録媒体。
8. 【請求項８】 請求項７に記載の記録媒体において、前
   記第２のステップでは前記時間軸上で連続する部分参照
   データ系列の中からさらに順次性を有する部分参照デー
   タ系列を採取的な検索結果として取得することを特徴と
   する記録媒体。
9. 【請求項９】 請求項７に記載の記録媒体において、前
   記第１のステップは、クエリーのデータに距離がもっと
   も距離が近い代表参照データが検出されるごとに、該代
   表参照データを有する集合内の参照データに対して得点
   を与え、前記第２のステップでは各前記参照データの得
   点を時間軸上に並べたヒストグラム分布を作成し、当該
   作成されたヒストグラム分布に基づき連続する部分参照
   データ系列を取得することを特徴とする記録媒体。