JP2001243236A - 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 - Google Patents
映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体Info
- Publication number
- JP2001243236A JP2001243236A JP2000052584A JP2000052584A JP2001243236A JP 2001243236 A JP2001243236 A JP 2001243236A JP 2000052584 A JP2000052584 A JP 2000052584A JP 2000052584 A JP2000052584 A JP 2000052584A JP 2001243236 A JP2001243236 A JP 2001243236A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- video
- search
- pattern
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 検索対象すべてを照合することなく、効果よ
く検索キー映像と類似する映像を検索する。 【解決手段】 検索対象映像から抽出された特徴量の時
系列である特徴パターンに対し、参照パターンをもっと
も一致するように時間軸方向に伸縮させた状態でのパタ
ーン間距離によって構成される特徴ベクトルを作成し、
特徴ベクトルに対してインデックスを作成して記憶し、
入力された検索キー映像から作成された時系列である特
徴パターンに対し、同様に特徴ベクトルを作成し、記憶
しておいた特徴ベクトルとのベクトル間距離計算を行
い、得られた複数の映像区間とベクトル間距離の組を絞
り込み、出力する。
く検索キー映像と類似する映像を検索する。 【解決手段】 検索対象映像から抽出された特徴量の時
系列である特徴パターンに対し、参照パターンをもっと
も一致するように時間軸方向に伸縮させた状態でのパタ
ーン間距離によって構成される特徴ベクトルを作成し、
特徴ベクトルに対してインデックスを作成して記憶し、
入力された検索キー映像から作成された時系列である特
徴パターンに対し、同様に特徴ベクトルを作成し、記憶
しておいた特徴ベクトルとのベクトル間距離計算を行
い、得られた複数の映像区間とベクトル間距離の組を絞
り込み、出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、映像から特徴量を
抽出する技術、および、抽出された特徴量の時系列を検
索キーとして、検索対象の映像から類似した区間を求め
る映像検索技術に関するものである。
抽出する技術、および、抽出された特徴量の時系列を検
索キーとして、検索対象の映像から類似した区間を求め
る映像検索技術に関するものである。
【０００２】
【従釆の技術】従来、検索キーとして映像を入力し、検
索キーと検索対象の映像から抽出した特徴量の類似性を
もとに検索キーに類似した映像を検索する技術として
は、映像から抽出した特徴量を時間軸方向に動的に伸縮
させながら照合を行うことによって検索を行う方法があ
る。例えば、「カメラモーションに基づく類似動画像検
索」（情報処理学会研究会報告、ＤＢＳ．１１９，１９
９９年）に記載されている方法では、あらかじめ検索対
象映像から特徴量の時系列を抽出しておく。検索対象の
特徴量の時系列に対して、検素キーの映像から抽出した
特徴量ともっとも類似性が高くなるように時間軸方向に
伸縮させながら照合を行う。検索対象の特徴量の時系列
全体にわたって、照合の開始点をずらしながら照合を行
うことによって検索キーに類似する映像を検索する。こ
の方法では、時系列に基づいた照合を行うため、「動
き」といった映像固有の情報に基づいた検索ができる。
また、図７に示すように、特徴量の時系列が時間割方向
に伸縮の関係にあるようなシーンに対しても対応するこ
とができる。
索キーと検索対象の映像から抽出した特徴量の類似性を
もとに検索キーに類似した映像を検索する技術として
は、映像から抽出した特徴量を時間軸方向に動的に伸縮
させながら照合を行うことによって検索を行う方法があ
る。例えば、「カメラモーションに基づく類似動画像検
索」（情報処理学会研究会報告、ＤＢＳ．１１９，１９
９９年）に記載されている方法では、あらかじめ検索対
象映像から特徴量の時系列を抽出しておく。検索対象の
特徴量の時系列に対して、検素キーの映像から抽出した
特徴量ともっとも類似性が高くなるように時間軸方向に
伸縮させながら照合を行う。検索対象の特徴量の時系列
全体にわたって、照合の開始点をずらしながら照合を行
うことによって検索キーに類似する映像を検索する。こ
の方法では、時系列に基づいた照合を行うため、「動
き」といった映像固有の情報に基づいた検索ができる。
また、図７に示すように、特徴量の時系列が時間割方向
に伸縮の関係にあるようなシーンに対しても対応するこ
とができる。
【０００３】また、マルチメディア情報を検索する従来
の方法として、マルチメディア情報から抽出される特徴
量から特徴ベクトルを作成し、特徴ベクトル間の距離に
よって類似性を判定する方法がある。例えば、「オブジ
ェクトに基づく高速画像検索システム：ＥxＳight」
（情報処理学会論文誌、Ｖol.４０，Ｎo.２，１９９９
年）に記載されている方法では、あらかじめ静止画から
切り出された物体の画像から、特徴量を抽出し、特徴ベ
クトルを作成しておく。物体の検索は、検索キーとして
指定した物体の画像から作成した特徴ベクトルとの距離
が小さい特徴ベクトルを持つ物体を探索ことにより行
う。この方法では、検索に先立ってインデックスを作成
してお互いに距離の小さい特徴ベクトルをグループ化し
ておくことにより、検索時に探索範囲を絞り込むことが
出来るため効率よく検索を行うことができる。
の方法として、マルチメディア情報から抽出される特徴
量から特徴ベクトルを作成し、特徴ベクトル間の距離に
よって類似性を判定する方法がある。例えば、「オブジ
ェクトに基づく高速画像検索システム：ＥxＳight」
（情報処理学会論文誌、Ｖol.４０，Ｎo.２，１９９９
年）に記載されている方法では、あらかじめ静止画から
切り出された物体の画像から、特徴量を抽出し、特徴ベ
クトルを作成しておく。物体の検索は、検索キーとして
指定した物体の画像から作成した特徴ベクトルとの距離
が小さい特徴ベクトルを持つ物体を探索ことにより行
う。この方法では、検索に先立ってインデックスを作成
してお互いに距離の小さい特徴ベクトルをグループ化し
ておくことにより、検索時に探索範囲を絞り込むことが
出来るため効率よく検索を行うことができる。
【０００４】
【発明が解決しようとする課題】上述の従来技術におい
て、前者の方法は、基本的に総なめ型の検索方法である
ため、類似性の高い順に数件の検索結果だけが欲しい場
合でも検索対象すべてを照合する必要があり、検索対象
映像の長さが長くなると検索時間が長くなってしまうと
いう問題がある。
て、前者の方法は、基本的に総なめ型の検索方法である
ため、類似性の高い順に数件の検索結果だけが欲しい場
合でも検索対象すべてを照合する必要があり、検索対象
映像の長さが長くなると検索時間が長くなってしまうと
いう問題がある。
【０００５】後者の方法では、インデックスを利用する
ことで検索対象すべてを照合することなく検索を行うこ
とができるが、時系列の情報を考慮していないため、映
像のような時系列の情報が重要なメディアには直接適用
できないという問題がある。
ことで検索対象すべてを照合することなく検索を行うこ
とができるが、時系列の情報を考慮していないため、映
像のような時系列の情報が重要なメディアには直接適用
できないという問題がある。
【０００６】本発明の目的、これらの問題を解決し、映
像から抽出した特徴量の時系列情報に対して特徴量の時
間的な伸縮に対応した検索を可能とするインデックスを
作成することで、検索対象すべてを照合することなく効
率良く検索キーとして入力された映像と類似する映像を
検索できるようにすることにある。
像から抽出した特徴量の時系列情報に対して特徴量の時
間的な伸縮に対応した検索を可能とするインデックスを
作成することで、検索対象すべてを照合することなく効
率良く検索キーとして入力された映像と類似する映像を
検索できるようにすることにある。
【０００７】
【課題を解決するための手段】本発明は、映像からｍ種
類（ｍ≧１）の特徴量の時系列を抽出し、所定区間の特
徴量の時系列からなる特徴パターンを作成し、あらかじ
め用意した特徴量の時系列の概形を表現する基準となる
ｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向
に伸縮させながら、前記作成した特徴パターンとマッチ
ングを行ってパターン間距離を求め、得られたｍ×ｎ個
パターン間距離によって構成される特徴ベクトルを作成
することを主要な特徴とするものである。
類（ｍ≧１）の特徴量の時系列を抽出し、所定区間の特
徴量の時系列からなる特徴パターンを作成し、あらかじ
め用意した特徴量の時系列の概形を表現する基準となる
ｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向
に伸縮させながら、前記作成した特徴パターンとマッチ
ングを行ってパターン間距離を求め、得られたｍ×ｎ個
パターン間距離によって構成される特徴ベクトルを作成
することを主要な特徴とするものである。
【０００８】これを適用した本発明の映像検索装置の一
実施例を述べると、検索対象となる映像である検索対象
映像を入力する検索対象映像入力手段と、検索キーとな
る映像である検索キー映像を入力する検索キー映像入力
手段と、検索対象映像および検索キー映像から特徴量の
時系列を抽出し、特徴パターンを作成する特徴量抽出手
段と、特徴量の時系列の概形を表現する基準となる１つ
以上の参照パターンを記憶した参照パターン記憶手段
と、この参照パターンをそれぞれ時間軸方向に伸縮させ
ながら前記特徴パターンに対してマッチングを行い、得
られた１つ以上のパターン間距離によって構成される特
徴ベクトルを作成する特徴ベクトル作成手段と、前記特
徴ベクトルと映像区間情報を記録し、該特徴ベクトルに
対してインデックスを作成して記憶する特徴ベクトル記
憶手段と、前記検索キー映像から抽出された前記特徴ベ
クトルを検索キーとして前記特徴ベクトル記憶手段から
１つ以上の検索結果候補区間を抽出する特徴ベクトル間
距離取得手段と、前記特徴ベクトル間距離取得手段によ
って得られた１つ以上の前記検索結果候補区間から、前
記検索キー映像と類似する前記検索結果候補区間を絞り
込む類似区間探索手段と、前記類似区間探索手段で絞り
込んだ１つあるいは複数の前記検索結果候補区間を出力
する類似区間出力手段とを具備する。
実施例を述べると、検索対象となる映像である検索対象
映像を入力する検索対象映像入力手段と、検索キーとな
る映像である検索キー映像を入力する検索キー映像入力
手段と、検索対象映像および検索キー映像から特徴量の
時系列を抽出し、特徴パターンを作成する特徴量抽出手
段と、特徴量の時系列の概形を表現する基準となる１つ
以上の参照パターンを記憶した参照パターン記憶手段
と、この参照パターンをそれぞれ時間軸方向に伸縮させ
ながら前記特徴パターンに対してマッチングを行い、得
られた１つ以上のパターン間距離によって構成される特
徴ベクトルを作成する特徴ベクトル作成手段と、前記特
徴ベクトルと映像区間情報を記録し、該特徴ベクトルに
対してインデックスを作成して記憶する特徴ベクトル記
憶手段と、前記検索キー映像から抽出された前記特徴ベ
クトルを検索キーとして前記特徴ベクトル記憶手段から
１つ以上の検索結果候補区間を抽出する特徴ベクトル間
距離取得手段と、前記特徴ベクトル間距離取得手段によ
って得られた１つ以上の前記検索結果候補区間から、前
記検索キー映像と類似する前記検索結果候補区間を絞り
込む類似区間探索手段と、前記類似区間探索手段で絞り
込んだ１つあるいは複数の前記検索結果候補区間を出力
する類似区間出力手段とを具備する。
【０００９】本発明にあっては、入力された検索対象映
像から抽出された特徴量の時系列である特徴パターンに
対し、参照パターンをもっとも一致するように時間軸方
向に伸縮させた状態でのパターン間距離によって構成さ
れる特徴ベクトルを作成し、特徴ベクトルに対してイン
デックスを作成して記憶し、入力された検索キー映像か
ら作成された特徴ベクトルに対し、記憶しておいた特徴
ベクトルとのベクトル間距離計算を行い、得られた複数
の映像区間とベクトル間距離の組を絞りこみ、出力する
ことによって、映像から抽出した特徴量の時系列的な変
化を検索キーとして指定でき、かつ特徴量の時間的な伸
縮にも対応できる映像検索を、インデックスを利用して
効率良く行うことができる。
像から抽出された特徴量の時系列である特徴パターンに
対し、参照パターンをもっとも一致するように時間軸方
向に伸縮させた状態でのパターン間距離によって構成さ
れる特徴ベクトルを作成し、特徴ベクトルに対してイン
デックスを作成して記憶し、入力された検索キー映像か
ら作成された特徴ベクトルに対し、記憶しておいた特徴
ベクトルとのベクトル間距離計算を行い、得られた複数
の映像区間とベクトル間距離の組を絞りこみ、出力する
ことによって、映像から抽出した特徴量の時系列的な変
化を検索キーとして指定でき、かつ特徴量の時間的な伸
縮にも対応できる映像検索を、インデックスを利用して
効率良く行うことができる。
【００１０】
【発明の実施の形態】以下、本発明の一実施例を、図面
を参照しなから詳述する。なお、以下に示す実施例は、
入力映像に含まれるカメラモーションを検索キーとし、
検索対象の映像から類似したカメラモーションを検索す
る映像検索システムを対象する。ここでカメラモーショ
ンとは、映像を撮影するカメラの上下左右の働きと、ズ
ーム操作のことを意味する。
を参照しなから詳述する。なお、以下に示す実施例は、
入力映像に含まれるカメラモーションを検索キーとし、
検索対象の映像から類似したカメラモーションを検索す
る映像検索システムを対象する。ここでカメラモーショ
ンとは、映像を撮影するカメラの上下左右の働きと、ズ
ーム操作のことを意味する。
【００１１】図１は本発明による映像検索装置の一実施
例のブロック図を示す。本映像検索装置は、映像データ
ベース１００、検索対象映像入力部１１０、検索キー映
像入力部１２０、特徴量抽出部１３０、特徴ベクトル作
成部１４０、特徴ベクトル間距離取得部１５０、類似区
間探索部１６０、類似区間出力部１７０、参照パターン
記憶部１８０及び特徴ベクトル記憶部１９０からなる。
例のブロック図を示す。本映像検索装置は、映像データ
ベース１００、検索対象映像入力部１１０、検索キー映
像入力部１２０、特徴量抽出部１３０、特徴ベクトル作
成部１４０、特徴ベクトル間距離取得部１５０、類似区
間探索部１６０、類似区間出力部１７０、参照パターン
記憶部１８０及び特徴ベクトル記憶部１９０からなる。
【００１２】図２は、検索対象となる検索対象映像を映
像データベース１００へ登録するときの処理フロー図で
ある。まず、この登録時の動作に基づき、本発明の特徴
とするところの映像特徴抽出について説明する。
像データベース１００へ登録するときの処理フロー図で
ある。まず、この登録時の動作に基づき、本発明の特徴
とするところの映像特徴抽出について説明する。
【００１３】検索対象映像入力部１１０１によって検索
対象となる検索対象映像を装置に入力する（ステップ２
１０）。入力された検索対象映像は、映像データベース
１００に蓄積されるとともに、特徴量抽出部１３０２に
与えられる。映像情報としては、例えばＭＰＥＧを用い
ることができるが、これに限定するものではない。
対象となる検索対象映像を装置に入力する（ステップ２
１０）。入力された検索対象映像は、映像データベース
１００に蓄積されるとともに、特徴量抽出部１３０２に
与えられる。映像情報としては、例えばＭＰＥＧを用い
ることができるが、これに限定するものではない。
【００１４】特徴量抽出部１３０２では、検索対象映像
から、輝度分布やカメラモーションなど、一般にｍ種類
（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを
作成する（ステップ２２０）。
から、輝度分布やカメラモーションなど、一般にｍ種類
（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを
作成する（ステップ２２０）。
【００１５】特徴量抽出部１３０によって、例えば、図
４のように１フレーム単位で８種類の特徴量の時系列が
抽出される。特徴量として、ここでは映像から抽出され
るカメラモーションを用いているが、他には輝度情報
や、フレーム内の物体の座標などを用いることができ
る。図４では、１行が１フレームから抽出される特徴量
をあらわし、列は特徴量の種類をあらわしている。フレ
ーム番号は映像の開始点からのフレーム番号、Ｖxはカ
メラの左右の移動量、Ｖyはカメラの上下の移動量、Ｚ
はズームによる拡大縮小量をあらわす。カメラモーンョ
ンの抽出は、例えばＭＰＥＧの符号化情報である動きベ
クトルや、オプティカルフローを計算して求めることが
できる。文献「ＣＶＤＥＰＳ‐Ａ Ｃompressed Ｖideo
Ｅditing andＰarsing Ｓystem」（Ｐroc．ＡＣＭ Ｍul
timedia '９６，pp.４３−５３、１９９６年）に示され
れる方法では、ＭＰＥＧの符号化情報である動きベクト
ルに対して、動きベクトルとカメラモーションの関係式
４のように１フレーム単位で８種類の特徴量の時系列が
抽出される。特徴量として、ここでは映像から抽出され
るカメラモーションを用いているが、他には輝度情報
や、フレーム内の物体の座標などを用いることができ
る。図４では、１行が１フレームから抽出される特徴量
をあらわし、列は特徴量の種類をあらわしている。フレ
ーム番号は映像の開始点からのフレーム番号、Ｖxはカ
メラの左右の移動量、Ｖyはカメラの上下の移動量、Ｚ
はズームによる拡大縮小量をあらわす。カメラモーンョ
ンの抽出は、例えばＭＰＥＧの符号化情報である動きベ
クトルや、オプティカルフローを計算して求めることが
できる。文献「ＣＶＤＥＰＳ‐Ａ Ｃompressed Ｖideo
Ｅditing andＰarsing Ｓystem」（Ｐroc．ＡＣＭ Ｍul
timedia '９６，pp.４３−５３、１９９６年）に示され
れる方法では、ＭＰＥＧの符号化情報である動きベクト
ルに対して、動きベクトルとカメラモーションの関係式
【数１】 を利用してカメラモーションの抽出を行う。ここで、
（ｘ，ｙ）は動きベクトルを持つマクロブロックの座
標、（ｕ，ｖ）は動きベクトルを表す。
（ｘ，ｙ）は動きベクトルを持つマクロブロックの座
標、（ｕ，ｖ）は動きベクトルを表す。
【００１６】１つのフレームを構成するすべてのマクロ
ブロックについて、〔数１〕の関係式により求められる
（ｕ，ｖ）と、実際の動ききベクトルとの誤差が最小と
なる（Ｖx，Ｖy，Ｚ）の値を最小２乗法により求める。
抽出された特徴量は統計量に基づいて正規化される。正
規化は特徴量の種類ごとの検索束結果への効果の度合い
を調整するために行うものであり、たとえば各特徴量の
分散を一定にする方法を用いることが出来る。
ブロックについて、〔数１〕の関係式により求められる
（ｕ，ｖ）と、実際の動ききベクトルとの誤差が最小と
なる（Ｖx，Ｖy，Ｚ）の値を最小２乗法により求める。
抽出された特徴量は統計量に基づいて正規化される。正
規化は特徴量の種類ごとの検索束結果への効果の度合い
を調整するために行うものであり、たとえば各特徴量の
分散を一定にする方法を用いることが出来る。
【００１７】本実施例では、検索対象映像について、一
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずつずらしながら重複を許して１
個以上作成する。特徴パターンの切り出しは、図５のよ
うに行う。図５において、矩形は映像から抽出された時
系列の特徴量および特徴パターンを模式的に表したもの
である。Ｔdは区間のずらし幅、Ｔfは区間の長さをあら
わすパラメータである。検索対象映像の作成された特徴
パターンは特徴ベクトル作成部１４０４へ与えられる。
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずつずらしながら重複を許して１
個以上作成する。特徴パターンの切り出しは、図５のよ
うに行う。図５において、矩形は映像から抽出された時
系列の特徴量および特徴パターンを模式的に表したもの
である。Ｔdは区間のずらし幅、Ｔfは区間の長さをあら
わすパラメータである。検索対象映像の作成された特徴
パターンは特徴ベクトル作成部１４０４へ与えられる。
【００１８】特徴ベクトル作成部１４０４は、特徴量抽
出部１３０３によって与えられた検索対象映像の特徴パ
ターン毎に特徴ベクトルを作成し、該特徴ベクトルと、
該特徴ベクトルに対応する映像区間の開始フレーム番号
と終了フレーム番号によって構成される映像区間情報を
特徴ベクトル記憶部１９０５へ与える（ステップ２３
０）。特徴ベクトルは、該特徴パターンに対し、あらか
じめ用意した１つ以上の参照パターンとのマッチングに
よって得られたパターン間距離によって構成される。
出部１３０３によって与えられた検索対象映像の特徴パ
ターン毎に特徴ベクトルを作成し、該特徴ベクトルと、
該特徴ベクトルに対応する映像区間の開始フレーム番号
と終了フレーム番号によって構成される映像区間情報を
特徴ベクトル記憶部１９０５へ与える（ステップ２３
０）。特徴ベクトルは、該特徴パターンに対し、あらか
じめ用意した１つ以上の参照パターンとのマッチングに
よって得られたパターン間距離によって構成される。
【００１９】参照パターンは、該特徴バターンの特徴量
の時系列の概形を表現するための基準となるものであ
り、参照パターン記憶部１８０にあらかじめ用意してお
く。参照パターンとして、たとえば図６に示すような８
つのパターンを用いることができるが、これに限定する
ものではない。
の時系列の概形を表現するための基準となるものであ
り、参照パターン記憶部１８０にあらかじめ用意してお
く。参照パターンとして、たとえば図６に示すような８
つのパターンを用いることができるが、これに限定する
ものではない。
【００２０】パターン間距離は、例えば文献「カメラモ
ーションに基づく類似動画像検索」（情報処理学会研究
会報告、ＤＢＳ−１１９ ２７３−２７８、１９９９
年）に示されるようなＤＰ距離を用いることができる。
ＤＰ距離は、動的計画法を用いて、対応付ける要素同士
の距離である要素間距離の総和が最小になるようにマッ
チングを行うことによって得られる。参照パターンの要
素をαｉ（１≦ｉ≦ＮR）、特徴パターンの１つの特徴
量の要素をｂｊ（１≦ｊ≦ＮF）と表すとき、ＤＰ距離
Ｄは例えば次のように表される。
ーションに基づく類似動画像検索」（情報処理学会研究
会報告、ＤＢＳ−１１９ ２７３−２７８、１９９９
年）に示されるようなＤＰ距離を用いることができる。
ＤＰ距離は、動的計画法を用いて、対応付ける要素同士
の距離である要素間距離の総和が最小になるようにマッ
チングを行うことによって得られる。参照パターンの要
素をαｉ（１≦ｉ≦ＮR）、特徴パターンの１つの特徴
量の要素をｂｊ（１≦ｊ≦ＮF）と表すとき、ＤＰ距離
Ｄは例えば次のように表される。
【数２】 初期条件
【数３】 漸化式
【数４】
【００２１】ここで、ｄ（ｉ，ｊ）はａｊとｂｊとの要
素間距離である。特徴パターンのすべての特徴量の時系
列に対して、それぞれＤＰ距離を求める。特徴ベクトル
の次元数は特徴量の種類の個数に参照パターンの個数を
掛けたものであり、図４に示した特徴量と、図６に示し
た参照パターンを用いた場合、特徴ベクトルの次元数は
２４次元となる。以下、特徴ベクトルによって構成され
る多次元空間のことを特徴空間と呼ぶ。
素間距離である。特徴パターンのすべての特徴量の時系
列に対して、それぞれＤＰ距離を求める。特徴ベクトル
の次元数は特徴量の種類の個数に参照パターンの個数を
掛けたものであり、図４に示した特徴量と、図６に示し
た参照パターンを用いた場合、特徴ベクトルの次元数は
２４次元となる。以下、特徴ベクトルによって構成され
る多次元空間のことを特徴空間と呼ぶ。
【００２２】特徴ベクトル記憶部１９０は、特徴ベクト
ル作成部１４０によって与えられた検索対象映像から作
成された特徴ベクトルと映像区間情報を記憶する（ステ
ップ２４０）。この特徴ベクトル記憶部１９０では、す
べての特徴ベクトルに対してインデックスを作成し、映
像データベース１００の映像と対応づけて格納する。
ル作成部１４０によって与えられた検索対象映像から作
成された特徴ベクトルと映像区間情報を記憶する（ステ
ップ２４０）。この特徴ベクトル記憶部１９０では、す
べての特徴ベクトルに対してインデックスを作成し、映
像データベース１００の映像と対応づけて格納する。
【００２３】インデックスは、たとえば、文献（「画像
類似検索のための多次元空間インデクス」マルチメディ
ア通信と分散処理８２−１８、ｐｐ９９−１０４、１９
９７年）に示されるようなインデックス作成方式を用い
ればよい。この方式では、特徴ベクトルの集合を多次元
空間内の位置に基づいて分割し、グループ化を行う。グ
ループ内の特徴ベクトルの集合に対し、再帰的に分割、
グループ化を行い、階層的なグループ構造を構築し、同
じグループに属する特徴ベクトルを、各階層において最
小包囲領域として管理する。
類似検索のための多次元空間インデクス」マルチメディ
ア通信と分散処理８２−１８、ｐｐ９９−１０４、１９
９７年）に示されるようなインデックス作成方式を用い
ればよい。この方式では、特徴ベクトルの集合を多次元
空間内の位置に基づいて分割し、グループ化を行う。グ
ループ内の特徴ベクトルの集合に対し、再帰的に分割、
グループ化を行い、階層的なグループ構造を構築し、同
じグループに属する特徴ベクトルを、各階層において最
小包囲領域として管理する。
【００２４】検索キーの特徴ベクトルとベクトル間距離
の小さい特徴ベクトルを検索する際には、特徴ベクトル
との距離を計算する前に、各階層の最小包囲領域との距
離を計算することにより、検索キーと距離の遠いグルー
プに属する特徴ベクトルに対するベクトル間距離の計算
を省略することができるため、効率良く検索を行うこと
ができる。
の小さい特徴ベクトルを検索する際には、特徴ベクトル
との距離を計算する前に、各階層の最小包囲領域との距
離を計算することにより、検索キーと距離の遠いグルー
プに属する特徴ベクトルに対するベクトル間距離の計算
を省略することができるため、効率良く検索を行うこと
ができる。
【００２５】図３は、検索時の処理フロー図である。検
索キー映像入力部１２０によって検索キーとなる検索キ
ー映像を装置に入力する（ステップ３１０）。入力され
た検索キー映像は特徴量抽出部１３０に与えられる。検
索キー映像も、その映像情報として例えばＭＰＥＧを用
いることができるが、これに限定されるものではない。
索キー映像入力部１２０によって検索キーとなる検索キ
ー映像を装置に入力する（ステップ３１０）。入力され
た検索キー映像は特徴量抽出部１３０に与えられる。検
索キー映像も、その映像情報として例えばＭＰＥＧを用
いることができるが、これに限定されるものではない。
【００２６】特徴量抽出部１３０は、与えられた検索キ
ー映像から、輝度分布やカメラモーションなど、一般に
ｍ種類（ｍ≧１）の特徴量の時系列を抽出し、該抽出し
た特徴量の時系列全体を１つの特徴パターンとして切り
出す（ステップ３２０）。この特徴量抽出部１３０での
処理は、登録時の検索対象映像に対する処理と基本的に
同じである。なお、与えられた検索キー映像が、ある程
度以上長い場合には、検索対象映像のときと同様に、一
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずらしながら重複を許して１個以
上作成する。作成された検索キー映像の特徴パターンは
特徴ベクトル作成部１４０へ与えられる。
ー映像から、輝度分布やカメラモーションなど、一般に
ｍ種類（ｍ≧１）の特徴量の時系列を抽出し、該抽出し
た特徴量の時系列全体を１つの特徴パターンとして切り
出す（ステップ３２０）。この特徴量抽出部１３０での
処理は、登録時の検索対象映像に対する処理と基本的に
同じである。なお、与えられた検索キー映像が、ある程
度以上長い場合には、検索対象映像のときと同様に、一
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずらしながら重複を許して１個以
上作成する。作成された検索キー映像の特徴パターンは
特徴ベクトル作成部１４０へ与えられる。
【００２７】特徴ベクトル作成部１４０では、検索対象
映像の特徴パターンのときと同様に、参照パターン記憶
部１８０にあらかじめ記憶された、特徴量の時系列の概
形を表現する基準となるｎ種類（ｎ≧１）の参照パター
ンをそれぞれ時間軸方向に伸縮させながら特徴パターン
に対してマッチングを行いパターン間距離を求め、得ら
れたｍ×ｎ個のパターン間距離によって構成される特徴
ベクトルを前記特徴パターン毎に作成する（ステップ３
３０）。この作成された特徴パターンは、特徴ベクトル
間距離取得部１５０に与えられる。
映像の特徴パターンのときと同様に、参照パターン記憶
部１８０にあらかじめ記憶された、特徴量の時系列の概
形を表現する基準となるｎ種類（ｎ≧１）の参照パター
ンをそれぞれ時間軸方向に伸縮させながら特徴パターン
に対してマッチングを行いパターン間距離を求め、得ら
れたｍ×ｎ個のパターン間距離によって構成される特徴
ベクトルを前記特徴パターン毎に作成する（ステップ３
３０）。この作成された特徴パターンは、特徴ベクトル
間距離取得部１５０に与えられる。
【００２８】特徴ベクトル間距離取得部１５０は、特徴
ベクトル作成部１４０から与えられた、検索キー映像か
ら作成された特徴ベクトルを検索キーとして、特徴ベク
トル記憶部１９０に記憶された特徴ベクトルを、先のイ
ンデックスを利用して検索を行う（ステップ３４０）。
すなわち、検索キーとのベクトル間距離の小さい特徴ベ
クトル記憶部１９０に記憶された特徴ベクトルを、小さ
い順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベク
トル間距離と、対応するｋ価の映像区間情報を検索結果
候補区間として類似区間探索部１６０へ与えられる。ベ
クトル間距離として、たとえばユークリッド距離を用い
ることができる。検索件数ｋはアプリケーションあるい
は利用者によって指定される。
ベクトル作成部１４０から与えられた、検索キー映像か
ら作成された特徴ベクトルを検索キーとして、特徴ベク
トル記憶部１９０に記憶された特徴ベクトルを、先のイ
ンデックスを利用して検索を行う（ステップ３４０）。
すなわち、検索キーとのベクトル間距離の小さい特徴ベ
クトル記憶部１９０に記憶された特徴ベクトルを、小さ
い順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベク
トル間距離と、対応するｋ価の映像区間情報を検索結果
候補区間として類似区間探索部１６０へ与えられる。ベ
クトル間距離として、たとえばユークリッド距離を用い
ることができる。検索件数ｋはアプリケーションあるい
は利用者によって指定される。
【００２９】類似区間探索部１６０は、特徴ベクトル間
距離取得部１５０から得たｋ個の検索結果候補区間か
ら、検索結果の候補を絞り込み、類似区間出力部１７０
へ与える（ステップ３５０）。候補の絞り込みは重複す
る映像区間の削除によって行う。重複する区間のうち、
特徴ベクトル間距離のもっとも小さいものを採用し、残
りを削除する。重複する区間の判定については、たとえ
ば、閾値以上の割合で区間が重なるかどうかで判定する
方法もある。
距離取得部１５０から得たｋ個の検索結果候補区間か
ら、検索結果の候補を絞り込み、類似区間出力部１７０
へ与える（ステップ３５０）。候補の絞り込みは重複す
る映像区間の削除によって行う。重複する区間のうち、
特徴ベクトル間距離のもっとも小さいものを採用し、残
りを削除する。重複する区間の判定については、たとえ
ば、閾値以上の割合で区間が重なるかどうかで判定する
方法もある。
【００３０】類似区間出力部１７０は、類似区間探索部
１６０で絞り込んだ１つ以上の部分パターンを映像デー
タベース１００から取得し、パターン間距離の順に提示
することによって検索結果を出力する（ステップ３６
０）。
１６０で絞り込んだ１つ以上の部分パターンを映像デー
タベース１００から取得し、パターン間距離の順に提示
することによって検索結果を出力する（ステップ３６
０）。
【００３１】以上、本発明の実施例を説明したが、図２
や図３などの処理手順は、コンピュータで実行可能なプ
ログラム言語で記述し、コンピュータで読み取り可能な
記録媒体、例えばフロッピーディスク、ＣＤ−ＲＯＭ、
メモリカードなどに記録して提供することが可能であ
る。このような記録媒体されたプロクラムをコンピュー
タにインストールすることにより、図１のような構成の
処理機能が実現する。
や図３などの処理手順は、コンピュータで実行可能なプ
ログラム言語で記述し、コンピュータで読み取り可能な
記録媒体、例えばフロッピーディスク、ＣＤ−ＲＯＭ、
メモリカードなどに記録して提供することが可能であ
る。このような記録媒体されたプロクラムをコンピュー
タにインストールすることにより、図１のような構成の
処理機能が実現する。
【００３２】
【発明の効果】以上説明したのように、入力された映像
を検索キーとして検索対象の映像から類似した区間を求
める映像検索システムにおいて、本発明を用いると、映
像の特徴量の時系列的な変化に基づき、かつ特徴量の時
間的な伸縮にも対応できる映像検索を、検索対象すべて
を照合することなく効率良く行うことができるようにな
る。
を検索キーとして検索対象の映像から類似した区間を求
める映像検索システムにおいて、本発明を用いると、映
像の特徴量の時系列的な変化に基づき、かつ特徴量の時
間的な伸縮にも対応できる映像検索を、検索対象すべて
を照合することなく効率良く行うことができるようにな
る。
【００３３】たとえば、本発明を組み込んだ野球のシー
ン検索システムでは、ホームランなどの映像を検索キー
として入力すると、試合全体の映像から類似したホーム
ランなどの映像を、従来の総なめ方式に比較して効率良
く検索することができる。
ン検索システムでは、ホームランなどの映像を検索キー
として入力すると、試合全体の映像から類似したホーム
ランなどの映像を、従来の総なめ方式に比較して効率良
く検索することができる。
【図１】本発明による映像検索装置の一実施例のブロッ
ク図である。
ク図である。
【図２】検索対象映像の登録時の処理フロー図である。
【図３】検索キー映像の入力時の処理フロー図である。
【図４】特徴量抽出部において出力される特徴量の一例
である。
である。
【図５】映像から抽出された時系列の特徴量および切り
出された特徴パターンを模式的に表わしたものである。
出された特徴パターンを模式的に表わしたものである。
【図６】参照パターンの一例である。
【図７】類似した特徴量の時系列で、時間的な伸縮のあ
るものの一例である。
るものの一例である。
１００ 映像データベース １１０ 検索対象映像入力部 １２０ 検索キー映像入力部 １３０ 特徴量抽出部 １４０ 特徴ベクトル作成部 １５０ 特徴ベクトル間距離取得部 １６０ 類似区間探索部 １７０ 類似区間出力部 １８０ 参照パターン記憶部 １９０ 特徴ベクトル記憶部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１２年３月１５日（２０００．３．１
５）
５）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 映像特徴抽出方法、映像特徴抽出装
置、映像検索方法、映像検索装置、およびそのプログラ
ムを記録した記録媒体
置、映像検索方法、映像検索装置、およびそのプログラ
ムを記録した記録媒体
【特許請求の範囲】
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、映像から特徴量を
抽出する技術、および、抽出された特徴量の時系列を検
索キーとして、検索対象の映像から類似した区間を求め
る映像検索技術に関するものである。
抽出する技術、および、抽出された特徴量の時系列を検
索キーとして、検索対象の映像から類似した区間を求め
る映像検索技術に関するものである。
【０００２】
【従釆の技術】従来、検索キーとして映像を入力し、検
索キーと検索対象の映像から抽出した特徴量の類似性を
もとに検索キーに類似した映像を検索する技術として
は、映像から抽出した特徴量を時間軸方向に動的に伸縮
させながら照合を行うことによって検索を行う方法があ
る。例えば、「カメラモーションに基づく類似動画像検
索」（情報処理学会研究報告、ＤＢＳ．１１９，１９９
９年）に記載されている方法では、あらかじめ検索対象
映像から特徴量の時系列を抽出しておく。検索対象の特
徴量の時系列に対して、検素キーの映像から抽出した特
徴量ともっとも類似性が高くなるように時間軸方向に伸
縮させながら照合を行う。検索対象の特徴量の時系列全
体にわたって、照合の開始点をずらしながら照合を行う
ことによって検索キーに類似する映像を検索する。この
方法では、時系列に基づいた照合を行うため、「動き」
といった映像固有の情報に基づいた検索ができる。ま
た、図７に示すように、特徴量の時系列が時間割方向に
伸縮の関係にあるようなシーンに対しても対応すること
ができる。
索キーと検索対象の映像から抽出した特徴量の類似性を
もとに検索キーに類似した映像を検索する技術として
は、映像から抽出した特徴量を時間軸方向に動的に伸縮
させながら照合を行うことによって検索を行う方法があ
る。例えば、「カメラモーションに基づく類似動画像検
索」（情報処理学会研究報告、ＤＢＳ．１１９，１９９
９年）に記載されている方法では、あらかじめ検索対象
映像から特徴量の時系列を抽出しておく。検索対象の特
徴量の時系列に対して、検素キーの映像から抽出した特
徴量ともっとも類似性が高くなるように時間軸方向に伸
縮させながら照合を行う。検索対象の特徴量の時系列全
体にわたって、照合の開始点をずらしながら照合を行う
ことによって検索キーに類似する映像を検索する。この
方法では、時系列に基づいた照合を行うため、「動き」
といった映像固有の情報に基づいた検索ができる。ま
た、図７に示すように、特徴量の時系列が時間割方向に
伸縮の関係にあるようなシーンに対しても対応すること
ができる。
【０００３】また、マルチメディア情報を検索する従来
の方法として、マルチメディア情報から抽出される特徴
量から特徴ベクトルを作成し、特徴ベクトル間の距離に
よって類似性を判定する方法がある。例えば、「オブジ
ェクトに基づく高速画像検索システム：ＥxＳight」
（情報処理学会論文誌、Ｖol.４０，Ｎo.２，１９９９
年）に記載されている方法では、あらかじめ静止画から
切り出された物体の画像から、特徴量を抽出し、特徴ベ
クトルを作成しておく。物体の検索は、検索キーとして
指定した物体の画像から作成した特徴ベクトルとの距離
が小さい特徴ベクトルを持つ物体を探索ことにより行
う。この方法では、検索に先立ってインデックスを作成
してお互いに距離の小さい特徴ベクトルをグループ化し
ておくことにより、検索時に探索範囲を絞り込むことが
出来るため効率よく検索を行うことができる。
の方法として、マルチメディア情報から抽出される特徴
量から特徴ベクトルを作成し、特徴ベクトル間の距離に
よって類似性を判定する方法がある。例えば、「オブジ
ェクトに基づく高速画像検索システム：ＥxＳight」
（情報処理学会論文誌、Ｖol.４０，Ｎo.２，１９９９
年）に記載されている方法では、あらかじめ静止画から
切り出された物体の画像から、特徴量を抽出し、特徴ベ
クトルを作成しておく。物体の検索は、検索キーとして
指定した物体の画像から作成した特徴ベクトルとの距離
が小さい特徴ベクトルを持つ物体を探索ことにより行
う。この方法では、検索に先立ってインデックスを作成
してお互いに距離の小さい特徴ベクトルをグループ化し
ておくことにより、検索時に探索範囲を絞り込むことが
出来るため効率よく検索を行うことができる。
【０００４】
【発明が解決しようとする課題】上述の従来技術におい
て、前者の方法は、基本的に総なめ型の検索方法である
ため、類似性の高い順に数件の検索結果だけが欲しい場
合でも検索対象すべてを照合する必要があり、検索対象
映像の長さが長くなると検索時間が長くなってしまうと
いう問題がある。
て、前者の方法は、基本的に総なめ型の検索方法である
ため、類似性の高い順に数件の検索結果だけが欲しい場
合でも検索対象すべてを照合する必要があり、検索対象
映像の長さが長くなると検索時間が長くなってしまうと
いう問題がある。
【０００５】後者の方法では、インデックスを利用する
ことで検索対象すべてを照合することなく検索を行うこ
とができるが、時系列の情報を考慮していないため、映
像のような時系列の情報が重要なメディアには直接適用
できないという問題がある。
ことで検索対象すべてを照合することなく検索を行うこ
とができるが、時系列の情報を考慮していないため、映
像のような時系列の情報が重要なメディアには直接適用
できないという問題がある。
【０００６】本発明の目的は、これらの問題を解決し、
映像から抽出した特徴量の時系列情報に対して特徴量の
時間的な伸縮に対応した検索を可能とするインデックス
を作成することで、検索対象すべてを照合することなく
効率良く検索キーとして入力された映像と類似する映像
を検索できるようにすることにある。
映像から抽出した特徴量の時系列情報に対して特徴量の
時間的な伸縮に対応した検索を可能とするインデックス
を作成することで、検索対象すべてを照合することなく
効率良く検索キーとして入力された映像と類似する映像
を検索できるようにすることにある。
【０００７】
【課題を解決するための手段】本発明は、映像からｍ種
類（ｍ≧１）の特徴量の時系列を抽出し、所定区間の特
徴量の時系列からなる特徴パターンを作成し、あらかじ
め用意した特徴量の時系列の概形を表現する基準となる
ｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向
に伸縮させながら、前記作成した特徴パターンとマッチ
ングを行ってパターン間距離を求め、得られたｍ×ｎ個
パターン間距離によって構成される特徴ベクトルを作成
することを主要な特徴とするものである。
類（ｍ≧１）の特徴量の時系列を抽出し、所定区間の特
徴量の時系列からなる特徴パターンを作成し、あらかじ
め用意した特徴量の時系列の概形を表現する基準となる
ｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向
に伸縮させながら、前記作成した特徴パターンとマッチ
ングを行ってパターン間距離を求め、得られたｍ×ｎ個
パターン間距離によって構成される特徴ベクトルを作成
することを主要な特徴とするものである。
【０００８】これを適用した本発明の映像検索装置の一
実施例を述べると、検索対象となる映像である検索対象
映像を入力する検索対象映像入力手段と、検索キーとな
る映像である検索キー映像を入力する検索キー映像入力
手段と、検索対象映像および検索キー映像から特徴量の
時系列を抽出し、特徴パターンを作成する特徴量抽出手
段と、特徴量の時系列の概形を表現する基準となる１つ
以上の参照パターンを記憶した参照パターン記憶手段
と、この参照パターンをそれぞれ時間軸方向に伸縮させ
ながら前記特徴パターンに対してマッチングを行い、得
られた１つ以上のパターン間距離によって構成される特
徴ベクトルを作成する特徴ベクトル作成手段と、前記特
徴ベクトルと映像区間情報を記録し、該特徴ベクトルに
対してインデックスを作成して記憶する特徴ベクトル記
憶手段と、前記検索キー映像から抽出された前記特徴ベ
クトルを検索キーとして前記特徴ベクトル記憶手段から
１つ以上の検索結果候補区間を抽出する特徴ベクトル間
距離取得手段と、前記特徴ベクトル間距離取得手段によ
って得られた１つ以上の前記検索結果候補区間から、前
記検索キー映像と類似する前記検索結果候補区間を絞り
込む類似区間探索手段と、前記類似区間探索手段で絞り
込んだ１つあるいは複数の前記検索結果候補区間を出力
する類似区間出力手段とを具備する。
実施例を述べると、検索対象となる映像である検索対象
映像を入力する検索対象映像入力手段と、検索キーとな
る映像である検索キー映像を入力する検索キー映像入力
手段と、検索対象映像および検索キー映像から特徴量の
時系列を抽出し、特徴パターンを作成する特徴量抽出手
段と、特徴量の時系列の概形を表現する基準となる１つ
以上の参照パターンを記憶した参照パターン記憶手段
と、この参照パターンをそれぞれ時間軸方向に伸縮させ
ながら前記特徴パターンに対してマッチングを行い、得
られた１つ以上のパターン間距離によって構成される特
徴ベクトルを作成する特徴ベクトル作成手段と、前記特
徴ベクトルと映像区間情報を記録し、該特徴ベクトルに
対してインデックスを作成して記憶する特徴ベクトル記
憶手段と、前記検索キー映像から抽出された前記特徴ベ
クトルを検索キーとして前記特徴ベクトル記憶手段から
１つ以上の検索結果候補区間を抽出する特徴ベクトル間
距離取得手段と、前記特徴ベクトル間距離取得手段によ
って得られた１つ以上の前記検索結果候補区間から、前
記検索キー映像と類似する前記検索結果候補区間を絞り
込む類似区間探索手段と、前記類似区間探索手段で絞り
込んだ１つあるいは複数の前記検索結果候補区間を出力
する類似区間出力手段とを具備する。
【０００９】本発明にあっては、入力された検索対象映
像から抽出された特徴量の時系列である特徴パターンに
対し、参照パターンをもっとも一致するように時間軸方
向に伸縮させた状態でのパターン間距離によって構成さ
れる特徴ベクトルを作成し、特徴ベクトルに対してイン
デックスを作成して記憶し、入力された検索キー映像か
ら作成された特徴ベクトルに対し、記憶しておいた特徴
ベクトルとのベクトル間距離計算を行い、得られた複数
の映像区間とベクトル間距離の組を絞りこみ、出力する
ことによって、映像から抽出した特徴量の時系列的な変
化を検索キーとして指定でき、かつ特徴量の時間的な伸
縮にも対応できる映像検索を、インデックスを利用して
効率良く行うことができる。
像から抽出された特徴量の時系列である特徴パターンに
対し、参照パターンをもっとも一致するように時間軸方
向に伸縮させた状態でのパターン間距離によって構成さ
れる特徴ベクトルを作成し、特徴ベクトルに対してイン
デックスを作成して記憶し、入力された検索キー映像か
ら作成された特徴ベクトルに対し、記憶しておいた特徴
ベクトルとのベクトル間距離計算を行い、得られた複数
の映像区間とベクトル間距離の組を絞りこみ、出力する
ことによって、映像から抽出した特徴量の時系列的な変
化を検索キーとして指定でき、かつ特徴量の時間的な伸
縮にも対応できる映像検索を、インデックスを利用して
効率良く行うことができる。
【００１０】
【発明の実施の形態】以下、本発明の一実施例を、図面
を参照しなから詳述する。なお、以下に示す実施例は、
入力映像に含まれるカメラモーションを検索キーとし、
検索対象の映像から類似したカメラモーションを検索す
る映像検索システムを対象とする。ここでカメラモーシ
ョンとは、映像を撮影するカメラの上下左右の働きと、
ズーム操作のことを意味する。
を参照しなから詳述する。なお、以下に示す実施例は、
入力映像に含まれるカメラモーションを検索キーとし、
検索対象の映像から類似したカメラモーションを検索す
る映像検索システムを対象とする。ここでカメラモーシ
ョンとは、映像を撮影するカメラの上下左右の働きと、
ズーム操作のことを意味する。
【００１１】図１は本発明による映像検索装置の一実施
例のブロック図を示す。本映像検索装置は、映像データ
ベース１００、検索対象映像入力部１１０、検索キー映
像入力部１２０、特徴量抽出部１３０、特徴ベクトル作
成部１４０、特徴ベクトル間距離取得部１５０、類似区
間探索部１６０、類似区間出力部１７０、参照パターン
記憶部１８０及び特徴ベクトル記憶部１９０からなる。
例のブロック図を示す。本映像検索装置は、映像データ
ベース１００、検索対象映像入力部１１０、検索キー映
像入力部１２０、特徴量抽出部１３０、特徴ベクトル作
成部１４０、特徴ベクトル間距離取得部１５０、類似区
間探索部１６０、類似区間出力部１７０、参照パターン
記憶部１８０及び特徴ベクトル記憶部１９０からなる。
【００１２】図２は、検索対象となる検索対象映像を映
像データベース１００へ登録するときの処理フロー図で
ある。まず、この登録時の動作に基づき、本発明の特徴
とするところの映像特徴抽出について説明する。
像データベース１００へ登録するときの処理フロー図で
ある。まず、この登録時の動作に基づき、本発明の特徴
とするところの映像特徴抽出について説明する。
【００１３】検索対象映像入力部１１０によって検索対
象となる検索対象映像を装置に入力する（ステップ２１
０）。入力された検索対象映像は、映像データベース１
００に蓄積されるとともに、特徴量抽出部１３０に与え
られる。映像情報としては、例えばＭＰＥＧを用いるこ
とができるが、これに限定するものではない。
象となる検索対象映像を装置に入力する（ステップ２１
０）。入力された検索対象映像は、映像データベース１
００に蓄積されるとともに、特徴量抽出部１３０に与え
られる。映像情報としては、例えばＭＰＥＧを用いるこ
とができるが、これに限定するものではない。
【００１４】特徴量抽出部１３０では、検索対象映像か
ら、輝度分布やカメラモーションなど、一般にｍ種類
（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを
作成する（ステップ２２０）。
ら、輝度分布やカメラモーションなど、一般にｍ種類
（ｍ≧１）の特徴量の時系列を抽出し、特徴パターンを
作成する（ステップ２２０）。
【００１５】特徴量抽出部１３０によって、例えば、図
４のように１フレーム単位で３種類の特徴量の時系列が
抽出される。特徴量として、ここでは映像から抽出され
るカメラモーションを用いているが、他には輝度情報
や、フレーム内の物体の座標などを用いることができ
る。図４では、１行が１フレームから抽出される特徴量
をあらわし、列は特徴量の種類をあらわしている。フレ
ーム番号は映像の開始点からのフレーム番号、Ｖxはカ
メラの左右の移動量、Ｖyはカメラの上下の移動量、Ｚ
はズームによる拡大縮小量をあらわす。カメラモーンョ
ンの抽出は、例えばＭＰＥＧの符号化情報である動きベ
クトルや、オプティカルフローを計算して求めることが
できる。文献「ＣＶＥＰＳ‐Ａ Ｃompressed Ｖideo Ｅ
diting and Ｐarsing Ｓystem」（Ｐroc．ＡＣＭ Ｍult
imedia '９６，pp.４３−５３、１９９６年）に示され
れる方法では、ＭＰＥＧの符号化情報である動きベクト
ルに対して、動きベクトルとカメラモーションの関係式
４のように１フレーム単位で３種類の特徴量の時系列が
抽出される。特徴量として、ここでは映像から抽出され
るカメラモーションを用いているが、他には輝度情報
や、フレーム内の物体の座標などを用いることができ
る。図４では、１行が１フレームから抽出される特徴量
をあらわし、列は特徴量の種類をあらわしている。フレ
ーム番号は映像の開始点からのフレーム番号、Ｖxはカ
メラの左右の移動量、Ｖyはカメラの上下の移動量、Ｚ
はズームによる拡大縮小量をあらわす。カメラモーンョ
ンの抽出は、例えばＭＰＥＧの符号化情報である動きベ
クトルや、オプティカルフローを計算して求めることが
できる。文献「ＣＶＥＰＳ‐Ａ Ｃompressed Ｖideo Ｅ
diting and Ｐarsing Ｓystem」（Ｐroc．ＡＣＭ Ｍult
imedia '９６，pp.４３−５３、１９９６年）に示され
れる方法では、ＭＰＥＧの符号化情報である動きベクト
ルに対して、動きベクトルとカメラモーションの関係式
【数１】 を利用してカメラモーションの抽出を行う。ここで、
（ｘ，ｙ）は動きベクトルを持つマクロブロックの座
標、（ｕ，ｖ）は動きベクトルを表す。
（ｘ，ｙ）は動きベクトルを持つマクロブロックの座
標、（ｕ，ｖ）は動きベクトルを表す。
【００１６】１つのフレームを構成するすべてのマクロ
ブロックについて、〔数１〕の関係式により求められる
（ｕ，ｖ）と、実際の動きベクトルとの誤差が最小とな
る（Ｖx，Ｖy，Ｚ）の値を最小２乗法により求める。抽
出された特徴量は統計量に基づいて正規化される。正規
化は特徴量の種類ごとの検索結果への効果の度合いを調
整するために行うものであり、たとえば各特徴量の分散
を一定にする方法を用いることが出来る。
ブロックについて、〔数１〕の関係式により求められる
（ｕ，ｖ）と、実際の動きベクトルとの誤差が最小とな
る（Ｖx，Ｖy，Ｚ）の値を最小２乗法により求める。抽
出された特徴量は統計量に基づいて正規化される。正規
化は特徴量の種類ごとの検索結果への効果の度合いを調
整するために行うものであり、たとえば各特徴量の分散
を一定にする方法を用いることが出来る。
【００１７】本実施例では、検索対象映像について、一
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずつずらしながら重複を許して１
個以上作成する。特徴パターンの切り出しは、図５のよ
うに行う。図５において、矩形は映像から抽出された時
系列の特徴量および特徴パターンを模式的に表したもの
である。Ｔdは区間のずらし幅、Ｔfは区間の長さをあら
わすパラメータである。検索対象映像の作成された特徴
パターンは特徴ベクトル作成部１４０へ与えられる。
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずつずらしながら重複を許して１
個以上作成する。特徴パターンの切り出しは、図５のよ
うに行う。図５において、矩形は映像から抽出された時
系列の特徴量および特徴パターンを模式的に表したもの
である。Ｔdは区間のずらし幅、Ｔfは区間の長さをあら
わすパラメータである。検索対象映像の作成された特徴
パターンは特徴ベクトル作成部１４０へ与えられる。
【００１８】特徴ベクトル作成部１４０は、特徴量抽出
部１３０によって与えられた検索対象映像の特徴パター
ン毎に特徴ベクトルを作成し、該特徴ベクトルと、該特
徴ベクトルに対応する映像区間の開始フレーム番号と終
了フレーム番号によって構成される映像区間情報を特徴
ベクトル記憶部１９０へ与える（ステップ２３０）。特
徴ベクトルは、該特徴パターンに対し、あらかじめ用意
した１つ以上の参照パターンとのマッチングによって得
られたパターン間距離によって構成される。
部１３０によって与えられた検索対象映像の特徴パター
ン毎に特徴ベクトルを作成し、該特徴ベクトルと、該特
徴ベクトルに対応する映像区間の開始フレーム番号と終
了フレーム番号によって構成される映像区間情報を特徴
ベクトル記憶部１９０へ与える（ステップ２３０）。特
徴ベクトルは、該特徴パターンに対し、あらかじめ用意
した１つ以上の参照パターンとのマッチングによって得
られたパターン間距離によって構成される。
【００１９】参照パターンは、該特徴バターンの特徴量
の時系列の概形を表現するための基準となるものであ
り、参照パターン記憶部１８０にあらかじめ用意してお
く。参照パターンとして、たとえば図６に示すような８
つのパターンを用いることができるが、これに限定する
ものではない。
の時系列の概形を表現するための基準となるものであ
り、参照パターン記憶部１８０にあらかじめ用意してお
く。参照パターンとして、たとえば図６に示すような８
つのパターンを用いることができるが、これに限定する
ものではない。
【００２０】パターン間距離は、例えば文献「カメラモ
ーションに基づく類似動画像検索」（情報処理学会研究
報告、ＤＢＳ−１１９，ｐｐ２７３−２７８、１９９９
年）に示されるようなＤＰ距離を用いることができる。
ＤＰ距離は、動的計画法を用いて、対応付ける要素同士
の距離である要素間距離の総和が最小になるようにマッ
チングを行うことによって得られる。参照パターンの要
素をａi （１≦ｉ≦ＮR）、特徴パターンの１つの特徴量
の要素をｂj （１≦ｊ≦ＮF）と表すとき、ＤＰ距離Ｄは
例えば次のように表される。
ーションに基づく類似動画像検索」（情報処理学会研究
報告、ＤＢＳ−１１９，ｐｐ２７３−２７８、１９９９
年）に示されるようなＤＰ距離を用いることができる。
ＤＰ距離は、動的計画法を用いて、対応付ける要素同士
の距離である要素間距離の総和が最小になるようにマッ
チングを行うことによって得られる。参照パターンの要
素をａi （１≦ｉ≦ＮR）、特徴パターンの１つの特徴量
の要素をｂj （１≦ｊ≦ＮF）と表すとき、ＤＰ距離Ｄは
例えば次のように表される。
【数２】 初期条件
【数３】 漸化式
【数４】
【００２１】ここで、ｄ（ｉ，ｊ）はａi とｂj との要素
間距離である。特徴パターンのすべての特徴量の時系列
に対して、それぞれＤＰ距離を求める。特徴ベクトルの
次元数は特徴量の種類の個数に参照パターンの個数を掛
けたものであり、図４に示した特徴量と、図６に示した
参照パターンを用いた場合、特徴ベクトルの次元数は２
４次元となる。以下、特徴ベクトルによって構成される
多次元空間のことを特徴空間と呼ぶ。
間距離である。特徴パターンのすべての特徴量の時系列
に対して、それぞれＤＰ距離を求める。特徴ベクトルの
次元数は特徴量の種類の個数に参照パターンの個数を掛
けたものであり、図４に示した特徴量と、図６に示した
参照パターンを用いた場合、特徴ベクトルの次元数は２
４次元となる。以下、特徴ベクトルによって構成される
多次元空間のことを特徴空間と呼ぶ。
【００２２】特徴ベクトル記憶部１９０は、特徴ベクト
ル作成部１４０によって与えられた検索対象映像から作
成された特徴ベクトルと映像区間情報を記憶する（ステ
ップ２４０）。この特徴ベクトル記憶部１９０では、す
べての特徴ベクトルに対してインデックスを作成し、映
像データベース１００の映像と対応づけて格納する。
ル作成部１４０によって与えられた検索対象映像から作
成された特徴ベクトルと映像区間情報を記憶する（ステ
ップ２４０）。この特徴ベクトル記憶部１９０では、す
べての特徴ベクトルに対してインデックスを作成し、映
像データベース１００の映像と対応づけて格納する。
【００２３】インデックスは、たとえば、文献（「画像
類似検索のための多次元空間インデクス」マルチメディ
ア通信と分散処理８２−１８、ｐｐ９９−１０４、１９
９７年）に示されるようなインデックス作成方式を用い
ればよい。この方式では、特徴ベクトルの集合を多次元
空間内の位置に基づいて分割し、グループ化を行う。グ
ループ内の特徴ベクトルの集合に対し、再帰的に分割、
グループ化を行い、階層的なグループ構造を構築し、同
じグループに属する特徴ベクトルを、各階層において最
小包囲領域として管理する。
類似検索のための多次元空間インデクス」マルチメディ
ア通信と分散処理８２−１８、ｐｐ９９−１０４、１９
９７年）に示されるようなインデックス作成方式を用い
ればよい。この方式では、特徴ベクトルの集合を多次元
空間内の位置に基づいて分割し、グループ化を行う。グ
ループ内の特徴ベクトルの集合に対し、再帰的に分割、
グループ化を行い、階層的なグループ構造を構築し、同
じグループに属する特徴ベクトルを、各階層において最
小包囲領域として管理する。
【００２４】検索キーの特徴ベクトルとベクトル間距離
の小さい特徴ベクトルを検索する際には、特徴ベクトル
との距離を計算する前に、各階層の最小包囲領域との距
離を計算することにより、検索キーと距離の遠いグルー
プに属する特徴ベクトルに対するベクトル間距離の計算
を省略することができるため、効率良く検索を行うこと
ができる。
の小さい特徴ベクトルを検索する際には、特徴ベクトル
との距離を計算する前に、各階層の最小包囲領域との距
離を計算することにより、検索キーと距離の遠いグルー
プに属する特徴ベクトルに対するベクトル間距離の計算
を省略することができるため、効率良く検索を行うこと
ができる。
【００２５】図３は、検索時の処理フロー図である。検
索キー映像入力部１２０によって検索キーとなる検索キ
ー映像を装置に入力する（ステップ３１０）。入力され
た検索キー映像は特徴量抽出部１３０に与えられる。検
索キー映像も、その映像情報として例えばＭＰＥＧを用
いることができるが、これに限定されるものではない。
索キー映像入力部１２０によって検索キーとなる検索キ
ー映像を装置に入力する（ステップ３１０）。入力され
た検索キー映像は特徴量抽出部１３０に与えられる。検
索キー映像も、その映像情報として例えばＭＰＥＧを用
いることができるが、これに限定されるものではない。
【００２６】特徴量抽出部１３０は、与えられた検索キ
ー映像から、輝度分布やカメラモーションなど、一般に
ｍ種類（ｍ≧１）の特徴量の時系列を抽出し、該抽出し
た特徴量の時系列全体を１つの特徴パターンとして切り
出す（ステップ３２０）。この特徴量抽出部１３０での
処理は、登録時の検索対象映像に対する処理と基本的に
同じである。なお、与えられた検索キー映像が、ある程
度以上長い場合には、検索対象映像のときと同様に、一
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずらしながら重複を許して１個以
上作成する。作成された検索キー映像の特徴パターンは
特徴ベクトル作成部１４０へ与えられる。
ー映像から、輝度分布やカメラモーションなど、一般に
ｍ種類（ｍ≧１）の特徴量の時系列を抽出し、該抽出し
た特徴量の時系列全体を１つの特徴パターンとして切り
出す（ステップ３２０）。この特徴量抽出部１３０での
処理は、登録時の検索対象映像に対する処理と基本的に
同じである。なお、与えられた検索キー映像が、ある程
度以上長い場合には、検索対象映像のときと同様に、一
定の区間長の特徴量の時系列からなる特徴パターンを、
切り出す開始点を少しずらしながら重複を許して１個以
上作成する。作成された検索キー映像の特徴パターンは
特徴ベクトル作成部１４０へ与えられる。
【００２７】特徴ベクトル作成部１４０では、検索対象
映像の特徴パターンのときと同様に、参照パターン記憶
部１８０にあらかじめ記憶された、特徴量の時系列の概
形を表現する基準となるｎ種類（ｎ≧１）の参照パター
ンをそれぞれ時間軸方向に伸縮させながら特徴パターン
に対してマッチングを行いパターン間距離を求め、得ら
れたｍ×ｎ個のパターン間距離によって構成される特徴
ベクトルを前記特徴パターン毎に作成する（ステップ３
３０）。この作成された特徴パターンは、特徴ベクトル
間距離取得部１５０に与えられる。
映像の特徴パターンのときと同様に、参照パターン記憶
部１８０にあらかじめ記憶された、特徴量の時系列の概
形を表現する基準となるｎ種類（ｎ≧１）の参照パター
ンをそれぞれ時間軸方向に伸縮させながら特徴パターン
に対してマッチングを行いパターン間距離を求め、得ら
れたｍ×ｎ個のパターン間距離によって構成される特徴
ベクトルを前記特徴パターン毎に作成する（ステップ３
３０）。この作成された特徴パターンは、特徴ベクトル
間距離取得部１５０に与えられる。
【００２８】特徴ベクトル間距離取得部１５０は、特徴
ベクトル作成部１４０から与えられた、検索キー映像か
ら作成された特徴ベクトルを検索キーとして、特徴ベク
トル記憶部１９０に記憶された特徴ベクトルを、先のイ
ンデックスを利用して検索を行う（ステップ３４０）。
すなわち、検索キーとのベクトル間距離の小さい特徴ベ
クトル記憶部１９０に記憶された特徴ベクトルを、小さ
い順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベク
トル間距離と、対応するｋ個の映像区間情報を検索結果
候補区間として類似区間探索部１６０へ与えられる。ベ
クトル間距離として、たとえばユークリッド距離を用い
ることができる。検索件数ｋはアプリケーションあるい
は利用者によって指定される。
ベクトル作成部１４０から与えられた、検索キー映像か
ら作成された特徴ベクトルを検索キーとして、特徴ベク
トル記憶部１９０に記憶された特徴ベクトルを、先のイ
ンデックスを利用して検索を行う（ステップ３４０）。
すなわち、検索キーとのベクトル間距離の小さい特徴ベ
クトル記憶部１９０に記憶された特徴ベクトルを、小さ
い順にｋ個（ｋ≧１）探索し、得られたｋ個の特徴ベク
トル間距離と、対応するｋ個の映像区間情報を検索結果
候補区間として類似区間探索部１６０へ与えられる。ベ
クトル間距離として、たとえばユークリッド距離を用い
ることができる。検索件数ｋはアプリケーションあるい
は利用者によって指定される。
【００２９】類似区間探索部１６０は、特徴ベクトル間
距離取得部１５０から得たｋ個の検索結果候補区間か
ら、検索結果の候補を絞り込み、類似区間出力部１７０
へ与える（ステップ３５０）。候補の絞り込みは重複す
る映像区間の削除によって行う。重複する区間のうち、
特徴ベクトル間距離のもっとも小さいものを採用し、残
りを削除する。重複する区間の判定については、たとえ
ば、閾値以上の割合で区間が重なるかどうかで判定する
方法もある。
距離取得部１５０から得たｋ個の検索結果候補区間か
ら、検索結果の候補を絞り込み、類似区間出力部１７０
へ与える（ステップ３５０）。候補の絞り込みは重複す
る映像区間の削除によって行う。重複する区間のうち、
特徴ベクトル間距離のもっとも小さいものを採用し、残
りを削除する。重複する区間の判定については、たとえ
ば、閾値以上の割合で区間が重なるかどうかで判定する
方法もある。
【００３０】類似区間出力部１７０は、類似区間探索部
１６０で絞り込んだ１つ以上の部分パターンを映像デー
タベース１００から取得し、パターン間距離の順に提示
することによって検索結果を出力する（ステップ３６
０）。
１６０で絞り込んだ１つ以上の部分パターンを映像デー
タベース１００から取得し、パターン間距離の順に提示
することによって検索結果を出力する（ステップ３６
０）。
【００３１】以上、本発明の実施例を説明したが、図２
や図３などの処理手順は、コンピュータで実行可能なプ
ログラム言語で記述し、コンピュータで読み取り可能な
記録媒体、例えばフロッピーディスク、ＣＤ−ＲＯＭ、
メモリカードなどに記録して提供することが可能であ
る。このような記録媒体されたプロクラムをコンピュー
タにインストールすることにより、図１のような構成の
処理機能が実現する。
や図３などの処理手順は、コンピュータで実行可能なプ
ログラム言語で記述し、コンピュータで読み取り可能な
記録媒体、例えばフロッピーディスク、ＣＤ−ＲＯＭ、
メモリカードなどに記録して提供することが可能であ
る。このような記録媒体されたプロクラムをコンピュー
タにインストールすることにより、図１のような構成の
処理機能が実現する。
【００３２】
【発明の効果】以上説明したのように、入力された映像
を検索キーとして検索対象の映像から類似した区間を求
める映像検索システムにおいて、本発明を用いると、映
像の特徴量の時系列的な変化に基づき、かつ特徴量の時
間的な伸縮にも対応できる映像検索を、検索対象すべて
を照合することなく効率良く行うことができるようにな
る。
を検索キーとして検索対象の映像から類似した区間を求
める映像検索システムにおいて、本発明を用いると、映
像の特徴量の時系列的な変化に基づき、かつ特徴量の時
間的な伸縮にも対応できる映像検索を、検索対象すべて
を照合することなく効率良く行うことができるようにな
る。
【００３３】たとえば、本発明を組み込んだ野球のシー
ン検索システムでは、ホームランなどの映像を検索キー
として入力すると、試合全体の映像から類似したホーム
ランなどの映像を、従来の総なめ方式に比較して効率良
く検索することができる。
ン検索システムでは、ホームランなどの映像を検索キー
として入力すると、試合全体の映像から類似したホーム
ランなどの映像を、従来の総なめ方式に比較して効率良
く検索することができる。
【図面の簡単な説明】
【図１】本発明による映像検索装置の一実施例のブロッ
ク図である。
ク図である。
【図２】検索対象映像の登録時の処理フロー図である。
【図３】検索キー映像の入力時の処理フロー図である。
【図４】特徴量抽出部において出力される特徴量の一例
である。
である。
【図５】映像から抽出された時系列の特徴量および切り
出された特徴パターンを模式的に表わしたものである。
出された特徴パターンを模式的に表わしたものである。
【図６】参照パターンの一例である。
【図７】類似した特徴量の時系列で、時間的な伸縮のあ
るものの一例である。
るものの一例である。
【符号の説明】 １００ 映像データベース １１０ 検索対象映像入力部 １２０ 検索キー映像入力部 １３０ 特徴量抽出部 １４０ 特徴ベクトル作成部 １５０ 特徴ベクトル間距離取得部 １６０ 類似区間探索部 １７０ 類似区間出力部 １８０ 参照パターン記憶部 １９０ 特徴ベクトル記憶部
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正内容】
【図１】
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正内容】
【図４】
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ４６０Ｂ Ｆターム(参考） 5B050 AA08 BA11 CA07 EA07 EA18 FA02 GA08 5B075 ND06 NK06 PQ74 PR06 QM08 5L096 BA20 DA02 FA66 FA81 HA02 JA03 JA11 KA09 KA13 9A001 FF03 HH23 JZ19
Claims (9)
- 【請求項１】 入力された映像の特徴を抽出する映像特
徴抽出方法であって、 入力された映像からｍ種類（ｍ≧１）の特徴量の時系列
を抽出し、所定区間長の特徴量の時間列からなる特徴パ
ターンを作成する特徴量抽出ステップと、 特徴量の時系列の概形を表現する基準となるｎ種類（ｎ
≧１）の参照パターンをそれぞれ時間軸方向に伸縮させ
ながら、前記特徴パターンとマッチングを行ってパター
ン間距離を求め、ｍ×ｎ個のパターン間距離によって構
成される特徴ベクトルを作成する特徴ベクトル作成ステ
ップと、を有することを特徴とする映像特徴抽出方法。 - 【請求項２】 請求項１記載の映像特徴量抽出方法にお
いて、特徴量抽出ステップは、抽出した特徴量の時系列
から、所定区間長の特徴量の時系列からなる特徴パター
ンを、切り出す開始点をずらしながら重複して１個以上
作成することを特徴とする映像特徴抽出方法。 - 【請求項３】 映像を入力する映像入力手段と、 入力された映像からｍ種類（ｍ≧１）の特徴量の時系列
を抽出し、所定区間長の特徴量の時間列からなる特徴パ
ターンを作成する特徴量抽出手段と、 特徴量の時系列の概形を表現する基準となるｎ種類（ｎ
≧１）の参照パターンを記憶する参照パターン記憶手段
と、 前記参照パターンをそれぞれ時間軸方向に伸縮させなが
ら、前記特徴パターンとマッチングを行ってパターン間
距離を求め、ｍ×ｎ個のパターン間距離によって構成さ
れる特徴ベクトルを作成する特徴ベクトル作成手段と、 作成される特徴ベクトルを記憶する特徴ベクトル記憶手
段と、を有することを特徴とする映像特徴抽出装置。 - 【請求項４】 請求項３記載の映像特徴量抽出装置にお
いて、特徴量抽出手段は、抽出した特徴量の時系列か
ら、所定区間長の特徴量の時系列からなる特徴パターン
を、切り出す開始点をずらしながら重複して１個以上作
成することを特徴とする映像特徴抽出装置。 - 【請求項５】 入力された映像から抽出した特徴量の時
系列を検索キーとして、検索対象の映像から類似した区
間を求める映像検索方法において、 登録処理に対して、対象となる映像である検索対象映像
を入力する検索対象映像入力ステップと、前記検索対象
映像からｍ種類（ｍ≧１）の特徴量の時系列を抽出し、
一定の所定区間長の特徴量の時系列からなる特徴パター
ンを１個以上作成する特徴量抽出ステップと、あらかじ
め用意した特徴量の時系列の概形を表現する基準となる
ｎ種類（ｎ≧１）の参照パターンをそれぞれ時間軸方向
に伸縮させながら、前記特徴パターンに対してマッチン
グを行ってパターン間距離を求め、ｍ×ｎ個のパターン
間距離によって構成される特徴ベクトルを前記特徴パタ
ーン毎に作成する特徴ベクトル作成ステップと、前記検
索対象映像から作成した特徴ベクトルと、該特徴ベクト
ルに対応する映像区間の開始点と終了点によって表され
る映像区間情報を記録し、該特徴ベクトルに対してイン
デックスを作成して格納する特徴ベクトル記憶ステップ
とを有し、 検索処理に対して、検索キーとなる映像である検索キー
映像を入力する検索キー映像入力ステップと、前記検索
キー映像からｍ種類（ｍ≧１）の特徴量の時系列を抽出
し、特徴パターンを作成する特徴量抽出ステップと、あ
らかじめ用意したｎ種類の参照パターンをそれぞれ時間
軸方向に伸縮させながら、前記特徴パターンに対してマ
ッチングを行ってパターン間距離を求め、ｍ×ｎ個のパ
ターン間距離によって構成される検索キー映像の特徴ベ
クトルを作成する特徴ベクトル作成ステップと、前記検
索キー映像から作成した特徴ベクトルを検索キーとし
て、前記検索対象映像のインデックスを利用して、検索
キーとのベクトル間距離の小さい前記検索対象映像から
作成した特徴ベクトルを小さい順にｋ個（ｋ≧１）探索
し、得られたｋ個の特徴ベクトル間距離と、対応するｋ
個の映像区間を検索結果候補区間として出力する特徴ベ
クトル間距離取得ステップと、前記ｋ個の検索結果候補
区間から時区間が重複するものを削除し、前記検索キー
映像と類似する前記検索結果候補区間を絞り込む類似区
間探索ステップと、前記絞り込んだ検索結果候補区間を
出力する類似区間出力ステップとを有する、 ことを特徴とする映像検索方法。 - 【請求項６】 請求項５記載の映像検索方法において、 検索対象映像の特徴量抽出ステップでは、検索対象映像
について抽出した特徴量の時系列から、所定区間長の特
徴量の時系列からなる特徴パターンを、切り出す開始点
を少しずらしながら重複を許して１個以上作成し、 検索キー映像の特徴量抽出ステップでは、検索キー映像
について抽出した特徴量の時系列全体を１個の特徴パタ
ーンとして切り出す、ことを特徴とする映像検索方法。 - 【請求項７】 請求項６記載の映像検索方法において、 検索キー映像の特徴量抽出ステップでは、検索キー映像
について抽出した特徴量の時系列についても、所定区間
長の特徴量の時系列からなる特徴パターンを、切り出す
開始点を少しずらしながら重複を許して１個以上切り出
す、ことを特徴とする映像検索方法。 - 【請求項８】 入力された映像から抽出した特徴量の時
系列を検索キーとして、検索対象の映像から類似した区
間を求める映像検索装置において、 検索対象となる映像である検索対象映像を入力する検索
対象映像入力手段と、 検索キーとなる映像である検索キー映像を入力する検索
キー映像入力手段と、 該検索対象映像および該検索キー映像から、ｍ種類（ｍ
≧１）の特徴量の時系列を抽出し、前記検索対象映像に
ついては抽出した特徴量の時系列から、所定区間長の特
徴量の時系列からなる特徴パターンを、１個以上作成
し、前記検索キー映像については抽出した特徴量の時系
列全体を１個あるいは複数個の特徴パターンとして切り
出す特徴量抽出手段と、 特徴量の時系列の概形を表現する基準となるｎ種類（ｎ
≧１）の参照パターンを記憶する参照パターン記憶手段
と、 前記参照パターンをそれぞれ時間軸方向に伸縮させなが
ら前記特徴パターンに対してマッチングを行いパターン
間距離を求め、得られたｍ×ｎ個のパターン間距離によ
って構成される特徴ベクトルを前記特徴パターン毎に作
成する特徴ベクトル作成手段と、 前記検索対象映像から作成した特徴ベクトルと、該特徴
ベクトルに対応する映像区間の開始点と終了点によって
表される映像区間情報を記録し、該特徴ベクトルに対し
てインデックスを作成して格納する特徴ベクトル記憶手
段と、 前記検索キー映像から作成した特徴ベクトルを検索キー
として、前記特徴ベクトル記憶手段のインデックスを利
用して、検索キーとのベクトル間距離の小さい前記検索
対象映像から作成した特徴ベクトルを小さい順にｋ個
（ｋ≧１）探索し、得られたｋ個の特徴ベクトル間距離
と、対応するｋ個の映像区間を検索結果候補区間として
出力する特徴ベクトル間距離取得手段と、 前記特徴ベクトル間距離取得手段によって得られたｋ個
の検索結果候補区間から時区間が重複するものを削除
し、前記検索キー映像と類似する前記検索結果候補区間
を絞り込む類似区間探索手段と、 前記類似区間探索手段で絞り込んだ前記検索結果候補区
間を出力する類似区間出力手段と、 からなることを特徴とする映像検索装置。 - 【請求項９】 請求項１、２記載の映像特徴抽出方法、
請求項５、６、７記載の映像検索方法のいずれか一方あ
るい両方をコンピュータで実行可能なプログラムを記録
したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000052584A JP3621323B2 (ja) | 2000-02-28 | 2000-02-28 | 映像登録・検索処理方法および映像検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000052584A JP3621323B2 (ja) | 2000-02-28 | 2000-02-28 | 映像登録・検索処理方法および映像検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001243236A true JP2001243236A (ja) | 2001-09-07 |
| JP3621323B2 JP3621323B2 (ja) | 2005-02-16 |
Family
ID=18574079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000052584A Expired - Fee Related JP3621323B2 (ja) | 2000-02-28 | 2000-02-28 | 映像登録・検索処理方法および映像検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3621323B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005332206A (ja) * | 2004-05-20 | 2005-12-02 | Nippon Hoso Kyokai <Nhk> | 映像イベント判別装置及びそのプログラム、並びに、映像イベント判別用学習データ生成装置及びそのプログラム |
| US7143352B2 (en) * | 2002-11-01 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc | Blind summarization of video content |
| JP2007299152A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | コンテンツ管理装置及びコンテンツ管理方法 |
| JP2010283542A (ja) * | 2009-06-03 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
| WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
| US8280195B2 (en) | 2006-03-24 | 2012-10-02 | Nec Corporation | Video data indexing system, video data indexing method and program |
| JP2014030164A (ja) * | 2012-03-13 | 2014-02-13 | Canon Inc | 動画像情報処理方法及び装置、動画像パターン識別方法及び装置 |
| WO2017134738A1 (ja) * | 2016-02-02 | 2017-08-10 | 三菱電機株式会社 | レコーダ装置および映像監視システム |
| JP2019169011A (ja) * | 2018-03-25 | 2019-10-03 | 株式会社知能フレームワーク研究所 | 予兆検知システムおよびプログラム |
| JPWO2019078164A1 (ja) * | 2017-10-16 | 2020-12-03 | 日本電気株式会社 | 検索装置、検索方法及びプログラム |
| CN116452580A (zh) * | 2023-06-13 | 2023-07-18 | 山东古天电子科技有限公司 | 一种笔记本外观质量检测方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112653928B (zh) * | 2020-12-04 | 2022-12-02 | 苏州浪潮智能科技有限公司 | 一种基于内容相同的视频过滤方法、系统及设备 |
-
2000
- 2000-02-28 JP JP2000052584A patent/JP3621323B2/ja not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7143352B2 (en) * | 2002-11-01 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc | Blind summarization of video content |
| JP4546762B2 (ja) * | 2004-05-20 | 2010-09-15 | 日本放送協会 | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム |
| JP2005332206A (ja) * | 2004-05-20 | 2005-12-02 | Nippon Hoso Kyokai <Nhk> | 映像イベント判別装置及びそのプログラム、並びに、映像イベント判別用学習データ生成装置及びそのプログラム |
| US8280195B2 (en) | 2006-03-24 | 2012-10-02 | Nec Corporation | Video data indexing system, video data indexing method and program |
| JP2007299152A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | コンテンツ管理装置及びコンテンツ管理方法 |
| JP2010283542A (ja) * | 2009-06-03 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
| CN102859517B (zh) * | 2010-05-14 | 2016-07-06 | 株式会社日立制作所 | 时序数据管理装置、系统以及方法 |
| WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
| CN102859517A (zh) * | 2010-05-14 | 2013-01-02 | 株式会社日立制作所 | 时序数据管理装置、系统、方法以及程序 |
| JP5503737B2 (ja) * | 2010-05-14 | 2014-05-28 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
| US9298854B2 (en) | 2010-05-14 | 2016-03-29 | Hitachi, Ltd. | Time-series data management device, system, method, and program |
| JP2014030164A (ja) * | 2012-03-13 | 2014-02-13 | Canon Inc | 動画像情報処理方法及び装置、動画像パターン識別方法及び装置 |
| WO2017134738A1 (ja) * | 2016-02-02 | 2017-08-10 | 三菱電機株式会社 | レコーダ装置および映像監視システム |
| JPWO2019078164A1 (ja) * | 2017-10-16 | 2020-12-03 | 日本電気株式会社 | 検索装置、検索方法及びプログラム |
| JP2019169011A (ja) * | 2018-03-25 | 2019-10-03 | 株式会社知能フレームワーク研究所 | 予兆検知システムおよびプログラム |
| JP7107498B2 (ja) | 2018-03-25 | 2022-07-27 | 株式会社知能フレームワーク研究所 | 予兆検知システムおよびプログラム |
| CN116452580A (zh) * | 2023-06-13 | 2023-07-18 | 山东古天电子科技有限公司 | 一种笔记本外观质量检测方法 |
| CN116452580B (zh) * | 2023-06-13 | 2023-09-01 | 山东古天电子科技有限公司 | 一种笔记本外观质量检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3621323B2 (ja) | 2005-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3340532B2 (ja) | ビデオの検索方法および装置 | |
| US5428774A (en) | System of updating an index file of frame sequences so that it indexes non-overlapping motion image frame sequences | |
| JP5139716B2 (ja) | 画像検索装置及び画像検索方法 | |
| Taskiran et al. | ViBE: A compressed video database structured for active browsing and search | |
| US8068678B2 (en) | Electronic apparatus and image processing method | |
| JP2001243236A (ja) | 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 | |
| JP4197014B2 (ja) | 映像の検索方法および装置 | |
| Little et al. | Video retrieval by spatial and temporal structure of trajectories | |
| CN111353055A (zh) | 基于智能标签扩展元数据的编目方法及系统 | |
| JP4421527B2 (ja) | 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体 | |
| JPH11312248A (ja) | 画像検索装置及び方法 | |
| JP3997882B2 (ja) | 映像の検索方法および装置 | |
| JP3330348B2 (ja) | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 | |
| CN115379301A (zh) | 视频处理方法以及相关设备 | |
| Zhou et al. | Adaptive subspace symbolization for content-based video detection | |
| Delis et al. | Assessing multimedia similarity: a framework for structure and motion | |
| JP2004336808A (ja) | 映像の検索方法および装置 | |
| JPH0778803B2 (ja) | 画像データベース検索方法 | |
| JP4388142B2 (ja) | 情報処理システム及びこのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記録媒体 | |
| Widiarto et al. | Shot segmentation of video animation to generate comic strip based on key frame selection | |
| JP2002140218A (ja) | データ処理方法、コンピュータ読み取り可能な記録媒体及びデータ処理装置 | |
| Rajendran et al. | A content-based video retrieval system: video retrieval with extensive features | |
| JP4563313B2 (ja) | コンテンツ特徴量登録方法及びコンテンツ検索方法及び装置及びプログラム | |
| JP2005505081A (ja) | マルチメディア文書のインデックスおよび比較方法 | |
| JPH09293081A (ja) | 画像データベース作成方法及び画像検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |