JP2000341631A - 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 - Google Patents

映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体

Info

Publication number
JP2000341631A
JP2000341631A JP11144700A JP14470099A JP2000341631A JP 2000341631 A JP2000341631 A JP 2000341631A JP 11144700 A JP11144700 A JP 11144700A JP 14470099 A JP14470099 A JP 14470099A JP 2000341631 A JP2000341631 A JP 2000341631A
Authority
JP
Japan
Prior art keywords
pattern
video
search
feature
search key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11144700A
Other languages
English (en)
Other versions
JP3330348B2 (ja
Inventor
Hitoshi Endo
斉 遠藤
Ryoji Kataoka
良治 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP14470099A priority Critical patent/JP3330348B2/ja
Publication of JP2000341631A publication Critical patent/JP2000341631A/ja
Application granted granted Critical
Publication of JP3330348B2 publication Critical patent/JP3330348B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】本発明の課題は、映像の特徴量の時系列的な変
化を検索キーとして指定でき、かつ特徴量の時間的な伸
縮にも対応できる映像検索方法及び装置並びに映像検索
プログラムを記録した記録媒体を提供することにある。 【解決手段】本発明は、入力された検索対象映像から特
徴量として標準パターンを抽出し、この標準パターンを
記憶し、入力された検索キー映像から特徴量として特徴
パターンを抽出し、記憶しておいた標準パターンの任意
の部分パターンとの対応付けとパターン間距離の計算を
行い、得られた複数の部分パターンとパターン間距離の
組を絞り込み、出力することによって、映像から特徴量
として抽出したフレームの輝度の時系列的な変化を検索
キーとして指定でき、かつ特徴量の時間的な伸縮にも対
応できる映像検索を行うことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、入力された映像か
ら抽出された特徴量の時系列的な変化を検索キーとし
て、検索対象の映像から類似した区間を求める映像検索
方法及び装置並びに映像検索プログラムを記録した記録
媒体に関するものである。
【0002】
【従来の技術】利用者の指定した検索キーと、映像から
抽出された特徴量との類似性をもとに映像を検索する従
来の技術として、以下の2つの方法がある。
【0003】1つ目は、映像から抽出される特徴量を検
索キーとして指定する方法である。「ビデオデータを対
象とする異種検索方式の統合システム」(第10回デー
タ工学ワークショップ、1999年)に示されるシステ
ムでは、フレーム内の色の分布とその移動方向を特徴量
として抽出する。利用者は物体の色と移動方向を検索キ
ーとして指定することによって検索キーに対応する映像
を検索する。
【0004】2つ目は、検索キーとして映像を例示する
ことによって指定する方法である。“QUICK AU
DIO RETRIEVAL USING ACTIV
ESEARCH”(ICASSP,1998年)に記載
されている方法を用いて、検索対象の映像に対して検索
キーで指定した映像と一致するものがどこに存在するか
を検索することができる。この方法では、あらかじめ検
索対象については適当な単位に信号を分割し、特徴量の
スペクトルを計算しておく。検索キーについては、指定
された映像に対して同様にスペクトルを計算し、得られ
たスペクトルのヒストグラムを作成する。検索は、検索
対象のスペクトルを順次走査し、検索キーのヒストグラ
ムとの類似度を計算することによって行う。類似度が閾
値を超える区間を検索結果とする。
【0005】
【発明が解決しようとする課題】しかしながら、前者の
方法は、検索キーとして「赤いものが右へ」というよう
な単純なものしか利用できない。したがって、移動方向
が時間的に変化するような検索を行うことができないと
いう問題がある。
【0006】また、後者では検索キーとしてスペクトル
のヒストグラムを用いているために、時系列の順序性を
無視している。したがって検索キーを逆再生したもの
や、再生順序をばらばらにしたものが検索対象に含まれ
ている場合にはその区間も検索されてしまうという問題
がある。また、この方法は特徴量の時間的な伸縮を考慮
していないため、図4に示すように時系列の特徴量の概
形は類似していても時間的な伸縮(拡縮)がある場合に
は対応できないという問題がある。
【0007】本発明は上記の事情に鑑みてなされたもの
で、映像の特徴量の時系列的な変化を検索キーとして指
定でき、かつ特徴量の時間的な伸縮にも対応できる映像
検索方法及び装置並びに映像検索プログラムを記録した
記録媒体を提供することを目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に請求項1記載の本発明は、入力された映像から抽出さ
れた特徴量の時系列的な変化を検索キーとして、検索対
象の映像から類似した区間を求める映像検索方法におい
て、検索対象となる映像である検索対象映像を入力する
検索対象映像入力ステップと、該検索対象映像から時系
列の特徴量としてフレームの輝度の時系列を標準パター
ンとして抽出する標準パターン抽出ステップと、該標準
パターンを記録する標準パターン記憶ステップと、検索
キーとなる映像である検索キー映像を入力する検索キー
映像入力ステップと、該検索キー映像から時系列の特徴
量としてフレームの輝度の時系列を特徴パターンとして
抽出する特徴パターン抽出ステップと、該特徴パターン
を、該標準パターンから選択しうるすべての部分パター
ンに対して、あらかじめ定義したパターン間距離関数に
より求められるパターン間距離が最小になるように非線
形に伸縮させてマッチングを行い、パターン間距離を求
めるパターン間距離取得ステップと、前記パターン間距
離取得ステップによって得られた複数のパターン間距離
に基づき、前記特徴パターンと類似する前記部分パター
ンを絞り込む類似区間探索ステップと、前記類似区間探
索ステップで絞り込んだ1つあるいは複数の前記部分パ
ターンを出力する類似区間出力ステップとからなること
を特徴とする。
【0009】また請求項2記載の本発明は、請求項1記
載の発明において、前記特徴パターン抽出ステップおよ
び前記標準パターン抽出ステップが、前記検索キー映像
および前記検索対象映像から時系列の特徴量として、フ
レームの輝度の替わりにフレーム内の物体の座標を抽出
することを要旨とする。
【0010】また請求項3記載の本発明は、請求項1記
載の発明において、前記特徴パターン抽出ステップおよ
び前記標準パターン抽出ステップが、前記検索キー映像
および前記検索対象映像から時系列の特徴量として、フ
レームの輝度の替わりにカメラモーションを抽出するこ
とを要旨とする。
【0011】また請求項4記載の本発明は、入力された
映像から抽出された特徴量の時系列的な変化を検索キー
として、検索対象の映像から類似した区間を求める映像
検索装置において、検索対象となる映像である検索対象
映像を入力する検索対象映像入力手段と、該検索対象映
像から時系列の特徴量としてフレームの輝度の時系列を
標準パターンとして抽出する標準パターン抽出手段と、
該標準パターンを記録する標準パターン記憶手段と、検
索キーとなる映像である検索キー映像を入力する検索キ
ー映像入力手段と、該検索キー映像から時系列の特徴量
としてフレームの輝度の時系列を特徴パターンとして抽
出する特徴パターン抽出手段と、該特徴パターンを、該
標準パターンから選択しうるすべての部分パターンに対
して、あらかじめ定義したパターン間距離関数により求
められるパターン間距離が最小になるように非線形に伸
縮させてマッチングを行い、パターン間距離を求めるパ
ターン間距離取得手段と、前記パターン間距離取得手段
によって得られた複数のパターン間距離に基づき、前記
特徴パターンと類似する前記部分パターンを絞り込む類
似区間探索手段と、前記類似区間探索手段で絞り込んだ
1つあるいは複数の前記部分パターンを出力する類似区
間出力手段とを具備することを特徴とするものである。
【0012】また請求項5記載の本発明は、請求項4記
載の発明において、前記特徴パターン抽出手段および前
記標準パターン抽出手段が、前記検索キー映像および前
記検索対象映像から時系列の特徴量として、フレームの
輝度の替わりにフレーム内の物体の座標を抽出すること
を要旨とする。
【0013】また請求項6記載の本発明は、請求項4記
載の発明において、前記特徴パターン抽出手段および前
記標準パターン抽出手段が、前記検索キー映像および前
記検索対象映像から時系列の特徴量として、フレームの
輝度の替わりにカメラモーションを抽出することを要旨
とする。
【0014】また請求項7記載の本発明は、入力された
映像から抽出された特徴量の時系列的な変化を検索キー
として、検索対象の映像から類似した区間を求める映像
検索プログラムを記録した記録媒体において、検索対象
となる映像である検索対象映像を入力する検索対象映像
入力手順、該検索対象映像から時系列の特徴量としてフ
レームの輝度の時系列を標準パターンとして抽出する標
準パターン抽出手順、該標準パターンを記録する標準パ
ターン記憶手順、検索キーとなる映像である検索キー映
像を入力する検索キー映像入力手順、該検索キー映像か
ら時系列の特徴量としてフレームの輝度の時系列を特徴
パターンとして抽出する特徴パターン抽出手順、該特徴
パターンを、該標準パターンから選択しうるすべての部
分パターンに対して、あらかじめ定義したパターン間距
離関数により求められるパターン間距離が最小になるよ
うに非線形に伸縮させてマッチングを行い、パターン間
距離を求めるパターン間距離取得手順、前記パターン間
距離取得手順によって得られた複数のパターン間距離に
基づき、前記特徴パターンと類似する前記部分パターン
を絞り込む類似区間探索手順、前記類似区間探索手順で
絞り込んだ1つあるいは複数の前記部分パターンを出力
する類似区間出力手順を実行させるための映像検索プロ
グラムを記録した。
【0015】また請求項8記載の本発明は、請求項7記
載の発明において、前記特徴パターン抽出手順および前
記標準パターン抽出手順が、前記検索キー映像および前
記検索対象映像から時系列の特徴量として、フレームの
輝度の替わりにフレーム内の物体の座標を抽出すること
を要旨とする。
【0016】また請求項9記載の本発明は、請求項7記
載の発明において、前記特徴パターン抽出手順および前
記標準パターン抽出手順が、前記検索キー映像および前
記検索対象映像から時系列の特徴量として、フレームの
輝度の替わりにカメラモーションを抽出することを要旨
とする。
【0017】請求項1,4,7記載の本発明にあって
は、入力された検索対象映像から特徴量として標準パタ
ーンを抽出し、この標準パターンを記憶し、入力された
検索キー映像から特徴量として特徴パターンを抽出し、
記憶しておいた標準パターンの任意の部分パターンとの
対応付けとパターン間距離の計算を行い、得られた複数
の部分パターンとパターン間距離の組を絞り込み、出力
することによって、映像から特徴量として抽出したフレ
ームの輝度の時系列的な変化を検索キーとして指定で
き、かつ特徴量の時間的な伸縮にも対応できる映像検索
を行うことができる。
【0018】請求項2,5,8記載の本発明にあって
は、検索キー映像および検索対象映像から得られる時系
列の特徴量としてフレーム内の物体の座標を抽出するこ
とによって映像中の物体の座標の時系列の変化を検索キ
ーとした映像検索を行うことができる。
【0019】請求項3,6,9記載の本発明にあって
は、検索キー映像および検索対象映像から得られる時系
列の特徴量としてカメラモーションを抽出することによ
って映像中のカメラモーションの時系列の変化を検索キ
ーとした映像検索を行うことができる。
【0020】
【発明の実施の形態】以下図面を参照して本発明の実施
の形態例を詳細に説明する。
【0021】以下に示す実施形態例は、入力映像に含ま
れるカメラモーションを検索キーとし、検索対象の映像
から類似したカメラモーションを検索する映像検索シス
テムに関する。
【0022】ここでカメラモーションとは、映像を撮影
するカメラの上下左右の動きと、ズーム操作のことを意
味する。
【0023】図1は本発明の一実施形態例に係る映像検
索装置を示す機能ブロック図である。
【0024】図1において、検索対象映像入力手段1に
よって検索対象となる映像を映像検索装置に入力する。
入力された検索対象映像は、標準パターン抽出手段2に
与えられる。映像情報として例えばMPEGを用いるこ
とができるが、これに限定するものではない。
【0025】標準パターン抽出手段2によって、検索対
象映像は、例えば図2のような1フレーム単位で時系列
の特徴量である標準パターンに変換される。標準パター
ンは標準パターン記憶手段3に与えられる。特徴量とし
て、ここでは映像から抽出されるカメラモーションを用
いているが、他にはフレームの輝度情報や、フレーム内
の物体の座標などを用いることができる。図2では、1
行が1フレームから抽出される特徴量をあらわし、列は
特徴量の種類をあらわしている。フレーム番号は映像の
開始点からのフレーム番号、Vx はカメラの左右の移動
量、Vy はカメラの上下の移動量、Zはズームによる拡
大縮小量をあらわす。カメラモーションの抽出は、例え
ばMPEGの符号化情報である動きベクトルや、オプテ
ィカルフローを計算して求めることができる。
【0026】標準パターン記憶手段3は、標準パターン
抽出手段2によって与えられた標準パターンを記録す
る。記録された標準パターンは、パターン間距離取得手
段6へ与えられる。
【0027】検索キー映像入力手段4によって検索キー
となる映像を映像検索装置に入力する。入力された映像
は、特徴パターン抽出手段5に与えられる。映像情報と
して例えばMPEGを用いることができるが、これに限
定するものではない。
【0028】検索キー映像入力手段4によって、特徴パ
ターン抽出手段5に入力された映像は、標準パターン抽
出手段2と同じく、例えば図2のような1フレーム単位
で時系列の特徴量である特徴パターンに変換される。特
徴パターンはパターン間距離取得手段6に与えられる。
特徴パターン抽出手段5において抽出される特徴量は標
準パターン抽出手段2において抽出される特徴量と同一
の形式である必要があるが、その抽出方法は同一である
必要はない。
【0029】パターン間距離取得手段6は、標準パター
ンから選択した任意の部分パターンに対して、あらかじ
め定義しておいたパターン間距離関数により求められる
パターン間距離を最小にするように特徴パターンを非線
形に伸縮させてマッチングを行い、パターン間距離を計
算する。パターン間距離取得手段6は、標準パターンか
ら選択しうるすべての部分パターンに対してパターン間
距離を計算し、選択した部分パターンとパターン間距離
の組を類似区間探索手段7へ与える。類似区間探索手段
7への出力例を図3に示す。1行が1つの組を表し、列
は順に部分パターンの開始フレーム番号、終了フレーム
番号、特徴パターンとのパターン間距離をあらわす。時
系列の特徴量が類似しているほどパターン間距離は小さ
くなる。パターン間距離関数は例えば、文献(「連続D
Pを用いた連続単語認識」日本音響学会、音研資、19
78年)に示されるような連続DPマッチングを用いれ
ばよい。標準パターンから選択可能な部分パターンの数
は、一般に膨大なものとなるが、連続DPマッチングを
用いることで、パターン間距離が非常に大きくなる部分
パターンの選択を避け、パターン間距離の取得に要する
時間を短縮できるという効果も得られる。パターン間距
離を求める際に必要となる、フレーム単位の特徴量間の
距離を与える距離関数d( )として、例えば
【0030】
【数1】
【0031】を用いることができる。ここで、i,jは
それぞれ標準パターンと特徴パターンのフレーム番号、
ωはカメラの平行移動とズームの効果の寄与の度合いを
与える定数、添字K,Tはそれぞれ標準パターンと特徴
パターンの特徴量であること、をあらわす。
【0032】類似区間探索手段7はパターン間距離取得
手段6から得た検索結果の候補となる標準パターンの部
分パターンとパターン間距離の組から、類似区間の候補
を絞り込み、類似区間出力手段8へ与える。
【0033】候補の絞り込みは2段階で行う。1段目は
重複する区間の削除で、重複する区間のうち、パターン
間距離のもっとも小さいものを採用し、残りを削除す
る。重複する区間の判定については、例えば、閾値以上
の割合で区間が重なるかどうかや、区間の開始フレーム
番号が一致するかどうかで判定する方法がある。パター
ン間距離関数に連続DPマッチングを用いた場合、連続
DPマッチングの性質により重複する区間は共通の開始
フレームを持つ傾向があるため、後者の判定方法を用い
ることができる。
【0034】2段目の絞り込みは、パターン間距離の大
きい区間を削除することによって行う。例えば、あらか
じめ指定した個数の区間をパターン間距離が小さい順に
採用する。
【0035】類似区間出力手段8は、類似区間探索手段
7で絞り込んだ1つあるいは複数の部分パターンをパタ
ーン間距離の順に提示することによって検索結果を出力
する。
【0036】尚、前記特徴パターン抽出手段および標準
パターン抽出手段において、前記検索キー映像および前
記検索対象映像から時系列の特徴量として、フレームの
輝度もしくはフレーム内の物体の座標を抽出するように
してもよく、前記映像検索装置のカメラモーションを抽
出する場合と同様に実施することができる。
【0037】また、前記映像検索装置において、前記検
索対象映像入力手段、前記標準パターン抽出手段、前記
標準パターン記憶手段、前記検索キー映像入力手段、前
記特徴パターン抽出手段、前記パターン間距離取得手
段、前記類似区間探索手段、前記類似区間出力手段は、
具体的にはパーソナルコンピュータ(PC)等のコンピ
ュータにより、予め所定の記録媒体に記録された映像検
索プログラムに基づいて実行される。
【0038】
【発明の効果】以上述べたように本発明によれば、入力
された映像を検索キーとして検索対象の映像から類似し
た区間を求める映像検索システムにおいて、映像の特徴
量の時系列的な変化に基づき、かつ特徴量の時間的な伸
縮にも対応できる映像検索を行うことができるようにな
る。
【0039】たとえば、本発明を組み込んだサッカーの
シーン検索システムでは、コーナーキックなどの映像を
検索キーとして入力すると、試合全体の映像から類似し
たコーナーキックなどの映像を検索することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態例に係る映像検索装置を示
す機能ブロック図である。
【図2】図1の特徴パターン抽出手段及び標準パターン
抽出手段において出力される特徴パターンの一例であ
り、1行が1フレームの特徴量をあらわし、列が特徴量
の種類を表している。
【図3】図1のパターン間距離取得手段の出力例であ
り、1行が1つの部分パターンとパターン間距離の組を
表し、列が順に部分パターンの開始フレーム番号、部分
パターンの終了フレーム番号、パターン間距離をあらわ
す。
【図4】映像の類似した特徴パターンで、時系列の特徴
量の時間的な伸縮のあるものの例である。
【符号の説明】
1 検索対象映像入力手段 2 標準パターン抽出手段 3 標準パターン記憶手段 4 検索キー映像入力手段 5 特徴パターン抽出手段 6 パターン間距離取得手段 7 類似区間探索手段 8 類似区間出力手段

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索方法において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力ステップと、 該検索対象映像から時系列の特徴量としてフレームの輝
    度の時系列を標準パターンとして抽出する標準パターン
    抽出ステップと、 該標準パターンを記録する標準パターン記憶ステップ
    と、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力ステップと、 該検索キー映像から時系列の特徴量としてフレームの輝
    度の時系列を特徴パターンとして抽出する特徴パターン
    抽出ステップと、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得ステップと、 前記パターン間距離取得ステップによって得られた複数
    のパターン間距離に基づき、前記特徴パターンと類似す
    る前記部分パターンを絞り込む類似区間探索ステップ
    と、 前記類似区間探索ステップで絞り込んだ1つあるいは複
    数の前記部分パターンを出力する類似区間出力ステップ
    とからなることを特徴とする映像検索方法。
  2. 【請求項2】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索方法において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力ステップと、 該検索対象映像から時系列の特徴量としてフレーム内の
    物体の座標の時系列を標準パターンとして抽出する標準
    パターン抽出ステップと、 該標準パターンを記録する標準パターン記憶ステップ
    と、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力ステップと、 該検索キー映像から時系列の特徴量としてフレーム内の
    物体の座標の時系列を特徴パターンとして抽出する特徴
    パターン抽出ステップと、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得ステップと、 前記パターン間距離取得ステップによって得られた複数
    のパターン間距離に基づき、前記特徴パターンと類似す
    る前記部分パターンを絞り込む類似区間探索ステップ
    と、 前記類似区間探索ステップで絞り込んだ1つあるいは複
    数の前記部分パターンを出力する類似区間出力ステップ
    とからなることを特徴とする映像検索方法。
  3. 【請求項3】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索方法において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力ステップと、 該検索対象映像から時系列の特徴量としてカメラモーシ
    ョンの時系列を標準パターンとして抽出する標準パター
    ン抽出ステップと、 該標準パターンを記録する標準パターン記憶ステップ
    と、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力ステップと、 該検索キー映像から時系列の特徴量としてカメラモーシ
    ョンの時系列を特徴パターンとして抽出する特徴パター
    ン抽出ステップと、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得ステップと、 前記パターン間距離取得ステップによって得られた複数
    のパターン間距離に基づき、前記特徴パターンと類似す
    る前記部分パターンを絞り込む類似区間探索ステップ
    と、 前記類似区間探索ステップで絞り込んだ1つあるいは複
    数の前記部分パターンを出力する類似区間出力ステップ
    とからなることを特徴とする映像検索方法。
  4. 【請求項4】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索装置において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力手段と、 該検索対象映像から時系列の特徴量としてフレームの輝
    度の時系列を標準パターンとして抽出する標準パターン
    抽出手段と、 該標準パターンを記録する標準パターン記憶手段と、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力手段と、 該検索キー映像から時系列の特徴量としてフレームの輝
    度の時系列を特徴パターンとして抽出する特徴パターン
    抽出手段と、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得手段と、 前記パターン間距離取得手段によって得られた複数のパ
    ターン間距離に基づき、前記特徴パターンと類似する前
    記部分パターンを絞り込む類似区間探索手段と、 前記類似区間探索手段で絞り込んだ1つあるいは複数の
    前記部分パターンを出力する類似区間出力手段とを具備
    することを特徴とする映像検索装置。
  5. 【請求項5】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索装置において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力手段と、 該検索対象映像から時系列の特徴量としてフレーム内の
    物体の座標の時系列を標準パターンとして抽出する標準
    パターン抽出手段と、 該標準パターンを記録する標準パターン記憶手段と、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力手段と、 該検索キー映像から時系列の特徴量としてフレーム内の
    物体の座標の時系列を特徴パターンとして抽出する特徴
    パターン抽出手段と、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得手段と、 前記パターン間距離取得手段によって得られた複数のパ
    ターン間距離に基づき、前記特徴パターンと類似する前
    記部分パターンを絞り込む類似区間探索手段と、 前記類似区間探索手段で絞り込んだ1つあるいは複数の
    前記部分パターンを出力する類似区間出力手段とを具備
    することを特徴とする映像検索装置。
  6. 【請求項6】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索装置において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力手段と、 該検索対象映像から時系列の特徴量としてカメラモーシ
    ョンの時系列を標準パターンとして抽出する標準パター
    ン抽出手段と、 該標準パターンを記録する標準パターン記憶手段と、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力手段と、 該検索キー映像から時系列の特徴量としてカメラモーシ
    ョンの時系列を特徴パターンとして抽出する特徴パター
    ン抽出手段と、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得手段と、 前記パターン間距離取得手段によって得られた複数のパ
    ターン間距離に基づき、前記特徴パターンと類似する前
    記部分パターンを絞り込む類似区間探索手段と、 前記類似区間探索手段で絞り込んだ1つあるいは複数の
    前記部分パターンを出力する類似区間出力手段とを具備
    することを特徴とする映像検索装置。
  7. 【請求項7】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索プログラムを記録した記
    録媒体において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力手順、 該検索対象映像から時系列の特徴量としてフレームの輝
    度の時系列を標準パターンとして抽出する標準パターン
    抽出手順、 該標準パターンを記録する標準パターン記憶手順、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力手順、 該検索キー映像から時系列の特徴量としてフレームの輝
    度の時系列を特徴パターンとして抽出する特徴パターン
    抽出手順、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得手順、 前記パターン間距離取得手順によって得られた複数のパ
    ターン間距離に基づき、前記特徴パターンと類似する前
    記部分パターンを絞り込む類似区間探索手順、 前記類似区間探索手順で絞り込んだ1つあるいは複数の
    前記部分パターンを出力する類似区間出力手順を実行さ
    せるための映像検索プログラムを記録した記録媒体。
  8. 【請求項8】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索プログラムを記録した記
    録媒体において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力手順、 該検索対象映像から時系列の特徴量としてフレーム内の
    物体の座標の時系列を標準パターンとして抽出する標準
    パターン抽出手順、 該標準パターンを記録する標準パターン記憶手順、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力手順、 該検索キー映像から時系列の特徴量としてフレーム内の
    物体の座標の時系列を特徴パターンとして抽出する特徴
    パターン抽出手順、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得手順、 前記パターン間距離取得手順によって得られた複数のパ
    ターン間距離に基づき、前記特徴パターンと類似する前
    記部分パターンを絞り込む類似区間探索手順、 前記類似区間探索手順で絞り込んだ1つあるいは複数の
    前記部分パターンを出力する類似区間出力手順を実行さ
    せるための映像検索プログラムを記録した記録媒体。
  9. 【請求項9】 入力された映像から抽出された特徴量の
    時系列的な変化を検索キーとして、検索対象の映像から
    類似した区間を求める映像検索プログラムを記録した記
    録媒体において、 検索対象となる映像である検索対象映像を入力する検索
    対象映像入力手順、 該検索対象映像から時系列の特徴量としてカメラモーシ
    ョンの時系列を標準パターンとして抽出する標準パター
    ン抽出手順、 該標準パターンを記録する標準パターン記憶手順、 検索キーとなる映像である検索キー映像を入力する検索
    キー映像入力手順、 該検索キー映像から時系列の特徴量としてカメラモーシ
    ョンの時系列を特徴パターンとして抽出する特徴パター
    ン抽出手順、 該特徴パターンを、該標準パターンから選択しうるすべ
    ての部分パターンに対して、あらかじめ定義したパター
    ン間距離関数により求められるパターン間距離が最小に
    なるように非線形に伸縮させてマッチングを行い、パタ
    ーン間距離を求めるパターン間距離取得手順、 前記パターン間距離取得手順によって得られた複数のパ
    ターン間距離に基づき、前記特徴パターンと類似する前
    記部分パターンを絞り込む類似区間探索手順、 前記類似区間探索手順で絞り込んだ1つあるいは複数の
    前記部分パターンを出力する類似区間出力手順を実行さ
    せるための映像検索プログラムを記録した記録媒体。
JP14470099A 1999-05-25 1999-05-25 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 Expired - Lifetime JP3330348B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14470099A JP3330348B2 (ja) 1999-05-25 1999-05-25 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14470099A JP3330348B2 (ja) 1999-05-25 1999-05-25 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2000341631A true JP2000341631A (ja) 2000-12-08
JP3330348B2 JP3330348B2 (ja) 2002-09-30

Family

ID=15368254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14470099A Expired - Lifetime JP3330348B2 (ja) 1999-05-25 1999-05-25 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3330348B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522522A (ja) * 2004-11-30 2008-06-26 ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
JP2010068426A (ja) * 2008-09-12 2010-03-25 Fujitsu Ltd 再生装置及びコンテンツ再生プログラム
JP2012531130A (ja) * 2009-06-26 2012-12-06 インテル・コーポレーション ビデオコピーを検知する技術
JP2014030164A (ja) * 2012-03-13 2014-02-13 Canon Inc 動画像情報処理方法及び装置、動画像パターン識別方法及び装置
JP2014041453A (ja) * 2012-08-22 2014-03-06 Yokogawa Electric Corp データ類似度算出方法およびデータ類似度算出装置
WO2018011870A1 (ja) * 2016-07-11 2018-01-18 三菱電機株式会社 動画像処理装置、動画像処理方法及び動画像処理プログラム
CN112784102A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 视频检索方法、装置和电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522522A (ja) * 2004-11-30 2008-06-26 ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
JP2010068426A (ja) * 2008-09-12 2010-03-25 Fujitsu Ltd 再生装置及びコンテンツ再生プログラム
JP2012531130A (ja) * 2009-06-26 2012-12-06 インテル・コーポレーション ビデオコピーを検知する技術
JP2014030164A (ja) * 2012-03-13 2014-02-13 Canon Inc 動画像情報処理方法及び装置、動画像パターン識別方法及び装置
JP2014041453A (ja) * 2012-08-22 2014-03-06 Yokogawa Electric Corp データ類似度算出方法およびデータ類似度算出装置
WO2018011870A1 (ja) * 2016-07-11 2018-01-18 三菱電機株式会社 動画像処理装置、動画像処理方法及び動画像処理プログラム
JPWO2018011870A1 (ja) * 2016-07-11 2018-10-25 三菱電機株式会社 動画像処理装置、動画像処理方法及び動画像処理プログラム
CN112784102A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 视频检索方法、装置和电子设备
CN112784102B (zh) * 2021-01-20 2023-07-28 北京百度网讯科技有限公司 视频检索方法、装置和电子设备

Also Published As

Publication number Publication date
JP3330348B2 (ja) 2002-09-30

Similar Documents

Publication Publication Date Title
JP5371083B2 (ja) 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP3340532B2 (ja) ビデオの検索方法および装置
Tan et al. A framework for measuring video similarity and its application to video query by example
JPH10320400A (ja) 映像の検索方法および装置
JP2000222584A (ja) 映像情報記述方法、映像検索方法及び映像検索装置
CN111046235A (zh) 基于人脸识别的声像档案搜索方法、系统、设备及介质
JPH05108730A (ja) 動画像データベースの検索
JP4197014B2 (ja) 映像の検索方法および装置
JP3200784B2 (ja) 動画像検索方法及び装置
JP2011244043A (ja) 映像記録再生装置
JP3330348B2 (ja) 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体
JP3621323B2 (ja) 映像登録・検索処理方法および映像検索装置
JP2018169697A (ja) 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
JPH05174149A (ja) 画像認識装置
JP4333808B2 (ja) 映像の検索方法および装置
JP4447602B2 (ja) 信号検出方法,信号検出システム,信号検出処理プログラム及びそのプログラムを記録した記録媒体
KR100392256B1 (ko) 내용기반 멀티채널 감시비디오 색인 및 검색장치와 방법
JP2005107931A (ja) 画像検索装置
JP2003224791A (ja) 映像の検索方法および装置
JP4270118B2 (ja) 映像シーンに対する意味ラベル付与方法及び装置及びプログラム
JPH0668168A (ja) 音響キーワードによる映像検索方法および装置
JP3916813B2 (ja) データ系列検索装置および方法
JP2002318812A (ja) 類似画像検索装置,類似画像検索方法並びに類似画像検索プログラム
JPH08194714A (ja) 圧縮動画像の検索方法および装置
JP3931890B2 (ja) 映像の検索方法および装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100719

Year of fee payment: 8