JP2006166105A - イベント検出方法及び装置及びプログラム - Google Patents

Abstract

【課題】 映像から撮影環境の影響を受けずに、イベントを高精度に検出する。
【解決手段】 本発明は、映像記憶手段から映像を読み込み、読み込まれた映像中の音響の特徴を検出し、音響の特徴に基づいて、イベント候補の検出を行い、イベント候補の映像区間から映像特徴を抽出し、映像特徴に基づいて、映像候補のクラスタリングを行い、クラスタリングの結果に基づいて、正解クラスタを選択し、該クラスタに対応するイベントを記憶手段に格納する。
【選択図】 図１

Description

本発明は、直線パターン識別方法及び装置及びプログラムに係り、特に、映像中から特定のイベントを検出するためのイベント検出方法及び装置及びプログラムに関する。

映像中からイベントを検出することにより、一覧性を向上させるといった研究は古くから行われている。例えば、野球映像中から投球のイベントを検出することにより、要約を行う方法がある（例えば、特許文献１参照）。
特開２００３−５２００３号公報

しかしながら、上記従来の方法では、映像中の緑色領域の検出や、褐色領域の検出を行って、投手が投球するときの構図を検出することによって、投球イベントの特定を行っている。すなわち、テンプレートマッチングによる検出である。

しかし、内野には芝のないグランドもあれば、マウンドの砂の色が赤褐色のグランドから一般的な砂の色まで様々である。さらにそれは、デイゲームであったり、ナイトゲームであったりして映り方は様々に変化してしまう。さらに、カメラが設置される位置は球場及び放送局によって、変化してしまい、全ての球場、試合時刻、放送局において利用可能なテンプレートを用意するのは非常に難しい。

本発明は、上記の点に鑑みなされたもので、映像から撮影環境の影響を受けずに、イベントを高精度に検出することが可能なイベント検出方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、映像中から特定のイベントを検出するイベント検出方法において、
映像記憶手段から映像を読み込む映像読み込みステップ（ステップ１）と、
読み込まれた映像中の音響の特徴を検出する音響特徴検出ステップ（ステップ２）と、
音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出ステップ（ステップ３）と、
イベント候補の映像区間における映像特徴を抽出する映像特徴抽出ステップ（ステップ４）と、
映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリングステップ（ステップ５）と、
クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段に格納する正解クラスタ選択ステップ（ステップ６）と、を行う。

また、本発明（請求項２）は、正解クラスタ選択ステップ(ステップ６)の後に、
クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得ステップと、
テンプレート画像により映像記憶手段の映像全体を再検索するイベント再検索ステップと、を更に行う。

また、本発明（請求項３）は、音響特徴検出ステップ（ステップ２）において、
音響パワー推移に突発音の特徴がある部分を音響の特徴として抽出する。

また、本発明（請求項４）は、映像特徴抽出ステップ（ステップ４）において、
映像特徴として、イベント候補の区間における画像のＲＧＢ値を用いる。

また、本発明（請求項５）は、映像特徴抽出ステップ（ステップ４）において、
映像特徴として、エッジ画像の方向成分を用いる。

また、本発明（請求項６）は、映像特徴抽出ステップ（ステップ４）において、
映像特徴として、動き特徴を用いる。

図２は、本発明の原理構成図である。

本発明（請求項７）は、映像中から特定のイベントを検出するイベント検出装置であって、
映像を記憶する映像記憶手段１１０と、
映像記憶手段１１０から映像を読み込む映像読み込み手段と、
読み込まれた映像中の音響の特徴を検出する音響特徴検出手段２と、
音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出手段３と、
イベント候補の映像区間における映像特徴を抽出する映像特徴抽出手段４と、
映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリング手段５と、
クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段１２０に格納する正解クラスタ選択手段６と、を有する。

また、本発明（請求項８）は、クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得手段と、
テンプレート画像により映像記憶手段１１０の映像全体を再検索するイベント再検索手段と、を更に有する。

また、本発明（請求項９）は、音響特徴検出手段２において、
音響パワー推移に突発音の特徴がある部分を音響の特徴として抽出する。

また、本発明（請求項１０）は、映像特徴抽出手段４において、
映像特徴として、イベント候補の区間における画像のＲＧＢ値を用いる。

また、本発明（請求項１１）は、映像特徴抽出手段４において、
映像特徴として、エッジ画像の方向成分を用いる。

また、本発明（請求項１２）は、映像特徴抽出手段４において、
映像特徴として、動き特徴を用いる。

本発明（請求項１３）は、映像中から特定のイベントを検出するイベント検出プログラムであって、
請求項１乃至６記載のイベント検出方法を実現するための方法をコンピュータに実行させるプログラムである。

上記のように、本発明によれば、スポーツ映像(例えば、野球)と打撃や捕球の映像シーンとのマッチングを行う処理において、先に音響からシーン抽出処理を行い、次に、抽出した映像シーンのクラスタリング処理を行うことにより、従来の技術と比べて、高い精度で打撃や捕球の映像シーンとのマッチングが可能となる。このため、撮影環境に影響を受けずにイベントを高精度に検出することが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

本発明では、イベント検出装置において、まず、経験的知識として、映像に比べて撮影角度などによる変化が少ない音響情報を用いた検出を行い、その後映像特徴を用いてイベントを絞り込む処理を行う。

図３は、本発明の一実施の形態におけるイベント検出装置の構成を示す。

同図に示すイベント検出装置は、読み込み部１、音響特徴抽出部２、イベント候補検出部３、映像特徴抽出部４、クラスタリング部５、正解クラスタ選択部６、テンプレート作成部７、テンプレート利用再検索部８、映像記憶部１１０及びイベント記憶部１２０から構成される。

読み込み部１は、映像記憶部１１０から映像を読み込み、音響特徴抽出部２に出力する。

音響特徴抽出部２は、読み込まれた映像の音響の特徴を抽出し、イベント候補検出部３に出力する。

イベント候補検出部３は、音響の特徴からイベント候補の検出を行い、映像特徴抽出部４に出力する。

映像特徴抽出部４は、イベント候補となった区間から、映像の特徴を抽出し、正解候補クラスタリング部５に出力する。

正解候補クラスタリング部５は、映像の特徴量に基づいてイベント候補のクラスタリングを行い、正解クラスタ選択部６に出力する。

正解クラスタ選択部６は、クラスタリング結果から正解クラスタを選択し、テンプレート作成部７に出力する。

テンプレート作成部７は、クラスタリング結果からテンプレート画像を取得する。

テンプレート利用再検索部８は、テンプレート画像により映像全体を再検索し、その結果をイベント記憶部１２０に格納する。

映像記憶部１１０は、ディスク装置等の記憶媒体であり、映像を蓄積する。

イベント記憶部１２０は、ディスク装置等の記憶媒体であり、テンプレート利用再検索部８から出力されたクラスタのイベントを記録する。

図４は、本発明の一実施の形態におけるイベント検出装置の動作のフローチャートである。

ステップ１０１） 読み込み部１において、映像記憶部１１０から映像を読み込む。

ステップ１０２） 音響特徴抽出部２において、読み込まれた映像の音響信号のパワーを計算し、当該パワーの推移に基づいて音響の特徴を抽出する。音響の特徴を抽出する方法としては、パワーの推移に突発音の特徴がある部分を検出する方法がある。

ステップ１０３） イベント候補検出部３は、音響特徴抽出部２により抽出された音響の特徴に基づいてイベント候補の検出を行う。具体的には、抽出された音響の特徴が含まれる映像の区間を検出する。

ステップ１０４） 映像特徴抽出部４は、イベント候補検出部３において検出された映像の区間から任意の方法により映像の特徴量を求める。

ステップ１０５） 正解候補クラスタリング部５は、映像特徴抽出部４で求められた特徴量に基づいて映像のクラスタリングを行う。クラスタリングの方法としては、映像特徴量を用いた教師なしクラスタリングを行う方法がある。

ステップ１０６） 正解クラスタ選択部６は、クラスタリングの結果に基づいて、正解クラスタを選択する。

ステップ１０７） テンプレート作成部７は、クラスタリングの結果からテンプレート画像を取得する。

ステップ１０８） テンプレート利用再検索部８は、テンプレート画像を用いて映像記憶部１１０を再検索し、その結果をイベント記憶部１２０に格納する。

なお、ステップ１０７とステップ１０８の処理は、必須でなく、映像特徴量として再検出に利用できる程度に出現する特徴(例えば、ＭＨＩ：Motion History Image)を検出できた場合に、ステップ１０７においてテンプレートを生成し、ステップ１０８において当該テンプレートを用いて再検索することにより、良い結果を得ることができる。

以下、図面と共に本発明の実施例を説明する。

本実施例では、野球映像から音響解析によって投球後に発生する打球音、あるいは捕球音の候補を取得し、投球イベントの候補を求め、その投球イベントの各候補に対する動画像区間から動き特徴によるクラスタリングを行い、映像中から投球イベントを取得する例を説明する。

図５は、本発明の一実施例のイベント検出装置の構成を示す。

同図に示すイベント検出装置は、映像読み込み部１０、突発音区間検出部２０、突発音区間取得部４０、突発音区間映像クラスタリング部５０、テンプレート作成部７０、テンプレート画像利用再建策部８０、映像記憶部１１０、打捕球イベント記憶部１２０から構成される。

映像読み込み部１０は、映像記憶部１１０から映像を読み込み、突発音区間検出部２０に出力する。

突発音区間検出部２０は、読み込まれた映像中から突発音響を含む部分を検出し、突発音区間映像取得部４０に出力する。このとき、後述する音響解析により突発音を検出し、投球シーンの候補を取得する。

突発音区間映像取得部４０は、検出された突発音区間について、その突発区間映像を取得し、突発音区間映像クラスタリング部５０に出力する。

突発音区間映像クラスタリング部５０は、突発音区間映像をクラスタリングすることにより、イベントを選択する。

テンプレート作成部７０は、クラスタリング結果から、テンプレート画像を取得する。

テンプレート利用再検索部８０は、テンプレート画像を用いて再検索し、その結果を打捕球イベント記憶部１２０に格納する。

図６は、本発明の一実施例のイベント検出処理のフローチャートである。

ステップ２０１） 映像読み込み部１０は、映像記憶部１１０から映像を読み込む。

ステップ２０２） 突発音区間検出部２０は、読み込まれた映像中から突発音響を含む部分を音響解析により検出する。

ステップ２０３） 突発区間映像取得部４０において、ステップ２０２で検出された突発音区間に対応する映像を取得する。

ステップ２０４） 突発音区間映像クラスタリング部５０において、ステップ２０３で取得した突発音区間映像をクラスタリングし、クラスタリング結果に基づいて、イベントを選択する。

ステップ２０５） テンプレート作成部７０において、ステップ２０４で得られたクラスタリング結果からテンプレート画像を取得する。

ステップ２０６） テンプレート利用再検索部８０において、テンプレート画像を用いて、映像記憶部１１０を再検索し、その結果を打捕球イベント記憶部１２０に格納する。

以下、上記の動作を詳細に説明する。

まず、上記のステップ２０２の突発音検出動作について説明する。

図７は、本発明の一実施例の突発音の検出のフローチャートである。

ステップ３０１） 突発音区間検出部２０は、読み込まれた映像の音響信号のパワーを計算する。

ステップ３０２） パワーの推移に突発音の特徴がある部分を検出する。

次に、図７のステップ３０１について詳細に説明する。

図８は、本発明の一実施例の音響信号のパワーの計算方法のフローチャートである。

ステップ４０１） 突発音区間検出部２０において、ｉ＝０と初期化する。

ステップ４０２） ｊ＝ｉからj＝i＋WindowSize（ウィンドウサイズ）の音響信号data[j]に対して窓関数をかける。窓関数としては、Hamming 窓やHanning窓、矩形窓などが有名である。ここでは、どのような窓関数を使っても特に構わない。

ステップ４０３） \sum_{j=i^{i+WindowSize}data[i]で、ｉからWindowSize幅の音響信号に対してパワーを計算し、ｐ（ｉ）に代入する。

ステップ４０４） ｉにWindowSlide（ウィンドウスライド量）を加算する。

ステップ４０５） i+WindowSlideがDataMaxよりも小さいかどうかを判断する。小さければ、ステップ４０２に移行し、そうでなければ処理を終了する。

次に、図７のステップ３０２の突発性検出処理について詳細に説明する。

図９は、本発明の一実施例の突発性検出処理のフローチャートである。

ステップ５０１） ｉ=0と初期化する。

ステップ５０２） flag＝０と初期化する。

ステップ５０３） 現在のflagにnew_flagを代入してから、new_flag=F(p(i),flag)を計算する。F(p(i),flag)は、ステップ３０１で求めたパワーと、現在のflagとから決定する関数である。new_flagの求め方を図１０に示す。

ステップ５０４） new_flagが１であれば、ステップ５０５へ移行し、そうでなければステップ５０６に移行する。

ステップ５０５） 時刻ｓｔにｉを代入する。

ステップ５０６） flag=3のときに、new_flagが１か０の場合には、ステップ５０７に移行し、それ以外の場合はステップ５１０に移行する。

ステップ５０７） ｔにｉ−ｓｔを代入する。

ステップ５０８） ｔｈ４＜ｔ＜ｔｈ５を満たせばステップ５０９に移行し、そうでなければステップ５１０に移行する。

ステップ５０９） 時刻ｓｔを突発音区間の先頭として保存する。

ステップ５１０） i+WindowSlideを加えてステップ５０３に移行し、そうでなければステップ処理を終了する。

ステップ５１１） ｉにWindowSlideを加えてステップ５０３に移行する。

図１０は、new_flagを求める関数を表した表である。突発音として検出されるのは網掛け部分であり、ｔｈ１＞p（i）かつflag=3の場合、new_flag=1となり、ｔｈ３＞ｐ（ｉ）＞ｔｈ１かつ、flag=3の場合は、new_flag=0となることを表している。

次に、ステップ２０４の突発音区間映像クラスタリング部５０におけるサムネイル画像のクラスタリング処理について説明する。

図１１は、本発明の一実施例のサムネイル画像のクラスタリングのフローチャートである。

ステップ７０１） 突発音区間映像から特徴を抽出する。

ステップ７０２） 突発音区間映像を特徴量を用いて教師なしクラスタリングを行う。

ステップ７０３） 要素数の多いＮクラスタを打捕球クラスタとし、図１２に示す打捕球イベント記憶部８０に保存する。

次に、上記のステップ７０１の映像特徴の抽出処理について説明する。

図１３は、本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート（その1）である。同図に示す処理は、画像を小さなブロックに区切ったときの画素値の平均値を用いて特徴量を検出するものである。

ステップ８０１） ｘ＝０、ｙ＝０と初期化する。

ステップ８０２） 左上が（ｘ，ｙ）、右下が（x+block_size, y+block_size）の矩形領域に関して、RGB（Red,Green,Blue）各々について、画素値の平均を求め、v[x/block_size][y/block_size]に代入する。

ステップ８０３） x+block_size<width-block_sizeであれば、ステップ８０４へ移行し、そうでなければステップ８０５に移行する。

ステップ８０４） xにblock_sizeを加えてステップ８０２へ移行する。

ステップ８０５） ｘに０を代入する。

ステップ８０６） y+block_size<height-block_sizeであれば、ステップ８０７へ移行し、そうでなければ処理を終了する。

ステップ８０５） xに０を代入する。

ステップ８０６） y+block_size<height-block_sizeであれば、ステップ８０７へ移行し、そうでなければ処理を終了する。

ステップ８０７） ｙにblock_sizeを加えて、ステップ８０２へ移行する。

上記の方法は、vを特徴量として用いるものである。

次に、上記のステップ７０１の別の実施方法について説明する。

図１４は、本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート（その２）である。同図に示す処理は、エッジ画像の方向成分を用いて映像の特徴量を検出するものである。

ステップ１００１） ｘ＝０、ｙ＝０と初期化する。

ステップ１００２） 左上が（x，ｙ）、右下が（x+block_size,y+block_size）の矩形領域に関して、ＲＧＢ各々について、画素値のｘ方向差分を求め、d_x[x/block_size][y/block_size]に代入する。

ステップ１００３） 左上が（ｘ，ｙ）、右下が（x+block_size, y+block_size)の木液領域に関して、ＲＧＢ各々について、画素値のｙ方向差分を求め、d_y[x/block_size][y/block_size]に代入する。

ステップ１００４） x+block_size<width-block_sizeであれば、ステップ１００６へ移行する。そうでなければステップ８０５に移行する。

ステップ１００５） ｘにblock_sizeを加えてステップ１００２へ移行する。

ステップ１００６） ｘに０を代入する。

ステップ１００７） y+block_size<height-block_sizeであれば、ステップ８０７へ移行し、そうでなければ処理を終了する。

ステップ１００８） ｙにblock_sizeを加えてステップ１００２へ移行する。

上記の手法では、d_x及びd_yを特徴量として用いている。

上記のｖ，d_x及びd_yの全てを用いて画像特徴量の検出を行ってもよい。

さらに、ステップ７０１の別の方法として動き特徴を利用してもよい。その場合には、例えば、K. Fujii and K. Arakawa, “Video editing based on motion recognition using temporal templates,” Proc, ACM User Interface Software Technology (UIST) 2003, pp. 71-72,2003を利用することが可能である。なお、動き特徴を用いる場合には、図４のステップ１０４とステップ１０５の間に、ステップ１０４で取得した映像特徴をテンプレートとして用いて、映像記憶部１１０に格納されている映像全体を再検索する処理が必要となる。

次に、本実施例を実施した際の評価実験について説明する。

実験に用いたコンテンツは、メジャーリーグ放送映像（以降、放送映像）、及び自ら撮影したキャッチボール映像（以降、個人撮影映像）である。

放送映像は３種類、個人撮影映像は２種類のコンテンツについて実験を行った。全てのコンテンツとも４４．１kHzのmpeg映像である。以降、音を用いた打捕球音検出の結果、それらをクラスタリングすることにより作成したテンプレートＭＨＩ(Motion History Image)の例、テンプレートＭＨＩを用いて映像から投球シーン検出を行った結果について説明する。

まず、音による投球シーン検出を、テレビ放送コンテンツ及び家庭用テレビカメラで撮影したキャッチボール映像において実験した。その結果を表１に示す。

音による投球シーン検出は球場、撮影環境により、その精度が大幅に変化してしまう。放送映像に関しては、人が聞いて打球音捕球音を何とか聞き取ることができる音響レベルのコンテンツである。そのため、再現率が低めの値になっている。

また、個人撮影のキャッチボールに関しては会話をしながらのキャッチボールであり、会話以外に大きな突発性雑音は含まれていない。検出漏れは、投球ミスにより捕球音が含まれないものであり、再現率の低さはキャッチャーからの返球の検出によるものが多い。

この適合率・再現率では、放送映像に関しては想定どおり適合率が５０％を超えているため問題ないが、個人撮影映像に関しては５０％を下回ってしまい、クラスタリング時に、投球イベントのクラスタの要素数が、他のクラスタの要素数を下回ってしまう可能性がある。

このクラスタリングでは、再現率が低すぎると、音検出による投球イベント検出の制度がよくない場合に問題が発生してしまう可能性があるが、一方で適合率を常に１００％に保つ必要がある。さらに、実装上の問題として、初期クラスタ要素数ｎは、Ο（ｎ２）で計算量を増大させる。これらの状況を考え、以降の実験では、ｎ＝３を用いることとした。

打捕球音により検出した投球イベント候補うち、クラスタリングによって得られたた投球イベントクラスタを用いてテンプレートを作成する。

個人撮影映像に関しては、適合率が約３０％と低いため、投球イベント以外のクラスタの要素数が最も多くなってしまう危険性があった。しかし、実際には音による投球イベント検出での投球イベント候補のうち投球イベント以外に関しては、その時刻での動きが様々であり、大きな一つのクラスタにまとまることはなく、経験的に、個人撮影映像においても十分な制度でテンプレートＭＨＩの作成が可能である。

テンプレートＭＨＩとのマッチングによる投球シーン検出の結果を表２に示す。

また、テンプレートＭＨＩとの距離の時間による推移のグラフを図１５に示す。表２から分かるとおり、再現率が９５．８％、適合率が８５．０％と、音による検出に比べて四度よく検出ができていることがわかる。さらに、適合率について、誤検出の全てがリプレーの投球シーンであった。リプレーはスロー再生しているため理想的には検出しないことが望ましいため不正解としているが、当然ながら非常に困難である。リプレーも正解とするならば、適合率は１００％であり、適合率・再現率ともに高精度であることがわかる。

また、図１５に示すテンプレートＭＨＩと個人撮影映像との距離の時間変化において、距離が小さくなっている部分は全て投球イベントであった。これから分かるとおり、投球イベントとそのほかのイベントに関して十分に分離可能であり、テンプレートが適切なものであることも見て取れる。これから野球映像インデキシングとして極めて有用であることがわかる。

なお、図３、図５に示すイベント検出装置の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行し、本発明を実現することができること、あるいは、図４、図６〜図９、図１１、図１３、図１４のフローチャートや本文記載の説明文で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることはいうまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＨＤＤ，ＭＯ，ＲＯＭ，メモリカード，ＣＤ，ＤＶＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。

上記のプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。

以上、本発明の代表的な実施の形態及び実施例を説明したが、本発明は上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、映像からイベントを検出する技術に適用可能である。

本発明の原理説明図である。 本発明の原理構成図である。 本発明の一実施の形態におけるイベント検出装置の構成図である。 本発明の一実施の形態におけるイベント検出装置の動作のフローチャートである。 本発明の一実施例のイベント検出装置の構成図である。 本発明の一実施例のイベント検出処理のフローチャートである。 本発明の一実施例の突発音の検出のフローチャートである。 本発明の一実施例の音響信号のパワーの計算方法のフローチャートである。 本発明の一実施例の突発性検出処理のフローチャートである。 本発明の一実施例のnew_flagの求め方F(p(i)，flag)の例である。 本発明の一実施例のサムネイル画像のクラスタリング処理のフローチャートである。 本発明の一実施例の打捕球イベント記憶部の例である。 本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート(その１)である。 本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート(その２)である。 テンプレートMHIとの距離を示す図である。

符号の説明

１ 読み込み手段、読み込み部
２ 音響特徴抽出手段、音響特徴抽出部
３ イベント候補検出手段、イベント候補検出部
４ 映像特徴抽出手段、映像特徴抽出部
５ クラスタリング手段、クラスタリング部
６ 正解クラスタ選択手段、正解クラスタ選択部
７ テンプレート作成部
８ テンプレート利用再検索部
１０ 映像読み込み部
２０ 突発音区間検出部
４０ 突発音区間映像取得部
５０ 突発音区間映像クラスタリング部
７０ テンプレート作成部
８０ テンプレート利用再検索部
１１０ 映像記憶手段、映像記憶部
１２０ イベント記憶手段、イベント記憶部、打捕球イベント記憶部

Claims (13)

1. 映像中から特定のイベントを検出するイベント検出方法において、
   映像記憶手段から映像を読み込む映像読み込みステップと、
   読み込まれた前記映像中の音響の特徴を検出する音響特徴検出ステップと、
   前記音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出ステップと、
   前記イベント候補の映像区間における映像特徴を抽出する映像特徴抽出ステップと、
   前記映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリングステップと、
   前記クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段に格納する正解クラスタ選択ステップと、
   を行うことを特徴とするイベント検出方法。
2. 前記正解クラスタ選択ステップの後に、
   前記クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得ステップと、
   前記テンプレート画像により前記映像記憶手段の映像全体を再検索するイベント再検索ステップと、
   を更に行う請求項１記載のイベント検出方法。
3. 前記音響特徴検出ステップにおいて、
   音響パワー推移に突発音の特徴がある部分を前記音響の特徴として抽出する請求項１記載のイベント検出方法。
4. 前記映像特徴抽出ステップにおいて、
   前記映像特徴として、前記イベント候補の区間における画像のＲＧＢ値を用いる請求項１記載のイベント検出方法。
5. 前記映像特徴抽出ステップにおいて、
   前記映像特徴として、エッジ画像の方向成分を用いる請求項４記載のイベント検出方法。
6. 前記映像特徴抽出ステップにおいて、
   前記映像特徴として、動き特徴を用いる請求項４記載のイベント検出方法。
7. 映像中から特定のイベントを検出するイベント検出装置であって、
   映像を記憶する映像記憶手段と、
   前記映像記憶手段から映像を読み込む映像読み込み手段と、
   読み込まれた前記映像中の音響の特徴を検出する音響特徴検出手段と、
   前記音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出手段と、
   前記イベント候補の映像区間における映像特徴を抽出する映像特徴抽出手段と、
   前記映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリング手段と、
   前記クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段に格納する正解クラスタ選択手段と、
   を有することを特徴とするイベント検出装置。
8. 前記クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得手段と、
   前記テンプレート画像により前記映像記憶手段の映像全体を再検索するイベント再検索手段と、
   を更に有する請求項７記載のイベント検出装置。
9. 前記音響特徴検出手段は、
   音響パワー推移に突発音の特徴がある部分を前記音響の特徴として抽出する請求項７記載のイベント検出装置。
10. 前記映像特徴抽出手段は、
    前記映像特徴として、前記イベント候補の区間における画像のＲＧＢ値を用いる請求項７記載のイベント検出装置。
11. 前記映像特徴抽出手段は、
    前記映像特徴として、エッジ画像の方向成分を用いる請求項１０記載のイベント検出装置。
12. 前記映像特徴抽出手段は、
    前記映像特徴として、動き特徴を用いる請求項１０記載のイベント検出装置。
13. 映像中から特定のイベントを検出するイベント検出プログラムであって、
    前記請求項１乃至６記載のイベント検出方法を実現するための方法をコンピュータに実行させることを特徴とするイベント検出プログラム。

Images