JP2004280669A - 映像特徴情報生成方法、映像特徴情報生成装置及び映像特徴情報生成プログラム - Google Patents

Abstract

【課題】検索者が容易に所望の映像データを検索することができるように、映像データから大まかな特徴のみを抽出した映像特徴情報を生成することを可能にした映像特徴情報生成方法、映像特徴情報生成装置及び映像特徴情報生成プログラムを提供する。
【解決手段】映像特徴情報生成装置１は、シーン分割手段２で映像データをシーン毎に分割し、フレーム画像サンプリング手段３で、一定間隔でシーンからフレーム画像をサンプリングし、節点初期設定手段４で設定した先頭フレームの節点の近傍画像領域を、節点追跡手段５でフレーム画像毎に追跡していき、その追跡結果に基づいて、節点クラスタリング手段６が節点をクラスタリングし、テクスチャクラスタリング手段７がクラスタ毎にそのクラスタの代表となる特徴量を生成することを特徴とする。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、映像データから、その映像データを特徴付ける簡易な映像特徴情報を生成する映像特徴情報生成方法、映像特徴情報生成装置及び映像特徴情報生成プログラムに関する。
【０００２】
【従来の技術】
一般に、大量の映像データの中から所望の映像データを検索するには、予め映像データから特徴量を抽出しておき、その特徴量に基づいて映像データの検索を行う映像検索技術が知られている。
【０００３】
従来、映像検索を行うために映像データから特徴量を抽出するには、その映像データ内の被写体及び背景の厳密な形状を切り出して、各形状の特徴量を抽出したり、映像データを構成する各フレーム画像上に配置した多数の特徴点の正確な動きを示すベクトルを特徴量として抽出したりすることにより行っていた。
【０００４】
例えば、映像データから、オブジェクト（被写体）を検出し、そのオブジェクトの位置、形状及び動きを含んだ特徴量と、背景の動きを含んだ特徴量とを、映像データの特徴量データとして生成し、その特徴量データに基づいて、映像検索を行う技術が存在する（特許文献１参照。）。
【０００５】
【特許文献１】
特開２０００−２２２５８４号公報（段落番号２５−３０、第１図）
【０００６】
【発明が解決しようとする課題】
しかし、前記従来の技術では、映像データから詳細な特徴量を抽出するため、その特徴量を算出するための計算時間が長くなってしまうという問題があった。また、従来のように、詳細な特徴量に基づいて、映像データの検索を行うと、検索者の検索意図を反映した検索情報の絞り込みや、映像データ内の検索情報の類似度計算が複雑になるため、検索者の検索意図に沿った映像データを検索するための時間が長くなってしまうという問題があった。
【０００７】
さらに、前記従来の技術では、映像データの物体（被写体）領域、背景領域及びそれらの動きを示すベクトルを、スケッチのような簡単な表現で検索者の検索意図を表したい場合、映像データの特徴量が詳細であるほど、スケッチの表現を複雑にしなければならない。そのため、検索者が思い描いている検索情報をより複雑に表現しなければならず、結果的に検索者の感覚（類似感覚）に適した検索を行うことができないというということになる。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、映像データから簡易な情報を特徴量として抽出することで、特徴量を抽出するための計算時間を短縮し、かつ、検索者の類似感覚に適した映像検索により所望の映像データを検索することを可能にした映像特徴情報生成方法、映像特徴情報生成装置及び映像特徴情報生成プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像特徴情報生成方法は、入力された映像データから、その映像データを特徴付ける映像特徴情報を生成する映像特徴情報生成方法であって、前記映像データからシーン毎に特定の間隔でフレーム画像を抽出し、そのフレーム画像における画像特徴量が類似する矩形領域毎に、前記矩形領域の座標情報と、前記矩形領域の画像を特徴付ける矩形領域画像特徴量と、前記矩形領域の動き情報とを、前記映像特徴情報として生成することとした。
【００１０】
この方法によれば、映像特徴情報生成方法は、映像データから一定の間隔でサンプリングしたフレーム画像を解析することで画像特徴量を求め、フレーム画像における画像特徴量が類似する矩形領域毎に、その矩形領域の座標情報と、矩形領域の画像特徴量（矩形領域画像特徴量）と、矩形領域の動きベクトル（動き情報）とを映像データの映像特徴情報として生成する。これによって、映像データの映像特徴情報を矩形領域単位の簡易な情報で表現することができる。また、この映像データに異なるシーンが含まれている場合は、予め映像データをシーンに分割しておく。
【００１１】
なお、この矩形領域は、フレーム画像において、画像の特徴を抽出する基準となる点（節点）を設定し、その節点の近傍の画像領域（近傍画像領域）において、画像特徴量が類似するものをクラス分け（クラスタリング）し、同一のクラスに含まれる近傍画像領域を含んだ領域とする。
【００１２】
また、請求項２に記載の映像特徴情報生成方法は、入力された映像データから、その映像データを特徴付ける映像特徴情報を生成する映像特徴情報生成方法であって、フレーム画像サンプリングステップと、節点初期設定ステップと、節点追跡ステップと、節点分類ステップと、クラス画像特徴量生成ステップと、特徴情報生成ステップとを含むこととした。
【００１３】
この方法によれば、映像特徴情報生成方法は、フレーム画像サンプリングステップで、映像データから特定のサンプリング間隔でフレーム画像を抽出する。なお、映像データに複数のシーンが含まれている場合は、シーンの切り替わり（シーンチェンジ）で映像データを分割し、シーン毎にフレーム画像を抽出する。
【００１４】
そして、映像特徴情報生成方法は、節点初期設定ステップで、フレーム画像サンプリングステップで抽出したフレーム画像の先頭フレームに、画像の特徴を抽出するための基準となる節点（基準点）を設定する。なお、この節点は、特定の間隔で設定することとしてもよいし、予め配置を決めたテンプレートに基づいて、位置を設定することとしてもよい。
【００１５】
このように、先頭フレームに節点を設定した後に、節点追跡ステップで、近傍画像領域の画像特徴量が類似する節点を探索することで、映像特徴情報生成方法は、先頭フレーム以降のフレーム画像に対応する節点の近傍画像領域を追跡する。
さらに、映像特徴情報生成方法は、節点分類ステップで、フレーム画像毎に、節点追跡ステップで追跡した各近傍画像領域の画像特徴量で類似する節点を１つのクラス（クラスタ）にまとめて分類（クラスタリング）する。
【００１６】
また、映像特徴情報生成方法は、クラス画像特徴量生成ステップで、節点分類ステップで同一のクラス（クラスタ）に分類された近傍画像領域に対応する各フレーム画像の画像特徴量に基づいて、例えば、各画像特徴量を平均化することで、当該クラスを特徴付けるクラス画像特徴量を生成する。このクラス画像特徴量は、同一クラス（クラスタ）の画像の特徴を最もよく表した画像特徴量となる。
【００１７】
そして、映像特徴情報生成方法は、特徴情報生成ステップで、クラス画像特徴量生成ステップで生成されたクラス画像特徴量に基づいて、節点分類ステップで分類された近傍画像領域毎にそれぞれ矩形領域とし、その矩形領域の位置座標と、矩形領域の画像を特徴付ける矩形領域画像特徴量と、矩形領域の動き情報とを、映像特徴情報として生成する。
【００１８】
さらに、請求項３に記載の映像特徴情報生成装置は、入力された映像データから、その映像データを特徴付ける映像特徴情報を生成する映像特徴情報生成装置であって、フレーム画像サンプリング手段と、節点初期設定手段と、節点追跡手段と、節点分類手段と、クラス画像特徴量生成手段と、記憶手段と、特徴情報生成手段とを備える構成とした。
【００１９】
かかる構成によれば、映像特徴情報生成装置は、フレーム画像サンプリング手段によって、映像データから特定のサンプリング間隔でフレーム画像を抽出し、節点初期設定手段によって、フレーム画像サンプリング手段で抽出されたフレーム画像の先頭フレームに、画像の特徴を抽出するための基準となる節点（基準点）を設定する。なお、この節点は、特定の間隔で設定することとしてもよいし、予め配置を決めたテンプレートに基づいて、位置を設定することとしてもよい。
【００２０】
そして、映像特徴情報生成装置は、節点追跡手段によって、近傍画像領域の画像特徴量が類似する節点を探索することで、先頭フレーム以降のフレーム画像に対応する節点の近傍画像領域を追跡するとともに、節点分類手段によって、フレーム画像毎に、節点追跡手段で追跡した各近傍画像領域の画像特徴量で類似する節点を１つのクラス（クラスタ）にまとめて分類（クラスタリング）する。なお、この分類された節点の近傍画像領域の位置及び画像特徴量は、逐次、記憶手段に記憶（格納）しておく。
【００２１】
また、映像特徴情報生成装置は、クラス画像特徴量生成手段によって、節点分類手段で同一のクラス（クラスタ）に分類された近傍画像領域に対応する各フレーム画像の画像特徴量に基づいて、例えば、各画像特徴量を平均化することで、当該クラスを特徴付けるクラス画像特徴量を生成する。このクラス画像特徴量は、同一クラス（クラスタ）の画像の特徴を最もよく表した画像特徴量となる。なお、このクラス画像特徴量は、記憶手段に記憶（格納）しておく。
【００２２】
そして、映像特徴情報生成装置は、特徴情報生成手段によって、記憶手段に記憶された前記近傍画像領域の位置及び画像特徴量と、前記クラス画像特徴量とに基づいて、分類された前記近傍画像領域毎にそれぞれ矩形領域とし、その矩形領域の位置座標と、矩形領域の画像を特徴付ける矩形領域画像特徴量と、矩形領域の動き情報とを、映像特徴情報として生成する。
【００２３】
また、請求項４に記載の映像特徴情報生成装置は、請求項３に記載の映像特徴情報生成装置において、前記映像データをシーン毎に分割するシーン分割手段を備え、前記フレーム画像サンプリング手段が、前記シーン分割手段で分割されたシーン毎に特定のサンプリング間隔でフレーム画像を抽出することを特徴とする。
【００２４】
かかる構成によれば、映像特徴情報生成装置は、シーン分割手段によって、入力された映像データのシーンの切り替わり（シーンチェンジ）を検出し、映像データをシーン毎に分割する。これによって、映像特徴情報生成装置は、節点の特徴の区切りとなるシーン毎に映像データを自動的に分割することができるため、映像特徴情報を生成するための効率を高めることができる。
【００２５】
さらに、請求項５に記載の映像特徴情報生成装置は、請求項３又は請求項４に記載の映像特徴情報生成装置において、前記節点分類手段で分類された近傍画像領域に基づいて区分けされた矩形領域を、前記クラス画像特徴量に最も類似するフレーム画像から抽出したテクスチャで表した画像として前記映像特徴情報を生成することを特徴とする。
【００２６】
かかる構成によれば、映像特徴情報生成装置は、特徴情報生成手段が、クラス画像特徴量に最も類似するフレーム画像から代表的なテクスチャ（模様）を抽出する。そして、このテクスチャで、節点分類手段で分類された近傍画像領域毎の矩形領域のそれぞれを塗りつぶす等によって表すことで、矩形領域そのものの特徴を代表的な画像データで表現することができる。これによって、映像データの映像特徴情報を、視覚可能な画像データによって表現することができる。
【００２７】
また、請求項６に記載の映像特徴情報生成プログラムは、入力された映像データから、その映像データを特徴付ける映像特徴情報を生成するために、コンピュータを、フレーム画像サンプリング手段、節点初期設定手段、節点追跡手段、節点分類手段、クラス画像特徴量生成手段、特徴情報生成手段として機能させる構成とした。
【００２８】
かかる構成によれば、映像特徴情報生成プログラムは、フレーム画像サンプリング手段によって、映像データから特定のサンプリング間隔でフレーム画像を抽出し、節点初期設定手段によって、フレーム画像サンプリング手段で抽出されたフレーム画像の先頭フレームに、画像の特徴を抽出するための基準となる節点（基準点）を設定する。なお、この節点は、特定の間隔で設定することとしてもよいし、予め配置を決めたテンプレートに基づいて、位置を設定することとしてもよい。
【００２９】
そして、映像特徴情報生成プログラムは、節点追跡手段によって、近傍画像領域の画像特徴量が類似する節点を探索することで、先頭フレーム以降のフレーム画像に対応する節点の近傍画像領域を追跡する。
さらに、映像特徴情報生成プログラムは、節点分類手段によって、フレーム画像毎に、節点追跡手段で追跡した各近傍画像領域の画像特徴量で類似する節点を１つのクラス（クラスタ）にまとめて分類（クラスタリング）する。
【００３０】
また、映像特徴情報生成プログラムは、クラス画像特徴量生成手段によって、節点分類手段で同一のクラス（クラスタ）に分類された近傍画像領域に対応する各フレーム画像の画像特徴量に基づいて、例えば、各画像特徴量を平均化することで、当該クラスを特徴付けるクラス画像特徴量を生成する。このクラス画像特徴量は、同一クラス（クラスタ）の画像の特徴を最もよく表した画像特徴量となる。
【００３１】
そして、映像特徴情報生成プログラムは、特徴情報生成手段によって、クラス画像特徴量生成手段で生成されたクラス画像特徴量に基づいて、節点分類手段で分類された近傍画像領域を含んだ矩形領域毎に、その矩形領域の位置座標と、矩形領域の画像を特徴付ける矩形領域画像特徴量と、矩形領域の動き情報とを、映像特徴情報として生成する。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［映像特徴情報生成装置の構成］
図１は、本発明における映像特徴情報生成装置の構成を示したブロック図である。映像特徴情報生成装置１は、映像データを部分映像（以下、シーンという）に分割し、これらのシーンを、被写体や背景の大まかな位置・大きさ、代表的な画像・模様（以下、テクスチャという）、及び、大まかな動き（以下、動きベクトルという）で表現した映像特徴情報（シーン簡易情報）を生成するものである。ここでは、映像特徴情報生成装置１を、シーン分割手段２と、フレーム画像サンプリング手段３と、節点初期設定手段４と、節点追跡手段５と、節点クラスタリング手段６と、テクスチャクラスタリング手段７と、クラスタ情報記憶手段８と、特徴情報生成手段９とを備えて構成した。また、映像特徴情報生成装置１は、映像データを蓄積したハードディスク等の映像蓄積手段２０から、映像データを入力するものとする。
【００３３】
シーン分割手段２は、映像蓄積手段２０から入力した映像データをシーンに分割するものである。このシーン分割手段２におけるシーン分割は、映像データの構成が大きく切り替わる点（シーンチェンジ）を検出して、その切り替わり点毎に映像データを分割する。このシーンチェンジの検出は、既存の手法によって行うことができる。例えば、映像データを構成する時系列に連続するフレーム画像間の差分を計算し、その差分の絶対値和が予め定めた閾値よりも大きい場合は、フレーム画像間に連続性がないとみなすことによりシーンチェンジの検出を行う。
【００３４】
このシーン分割手段２では、映像データを分割したシーン毎にフレーム画像を逐次フレーム画像サンプリング手段３へ出力する。なお、このシーン分割手段２は、後記する特徴情報生成手段９で、１つのシーンの映像特徴情報（シーン簡易情報）を生成した段階で、次のシーンを検出（分割）するものとする。
【００３５】
フレーム画像サンプリング手段３は、シーン分割手段２から入力されるフレーム画像を予め設定したサンプリング間隔で抽出するものである。このフレーム画像サンプリング手段３では、抽出したフレーム画像がシーンの先頭フレームである場合には、フレーム画像（先頭フレーム）を節点初期設定手段４へ出力し、抽出したフレーム画像がシーンの先頭フレーム以外である場合には、フレーム画像（先頭フレーム以降）を節点追跡手段５へ出力する。
【００３６】
節点初期設定手段４は、フレーム画像サンプリング手段３から先頭フレームのフレーム画像を入力されたときに、フレーム画像（先頭フレーム）上に予め定めた間隔で格子状に節点を設定するものである。ここでは、近傍画像特徴量計算部４ａを付加して、節点初期設定手段４を構成した。なお、節点とはフレーム画像の特徴を抽出するための基準となる点を指すものである。また、この節点は、特定の間隔で設定することとしてもよいし、予め配置を決めたテンプレートに基づいて、位置を設定することとしてもよい。
【００３７】
近傍画像特徴量計算部４ａは、フレーム画像（先頭フレーム）上に設定した節点の近傍（近傍画像領域：予め定めた大きさの領域（正方形領域等））から画像特徴量を計算するものである。この画像特徴量としては、画像処理の分野で一般的な特徴量を用いればよい。例えば、ＲＧＢの各色成分の平均値、画像をエッジ化したときのエッジ量の分布、画像の複雑さを示すフラクタル次元等を用いることができる。
【００３８】
ここで、図７を参照（適宜図１参照）して節点について説明する。図７は、節点初期設定手段４が先頭フレームのフレーム画像上において、ある一定間隔で格子状に節点ＰＴを設置した状態を示す図である。ここでは、説明の都合上、フレーム画像上に節点ＰＴを図示しているが、この節点ＰＴはフレーム画像上の格子状の点に対応した位置を示しているだけである。このように、節点初期設定手段４は、横Ｎｐｘ個、縦Ｎｐｙ個（Ｎｐｘ及びＮｐｙは予め設定）で格子状に節点ＰＴを設定する。
【００３９】
さらに、節点初期設定部４の近傍画像特徴量計算部４ａは、各節点ＰＴを中心とした近傍領域（近傍画像領域：Ｒｆｖ画素×Ｒｆｖ画素の正方形領域）から画像特徴量を計算し、各節点ＰＴに対応付ける。
【００４０】
なお、この節点初期設定手段４では、図６（ａ）に示すような情報（節点情報ＰＴＩ）を節点毎に生成し、その節点情報ＰＴＩをクラスタ情報記憶手段８に記憶する。図６（ａ）に示すように、節点情報ＰＴＩは、節点を設定したフレーム画像の番号（フレーム番号）ＰＴＩｆｎと、節点のフレーム画像上での現在の位置（座標情報：ｘ座標及びｙ座標）ＰＴＩｐｓと、現在の位置における節点の近傍領域から計算した画像特徴量（近傍画像特徴）ＰＴＩｆｖとで構成される。
図１に戻って説明を続ける。
【００４１】
節点追跡手段５は、フレーム画像サンプリング手段３から入力されるフレーム画像において、クラスタ情報記憶手段８に記憶されている前のフレーム画像に対応付けられている節点の近傍画像領域の画像特徴量（近傍画像特徴量）を参照して、その近傍画像特徴量に類似する近傍画像領域を追跡するものである。ここでは、近傍画像特徴量計算部５ａを付加して節点追跡手段５を構成した。なお、ここでは、近傍画像領域の追跡は、対応する節点の位置を追跡することとする。
【００４２】
近傍画像特徴量計算部５ａは、節点を中心とした近傍領域（近傍画像領域：特定の半径の円領域）から画像特徴量を計算するものである。これによって、節点追跡手段５は、前のフレーム画像に対応付けられている節点の近傍画像特徴量と、その節点位置の近傍領域における現在のフレーム画像の画像特徴量とを比較し、最も差の小さくなる画像特徴量を持つ画素を、現在のフレーム画像の節点とする。
【００４３】
なお、近傍画像特徴量計算部５ａが計算する画像特徴量は、近傍画像特徴量計算部４ａと同様、画像処理の分野で一般的な特徴量を計算するものとする。また、ここでは、近傍画像特徴量計算部４ａと近傍画像特徴量計算部５ａとを別の手段として構成したが、１つの手段として構成し、節点初期設定手段４及び節点追跡手段５が共通して動作させることとしてもよい。
【００４４】
ここで、図８を参照（適宜図１参照）して、フレーム画像上における節点の追跡について説明する。図８は、節点追跡手段５がフレーム画像上において節点を追跡した状態を示す図である。ここでは、前フレ−ム画像（ここでは図７の先頭フレーム）における節点ＰＴ（図中●印）が、現フレ−ム画像では節点ＰＴ_Ｂ（図中×印）に追跡されたことを示している。このように、節点追跡手段５は、時々刻々と変化するフレーム画像の内容に基づいて、画像特徴量の差が最も小さくなる位置に節点を移動させる。
図１に戻って説明を続ける。
【００４５】
節点クラスタリング手段（節点分類手段）６は、節点初期設定手段４又は節点追跡手段５で節点の位置が決まった１つのフレーム画像における節点を、近傍画像特徴量及び座標情報に基づいて分類（クラスタリング）し、その分類情報（クラスタ情報）をクラスタ情報記憶手段８に記憶するものである。
【００４６】
なお、この節点クラスタリング手段６では、図６（ｂ）に示すような情報（節点クラスタ情報ＰＣ）を生成し、その節点クラスタ情報ＰＣをクラスタ情報記憶手段８に記憶（格納）する。図６（ｂ）に示すように、節点クラスタ情報ＰＣは、フレーム画像毎に、節点クラスタに属する全節点ＰＣｐｔ（節点情報ＰＴＩを指し示すポインタとする）と、節点クラスタに属する全節点の近傍画像特徴量ＰＴＩｆｖ（図６（ａ））の平均画像特徴量ＰＣｆｖと、その節点クラスタに割り当てられるクラスタ番号ＰＣｃｎとで構成される。
【００４７】
テクスチャクラスタリング手段（クラス画像特徴量生成手段）７は、節点初期設定手段４又は節点追跡手段５で節点の位置が決まったフレーム画像を逐次入力し、１シーンにおける先頭フレームから最終フレームまでの、各クラスタの代表となる画像特徴量を生成するものである。
【００４８】
なお、このテクスチャクラスタリング手段７では、図６（ｃ）に示すような情報（テクスチャクラスタ情報ＴＣ）を、クラスタ情報記憶手段８に作成し、フレーム画像が入力される度に更新（格納）する。図６（ｃ）に示すように、テクスチャクラスタ情報ＴＣは、テクスチャクラスタに属する全節点ＴＣｐｔ（節点情報ＰＴＩを指し示すポインタとする）と、テクスチャクラスタに属する全節点の近傍画像特徴量ＰＴＩｆｖ（図６（ａ）参照）の平均画像特徴量ＴＣｆｖとで構成される。なお、平均画像特徴量ＴＣｆｖは、画像特徴量がＮ次元のベクトルである場合は、各要素の平均値からなるＮ次元のベクトルとする。
【００４９】
また、テクスチャクラスタリング手段７は、シーンにおける最終フレームが入力された段階で、各テクスチャクラスタを代表する代表テクスチャ構造体を生成する。ここでは、テクスチャクラスタに属する全節点ＴＣｐｔ（図６（ｃ）参照）の中で、クラスタに属する全節点の近傍画像特徴量ＰＴＩｆｖ（図６（ａ）参照）と、テクスチャクラスタに属する全節点の平均特徴量ＴＣｆｖ（図６（ｃ）参照）との距離が最も小さくなる画像特徴量を、テクスチャクラスタを代表する代表画像特徴量とする。また、この代表画像特徴量を持つ節点から予め定めた大きさの矩形領域を抽出し、代表テクスチャ画像とする。
【００５０】
なお、代表テクスチャ構造体は、図６（ｄ）に示すような構造とする。すなわち、代表テクスチャ構造体ＰＴＸは、予め設定されたＴｗ画素×Ｔｈ画素の代表テクスチャ画像ＰＴＸｉｍｇと、代表テクスチャ画像ＰＴＸｉｍｇの中心座標の近傍画像特徴量（代表画像特徴量）ＰＴＸｆｖとで構成される。
【００５１】
クラスタ情報記憶手段（記憶手段）８は、クラスタの情報を記憶しておくもので、一般的なハードディスク等の記憶媒体である。このクラスタ情報記憶手段８には、各フレーム画像のクラスタ情報ＣＩと、各シーン毎に生成される代表テクスチャ構造体ＰＴＸが記憶される。
なお、クラスタ情報には、前記したフレーム画像の節点情報ＰＴＩ（図６（ａ））、節点クラスタ情報ＰＣ（図６（ｂ））、及び、テクスチャクラスタ情報ＴＣ（図６（ｃ）参照）が含まれる。
【００５２】
特徴情報生成手段９は、クラスタ情報記憶手段８を参照して、各シーン毎に、そのシーンを特徴付ける映像特徴情報（シーン簡易情報）を生成するものである。ここでは、特徴情報生成手段９をシーン特徴情報生成部９ａと、初期化部９ｂとで構成した。
【００５３】
シーン特徴情報生成部９ａは、節点クラスタリング手段（節点分類手段）６で分類された節点を含んだ矩形領域の座標情報と、テクスチャクラスタリング手段（クラス画像特徴量生成手段）７で生成されたクラス画像特徴量（代表テクスチャ画像及び代表画像特徴量）と、矩形領域の動き情報とを映像特徴情報として生成するものである。なお、シーン特徴情報生成部９ａは、画像データ及びテキストデータとして映像特徴情報を生成する。
【００５４】
画像データで映像特徴情報を生成する場合は、クラスタの節点を含んだ矩形領域の内部を、代表テクスチャ画像で塗りつぶす（敷き詰める）。そして、先頭フレームから最終フレームまでのクラスタの位置重心の動きをそのクラスタの動きベクトルとして直線で描画する。
【００５５】
図１０にシーン特徴情報生成部９ａで生成した画像データの一例を示す。図１０に示すように、クラスタの矩形領域が、代表テクスチャ画像で塗りつぶされ、クラスタの動きが直線で示されている。これによって、映像データのシーンの簡易情報を視覚化することができる。
【００５６】
また、テキストデータで映像特徴情報を生成する場合は、先頭フレーム及び最終フレームのフレーム番号、クラスタの節点を含んだ矩形領域の座標情報、代表画像特徴量、及び、先頭フレームから最終フレームまでのクラスタの位置重心の動きベクトルをテキストデータとしてテキストファイルに書き込む。
【００５７】
図１１にシーン特徴情報生成部９ａで生成したテキストデータの一例を示す。図１１に示すように、シーン毎に、シーンの先頭フレーム番号Ｎｓ、最終フレーム番号Ｎｅ、矩形領域の座標情報｛（ｘ０，ｙ０）、（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）｝、テクスチャ構造体の画像特徴量（代表画像特徴量）｛（ｆ（０）、ｆ（１）、ｆ（２）、…、ｆ（Ｎ−１）｝、及び、動きベクトルのｘ及びｙ成分｛ｖｘ、ｖｙ｝でクラスタ１個分の情報を生成する。
【００５８】
ここで、代表画像特徴量｛（ｆ（０）、ｆ（１）、…｝は、それぞれ、ＲＧＢの各色成分の平均値、画像をエッジ化したときのエッジ量の分布等を示すものとする。また、ここでは、代表画像特徴量を、Ｎ次元の画像特徴ベクトルとして表している。
【００５９】
初期化部９ｂは、フレーム画像がシーンの最終フレームであるかどうかを判定し、最終フレームである場合に、クラスタ情報記憶手段８のクラスタ情報を初期化するものである。これによって、シーンの切り替わり（シーンチェンジ）が発生したときに、クラスタ情報記憶手段８に新しいシーンのクラスタ情報が生成されることになる。
【００６０】
以上、本発明に係る映像特徴情報生成装置１の構成について説明したが、本発明はこれに限定されるものではない。ここでは、映像データをシーンに分割するシーン分割手段２を備えたが、映像データが１シーン毎に入力される場合は、シーン分割手段２を映像特徴情報生成装置１から削除して構成してもよい。また、ここでは、シーン特徴情報生成部９ａにおいて、映像特徴情報を画像データ及びテキストデータで生成したが、いずれか一方を生成するものとしてもよい。
【００６１】
また、映像特徴情報生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像特徴情報生成プログラムとして動作させることも可能である。
【００６２】
［映像特徴情報生成装置の動作］
次に、図２を参照（適宜図１参照）して、映像特徴情報生成装置の動作について説明する。図２は、映像特徴情報生成装置の動作を示すフローチャートである。
【００６３】
まず、映像特徴情報生成装置１は、シーン分割手段２によって、映像蓄積手段２０から映像データを入力し、シーンの切り替わり（シーンチェンジ）を検出することで、映像データをシーンに分割する（ステップＳ１）。そして、フレーム画像サンプリング手段３によって、シーンから予め設定したサンプリング間隔でフレーム画像を抽出する（ステップＳ２）。
【００６４】
ここでフレーム画像サンプリング手段３は、抽出したフレーム画像がシーンの先頭フレームであるかどうかを判定し（ステップＳ３）、先頭フレームである場合（Ｙｅｓ）は、そのフレーム画像を節点初期設定手段４へ出力する。そして、節点初期設定手段４が、先頭フレームのフレーム画像に対して格子状に節点を設定し（ステップＳ４）、近傍画像特徴量計算部４ａが、各節点の近傍から画像特徴量を計算する（ステップＳ５）。
【００６５】
一方、抽出したフレーム画像が先頭フレーム以外の場合（ステップＳ３でＮｏ）は、そのフレーム画像を節点追跡手段５へ出力する。そして、節点追跡手段５が、現在のフレーム画像における節点の周り（特定の半径の円領域）の画像特徴量を計算し（ステップＳ６）、前フレーム画像における節点の近傍の画像特徴量を参照して、現在のフレーム画像における節点の位置を移動（追跡）する（ステップＳ７）。
このように、ステップＳ５又はステップＳ７で、各フレーム画像における節点の位置及び画像特徴量が節点情報ＰＴＩ（図６（ａ）参照）として生成される。
【００６６】
そして、映像特徴情報生成装置１は、節点クラスタリング手段（節点分類手段）６によって、フレーム画像の節点情報に基づいて、節点を分類（クラスタリング）し、クラスタ番号を付与することで、クラスタ情報（節点クラスタ情報ＰＣ：図６（ｂ）参照）を生成する（ステップＳ８）。また、映像特徴情報生成装置１は、テクスチャクラスタリング手段７によって、先頭のフレーム画像から現在入力されたフレーム画像までの同一のクラスタ情報（節点クラスタ情報）から、テクスチャクラスタ情報ＴＣ（図６（ｃ）参照）を生成する（ステップＳ９）。
【００６７】
ここで、映像特徴情報生成装置１は、入力されたフレーム画像がシーンの最終フレームであるかどうかを判定し（ステップＳ１０）、最終フレームでない場合（Ｎｏ）は、ステップＳ２に戻って、次のフレーム画像の分類（クラスタリング）を行う。
【００６８】
一方、入力されたフレーム画像が最終フレームの場合（ステップＳ１０でＹｅｓ）は、テクスチャクラスタリング手段７が、各テクスチャクラスタにおいて代表する代表テクスチャ構造体ＰＴＸ（図６（ｄ）参照）を生成する（ステップＳ１１）。
そして、映像特徴情報生成装置１は、特徴情報生成手段９のシーン特徴情報生成部９ａによって、シーンを特徴付ける映像特徴情報（シーン簡易情報）を生成し出力する（ステップＳ１２）。
【００６９】
以上の動作によって、映像データのあるシーンにおける映像特徴情報が生成されたことになる。なお、映像データの入力が継続する場合は、特徴情報生成手段９の初期化部９ｂによって、クラスタ情報記憶手段８のクラスタ情報及び代表テクスチャ構造体を初期化して、ステップＳ１からの動作を繰り返す。これによって、シーン毎の映像特徴情報（シーン簡易情報）が順次生成されることになる。
【００７０】
（節点クラスタリング手段の詳細動作）
次に、図３を参照（適宜図１参照）して、節点クラスタリング手段６の動作について、さらに詳細に説明を行う。図３は、節点クラスタリング手段６の動作を示すフローチャートである。なお、この動作は、図２におけるステップＳ８の動作に相当するものである。また、以下の説明において、各情報は図６で付した符号を用いることとする。
【００７１】
まず、節点クラスタリング手段６は、入力された１枚のフレーム画像上で、全節点対の近傍画像特徴量ＰＴＩｆｖの距離を計算する（ステップＳ２１）。そして、その距離がある閾値以下の節点同士を、同一のクラスタに含まれるように分類（クラスタリング）する（ステップＳ２２）。そして、同一のクラスタに含まれる全節点ＰＣｐｔの近傍領域の平均画像特徴量ＰＣｆｖを計算する（ステップＳ２３）。そして、節点クラスタリング手段６は、節点クラスタに属する全節点の位置ＰＴＩｐｓが離れた節点集合を異なる節点クラスタとして分離し（ステップＳ２４）、各節点クラスタにクラスタ番号ＰＣｃｎを付ける。
【００７２】
ここで、図９を参照（適宜図１参照）して、この節点クラスタの分離について説明する。図９は、節点クラスタリング手段６が節点クラスタの切り離し処理を行う画面の一例であり、（ａ）は画像特徴量に基づいてクラスタリングした画面、（ｂ）は位置が離れた節点集合同士を異なる節点クラスタにした画面である。図９（ａ）に示すように、画像特徴量に基づいてクラスタリングを行うと、左右の節点クラスタの位置は離れているが両者は同じ節点クラスタになってしまう。そこで、距離の離れた節点集合を切り離すことで、図９（ｂ）に示すように異なる節点クラスタが生成される（図９（ｂ）では節点クラスタ内の斜線方向の違いで異なる節点クラスタを表現している）。
図３のフローチャートに戻って説明を続ける。
【００７３】
節点クラスタリング手段６は、現在処理を行っているフレーム画像が先頭フレームであるかどうかを判定し（ステップＳ２５）、先頭フレームである場合は、ステップＳ２７へ進んでクラスタリング結果を各フレーム画像のクラスタ情報（節点クラスタ情報ＰＣ）としてクラスタ情報記憶手段８に書き込む。
【００７４】
一方、現在処理を行っているフレーム画像が先頭フレームでない場合（ステップＳ２５でＮｏ）は、以下のクラスタ番号付け直し処理を行う（ステップＳ２６）。
【００７５】
すなわち、ステップＳ２４で分離し生成された節点クラスタ（処理対象節点クラスタ）に属する節点が、前のフレーム画像のある節点クラスタに半数以上含まれていた場合は、前のフレーム画像の節点クラスタに付されているクラスタ番号ＰＣｃｎを、処理対象節点クラスタのクラスタ番号ＰＣｃｎとする。なお、処理対象節点クラスタに属する節点が、前のフレーム画像の節点クラスタに半数以上含まれていない場合は、クラスタ番号ＰＣｃｎとして「０」を付しておく。そして、クラスタ番号ＰＣｃｎに「０」が付された全ての節点クラスタに対して、使用されていないクラスタ番号を付すことで、全ての節点クラスタに固有のクラスタ番号を付す。
【００７６】
そして、このクラスタリング結果を各フレーム画像のクラスタ情報（節点クラスタ情報ＰＣ）としてクラスタ情報記憶手段８に書き込む（ステップＳ２７）。以上の動作によって、節点クラスタリング手段６は、フレーム画像毎に節点を分類（クラスタリング）する。
【００７７】
（テクスチャクラスタリング手段の詳細動作）
次に、図４を参照（適宜図１参照）して、テクスチャクラスタリング手段７の動作について、さらに詳細に説明を行う。図４は、テクスチャクラスタリング手段７の動作を示すフローチャートである。なお、この動作は、図２におけるステップＳ９の動作に相当するものである。また、以下の説明において、各情報は図６で付した符号を用いることとする。
【００７８】
まず、テクスチャクラスタリング手段７は、フレーム画像上の１つの節点を入力する（ステップＳ３１）。そして、現在のテクスチャクラスタの数が「０」かどうかを判定し（ステップＳ３２）、「０」の場合（Ｙｅｓ）は、入力された節点のみからなるテクスチャクラスタを生成し（ステップＳ３３）、ステップＳ３８へ進む。なお、このテクスチャクラスタの平均画像特徴量は、入力された節点の近傍における画像特徴量そのものである。
【００７９】
一方、現在のテクスチャクラスタの数が「０」でない場合（ステップＳ３２でＮｏ）は、入力した節点の近傍における画像特徴量（近傍画像特徴量）ＰＴＩｆｖと、各テクスチャクラスタの全節点の平均画像特徴量ＴＣｆｖとの距離を計算する（ステップＳ３４）。ここで、距離が最小でかつ予め定めた閾値以下であるテクスチャクラスタを探索する（ステップＳ３５）。そして、その探索結果を判定し（ステップＳ３６）、テクスチャクラスタが見つからなかった場合（Ｎｇ）は、ステップＳ３３へ進む。一方、テクスチャクラスタが見つかった場合（Ｏｋ）は、そのテクスチャクラスタに属する節点ＴＣｐｔに、入力された節点を追加し、そのテクスチャクラスタにおける全節点の平均画像特徴量ＴＣｆｖを更新する（ステップＳ３７）。
【００８０】
ここで、フレーム画像上の全節点について処理を行ったかどうかを判定し（ステップＳ３８）、全節点について処理を行っていない場合（Ｎｏ）は、ステップＳ３１へ戻って動作を続ける。一方、フレーム画像上の全節点について処理を行った場合（ステップＳ３８でＹｅｓ）は、以下の代表テクスチャ構造体生成処理を行う（ステップＳ３９）。
【００８１】
すなわち、各テクスチャクラスタにおいて、節点の近傍画像特徴量ＰＴＩｆｖと、テクスチャクラスタの平均画像特徴量ＴＣｆｖとの距離が最も近い節点を選び、その節点の近傍画像特徴量ＰＴＩｆｖを、テクスチャクラスタを代表する代表画像特徴量ＰＴＸｆｖとする。そして、その節点のフレーム番号に対応するフレーム画像から、その節点の座標を中心として予め定めた大きさの矩形領域を抽出し、代表テクスチャ画像とする。
【００８２】
そして、代表画像特徴量ＰＴＸｆｖ及び代表テクスチャ画像ＰＴＸｉｍｇを代表テクスチャ構造体ＰＴＸとしてクラスタ情報記憶手段８に書き込む（ステップＳ４０）。
以上の動作によって、テクスチャクラスタリング手段７は、テクスチャクラスタの数と同数の代表テクスチャ構造体を生成する。
【００８３】
（特徴情報生成手段の詳細動作）
次に、図５を参照（適宜図１参照）して、特徴情報生成手段９の動作について、さらに詳細に説明を行う。図５は、特徴情報生成手段９の動作を示すフローチャートである。なお、この動作は、図２におけるステップＳ１２の動作に相当するものである。また、以下の説明において、各情報は図６で付した符号を用いることとする。
【００８４】
まず、特徴情報生成手段９は、出力を行う画像データの初期化（全ての画素を「０」に設定）と、出力を行うテキストデータ書き込み用のテキストファイルをオープンする（ステップＳ４１）。そして、特徴情報生成手段９は、先頭フレームのクラスタの中で、最終フレームまで追跡できた（同じクラスタ番号を持つクラスタが最終フレームに存在する）クラスタを抽出する（ステップＳ４２）。
【００８５】
ここで、特徴情報生成手段９は、抽出したクラスタの全節点の位置ＰＴＩｐｓを解析し、全節点を最も効率良く（面積を小さく）囲む矩形の四隅の座標を設定する（ステップＳ４３）。
また、特徴情報生成手段９は、クラスタに属する全節点の平均画像特徴量ＰＣｆｖに最も近い代表画像特徴量ＰＴＸｆｖを持つ代表テクスチャ構造体ＰＴＸを選択する（ステップＳ４４）。
【００８６】
さらに、特徴情報生成手段９は、クラスタの全節点の位置ＰＴＩｐｓから、先頭フレームのクラスタの位置重心（ｓｘ，ｓｙ）を算出し（ステップＳ４５）、そのクラスタと同一のクラスタ番号を持つ最終フレームのクラスタからクラスタ位置重心（ｅｘ，ｅｙ）を算出する（ステップＳ４６）。そして、位置重心の差（ｅｘ−ｓｘ，ｅｙ−ｓｙ）をクラスタの動きベクトルとして算出する（ステップＳ４７）。
【００８７】
そして、特徴情報生成手段９は、ステップＳ４３で求めた矩形の内部をステップＳ４４で選択した代表テクスチャ構造体ＰＴＸの代表テクスチャ画像ＰＴＸｉｍｇで塗りつぶし、ステップＳ４５で算出した位置重心（ｓｘ，ｓｙ）を始点として、動きベクトル（ｅｘ−ｓｘ，ｅｙ−ｓｙ）を直線で描画した画像データを生成する（ステップＳ４８）。
【００８８】
さらに、特徴情報生成手段９は、先頭フレーム番号、最終フレーム番号、矩形で囲んだ四隅の座標（矩形座標情報）、ステップＳ４４で選択した代表テクスチャ構造体ＰＴＸの近傍画像特徴量及び動きベクトル（ｅｘ−ｓｘ，ｅｙ−ｓｙ）の各情報をテキストファイルヘ書き込む（ステップＳ４９）。
【００８９】
以上の動作によって、特徴情報生成手段９は、シーンを特徴付ける映像特徴情報（シーン簡易情報）を画像データ及びテキストデータ（テキストファイル）として生成し出力する。
【００９０】
【発明の効果】
以上説明したとおり、本発明に係る映像特徴情報生成方法、映像特徴情報生成装置及び映像特徴情報生成プログラムでは、以下に示す優れた効果を奏する。
【００９１】
請求項１、２、３又は６に記載の発明によれば、映像データから、物体（被写体）及び背景の位置、大きさ、動きベクトル等の大まかな特徴を映像特徴情報として生成することができるため、この映像特徴情報を映像データの検索情報として使用することができる。このとき、映像特徴情報は、大まかな特徴を表現しているため、検索者の検索意図の表現が容易となり、検索者の検索意図に適した映像データを検索することが可能になる。
【００９２】
また、本発明によれば、映像データから検索者が検索を行う際に、検索条件（パラメータ）の数を減らすことができるため、検索者にとって検索を行うための操作が簡単になる。さらに、検索条件が簡易化されているため、検索速度を高速化できるという効果も奏する。
【００９３】
請求項４に記載の発明によれば、映像データのシーンを検出して、そのシーン毎に映像特徴情報を生成するため、映画等のシーンが変化する映像データにおいても、自動で簡易な映像特徴情報を生成することができる。
【００９４】
請求項５に記載の発明によれば、シーンを特徴付けるテクスチャで、動きのある領域を塗りつぶした画像データを、映像特徴情報として生成することができるため、視覚的に映像データのシーンの特徴を捉えることができる。これによって、検索者は、この画像データである映像特徴情報から、場面毎の変化を視覚的に認識することができるため、検索者が所望する映像データの場面を素早く検索することが可能になる。
【図面の簡単な説明】
【図１】本発明における映像特徴情報生成装置の構成を示すブロック図である。
【図２】本発明における映像特徴情報生成装置の動作を示すフローチャートである。
【図３】節点クラスタリング手段の動作を示すフローチャートである。
【図４】テクスチャクラスタリング手段の動作を示すフローチャートである。
【図５】特徴情報生成手段の動作を示すフローチャートである。
【図６】（ａ）節点情報のデータの構造を示すデータ構造図である。
（ｂ）節点クラスタ情報のデータの構造を示すデータ構造図である。
（ｃ）テクスチャクラスタ情報のデータの構造を示すデータ構造図である。
（ｄ）代表テクスチャ構造体のデータの構造を示すデータ構造図である。
【図７】格子状に節点を設定（配置）したフレーム画像の一例を示す図である。
【図８】フレーム画像上で節点を追跡する状態を説明するための説明図である。
【図９】節点クラスタリング手段の節点クラスタの切り離し処理を説明するための説明図である。
【図１０】画像データとして生成した映像特徴情報の画像の一例を示す図である。
【図１１】テキストデータとして生成した映像特徴情報のデータ内容の一例を示す図である。
【符号の説明】
１ 映像特徴情報生成装置
２ シーン分割手段
３ フレーム画像サンプリング手段
４ 節点初期設定手段
４ａ 近傍画像特徴量計算部
５ 節点追跡手段
５ａ 近傍画像特徴量計算部
６ 節点クラスタリング手段（節点分類手段）
７ テクスチャクラスタリング手段（クラス画像特徴量生成手段）
８ クラスタ情報記憶手段（記憶手段）
９ 特徴情報生成手段
９ａ シーン特徴情報生成部
９ｂ 初期化部
２０ 映像蓄積手段

Claims (6)

1. 入力された映像データから、その映像データを特徴付ける映像特徴情報を生成する映像特徴情報生成方法であって、
   前記映像データからシーン毎に特定の間隔でフレーム画像を抽出し、そのフレーム画像における画像特徴量が類似する矩形領域毎に、前記矩形領域の座標情報と、前記矩形領域の画像を特徴付ける矩形領域画像特徴量と、前記矩形領域の動き情報とを、前記映像特徴情報として生成することを特徴とする映像特徴情報生成方法。
2. 入力された映像データから、その映像データを特徴付ける映像特徴情報を生成する映像特徴情報生成方法であって、
   前記映像データから特定のサンプリング間隔でフレーム画像を抽出するフレーム画像サンプリングステップと、
   このフレーム画像サンプリングステップで抽出されたフレーム画像の先頭フレームに、画像の特徴を抽出するための基準となる節点を設定する節点初期設定ステップと、
   この節点初期設定ステップで設定された節点の近傍画像領域の画像特徴量に基づいて、前記先頭フレーム以降のフレーム画像に対応する前記近傍画像領域を追跡する節点追跡ステップと、
   前記フレーム画像毎に、前記節点追跡ステップで追跡した各近傍画像領域の画像特徴量に基づいて、前記近傍画像領域を分類する節点分類ステップと、
   この節点分類ステップで同一のクラスに分類された近傍画像領域に対応する前記各フレーム画像の画像特徴量、当該クラスを特徴付けるクラス画像特徴量を生成するクラス画像特徴量生成ステップと、
   このクラス画像特徴量生成ステップで生成されたクラス画像特徴量に基づいて、前記節点分類ステップで分類された近傍画像領域毎にそれぞれ矩形領域とし、その矩形領域の位置座標と、前記矩形領域の画像を特徴付ける矩形領域画像特徴量と、前記矩形領域の動き情報とを、前記映像特徴情報として生成する特徴情報生成ステップと、
   を含んでいることを特徴とする映像特徴情報生成方法。
3. 入力された映像データから、その映像データを特徴付ける映像特徴情報を生成する映像特徴情報生成装置であって、
   前記映像データから特定のサンプリング間隔でフレーム画像を抽出するフレーム画像サンプリング手段と、
   このフレーム画像サンプリング手段で抽出されたフレーム画像の先頭フレームに、画像の特徴を抽出するための基準となる節点を設定する節点初期設定手段と、
   この節点初期設定手段で設定された節点の近傍画像領域の画像特徴量に基づいて、前記先頭フレーム以降のフレーム画像に対応する前記近傍画像領域を追跡する節点追跡手段と、
   前記フレーム画像毎に、前記節点追跡手段で追跡した各近傍画像領域の画像特徴量に基づいて、前記近傍画像領域を分類する節点分類手段と、
   この節点分類手段で同一のクラスに分類された近傍画像領域に対応する前記各フレーム画像の画像特徴量に基づいて、当該クラスを特徴付けるクラス画像特徴量を生成するクラス画像特徴量生成手段と、
   前記節点分類手段で分類された前記近傍画像領域の位置及び画像特徴量と、前記クラス画像特徴量生成手段で生成されたクラス画像特徴量とを記憶する記憶手段と、
   この記憶手段に記憶された前記近傍画像領域の位置及び画像特徴量と、前記クラス画像特徴量とに基づいて、分類された前記近傍画像領域毎にそれぞれ矩形領域とし、その矩形領域の位置座標と、前記矩形領域の画像を特徴付ける矩形領域画像特徴量と、前記矩形領域の動き情報とを、前記映像特徴情報として生成する特徴情報生成手段と、
   を備えていることを特徴とする映像特徴情報生成装置。
4. 前記映像データをシーン毎に分割するシーン分割手段を備え、前記フレーム画像サンプリング手段が、前記シーン分割手段で分割されたシーン毎に特定のサンプリング間隔でフレーム画像を抽出することを特徴とする請求項３に記載の映像特徴情報生成装置。
5. 前記特徴情報生成手段は、前記節点分類手段で分類された近傍画像領域に基づいて区分けされた矩形領域を、前記クラス画像特徴量に最も類似するフレーム画像から抽出したテクスチャで表した画像として前記映像特徴情報を生成することを特徴とする請求項３又は請求項４に記載の映像特徴情報生成装置。
6. 入力された映像データから、その映像データを特徴付ける映像特徴情報を生成するために、コンピュータを、
   前記映像データから特定のサンプリング間隔でフレーム画像を抽出するフレーム画像サンプリング手段、
   このフレーム画像サンプリング手段で抽出されたフレーム画像の先頭フレームに、画像の特徴を抽出するための基準となる節点を設定する節点初期設定手段、
   この節点初期設定手段で設定された節点の近傍画像領域の画像特徴量に基づいて、前記先頭フレーム以降のフレーム画像に対応する前記近傍画像領域を追跡する節点追跡手段、
   前記フレーム画像毎に、前記節点追跡手段で追跡した各近傍画像領域の画像特徴量に基づいて、前記近傍画像領域を分類する節点分類手段、
   この節点分類手段で同一のクラスに分類された近傍画像領域に対応する前記各フレーム画像の画像特徴量に基づいて、当該クラスを特徴付けるクラス画像特徴量を生成するクラス画像特徴量生成手段、
   このクラス画像特徴量生成手段で生成されたクラス画像特徴量に基づいて、前記節点分類手段で分類された近傍画像領域毎にそれぞれ矩形領域とし、その矩形領域の位置座標と、前記矩形領域の画像を特徴付ける矩形領域画像特徴量と、前記矩形領域の動き情報とを、前記映像特徴情報として生成する特徴情報生成手段、
   として機能させることを特徴とする映像特徴情報生成プログラム。

Images