JP2003196662A - カット検出装置およびそのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 映像データのカット検出において、動きの激
しいシーンの誤検出を減少させることができるカット検
出装置およびそのプログラムを提供する。 【解決手段】 ベクトル算出処理部１９ａは、フレーム
を所定数の区画に分割し、各区画においてフレーム間の
動きベクトルを算出する。分類区画数累計処理部１９ｂ
は、フレーム間において算出した区画毎の動きベクトル
を、所定数の方向に分類して、各方向に分類された動き
ベクトルと対応する区画の数を累計して方向別区画数を
算出する。絶対値差分量算出処理部１９ｃは、フレーム
間の方向別区画数と、該フレーム間に対して前または後
のフレーム間の方向別区画数との方向別の差分を求め、
該差分の絶対値を基に絶対値差分量を算出する。カット
検出装置は、算出した絶対値差分量を基に、映像データ
よりカット部分を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、連続するフレー
ムから成る映像データの時間変化の中よりカット部分を
検出するカット検出装置およびそのプログラムに関する
ものである。

【０００２】

【従来の技術】従来、コンピュータで再生可能な映像デ
ータにおいて、映像の内容把握を容易にするためには、
例えば本の目次のように何らかの形で映像データに対し
て構造化の処理を行う必要がある。その処理の基本とな
るのが、映像データを一台のカメラで連続的に撮影され
た映像区間として定義されるショットに切り分けるカッ
ト検出である。このカット検出方法として、カットが存
在する映像データのフレーム間では、カットが存在しな
い場合に比べて、画像の類似度が小さく、動きベクトル
量が大きいなどの特徴に注目してカット検出を行ってい
る。具体的には、フレーム間の輝度差や色差、動き補償
情報とその予測誤差などや、それらのデータを基に算出
した「色のヒストグラム」や「動きベクトルの長さ」な
どを、カット検出のための特徴量を抽出し、閾値判定す
ることによってカット検出を行っていた。

【０００３】

【発明が解決しようとする課題】上述したように、従来
のカット検出で用いられてきたフレーム間の輝度差や色
差といった特徴量は、カットであるフレーム間や、動き
の激しいシーンでのフレーム間で高い値となる。そのた
め、この特徴量を閾値判定してカット検出を行うと、動
きの激しいシーンをカットとして誤検出する問題があっ
た。

【０００４】この発明は、上述した事情を考慮してなさ
れたもので、映像データのカット検出において、動きの
激しいシーンの誤検出を減少させることができるカット
検出装置およびそのプログラムを提供することを目的と
する。

【０００５】

【課題を解決するための手段】この発明は、上述した課
題を解決すべくなされたもので、本発明によるカット検
出装置においては、連続するフレームから成る映像デー
タの時間変化の中よりカット部分を検出するカット検出
装置であって、フレームを所定数の区画に分割し、各区
画においてフレーム間の動きベクトルを算出するベクト
ル算出手段と、フレーム間において算出した区画毎の動
きベクトルを、所定数の方向に分類して、各方向に分類
された動きベクトルと対応する区画の数を累計して方向
別区画数を算出する分類区画数累計手段と、フレーム間
の方向別区画数と、該フレーム間に対して前または後の
フレーム間の方向別区画数との方向別の差分を求め、該
差分の絶対値を基に絶対値差分量を算出する絶対値差分
量算出手段と、算出した絶対値差分量を基に、映像デー
タよりカット部分を検出するカット部分検出手段とを具
備することを特徴とする。

【０００６】上述した、ベクトル算出手段は、フレーム
の一部または全部を、例えばＭＰＥＧ（Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２など
の規格にて定められる動きベクトル算出のための、所定
数で、所定の大きさの区画に分割し、各区画においてフ
レーム間の動きベクトルを算出する。分類区画数累計手
段は、フレーム間において算出した区画毎の動きベクト
ルを、８〜数十の方向に分類して、各方向に分類された
区画の数を累計して方向別区画数（例えば方向別のヒス
トグラムが好適である）を算出する。

【０００７】また、絶対値差分量算出手段は、フレーム
間の方向別区画数と、該フレーム間の一つまたは複数フ
レーム間前（または後）のフレーム間の方向別区画数と
の方向別の差分を求め、該差分の絶対値の和である絶対
値差分量を算出する。以上により、映像データのフレー
ム間より抽出した動きベクトルの方向別の方向別区画数
（ヒストグラム）の絶対値差分量を考慮したカット検出
を行うことができる。この特徴を入れることで、映像デ
ータより「動きの激しいシーン」を「カット部分」と誤
検出する確率を低減したカット検出を行うことができ
る。その理由は後述する。ここで、「動きの激しいシー
ン」とは、物体が高速で移動しているシーンや、カメラ
が高速でパンしているシーンなどである。

【０００８】また、本発明によるカット検出装置におい
ては、上記ベクトル算出手段と、上記分類区画数累計手
段と、上記絶対値差分量算出手段とを備え、映像データ
より上記絶対値差分量を含む複数の特徴項目についての
特徴量である特徴情報を抽出する情報抽出手段を更に具
備し、上記カット部分検出手段は、特徴情報に含まれる
特徴量を識別関数へ代入計算する識別関数計算手段と、
識別関数計算手段の計算結果を基に、カット部分である
かどうかを識別するカット部分識別手段とを具備するこ
とを特徴とする。

【０００９】これにより、動きベクトルの方向別の方向
別区画数（ヒストグラム）の絶対値差分量を特徴量とし
て映像データより抽出し、該特徴量を変数とする識別関
数を用いてカット部分であるか非カット部分であるかの
識別を行うことができる。また、映像データより抽出し
た複数の特徴項目に任意の重み付けを付与して処理でき
るので、各特徴項目の重み付けに応じて、全ての特徴項
目を考慮したカット検出を行うことができる。

【００１０】また、本発明によるカット検出装置におい
ては、カット部分が既知の映像データを基に、映像デー
タより上記絶対値差分量を含む複数の特徴項目について
の特徴量である特徴情報を抽出し、カット部分および非
カット部分のどちらから抽出したかを識別する情報を特
徴情報に含める特徴情報抽出手段と、特徴情報を基に識
別関数の係数を求め、識別関数を生成する識別関数生成
手段とを更に具備することを特徴とする。

【００１１】これにより、動きベクトルの方向別の方向
別区画数（ヒストグラム）の絶対値差分量を少なくとも
含む特徴項目を用いて、映像データのカット部分の特徴
量と、非カット部分の特徴量の違いを基に識別関数を生
成できる。

【００１２】また、本発明によるカット検出装置におい
ては、上記識別関数生成手段の生成した識別関数の係数
が、有意なものか所定の計算式により検定する係数検定
手段を更に具備し、上記係数検定手段が、有意でないと
検定した係数がある場合に、上記識別関数生成手段は、
有意でないと検定された係数に対応する特徴情報を除い
た特徴情報を基に、識別関数の係数を求め、識別関数を
生成することを特徴とする。

【００１３】これにより、生成した識別関数の係数が、
有意なものであるか統計的に判別を行う所定の計算式を
用いて計算することで、係数の有意について検定するこ
とができる。また、種々の特徴項目よりカット検出に有
効でない特徴項目を削除して、有効な特徴項目のみに絞
り込んだ識別関数を生成することができる。更には、映
像データの内容に合わせて、より精度よくカット検出を
行うように、映像データの内容別に、特徴項目の違う識
別関数を生成することができる。

【００１４】また、本発明によるカット検出装置におい
ては、上記識別関数として判別関数を用いることを特徴
とする。これにより、識別に貢献する特徴量のみを用い
た判別関数でカット部分の検出しを行うことができる。

【００１５】また、本発明によるプログラムは、連続す
るフレームから成る映像データの時間変化の中よりカッ
ト部分を検出するカット検出方法のプログラムであっ
て、フレームを所定数の区画に分割し、各区画において
フレーム間の動きベクトルを算出するステップと、フレ
ーム間において算出した区画毎の動きベクトルを、所定
数の方向に分類して、各方向に分類された区画の数を累
計して方向別区画数を算出するステップと、フレーム間
の方向別区画数と、該フレーム間の前または後のフレー
ム間の方向別区画数との方向別の差分を求め、該差分の
絶対値の和である絶対値差分量を算出するステップと、
算出した絶対値差分量を基に、映像データよりカット部
分を検出するステップとをコンピュータへ実行させるた
めのプログラムである。

【００１６】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明する。ただし、以下の実施の形態は特許請
求の範囲に記載された発明を限定するものではなく、ま
た実施の形態の中で説明されている特徴の組み合わせの
すべてが発明の解決手段に必要であるとは限らない。ま
ず、本発明の第一の実施形態として、識別関数として判
別関数を用いたカット検出装置の概略構成について図を
用いて説明する。

【００１７】図１は、本発明の第一の実施形態による識
別関数として判別関数を用いたカット検出装置の概略構
成を示すブロック図である。この図において符号１０
は、識別関数として判別関数を用いて、映像データより
カット部分を検出するカット検出装置である。１１は、
カット検出装置１０内のデータの制御を行う制御部であ
る。１２は、カット検出処理用の映像データを格納する
映像データベース１２ａと、判別関数の学習処理を行う
為のカット部分が既知の映像データである学習情報を格
納する学習情報データベース１２ｂである。１３は、カ
ット検出を行う為の種々の処理プログラムを具備する処
理プログラム部である。

【００１８】尚、カット検出装置１０は、カット検出の
対象となる映像データを取得する場合に、上述したよう
に映像データベース１２ａより読み出す方法に限らな
い。即ち、映像データベース１２ａは、必ずしもカット
検出装置１０が具備する必要はない。他の方法として
は、カット検出装置１０は、処理する映像データを、通
信ネットワーク経由で取得したり、ＣＤ−ＲＯＭ等の記
録媒体より読み取ったりして好適である。

【００１９】次に、学習情報データベース１２ｂの構築
例について図を用いて説明する。図６は、本発明の第一
の実施形態における学習情報データベース１２ｂの構成
例を示す図である。図に示すように、カット部分が既知
である映像データに関連付けて種々の情報を格納する。
“映像データ”は、判別関数の学習用の映像データであ
る。“フレーム間情報”は、各フレーム間において、カ
ット部分であるかを示す“カット情報”や、該フレーム
間より抽出した“特徴項目”毎の“特徴量”を含む“特
徴情報”など、フレーム間に関する情報を格納する。
“係数情報”は、各“映像データ”の“フレーム間情
報”を基に求めた判別関数の係数に関する係数情報を格
納する。

【００２０】次に、処理プログラム部１３について構成
を説明する。処理プログラム部１３には、学習情報デー
タベース１２ｂに格納されるカット部分、非カット部分
が既知の“映像データ”を基に、判別関数の係数を生成
する為の学習処理を行う学習処理部１４と、映像データ
ベース１２ａに格納されるカット部分、非カット部分が
未知の映像データを基に、カット部分を検出する検出処
理部１５から成る。尚、本実施形態の判別関数とは、判
別分析に用いられる関数であって、一つもしくは複数の
観測値（本実施形態では特徴量）を変数とする線形式で
ある線形判別関数である。また、上述した判別分析の方
法の限りではなく、他の判別分析の方法を用いてもよ
い。

【００２１】上記判別関数について一例を示して更に説
明する。対象となるサンプル（映像データにおけるフレ
ーム間）のサンプル数をｉとし、サンプルについてのｐ
種類の特徴項目について特徴量ｘ_i1〜ｘ_ipとした場合、
図７に示すように、フレーム５１の時間変化における、
フレーム間の特徴量ｘ_i1〜ｘ_ipが抽出される。この時、
判別関数の定数項をａ₀とし、各特徴量に対する係数を
ａ₁〜ａ_pとすると、サンプルｉにおける判別関数値ｆ_i
は、以下の判別関数（式１）で表される ｆ_i＝ａ₀＋ａ₁ｘ_i1＋ａ₂ｘ_i2＋…＋ａ_pｘ_ip …（式１）

【００２２】この（式１）に抽出したサンプルｉの特徴
量ｘ_i1〜ｘ_ipを代入することでｆ_iの値を求め、その値
を基に映像データのｉ番目のフレーム間がカット部分で
あるか非カット部分であるかを判別する。また、係数ａ
₁〜ａ_pの有意性を検定する方法は、まず、判別分析によ
って得られた結果から所定の計算式によりｐ個の特徴量
からｊ番目の特徴量を除いた場合に、マハラノビスの汎
距離がどのように変化するかを表す尺度であり、係数の
貢献度の判定に用いる値“Ｆ_p,j”を以下の（式２）に
より求める。

【数１】 以上の（式２）において、 ｐ：特徴量の個数 ｎ_1:カット部分のサンプル数 ｎ₂：非カット部分のサンプル数 Ｄ² _(p)：ｐ個の特徴量を使用した場合のマハラノビスの
汎距離 Ｄ² _(p-1)：ｐ個の特徴量から特徴量ｊを除いた場合のマ
ハラノビスの汎距離である。次に、検定統計量がＦ分布
に従っているとして所定の有意水準（％）のＦ分布値を
求める。次に、貢献度の判定値“Ｆ_p,j”とＦ分布値の
大小を比較して、ｊ番目の特徴量がカット部分の識別に
どの程度、貢献しているかを求める。

【００２３】ここで、本実施形態においては、映像デー
タのフレーム間より、“動き方向ヒストグラムの絶対値
差分和（絶対値差分量）”を含む、以下に示す４つの特
徴項目について特徴量ｘ_i1〜ｘ_i4を抽出する。 ・輝度の絶対値差分の平均値（ｘ_i1） ・輝度ヒストグラムの絶対値差分値（ｘ_i2） ・画面全体の平均動きベクトル長（ｘ_i3） ・動き方向ヒストグラムの絶対値差分和（ｘ_i4） 以上の場合に、（式１）に示した判別関数値ｆ_iは ｆ_i＝ａ₀＋ａ₁ｘ_i1＋ａ₂ｘ_i2＋ａ₃ｘ_i3＋ａ₄ｘ_i4 … （式３） となる。以下（式３）を用いてカット検出装置１０の説
明を行う。

【００２４】尚、“輝度の絶対値差分の平均値”とは、
隣接フレーム間で同じ位置にあるブロック（フレームを
所定数の区画に分割した際の１区画）の輝度の絶対値差
分を求めて平均した値である。“輝度ヒストグラムの絶
対値差分値”とは、隣接フレームでそれぞれの輝度ヒス
トグラムを求め、各段階（例えば１６段階に分ける）毎
に絶対値差分を求め合計した値である。

【００２５】“画面全体の平均動きベクトル長”とは、
隣接するフレーム間で、動きベクトルの長さを本数で平
均した値である。ここで、動きベクトルを算出する方法
の一例を以下に示す。まず、フレーム内の１６ｐｉｘｅ
ｌ×１６ｐｉｘｅｌの各ブロックに対して、該フレーム
に隣接するフレームの同位置に同様のブロックおよび該
ブロックの周囲にある３２ｐｉｘｅｌ×３２ｐｉｘｅｌ
のブロックに対して、近似的な画像を含むブロックを探
索するためブロック間のＲＧＢ値の絶対値誤差を求める
ブロックマッチングを行う。次に、求めた絶対値誤差が
最小となるブロックを動きベクトルの到達ブロックとす
ることで、動きベクトルを算出する。

【００２６】“動き方向ヒストグラムの絶対値差分和”
とは、隣接するフレーム間で求めた動きベクトルを８方
向に分類して３２段階のヒストグラムを作成し、一つ前
のフレーム間のヒストグラムと各段階において絶対値差
分を求め合計した値である。尚、ヒストグラムの各段階
で絶対値差分を求めるのは、上述した一つ前のフレーム
間に限らず、任意の数だけ前または後のフレーム間のヒ
ストグラムと格段階で絶対値差分を求め合計して好適で
ある。尚、動きベクトルを分類する方向や、ヒストグラ
ムの段階の数は、上述した限りではなく、計算精度と計
算量のバランスを考慮して任意の数を用いればよい。

【００２７】また、本発明は上記の４つの特徴項目に限
定されず、種々のカット検出する為の特徴項目の特徴量
を用いて好適である。例えば、以下に示す特徴項目があ
る。 ・“ブロックＲＧＢ値の絶対値差分の合計の平均値”
は、隣接したフレーム間で、同位置にある１６ｐｉｘｅ
ｌ×１６ｐｉｘｅｌのブロックを単位として、Ｒ、Ｇ、
Ｂそれぞれの値について平均値の絶対値誤差を求めて合
計し、その結果をフレーム全体で平均した値である。 ・“ブロックＲＧＢ値の絶対値差分の合計の分散値”
は、上記ブロック単位にＲ、Ｇ、Ｂそれぞれの平均値の
絶対値差分について、フレーム全体における分散を求め
た値である。

【００２８】・“ブロック色ヒストグラムの絶対値差分
和”は、フレーム内で１６ｐｉｘｅｌ×１６ｐｉｘｅｌ
のブロックを単位としたＲ、Ｇ、Ｂそれぞれの平均値の
絶対値差分について、色ごとに６４段階のヒストグラム
を作成し、隣接フレーム間でヒストグラムの各段階にお
ける絶対値差分を求め、３色全てについて合計した値で
ある。 ・“動きベクトルの長さの分散”は、隣接したフレーム
間で求められた動きベクトルの長さについて、フレーム
全体における分散を求めた値である。

【００２９】以上、判別関数に関して、関数の具体例
と、判別関数の変数となる特徴量として、種々の特徴項
目の具体例を示して説明した。しかし、特徴項目の内
容、数、組み合わせは上述した限りでなく、映像データ
よりカット検出するための特徴項目を種々の組み合わせ
で用いて好適である。また、特徴項目の効果的な組み合
わせについては後述する。

【００３０】次に、学習処理部１４について説明する。
特徴情報抽出処理部１６は、上記４つの特徴項目につい
て、学習情報データベース１２ｂより読み出したカット
部分、非カット部分が既知の“映像データ”より特徴量
（ｘ_i1、ｘ_i2、ｘ_i3、ｘ_i4）を抽出する。判別関数生成
処理部１７は、情報抽出処理部１６が抽出したカット部
分、非カット部分における特徴量を基に、係数（ａ₁〜
ａ₄）を求めて判別関数（式３）を生成する。

【００３１】係数検定処理部１８は、判別関数生成処理
部１７が、生成した判別関数の係数の各々について、カ
ット検出の判別に有意なものであるか検定する。具体的
には、係数検定処理部１８は、判別分析によって得られ
た結果から所定の計算式によりｊ番目の特徴量の判別へ
の貢献度の判定値“Ｆ_p,j”を求める。次に、係数検定
処理部１８は、検定統計量がＦ分布に従っているとして
所定の有意水準（％）のＦ分布値を求める。次に、係数
検定処理部１８は、貢献度の判定値“Ｆ_p,j”とＦ分布
値の大小を比較することで該特徴量の有意性を検定す
る。

【００３２】ここで、特徴量がカット部分の識別に貢献
していない（有意性が無い）と検定した場合、新たにｊ
番目の特徴量を除いたｐ−１個の特徴量による判別関数
（式３）を求め、上述したように係数を求めて、該係数
を用いた特徴量の検定を行う。このように、係数の学習
と貢献度の検定を繰り返すことで、特徴量の選択を行う
ことができる。また、どの特徴量が有効であるかを調べ
ることができる。以上に示したように、学習処理部１４
は、カット部分、非カット部分が既知の映像データを基
に、より正確なカット検出を行う判別関数を生成する為
の学習処理を行う。

【００３３】次に、検出処理部１５について、以下に説
明する。情報抽出処理部１９は、映像データベース１２
ａより参照する映像データより、判別関数生成処理部１
７が生成した判別関数（式３）に代入する特徴量
（ｘ_i1、ｘ_i2、ｘ_i3、ｘ_i4）についての特徴情報を抽出
する。判別関数計算処理部２０は、特徴情報に含まれる
特徴量を判別関数（式３）へ代入し計算する。カット部
分識別処理部２１は、判別関数計算処理部２０の計算結
果を基に、カット部分であるか非カット部分であるかを
識別する。以上により、検出処理部１５は、判別関数
（式３）を用いて映像データベース１２ａより参照する
映像データの各フレーム間に対してカット部分、非カッ
ト部分を識別してカット検出を行う。

【００３４】次に、上述した４つの特徴項目の特徴量を
抽出する情報抽出処理部１９の内部の概略構成について
図を用いて説明する。図２は、本発明の第一の実施形態
における情報抽出処理部１９の内部の概略構成を示すブ
ロック図である。図に示すように、１９ａは、映像デー
タのフレームを所定数のブロック（区画）に分割し、各
ブロックにおいてフレーム間の動きベクトルを算出する
ベクトル算出処理部である。１９ｂは、フレーム間にお
いて算出したブロック毎の動きベクトルを、８方向に分
類して、各方向に分類されたブロックの数を累計した、
方向別のブロック数のヒストグラムである“動き方向ヒ
ストグラム”（方向別区画数）を算出する分類区画数累
計処理部である。

【００３５】１９ｃは、フレーム間の“動き方向ヒスト
グラム”と、該フレーム間に対して一つ前のフレーム間
の“動き方向ヒストグラム”との方向別の差分を求め、
該差分の絶対値の和である絶対値差分和を算出する絶対
値差分量算出処理部である。以上のベクトル算出処理部
１９ａおよび分類区画数累計処理部１９ｂおよび絶対値
差分量算出処理部１９ｃの処理により、情報抽出部１９
は、特徴項目“動き方向ヒストグラムの絶対値差分和”
の特徴量ｘ_i4を映像データより抽出する。

【００３６】ここで、上述した“動き方向ヒストグラム
の絶対値差分和”の特徴量を判別関数の変数とすること
が、映像データにおける「カット部分」と「動きの激し
いシーン」とを精度よく判別するのに有効であることを
以下に説明する。図８は本発明の第一の実施形態におけ
る“動き方向ヒストグラムの絶対値差分和”の有効性を
示す図である。図において、飛行機は右方向へ飛行して
おり、上の３フレームは「カット部分」のある３フレー
ムであり、下の３フレームは「動きの激しいシーン」の
３フレームである。

【００３７】符号８１は、カット検出の対象の映像デー
タにおいてｎ番目（ｎは任意の自然数）のフレームであ
るｎフレームである。同様に、８２、８３は、ｎ＋１フ
レーム、ｎ＋２フレームである。８４は、ｎフレーム８
１とｎ＋１フレーム８２より、抽出した各ブロックの動
きベクトルを、方向別にしてブロック数を累計したヒス
トグラムである。同様に、８５は、ｎ＋１フレーム８２
とｎ＋２フレーム８３より、抽出した各ブロックの動き
ベクトルを、方向別にしてブロック数を累計したヒスト
グラムである。８６は、ヒストグラム８４とヒストグラ
ム８５の絶対値差分を方向別に求めたヒストグラムであ
る。

【００３８】ここで、ｎ＋１フレーム８２とｎ＋２フレ
ーム８３は、全く異なる映像であり、このフレーム間は
カット部分である。この時、図に示すように、ヒストグ
ラム８５は、全方向に不規則な動きベクトルが生じたこ
とを表すものとなる。そのため、ヒストグラム８６は、
図に示すようなヒストグラムとなる。すなわち、ヒスト
グラム８６の全方向の合計（絶対値差分和）が大きな値
となる。

【００３９】同様に、９１、９２、９３は、ｍ、ｍ＋
１、ｍ＋２番目（ｍは任意の自然数）のフレームであ
る。９４は、ｍフレーム９１とｍ＋１フレーム９２より
抽出した各ブロックの動きベクトルを基に算出したヒス
トグラムである。９５は、ｍ＋１フレーム９２とｍ＋２
フレーム９３より抽出した各ブロックの動きベクトルを
基に算出したヒストグラムである。９６は、ヒストグラ
ム９４とヒストグラム９５の絶対値差分を方向別に求め
たヒストグラムである。

【００４０】ここで、ｍ＋１フレーム９２とｍ＋２フレ
ーム９３は、連続する映像であり、このフレーム間は非
カット部分である。この時、図に示すように、ヒストグ
ラム９４とヒストグラム９５は、右方向に大きな動きベ
クトルが生じたことを表すものとなる。そのため、ヒス
トグラム９６は、図に示すようなヒストグラムとなる。
すなわち、ヒストグラム９６の全方向の合計（絶対値差
分和）が小さな値となる。

【００４１】以上に示したように、“動き方向ヒストグ
ラムの絶対値差分和”は、映像データにおける「カット
部分」の場合は大きな値になり、「動きの激しいシー
ン」の場合は小さな値となる。これにより、“動き方向
ヒストグラムの絶対値差分和”の特徴量を判別関数の変
数とすることで、映像データにおける「カット部分」と
「動きの激しいシーン」とを精度よく判別することがで
きる。

【００４２】１９ｄは、特徴項目“輝度の絶対値差分の
平均値”の特徴量ｘ_i1を映像データより抽出する輝度絶
対値差分算出処理部である。１９ｅは、特徴項目“輝度
ヒストグラムの絶対値差分値”の特徴量ｘ_i2を映像デー
タより抽出する輝度ヒストグラム差分算出処理部であ
る。１９ｆは、特徴項目“画面全体の平均動きベクトル
長”の特徴量ｘ_i3を映像データより抽出する動きベクト
ル長算出処理部である。以上、情報抽出処理部１９の概
略構成を説明したが、この限りではなく、上述した種々
の特徴項目の特徴量を抽出する処理部を具備して好適で
ある。また、特徴情報抽出処理部１６においては、同様
の特徴量を抽出する処理部を具備してもよく、共用可能
であれば情報抽出処理部１９と処理部を共用してもよ
い。

【００４３】次に、上述したカット検出装置１０の動作
について図を用いて説明する。まず、学習処理部１４の
動作についての説明を以下に示す。図３は、本発明の第
一の実施形態におけるカット検出装置１０の学習動作を
示すフロー図である。まず、学習情報データベース１２
ｂよりカット部分が既知の映像データを読み出し、特徴
情報抽出処理部１６は、設定した四つの特徴項目につい
て、特徴量（ｘ _i1、ｘ_i2、ｘ_i3、ｘ_i4）の抽出を行う
（ステップＳ２０）。次に、判別関数生成処理部１７
は、該特徴量（ｘ_i1、ｘ_i2、ｘ_i3、ｘ_i4）とカット部分
か非カット部分かの情報を含む特徴情報を基に、係数
（ａ₁〜ａ₄）を求めて判別関数（式３）を生成する（ス
テップＳ２１）。

【００４４】次に、係数検定処理部１８は、判別関数生
成処理部１７が生成した判別関数の各係数（ａ₁〜ａ₄）
に対応する特徴量のＦ分布値および貢献度“Ｆ_p,j”を
算出し比較することで、カット検出への貢献度（有意な
係数であるか）を検定する（ステップＳ２２）。ここ
で、全ての係数が有意と判断されなかった場合（ステッ
プＳ２２のＮＯ）、最も有意でなかった係数に対応する
特徴項目を削除する（ステップＳ２３）。次に、判別関
数生成処理部１７が、残りの特徴項目に対応する特徴量
を基に係数を求めるステップＳ２１へ戻る。また、全て
の係数（ａ₁〜ａ₄）が有意と判断された場合（ステップ
Ｓ２２のＹＥＳ）、学習処理部１４は、該係数を含む判
別関数（式３）を、検出処理部１５におけるカット部分
の検出処理に用いる判別関数と決定する（ステップＳ２
４）。

【００４５】以上により、学習処理部１４は、“動き方
向ヒストグラムの絶対値差分和”の特徴量を変数として
含み、カット部分の識別に貢献している特徴量のみを用
いた判別関数を生成することができる。尚、係数の有意
性の検定は、上記の限りではなく、カット検出の判別
に、各々の特徴量が貢献しているかどうかを検定する種
々の方法を用いて好適である。また、上記では判別関数
の決定の方法として、変数減少法を用いたがこの限りで
はない。

【００４６】次に、検出処理部１５の動作について説明
する。図４は、本発明の第一の実施形態におけるカット
検出装置１０のカット検出動作を示すフロー図である。
まず、映像データベース１２ａよりカット部分、非カッ
ト部分が未知の映像データを読み出し、最初のフレーム
間（サンプル１）について情報抽出処理部１９は、学習
処理部１４が決定した判別関数（式３）に代入すべき特
徴量（ｘ₁₁、ｘ₁₂、ｘ ₁₃、ｘ₁₄）を抽出する（ステップ
Ｓ３０）。この時、輝度絶対値差分算出処理部１９ｄ
が、“輝度の絶対値差分の平均値”の特徴量ｘ₁₁を算出
する。また、輝度ヒストグラム差分算出処理部１９ｅ
が、“輝度ヒストグラムの絶対値差分値”の特徴量ｘ₁₂
を算出する。また、動きベクトル長算出処理部１９ｆ
が、“画面全体の平均動きベクトル長”の特徴量ｘ₁₃を
算出する。

【００４７】次に、“動き方向ヒストグラムの絶対値差
分和”の特徴量ｘ_i4の抽出方法について図を用いて説明
する。図５は、本発明の第一の実施形態におけるカット
検出装置１０の“動き方向ヒストグラムの絶対値差分
和”の特徴量ｘ_i4の抽出動作を示すフロー図である。ま
ず、ベクトル算出処理部１９ａが、映像データのフレー
ムを所定数のブロック（区画）に分割し、各ブロックに
おいてフレーム間の動きベクトルを算出する（ステップ
Ｓ３０ａ）。次に、分類区画数累計処理部１９ｂは、フ
レーム間において算出したブロック毎の動きベクトル
を、８方向に分類して、各方向に分類されたブロックの
数を累計した、方向別のブロック数のヒストグラムであ
る“動き方向ヒストグラム”を算出する（ステップＳ３
０ｂ）。

【００４８】次に、絶対値差分量算出処理部１９ｃは、
分類区画数累計処理部１９ｂの算出したフレーム間の
“動き方向ヒストグラム”と、該フレーム間に対して一
つ前のフレーム間の“動き方向ヒストグラム”との方向
別の差分を求め、該差分の絶対値の和である絶対値差分
和を算出する（ステップＳ３０ｃ）。以上により、情報
抽出処理部１９は、“動き方向ヒストグラムの絶対値差
分和”の特徴量ｘ_i4を映像データより抽出する。

【００４９】次に、判別関数計算処理部２０は、決定し
た判別関数（式３）へ抽出した特徴量を代入しｆ₁を計
算する（ステップＳ３１）。次に、カット部分識別処理
部２１は、判別関数計算処理部２０の計算結果ｆ₁を基
に、カット部分である（ｆ₁がプラス値）か、非カット
部分である（ｆ₁がマイナス値）かを識別する（ステッ
プＳ３２）。次に、上記の処理がカット検出中の映像デ
ータにおける最後のフレーム間についての処理でない場
合（ステップＳ３３のＮＯ）、次のフレーム間（サンプ
ル２）を処理する為、ステップＳ３０へ戻る。

【００５０】以上の処理をサンプル３、４、…と繰り返
すことにより、大量のフレーム数となる映像データのカ
ット検出を行う。また、上記の処理がカット検出中の映
像データにおける最後のフレーム間についての処理であ
った場合（ステップＳ３３のＹＥＳ）、カット検出の処
理を終了する。以上により、検出処理部１５は、“動き
方向ヒストグラムの絶対値差分和”を変数とする判別関
数を用いて映像データよりカット検出を行うことができ
る。

【００５１】次に、上述した本発明の実施形態に必須の
特徴項目である“動き方向ヒストグラムの絶対値差分
和”と合わせて判別関数に用いて効果的な特徴項目につ
いて説明する。“動き方向ヒストグラムの絶対値差分
和”と合わせて判別関数の特徴量として抽出して効果的
な特徴項目は“画面全体の平均動きベクトルの長”であ
る。この“画面全体の平均動きベクトルの長”のみを特
徴項目として判別関数に用いると、カット部分を見逃す
ことは少ないが、「動きの激しいシーン」をカット部分
として誤検出する場合が多い。そこで、「動きの激しい
シーン」の誤検出を防ぐための特徴項目“動き方向ヒス
トグラムの絶対値差分和”を加えた判別関数を用いるこ
とで飛躍的に誤検出を減らすことができる。

【００５２】ここで、「動きの激しいシーン」の多い映
像データの約１５００個のカット部分を検出する実験例
を以下に示す。“画面全体の平均動きベクトルの長”の
みが特徴項目の判別関数を用いてカット検出を行うと、
約３０００個をカット部分として検出した。すなわち、
３０００個のうち１５００個は誤検出である。ここで上
述した“動き方向ヒストグラムの絶対値差分和”を加え
た２つを特徴項目とする判別関数を用いると、約１５５
０個程度をカット部分として検出した。つまり、誤検出
は５０個程度であり、“動き方向ヒストグラムの絶対値
差分和”を加える前に比べて飛躍的に誤検出を減らす効
果が得られる。

【００５３】また、上述した“画面全体の平均動きベク
トルの長”、“動き方向ヒストグラムの絶対値差分和”
に、“ブロック色ヒストグラムの絶対値差分和”を特徴
項目として加えると、更に高精度に判別関数によるカッ
ト検出を行うことができる。なぜなら、“画面全体の平
均動きベクトルの長”、“動き方向ヒストグラムの絶対
値差分和”の特徴項目による判別関数では、薄暗いシー
ンでのカット部分の見逃してしまう場合があるが、“ブ
ロック色ヒストグラムの絶対値差分和”を特徴項目とし
て加えることで、フレーム全体の色の変化を特徴量とし
て抽出できるため、薄暗いシーンのため動きベクトル検
出の精度が悪くなっても、色を比較することでカット部
分の見逃しを減らすことができる。

【００５４】また、効果の具体例として、判別関数の評
価項目として、“ブロックＲＧＢ値の絶対値差分の合計
の平均値”、“ブロックＲＧＢ値の絶対値差分の合計の
分散値”、“ブロック色ヒストグラムの絶対値差分
和”、“画面全体の平均動きベクトル長”、“動き方向
ヒストグラムの絶対値差分和”、“動きベクトルの長さ
の分散”を用いて、映像データ（ニュース番組）を処理
した結果、適合率＝（検出した正解カット数／検出した
全カット数）×１００が８６．７％である。また、上述
した特徴項目より“動き方向ヒストグラムの絶対値差分
和”を削除した判別関数の場合は適合率が５７．４％で
あった。すなわち、“動き方向ヒストグラムの絶対値差
分和”を変数に含む判別関数を用いることで、カット検
出の精度の良さを示す適合率が約２９％向上する成果が
得られた。

【００５５】次に、本発明の第二の実施形態として、Ｓ
ＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎ
ｅ）という識別手法の識別関数を用いたカット検出装置
の概略構成について図を用いて説明する。図９は、本発
明の第二の実施形態として、ＳＶＭという識別手法の識
別関数を用いたカット検出装置の概略構成を示すブロッ
ク図である。この図において符号６０は、ＳＶＭという
識別手法の識別関数を用いて、映像データよりカット部
分を検出するカット検出装置である。尚、カット検出装
置６０のデータベース１２は上述した図１に示したデー
タベース１２と同様の構成であり、説明を省略する。

【００５６】尚、カット検出装置６０は、カット検出の
対象となる映像データを取得する場合に、映像データベ
ース１２ａより読み出す方法に限らない。即ち、映像デ
ータベース１２ａは、必ずしもカット検出装置６０が具
備する必要はない。他の方法として、カット検出装置６
０は、処理する映像データを、通信ネットワーク経由で
取得しても、ＣＤ−ＲＯＭ等の記録媒体より読み取って
も好適である。６１は、カット検出装置６０内のデータ
を制御する制御部である。

【００５７】次に、処理プログラム部６２について構成
を説明する。処理プログラム部６２には、学習情報デー
タベース１２ｂに格納されるカット部分、非カット部分
が既知の“映像データ”を基に、識別関数を決定する為
の学習処理を行う学習処理部６３と、映像データベース
１２ａに格納されるカット部分、非カット部分が未知の
映像データを基に、カット部分を検出する検出処理部６
４から成る。尚、本実施形態の識別関数とは、非線形Ｓ
ＶＭという識別手法に用いられる関数である。また、本
発明の識別関数は、上述した識別関数に限定されるもの
ではなく、多変量解析やパターン認識に用いる種々の識
別関数を用いて好適である。

【００５８】上記非線形ＳＶＭという識別手法に用いら
れる識別関数について一例を示して更に説明する。対象
となるサンプルより抽出した特徴量（ｘ_i1、ｘ_i2、
ｘ_i3、ｘ _i4）から、特徴ベクトルｘ_i（以下、Ｘ_iとす
る）が求まる。この時に、Ｘ_iを変数とする識別関数ｆ
（Ｘ_i）は、以下の（式４）で表される

【数２】 以上の（式４）において、 φ：非線形関数 重みベクトルｗ＝（ｗ₁、ｗ₂、ｗ₃、…ｗ_d）：重みベク
トル（ｄは次元数） ｊ：サポートベクトルの数（１〜ｎ） サポートベクトルｘ_j＝（ｘ_1j、ｘ_2j、ｘ_3j、…ｘ_dj）
：サポートベクトル ｙ_j：サポートベクトルｘ_jがカット部分の時＝１、非カ
ット部分の時＝−１ λ_j：正の乗数 Ｋ：カーネル関数 ｂ^*：識別関数の定数項

【００５９】この（式４）にｉ番目のフレーム間から抽
出したＸ_i（特徴ベクトルｘ_i）を入力することで識別関
数ｆ（Ｘ_i）の値を求める。ｆ（Ｘ_i）≧１なら、映像デ
ータのｉ番目のフレーム間はカット部分である。ｆ（Ｘ
_i）≦−１なら、映像データのｉ番目のフレーム間は非
カット部分である。以上のように、（式４）に示した識
別関数ｆ（Ｘ_i）を用いてカット部分を識別する。ま
た、（式４）の識別関数に入力する特徴量は上述した限
りではなく、（式１）において説明した種々の特徴項目
を用いてよい。また、特徴項目の内容、数、組み合わせ
も、精度よく映像データよりカット検出するために適時
変更して好適である。

【００６０】次に、学習処理部６３について説明する。
特徴情報抽出処理部６５は、上述した特徴情報抽出処理
部１６と同様に４つの特徴項目について、学習情報デー
タベース１２ｂより読み出したカット部分、非カット部
分が既知の“映像データ”より特徴量（ｘ_i1、ｘ_i2、ｘ
_i3、ｘ_i4）を含む特徴情報抽出する。尚、特徴情報抽出
処理部６５は、上述したベクトル算出処理部１９ａ、分
類区画数累計処理部１９ｂ、絶対値差分量算出処理部１
９ｃ、輝度絶対値差分算出処理部１９ｄ、輝度ヒストグ
ラム差分算出処理部１９ｅ、動きベクトル長算出処理部
１９ｆを具備する。次に、特徴情報抽出処理部６５は、
抽出したカット部分、非カット部分における特徴情報を
基に、特徴ベクトルであるＸ_iを算出する。

【００６１】また、識別関数決定処理部６６は、情報抽
出処理部６５が算出したＸ_iの中より識別関数すなわち
識別境界を決めるサポートベクトルｘ_j（以下、Ｘ_jとす
る）を抽出し、λ_j、ｂ^*の値を決定する。以上により、
識別関数決定処理部６６は、（式４）に示す識別関数を
決定する。

【００６２】次に、検出処理部６４について、以下に説
明する。情報抽出処理部６７は、上述した情報抽出処理
部１９の動作と同様に映像データベース１２ａより参照
する映像データより、特徴量（ｘ_i1、ｘ_i2、ｘ_i3、
ｘ_i4）を含む特徴情報を抽出する。すなわち、情報抽出
処理部６７は、上述したベクトル算出処理部１９ａ、分
類区画数累計処理部１９ｂ、絶対値差分量算出処理部１
９ｃ、輝度絶対値差分算出処理部１９ｄ、輝度ヒストグ
ラム差分算出処理部１９ｅ、動きベクトル長算出処理部
１９ｆを具備する。次に、情報抽出処理部６７は、抽出
した特徴情報を基に識別関数決定処理部６６が生成した
識別関数（式４）に代入する特徴ベクトルＸ _iを算出す
る。

【００６３】識別関数計算処理部６８は、情報抽出処理
部６７が算出した特徴ベクトルＸ_iを識別関数（式４）
へ代入し計算する。カット部分識別処理部６９は、識別
関数計算処理部６８の計算結果を基に、カット部分であ
るか非カット部分であるかを識別する。以上により、検
出処理部６４は、識別関数（式４）を用いて映像データ
ベース１２ａより参照する映像データの各フレーム間に
対してカット部分、非カット部分を識別してカット検出
を行う。

【００６４】尚、図１および図９に示した各処理部は専
用のハードウェアにより実現されるものであってもよ
く、また、各処理部はメモリおよびＣＰＵ（中央演算装
置）により構成され、各処理部の機能を実現する為のプ
ログラムをメモリにロードして実行することによりその
機能を実現させるものであってもよい。また、上記メモ
リは、ハードディスク装置や光磁気ディスク装置、フラ
ッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等
の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏ
ｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメ
モリ、あるいはこれらの組み合わせによるコンピュータ
読み取り、書き込み可能な記録媒体より構成されるもの
とする。

【００６５】次に、上述したカット検出装置６０の動作
について図を用いて説明する。まず、学習処理部６３の
動作についての説明を以下に示す。図１０は、本発明の
第二の実施形態におけるカット検出装置６０の学習動作
を示すフロー図である。まず、学習情報データベース１
２ｂよりカット部分が既知の映像データを読み出し、特
徴情報抽出処理部６５は、設定した四つの特徴項目につ
いて、特徴量（ｘ_i1、ｘ_i2、ｘ_i3、ｘ_i4）を含む特徴情
報の抽出を行う（ステップＳ６０）。特徴情報抽出処理
部６５は、抽出した特徴情報を基に、特徴ベクトルＸ_i
を算出する（ステップＳ６１）。次に、識別関数決定処
理部６６は、情報抽出処理部６５が算出したＸ_iの中よ
りサポートベクトルＸ_jを抽出し（式４）のλ_j、ｂ^*の
値を決定することで、識別関数（式４）を生成する。
（ステップＳ６２）。

【００６６】以上により、学習処理部６３は、“動き方
向ヒストグラムの絶対値差分和”の特徴量を変数として
含む特徴量を用いた、カット部分を識別するための識別
関数を、学習処理により生成することができる。

【００６７】次に、検出処理部６４の動作について説明
する。図１１は、本発明の第二の実施形態におけるカッ
ト検出装置６０のカット検出動作を示すフロー図であ
る。まず、映像データベース１２ａよりカット部分、非
カット部分が未知の映像データを読み出し、最初のフレ
ーム間（サンプル１）について情報抽出処理部６７は、
特徴量（ｘ₁₁、ｘ₁₂、ｘ₁₃、ｘ₁₄）を含む特徴情報の抽
出を行う（ステップＳ７０）。この時、輝度絶対値差分
算出処理部１９ｄが、“輝度の絶対値差分の平均値”の
特徴量ｘ₁₁を算出する。また、輝度ヒストグラム差分算
出処理部１９ｅが、“輝度ヒストグラムの絶対値差分
値”の特徴量ｘ₁₂を算出する。また、動きベクトル長算
出処理部１９ｆが、“画面全体の平均動きベクトル長”
の特徴量ｘ₁₃を算出する。また、ベクトル算出処理部１
９ａおよび分類区画数累計処理部１９ｂおよび絶対値差
分量算出処理部１９ｃが“動き方向ヒストグラムの絶対
値差分和”の特徴量ｘ_i4を算出する。

【００６８】次に、情報抽出処理部６７は、学習処理部
６３が生成した識別関数（式４）に代入するために、抽
出した特徴情報を基にサンプル１の特徴ベクトルである
Ｘ₁を算出する（ステップＳ７１）。次に、識別関数計
算処理部６８は、情報抽出処理部６７が算出した特徴ベ
クトルＸ₁を識別関数（式４）へ代入しｆ（Ｘ₁）を計算
する（ステップＳ７２）。次に、カット部分識別処理部
６９は、識別関数計算処理部６８の計算結果ｆ（Ｘ₁）
を基に、サンプル１がカット部分（ｆ（Ｘ_i）≧１）で
あるか、非カット部分（ｆ（Ｘ_i）≦−１）であるかを
識別する（ステップＳ７３）。次に、上記の処理がカッ
ト検出中の映像データにおける最後のフレーム間につい
ての処理でない場合（ステップＳ７４のＮＯ）、次のフ
レーム間（サンプル２）を処理する為、ステップＳ７０
へ戻る。

【００６９】以上の処理をサンプル３、４、…と繰り返
すことにより、大量のフレーム数となる映像データのカ
ット検出を行う。また、上記の処理がカット検出中の映
像データにおける最後のフレーム間についての処理であ
った場合（ステップＳ７４のＹＥＳ）、カット検出の処
理を終了する。以上により、検出処理部６４は、“動き
方向ヒストグラムの絶対値差分和”を特徴量として含む
特徴ベクトルＸ_iを変数とする識別関数（式４）を用い
て映像データよりカット検出を行うことができる。

【００７０】尚、判別関数生成処理部１７または識別関
数決定処理部６６は、映像データの内容（以下、カテゴ
リとする）別（各種のスポーツ中継、ニュース、ドラマ
など）に判別関数または識別関数を生成して好適であ
る。これにより、カテゴリ別の映像データに特徴的なシ
ーンをカット部分または非カット部分として検出するの
に有効な特徴項目を変数とする判別関数または識別関数
を生成できる。また、検出処理部１５または検出処理部
６４においては、まず、映像データのカテゴリを判別
し、該カテゴリ用の判別関数または識別関数を用いて該
映像データのカット検出を行う。これにより、より精度
のよいカット検出を行うことができる。

【００７１】また、図１および図９において各種処理を
行う処理部の機能を実現する為のプログラムをコンピュ
ータ読み取り可能な記録媒体に記録して、この記録媒体
に記録されたプログラムをコンピュータシステムに読み
込ませ、実行することにより各処理を行っても良い。な
お、ここでいう「コンピュータシステム」とは、ＯＳや
周辺機器等のハードウェアを含むものとする。また、
「コンピュータシステム」とは、ＷＷＷシステムを利用
している場合であれば、ホームページ提供環境（あるい
は表示環境）も含むものとする。

【００７２】また、「コンピュータ読み取り可能な記録
媒体」とは、フレキシブルディスク、光磁気ディスク、
ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシス
テムに内蔵されるハードディスク等の記憶装置のことを
いう。さらに「コンピュータ読み取り可能な記録媒体」
とは、インターネット等のネットワークや電話回線等の
通信回線を介してプログラムが送信された場合のサーバ
やクライアントとなるコンピュータシステム内部の揮発
メモリ（ＲＡＭ）のように、一定時間プログラムを保持
しているものも含むものとする。

【００７３】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。

【００７４】また、上記プログラムは、前述した機能の
一部を実現する為のものであっても良い。さらに、前述
した機能をコンピュータシステムに既に記録されている
プログラムとの組み合わせで実現できるもの、いわゆる
差分ファイル（差分プログラム）であっても良い。以
上、この発明の実施形態について図面を参照して詳述し
てきたが、具体的な構成はこの実施形態に限られるもの
ではなく、この発明の要旨を逸脱しない範囲の設計等も
含まれる。

【００７５】

【発明の効果】以上、説明したように、本発明によるカ
ット検出装置においては、連続するフレームから成る映
像データの時間変化の中よりカット部分を検出するカッ
ト検出装置であって、フレームを所定数の区画に分割
し、各区画においてフレーム間の動きベクトルを算出す
るベクトル算出手段と、フレーム間において算出した区
画毎の動きベクトルを、所定数の方向に分類して、各方
向に分類された動きベクトルと対応する区画の数を累計
して方向別区画数を算出する分類区画数累計手段と、フ
レーム間の方向別区画数と、該フレーム間に対して前ま
たは後のフレーム間の方向別区画数との方向別の差分を
求め、該差分の絶対値を基に絶対値差分量を算出する絶
対値差分量算出手段と、算出した絶対値差分量を基に、
映像データよりカット部分を検出するカット部分検出手
段とを具備するので、映像データのフレーム間より抽出
した動きベクトルの方向別の方向別区画数（ヒストグラ
ム）の絶対値差分量を考慮したカット検出を行うことが
できる。

【００７６】これにより、映像データより「動きの激し
いシーン」を「カット部分」と誤検出する確率を低減し
たカット検出を行うことができる。また、映像データよ
りカット部分を自動で検出できることは、表示手段によ
りカット部分の画像の一覧を表示できるので、映像デー
タに含まれている多数のシーンの全体像を簡便に把握す
ることができる。さらには、ネットワーク上で映像デー
タを配信する際に、該映像データの内容を、シーン単位
で検索し、シーン単位で配信するシステムを簡便に構築
することも可能となる。

【００７７】また、本発明によるカット検出装置におい
ては、上記ベクトル算出手段と、上記分類区画数累計手
段と、上記絶対値差分量算出手段とを備え、映像データ
より上記絶対値差分量を含む複数の特徴項目についての
特徴量である特徴情報を抽出する情報抽出手段を更に具
備し、上記カット部分検出手段は、特徴情報に含まれる
特徴量を識別関数へ代入計算する識別関数計算手段と、
識別関数計算手段の計算結果を基に、カット部分である
かどうかを識別するカット部分識別手段とを具備するの
で、動きベクトルの方向別の方向別区画数（ヒストグラ
ム）の絶対値差分量を特徴量として映像データより抽出
し、該特徴量を変数とする識別関数を用いてカット部分
であるか非カット部分であるかの識別を行うことができ
る。

【００７８】これにより、映像データより抽出した複数
の特徴項目に任意の重み付けを付与して処理できるの
で、各特徴項目の重み付けに応じて、全ての特徴項目を
考慮したカット検出を行うことができる。

【００７９】また、本発明によるカット検出装置におい
ては、カット部分が既知の映像データを基に、映像デー
タより上記絶対値差分量を含む複数の特徴項目について
の特徴量である特徴情報を抽出し、カット部分および非
カット部分のどちらから抽出したかを識別する情報を特
徴情報に含める特徴情報抽出手段と、特徴情報を基に識
別関数の係数を求め、識別関数を生成する識別関数生成
手段とを更に具備するので、動きベクトルの方向別の方
向別区画数（ヒストグラム）の絶対値差分量を少なくと
も含む特徴項目を用いて、映像データのカット部分の特
徴量と、非カット部分の特徴量の違いを基に識別関数を
生成できる。

【００８０】これにより、識別に貢献している特徴量を
変数とする識別関数を生成することができる。以上によ
り、簡便に精度のよいカット検出を行うことができる。

【００８１】また、本発明によるカット検出装置におい
ては、識別関数生成手段の生成した識別関数の係数が、
有意なものか所定の計算式により検定する係数検定手段
を更に具備し、上記係数検定手段が、有意でないと検定
した係数がある場合、識別関数生成手段は、有意でない
と検定された係数に対応する特徴情報を除いた特徴情報
を基に、識別関数の係数を求め、識別関数を生成するの
で、生成した識別関数の係数が、有意なものであるか統
計的に判別を行う所定の計算式を用いて計算すること
で、係数の有意について検定することができる。また、
種々の特徴項目よりカット検出に有効でない特徴項目を
削除して、有効な特徴項目のみに絞り込んだ識別関数を
生成することができる。これにより、映像データの内容
に合わせて、より精度よくカット検出を行うように、映
像データの内容別に、特徴項目の違う識別関数を生成す
ることができる。

【００８２】また、本発明によるカット検出装置におい
ては、上記識別関数として判別関数を用いるので、識別
に貢献する特徴量のみを用いた判別関数でカット部分の
検出しを行うことができる。これにより、簡便に高精度
な判別が期待できる判別器である線形判別分析を用い
て、カット部分および非カット部分の検出を行うことが
できる。

【図面の簡単な説明】

【図１】 本発明の第一の実施形態による識別関数とし
て判別関数を用いたカット検出装置の概略構成を示すブ
ロック図である。

【図２】 本発明の第一の実施形態における情報抽出処
理部１９の内部の概略構成を示すブロック図である。

【図３】 本発明の第一の実施形態におけるカット検出
装置１０の学習動作を示すフロー図である。

【図４】 本発明の第一の実施形態におけるカット検出
装置１０のカット検出動作を示すフロー図である。

【図５】 本発明の第一の実施形態におけるカット検出
装置１０の“動き方向ヒストグラムの絶対値差分和”の
特徴量ｘ_i4の抽出動作を示すフロー図である。

【図６】 本発明の第一の実施形態における学習情報デ
ータベース１２ｂの構成例を示す図である。

【図７】 本発明の第一の実施形態によるカット検出装
置１０が映像データより抽出する特徴量を示す図であ
る。

【図８】 本発明の第一の実施形態における“動き方向
ヒストグラムの絶対値差分和”の有効性を示す図であ
る。

【図９】 本発明の第二の実施形態によるＳＶＭという
識別手法の識別関数を用いたカット検出装置の概略構成
を示すブロック図である。

【図１０】 本発明の第二の実施形態におけるカット検
出装置６０の学習動作を示すフロー図である。

【図１１】 本発明の第二の実施形態におけるカット検
出装置６０のカット検出動作を示すフロー図である。

【符号の説明】

１０、６０ カット検出装置 １１、６１ 制御部 １２ データベース １２ａ 映像データベース １２ｂ 学習情報データベース １３、６２ 処理プログラム部 １４、６３ 学習処理部 １５、６４ 検出処理部 １６、６５ 特徴情報抽出処理部 １７ 判別関数生成処理部 １８ 係数検定処理部 １９、６７ 情報抽出処理部 １９ａ ベクトル算出処理部 １９ｂ 分類区画数累計処理部 １９ｃ 絶対値差分量算出処理部 １９ｄ 輝度絶対値差分算出処理部 １９ｅ 輝度ヒストグラム差分算出処理部 １９ｆ 動きベクトル長算出処理部 ２０ 判別関数計算処理部 ２１、６９ カット部分識別処理部 ６６ 識別関数決定処理部 ６８ 識別関数計算処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂野 鋭 東京都江東区豊洲三丁目３番３号 株式会 社エヌ・ティ・ティ・データ内 Ｆターム(参考） 5C053 FA14 FA23 GA11 GB37 HA40 KA30 LA14 5L096 HA04 JA11

Claims (6)

【特許請求の範囲】
1. 【請求項１】 連続するフレームから成る映像データの
   時間変化の中よりカット部分を検出するカット検出装置
   であって、 前記フレームを所定数の区画に分割し、各区画において
   前記フレーム間の動きベクトルを算出するベクトル算出
   手段と、 前記フレーム間において算出した前記区画毎の動きベク
   トルを、所定数の方向に分類して、各方向に分類された
   前記動きベクトルと対応する前記区画の数を累計して方
   向別区画数を算出する分類区画数累計手段と、 前記フレーム間の前記方向別区画数と、該フレーム間に
   対して前または後のフレーム間の前記方向別区画数との
   方向別の差分を求め、該差分の絶対値を基に絶対値差分
   量を算出する絶対値差分量算出手段と、 算出した前記絶対値差分量を基に、前記映像データより
   前記カット部分を検出するカット部分検出手段とを具備
   することを特徴とするカット検出装置。
2. 【請求項２】 前記ベクトル算出手段と、前記分類区画
   数累計手段と、前記絶対値差分量算出手段とを備え、前
   記映像データより前記絶対値差分量を含む複数の特徴項
   目についての特徴量である特徴情報を抽出する情報抽出
   手段を更に具備し、 前記カット部分検出手段は、 前記特徴情報に含まれる特徴量を識別関数へ代入計算す
   る識別関数計算手段と、 前記識別関数計算手段の計算結果を基に、前記カット部
   分であるかどうかを識別するカット部分識別手段とを具
   備することを特徴とする請求項１に記載のカット検出装
   置。
3. 【請求項３】 カット部分が既知の映像データを基に、
   前記映像データより前記絶対値差分量を含む複数の特徴
   項目についての特徴量である特徴情報を抽出し、カット
   部分および非カット部分のどちらから抽出したか識別す
   る情報を前記特徴情報に含める特徴情報抽出手段と、 前記特徴情報を基に前記識別関数の係数を求め、前記識
   別関数を生成する識別関数生成手段とを更に具備するこ
   とを特徴とする請求項２に記載のカット検出装置。
4. 【請求項４】 前記識別関数生成手段の生成した前記識
   別関数の係数が、有意なものか所定の計算式により検定
   する係数検定手段を更に具備し、 前記係数検定手段が、有意でないと検定した係数がある
   場合に、前記識別関数生成手段は、有意でないと検定さ
   れた係数に対応する特徴情報を除いた特徴情報を基に、
   前記識別関数の係数を求め、前記識別関数を生成するこ
   とを特徴とする請求項２または請求項３に記載のカット
   検出装置。
5. 【請求項５】 前記識別関数として判別関数を用いるこ
   とを特徴とする請求項２から請求項４のいずれかに記載
   のカット検出装置。
6. 【請求項６】 連続するフレームから成る映像データの
   時間変化の中よりカット部分を検出するカット検出方法
   のプログラムであって、 前記フレームを所定数の区画に分割し、各区画において
   前記フレーム間の動きベクトルを算出するステップと、 前記フレーム間において算出した前記区画毎の動きベク
   トルを、所定数の方向に分類して、各方向に分類された
   前記区画の数を累計して方向別区画数を算出するステッ
   プと、 前記フレーム間の前記方向別区画数と、該フレーム間の
   前または後のフレーム間の前記方向別区画数との方向別
   の差分を求め、該差分の絶対値の和である絶対値差分量
   を算出するステップと、 算出した前記絶対値差分量を基に、前記映像データより
   前記カット部分を検出するステップとをコンピュータへ
   実行させるためのプログラム。