JP2003530027A - ビデオ信号分析及び蓄積 - Google Patents

Abstract

(57)【要約】 シーンカットを検出する方法において、特定のパラメータの幾つかの周波数帯をわたって変化を検出するために、圧縮されたオーディオデータが分析される。オーディオデータは、各サンプルと複数のオーディオ周波数帯に対して、その周波数帯の圧縮されたオーディオデータの最大値を示すパラメータを含む。この方法は、幾つかの周波数帯の各々に対して、幾つかの連続するサンプルのパラメータの平均を決定するステップと、幾つかの周波数帯の各々に対して、数Ｍの連続する決定された平均にわたる、決定された平均の変化を示す変化パラメータを計算するステップと、所定の数の周波数帯の変化パラメータをしきい値と比較するステップと、シーンカットが起こったか否かを比較から決定するステップとを有する。

Description

【発明の詳細な説明】

【０００１】 本発明は、オーディオストリームがディジタル的に圧縮された、オーディオと
ビデオを含むデータストリームの処理で使用する方法と装置に関し、排他的では
ないが、特に、シーン変化の自動検出と記録に関する。

【０００２】 従来の幾つかの文献で”シーン変化”又は”シーンカット”と呼ばれているも
のと、ここで使用するこれらの用語の意味の間に区別がされる。これらの従来の
文献では、用語”シーン変化”（”編集点”及び”ショットカット”のように様
々に呼ばれる）は、ビデオの編集により生じるビデオストリーム内の不連続性又
は、シーン中のカメラショットの変化を指すのに使用されている。適切なそのよ
うなものは、ここでは”ショット変化”又は、”ショットカット”と呼ぶ。ここ
で使用するように、”シーン変化”又は”シーンカット”は、表示される素材内
の状況の変化により付随する点である。例えば、シーンは、２つのカメラの間の
ショット変化を繰り返しながら、それぞれの俳優の顔に焦点を合わせて、そして
、おそらく１つ又はそれ以上の追加のカメラが更に広い又は異なるアングルのシ
ョットを与えながら、２人の俳優が話しているのを映すことがある。シーン変化
は、演技場所又は時間の変化があるところでのみ発生する。

【０００３】 シーン変化の検出と記録のための方法とシステムの例は、国際特許出願番号Ｗ
Ｏ９８／４３４０８に開示されている。開示された方法とシステムでは、記録さ
れたオーディオストリームの背景レベルの変化が、再生中に使用されるオーディ
オとビデオデータと共に蓄積される、カットを決定するのに使用されている。オ
ーディオ背景レベルの不連続性を検出することにより、シーン変化が、背景オー
ディオレベルが一般的に一定に保たれる、単なるショット変化から識別されそし
て区別される。

【０００４】 近年のオーディオ−ビデオ技術の進歩で、オーディオとビデオストリームの両
方にディジタル圧縮を使用するのが一般的になってきている。オーディオ−ビジ
ュアルストリームの圧縮は、特に進歩しており、更なるデータを同じ容量の媒体
に蓄積することができ、そして、蓄積されたデータの複雑さは上昇された蓄積容
量の増加により増加されている。しかしながら、データを圧縮することの欠点は
、上述のような方法とシステムを適用するために、生のデータを処理できるよう
に、オーディオ−ビジュアルストリームを最初に逆圧縮する必要があることであ
る。使用されている圧縮と逆圧縮アルゴリズムが複雑ならば、これは計算的に高
価な処理となる。

【０００５】 本発明は、逆圧縮の必要なしに、対応するディジタル的に圧縮されたオーディ
オストリームを使用してビデオストリーム内のシーン変化を検出する手段を提供
することを目的とする。

【０００６】 ＭＰＥＧオーディオやドルビーＡＣ−３のような、ディジタルオーディオ圧縮
システムでは、未圧縮ディジタルオーディオに、周波数に基づく変換が適用され
る。これらの変換は、オーディオビットレートを減少させるために、知覚できな
い音を除去することができるように、人間の聴覚モデルを適用することを可能と
する。復号されたときに、これらの周波数変換は、元の信号に対応するオーディ
オ信号を発生するために逆に行われる。

【０００７】 ＭＰＥＧオーディオの場合には、時間−周波数オーディオ信号がサブバンドと
呼ばれる部分に分割される。各サブバンドは、元の信号内の周波数範囲を指し、
最も低い周波数をカバーするサブバンド０から開始して、最も高い周波数をカバ
ーするサブバンド３２までである。各サブバンドは、復号処理で使用する、関連
するスケールファクタと係数の組みを有する。各スケールファクタは、サブバン
ドサンプルの最大絶対値を決定することにより計算され、そして、その値を６ビ
ットに量子化する。スケールファクタは、サブバンドの係数に適用される乗数で
ある。大きなスケールファクタは一般的には、その周波数範囲内に強い信号があ
ることを示し、一方小さなスケールファクタは、その周波数範囲内に低い信号が
あることを示す。

【０００８】 本発明の１つの特徴に従って、オーディオデータが、各サンプルに対して且つ
複数のオーディオ周波数帯に対して、その周波数帯に対する圧縮されたオーディ
オデータの最大値を示すパラメータを含む、圧縮されたオーディオデータを分析
することにより、シーンカットを検出する方法であって、 幾つかの周波数帯の各々に対して、幾つかの連続するサンプルに対するパラメ
ータの平均を決定するステップと、 幾つかの周波数帯の各々に対して、数Ｍの、連続する決定された平均にわたる
、決定された平均の変化を示す変化パラメータを計算するステップと、 有する所定の数の周波数帯に対する変化パラメータをしきい値と比較するステ
ップと、 比較結果から、シーンカットが発生したか否かを決定するステップとを有する
方法が提供される。

【０００９】 本発明に従って、特定の周波数帯のオーディオ変化が、最大値パラメータの平
均とそれに続いてこれらの平均値の幾つかにわたり分散を計算することにより、
計算される。本発明は、圧縮オーディオデータの一部を構成する最大値パラメー
タを使用し、それにより、データの分析前に逆圧縮を行う必要を回避する。

【００１０】 圧縮方法は、ＭＰＥＧ圧縮を含んでも良く、その場合には、最大値パラメータ
がスケールファクタを含み、そして，周波数帯は、ＭＰＥＧ圧縮機構のサブバン
ドを含む。

【００１１】 変化パラメータは平均スケールファクタの分散であることが好ましく、そして
、分散がこれらの平均のスケールファクタの移動平均よりも大きい場合には、こ
れが、このサブバンド内のオーディオ信号の大きな変化を示す。

【００１２】 選択された番号のサブバンドを介したこの性質の分析は、シーンカットが発生
したことを暗示する、オーディオストリーム内の大きな変化があったかどうかを
決定するのに使用される。

【００１３】 分散チェックで使用される平均計算の数を増加させることにより、検出率を改
善することが可能である。しかしながら、これは、シーンカット評価に要求され
るデータの時間の長さを増加する効果を有し、これにより、シーンカットを決定
できるタイミングの精度を減少する。

【００１４】 本発明の例を添付の図面を参照して詳細に説明する。

【００１５】 図１ａは、本発明に従った方法のステップを示す概略のブロック図である。６
サンプルブロック４０ａから４０ｆが示されており、各々のサンプルブロックは
、所定の数のオーディオデータサンプルを示す。説明する例では、各サンプルブ
ロックは、０．５秒のオーディオの圧縮されたオーディオデータを含む。、各サ
ンプルブロック４０に対して、サブバンド０−３１が示されている。各サブバン
ド０から３１は、それぞれの周波数帯に関するデータを供給する。ＭＰＥＧオー
ディオ圧縮の例を使用すると、各０．５ｓサンプルブロック４０を構成するオー
ディオサンプルに対するスケールファクタは、図１ａの個々の配列位置に記憶さ
れる。

【００１６】 サブバンドのサブセットに対して、スケールファクタの平均が各サンプルブロ
ックに対して、即ち、各０．５秒期間にわたる平均スケールファクタが、計算さ
れる。この平均スケールファクタは配列５０ａ−５０ｑに蓄積され、各サンプル
ブロック４０に対して、

【００１７】

【数１】 を含む。

【００１８】 配列５０ａ−５０ｑは、多次元であり、各サブバンドに対するいくつかの平均
計算を蓄積するのが可能であり、それにより、複数のサンプルブロック４０ａ−
４０ｆに対する平均スケールファクタを含む。

【００１９】 平均計算は、各サブバンドに対して、幾つかのサンプルブロック４０に対して
、所定の数の計算が行われるまで繰返され、そして、結果が配列５０ａ−５０ｑ
に蓄積される。この例では、各サブバンドに対して、８つの平均計算値がそれぞ
れの配列要素５０ａ−５０ｑ蓄積される。このように、平均計算値は、８つの０
．５秒サンプルブロックをカバーする（しかし、図１ａでは、６つのみが示され
ている）。一度平均計算値の８つの組みが、各サブバンドに対するそれぞれの配
列要素５０ａ−５０ｑに蓄積されると、図１ｂに示すように分散動作が行われる
。

【００２０】 配列５０ａ−５０ｑに蓄積された８の平均解散値の各組に対する統計的な分散
が計算されそして、対応する配列要素６０ａ−６０ｑに蓄積される。どの１つの
時間期間でもサブバンドの少なくとも５０％の分散が移動平均値よりも大きい場
合には、潜在的なシーンカットを注意する。

【００２１】 一旦８の平均計算値の各組に対する分散計算が決定されそして蓄積されると、
最も前の平均計算値がそれぞれの配列要素５０ａ−５０ｑから削除され、そして
、残りの７の平均計算値が、それぞれの配列要素５０ａ−５０ｑ内で１つの位置
だけ進められ、新たな平均計算のための空間が作られる。このように、各サブバ
ンドに対する分散が、移動窓を介して計算され、図１ｃに示されているように、
毎０．５秒毎にこれが更新される。

【００２２】 図１ｃは、１つのサブバンドに対して行われる計算を、グラフィック的に説明
するのに使用する。図１ｃでは、各データ要素４２は、ある周波数帯内の１つの
サンプルに対するスケールファクタを含む。例えば、６つのサンプル４０が０．
５秒サンプルブロックを構成するのに示されている。そして、各サンプルブロッ
クに対する６つのサンプルのスケールファクタの平均Ｍ１−Ｍ９が、計算される
。

【００２３】 平均Ｍ１−Ｍ９の８の連続する値の分散が計算され、分散Ｖ１とＶ２を時間順
に与える。このように、示されているように、Ｖ１は平均Ｍ１からＭ８に対する
分散であり、そして、Ｖ２は平均Ｍ２からＭ９に対する分散である。分散Ｖ１は
、平均Ｍ１からＭ８の平均と比較される等である。

【００２４】 図１ｄは、時間にわたり、１つのサブバンドに対して、移動平均８０に対して
プロットされた分散７０を示すグラフである。明らかに、移動平均に対する分散
の比較は、一度全ての分散が計算され又は、一度ある時間期間に対して各サブバ
ンドの分散が計算されて、行われることが可能である。

【００２５】 図２は、本発明の特徴に従って、シーンカットを検出する方法を実行するステ
ップのフローチャートである。フローチャートは、ステップ９９で開始し、ステ
ップ１００で、圧縮されたオーディオストリームの各サブバンドからのデータ部
分（１０１で示されている）がバッファ内にロードされる。この例では、その部
分は、継続時間が０．５秒に設定されている。ステップ１１０で、各サブバンド
に対して、データのロードされた部分のスケールファクタの平均値が、計算され
る。スケールファクタの平均値は、１１１で記憶される。チェックステップ１１
２は、所定の数、この例では８、の平均値が計算されそして、各サブバンドに対
して記憶されるまで、ステップ１００と１１０をオーディオデータストリームの
後続部分に対して繰返させる。ステップ１２０では、分散（ＶＡＲ）計算が、各
サブバンドの８の平均計算値に対して行われそして、１２１で蓄積される。１２
２で、メモリ１１１からの平均値の以前の組の消去に続き、計算された分散は、
ステップ１３０で、移動平均と比較され、サブバンドの５０％まそれ以上の分散
が、移動平均よりも大きい場合には、データストリームは、ステップ１４０で、
潜在的なシーンカットとしてマークされる。

【００２６】 ステップ１４０での、潜在的なカットのマーキングに続き、又は、ステップ１
３０でのサブバンドの５０％まそれ以上の分散が、移動平均よりも大きいという
決定に続き、１２１で蓄積された分散（ＶＡＲ）は、ステップ１４１で消去され
る。チェック１４２は、ストリームのエンド（ＥＯＳ）に達したか否かを決定し
、達していない場合には、処理はステップ１００に戻り、達している場合には、
処理は１４３で終了する。

【００２７】 図３は、本発明の特徴に従った、シーンカットの検出に使用するシステムの概
略ブロック図を示す。例えば、ハードディスク又は、ディジタルバーサタイルデ
ィスク（ＤＶＤ）のような、コンピュータ読出し可能な蓄積媒体である、オーデ
ィオビジュアルデータ１０のソースは、メモリ３０に接続されたプロセッサ２０
に接続されている。プロセッサ２０は、順次にオーディオストリームを読み、そ
して、各サブバンドを０．５秒期間に分割する。図１の方法は、シーンカットを
決定するために、分割されたオーディオデータが与えられる。各シーンカットに
対する時間ポイントは、データ蓄積装置１０又は、更なるデータ蓄積装置上のい
ずれかに、記録される。

【００２８】 実験的な分析では、０．５秒の時間期間が、平均計算に使用され、そして、最
後の８つの平均計算が決定された。シーンカットが決定されるためには、サブバ
ンドの５０％が移動平均よりも大きくなければならないように、しきい値が設定
された。これらのパラメータは、シーンカットの発生から４秒以内に、シーンカ
ットが決定されることを可能とした。

【００２９】 ＭＰＥＧ符号化されたオーディオに対しては、シーンカットを決定するために
、サブバンド１から１７のみがこのように分析されるのが最も良い結果を達成す
るということが分かった。実験的な分析を実行するために実施された基本的なコ
ンピュータアルゴリズムは、ペンティアム（ペンティアムはインテルコーポレー
ションの登録商標です）Ｐ１６６ＭＭＸプロセッサで、１５％のＣＰＵ時間のみ
を要することが示されている。明らかに、処理されるべきサブバンドの選択を、
必要とされる精度とプロセッサの処理能力に依存して変えることが可能である。

【００３０】 当業者には、本発明の方法とシステムは、シーンカットの検出を更に改善する
ためにビデオ処理方法と組み合わせてもよく、結果の組合せは、各システムが別
々にシーンカット位置を決定して又は、シーンカットを示すしきい値を送るため
にオーディオとビジュアルの指示の両方を要求とすることによりシーンカットを
決定するために組合せての、何れかで使用される。

【００３１】 特定の計算を詳細に説明したが、当業者には、様々な他の特定の計算が認識さ
れる。８つのサンプルブロックの計算と０．５秒のサンプルブロック継続時間の
説明は、制限をすることを意図していない。更に、分散以外に、サンプルの変化
を示すパラメータを得るさまざまな統計計算がある。例えば、標準偏差の計算は
、同じように適用可能である。分散値が、上述した移動平均以外の一定の数値と
比較されてもよい。これらの全ての変形は、当業者には明らかであろう。

【図面の簡単な説明】

【図１ａ】 本発明に従った方法のステップを説明する概略の図である。

【図１ｂ】 本発明に従った方法のステップを説明する概略の図である。

【図１ｃ】 本発明に従った方法のステップを説明する概略の図である。

【図１ｄ】 本発明に従った方法のステップを示すグラフである。

【図２】 本発明の１つの特徴に従った、シーンカットを検出する方法で実行されるステ
ップのフローチャートを示す図である。

【図３】 本発明の他の特徴に従った、シーンカットを検出する装置の概略ブロック図で
ある。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA14 GB11 GB37 JA12 5D045 DA20

Claims (9)

【特許請求の範囲】
1. 【請求項１】 オーディオデータが、各サンプルに対して且つ複数のオーデ
   ィオ周波数帯に対して、その周波数帯に対する圧縮されたオーディオデータの最
   大値を示すパラメータを含む、圧縮されたオーディオデータを分析することによ
   り、シーンカットを検出する方法であって、 幾つかの周波数帯の各々に対して、幾つかの連続するサンプルに対するパラメ
   ータの平均を決定するステップと、 幾つかの周波数帯の各々に対して、数Ｍの、連続する決定された平均にわたる
   、決定された平均の変化を示す変化パラメータを計算するステップと、 所定の数の周波数帯に対する変化パラメータをしきい値と比較するステップと
   、 比較結果から、シーンカットが発生したか否かを決定するステップとを有する
   方法。
2. 【請求項２】 幾つかの連続するサンプルは、０．５秒のデータに対応する
   、請求項１に記載の方法。
3. 【請求項３】 数Ｍは８である請求項１或は２に記載の方法。
4. 【請求項４】 変化パラメータは統計的な分散である、請求項１乃至３のう
   ち何れか一項に記載の方法。
5. 【請求項５】 しきい値は、各周波数帯に対して、決定された平均の移動平
   均を含む、請求項１乃至４のうち何れか一項に記載の方法。
6. 【請求項６】 しきい値は、Ｍの決定された平均の移動平均を含む、請求項
   ５に記載の方法。
7. 【請求項７】 シーンカットは、周波数帯の５０％又はそれ以上に対する比
   較がしきい値を超えた場合に決定される、請求項１乃至６のうち何れか一項に記
   載の方法。
8. 【請求項８】 最大値を示すパラメータは、スケールファクタを含み、且つ
   周波数対はＭＰＥＧ圧縮オーディオのサブバンドを含む、請求項１乃至７のうち
   何れか一項に記載の方法。
9. 【請求項９】 所定の数の周波数帯は、１から１７のサブバンドを含む、請
   求項８に記載の方法。