JP2008185626A - ハイライトシーン検出装置 - Google Patents

Abstract

【課題】リファレンス情報を用いずかつ符号化歪みの影響を大きく受けることなくハイライトシーンを検出できるようにする。
【解決手段】マルチメディアコンテンツに含まれるオーディオデータを一定区間ごとに区切って、スペクトル算出モジュール２２によりスペクトルを検出する。次に、歓声特徴量抽出モジュール２３により、上記検出されたスペクトルのうち歓声の特徴が現れる特定の帯域内において最大値かつ極大値をとる周波数値（ピーク周波数）とそのパワー値とからなる歓声特徴量を検出する。そして、歓声区間判定モジュール２４において、予め設定した時間長において上記検出された歓声特徴量がしきい値よりも高い状態が上記時間長に対して判定しきい値率以上存在する区間を歓声区間と判定し、出力制御モジュール２５により上記歓声区間の判定結果を表す表示データを生成して出力する。
【選択図】 図１

Description

この発明は、例えばコンサートやスポーツ番組等のライブ番組のコンテンツからハイライトシーンを検出する装置に関する。

放送番組等のマルチメディアコンテンツを録画して再生することを目的とするレコーダにおいて、短時間に見どころのシーンだけを見るという視聴形態が求められている。特に、スポーツ番組ではコンテンツ全体に対する得点シーン等の見どころとなるシーンは短い時間であり、よって短時間視聴のニーズが高い。

解決策として、例えば家庭用のレコーダにおいて、映像信号を録画する際もしくは録画後に、見どころシーンとして歓声が大きく盛り上った区間（以後歓声区間と称する）を検出する技術が開発されている。このような技術を採用することで、ユーザはスポーツ番組のコンテンツ全体のうち見どころシーンだけを短時間に視聴することが可能となる。

歓声区間を検出する技術としては、歓声区間の特徴をリファレンス情報として予め用意しておき、入力信号ごとに上記リファレンス情報との類似度を算出して、この類似度がしきい値より大きい区間を歓声区間として検出する技術が知られている（例えば、特許文献１を参照。）。リファレンス情報としては、スペクトルそのものを用いるものや、複数のスペクトルの統計的な情報を用いるものがある。特許文献１では、歓声区間を検出するための技術としてベクトル量子化による類似度算出方法を用いており、これは統計的情報を用いるものに該当する。
特許第３４７５３１７号公報

ところが、前述したような予めリファレンス情報を用意しておき、このリファレンス情報を用いた類似度の算出によって歓声区間を検出する方法では、検出精度がリファレンス情報に依存してしまい、結果として歓声区間の検出性能が不安定になるという課題がある。例えば、リファレンス情報の作成に用いたオーディオ信号と検出対象の入力信号との収録環境が異なる場合には、期待する検出性能が得られないことがある。また、符号化されたオーディオ信号を復号してこの復号されたオーディオ信号を検出対象の入力信号とする場合には、リファレンス情報に対して符号化による歪みを含んでいるため検出性能が著しく劣化する可能性もある。これはビットレートが低い符号化の場合に特に顕著である。

この発明は上記事情に着目してなされたもので、その目的とするところは、リファレンス情報を用いずかつ符号化による歪みの影響を大きく受けることなくハイライトシーンを検出できるようにし、これにより検出精度の高いハイライトシーン検出装置を提供することにある。

上記目的を達成するためにこの発明の一観点は、オーディオ信号を含むコンテンツデータを受け取り、この受け取ったコンテンツデータに含まれるオーディオ信号を一定区間ごとに区切って、これらの区間ごとにそのスペクトルを検出する。そして、この検出されたスペクトルのうち予め設定された帯域内のスペクトルから、最大値かつ極大値をとる周波数をピーク周波数とし、このピーク周波数と当該ピーク周波数のパワー値とからなる歓声特徴量を検出し、この検出された歓声特徴量が判定しきい値よりも高い状態が予め設定された判定時間長に対して判定しきい値率以上存在する区間を歓声区間と判定するようにしたものである。

一般に、オーディオ信号のハイライトシーンの指標となる歓声を含む区間では、特定の周波数帯域において時間方向に安定した周波数ピークが存在する。この周波数ピークは、歓声が有する本質的な特徴であり、しかも比較的低域に存在するため、収録環境の影響や、オーディオ信号に対する符号化歪みの影響を受けにくい。したがって、上記したように入力オーディオ信号の周波数帯域のうち検出対象の帯域が先ず特定され、この特定の周波数帯域において歓声の特徴量を表す周波数ピークとそのパワー値が検出されて、この検出情報をもとに歓声区間が判定されることによって、収録環境の違いやオーディオ符号化による歪みに対して比較的安定かつ高い検出性能を得ることが可能となる。

すなわちこの発明によれば、リファレンス情報を用いずかつ符号化による歪みの影響を大きく受けることなくハイライトシーンを検出することができ、これにより検出精度の高いハイライトシーン検出装置を提供することができる。

以下、図面を参照してこの発明の実施形態を説明する。

（第１の実施形態）
図１は、この発明の第１の実施の形態に係るハイライトシーン検出装置の構成を示すブロック図である。
この実施形態のハイライトシーン検出装置１Ａは、ビデオレコーダ、ビデオカメラ、テレビジョン録画再生機能付きパーソナル・コンピュータ、テレビジョン録画再生機能付き携帯端末などの各種放送録画再生装置に接続されるか、又は当該録画再生装置に内蔵された状態で使用される。

ハイライトシーン検出装置１Ａは、例えば中央制御ユニット（ＣＰＵ；Central Processing Unit）からなる制御ユニット２Ａを備える。この制御ユニット２Ａには、バス７を介して記憶ユニット６及びインタフェース群が接続されている。インタフェース群は、操作情報入力インタフェース（操作情報入力Ｉ／Ｆ）３と、コンテンツ入力インタフェース（コンテンツ入力Ｉ／Ｆ）４と、出力インタフェース（出力Ｉ／Ｆ）５とから構成される。

操作情報入力Ｉ／Ｆ３はキースイッチ群に接続され、ユーザによる上記キースイッチ群の操作を検出する。コンテンツ入力Ｉ／Ｆ４は、図示しない放送番組録画再生装置から出力されたマルチメディアコンテンツのデータを受信するもので、記録媒体Ｉ／Ｆやライン入力端子を備える。また、マルチメディアコンテンツがアナログ信号の場合に備え、受信したアナログ信号をディジタル信号に変換するＡ／Ｄ変換器も備える。出力Ｉ／Ｆ５は、制御ユニット２Ａにより検出されたコンテンツ中の歓声区間を表す情報をコンテンツ再生装置等へ出力する。
なお、ハイライトシーン検出装置１Ａが放送番組録画再生装置に組み込まれている場合には、上記コンテンツ入力Ｉ／Ｆ４は当該装置内でマルチメディアコンテンツ記録部から読み出されたデータを受け取る機能となる。

制御ユニット２Ａは、この発明に係わる制御機能として、入力制御モジュール２１と、スペクトル算出モジュール２２と、歓声特徴量抽出モジュール２３と、歓声区間判定モジュール２４と、出力制御モジュール２５を備えている。なお、これらのモジュール２１〜２５はいずれも、アプリケーション・プログラムをＣＰＵに実行させることにより実現される。

入力制御モジュール２１は、上記操作情報入力Ｉ／Ｆ３から操作入力信号を受け取ってその種類を判別する。例えば、ハイライトシーンの検出を要求する信号、検出モードを選択指定する信号、出力モードを選択指定する信号を判別する。
また入力制御モジュール２１は、コンテンツ入力Ｉ／Ｆ４を介してマルチメディアコンテンツのデータを取り込む。そして、この取り込んだマルチメディアコンテンツデータからオーディオデータを抽出し、この抽出したオーディオデータを一定時間ごとに区切ってオーディオフレームデータとして記憶ユニット６に一旦記憶させる。なお、抽出されたオーディオデータがＡＡＣ（Adaptive Audio Coding）等のオーディオ符号化方式により符号化された圧縮データの場合には、当該圧縮データをデコードしたのち一定時間ごとに区切ってオーディオフレームデータとする。

さらに入力制御モジュール２１は、上記オーディオフレームデータをスペクトル算出モジュール２２に渡す際に、当該オーディオフレームデータを８kHzにダウンサンプリングして汎用のＰＣＭ（Pulse Code Modulation）信号に変換する。ここで、サンプリング周波数が比較的低い値の８kHzである理由は、後段の処理で利用する周波数帯域が０〜２kHzで十分である点、ＡＡＣなどのオーディオ符号化でビットレートが低い場合でも４kHz程度までの周波数成分は圧縮によって情報が失われるケースが少ない点、ダウンサンプリング前のサンプリング周波数が８kHzの整数倍であることが多いのでダウンサンプリング処理が比較的簡便な処理で済む点、などの理由による。よって場合によっては、ダウンサンプリング周波数は６kHzや１２kHzでもよく、８kHzという値は必須ではない。

スペクトル算出モジュール２２は、上記入力制御モジュール２１から渡されたオーディオフレームデータの対数パワースペクトルを算出する。このスペクトルの算出方法としては、ＤＦＴ（Discrete Fourier Transform）やＦＦＴ（Fast Fourier Transform）などのフーリエ変換に基づく方法、ＬＰＣ（Linear Predictive Coding）スペクトルなどの線形予測分析に基づく方法、バンドパスフィルタとパワー算出による信号処理ベースの方法が使用される。

歓声特徴量抽出モジュール２３は、上記スペクトル算出モジュール２２により算出されたスペクトルから、歓声の特徴が現れる特定の帯域内において最大値かつ極大値をとる周波数値（ピーク周波数）とそのパワー値を検出する。そして、この検出されたピーク周波数とそのパワー値を、歓声特徴量を表す情報として歓声区間判定モジュール２４に渡す。

歓声区間判定モジュール２４は、上記歓声特徴量抽出モジュール２３から渡された歓声特徴量を表す情報をもとに、予め設定した時間長において歓声特徴量しきい値よりも高い状態が上記時間長に対して判定しきい値率以上存在する区間を検出する。そして、この検出された区間を歓声区間と判定する。

出力制御モジュール２５は、上記歓声区間判定モジュール２４により歓声区間と判定された区間をタイムバーにより表した出力データを生成し、この生成した出力データを上記出力Ｉ／Ｆ５へ出力する。上記タイムバーの形態は、上記操作情報入力Ｉ／Ｆ３を介して予め入力指定された出力モードに応じて決定される。

なお、記憶ユニット６は、コンテンツ入力Ｉ／Ｆ４を介して入力されたオーディオコンテンツデータを保存すると共に、上記制御ユニット２Ａの各モジュールが歓声区間を判定する一連の処理を実行した際に算出される歓声特徴量を表す情報や歓声区間の判定結果を表す情報を一時保存するために用いられる。

次に、以上のように構成されたハイライトシーン検出装置１Ａの動作を説明する。
なお、ここでは外部の放送番組記録装置からスポーツ番組のマルチメディアコンテンツのオーディオコンテンツデータを取り込み、当該オーディオコンテンツデータから歓声区間を検出してその結果を表す情報を上記放送番組記録装置へ出力する場合を例にとって説明する。

ハイライトシーン検出装置１Ａでは、先ず歓声区間の検出モード及び検出結果の出力モードの設定が以下のように行われる。すなわち、ユーザが図示しない入力デバイスにおいて上記検出モード及び出力モードの選択操作を行うと、これらのモード選択指定信号が操作情報入力Ｉ／Ｆ３を介して制御ユニット２Ａの入力制御モジュール２１に取り込まれ、この入力制御モジュール２１において識別されて保存される。なお、上記検出モード及び出力モードの選択指定方法の具体例については後述する。

上記検出モード及び出力モードの設定処理が終了すると、ハイライトシーン検出装置１Ａは歓声区間検出モードに移行して、先ずオーディオデータのスペクトルを算出する処理と、歓声特徴量を抽出する処理を次のように実行する。図２は、制御ユニット２Ａによるその処理手順及び処理内容を示すフローチャートである。

すなわち、制御ユニット２ＡはステップＳ２１においてハイライトシーン検出要求の入力を監視している。この状態で、ユーザが入力デバイスにおいてハイライトシーンの検出要求操作を行ったとする。そうすると制御ユニット２Ａは、上記要求操作を操作情報入力Ｉ／Ｆ３を介して入力制御モジュール２１で検出する。続いて制御ユニット２Ａは、入力制御モジュール２１において図示しない放送番組録画再生装置からのマルチメディアコンテンツデータの入力をコンテンツ入力Ｉ／Ｆ４０を介して監視する。

この状態で、放送番組録画再生装置から送られたマルチメディアコンテンツデータがコンテンツ入力Ｉ／Ｆ４０で受信されると、制御ユニット２Ａは入力制御モジュール２１により、上記コンテンツ入力Ｉ／Ｆ４を介してマルチメディアコンテンツのデータを取り込む。そして、この取り込んだマルチメディアコンテンツデータからオーディオデータを抽出し、この抽出したオーディオデータを一定時間ごとに区切ってオーディオフレームデータとしたのち、さらに８kHzにダウンサンプリングしてスペクトル算出モジュール２２に渡す。

スペクトル算出モジュール２２は、上記ダウンサンプリングされたオーディオデータをステップＳ２２によりフレームごとに取り込む。そして、ステップＳ２３において、フーリエ変換に基づく方法或いは線形予測分析に基づく方法により対数パワースペクトルを算出する。なお、どのような算出方法を使用する場合でも、周波数分解能は少なくとも３０Hz程度あることが好ましい。このように３０Hz以上の周波数分解能によりスペクトルを算出することで、後段の歓声特徴量抽出モジュール２３における歓声特徴量の抽出精度を高めることが可能となる。

続いて制御ユニット２Ａは、歓声特徴量抽出モジュール２３により歓声特徴量の抽出処理を以下のように実行する。
一般に、歓声とは非常に多くの数の叫び声の集合なので、歓声の周波数特性は、個々の叫び声の周波数特性が重ね合わさって平滑化されたものと考えることができる。男性の場合、叫び声特有の“ウァー”や“ウォー”など声のうち、長時間継続する母音部分“ａ”や“ｏ”の第１フォルマント周波数は６００〜８００Hz、第２フォルマント周波数は１０００Hz付近に存在するので、周波数のピークはおおよそ６００〜１０００Hz付近に現れる。また叫び声は、興奮の度合いが強ければピッチ周波数と音圧が上がり、興奮の度合いが弱ければピッチ周波数と音圧は下がる傾向にある。このため、６００〜１０００Hzの範囲におけるピーク周波数が高くかつ音圧が大きいほど興奮の度合いが強く、逆にピーク周波数が低くかつ音圧が低いほど興奮の度合いが弱いことになる。したがって、この叫び声の集合である歓声のスペクトルでは、６００〜１０００Hzの範囲にピーク周波数が存在することになる。

そこで、歓声特徴量抽出モジュール２３は、先ずステップＳ２４において、上記スペクトル算出モジュール２２により算出されたスペクトルから、歓声の特徴が現れる特定の帯域６００〜１０００Hzの範囲において極大値をとる周波数値を検出する。続いてステップＳ２５において、上記特定の帯域６００〜１０００Hzの範囲において最大値をとる周波数を検出する。そして、上記極大値の検出結果と最大値の検出結果をもとに、ステップＳ２６により最大値かつ極大値をとる周波数値の有無を判定し、当該条件を満足する周波数値が検出された場合にこの周波数値をピーク周波数とする。

例えば、いま図４（ａ）に示すように、６００〜１０００Hzの範囲において最大値をとりかつ極大値をとる周波数値が検出できた場合には、この周波数値がピーク周波数となる。これに対し、図４（ｂ）に示すように極大値が検出されてもこの極大値が最大値でない場合には、ピーク周波数は無し（＝０）と判定される。また、ステップＳ２４からステップＳ２６までの一連の処理は、ピーク周波数を検出するための処理であり、ステップＳ２４とステップＳ２５は順不同でも構わない。

上記ピーク周波数が検出されると、歓声特徴量抽出モジュール２３は続いてステップＳ２７に移行し、ここで上記検出されたピーク周波数におけるパワー値を検出する。そして、この検出したパワー値と上記ピーク周波数値とにより表される歓声特徴量を表す情報を生成し、この情報をステップＳ２８により記憶ユニット６に保存する。

例えば、下記数１に示すようにピーク周波数PeakFreqとそのパワー値PeakPowとの加重和を求めてこれを歓声特徴量Featとしたり、下記［数２］に示すようにパワー値PeakPowがあるしきい値ThPowA以上の場合にピーク周波数PeakFreqの値にボーナス項Bnsを付してこれを歓声特徴量Featとする。また、ピーク周波数PeakFreqのパワー値PeakPowをそのまま特徴量として用いずに、例えば［数３］に示すようにパワー値PeakPowがあるしきい値ThPowBよりも低い場合には６００〜１０００Hzの範囲にピーク周波数が存在したとしても歓声によるピークではないと判断して、歓声特徴量を０としてもよい。さらには、［数４］に示すようにピーク周波数PeakFreqが高いほどこのしきい値ThPowVの値を大きくしてもよい。なお、α、βはそれぞれピーク周波数PeakFreq及びそのパワー値PeakPowの加重和の重みを示し、γはしきい値ThPowVをピーク周波数PeakFreqに応じたしきい値とするための係数を示している。

以上述べた歓声特徴量の生成方法は、歓声において興奮の度合いが強いほどピーク周波数が高くかつパワーも大きいという特性を利用したものであり、この趣旨を逸脱しない範囲であれば［数１］〜［数４］に示した生成方法に限らずこれらを組み合わせるなどの種々変形が可能である。

このようにオーディオデータの一つのフレームについて歓声特徴量の抽出処理が終了すると、制御ユニット２Ａはオーディオデータの次フレームの有無をステップＳ２９により判定する。そして、次フレームがある場合にはステップＳ２２に戻り、上記ステップＳ２２〜ステップＳ２８によるスペクトルの算出及び歓声特徴量の抽出処理を繰り返し実行する。

一方、オーディオデータのすべてのフレームについて上記した歓声特徴量の抽出処理が終了すると、制御ユニット２Ａは次に歓声区間の判定処理及びその判定結果の出力処理を以下のように実行する。図３は、その処理手順及び処理内容を示すフローチャートである。

すなわち、制御ユニット２Ａの歓声区間判定モジュール２４は、先ずステップＳ３１において、予め設定された判定時間長Ｌごとに、上記歓声特徴量抽出モジュール２３により抽出された歓声特徴量のうち、しきい値を超える合計時間長を算出し、上記判定時間長に対する上記算出された合計時間長の割合を算出する。そして、この算出された割合をステップＳ３２により判定しきい値率と比較し、割合が判定しきい値を超える場合に上記判定時間Ｌを歓声区間であるとステップＳ３３にて判定する。これに対し、割合が判定しきい値以下の場合には、上記判定時間Ｌを非歓声区間であるとステップＳ３４で判定する。そして、以上の判定結果を記憶ユニット６に保存する。

例えば、いまある判定時間長Ｌにおいて図５（ａ）に示すような歓声特徴量が得られたとする。この場合、歓声区間判定モジュール２４は、しきい値を超える歓声特徴量の時間ｌ１、ｌ２、ｌ３の合計時間長Σｌ（＝ｌ１＋ｌ２＋ｌ３）を算出する。そして、上記判定時間Ｌに対するこの算出された合計時間長Σｌ（＝ｌ１＋ｌ２＋ｌ３）の割合を算出し、この算出された割合の値を判定しきい値率と次式のように比較する。

そして、この算出された合計時間長Σｌ（＝ｌ１＋ｌ２＋ｌ３）の判定時間Ｌに対する割合が判定しきい値率よりも大きければ、つまり［数５］の式を満たせばこの区間を歓声区間と判定する。例えば、判定しきい値率を０．７とした場合、図５（ａ）の例ではΣｌ／Ｌが判定しきい値率＝０．７を上回っているので、この区間は歓声区間と判定される。これに対し図５（ｂ）の例では、Σｌ／Ｌが判定しきい値率＝０．７以下であるため歓声区間として判定されない。

ここで、判定時間長Ｌは、検出対象の歓声区間の長さを制御する値であり、この値Ｌを長くするほど短時間の歓声区間を検出対象から除外することができるが、長くしすぎると非常に長い歓声区間しか検出されなくなってしまう。また、短くするほど短時間の歓声区間を検出することが可能となるが、短くしすぎると分析誤差などで突発的に歓声特徴量のしきい値を超えるもの、つまり歓声でない区間も歓声として検出されてしまう。よって、判定時間長Ｌは予め数秒程度に設定しておくことが妥当である。また、この判定時間長Ｌの値は、入力デバイスにおいて入力されるユーザの設定要求に応じてユーザが希望する値に設定することも可能である。

判定しきい値率は、歓声区間として判定される歓声の確からしさを制御するための値であり、この値を高くするほど検出精度が向上するが検出漏れが生じる可能性が高くなる。一方、判定しきい値率を低くするほど検出精度は低下するが、検出漏れが生じる可能性は低くなる。このため、判定しきい値率は予め０．７〜０．９程度の適当な数値に設定しておくことが望ましい。なお、この判定しきい値についても、上記判定時間長Ｌと同様に、入力デバイスにより入力されるユーザの設定要求に応じて０．０より大きく１．０以下の範囲で任意の値に設定することが可能である。

歓声区間の判定に判定しきい値率を用いると、分析誤差などによって歓声区間に突発的な欠落が生じた場合でも安定した結果を得ることができる。しかし、必ずしもしきい値率を用いる必要はなく、同様の効果をもたらす方法としてほかに歓声特徴量の移動平均をとるものや、メディアンフィルタリングを用いるものなどがある。すなわち、しきい値判定率は必須ではなく、この趣旨を逸脱しない範囲であれば種々の改良又は変更が可能である。

歓声特徴量の検出しきい値は、歓声の大きさ（盛り上がり）の検出レベルを制御するための値であり、この値が高いほどより盛り上がり度の高い歓声のみを検出することができる。これに対し歓声特徴量の検出しきい値が低いと、それほど盛上っていない歓声でも検出してしまうことになる。したがって、歓声特徴量の検出しきい値も予め適当な数値に設定しておくことが望ましいが、上記判定時間長Ｌや判定しきい値率と同様に、入力デバイスにおいて入力されるユーザの設定要求に応じて０より大きい任意の値に設定できるようにしてもよい。

このように歓声区間判定モジュール２４では、複数の判定条件を選択的に任意に設定することで歓声区間の判定結果を任意に制御することができるので、より細かいニーズに合わせて歓声検出を行うことが可能となる。ただし、これらの判定条件をユーザが適切に制御するには、経験が必要だったり面倒な操作が必要となる。

そこで、予め複数のハイライト検出モードを用意しておき、ユーザがこれらのモードのうち任意のモードを選択すると、それに応じて判定条件が適切な値に可変設定されるようにするとよい。例えば、図６に示すように３つのハイライト検出モードを用意しておき、ユーザがこれらのモードのうちの一つを選択した上で条件値を入力することにより、当該条件値に応じた判定条件が設定されるようにする。

図６において、上から１番目の検出モードは、ハイライトの盛り上がりの度合いに応じて上位Ｘ位までを検出するものである。上から２番目の検出モードは、検出された歓声区間の合計時間がＸ分になるようにハイライトの盛り上がりの度合いに応じて上位から検出するものである。上から３番目の検出モードは、検出された区間の合計時間がそのコンテンツ全体の時間長に対してＸ％になるように、ハイライトの度合いに応じて上位から検出するものである。このようなハイライト検出モードを予め用意することで、ユーザは歓声区間判定モジュール２４が使用する判定条件の値を直接入力する必要がなく、これにより経験の有無にかかわらず常に簡単な操作で適切な判定条件を設定することが可能となる。

具体的には、まず歓声区間が多めに検出されるように判定時間長Ｌを短めの３秒程度に、判定しきい値率を小さめの０．７程度に、歓声特徴量の検出しきい値を低めにそれぞれ設定し、歓声区間を検出する。次にこれらの歓声区間に対し、ハイライトの度合いを歓声得点として算出する。ハイライトの度合いとは、いかに盛上っているか判断する指標である。このため、歓声得点は、歓声が長い時間持続し、歓声特徴量の値が大きく、さらに歓声区間中の欠落が少ないほど大きな値となる。

歓声得点の一例としては、図７に示すような歓声特徴量が描く図形の面積があげられる。これにより、歓声得点を比較的単純な方法で算出することができる。歓声区間判定モジュール２４は、この歓声得点の高い順に、ユーザが所望したハイライト検出モードに応じて歓声区間を選出し、最終的な歓声区間として出力する。このように、一旦歓声区間が多めに検出されるような設定で歓声区間を検出しておき、ユーザが所望する要件に応じて歓声区間を選出して出力するという形態をとることで、ユーザが所望する条件が変更された場合でも再度歓声区間の検出処理を行わずに済む。このため、歓声区間の検出に要する処理量を大幅に削減することができる。

また、ユーザが所望する条件を満たさないほど歓声区間の数が少なかった場合、例えばユーザが上位６０分までを検出と指定したにもかかわらず、検出した歓声区間の長さの合計が６０分に満たなかった場合には、さらに多くの歓声区間が検出されるように判定時間長Ｌ、判定しきい値率、歓声特徴量の検出しきい値を調節することで対応することが可能となる。このような場合、判定時間長Ｌと判定しきい値率を下げすぎると、前述した理由により歓声ではない区間を検出してしまう可能性が高くなるので、歓声特徴量の検出しきい値を下げることが最も効果的である。

このように、歓声区間の検出方法として、複数のハイライト検出モードを予め用意し、ユーザがこれらの検出モードの中から所望のモードを選択指定した場合に、この指定されたモードに応じて判定時間長Ｌ、判定しきい値率、及び歓声特徴量の検出しきい値が自動調節されることにより、ユーザは面倒な操作をせずとも、ユーザが所望する条件でハイライトシーンの検出が可能となる。

以上のように歓声区間の判定結果が得られると、制御ユニット２Ａは続いて出力制御モジュール２５により上記歓声区間判定結果の出力処理を実行する。すなわち、出力制御モジュール２５は、先ずステップＳ３６において、事前に設定された出力形態を判定する。そして、この判定された出力形態に応じてステップＳ３７〜ステップＳ４０のいずれかにより出力データを生成し、この生成された出力データをステップＳ４１により出力Ｉ／Ｆ５から図示しない録画再生装置等へ出力する。

例えば出力形態としては、ハイライトシーンの位置を表示する第１の形態と、ハイライトシーンのみを圧縮して表示する第２の形態と、ハイライトシーンを色分け表示する第３の形態と、ハイライトシーンを順位付けして表示する第４の形態とがある。
このうち、先ず第１の形態がユーザにより選択されている場合には、出力制御モジュール２５はステップＳ３７により、例えば図８（ａ）に示すようにコンテンツ中におけるハイライトシーンの時間位置Ｔ１〜Ｔｎを表すタイムバーを生成し、このタイムバーの表示データをステップＳ４１により出力Ｉ／Ｆ５から出力させる。

次に第２の形態がユーザにより選択されている場合には、出力制御モジュール２５はステップＳ３８により、例えば図８（ｂ）に示すようにハイライトシーン以外の区間をスキップしてハイライトシーンのみを並べたタイムバーを生成し、このタイムバーの表示データをステップＳ４１により出力Ｉ／Ｆ５から出力させる。

第３の形態が選択されている場合には、出力制御モジュール２５はステップＳ３９により、例えば図８（ｃ）に示すようにコンテンツ中におけるハイライトシーンの時間位置を表し、さらに上記各ハイライトシーンをその歓声得点の高低に応じて色分けして表示したタイムバーを生成し、この生成したタイムバーの表示データをステップＳ４１により出力Ｉ／Ｆ５から出力させる。

第４の形態が選択されている場合には、出力制御モジュール２５はステップＳ４０により、例えば図８（ｄ）に示すようにコンテンツ中におけるハイライトシーンの時間位置を示すと共に、各ハイライトシーンにその歓声得点とその順位を表す情報をふかして表示したタイムバーを生成し、この生成したタイムバーの表示データをステップＳ４１により出力Ｉ／Ｆ５から出力させる。

このようにユーザが選択指定した出力形態に応じて、歓声区間の判定結果を表すタイムバーを生成し出力することで、ユーザは検出されたハイライトシーンがどのような時間位置に存在し、どのような長さで、どの程度の盛り上がり具合かを自身が希望する形態で確認することができるようになる。このため、短時間で視聴する際に大変有用な情報を得ることができる。またマルチメディアコンテンツを編集する際にも、ハイライトシーンという編集に大変有用な情報を得ることができるので、編集作業を効率的に短時間で行うことができるようになる。

なお、上記出力されるタイムバーの表示データを使用したコンテンツの再生制御方法としては、次のようなものが考えられる。すなわち、マルチメディアコンテンツを再生中の録画再生装置に、当該マルチメディアコンテンツのハイライトシーンの位置を表すタイムバーを供給して表示器に表示させる。そして、録画再生装置においてユーザが上記タイムバーに表示されたハイライトシーンを選択すると、そのハイライトシーンのみを再生する。また、録画再生装置に自動スキップモードを設定しておき、上記タイムバーに従いハイライトシーン以外のシーンをスキップしてハイライトシーンのみを順次再生する。

また、上記タイムバーの情報は、録画再生装置におけるコンテンツの再生制御に用いる以外に、インターネット上に設けられたコンテンツ配信サーバによるコンテンツの配信制御に使用したり、コンテンツを記録媒体に記録する際にハイライトシーンに相当する区間のみを選択的に記録する制御に使用することができる。さらに、ハイライトシーンの区間の属性を表す情報をテキストデータにより表示するようにしてもよい。

以上述べたように第１の実施形態では、録画再生装置から入力されたマルチメディアコンテンツに含まれるオーディオデータを、入力制御モジュール２１で一定区間ごとに区切ってこれらの区間ごとにスペクトル算出モジュール２２によりスペクトルを検出する。次に、歓声特徴量抽出モジュール２３により、上記検出されたスペクトルのうち歓声の特徴が現れる特定の帯域内において最大値かつ極大値をとる周波数値（ピーク周波数）とそのパワー値とからなる歓声特徴量を検出する。そして、歓声区間判定モジュール２４において、予め設定した時間長において上記検出された歓声特徴量がしきい値よりも高い状態が上記時間長に対して判定しきい値率以上存在する区間を歓声区間と判定し、出力制御モジュール２５により上記歓声区間の判定結果を表す表示データを生成して上記録画再生装置に出力するようにしている。

したがって、歓声区間の検出にリファレンス情報を用いないため収録環境の違いの影響を受けることなく常に安定な性能で歓声区間を検出することが可能となる。また、歓声特有の６００〜１０００Hzの帯域に存在するスペクトルのピークが、歓声の興奮が強いほどその周波数が高くてパワーが大きくなり、歓声の興奮が弱いほどその周波数が低くてパワーが小さくなるという特性を利用して、歓声区間を判定するための特徴量が検出される。このため、オーディオ信号の符号化歪みに対しても安定かつ高精度に歓声区間を判定することが可能となる。

また本実施形態では、複数のハイライト検出モードを予め用意して表示し、ユーザがこれらの検出モードの中から所望のモードを選択指定したときに、この指定された検出モードに応じて判定時間長Ｌ、判定しきい値率、及び歓声特徴量の検出しきい値が自動調節される。したがって、ユーザは面倒な入力設定操作を行わなくても、ユーザが所望する条件でハイライトシーンの検出が可能となる。

さらに、ユーザが選択指定した出力形態に応じて、歓声区間の判定結果を表すタイムバーが生成されて出力される。このため、ユーザは検出されたハイライトシーンがコンテンツ中のどの時間位置に存在し、かつどのような長さでどの程度の盛り上がり具合かを自身が希望する形態により確認することが可能となる。このため、短時間で視聴する際に大変有用な情報を得ることができる。またマルチメディアコンテンツを編集する際にも、ハイライトシーンという編集に大変有用な情報を得ることができるので、編集作業を効率的に短時間で行うことが可能となる。

（第２の実施形態）
図９は、この発明の第２の実施形態に係わるハイライトシーン検出装置１Ｂの構成を示すブロック図である。なお、同図において前記図１と同一部分には同一符号を付して詳しい説明は省略する。
制御ユニット２Ｂには、前記第１の実施形態で説明した入力制御モジュール２１、スペクトル算出モジュール２２、歓声特徴量抽出モジュール２３、歓声区間判定モジュール２４及び出力制御モジュール２５に加え、歓声区間情報正規化モジュール２６と、歓声パターン類似度算出モジュール２７が新たに設けられている。

歓声区間情報正規化モジュール２６は、歓声区間判定モジュール２４により得られた歓声区間の判定結果を、同歓声区間を複数の小区間に分けて歓声特徴量のしきい値により正規化することにより、上記歓声区間の判定結果をパターン化する。
歓声パターン類似度算出モジュール２７は、上記正規化処理によりパターン化された歓声区間と予め用意した基準歓声パターンとの類似度を算出し、この算出された類似度に応じて上記歓声区間を複数の歓声パターンに分類する。

次に、以上のように構成された装置による歓声区間の正規化処理及びパターン分類処理の動作を説明する。
先ず、歓声区間の正規化処理は以下のように行われる。図１０はその処理手順と処理内容を示すフローチャートである。制御ユニット２Ｂの歓声区間情報正規化モジュール２６は、先ずステップＳ１０１において、上記歓声区間判定モジュール２４により検出された歓声区間の各歓声特徴量の平均値と標準偏差を算出する。次に、この算出された平均値及び標準偏差から歓声特徴量のしきい値を算出すると共に、上記正規化対象の歓声区間を前半部分と中間部分と後半部分とに３区分する。そして、先ず前半部分に上記しきい値以上の歓声特徴量が存在するか否かをステップＳ１０２で判定する。この判定の結果、しきい値以上の歓声特徴量が存在すると、続いて後半部分に上記しきい値以上の歓声特徴量が存在するか否かをステップＳ１０３で判定する。そして、この判定の結果しきい値以上の歓声特徴量が存在した場合には、中間部分に上記しきい値以上の歓声特徴量が存在するか否かをステップＳ１０４で判定する。

以上の各判定の結果、歓声区間の前半、後半及び中間のいずれの部分にもしきい値以上の歓声特徴量が存在した場合には、歓声区間情報正規化モジュール２６はステップＳ１０５に６おいて上記歓声区間の正規化パターンをパターンＡと判定する。また、歓声区間の前半部分及び後半部分にしきい値以上の歓声特徴量が存在するものの、中間部分にはしきい値以上の歓声特徴量が存在しなかった場合には、ステップＳ１０６において上記歓声区間の正規化パターンをパターンＢと判定する。さらに、前半部分にしきい値以上の歓声特徴量が存在し、後半部分にしきい値以上の歓声特徴量が存在しなかった場合には、ステップＳ１０７において上記歓声区間の正規化パターンをパターンＤと判定する。

一方、上記ステップＳ１０２において、前半部分にしきい値以上の歓声特徴量が存在しないと判定されると、歓声区間情報正規化モジュール２６は後半部分にしきい値以上の歓声特徴量が存在するかどうかをステップＳ１０８で判定し、存在すればステップＳ１０９により上記歓声区間の正規化パターンをパターンＣと判定する。これに対し、上記ステップＳ１０８においてしきい値以上の歓声特徴量が存在しないと判定された場合には、歓声区間情報正規化モジュール２６は中間部分にしきい値以上の歓声特徴量が存在するかどうかをステップＳ１１０で判定する。そして、存在すればステップＳ１１１により上記歓声区間の正規化パターンをパターンＥと判定し、一方存在しなかった場合にはステップＳ１１２により上記歓声区間の正規化パターンをパターンＡと判定する。

図１１（ａ）〜（ｅ）は上記各正規化パターンＡ〜Ｅを模式的に示したもので、横軸は時間、縦軸は歓声特徴量をそれぞれ示す。パターンＡは、歓声特徴量が平坦なパターンであり、例えば特に大盛り上がりもなく、ワーっと盛上ったような抑揚のない歓声に相当する。パターンＢは、歓声特徴量が高い状態から一旦低くなりまた高くなるパターンである。野球を例にとると、得点圏にランナーがいる場合にヒットかどうかあいまいな当りの直後は盛り上がりが小さいが、ボールが落ちてヒットになり、得点が入ったときに大きく盛り上がる場合などに相当する。パターンＣは、歓声特徴量が低い状態から高くなるパターンである。例えばサッカーにおいて、得点チャンスで盛上った状態から、シュートを決めて歓声が大きく盛上る場合に相当する。パターンＤは、歓声特徴量が高い状態から低くなるパターンである。例えばサッカーにおいて、ロングシュートなどの突発的な歓声の盛り上がりの後に、歓声が小さい余韻が持続するような場合に相当する。パターンＥは、歓声特徴量が低い状態から高い状態になり、また低くなるパターンである。例えば野球において、バッターがホームランを打ったときに、バッティングの直後に歓声が盛り上がって少々治まり、観客席にボールが入った瞬間にまた歓声が盛上るような場合に相当する。

このように、歓声区間として検出された区間内において、歓声の度合いが大きくなる箇所がパターンＡのように存在しない場合、パターンＢのように前半と後半にある場合、パターンＣのように後半のみにある場合、パターンＤのように前半のみにある場合、パターンＥのように中央付近にある場合にそれぞれ分類することで、検出された歓声がどのような歓声なのかをある程度把握することができる。

なお、上記正規化処理に使用するしきい値は次のように算出される。図１２はその算出方法を説明するための図である。すなわち、しきい値は、歓声区間における歓声特徴量の平均値と標準偏差とを加算することにより算出される。このように平均値や標準偏差などの統計量を用いてしきい値を算出することで、歓声特徴量のバラツキに対応することが可能となる。

また、下記［数６］に示すように、標準偏差を正の実数α倍したものと平均値との和をしきい値とし、この係数αを制御することによりしきい値を可変制御するようにしてもよい。

このようにすると、係数αを大きくするほどしきい値を超える歓声特徴量が少なくなり、ほとんどパターンＡに分類されてしまうことになるので、経験上係数αは１．０〜２．０の範囲に設定することが適当である。

さらに、標準偏差の算出は歓声区間ごとに算出するのではなく、複数の歓声区間の情報を使って算出してもよい。こうすることで、歓声区間内のバラツキのみならず、歓声区間外、つまり歓声区間ごとのバラツキの影響も考慮することができる。図１２の例では、歓声区間の前半部分はしきい値以上の歓声特徴量が存在するので、ステップＳ１０２においてしきい値以上の歓声特徴量が存在すると判定され、また後半部分にはしきい値以上の歓声特徴量が存在しないので、ステップＳ１０３において存在しないと判定される。このため、歓声区間の正規化パターンはパターンＤと判定される。

以上のように、歓声区間を正規化する際に、歓声区間を前半部分、中間部分及び後半部分に区分けして量子化することで、時間情報を正規化することができる。また、歓声特徴量がしきい値以上か否かにより二値化するので、これも歓声特徴量を正規化することができるが、歓声特徴量は歓声の盛り上がりを示す情報そのものなので、二値化せずに値を保持する方が好ましい。例えば、前半部分、中間部分及び後半部分のそれぞれにおいて、しきい値未満の場合の歓声特徴量は平均値を保持し、しきい値以上の場合には歓声特徴量がしきい値以上のもののみの平均値やその部分のみの歓声特徴量の平均を保持することなどが考えられる。このように歓声特徴量の値を保持することで、後段の歓声パターン分類モジュール２７において、より詳細な分類が可能となる。

歓声区間情報正規化モジュール２６により得られる正規化された歓声情報の表現の一例としては図１３が挙げられる。同図において、１３１はコンテンツの開始位置から何番目の歓声区間かを示し、１３２は歓声区間の開始時間と終了時間を示す。また、１３３は歓声区間情報正規化モジュール２６においてどの歓声パターンに正規化されたかを示し、１３４は歓声特徴量の正規化された値を示している。このような出力形態とすることで、歓声区間に関する時間、パターン、歓声の大きさ（程度）に関する情報が分かるので、後段の歓声パターン分類モジュール２７において、より詳細な分類が可能となる。

以上説明したように歓声区間情報正規化モジュール２６では、歓声区間判定モジュール２４により歓声区間と判定された区間が、予め用意した歓声パターンと歓声特徴量に正規化される。この結果、歓声区間の判定情報は歓声区間の時間長や歓声特徴量のバラツキに対し頑健な情報となるので、より高精度に歓声区間を分類することが可能となる。

なお、上記説明では５つの歓声パターンを用意した場合を例にとって説明したが、歓声パターンの数はこれに限るものではなく、複数であれば如何なる数に設定してもよい。ただし、多くしすぎると正規化によるバラツキに対する頑健性が失われ、また少なすぎると歓声パターンを分類数が減ってしまうので、適切な数にすることが肝要である。

次に、歓声パターン分類モジュール２７では、上記歓声区間情報正規化モジュール２６により正規化された歓声区間の判定情報を分類する処理が行われる。分類の方法は、基本的には歓声区間情報正規化モジュール２６により正規化された歓声パターンそのものである。例えば、歓声パターンが図１１に示したパターンＣのときには、先に述べたように歓声特徴量が低い状態から高くなるパターンであり、サッカーでは得点チャンスで盛上った状態からシュートを決めて歓声が大きく盛上る場合に相当する。

一方、さらに詳細に分類しようとする場合には、同じ歓声パターンでも歓声特徴量の値を用いて優劣をつけるようにしてもよい。例えば、図１４に示すように同じ歓声パターンＣにおいて、歓声特徴量の盛り上がり時の値を（ａ）よりも（ｂ）の方が大きくなるように設定する。つまり、この例では（ｂ）の方がより大きな歓声の盛り上がりであったことを示しているので、優劣をつけることができる。このように、同じ歓声パターン間で盛上っている方の歓声特徴量を比較したり、盛上っている方と盛上っていない方の線形和で比較することで、同じ歓声パターン同士の優劣をつけることができる。

このようにすると次のような作用効果が得られる。すなわち、前記第１の実施形態では、入力デバイスにおいて入力されるユーザの種々の要求に応じて合計再生時間などの制約が課される場合に、歓声区間の長さや特徴量の大きさに依存する歓声得点により優劣を付けて、この優劣をもとに歓声区間を上位から順に選択していた。しかし、第２の実施形態では、予め歓声パターンに優先順位を付け、さらにこの歓声パターン内で優劣をつけることで、歓声区間全部を順位付けすることができる。

なお、第２の実施形態は次のような各種変形が可能である。例えば、図１５に示すようにハイライトパターンの選択メニューを表示し、ユーザに所望する歓声パターンを選択させるようにしてもよい。さらに、前記図８（ｃ）に示したように歓声パターンを色や形により分類して表示することで、ユーザは歓声のパターンを位置情報、さらにはコンテンツ全体における歓声区間の構成などを瞬時に簡単に把握することができるようになり、ユーザは多種多様な視聴形態を実現することが可能となる。

以上述べたように第２の実施形態では、歓声パターン分類モジュール２７により歓声区間情報正規化モジュール２６により得られる正規化された歓声区間の判定情報を用いて歓声区間を分類することができ、これによってユーザは単に歓声区間の位置を知るだけでなく、その歓声がどのような歓声かを瞬時に簡単に把握することができるようになる。したがって、スポーツコンテンツ全体の流れを把握することが可能となったり、運動会などの歓声を伴うイベントを録画したコンテンツを編集する際の情報がより有益な情報になったりなどの効果が期待できる。

また第２の実施形態では、歓声区間情報正規化モジュール２６及び歓声パターン分類モジュール２７による正規化処理及びパターン分類処理により、パターンと値で表現した情報を使って歓声区間を複数の歓声パターンに分類しさらに優劣を付けた場合を例にとって説明した。しかし、それに限るものではなく、歓声区間のパターン分類処理方法についてはこの発明の要旨を逸脱しない範囲で種々の方法を採用することが可能である。例えば、ゴールシーンやホームランシーン等、目標となるシーンを予め統計的に学習し、このターゲットパターンに対する確率的距離に基づいて歓声区間の正規化及び類似度の算出を行うようにしてもよい。具体的には、ベクトル量子化やクラスタリング、ＧＭＭなどの各種統計的モデルを使って、ゴールシーンやホームランシーン等のシーンごとに予め統計的に学習しておく。そして、歓声区間を分類するときに、各歓声区間の判定情報が上記学習したものに対し確率的に起こりうる確率が最も高いパターンに属するとして歓声パターンの分類をする。また、このときの確率を類似度の大きさとすれば、優先順位を付けることもできる。

（第３の実施形態）
前記第２の実施形態では、歓声特徴量の時間遷移パターンを正規化して分類することで歓声区間の分類処理を行った。しかし、上記処理手法では、集団が同じ音程で歌を歌って応援するシーンや楽器を使った応援シーン等の組織的な応援シーンを正しく特定することが難しい。組織的応援は、スポーツコンテンツの盛り上がりにはあまり関係ないことが多く、むしろ観客が熱狂的に盛上ると組織的応援は崩れる。このため、組織的応援区間を積極的に歓声区間としないか、もしくは組織的応援区間として歓声区間から区別することで、歓声区間の検出精度の向上や歓声区間の分類精度の向上が期待できる。

第３の実施形態は、歓声特徴量を抽出する際に、歓声特徴量を抽出するとともに組織的応援かどうかを判定する。例えば、図１に示した歓声特徴量抽出モジュール２３において、スペクトル算出モジュール２２により算出されたスペクトルから、歓声の特徴が現れる一部の帯域内において最大値かつ極大値をとる周波数（ピーク周波数）とそのパワー値を検出すると共に、上記ピーク周波数の周辺の周波数のパワー値を算出する。そして、このピーク周波数のパワー値と周辺周波数のパワー値との差がしきい値よりも大きい場合に、組織的応援状態であることを示す組織応援フラグを出力する。

以下、この第３の実施形態による歓声区間及び組織的応援区間の判定処理動作を説明する。図１６はその処理手順と処理内容を示すフローチャートである。なお、装置の構成については図１を援用して説明を行う。

歓声特徴量抽出モジュール２３は、先ずステップＳ１２１において、スペクトル算出モジュール２２により算出されたスペクトルからピーク周波数を検出する。次にステップＳ１２２において、上記検出したピーク周波数が０かどうかを判定し、０と判定された場合はステップＳ１２３により当該区間を非歓声区間と判定する。

これに対し、上記ステップＳ１２２においてピーク周波数が０以外と判定されたとする。この場合歓声特徴量抽出モジュール２３は、ステップＳ１２４によりピーク周波数を含む歓声特徴量の帯域幅を算出する。例えば、図１７に示すようにピーク周波数のパワー値から３dB低下した位置での周波数幅を帯域幅として算出する。そして、この算出された帯域幅が予め設定したしきい値より小さいか否かをステップＳ１２５により判定する。この判定の結果、帯域幅がしきい値以上と判定された場合には、ステップＳ１２６により当該区間を通常歓声区間と判定する。一方、上記ステップＳ１２５において帯域幅がしきい値より小さいと判定された場合には、歓声特徴量抽出モジュール２３はステップＳ１２７により当該区間を組織的応援と判定する。

ここで、ピーク周波数の帯域幅がしきい値より狭い場合に、組織的応援と見なせる理由を以下に説明する。すなわち、組織的応援とは多くの人が同じ歌を歌ったり同じ楽器を鳴らしたりすることを指す。したがって、通常の歓声の場合にはバラバラだった各々のピッチ周波数は、同じ歌を歌っている場合にはピッチ周波数がほぼ同じになる。このため、ピッチによるハーモニクス構造、つまり周波数の山と谷が、例えば図１７（ａ），（ｂ）のようにスペクトル上に顕著に現れる。また、応援用の楽器が鳴っている場合も同様に、楽器の基本周波数によるハーモニクス構造により周波数の山と谷がスペクトル上に顕著に現れる。このため、組織的応援の場合には周波数ピークが鋭くなり、帯域幅が狭くなる。

以上述べたように第３の実施形態によれば、ピーク周波数の帯域幅の大小により歓声区間と組織的応援区間とを分けることができる。このため、歓声区間の検出ならびに歓声区間の分類の精度が向上し、ユーザが満足する多種多様な視聴形態が実現できる。また、組織的応援区間そのものがコンテンツの内容を把握する上で有益な情報となる。このため、ユーザはコンテンツをより一層短時間で視聴できるようになったり、また編集することができるようになる。

（その他の実施形態）
前記各実施形態では、ハイライトシーン検出装置を録画再生装置とは別に設けた場合を例にとって説明したが、ハイライトシーン検出装置を録画再生装置内に設けるようにしてもよい。また、ハイライトシーン検出装置は、録画再生装置以外に撮像装置やコンテンツ配信サーバに付加または内蔵させるようにしてもよい。
その他、ハイライトシーン検出装置の構成や制御ユニットによる処理手順と処理内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施の形態に係るハイライトシーン検出装置の構成を示すブロック図である。 図１に示したハイライトシーン検出装置の制御ユニットによるスペクトル算出処理と歓声特徴量検出処理の手順及び処理内容を示すフローチャートである。 図１に示したハイライトシーン検出装置の制御ユニットによる歓声区間判定処理及びその出力処理の手順及び処理内容を示すフローチャートである。 図１に示したハイライトシーン検出装置の制御ユニットによるピーク周波数検出処理動作を説明するための図である。 図１に示したハイライトシーン検出装置の制御ユニットによる歓声区間判定処理動作を説明するための図である。 図１に示したハイライトシーン検出装置の制御ユニットにより表示されるハイライト検出モード入力メニューの一例を示す図である。 図１に示したハイライトシーン検出装置の制御ユニットにより得られる、歓声得点の一例を示す図である。 図１に示したハイライトシーン検出装置の制御ユニットにより生成されるタイムバーの複数の例を示す図である。 この発明の第２の実施形態に係わるハイライトシーン検出装置の構成を示すブロック図である。 図９に示したハイライトシーン検出装置の制御ユニットによる歓声区間正規化処理の手順と処理内容を示すフローチャートである。 図９に示したハイライトシーン検出装置の制御ユニットにより得られる正規化パターンを模式的に示した図である。 図９に示したハイライトシーン検出装置の制御ユニットにおいて使用される算出方法を説明するための図である。 図９に示したハイライトシーン検出装置の制御ユニットにより得られる正規化された歓声情報の表現の一例を示す図である。 図９に示したハイライトシーン検出装置の制御ユニットにおいて、歓声パターンに歓声特徴量の値を用いて優劣をつける場合の例を示す図である。 第２の実施形態の変形例である、ハイライトパターン選択メニューの表示例を示す図である。 この発明の第３の実施形態における歓声区間及び組織的応援区間の判定処理の手順と処理内容を示すフローチャートである。 この発明の第３の実施形態におけるピーク周波数を含む歓声特徴量の帯域幅算出手法を説明するための図である。

符号の説明

１Ａ，１Ｂ…ハイライトシーン検出装置、２Ａ，２Ｂ…制御ユニット、３…操作情報入力インタフェース（操作情報入力Ｉ／Ｆ）、４…コンテンツ入力インタフェース（コンテンツ入力Ｉ／Ｆ）、５…出力インタフェース（出力Ｉ／Ｆ）、６…記憶ユニット、７…バス、２１…入力制御モジュール、２２…スペクトル算出モジュール、２３…歓声特徴量抽出モジュール、２４…歓声区間判定モジュール、２５…出力制御モジュール、２６…歓声区間情報正規化モジュール、２７…歓声区間判定モジュール。

Claims (4)

1. オーディオ信号を含むコンテンツデータを受け取る手段と、
   前記受け取ったコンテンツデータに含まれるオーディオ信号を一定区間ごとに区切って、これらの区間ごとにそのスペクトルを検出するスペクトル検出手段と、
   前記検出されたスペクトルのうち予め設定された帯域内のスペクトルから、ピーク周波数と当該ピーク周波数のパワー値とからなる歓声特徴量を検出する特徴量検出手段と、
   前記検出された歓声特徴量が判定しきい値よりも高い状態が、予め設定された判定時間長に対して判定しきい値率以上存在する区間を歓声区間と判定する判定手段と
   を具備することを特徴とするハイライトシーン検出装置。
2. 前記歓声区間の判定結果の出力形態をユーザが指定入力したとき、この指定情報を受け取る手段と、
   前記受け取った指定情報に応じて、前記判定時間長、判定しきい値及び判定しきい値率のうちの少なくとも１つを調節する手段と、
   前記調節後の判定時間長、判定しきい値又は判定しきい値率に基づいて前記判定手段により得られた歓声区間の判定結果を、前記指定情報により表される出力形態に編集して出力する手段と
   を、さらに具備することを特徴とする請求項１記載のハイライトシーン検出装置。
3. 前記判定手段により得られた歓声区間の判定結果を、歓声の時間長と歓声の大きさを表す情報で正規化する正規化手段と、
   前記正規化された歓声区間の判定結果を、予め設定した複数の歓声パターンに分類する分類手段と
   を、さらに具備することを特徴とする請求項１または２に記載のハイライトシーン検出装置。
4. 前記特徴量検出手段は、
   前記スペクトル検出手段により検出されたスペクトルのうち予め設定された帯域内のスペクトルから、ピーク周波数と当該ピーク周波数のパワー値とからなる歓声特徴量を検出する手段と、
   前記予め設定された帯域内のスペクトルから、前記ピーク周波数の周辺の周波数のパワー値を検出する手段と
   を備え、
   前記検出されたピーク周波数のパワー値と前記周辺周波数のパワー値との差を算出し、この算出されたパワー値の差が予め設定された値より大きい場合に、前記歓声特徴量が検出された歓声区間が組織的応援状態であることを示す組織応援フラグを出力する手段を、
   さらに具備することを特徴とする請求項１乃至３のいずれかに記載のハイライトシーン検出装置。

Images