JP2006129363A - 番組要約装置および番組要約処理プログラム - Google Patents

Abstract

【課題】 実況解説の音声に影響されずにダイジェスト映像を作成する番組要約装置を実現する。
【解決手段】 ダイジェスト作成部５は音声データの左右チャンネル間差分によりアナウンサーや解説者の音声を除去した差分音声データのパワーが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成する。録画再生部４は制御部１の指示に従いダイジェスト情報を録画素材と共に媒体記録する。そして、制御部１のダイジェスト再生指示に従い録画再生部４はダイジェスト情報が表すハイライトシーンの開始時刻および終了時刻にそれぞれ対応した録画素材中の記録アドレスを表すイベントアドレステーブルを参照して録画素材の内からダイジェスト情報が表すハイライトシーンだけを再生する。
【選択図】 図１

Description

本発明は、例えばプロ野球中継などのスポーツ番組のダイジェスト映像を作成する番組要約装置および番組要約処理プログラムに関する。

音声情報を伴う一連の映像の中から部分的なシーンを抽出する装置が知られている。例えば、特許文献１には、映像再生時に付随して再生される音声の解析／特徴抽出を行い、目的とする映像と相関の高い部分を検出することによって目的とする映像に関わりの深いシーンを抽出し、抽出したシーンを繋ぎ合せてダイジェスト映像を作成する装置が開示されている。

特許第２９６０９３９号公報

ところで、上記特許文献１に開示の装置では、音声信号が比較的幅広いスペクトルで急な立上がりと短時間持続するレベルとなる場合に「観客の歓声が上がった時」の特徴と定義しておき、その特徴に合致する音声信号を検出した時にハイライトシーンとして抽出するが、一般的にスポーツ番組で放送される音声は実況解説するアナウンサーや解説者の声がメインであるから、実況解説が途切れなく行われると、上述の音声特徴を捉え難くなり誤検出の虞が生じる。
本発明は、このような事情に鑑みてなされたもので、実況解説の音声に影響されることなくダイジェスト映像を作成することができる番組要約装置および番組要約処理プログラムを提供することを目的としている。

上記目的を達成するため、請求項１に記載の発明では、ステレオ音声で放映される番組を受信する放送受信手段と、前記放送受信手段により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成手段と、前記差分音声生成手段により生成された差分音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成手段と、前記放送受信手段により受信された番組を録画すると同時に、前記ダイジェスト情報作成手段が作成するダイジェスト情報を媒体記録する録画手段と、前記録画手段にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生手段とを具備することを特徴とする。

上記請求項１に従属する請求項２に記載の発明では、前記ダイジェスト情報作成手段は、差分音声信号の大きさが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする。

上記請求項１に従属する請求項３に記載の発明では、前記ダイジェスト情報作成手段は、差分音声信号中の特定の周波数レベルが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする。

上記請求項１に従属する請求項４に記載の発明では、前記ダイジェスト情報作成手段は、前記放送受信手段により受信された番組の映像信号からテロップ表示の有無を検出するテロップ検出手段を備え、当該テロップ検出手段がテロップ表示を検出した時に、前記差分音声生成手段により生成された差分音声信号が判定条件を満たした場合、その判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする。

請求項５に記載の発明では、サラウンド音声で放映される番組を受信する放送受信手段と、前記放送受信手段により受信された番組のサラウンド音声信号から中央成分を除く他の成分を混合した混合音声信号を生成する混合音声生成手段と、前記混合音声生成手段により生成された混合音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成手段と、前記放送受信手段により受信された番組を録画すると同時に、前記ダイジェスト情報作成手段が作成するダイジェスト情報を媒体記録する録画手段と、前記録画手段にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生手段とを具備することを特徴とする。

請求項６に記載の発明では、サラウンド音声で放映される番組を受信する放送受信手段と、前記放送受信手段により受信された番組のサラウンド音声信号から左右チャンネル間差分を表す第１差分音声信号と左後右後チャンネル間差分を表す第２差分音声データとを生成する差分音声生成手段と、前記差分音声生成手段により生成される第１差分音声信号と第２差分音声信号とに音声認識を施し、この第１および第２差分音声信号の内、より音声認識率の低い方を判定用音声信号に選択して出力する選択手段と、前記選択手段により選択される判定用音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成手段と、前記放送受信手段により受信された番組を録画すると同時に、前記ダイジェスト情報作成手段が作成するダイジェスト情報を媒体記録する録画手段と、前記録画手段にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生手段とを具備することを特徴とする。

請求項７に記載の発明では、ステレオ音声で放映される番組を受信する放送受信手段と、前記放送受信手段により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成手段と、前記差分音声生成手段により生成された差分音声信号の大きさが、第１の判定条件を満たす第１のタイミングと第２の判定条件を満たす第２のタイミングとを検出するタイミング検出手段と、前記放送受信手段により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出手段が第１のタイミングを検出した時点から第２のタイミングを検出した時点までを録画するダイジェスト記録手段とを具備することを特徴とする。

請求項８に記載の発明では、ステレオ音声で放映される番組を受信する放送受信手段と、前記放送受信手段により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成手段と、前記差分音声生成手段により生成された差分音声信号のパワーが、一定時間連続して閾値を上回る第１のタイミングと一定時間連続して閾値を下回る第２のタイミングとを検出するタイミング検出手段と、前記放送受信手段により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出手段が第１のタイミングを検出した時点より所定時間前から第２のタイミングを検出した時点より所定時間後までを録画するダイジェスト記録手段とを具備することを特徴とする。

請求項９に記載の発明では、ステレオ音声で放映される番組を受信する放送受信処理と、前記放送受信処理にて受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成処理と、前記差分音声生成処理にて生成された差分音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成処理と、前記放送受信処理により受信された番組を録画すると同時に、前記ダイジェスト情報作成処理が作成するダイジェスト情報を媒体記録する録画処理と、前記録画処理にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生処理とをコンピュータで実行させることを特徴とする。

上記請求項９に従属する請求項１０に記載の発明では、前記ダイジェスト情報作成処理は、差分音声信号の大きさが一定時間連続して閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする。

上記請求項９に従属する請求項１１に記載の発明では、前記ダイジェスト情報作成処理は、差分音声信号中の特定の周波数レベルが一定時間連続して閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする。

上記請求項９に従属する請求項１２に記載の発明では、前記ダイジェスト情報作成処理は、前記放送受信処理により受信された番組の映像信号からテロップ表示の有無を検出するテロップ検出処理を備え、当該テロップ検出処理がテロップ表示を検出した時に、前記差分音声生成処理にて生成された差分音声信号が判定条件を満たした場合、その判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする。

請求項１３に記載の発明では、サラウンド音声で放映される番組を受信する放送受信処理と、前記放送受信処理にて受信された番組のサラウンド音声信号から中央成分を除く他の成分を混合した混合音声信号を生成する混合音声生成処理と、前記混合音声生成処理により生成された混合音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成処理と、前記放送受信処理にて受信された番組を録画すると同時に、前記ダイジェスト情報作成処理が作成するダイジェスト情報を媒体記録する録画処理と、前記録画処理にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生処理とをコンピュータで実行させることを特徴とする。

請求項１４に記載の発明では、サラウンド音声で放映される番組を受信する放送受信処理と、前記放送受信処理にて受信された番組のサラウンド音声信号から左右チャンネル間差分を表す第１差分音声信号と左後右後チャンネル間差分を表す第２差分音声データとを生成する差分音声生成処理と、前記差分音声生成処理により生成される第１差分音声信号と第２差分音声信号とに音声認識を施し、この第１および第２差分音声信号の内、より音声認識率の低い方を判定用音声信号に選択して出力する選択処理と、前記選択処理にて選択される判定用音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成処理と、前記放送受信処理にて受信された番組を録画すると同時に、前記ダイジェスト情報作成処理が作成するダイジェスト情報を媒体記録する録画処理と、前記録画処理にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生処理とをコンピュータで実行させることを特徴とする。

請求項１５に記載の発明では、ステレオ音声で放映される番組を受信する放送受信処理と、前記放送受信処理により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成処理と、前記差分音声生成処理により生成された差分音声信号の大きさが、第１の判定条件を満たす第１のタイミングと第２の判定条件を満たす第２のタイミングとを検出するタイミング検出処理と、前記放送受信処理により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出処理が第１のタイミングを検出した時点から第２のタイミングを検出した時点までを録画するダイジェスト記録処理とをコンピュータで実行させることを特徴とする。

請求項１６に記載の発明では、ステレオ音声で放映される番組を受信する放送受信処理と、前記放送受信処理により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成処理と、前記差分音声生成処理により生成された差分音声信号のパワーが、一定時間連続して閾値を上回る第１のタイミングと一定時間連続して閾値を下回る第２のタイミングとを検出するタイミング検出処理と、前記放送受信処理により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出処理が第１のタイミングを検出した時点より所定時間前から第２のタイミングを検出した時点より所定時間後までを録画するダイジェスト記録処理とをコンピュータで実行させることを特徴とする。

請求項１、９に記載の発明によれば、受信した番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成し、この差分音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成して番組録画と同時に媒体記録する。そして、録画された番組の内からダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンをダイジェスト再生するので、実況解説の音声に影響されることなくダイジェスト映像を作成することができる。

請求項５、１３に記載の発明によれば、受信した番組のサラウンド音声信号から中央成分を除く他の成分を混合した混合音声信号を生成し、この混合音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成して番組録画と同時に媒体記録する。そして、録画された番組の内からダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンをダイジェスト再生するので、実況解説の音声に影響されることなくダイジェスト映像を作成することができる。

請求項６、１４に記載の発明によれば、受信した番組のサラウンド音声信号から左右チャンネル間差分を表す第１差分音声信号と、左後右後チャンネル間差分を表す第２差分音声データとを生成して音声認識を施し、この第１および第２差分音声信号の内、より音声認識率の低い方を判定用音声信号に選択して出力する。判定用音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成して番組録画と同時に媒体記録する。そして、録画された番組の内からダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンをダイジェスト再生するので、実況解説の音声に影響されることなくダイジェスト映像を作成することができる。

請求項７、１５に記載の発明によれば、受信した番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成し、この差分音声信号の大きさが、第１の判定条件を満たす第１のタイミングと第２の判定条件を満たす第２のタイミングとを検出する。番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、第１のタイミングを検出した時点から第２のタイミングを検出した時点までを録画するので、実況解説の音声に影響されることなくダイジェスト映像を作成することができる。

請求項８、１６に記載の発明によれば、受信した番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成し、この差分音声信号のパワーが、一定時間連続して閾値を上回る第１のタイミングと一定時間連続して閾値を下回る第２のタイミングとを検出する。番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、第１のタイミングを検出した時点より所定時間前から第２のタイミングを検出した時点より所定時間後までを録画するので、実況解説の音声に影響されることなくダイジェスト映像を作成することができる。

以下、図面を参照して本発明の実施形態について説明する。
Ａ．第１実施形態
（１）構成
図１は、本発明の第１実施形態による番組要約装置の全体構成を示すブロック図である。番組要約装置は、制御部１、チューナ２、デコーダ３、録画再生部４およびダイジェスト作成部５から構成される。制御部１は、外部から供給される操作入力（例えば図示されていない赤外線リモートコントローラが発生する操作コマンド）に応じて装置各部を制御する。具体的には、チューナ２に選局指示したり、デコーダ３やダイジェスト作成部５に動作開始指示する他、録画再生部４に録画／再生の指示を与える。

チューナ２は、制御部１の選局指示に従って指定チャンネルのデジタル放送信号を受信する。デコーダ３は、チューナ２により選局受信されたデジタル放送信号を復調して得られるトランスポートストリーム信号から対応する番組パケット（ＭＰＥＧデータ）を分離抽出した後、映像データおよび音声データに復号して出力する。復号された映像データおよび音声データは、ＡＶ出力として図示されていない表示部に供給されて画面表示される一方、録画再生部４にも供給される。また、デコーダ３は、復号した音声データをダイジェスト作成部５に出力する。さらにデコーダ３では、トランスポートストリーム信号から番組単位の基準時刻ＰＣＲ（Program Clock Reference）を抽出してダイジェスト作成部５に出力する。

録画再生部４は、ハードディスク装置などのノンリニアアクセス可能な記録媒体を備え、制御部１の指示に応じて番組録画したり、録画した番組を通常再生又はダイジェスト再生する。録画再生部４の再生出力は、デコーダ３を介してＡＶ出力として図示されていない表示部に供給される。録画再生部４は、番組録画時にデコーダ３の出力と共に、ダイジェスト作成部５が出力するダイジェスト情報を媒体記録する。ダイジェスト再生時には媒体記録したダイジェスト情報に基づき作成されるイベントアドレステーブル（後述する）を参照して録画番組中のハイライトシーン（重要シーン）を再生する。

ダイジェスト作成部５は、図２に図示するように、ＬＲ分離部５１、減算器５２、判定部５３およびダイジェスト情報生成部５４から構成される。ＬＲ分離部５１は、デコーダ３から供給される音声データ（ステレオ信号）を左右チャンネルの音声データに分離して出力する。減算器５２は、一方のチャンネルの音声データから他方のチャンネルの音声データを減算して差分音声データを発生する。プロ野球中継などのスポーツ番組では、アナウンサーや解説者の音声の音像を中央に定位させ、歓声などの臨場音の音像を左右チャンネルに割当てる場合が多い。そこで、一方のチャンネルの音声データから他方のチャンネルの音声データを減算して差分音声データを得ることでアナウンサーや解説者の音声を相殺し、歓声などの臨場音のみを抽出する。したがって、減算器５２は歓声などの臨場音成分だけの差分音声データを発生する。

判定部５３は、差分音声データのパワーＰ（自乗平均値）を算出し、算出したパワーＰが一定期間継続的に閾値を超える区間を判定する。なお、本実施の形態では、差分音声データのパワーＰ（自乗平均値）を算出するようにしたが、これに限らず、差分音声データのパワースペクトルや、差分音声データに対応する音量レベルを用い、それが一定期間継続的に閾値を超える区間を判定する態様としても構わない。

ダイジェスト情報生成部５４では、判定部５３において判定された区間、すなわち、パワーＰが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を、デコーダ３から供給される基準時刻ＰＣＲに基づき検出し、検出した開始時刻および終了時刻からなるダイジェスト情報を発生する。パワーＰが一定期間継続的に閾値を超える区間とは、具体的には、例えばプロ野球中継番組を視聴している場合であれば、「得点時」に歓声などの臨場音の大きさが盛り上がるハイライトシーン（重要シーン）に相当する区間を指す。

（２）動作
次に、図３〜図５を参照して、上記構成による番組要約装置が実行する「ダイジェスト情報作成処理」および「ダイジェスト再生処理」の各動作について説明する。

＜ダイジェスト情報作成処理の動作＞
番組要約装置がパワーオンされて放送受信状態にある時に、ユーザ操作により録画指示されたとする。そうすると、制御部１は録画再生部４に録画開始を指示すると共に、ダイジェスト作成部５にダイジェスト情報作成指示を与える。ダイジェスト作成部５では、この指示に従って図３に図示するダイジェスト情報作成処理を実行する。
ダイジェスト情報作成処理が実行されると、ステップＳＡ１に進み、デコーダ３から出力される音声データ（ステレオ信号）を左右チャンネルの音声データに分離し、左チャンネルの音声データから右チャンネルの音声データを減算して差分音声データを算出する。これにより、中央に音像定位されるアナウンサーや解説者の音声を相殺し、歓声などの臨場音のみを含む差分音声が得られる。

次いで、ステップＳＡ２では、差分音声データのパワーＰを算出する。パワーＰは差分音声データの自乗平均値として得られる。続いて、ステップＳＡ３では、パワーＰが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を、デコーダ３から供給される基準時刻ＰＣＲに基づき検出し、検出した開始時刻および終了時刻からなるダイジェスト情報を作成する。こうして作成されるダイジェスト情報は、録画再生部４にてデコーダ３の出力（映像／音声データ）と共に媒体記録される。次に、ステップＳＡ４では、番組が終了したか否かを判断し、番組終了していなければ、判断結果は「ＮＯ」になり、上述のステップＳＡ１〜ＳＡ３を繰り返す。そして、番組が終了すると、判断結果が「ＹＥＳ」になり、本処理を完了させる。

＜ダイジェスト再生処理の動作＞
次に、図４を参照してダイジェスト再生処理の動作を説明する。番組録画と共に上述したダイジェスト情報作成処理が行われた後に、ユーザ操作にてダイジェスト再生指示されると、制御部１は録画再生部４にダイジェスト再生開始を指示する。すると、録画再生部４では、その指示に従って図４に図示するダイジェスト再生処理を実行し、ステップＳＢ１に進み、媒体記録されたダイジェスト情報に基づきイベントアドレステーブルを作成する。

イベントアドレステーブルとは、ダイジェスト情報が表すハイライトシーンの開始時刻および終了時刻にそれぞれ対応した録画素材中の記録アドレスを表すテーブルである。そして、ステップＳＣ２では、こうしたイベントアドレステーブルを参照して録画素材の内からダイジェスト情報が表すハイライトシーンを再生する。これにより、録画したスポーツ番組中から歓声が高まるハイライトシーンだけを取り出して再生する番組要約が行われる。

ところで、ダイジェスト情報に対応したイベントアドレステーブルに基づき上述のダイジェスト再生を行うと、いきなりハイライトシーンが再生されるため、再生内容が不自然になる虞が生じる。そこで、イベントアドレステーブルを作成する際に、ダイジェスト情報が表すハイライトシーンの開始時刻Ｔｓおよび終了時刻Ｔｅに対し、ハイライトシーンの前後も再生できるように開始時刻Ｔｓ−αおよび終了時刻Ｔｅ＋αとする時刻補正を施すようにすれば、上述の不自然さを解消できるようになる。

このように、本実施形態では、ステレオ形式の音声データの左右チャンネル間差分によりアナウンサーや解説者の音声を除去して歓声などの臨場音を表す差分音声データを生成し、この差分音声データのパワーＰが一定期間継続的に閾値を超える区間、すなわちハイライトシーンの開始時刻および終了時刻を表すダイジェスト情報を作成し、録画素材と共に媒体記録しておく。そして、ダイジェスト情報が表すハイライトシーンの開始時刻および終了時刻にそれぞれ対応した録画素材中の記録アドレスを表すイベントアドレステーブルを参照して録画素材の内からダイジェスト情報が表すハイライトシーンだけを再生するので、実況解説の音声に影響されることなくダイジェスト映像を作成することが可能になる。

なお、本実施形態では、差分音声データのパワーＰからハイライトシーンを検出するための閾値を固定値としたが、これに限らず、例えば過去Ｎ分に検出した差分音声データのパワーＰの最大値に対してＭ％というように可変設定する態様であっても構わない。
また、番組録画時に差分音声データも併せて媒体記録しておき、番組録画が終了してから差分音声データだけを最初から再生し、その過程で差分音声データのパワーＰに基づき抽出するハイライトシーン数（あるいはハイライトシーン合計時間）が事前設定値になるように閾値を変化させてダイジェスト情報を作成する態様としても良い。

Ｂ．変形例
次に、図５〜図８を参照して第１実施形態におけるダイジェスト作成部５の変形例について説明する。なお、これら図５〜図８に図示する第１〜第４変形例において、図２に図示したダイジェスト作成部５と共通する構成要素には同一の番号を付し、その説明を省略する。

＜第１変形例＞
図５は第１変形例によるダイジェスト作成部５の構成を示すブロック図である。この図に示すダイジェスト作成部５が図２に図示した第１実施形態と相違する点は、判定部５３に替えて特定周波数レベル検出部５５を設けたことにある。特定周波数レベル検出部５５は、差分音声データに周波数解析を施し、特定の周波数の信号レベルが閾値を超えた時にダイジェスト情報生成部５４にダイジェスト情報生成指示を与える。
具体的には、例えばサッカーの試合を放映する番組の場合、ゴール時に審判が鳴らすホイッスルの音など、特定の周波数の信号レベルが閾値を超えた場合にハイライトシーンと見做してダイジェスト情報生成指示を発生させる。このようにしても実況解説の音声に影響されることなくダイジェスト映像を作成することが可能になる。

＜第２変形例＞
図６は第２変形例によるダイジェスト作成部５の構成を示すブロック図である。この図に示すダイジェスト作成部５が図２に図示した第１実施形態と相違する点は、テロップ判定部５６および合成判定部５７を新たに設けたことにある。
スポーツ番組では得点をテロップ表示することが多い。この為、テロップ判定部５６はデコーダ３が出力する映像データからテロップを検出した場合に、得点シーン（ハイライトシーン）と見做して検出信号を発生する。テロップ検出する一例として、例えば１つの映像フレームをＮ個のブロック画像に分割し、分割された各ブロック画像毎に前フレームと現フレームとの輝度差分を求め、所定値以上の輝度差分のブロック画像の数が一定数を超えた場合に現フレームにテロップ表示されたこと表す検出信号を発生する。

合成判定部５７は、上記テロップ判定部５６の検出信号および判定部５３の判定出力の双方を同時検知した場合に、ダイジェスト情報の発生をダイジェスト情報生成部５４に指示する。つまり、スポーツ番組では、時としてスポンサーの交代をテロップで表示するが、そのような場合にもテロップ判定部５６は検出信号を出力してしまう。
そこで、歓声などの臨場音を表す差分音声データのパワーＰが一定期間継続的に閾値を超える区間を判定部５３が判定し、かつテロップ判定部５６が検出信号を発生した時に、合成判定部５７がハイライトシーンであると判定してダイジェスト情報生成部５４にダイジェスト情報の発生を指示する。このようにすれば、実況解説の音声に影響されることなくダイジェスト映像を作成することが可能になる。

＜第３変形例＞
図７は第３変形例によるダイジェスト作成部５の構成を示すブロック図である。この図に示すダイジェスト作成部５が図２に図示した第１実施形態と相違する点は、ＬＲ分離部５１および減算器５２に替えて、５．１ｃｈ分離部５８および混合部５９を新たに設け、デコーダ３から５．１ｃｈサラウンド音声信号が供給される場合に対応する。
すなわち、５．１ｃｈ分離部５８では、５．１ｃｈサラウンド音声信号を中央Ｃ、左Ｌ、右Ｒ、左後Ｌｓ、右後Ｒｓおよび低音強調ＬＥＦの各成分に分離し、それら成分の内からアナウンサーや解説者の音声を含む中央Ｃを除外した４．１ｃｈ（左Ｌ、右Ｒ、左後Ｌｓ、右後Ｒｓおよび低音強調ＬＥＦ）の音声信号を出力する。混合部５９は、５．１ｃｈ分離部５８が出力する４．１ｃｈの音声信号を混合して出力する。

判定部５３およびダイジェスト情報生成部５４では、アナウンサーや解説者の音声を除外した４．１ｃｈの混合音声信号のパワーＰが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を、デコーダ３から供給される基準時刻ＰＣＲに基づき検出し、検出した開始時刻および終了時刻からなるダイジェスト情報を発生する。したがって、上述した第１実施形態と同様、実況解説の音声に影響されることなくダイジェスト映像を作成することが可能になる。

＜第４変形例＞
図８は第４変形例によるダイジェスト作成部５の構成を示すブロック図である。この変形例は、上述の第３変形例と同様、デコーダ３から５．１ｃｈサラウンド音声信号が供給される場合に対応するものであり、５．１ｃｈ分離部５８、減算器５２−１〜５２−２および音声認識選択部６０を備える。５．１ｃｈ分離部５８は、５．１ｃｈサラウンド音声信号を中央Ｃ、左Ｌ、右Ｒ、左後Ｌｓ、右後Ｒｓおよび低音強調ＬＥＦの各成分に分離し、左Ｌおよび右Ｒの成分と、左後Ｌｓおよび右後Ｒｓの成分とを出力する。減算器５２−１は左Ｌと右Ｒとの第１差分音声データを、減算器５２−１は左後Ｌｓと右後Ｒｓとの第２差分音声データをそれぞれ発生する。

音声認識選択部６０は、前段の減算器５２−１〜５２−２からそれぞれ入力される第１差分音声データと第２差分音声データとに音声認識を施し、より音声認識率の低い差分音声データを判定用音声に選択して次段の判定部５３に出力する。具体的には、第１差分音声データと第２差分音声データとに周知の無音声ＨＭＭモデルおよび有声音ＨＭＭモデルによる音声認識をそれぞれ施し、全体的に無音声ＨＭＭモデルで得られる尤度が高い方を採択する手法などを用いる。

そして、判定部５３およびダイジェスト情報生成部５４では、音声認識選択部６０が選択した差分音声データのパワーＰが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を、デコーダ３から供給される基準時刻ＰＣＲに基づき検出し、検出した開始時刻および終了時刻からなるダイジェスト情報を発生する。これにより、実況解説の音声に影響されることなくダイジェスト映像を作成することが可能になる。

Ｃ．第２実施形態
次に、図９〜図１１を参照して第２実施形態について説明する。
（１）構成
図９は、第２実施形態による番組要約装置の全体構成を示すブロック図である。この図おいて、図１に図示した第１実施形態と共通する構成要素には同一の番号を付し、その説明を省略する。
第１実施形態では、差分音声データに基づいて作成したダイジェスト情報を録画素材と共に媒体記録しておき、媒体記録したダイジェスト情報を参照して録画素材の内からハイライトシーンだけを再生するダイジェスト再生を行って番組要約するのに対し、第２実施形態では放映される番組のハイライトシーン（重要シーン）を直接的に録画して番組要約するダイジェスト記録を行う。こうしたダイジェスト記録を具現する為、ダイジェスト処理部６および録画バッファ７を備える。

ダイジェスト処理部６は、デコーダ３から供給されるステレオ形式の音声データを左右チャンネルの音声データに分離してその差分音声データのパワーＰ（自乗平均値）に基づき録画対象の番組のハイライトシーンの始りと終わりを検出する。ハイライトシーンの始りとは、後述する録画バッファ７の読み出しが行われていない状態で差分音声データのパワーＰが一定時間連続して閾値を上回った時点を指す。また、ハイライトシーンの終わりとは、後述する録画バッファ７の読み出しが行われいる状態で差分音声データのパワーＰが一定時間連続して閾値を下回った時点を指す。

ダイジェスト処理部６では、ハイライトシーンの始りを検出した時に制御部１にバッファ読み出し指示を与え、一方、ハイライトシーンの終わりを検出した時に制御部１にバッファ読み出し終了指示を与える。また、ダイジェスト処理部６は、録画対象の番組が終了した時点で制御部１に録画終了指示を与える。
制御部１は、ダイジェスト処理部６からのバッファ読み出し指示／読み出し終了指示に応じて、録画バッファ７の読み出しを制御すると共に、録画再生部４に録画開始／録画停止を指示する。また、制御部１は、ダイジェスト処理部６からの録画終了指示に応じて録画再生部４に録画終了を指示する。録画バッファ７は、例えば周知のリングバッファ等から構成され、デコーダ３の出力（映像データおよび音声データ）を常に現在から一定期間長を録画する一方、制御部１の指示に応じて録画内容を読み出して録画再生部４に出力する。

（２）動作
次に、図１０〜図１１を参照して、上記構成による番組要約装置が実行するダイジェスト記録処理の動作について説明する。番組要約装置がパワーオンされて放送受信状態にある時に、ユーザ操作により録画指示されたとする。そうすると、制御部１はダイジェスト処理部６にダイジェスト記録指示を与える。ダイジェスト処理部６では、この指示に従って図１０に図示するダイジェスト記録処理を実行する。
ダイジェスト記録処理が実行されると、ステップＳＣ１に進み、転送フラグＦをゼロリセットする。転送フラグＦは、録画バッファ７の読み出し（録画再生部４への転送）が行われる場合に「１」、録画バッファ７の読み出しが行われていない非転送状態で「０」となるフラグである。

次いで、ステップＳＣ２では、デコーダ３から出力される音声データ（ステレオ信号）を左右チャンネルの音声データに分離し、左チャンネルの音声データから右チャンネルの音声データを減算して差分音声データを算出する。これにより、中央に音像定位されるアナウンサーや解説者の音声を相殺し、歓声などの臨場音のみを含む差分音声が得られる。続いて、ステップＳＣ３では、差分音声データのパワーＰを算出する。パワーＰは差分音声データの自乗平均値として得られる。そして、ステップＳＣ４では、転送フラグＦが「０」の非転送状態にあり、かつパワーＰが一定時間連続して閾値を上回ったか否か、つまりハイライトシーンの始りであるかどうかを判断する。

ハイライトシーンの始りでなければ、判断結果は「ＮＯ」となり、後述するステップＳＣ７に進む。一方、ハイライトシーンの始りであると、判断結果は「ＹＥＳ」になり、ステップＳＣ５に進み、制御部１にバッファ読み出し指示を与える。これにより、制御部１は、録画バッファ７を読み出すと共に、録画再生部４に録画開始を指示する。
したがって、常に現在から一定期間長を録画する録画バッファ７の内からハイライトシーンの始りに対応するタイミング以降の録画素材が録画バッファ７から録画再生部４に転送されて録画される。こうして録画バッファ７の読み出しが開始されると、ダイジェスト処理部６はステップＳＣ６に進み、転送フラグＦを「１」にセットして上述のステップＳＣ２に処理を戻す。

以後、上述したステップＳＣ２〜ＳＣ３を実行後、再びステップＳＣ４に進むが、この場合には転送フラグＦが「１」となっているので、判断結果は「ＮＯ」となり、ステップＳＣ７に進む。ステップＳＣ７では、転送フラグＦが「１」の転送中にあり、かつパワーＰが一定時間連続して閾値を下回ったか否か、つまりハイライトシーンの終わりであるかどうかを判断する。
ハイライトシーンの終わりであれば、判断結果は「ＹＥＳ」になり、ステップＳＣ８に進む。ステップＳＣ８では、制御部１にバッファ読み出し終了指示を与える。制御部１では、この指示に従って録画バッファ７からの読み出しを停止させる共に、録画再生部４に録画停止を指示する。これにより、先に録画し始めたハイライトシーンの始りから終わりまでがダイジェストとして録画再生部４に直接的に録画される。

この後、ステップＳＣ９に進み、録画バッファ７の読み出し停止に応じて転送フラグＦをゼロリセットした後、前述のステップＳＣ２に処理を戻す。以後、上述した過程を繰り返し、ハイライトシーンの始りが検出されたならば、常に現在から一定期間長を録画する録画バッファ７の内からハイライトシーンの始りに対応するタイミング以降の録画素材を録画再生部４に転送し始め、ハイライトシーンの終わりを検出すると、その転送を停止して録画停止させるダイジェスト記録を行う。

ハイライトシーンに該当しない場合には、上記ステップＳＣ４、ＳＣ７の各判断結果がいずれも「ＮＯ」になり、ステップＳＣ１０に進み、番組が終了したか否かを判断し、番組終了していなければ、判断結果は「ＮＯ」になり、上述のステップＳＣ２に処理を戻すが、番組終了すると、判断結果が「ＹＥＳ」になり、ステップＳＣ１１に進み制御部１に録画終了指示を与えて本処理を終了する。制御部１では、ダイジェスト処理部６からの録画終了指示に応じて録画再生部４に録画終了を指示して録画を完了させる。
したがって、例えば差分音声のパワーＰが図１１（ａ）に図示するように経時変化した場合には、同図（ｂ）に図示する通り、開始時刻１から終了時刻１までの重要シーン（ハイライトシーン）や、開始時刻２から終了時刻２までの重要シーン（ハイライトシーン）をダイジェスト記録し得るようになる。

このように、第２実施形態では、デコーダ３の出力を常に現在から一定期間長を録画する録画バッファ７を設けておき、ステレオ形式の音声データの左右チャンネル間差分によりアナウンサーや解説者の音声を除去して歓声などの臨場音を表す差分音声データのパワーＰと録画バッファ７の転送状態とを勘案して視聴番組のハイライトシーンの始りと終わりを検出し、ハイライトシーンの始りを検出すると、録画バッファ７の内からハイライトシーンの始りに対応するタイミング以降の録画素材を録画再生部４に転送し始め、ハイライトシーンの終わりを検出した場合に、その転送を停止して録画停止させるダイジェスト記録を行うので、実況解説の音声に影響されることなくダイジェスト映像を作成できるようになっている。

なお、上述した第２実施形態では、説明の簡略化を図る為、ハイライトシーンの始りと終わりの各タイミングでハイライトシーン（重要シーン）を録画するようにしたが、そのようにいきなりハイライトシーンだけをダイジェスト記録すると再生時に不自然さが生じる。そこで、ダイジェスト記録時に際してハイライトシーンの始りのタイミングより所定時間前から録画し始め、ハイライトシーンの終わりのタイミングより所定時間後で録画を停止させれば、不自然さを解消できるようになる。
また、本実施形態では、録画バッファ７を個別に設けるようにしたが、これに限らず、録画再生部４の記録媒体の一部をリングバッファ的にリードライトするようにして録画バッファ７を録画再生部４に包含させる形態であっても構わない。

本発明の第１実施形態の全体構成を示すブロック図である。 ダイジェスト作成部５の構成を示すブロック図である。 ダイジェスト情報作成処理の動作を示すフローチャートである。 ダイジェスト再生処理の動作を示すフローチャートである。 第１変形例によるダイジェスト作成部５の構成を示すブロック図である。 第２変形例によるダイジェスト作成部５の構成を示すブロック図である。 第３変形例によるダイジェスト作成部５の構成を示すブロック図である。 第４変形例によるダイジェスト作成部５の構成を示すブロック図である。 本発明の第１実施形態の全体構成を示すブロック図である。 ダイジェスト記録処理の動作を示すフローチャートである。 ダイジェスト記録処理の動作の一例を説明するための図である。

符号の説明

１ 制御部
２ チューナ
３ デコーダ
４ 録画再生部
５ ダイジェスト作成部
６ ダイジェスト処理部
７ 録画バッファ
５１ ＬＲ分離部
５２ 減算器
５３ 判定部
５４ ダイジェスト情報生成部
５５ 特定周波数レベル検出部
５６ テロップ検出部
５７ 合成判定部
５８ ５．１ｃｈ分離部
５９ 混合部
６０ 音声認識選択部

Claims (16)

1. ステレオ音声で放映される番組を受信する放送受信手段と、
   前記放送受信手段により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成手段と、
   前記差分音声生成手段により生成された差分音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成手段と、
   前記放送受信手段により受信された番組を録画すると同時に、前記ダイジェスト情報作成手段が作成するダイジェスト情報を媒体記録する録画手段と、
   前記録画手段にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生手段と
   を具備することを特徴とする番組要約装置。
2. 前記ダイジェスト情報作成手段は、差分音声信号の大きさが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする請求項１記載の番組要約装置。
3. 前記ダイジェスト情報作成手段は、差分音声信号中の特定の周波数レベルが一定期間継続的に閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする請求項１記載の番組要約装置。
4. 前記ダイジェスト情報作成手段は、前記放送受信手段により受信された番組の映像信号からテロップ表示の有無を検出するテロップ検出手段を備え、当該テロップ検出手段がテロップ表示を検出した時に、前記差分音声生成手段により生成された差分音声信号が判定条件を満たした場合、その判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする請求項１記載の番組要約装置。
5. サラウンド音声で放映される番組を受信する放送受信手段と、
   前記放送受信手段により受信された番組のサラウンド音声信号から中央成分を除く他の成分を混合した混合音声信号を生成する混合音声生成手段と、
   前記混合音声生成手段により生成された混合音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成手段と、
   前記放送受信手段により受信された番組を録画すると同時に、前記ダイジェスト情報作成手段が作成するダイジェスト情報を媒体記録する録画手段と、
   前記録画手段にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生手段と
   を具備することを特徴とする番組要約装置。
6. サラウンド音声で放映される番組を受信する放送受信手段と、
   前記放送受信手段により受信された番組のサラウンド音声信号から左右チャンネル間差分を表す第１差分音声信号と左後右後チャンネル間差分を表す第２差分音声データとを生成する差分音声生成手段と、
   前記差分音声生成手段により生成される第１差分音声信号と第２差分音声信号とに音声認識を施し、この第１および第２差分音声信号の内、より音声認識率の低い方を判定用音声信号に選択して出力する選択手段と、
   前記選択手段により選択される判定用音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成手段と、
   前記放送受信手段により受信された番組を録画すると同時に、前記ダイジェスト情報作成手段が作成するダイジェスト情報を媒体記録する録画手段と、
   前記録画手段にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生手段と
   を具備することを特徴とする番組要約装置。
7. ステレオ音声で放映される番組を受信する放送受信手段と、
   前記放送受信手段により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成手段と、
   前記差分音声生成手段により生成された差分音声信号の大きさが、第１の判定条件を満たす第１のタイミングと第２の判定条件を満たす第２のタイミングとを検出するタイミング検出手段と、
   前記放送受信手段により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出手段が第１のタイミングを検出した時点から第２のタイミングを検出した時点までを録画するダイジェスト記録手段と
   を具備することを特徴とする番組要約装置。
8. ステレオ音声で放映される番組を受信する放送受信手段と
   前記放送受信手段により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成手段と、
   前記差分音声生成手段により生成された差分音声信号のパワーが、一定時間連続して閾値を上回る第１のタイミングと一定時間連続して閾値を下回る第２のタイミングとを検出するタイミング検出手段と、
   前記放送受信手段により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出手段が第１のタイミングを検出した時点より所定時間前から第２のタイミングを検出した時点より所定時間後までを録画するダイジェスト記録手段と
   を具備することを特徴とする番組要約装置。
9. ステレオ音声で放映される番組を受信する放送受信処理と、
   前記放送受信処理にて受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成処理と、
   前記差分音声生成処理にて生成された差分音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成処理と、
   前記放送受信処理により受信された番組を録画すると同時に、前記ダイジェスト情報作成処理が作成するダイジェスト情報を媒体記録する録画処理と、
   前記録画処理にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生処理と
   をコンピュータで実行させることを特徴とする番組要約処理プログラム。
10. 前記ダイジェスト情報作成処理は、差分音声信号の大きさが一定時間連続して閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする請求項９記載の番組要約処理プログラム。
11. 前記ダイジェスト情報作成処理は、差分音声信号中の特定の周波数レベルが一定時間連続して閾値を超える区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする請求項９記載の番組要約処理プログラム。
12. 前記ダイジェスト情報作成処理は、前記放送受信処理により受信された番組の映像信号からテロップ表示の有無を検出するテロップ検出処理を備え、当該テロップ検出処理がテロップ表示を検出した時に、前記差分音声生成処理にて生成された差分音声信号が判定条件を満たした場合、その判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成することを特徴とする請求項９記載の番組要約処理プログラム。
13. サラウンド音声で放映される番組を受信する放送受信処理と、
    前記放送受信処理にて受信された番組のサラウンド音声信号から中央成分を除く他の成分を混合した混合音声信号を生成する混合音声生成処理と、
    前記混合音声生成処理により生成された混合音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成処理と、
    前記放送受信処理にて受信された番組を録画すると同時に、前記ダイジェスト情報作成処理が作成するダイジェスト情報を媒体記録する録画処理と、
    前記録画処理にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生処理と
    をコンピュータで実行させることを特徴とする番組要約処理プログラム。
14. サラウンド音声で放映される番組を受信する放送受信処理と、
    前記放送受信処理にて受信された番組のサラウンド音声信号から左右チャンネル間差分を表す第１差分音声信号と左後右後チャンネル間差分を表す第２差分音声データとを生成する差分音声生成処理と、
    前記差分音声生成処理により生成される第１差分音声信号と第２差分音声信号とに音声認識を施し、この第１および第２差分音声信号の内、より音声認識率の低い方を判定用音声信号に選択して出力する選択処理と、
    前記選択処理にて選択される判定用音声信号が判定条件を満たした区間の開始時刻および終了時刻を表すダイジェスト情報を作成するダイジェスト情報作成処理と、
    前記放送受信処理にて受信された番組を録画すると同時に、前記ダイジェスト情報作成処理が作成するダイジェスト情報を媒体記録する録画処理と、
    前記録画処理にて録画された番組の内、前記媒体記録されたダイジェスト情報が表す開始時刻および終了時刻に対応する録画シーンを再生するダイジェスト再生処理と
    をコンピュータで実行させることを特徴とする番組要約処理プログラム。
15. ステレオ音声で放映される番組を受信する放送受信処理と、
    前記放送受信処理により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成処理と、
    前記差分音声生成処理により生成された差分音声信号の大きさが、第１の判定条件を満たす第１のタイミングと第２の判定条件を満たす第２のタイミングとを検出するタイミング検出処理と、
    前記放送受信処理により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出処理が第１のタイミングを検出した時点から第２のタイミングを検出した時点までを録画するダイジェスト記録処理と
    をコンピュータで実行させることを特徴とする番組要約処理プログラム。
16. ステレオ音声で放映される番組を受信する放送受信処理と、
    前記放送受信処理により受信された番組のステレオ音声信号から左右チャンネル間差分を表す差分音声信号を生成する差分音声生成処理と、
    前記差分音声生成処理により生成された差分音声信号のパワーが、一定時間連続して閾値を上回る第１のタイミングと一定時間連続して閾値を下回る第２のタイミングとを検出するタイミング検出処理と、
    前記放送受信処理により受信された番組を常に現在から一定期間長分を一時記憶しておき、この一時記憶される番組の内、前記タイミング検出処理が第１のタイミングを検出した時点より所定時間前から第２のタイミングを検出した時点より所定時間後までを録画するダイジェスト記録処理と
    をコンピュータで実行させることを特徴とする番組要約処理プログラム。

Images