JP2004513547A

JP2004513547A - 音声特性を利用してビデオプログラム中のハイライトを検出するシステム及び方法

Info

Publication number: JP2004513547A
Application number: JP2002540156A
Authority: JP
Inventors: ダグタス，セラーン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-10-30
Filing date: 2001-10-16
Publication date: 2004-04-30
Also published as: EP1332497A2; KR100833807B1; US6973256B1; WO2002037498A3; KR20020067581A; CN1404609A; CN100364008C; WO2002037498A2

Abstract

ビデオプログラム中のプログラムハイライトを検出するための装置が開示される。本装置は、１）上記ビデオプログラムの音声トラック中の所定のキーワードの位置を検出できるキーワード検出回路と、２）上記所定のキーワードの上記検出した位置近傍の上記音声トラックの音声信号エネルギレベルを算出し、該音声信号エネルギレベルを所定の閾値と比較することができる音声信号エネルギレベル検出回路とを含む。上記音声信号エネルギレベル検出回路は、上記音声信号エネルギレベルが上記所定の閾値を超えているとの判断に応答して、上記所定のキーワードの上記検出した位置をプログラムハイライトとして特定する。

Description

【０００１】
［発明の技術分野］
本発明は、一般的にはビデオ再生デバイスに係り、より詳細には、スポーツ番組のようなビデオプログラムのハイライトを検出及び再生するシステムに関する。
【０００２】
［発明の背景］
広範な種類のビデオ再生デバイスが市場で入手可能である。大部分の人々は、ビデオテープレコーダ（ＶＴＲ）とも称されるビデオカセットレコーダ（ＶＣＲ）を所有するか若しくはよく知っている。最近では、ビデオプログラムを記録するために磁気カセットテープではなくコンピューター磁気ハードディスクを使用するビデオレコーダが、市場で見受けられる。例えば、ＲｅｐｌａｙＴＶ^ＴＭレコーダ及びＴｉＶＯ^ＴＭレコーダは、例えばＭＰＥＧ−２圧縮を使用してハードディスクドライブにテレビジョンプログラムをデジタルで記録する。更に、幾つかのビデオ再生デバイスは、磁気ディスクではなく読み取り／書き込み可能なデジタル多用途ディスク（ＤＶＤ）に記録を行う。
【０００３】
ビデオプログラムを再生できる略すべてのシステムは、記録済みのビデオプログラムを通した鑑賞者による選択的な走査を可能とする、早送りモード及び巻戻しモードを有する。これらのモードは、不要な時間を節約するものである。多くの人は、プログラムの興味のある部分（即ち、“ハイライト”）を見るためや、コマーシャルを含むプログラムの興味のない部分をスキップするために、早送り（ＦＦ）や巻戻し（ＲＥＷ）を使用する。典型的なシナリオでは、スポーツファンは、フットボールの試合を大幅に短い時間で走査する為に早送りモードを使用し、興味のあるプレイ（タッチダウンやロングパスのような）を通常速度で見るために早送りを止める。
【０００４】
しかしながら、かかるプログラム鑑賞方法は、依然として人の介入を多大に必要とし、本質において幾分行き当たりばったり式である。鑑賞者は、興味のある事象を検出すべく、早送り動作中において常にスクリーンを監視しなければならない。鑑賞者は、しばしば、興味深い事象（タッチダウンのような）の大部分を、当該興味深い事象が生じていることに気が付く前に、走査し過ぎてしまう。鑑賞者は、僅かに巻戻して、興味のある事象を通常速度でリプレイしなければならない。
【０００５】
ビデオプログラムにおけるハイライト（若しくは興味のある事象）を選択的に鑑賞するプロセスを自動化するために、多くの技術が提案されているが、限られて度合いの成功しかなしえていない。これらの先行技術のシステムは、ビデオプログラムに関する所定のワードのライブラリを検索するキーワードに基づく方法、特定のカテゴリーの音声（即ち、スピーチ、音楽、無音状態）を探す音声コンテンツに基づく方法、例えば風景の変化に基づきビデオプログラムを自動的に解析する映像処理方法を使用している。残念ながら、ビデオハイライトを選択することは人間にとって簡単明瞭な作業でありうる一方で、ビデオプログラム中で真の興味のある事象を自動的に検出することは、多大なコンピューター的な労力を必要とする非常に誤りの発生しやすい処理であることが常である。
【０００６】
それ故に、ビデオプログラム中の興味のある事象を検出できる改善型のシステム及び方法に対する必要性が先行技術において存在する。特に、ビデオプログラムを記録し、記録したビデオプログラム中の興味のある事象を特定できるビデオ再生デバイスに対する要請がある。より詳細には、記録済みビデオプログラム中のハイライトを特定でき、後のユーザの要求に応じてハイライトを選択的に再生することができるビデオ再生デバイスに対する要請がある。
【０００７】
［発明の概要］
先行技術の上述の欠点に対処するため、本発明の主要な目的は、内部の記憶装置に記録されたビデオプログラムを再生できるビデオ再生デバイスにおいて使用される、上記ビデオプログラム中のプログラムハイライトを検出する装置を提供することにある。本発明の効果的な実施例によれば、上記装置は、１）上記ビデオプログラムの音声トラック中の所定のキーワードの位置を検出できるキーワード検出回路と、２）上記所定のキーワードの上記検出した位置近傍の上記音声トラックの音声信号エネルギレベルを算出し、該音声信号エネルギレベルを所定の閾値と比較することができる音声信号エネルギレベル検出回路とを含む。
【０００８】
本発明の一実施例によれば、上記音声信号エネルギレベル検出回路は、上記音声信号エネルギレベルが上記所定の閾値を超えているとの判断に応答して、上記所定のキーワードの上記検出した位置をプログラムハイライトとして特定する。
【０００９】
本発明の他の実施例によれば、上記キーワード検出回路は、上記ビデオプログラム中のクローズド・キャプション文字を検出できるクローズド・キャプション検出器と、上記検出されたクローズド・キャプション文字内のキーワードを検出するプロセッサとを含む。
【００１０】
本発明の更なる他の実施例によれば、上記プロセッサは、上記検出されたクローズド・キャプション文字を、上記プロセッサに関連するメモリ内に記憶された複数のキーワードと比較することによって、上記検出されたクローズド・キャプション文字中の上記キーワードを検出する。
【００１１】
本発明の更なる他の実施例によれば、上記キーワード検出回路は、上記音声トラックで検出された話し言葉を文字に変換する音声認識アプリケーションプログラムを実行できる音声プロセッサを含み、上記音声プロセッサは、更に、上記変換された文字中のキーワードを検出することができる。
【００１２】
本発明の更なる他の実施例によれば、上記音声プロセッサは、上記変換された文字を、上記音声プロセッサに関連するメモリに記憶された複数のキーワードと比較することによって、上記変換された文字中のキーワードを検出する。
【００１３】
本発明の更なる他の実施例によれば、上記音声信号エネルギレベル検出回路は、上記所定のキーワードの上記検出された位置近傍のウインドウにおける平均音声信号エネルギレベルを算出することによって、上記音声トラックの上記音声信号エネルギレベルを導出する。
【００１４】
本発明の更なる他の実施例によれば、上記音声信号エネルギレベル検出回路は、上記所定のキーワードの上記検出された位置に先行するプログラムハイライトの開始点及び上記所定のキーワードの上記検出された位置に後続するプログラムハイライトの終了点を決定することによって、上記所定のキーワードの上記検出された位置をプログラムハイライトとして特定する。
【００１５】
本発明の他の主要な目的は、キーワード検出回路を必要としない、ビデオプログラム中のプログラムハイライトを検出するための装置を提供することにある。本発明の一実施例では、上記装置は、音声トラックのＮ個の連続するセグメントの音声信号エネルギレベルを計算し、上記音声信号エネルギレベルを所定の閾値と比較することができる音声信号エネルギレベル検出回路を含む。音声信号エネルギレベル検出回路は、上記音声信号エネルギレベルが上記所定の閾値を超えたとの判断に応答して、上記Ｎ個の連続するセグメントをプログラムハイライトとして特定する。模範的実施例では、プログラムハイライトは、平均の音声信号エネルギレベルが上記所定の閾値を超える上記Ｎ個の連続するセグメントを導出することによって、特定される。
【００１６】
上述は、当業者が次の発明の詳細な説明をより良く理解しうるように、本発明の特徴及び技術的な効果をより幅広く概説している。本発明の請求項の主題を形成する、本発明の更なる特徴及び効果が以下で開示されることになる。当業者であれば、本発明の同一の目的を実現するための修正若しくは他の構造を設計するために、基礎として開示された特別な実施例及び概念を容易に利用しうることがわかるだろう。当業者であれば、かかる均等な構造が最も広い形態での本発明の精神及び観点を逸脱しないことを理解すべきである。
【００１７】
“発明の詳細な説明”の前に、本特許文献を通して使用されるある一定の言葉及びフレーズの定義を与えることが効果的であるだろう。用語“含む”は、それらの構成要素以外の構成要素を排除するものでない。用語“若しくは”は非限定的で及び／又はを意味し、フレーズ“関連して”は、そこからの派生物と同様、含む、そこに含まれる、相互結合している、包含する、接続している、結合している、連通している、協働する、介在する、並設される、近傍にある、境界関係を持つ、持つ、備える、特性を有する等を意味する。用語“コントローラ”は、少なくとも１の動作を制御するあらゆるデバイス、システム若しくはそれらの一部を意味し、かかるデバイスは、ハードウェア、ファームウェア、ソフトウェア若しくはそれらの任意の組み合わせで実現されてよい。あらゆる特定のコントローラに関連する機能は、局所的であれ遠隔的であれ、中央化若しくは分散化されてよい。特に、コントローラは、１以上のアプリケーションプログラム及び／又は動作システムプログラムを実行する、１以上のデータプロセッサ及び関連する入出力デバイス並びにメモリを含んでよい。ある一定の言葉及びフレーズに対する定義が本特許文献を通して付与されたが、当業者であれば、かかる定義が、多くの場合、過去や未来にも適用されることを理解すべきである。
【００１８】
本発明及びその効果のより完全な理解のため、類似する番号が類似する対象を指示している添付図面と関連して、次の詳細な説明に参照がなされる。
【００１９】
［発明の詳細な説明］
以下説明する図１乃至図４、及び、本特許文献における本発明の原理を説明するために使用される種々の実施例は、例示的なものであり、本発明の観点を制限するように解釈されるべきでない。当業者であれば、本発明の原理が、あらゆる適切に構成された再生デバイスにおいて実施されてよいことを理解するだろう。
【００２０】
図１は、本発明の一実施例による模範的なビデオ再生デバイス１５０及びテレビジョンセット１０５を示す。ビデオ再生デバイス１５０は、ケーブルテレビジョンサービスプロバイダー（ＣａｂｌｅＣｏ．）、ローカルアンテナ、インターネットやＤＶＤ若しくはＶＨＳテーププレーヤのような外部ソースからのテレビジョン信号を受信し、テレビジョンセット１０５に鑑賞者の選択したチャンネルを送信する。記録モードでは、ビデオ再生デバイス１５０は、入力する高周波（ＲＦ）のテレビジョン信号を復調して、ビデオ再生デバイス１５０内の記憶媒体若しくはビデオ再生デバイス１５０に接続する記憶媒体に記録及び記憶されるベースバンドビデオ信号を生成しうる。再生モードでは、ビデオ再生デバイス１５０は、ユーザが選択する、記憶したベースバンドビデオ信号（即ち、プログラム）を記憶媒体から読み出し、それをテレビジョンセット１０５に送信する。
【００２１】
例えば、ビデオ再生デバイス１５０が、ビデオテープレコーダ（ＶＴＲ）とも称されるカセットレコーダ（ＶＣＲ）である場合、ビデオ再生デバイス１５０は、入力されるテレビジョン信号を磁気カセットテープに記憶し、記憶したテレビジョン信号を磁気カセットテープから取り出す。ビデオ再生デバイス１５０は、ＲｅｐｌａｙＴＶ^ＴＭレコーダ及びＴｉＶＯ^ＴＭレコーダのような、ディスクドライブに基づくデバイスである場合、ビデオ再生デバイス１５０は、入力されるテレビジョン信号を磁気カセットテープにではなくコンピューター磁気ハードディスクに記憶し、ハードディスクから記憶したテレビジョン信号を取り出す。更なる他の実施例では、ビデオ再生デバイス１５０は、ローカルのリード／ライト（Ｒ／Ｗ）デジタル多用途ディスク（ＤＶＤ）やリード／ライト（Ｒ／Ｗ）ＣＤ−ＲＯＭに対して記憶・読み出しを行ってもよい。
【００２２】
ビデオ再生デバイス１５０は、鑑賞者の操作によるリモートコントローラからコマンド（チャンネルアップ、チャンネルダウン、音量アップ、音量ダウン、記録、再生、早送り（ＦＦ）、巻戻し等）を受信する赤外線（ＩＲ）センサ１６０を含む。テレビジョンセット１０５は、スクリーン１０と、赤外線（ＩＲ）センサ１１５と、１以上の手動制御スイッチ１２０（破線で囲まれた部位）とを含む、従来的なテレビジョンである。ＩＲセンサ１１５も、鑑賞者の操作によるリモートコントローラからコマンド（音量アップ、音量ダウン、電源オン／オフ等）を受信する。
【００２３】
ビデオ再生デバイス１５０が、特定の種のソースからの特定種の入力テレビジョン信号を受信することに限定されないことに注意されたい。上述の如く、外部のソースは、ケーブルサービスプロバイダー、従来のラジオ放送アンテナ、衛星放送受信アンテナ、インターネット接続、若しくは、ＤＶＤプレーヤやＶＨＳテーププレーヤのようなローカル記憶装置であってよい。幾つかの実施例では、ビデオ再生デバイス１５０は、記録することができなくてもよいが、挿入・排出可能なＤＶＤやＣＤ−ＲＯＭから読み出されるテレビジョン信号を再生することに限定されて良い。従って、入力信号は、デジタル信号、アナログ信号若しくはインターネットプロトコル（ＩＰ）パケットであってよい。しかし、本発明の原理を説明する際の明瞭性及び簡潔性の目的から、次の説明は、ビデオ再生デバイス１５０がケーブルサービスプロバイダーからの入力テレビジョン信号（アナログ及び／又はデジタル）を受信する実施例に向けられる。但し、当業者であれば、本発明の原理が無線放送テレビジョン信号、ローカル記憶システム、若しくはＭＰＥＧデータを含むＩＰパケットの入力ストリーム等にも容易に適用されうることを理解するだろう。
【００２４】
図２は、本発明の一実施例による模範的なビデオ再生デバイス１５０の詳細図である。ビデオ再生デバイス１５０は、ＩＲセンサ１６０と、ビデオプロセッサ２１０と、ＭＰＥＧ２エンコーダ２２０と、ハードディスクドライブ２３０と、ＭＰＥＧ２デコーダ／ＮＴＳＣエンコーダ２４０と、ビデオレコーダ（ＶＲ）コントローラ２５０とを含む。ビデオ再生デバイス１５０は、更に、クローズド・キャプション（ＣＣ）検出器２６０と、音声プロセッサ２７０と、メモリ２８０とを含む。ＶＲコントローラ２５０は、鑑賞モード、記録モード、再生モード、早送り（ＦＦ）モード、巻戻しモードをとりわけ含む、ビデオ再生デバイス１５０の全体の動作を指示する。本発明の原理によると、ビデオ再生デバイス１５０は、以下詳説されるように、ビデオプログラムから選択したハイライトを再生するスキャンモードをも提供する。
【００２５】
鑑賞モードでは、ＶＲコントローラ２５０によって、ケーブルサービスプロバイダーからの入力テレビジョン信号が、ビデオプロセッサ２１０により復調及び処理されると共に、ハードディスクドライブ２３０への記憶若しくはそれからの読み出し無しで、テレビジョンセット１０５に送信される。ビデオプロセッサ２１は、ケーブルサービスプロバイダーからの入力テレビジョン信号を受信し、ユーザが選択したチャンネルに調整し、選択したＲＦ信号をテレビジョンセット１０５での表示に適したベースバンドテレビジョン信号（例えば、スーパービデオ信号）に変換する、高周波（ＲＦ）前置回路を含む。また、ビデオプロセッサ２１０は、再生モード中、ＭＰＥＧ２デコーダ／ＮＴＳＣエンコーダ２４０からの従来的なＮＴＳＣ信号を受信し、テレビジョンセット１０５にベースバンドテレビジョン信号を送信することができる。
【００２６】
記録モードでは、ＶＲコントローラ２５０によって、入力テレビジョン信号がハードディスクドライブ２３０に記憶される。ＶＲコントローラ２５０の制御下で、ＭＰＥＧ２エンコーダ２２０は、ケーブルサービスプロバイダーからの入力テレビジョン信号を受信し、ハードディスクドライブ２３０への記憶用のＭＰＥＧフォーマットに、受信したＲＦ信号を変換する。再生モードでは、ＶＲコントローラ２５０は、記憶したテレビジョン信号（即ち、プログラム）をＭＰＥＧ２デコーダ／ＮＴＳＣエンコーダ２４０に流すようにハードディスクドライブ２３０に指示をし、ＭＰＥＧ２デコーダ／ＮＴＳＣエンコーダ２４０は、テレビジョンセット１０５に送信される例えばスーパービデオ（Ｓ−Ｖｉｄｅｏ）信号へと、ハードディスクドライブ２３０からのＭＰＥＧ２データを変換する。ＭＰＥＧ２エンコーダ２２０及びＭＰＥＧ２デコーダ／ＮＴＳＣエンコーダ２４０に対するＭＰＥＧ２規格の選択は例示的なものあることに注意されたい。本発明の代替実施例では、ＭＰＥＧエンコーダ及びデコーダは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４及びＭＰＥＧ−７規格のうちの一若しくはそれ以上に準拠してよい。
【００２７】
本出願及び請求の範囲の目的のため、ハードディスクドライブ２３０は、リード−ライトデジタル多用途ディスク（ＤＶＤ−ＲＷ）、書き換え可能なＣＤ−ＲＯＭやＶＣＲテープ等のための従来的な磁気ディスクドライブ及び光ディスクドライブを含む、読み出し及び書き込みの双方が可能な大容量記憶装置を含むように定義される。実際には、ハードディスクドライブ２３０は、ビデオ再生デバイス１５０に永久的に内蔵されているという従来的な意味で固定されている必要はない。むしろ、ハードディスクドライブ２３０は、記録ビデオプログラムを記録する目的でビデオ再生デバイス１５０に割り当てられるあらゆる大容量記憶装置を含む。従って、ハードディスクドライブ２３０は、リード−ライトＤＶＤや書き換え可能なＣＤ−ＲＯＭを保持するジュークボックスデバイスのような、取り付けられる周辺ドライブや脱着可能なディスクドライブを含んでよい。更に、本発明の有利な実施例では、ハードディスクドライブ２３０は、例えばユーザのホームパーソナルコンピューター内のディスクドライブやインターネットサービスプロバイダー（ＩＳＰ）でのサーバー上のディスクドライブを含む、ビデオ再生デバイス１５０がアクセスしネットワーク接続（例えば、インターネットプロトコル（ＩＰ）接続）を介して制御してよい外部の大容量記憶装置を含んでよい。
【００２８】
再生モード中、ＶＲコントローラ２５０は、ＩＲセンサ１６０を介してユーザからのスキャンコマンドを受信してよい。スキャンモードでは、ビデオ再生デバイス１５０は、ハードディスクドライブ２３０上に記憶されたビデオプログラム（例えば、スポーツ番組）から抽出されるハイライトのみを再生することができる。これを達成するため、ビデオ再生デバイス１５０は、ハードディスクドライブ２３０に記録されている際（若しくは、記録された後）にビデオプログラムを解析してよく、ビデオプログラムのハイライト部分を自動的に検出及びラベル付け（標識付け）するため、文字ベースの探索及び選択した音声特性の組み合わせを利用してよい。後のスキャンモード中、ビデオ再生デバイス１５０は、記憶したビデオプログラム中のラベル付けされたハイライト部分を検出し、テレビジョン１０５での再生のために当該ラベル付けされたハイライト部分のみを抽出する。
【００２９】
本発明の模範的実施例では、メモリ２８０は、音声認識プログラム２８２とキーワード（ＫＷ）ライブラリ２８４とを記憶するランダムアクセスメモリ（ＲＡＭ）を構成してよい。音声認識プログラム２８２は、ビデオプログラムの音声トラック中の話し言葉を検出し、検出した話し言葉を文字ワードに変換する、音声プロセッサ２７０によって実行されるプログラム指令を含む。音声プロセッサ２７０は、文字ワードとキーワード（ＫＷ）ライブラリ２８４に記憶された選択したキーワーワードとの比較を行う。これらが適合したとき、音声プロセッサ２７０は、記憶したビデオプログラムの対応するセグメントに関連するキーワード識別子をハードディスクドライブ２３０上に記憶する。スポーツ番組に関して、キーワードは、タッチダウン、サック、インターセプト、ファンブル、フィールドゴール、ホームラン、得点、トリプル、盗塁、スリーポイントシュート、ファーストブレイク、タイムアウト、ゴール、セーブ、パワープレイ、ハットトリック等のような、言葉及びフレーズを含んでよい。
【００３０】
本発明の代替実施例では、音声プロセッサ２７０は、ビデオプログラム中のキーワードを特定するため、クローズド・キャプション（ＣＣ）検出器２６０から受信する文字を利用してよい。クローズド・キャプション（ＣＣ）検出器２６０は、ＭＰＥＧ２デコーダ／ＮＴＳＣエンコーダ２４０からのビデオストリームを受信し、ＮＴＳＣ出力信号からＣＣ文字を検出する。ＣＣ文字は、典型的には、ビデオ信号のライン２１のエンドでの消去時間に挿入される。ＣＣ検出器２６０は、ＣＣ文字に対応するビデオプログラムのセグメントを特定するため、ＣＣデータの各ラインに関連するタイムスタンプを利用する。ＣＣ検出器２６０は、ＣＣ文字の各ライン及びタイムスタンプを音声プロセッサ２７０に送信する。音声プロセッサ２７０は、ＣＣ文字ワードと、キーワード（ＫＷ）ライブラリ２８４に記憶された選択したキーワーワードとの比較を行う。これらが適合したとき、音声プロセッサ２７０は、タイムスタンプにより特定される記憶ビデオプログラムの対応するセグメントに関連するキーワード識別子をハードディスクドライブ２３０上に記憶する。
【００３１】
実際のスポーツ放送では、多くのキーワードは、潜在的なハイライト事象中よりも、アナウンサー間での通常的会話中に使用される。これは、音声プロセッサ２７０がハイライトに対応しない記憶ビデオプログラムのセグメントにキーワード識別子を付すという多くの“誤認（ｆａｌｓｅｐｏｓｉｔｉｖｅ）”を生んでしまう。誤認の数を低減すべく、音声プロセッサ２７０は、記憶ビデオプログラム中の特定されたキーワードの発生に対応する高い音声エネルギ（例えば、観衆のノイズ）の期間を特定するために記憶ビデオプログラムの音声トラックを解析する。
【００３２】
音声トラック情報は、ビデオストリームを認識し、分類し、ある意味論的特性を備えたセグメントに分割する際に効果的に使用されてきた。それは、新たなプログラムの話者ベースのセグメント化及び音声認識手段によるキーワードの突き止めの際に使用されてきた。また、音声データは、コンテンツインデックス化のために非常に効果的に利用することができる。というのは、それは、ビデオ処理と比較して、大幅に少ない処理パワー及び記憶スペースしか必要としないからである。
【００３３】
音声プロセッサ２７０は、先ず、音声トラック情報の文字的な検索を実行する。このステップは、通常的には、候補（即ち、特定のキーワードを含むプログラムのセグメント）の長いリストを出力する。上述の如く、これらのセグメントの多くは、解説者がしばしば先の試合やプレイを参照してこれらの言葉を使用するので、実際のハイライトを表わさない。このとき、音声プロセッサ２７０は、誤認から実際のハイライトを区別するため、検出したキーワード周辺の各セグメントからの音声信号特性を使用する。
【００３４】
本発明の模範的実施例では、音声プロセッサ２７０は、音声トラック情報を１秒の長さのセグメントで処理する。音声プロセッサ２７０は、各セグメントに対する絶対値平均として、音声の興奮レベルＸ（Ａ）を計算する。Ａが音声信号である場合、興奮レベルＸ（Ａ）は、ＡＢＳを絶対値を表わす関数として、Ｘ（Ａ）＝ＡＶＧ（ＡＢＳ（Ａ））となる。次いで、音声プロセッサ２７０は、たいていの状況では真の興味のある事象（即ち、ハイライト）が少なくとも５秒間続くことから、例えば５つのセグメント（５秒に相当）の送りウインドウを使用して、平均強度を計算する。このとき、所定の閾値を超える平均興奮レベルを持つ５つのセグメントの集合は、ハイライトシーケンスを形成するために結合され、ハードディスクドライブ２３０上にハイライトとして識別化（即ち、マーク）される。模範的実施例では、音声プロセッサ２７０は、プログラム全体に亘る最大値の１／２である閾値を使用してよい。代替実施例では、音声プロセッサ２７０は、ビデオプログラムの１０分若しくは１５分のブロックのような、長時間のプログラムに亘る最大値の１／２である閾値を使用してよい。
【００３５】
本発明は、トークショーからのハイライト（即ち、ジョーク）を抽出するといった、スポーツでない事象との関連で使用されてもよい。ジョークや他のハイライトを検出すべく、音声プロセッサ２７０は、トークショーから“ベスト”ジョークを見出すために、上述の音声ベースのアルゴリズムの変形を使用する。例えば、音声プロセッサ２７０は、スタジオ環境で記録された少量の笑い効果を検出するため、正規化された興奮レベルＮＸ（Ａ）を使用してよい。ここで、ＡＢＳを絶対値を表わす関数として、興奮レベルＮＸ（Ａ）は、ＮＸ（Ａ）＝ＡＶＧ（ＡＢＳ（Ａ））／ＭＡＸ（ＡＢＳ（Ａ））である。音声プロセッサ２７０は、ウインドウの重なりのない一秒ごとにこの値を計算し、候補として最も高い値を選択する。第２段階では、音声プロセッサ２７０は、離れたピーク及びコマーシャル中に発生するピークをプログラムセグメントの開始若しくは終了時に除去してよい。
【００３６】
図３は、本発明の一実施例によるハードディスクドライブ２３０上に記憶される模範的なビデオプログラム３００を示す。ビデオプログラム３００中の模範的なハイライトは、ビデオ再生デバイス１５０によるスキャンもモードでの後の再生のために音声プロセッサ２７０により識別及びラベル付けされている。ビデオプログラム３００は、一秒のセグメントの一連の集まり、Ｓ０乃至Ｓｎからなる。２つの模範的キーワード、ＫＷ１及びＫＷ２の位置が指示される。ＫＷ１は、ビデオプログラム３００の約４分１６秒（即ち、２５６秒）で、Ｓ２５６とＳ２５８の境界で発生する。ＫＷ２は、ビデオプログラム３００の約１５分１８秒、Ｓ９１８とＳ９１９の境界で発生する。
【００３７】
ＫＷ１及びＫＷ２周辺の音声エネルギレベルが上述の如く所定の閾値レベルを超えるかの音声プロセッサ２７０による判断の結果として、音声プロセッサ２７０は、セグメントＳ２５２及びＳ２６１をハイライト（ラベル付けされたハイライト１）として指定し、セグメントＳ９１４及びＳ９２３をハイライト（ラベル付けされたハイライト２）として指定している。スキャンモード中、ビデオ再生デバイス１５０は、ハイライト１（セグメントの開始Ｓ０でなく）まで直接的にスキップし、ハイライト１（即ち、Ｓ２５２−Ｓ２６１）を通常速度で再生する。ハイライト１が再生された後、ビデオ再生デバイス１５０は、ハイライト１とハイライト２の間のＳ２６２−Ｓ９１３をスキップ（早送り）し、ハイライト２即ち、Ｓ９１４−Ｓ９２３）を通常速度で再生する。
【００３８】
模範的ビデオプログラム３００において、ハイライト１，２の長さ（即ち、１０秒）は、例示に過ぎない。代替実施例では、音声プロセッサ２７０は、模範的な１０秒のハイライトよりも長い若しくは短い、キーワードに関連するハイライトを指定してもよい。例えば、音声プロセッサ２７０は、２０秒、３０秒若しくはユーザが選択する長さのハイライトを指定してもよい。更に、キーワードがハイライトの中心に位置する必要性はない。例えば、音声プロセッサ２７０は、３０秒のハイライトを、高い音声信号エネルギレベルの期間中に生ずるキーワードに先行する２０秒の前部及びそれに後続する１０秒の後部で指定してよい。
【００３９】
最後に、音声プロセッサ２７０により特定されるハイライトの長さが、キーワードを包囲する高い音声信号エネルギレベルの期間の長さと同一である必要性はない。上述では、音声プロセッサ２７０は、平均音声興奮レベルが所定の閾値レベルを超えている間、キーワードの発生に一致する５秒間のウインドウを検索していた。しかしながら、音声プロセッサ２７０が、かかる５秒間のウインドウを検出し、ハイライトが存在すると判断すると、音声プロセッサ２７０は、キーワードに先行する２０秒及び後続する１０秒としてハイライトを定義してよい。このように、ビデオ再生デバイス１５０は、重大な事象の発生につながる比較的に低い音声興奮の期間を再生してもよい。
【００４０】
図４は、本発明の一実施例による模範的なビデオ再生デバイス１５０の動作を示すフローチャート４００である。ビデオハイライトを生成し鑑賞する本処理は、ビデオ再生デバイス１５０がハードディスクドライブ２３０上にビデオプログラムを記録した（ステップ４０５）ときに開始される。ビデオ再生デバイス１５０は、予定された時刻で、若しくは、鑑賞者がリモートコントローラを操作することによる手動の記録コマンドに応答して、ビデオプログラムを記録してよい。次いで、音声プロセッサ２７０は、記録したプログラムビデオの音声トラック中のキーワードを検出してよい。キーワードは、音声認識プログラム２８２により検出される言葉と、キーワードライブラリ２８４に記憶されたキーワードとを比較することによって、或いは、クローズド・キャプション（ＣＣ）検出器２６０から受信した文字と、キーワードライブラリ２８４に記憶されたキーワードとを比較することによって、検出されてよい。音声プロセッサ２７０は、ビデオプログラムを記録している間（即ち、リアルタイムで）キーワードを検出してよく、若しくは、ビデオプログラムを記録した後に（即ち、オフラインで）キーワードを検出してもよい（ステップ４１０）。
【００４１】
キーワードが発生する各場所で、音声プロセッサ２７０は、上述の如く、各キーワード位置周辺に配置される可変サイズのウインドウにおける音声信号のエネルギを、所定の閾値と比較する（ステップ４１５）。ウインドウにおける音声信号エネルギレベルが閾値を超える場合、音声プロセッサ２７０は、キーワード位置をビデオプログラムハイライトとして特定する（ステップ４２０）。キーワード位置をハイライトとして特定するために、音声プロセッサ２７０は、検出可能なマーカー（若しくはフラグ）をビデオプログラム中の各ハイライトの開始点及び終了点に挿入してよい。記録ビデオプログラムがディスクドライブ上に記憶される場合、音声プロセッサ２７０は、各ハイライトの開始点アドレス及び終了点アドレスをビデオプログラムに関連するデータファイルに記憶することによって、各ハイライト位置を特定してよい。上述の如く、検出したキーワードの位置に対するハイライトの位置及び長さは、可変であってよい。効果的な実施例では、ハイライトの位置及び長さは、ＶＲコントローラ２５０により制御されるＴＶ１０５上のグラフィカルユーザインターフェースを通してユーザにより変更されてよい。最後に、スキャンモード中、ビデオ再生デバイス１５０は、ＴＶ１０５上での再生のためにハードディスクドライブ２３０からビデオプログラムハイライトのみを抽出する（ステップ４２５）。
【００４２】
本発明は、詳細に説明されてきたが、当業者であれば、最も広い形態での本発明の精神及び観点から逸脱することなく種々の変更、置換、代替をなしうることを理解すべきである。
【図面の簡単な説明】
【図１】
本発明の一実施例による模範的なビデオ再生デバイス及びテレビジョンを示す図である。
【図２】
本発明の一実施例による模範的なビデオ再生デバイスをより詳細に示す図である。
【図３】
本発明の一実施例による模範的なビデオ再生デバイス内のハードディスクドライブ上に記憶される模範的なビデオプログラムを示す図である。
【図４】
本発明の一実施例による模範的なビデオ再生デバイスの動作を示すフローチャートである。

Claims

内部の記憶装置に記録されたビデオプログラムを再生できるビデオ再生デバイスにおいて使用される、上記ビデオプログラム中のプログラムハイライトを検出する装置であって、
上記ビデオプログラムの音声トラック中の所定のキーワードの位置を検出できるキーワード検出回路と、
上記所定のキーワードの上記検出した位置近傍の上記音声トラックの音声信号エネルギレベルを算出すると共に、該音声信号エネルギレベルを所定の閾値と比較することができる音声信号エネルギレベル検出回路とを含む、装置。
上記音声信号エネルギレベル検出回路は、上記音声信号エネルギレベルが上記所定の閾値を超えているとの判断に応答して、上記所定のキーワードの上記検出した位置をプログラムハイライトとして特定する、請求項１記載の装置。
上記キーワード検出回路は、上記ビデオプログラム中のクローズド・キャプション文字を検出できるクローズド・キャプション検出器と、上記検出されたクローズド・キャプション文字内のキーワードを検出するプロセッサとを含む、請求項２記載の装置。
上記プロセッサは、上記検出されたクローズド・キャプション文字を、上記プロセッサに関連するメモリ内に記憶された複数のキーワードと比較することによって、上記検出されたクローズド・キャプション文字中の上記キーワードを検出する、請求項３記載の装置。
上記キーワード検出回路は、上記音声トラックで検出された話し言葉を文字に変換する音声認識アプリケーションプログラムを実行できる音声プロセッサを含み、上記音声プロセッサは、更に、上記変換された文字中のキーワードを検出することができる、請求項２記載の装置。
上記音声プロセッサは、上記変換された文字を、上記音声プロセッサに関連するメモリに記憶された複数のキーワードと比較することによって、上記変換された文字中のキーワードを検出する、請求項５記載の装置。
上記音声信号エネルギレベル検出回路は、上記所定のキーワードの上記検出された位置近傍のウインドウにおける平均音声信号エネルギレベルを算出することによって、上記音声トラックの上記音声信号エネルギレベルを導出する、請求項２記載の装置。
上記音声信号エネルギレベル検出回路は、上記所定のキーワードの上記検出された位置に先行するプログラムハイライトの開始点及び上記所定のキーワードの上記検出された位置に後続するプログラムハイライトの終了点を決定することによって、上記所定のキーワードの上記検出された位置をプログラムハイライトとして特定する、請求項２記載の装置。
複数のビデオプログラムを記憶できる記憶装置と、
入力ビデオプログラムを受信し、上記記憶装置上に上記入力ビデオプログラムを記憶することができるビデオ記録回路とを含み、
請求項１による装置を更に含む、ビデオデバイス。
ビデオ再生デバイスの記憶装置に記録されたビデオプログラムを再生できるビデオ再生デバイスにおいて使用される、上記ビデオプログラム中のプログラムハイライトを検出する方法であって、
ビデオプログラムの音声トラック中の所定のキーワードの位置を検出する検出ステップと、
上記所定のキーワードの上記検出された位置近傍の上記音声トラックの音声信号エネルギレベルを算出するステップと、
上記音声信号エネルギレベルを所定の閾値と比較するステップとを含む、方法。
上記音声信号エネルギレベルが上記所定の閾値を超えるか否かを判断するステップを更に含み、
上記音声信号エネルギレベルが上記所定の閾値を超えているとの判断に応答して、上記所定のキーワードの上記検出した位置をプログラムハイライトとして特定する、請求項１０記載の方法。
上記検出ステップが、上記ビデオプログラム中のクローズド・キャプションを検出するサブステップと、
上記検出されたクローズド・キャプション中のキーワードを検出する検出サブステップとを含む、請求項１１記載の方法。
上記検出サブステップは、上記検出されたクローズド・キャプション文字を、上記ビデオ再生デバイスに関連するキーワードライブラリ内に記憶された複数のキーワードと比較するサブステップを含む、請求項１２記載の方法。
上記検出ステップは、上記音声トラックで検出された話し言葉を文字に変換する音声認識アプリケーションプログラムを実行するサブステップと、
上記変換された文字中のキーワードを検出するサブステップとを含む、請求項１３記載の方法。
上記変換された文字中のキーワードを検出する上記サブステップは、上記変換された文字を、上記ビデオ再生デバイスに関連するキーワードライブラリに記憶された複数のキーワードと比較するサブステップを含む、請求項１４記載の方法。
上記音声トラックの音声信号エネルギレベルを算出する上記ステップは、上記所定のキーワードの上記検出された位置近傍のウインドウ内の平均音声信号エネルギを算出するサブステップを含む、請求項１１記載の方法。
内部の記憶装置に記録されたビデオプログラムを再生できるビデオ再生デバイスにおいて使用される、上記ビデオプログラム中のプログラムハイライトを検出する装置であって、
音声トラックのＮ個の連続するセグメントの音声信号エネルギレベルを計算し、上記音声信号エネルギレベルを所定の閾値と比較することができる音声信号エネルギレベル検出回路を含む、装置。
上記音声信号エネルギレベル検出回路は、上記音声信号エネルギレベルが上記所定の閾値を超えたとの判断に応答して、上記Ｎ個の連続するセグメントをプログラムハイライトとして特定する、請求項１７記載の装置。
上記音声信号エネルギレベル検出回路は、上記Ｎ個の連続するセグメントの平均の音声信号エネルギレベルを算出することによって、上記音声トラックの上記音声信号エネルギレベルを導出する、請求項１８記載の装置。